כשקרא רבי אברהם יהושע השיל מאפטא ביום הכיפורים את העבודה והגיע לדיבור: "וכך היה אומר", היה משמיע במקומו: "וכך הייתי אומר". כי לא שכח את העת שהיה משמש בכהונה גדולה בירושלים וערך את העבודה ביום הכיפורים בקודש הקדשים.

אף הוא סיפר פעם אחת: "עשר פעמים הייתי בזה העולם. כוהן גדול הייתי, נשיא הייתי, מלך הייתי, ראש גולה הייתי, עשרה מיני משרות לבשתי. אבל מעולם לא אהבתי את הבריות בשלימות. לפיכך נשלחתי שוב כדי להשלים את האהבה. אם יצליח הדבר בידי הפעם, שוב לא אחזור."

מ. בובר, אור הגנוז, הוצאת שוקן, עמ' 320

On the Day of Atonement, when Rabbi Abraham Yehoshua Heshel of Apt would recite the Avodah, the prayer that repeats the service of the high priest in the Temple of Jerusalem, and would come to the passage: "And thus he spoke," he would never say those words, but would say : "And thus I spoke." For he had not forgotten the time his soul was in the body of a high priest in Jerusalem, and he had no need to learn from the outside how they had served in the Temple.

Once he himself related: "Ten times have I been in this world. I was a high priest, I was a prince, I was a king, I was an exilarch. I was ten different kinds of dignitary. But I never learned to love mankind perfectly. And so I was sent forth again and again to perfect my love. If I succeed this time. I shall never return again."

M. Buber, Tales of the Hasidim, Schocken Books (one vol. ed, Book II) p.118