到了宣德二年，建文又将发剃去，复移居鹤庆静室中。忽闻赵天泰、梁田玉、王资、王良皆死了，不胜悲恸。到宣德三年正月，又闻知史仲彬，为仇家讼其从亡之事，竟以此累死，又恸哭不已。到了十月，游行汉中，遇见廖平之弟廖年，报知廖平已于元年死于会稽山中。未死之前，曾寄书家中，叫将他妹与太文奎为室。今已成亲三年矣。建文听了，又大恸不已。想起从亡诸臣，死去八九，竟神情恍惚，中心无主，又蓄发游。自此以后，东西游行，了无定迹。直到宣德八年，朝廷因僧李皋反，就下令：“凡是关津，但遇削发之人，即着押送原籍治罪。”建文闻知，又还渌泉。到宣德十年，闻知何洲、蔡运、梁中节、郭节、王之臣、周恕又俱死了，心下更惊惕不安，因谓程济：“诸从亡皆东西死矣，我不知埋骨何所？”程济：“叶落还是归。”建文：“可归么？”程济：“事往矣，人老矣，朝代已换矣，恩怨全消矣，天下久定矣，何不可归？”建文自此遂萌归念。到正统二年，又削发行游。

住了数日，建文起往游海上，史弘：“弟才得面师，不忍即别，愿随行一程，以表挛挛。”仲彬亦要随行，建文不拂其意，只得允了，遂行到了杭州方辞。史弘、仲彬回去，只同程济渡过钱塘江，直到南海，礼过大士，方才从福建、两广，回到渌泉。此时已是洪熙元年六月。洪熙又晏驾，又是太即位，改元宣德。建文闻知，说：“吾心可放下矣。”

到正统五年庚申，建文年已六十四，遂决意东归，命程济卜其吉凶。程济卜完：“无吉无凶，正合东归。”建文遂投五华山寺，登梵正殿，呼众僧齐集，大声说：“我建文皇帝也，一向行遁于此，今东归，可报知有司。”众僧听了皆惊，忙报知府县，不敢怠慢，因请至藩司堂上。建文竟南面而坐，自称原姓名，追述往事：“前都给事胡濙，名虽访张邋遢，实为我也。”府县不敢隐，报知抚，飞章奏闻。不多时，有旨着乘驿至京师。既到京师，众争看之，则一老僧也，诏寓大兴隆寺。此时正统皇帝，不知建文是真是伪，因知老太监吴亮，曾经侍过建文，遂命他去辨观真假。吴亮走到面前，建文即叫：“汝吴亮也，还在耶？”吴亮假说：“我不是吴亮。”建文笑：“你怎不是？我御便殿鹅，曾掷片于地，命汝添吃，你难忘了？”吴亮听说是真，遂伏地痛哭，不能仰视。建文：“汝不必悲，可为我好好复命，说我乃太祖皇帝嫡孙。今朱家天下正盛，岂可轻抛骸骨于外？今归无他，不过葬故乡耳。”吴亮复命后，恐不能取信，遂缢死以自明。正统悟，命迎大内，造庵以居，厚加供奉，不便称呼，但称老佛。后以寿终，敕葬于北京西城外黑龙潭北一邱，一碑碑题曰“天下大师之墓”因礼非天，故相传言之西山不封不树。此时从亡二十二臣俱死，唯程济从师至京，送大内，方还南去，不知所终。程济当革除时，与魏冕言志，魏冕：“愿为忠臣。”程济：“愿为智士。”今从亡几五十年，屡脱主于难，后竟致主归骨，自称智士，真无愧矣。后人览靖难逊国遗编，不胜愤，因题诗叹息：风辰日午雨黄昏，时势休教一概论。神武御天英烈著，仁柔逊国隐忠存。各行各是何尝悖，孤孤成亦自尊。反复遗编怅望，残灯挑尽断人魂。

抄没，若非天恩赦了，我死无所矣。不独君臣义在；文，恩主也。今幸瞻天，安敢不拜。”仲彬不得已，报知建文，史弘拜堂下。拜毕，即命坐于仲彬之上，就说：“所曰恩之事，建文不胜激。”四人饮至夜而止。