天覆吾，地载吾，天地生吾有意无。
不然绝粒升天衢，不然鸣珂游帝都。
焉能不贵复不去，空作昂藏一丈夫。
一丈夫兮一丈夫，千生气志是良图。
请君看取百年事，业就扁舟泛五湖。
——《长歌行》李泌
……
九月二十九日当日，肃宗接受完百官朝拜，立刻派宦官啖庭瑶前往蜀郡，将收复长安喜讯奏报太上皇李隆基，上表奉迎太上皇回銮；又派左仆射裴冕前往长安南北郊祭祀天地及李唐宗庙。
同时，肃宗派人前往长安，把随军前进的李泌接回凤翔郡，商量入主长安之事。
李泌深谋远虑，智计过人，几番妙手，将肃宗几件棘手之事处理的妥妥当当。包括将太上皇接回长安、入主太极宫等涉及礼法道统之事。
处理完毕，肃宗如释重负，遂到李泌住处畅饮。李泌乘机提出辞呈。肃宗大惊，道：“朕与先生共历忧患，如今收复长安，正要同享安乐富贵，先生为何说走就走？”
李泌道：“臣有五条理由，不能在陛下身边久留。愿陛下准许臣离开，让臣免于一死。”
肃宗不解，问道：“哪五条理由能逼迫先生不得不走？”
李泌缓缓道来：“臣遇陛下太早，陛下任臣太重，宠臣太深，臣功太高，迹太奇。此其所以不可留也。陛下不愿臣走，是想让臣享受荣华富贵。可在臣看来，此举是在杀臣。”
肃宗道：“荒唐。朕又不是姒勾践，怎会干出狡兔死，走狗烹之事。”
李泌正色道：“正因陛下不会杀臣，臣才能提出归隐之请。倘若陛下已动杀机，臣怎么敢言。
再者，杀臣者并非陛下，而是臣所举的五条理由。臣辅佐陛下以来，陛下待臣之厚，远胜群臣。臣与陛下过从甚密，即便如此，有些事情，臣尚且不敢劝谏。天下安定之后，朝廷之上更重礼法规矩，臣就更不敢言。”
肃宗沉默良久，道：“朕没有听从你的意见，派胡人兵马绕道塞外进攻范阳。先生可是因此事还在怪朕？”
李泌摇摇头道：“臣不敢劝谏之事，乃是建宁王！”说罢，李泌逐一分析，建宁王不可能做出行刺广平王李俶之事。李倓不是那种为争夺储君之位，不择手段之人。
肃宗听罢，泪流满面，这才明白自己被人蒙蔽，听信一面之词，铸成大错。
建宁王被冤杀一事，一直是李泌的心结，在心中藏了许久，不吐不快。因为构陷建宁王李倓的不是别人，正是肃宗最宠幸的妃嫔张良娣、最宠信的宦官李辅国。
正所谓，疏不间亲。李泌忠言逆耳，一旦证据不足，就会被这两人倒打一耙，联手陷害。连肃宗的亲生儿子李倓都被这两人构陷，何况李泌这个外臣。
白复将李猪儿交给李泌后，李泌从李猪儿的供词中判断，安禄山潜伏在肃宗身边的内鬼，不是张良娣就是李辅国。
所以，李泌决定在收复长安后，以退为进，先归隐衡山，暂避锋芒，伺机观察。自己一走，张良娣和李辅国必然从相互勾结，变成争权内斗，届时谁是内鬼，昭然若揭。
但自己一走，肃宗身边的权力平衡就被打破。如果不在归山之前戳破这层窗户纸，自己一直保护的广平王李俶很可能就有性命之忧！
张良娣野心勃勃，不亚于韦后，不但想立自己的儿子为储君，更有效仿武曌，成为九五之尊的欲望。
当张良娣和李辅国联手铲除建宁王李倓、逼走李泌之后，接下来的绊脚石就仅剩广平王李俶一人。
广平王李俶收复长安，立下盖世军功，声势正盛，张良娣十分忌恨，不断暗中散布谣言，所以李泌必须在临走之前特别叮嘱肃宗。
……
这夜长谈之后，李泌去意已决，执意归山，肃宗苦苦挽留。半个月后，肃宗实在拗不过李泌，不得已让李泌归隐衡山。