李刚辞别徽宗回京复命。徽宗由赵野陪同，继续缓缓前行，到四月三日，徽宗才回到京城。
徽宗的官船还没靠岸，钦宗就亲自来到郊外的码头，带着皇后和朝廷百官前来迎接。只见徽宗头戴玉柄桃冠，身穿销金大红道袍，嫣然一副道家打扮，超然出世的感觉。徽宗很是优雅地缓步走下官船，钦宗率众行礼问安后，陪着徽宗从星宿门进入都城。因朝廷就太上皇返京事宜专门下过通知，获知消息的京城百姓，倾城而出，夹道观看道君太上皇的风采。钦宗将徽宗一直送到龙德宫。
在徽宗返京之前，在耿南仲的建议下，钦宗就做好了安排，等徽宗一回到龙德宫，钦宗就下旨将徽宗的心腹之人，全部屏退，只留下了杨光华。被屏退的人，有的直接被罢官流放，如童贯、蔡攸、张宁、邓善询等人，没有被罢官流放的，也不准进入龙德宫。
此时令钦宗最头疼的，就是杨光华的问题了。在陈东的奏书中，就提到了杨光华。陈东说：“虽然没有听说杨光华有贪污受贿、欺压良善、霸占百姓田产房屋等恶行，但作为皇上秘书，陪侍皇上身边二十五年有余，并且高居百官之首，参与朝廷所有重大决策，皇上所有误国之事都有参与，虽不能算作奸臣，但也有推波助澜助纣为虐之嫌，理应受到清查并惩处。”
当时，钦宗看到此处，对陈东将徽宗比作纣王很是不快。杨光华不但曾经给过他助益；而且，杨光华又是驸马，标准的皇亲国戚，因此，对此说法，钦宗并没理睬。可徽宗即将回朝之际，白时中又向钦宗建议说：“杨光华辅佐太上皇二十多年，太上皇的一切决策，应该都出自他的手，最起码他有参与。所以杨光华应该是助纣为虐不次于蔡京的。可现今六贼已经都受到了惩处，唯独杨光华仍然在太上皇身边，毫发未伤，臣以为这很不妥当，况且朝廷也多有议论。”
白时中如此说法，再联系陈东的奏书，钦宗对杨光华的看法不免就有了动摇，一时不知怎么才好。于是就专门就向耿南仲叙说了陈东和白时中的观点，并征求他的意见。耿南仲说：“大家有此看法在所难免，这是因为外人并不了解杨光华。陛下，您曾经说过，杨光华虽然长期在太上皇身边，但他并不是那种恶人坏人，也不是贪官，相反，却是德行才干兼具的能臣干才。如果能让他到您的身边，辅佐您，当是最好的安排，至于他的职位，臣以为可以保持原太师的职位，还做您的秘书即可；至于皇城使，只要他担任您的秘书，就可继续保留。当然，这仅是臣一己之见，谨请陛下定夺。”
钦宗却说：“朕一直想着让你担任朕的秘书这一角色。”
耿南仲忙摇着手说道：“臣教陛下读点书，出点小主意还是可以的。可是治国的大政方针，重要的战略决策，臣真的是无能为力。臣没有那样的能耐，也没有那样的学识，确实无法跟杨光华相比。杨光华这个人呐，可不仅仅是太上皇说他是天下第一才子，他那才分、能力、素养和水平，货真价实。而他的人品官品德行也都是无懈可击的。臣曾经跟踪调查研究了他近十年，对他的这些看法都是有根有据的，绝无虚夸。况且，哪怕他有一点不适合的地方，臣也不会作如此评说，更不会向陛下举荐。陛下知道，臣跟杨光华素无交往，对他的这些评判之语，全是臣通过多方面调查研究得来的，并且也真正是为陛下、为朝廷、为大宋江山社稷考虑才这样说的。所以，丝毫没有替他说情的成分，还请陛下圣裁。”
钦宗一向不苟言笑，总是一副严肃表情，只有在跟耿南仲交谈时，才会偶尔有点笑容。此时便微微一笑，解释说：“哎呀，爱卿这是哪里话。你是朕的老师，咱们既是君臣关系，又是师生关系。你也是我最为信任和倚重的人，对你的话，朕岂有不信之理？难为你为了朕如此费心。有你这么严谨结实的结论，朕心里有数了。”
说是“有数”，其实心里是矛盾的