徽宗在心里做出了决定，要撤掉任忠义的皇城使职务，由杨光华兼任。
徽宗认为，杨光华兼任皇城使，肯定要比任忠义强一百倍。徽宗觉得，经过跟杨光华二年多的朝夕相处，已经对杨光华有了一个全面、深入的，也是准确的了解和认识。他坚信自己的这个决定是正确的。
这么思虑了一会儿，他就考虑到了一个现实问题：任忠义的身份非常特殊，处理他的问题就特别敏感，稍不注意，就会牵涉到哲宗，就会被某些好事的人抓到把柄，跟哲宗联系起来做文章，说闲话，瞎议论。所以，把任忠义从皇城使的位置上拿下来，让他去哪里？怎样处理才能既达到了目的，又不会带来副作用？这，的确是棘手的，不容有半点大意的问题。
这么一想，他就两手按住龙椅的扶手，欠了欠身子，对杨光华说：“光华啊，咱们研究了球球的提拔问题和军事军队管理的改革问题。也许是触景生情连锁反应吧，自然我就联系到了另外一个现实的、也是必须要解决的问题，就是皇城司的问题。”
“皇城司的最高长官皇城使啊，从我登基以来就没有像模像样的干过事儿，自然也没有发挥应有的作用。太后在还政的时候，还有在崩世前交代身后事的时候，都给我说，要发挥好皇城司的作用，要高度重视皇城司的管理和作用。可是在我这里呢，却看不到皇城司有什么重大作用。就说几件事，当初曾布派人跟踪我派出去杭州的人，还监视我在京城的一切行动，我却没有接到过皇城司的报告。他们还不如梁师成那几个人。特别是皇城使任忠义，今年都快要过去了，一次都没来见我，更不用说向我汇报工作了。我研究过，大宋立国以来，每一届皇城司，都没有像这一届这样无所作为。朝廷养着这么一两万人的队伍，却是这么一种状况，我看谁当皇帝都不会满意。所以呀，我得解决这个问题，主要就是让任忠义换个地方。但是呢，让他去哪里、怎么处理才能让他既能够愉快接受，又不至于引起他的不满，免得有人在这上面做文章，说我是对先帝怎么着等等等等。我就想听听你的想法？”
杨光华觉得，这是个十分敏感的问题，也是个棘手问题。首先说，任忠义身份特殊，他是朱皇后的弟弟，虽然不是亲弟弟，可谁又敢明说呢？哲宗对他可是非常重视、特别信任的。再说，皇城司的特殊地位和作用，决定了皇上必须高度重视，善于发挥他的作用，而他的作用，是任何其他机构和部门所不能代替的，也代替不了。鉴于这两个特点，杨光华回答说：“皇上，您既然决定要解决皇城司的问题，只需让皇城使换个地方就行了。这问题不难，咱们可以比着葫芦画瓢。当初您在还没有亲政的时候，为了解决文件流转问题，需要把负责诏书签审的中书舍人和给事中，换个地方当官，您和太后采取了很有效、也很有艺术性的办法，至今我还记忆犹新。这一次，最多涉及三个人，这工作好做多了。”
徽宗一听，觉得杨光华这个思路，确实是解决这个问题的最好办法。就问：“哦，让皇城使去哪里呢？谈谈你的看法。”
杨光华没有犹豫，说道，“其实，皇上您已经想到了办法，只不过是要考考臣。臣就斗胆把您想好的办法，再重述一遍吧。”
徽宗忙伸出右手略一抖动，道：“说，快说。”
“皇上，您是不是想让皇城使到大理寺去呢？从品级上来说，皇城使现在是正四品，大理寺卿是正三品。而现任大理寺卿已经六十八岁多点，身体也不太好。所以呀，您大概是想，让皇城使接任大理寺卿，这样等于给他提了两级。而我们呢，可以提前做一下大理寺卿的工作，这个工作啊，让张商英去做就行了，实在不行就让宰相去做，动员他提前退休。”
徽宗一听这话，立即兴高采烈，又用右手的拳头砸了一下左手掌心，说：“好，真是个好办法，光华呀，你算是说到朕的心里了，朕真