因为赵昺前世就知道在异族入侵后，头几年的反抗最为激烈，但在异族的残酷镇压和安抚下这种抵抗心理会随着时间的延长而不断的消退，直至心安理得的接受异族统治，忘记了故国，甚至成为异族的帮凶。自然也会被旧主视为叛徒和敌人，而宋朝历史上这种现象又极为严重。
北宋时期，由于石敬瑭出卖了燕云十六州，使得宋初几次北伐失败，导致北部边界维持在旧黄河以北，并没有完全占据历史上的汉族旧地，也未将整个中原地区纳入自己的统治之下，使得民族出现了分裂。但事情却不是一成不变的，当幽云十六州的汉人成为辽朝属民之后，其不仅在性格方面，而且在生活习俗上也开始发生全面的“胡化”，这逐渐导致了宋人对其态度的变化。
在宋人看来，那些生活在“敌境”之中、着“胡服”、用“胡礼”、习“胡俗”的人，于己来说完全是一种异类。他们将处于契丹及以后女真统治下的汉人称为‘北人’。这是个带有歧视的称呼，更将他们视为潜在的敌人，而那些旧辽守将都为汉人，可在宋人的笔下却全变成了“虏”。有见识的士大夫尚且如此，下层军民自然更不必说了。
虽如此，待落到实际作法上的时候，宋廷呈现在幽云汉人面前的却又是另一副面孔。其不仅没有想办法去消除宋人对辽朝汉人的排斥心理，减少“汉人”心中的疑虑，却反而处处体现出不信任的态度，做出许多根本不把幽云汉人当作子民、而是欺压出卖的事来。
对归正人的安置去处，无论降附还是自愿归来的，大致都要送往内地分散安置，目的是防止他们与‘旧主’内外联络。但与军事形势相比，战争的需求更为重要，强调“与汉军杂处”、“与军伍错居”，说的就是编制上的参错。而小规模集中编伍显然有便于控制的考虑，因此归附人以所部小规模编伍自相统属，便于作战时充分发挥其骑射优势，是利用与控制相得益彰。
不仅如此，在幽云十六州的汉人进入宋境后，北宋朝廷也没有采取任何有效的措施避免宋人对其的歧视排挤，“州郡又往往不恤。或困于衣食，其在关下者，至于揭榜通衢人物往来处，称其名氏，旧官封而已乞丐，执政虽睹之不问也。”
而“而燕云两路官吏散处中国，其啸聚之民，并引处内地，中国之民，日夜疑之，而官吏亦不复以礼待遇，两相忿恨，数至喧争。”这使幽云汉人和宋人的矛盾日益尖锐，直至引发金宋战争时期的巨大变故。可以说，北宋朝廷在进入幽云后所做的一系列蠢事，使幽云十六州的汉人对其大为失望，这其中不仅包括一时的政策错误，而且也是宋人对幽云汉人的长期偏见导致的结果。
在军队中，归正人受排挤的现象更为严重。相反金朝对宋开战后，却在刘彦宗等汉人的指点下采取了正确的决策，“金人已得燕，则盐法尽仍旧，常胜军屋业田土，尽给前主，燕人归心焉。”两下相较，幽云汉人之心会归附于谁，已经是一看便知的事了。
南渡之后，历史上南北分裂造成的相互不信任和歧视现象不断更为严重，而一些偶发事件则加深了两者间的矛盾。而不信任感是长期存在于南宋朝廷之中的主流态度。包括朱熹，都直接把归正人与汉代时的宦官、唐代时的藩镇视为一类，认为这些人都是造成社会动乱的病根。因此，许多归正的文官多不被授实职，添差后就将他们分散地安置在各州郡中。
对“归正人”摇摆不定的政策，也引发大量归正人的不满，这种不满从孝宗朝开始发酵，到后来越发严重，南宋军队尤其是前线最具战斗力的部队中，由于归正人的比例逐年增加，使军队的管理出现隐患。一方面是这些北军饱受排挤，另一方面是南宋正军在数量上不占优势，使军队内部管理失控。这使得南宋不断的失去北地民心，不仅彻底断送了南宋北定中原的可能，也成为南宋灭亡的一个重要原因……
俗话