包围过来，而那王旗却缓缓转向山后消失不见。李靖见势不妙，立刻命令撤退，万马奔腾声中，全军撤入关内，突厥兵在后衔尾直追。李靖一勒马，命令全军换弓，接着一声令下，一万骑兵摆开阵势，同时搭弓上箭，激箭如雨，直射向追兵，霎时尸积如山，后面追兵不敢再急追，竖起盾牌缓缓而来。
李靖见突厥势大，只得一面派人将刘守节尸首抢回，一面将躲在城中的高秀岩和一些残余守军救起，又放火烧了粮仓，然后徐徐从南门退出雁门关，和秦王部队汇合。他见初时偷袭未建全功，此刻雁门关已是陷落，坐在马上心中思忖：路上接到消息，雁门关前突厥兵力已达十五万，虽然攻城激烈，死伤不少，又被自己带骑兵冲击一阵，此刻只怕十三四万还是有的，以一万疲兵抗击十三四万悍敌，无异以卵击石，只得先撤向中原，再图打算。
正思虑间，探子报秦王大队到了，李靖回头一看，果见秦王带着四万步卒赶了上来，只是人人皆现疲态，比之自己的一万骑兵攻击力也显不足，于是上前将战场情况报给秦王，又说了高秀岩和刘守节的事。李世民紧皱眉头，也觉甚为棘手，若是撤军，这战略地位一失，无异关中门户大开，敌人随时可长驱直入直捣长安；若是坚守，此时雁门关已失，凭自己五万疲兵，又无高城深沟，如何与敌人十三四万大军对敌？确是委决不下。
旁边骁将秦武通听得李靖说颉利可汗也在军中，且有狼头王旗为标识，上前对李世民说：“殿下，兵法云：擒贼先擒王，末将愿领五千军马，将那颉利可汗擒来，献于帐下。”李世民素知此人悍勇，但面前是十三四万大军，以五千人马擒敌酋，确是难如登天，因此不允，只是扎住营寨，与随军谋士虞世南姚世廉等商议。突厥兵看唐朝援军扎住营寨，也自霸住雁门关，大掠府库，挨家挨户搜刮去了。