因为打泉州的目标早已定下，因而撤军众臣并不意外也不反对。 而最难的一项还是如何安排撤军，撤的快了，放弃城外的工事，就会使城防压力加大，造成不必要的恐慌；撤的慢了便很可能被敌所乘，将撤退变成了一场溃逃，弄得虎头蛇尾，且会影响到移民计划。因此撤军的节奏并不好把握，而无端的便放弃还会影响到军民的士气和对行朝的信心。
几经商讨，大家定下一个大概的时间表，四天后返回的船只将抵达港口，因此在这期间相机撤离第一道防线，以为第一批军眷的撤离造势，并在两日内完成动员，在下一批回返的船只回来的同时赴琼。然后再进入下一个循环，将工匠撤出。最后全军撤入城内，依托城墙完成最后的撤军任务。而这期间守住晋江和海路，保持水路的畅通将是要任务。
在朝议后的第二日晚上，元军趁无月起了一场大规模的夜袭，宋军苦战至黎明，终于不支退守城外第二道防线。本来这一战是元军取得的第一次胜利，可是唆都却高兴不起来，他们冲进后却现宋军不仅带走了所有的武器装备和伤员，连具尸体都没有留下，甚至还以火药炸平了筑起的高台，让他们只得到了一片不敢驻足的死亡地带。
不过宋军的第一次失败却在泉州上下引起了极大的震动，城中驻留的军眷开始纷纷采购生活用品，似在做撤离准备。而这些军眷来自泉州各县乡，与逃进城中的百姓难免有沾亲带故的，使他们不难获得真相。原来军中有消息流传，说元军从江西路和广南两路增调的援兵已经赶来，为了防止被敌军切断后路，朝廷已经下令将城中的军眷全部撤往琼州，以免遭敌毒手。
而百姓们还打探到为了安置这些军眷，朝廷也做出了极大的努力，不仅答应每户先给二十贯的安家费，到琼后优先按口分配良田，并免除徭役，减免税赋。据消息灵通人士说，琼州经小皇帝大力开后已非像过去的荒蛮之地，如今修通了环岛的驿道，还开垦了大批的良田，且粮食可一年三熟。物品供应也十分丰富，物价平稳，白米一石只要九百文。更令人羡慕的是琼州上下清明，治安良好，还没有苛捐杂税，确是安居乐业之所。
对于这些小道消息，有人羡慕，有人嫉妒，更多的人却是不相信。觉的朝廷不可能拿出这么多的钱去安置他们，因为这是从未有过的事情，而朝廷弃他们而去的事情都是做了不少，所以大家都在观望，希望朝廷能守住泉州，并留在泉州。说心里话，大家还是很希望皇帝能留在泉州的，起码这些日子以来，大军秋毫无犯，买卖公平，作奸犯科者皆受到惩处，而老百姓的要求也就这么点儿吧！
但是流言很快变成了现实，有新入城的百姓称现在大批元军正向泉州涌来，他们沿途征收粮草，抓丁征夫，时常还有乱兵抢劫，**妇女，他们都是为了避乱才逃入城中的。而城中的军眷却开始离城，在城外的港口登船后前往琼州，逃离了这危城。而宋军也开始加强城防，收集滚木礌石，搭建战棚，把弩炮都摆上了城头。城外的驻军也纷纷入城，换下了此前维持治安的水军，据说敌水军也前来助战，他们都重新上船，参加巡航保护水道去了。
接下来几天，城池虽然未丢，但形势愈紧张，城外的元军越聚越多，连营十数里，旌旗蔽日，刀枪如林。他们依仗雄厚的兵力连日攻城，迫使宋军全部退回城内，并拆除了架设在晋江上的浮桥，粮食也开始实施配给，从每次放三日粮食，改为一日一。朝廷此时再次布公告，称琼州现在缺少工匠，有一技之长者可以携带家眷前往，待遇参照先期前往琼州的军眷执行，但是不再优先配给田地，只提供住房，保证安置工作。
现在谁都知道鞑子凶狠，攻破城池后往往会屠城，但是会赦免工匠。不过虽然能保住性命，可同样十分悲惨，大多数人都会随军出征，承担制造武器和器械的繁重工作，而待遇却是极低，与奴隶无异，能活