东路谢玄率领的北府军从5月初开始北上进攻。左路前锋桓石虔攻克项城之后，因桓冲之死而停止进攻，回荆州奔丧。但右路北府军的进攻却没有停止。
5月中，刘牢之率3万前锋军望西北方向进攻，攻入彭城西北梁郡，高平郡，陈留郡。两个月的时间，连克3郡之地，迫近洛阳以东的河南郡。
谢玄率中军5万北进，下任城，克鲁郡，东平郡。
至7月中，北府军不但收复了淮北数个州郡，并且已经将矛头同时指向了洛阳和关东之地，挺进黄河南岸。在两个月的时间里，将大晋的疆域以极快的速度往北推进了上千里。
原本，谢玄是做好了艰难作战的准备的。毕竟北府军之前损失巨大，在补充了新兵之后，整体的作战能力不足，训练程度不够。这1点谢玄是心知肚明的，所以他心中1直保持着谨慎。
但是，北伐发起之后，北府军大军所致，几乎没有遭遇到敌人像样的抵抗。所到之处，敌军少量敌军闻风而逃，城池官员纷纷投诚。这和想象的艰苦作战完全不同，几乎是兵不血刃便占领了地方，小规模的战斗根本无法迟滞大军的兵锋所指。
谢玄突然明白了，为何李徽能够以4万东府军的兵力迅速占领北徐州和青州4郡之地。原来不是李徽有多强，东府军有多么勇猛，而是因为，敌人太拉胯。
整个中原乃至关东以南之地，遭遇的敌人兵马加在1起不足万余。谢玄认为，秦国之前大征兵马南侵，已经令北方人力枯竭，所以导致了这样的结果。敌人没有兵力，所以北府军才能如赴宴1般，从这座城赶到那座城，只要兵马踏足，那片地方便归于己方所有。
这1切，让之前李徽的警告之言仿佛是个笑话1般。甚至有1种故意误导的嫌疑。因为事实便是如此，北府军1路势如破竹，如入无人之境，这便是证明。
在胜利的鼓舞之下，谢玄的心态起了变化。他的警惕之心逐渐放松，取而代之的是心中涌起的雄心勃勃的计划。
之前，即便没有李徽的告诫，叔父谢安在出征之前也向谢玄交代，北伐要适可而止，不可操之过急。谢安和李徽的论调是1样的，1则此刻大晋的兵力不足完全1统北方。2则，为避免司马道子等人的猜忌，北伐之事当适可而止，免遭猜忌。
对谢玄而言，所虑者无非是力量不足，敌军强大。至于后者，谢玄反倒认为，对司马道子王国宝以及新进得势的司马曜的妻兄王恭等人而言，1个强大到他们不敢染指的谢氏才是保证。自己只有率领北府军打出威风打出风采，让所有人都明白，北府军是不可战胜的。才能阻止司马道子王国宝等人对谢氏的心思。也能彻底的让司马曜明白，谢氏有能力做到1些事情，但是谢氏不会做，除非他逼着谢氏去做。
鉴于眼前的情形，谢玄调整了策略。本来攻至黄河以南便已经是极限，但现在，谢玄所想的却不仅仅是眼下的收获了。
7月下旬，谢玄下令刘牢之进攻河南郡，并伺机夺取洛阳。1旦攻克洛阳，便打开了进入关中的大门。当然，谢玄知道，此刻还不是进攻关中的时候，那是下1步计划。在进攻关中之前，要首先解决关东之敌，将盘踞在邺城和北方的慕容垂的兵马消灭殆尽，彻底的占领关东。之后，再集中力量从洛阳往西进攻。
为了实现这个雄心勃勃的计划，谢玄开始了细心的准备。鉴于多年以前桓温进攻关东，在坊头遭遇的粮草物资不济的危机，以至于大败而归的前车之鉴。谢玄1面下令于秋季的枯水期到来之前广运物资粮草做好准备，并且就地开始征发百姓疏浚河道，防止后勤保障不力。
不得不说，谢玄在作战这件事上还是颇为谨慎的，虽然计划宏大，但他并没有激进的立刻进行，而是为此做出各方面的提前的准备。不光是在军事上准备，在物资粮草，甚至还准备了柴薪棉衣帐篷等物资于彭城备用，便是