胜保挡道韩侯岭，林凤祥愁闷，寝食难安。一晋人进言：“潞城、黎城之间有一小径，循太行东出，可由河南之武安径趋直隶之林洺关。近时商贾皆由此往来，其路甚捷。”
林凤祥大喜，率兵趋南折东，四日时间，翻越太行，径赴直隶之临洺关。
临洺关，保定之门户，距京城八百里。临洺关失，保定危矣。直隶总督纳尔经额不敢怠慢，督驾亲征。
纳尔经额未至，林凤祥已遣人假扮清兵，赚取关门。
纳尔经额亲率兵勇至石碑口迎击，万余官兵激战一日，矢药皆失，仓皇溃退。纳尔经额制止不下，随军狼奔。钦差大臣关防、令箭、军书、资械皆失。
纳尔经额仅带数人逃入广平府城，喃喃而叹：“此之小径，吾有具咨文请山西巡抚守护之时，何不亲顾之？无奈潞城、黎城皆乃山西之地，孰能奈何！”
咸丰帝怒斥讷尔经额：自贼窜怀庆时，节次谕令该督严防畿辅要隘，何以贼踪窜及，一张即溃？且军火器械为兵丁卫身击贼之具，贼匪西窜，该督漫无布置，竟置军械于后，致令如此劲旅徒手御贼，事后归咎车辆不敷，亦已无及。该督调度无方已可概见。速传朕谕，胜保一军，勿再设防山西，即刻驰入直隶，固守滹沱河，阻贼蔓延。
林军奇袭临洺关，获粮资无数，士气大振，休整一日，北攻沙河，斩知县玉衡。1853年10月1日，攻任县。2日，克隆平。4日，再克赵州。5日，又克栾城。林军所向披靡，一日一城，六日时间，攻至滹沱河畔。
林凤祥欣喜，谓李开芳道：“即刻强渡，攻占正定，北趋北京，枭妖首狗头！”
正定知州周公灏不敢懈怠，立集兵勇乡民万余，忽举旗击鼓，喧嚣嘶喊；忽伏于滹沱河岸，声息全无。
林凤祥惑，攻守不定间，胜保追兵已至获鹿。前方水流湍急，后方追兵汹汹。凤祥不敢强渡，遂沿河东进，暂取藁城安身。
李开芳道：“北路，桂良妖儿屯兵保定，正定亦有万余贼民；南路，胜保妖儿亦步亦趋；吾前，滹沱河水势汹涌；林兄务必早定去处。”
林凤祥道：“明日强渡，摆脱胜妖，东攻深州。”
胜保饬令西凌阿马队绕前堵截。
西凌阿道：“林贼狡诈，约十余合之后，常退二三十步，复一拥而进，谓之‘回马枪’。贼每战皆施此计，视官军稍败，则左右之军追上，两军一合，后军随之一围，如连环之式，用长矛混战。我军四千不到，贼军三万有余；郝光甲前车有鉴，烦请大人思之。”
胜保亦知林凤祥悍勇，道：“衔尾而追，以待时变。”
1853年10月7日，太平军自藁城北渡滹沱河，飞驰东进，8日，克晋州，杀举人杨云鳌；9日，克深州，斩知州陈希敬。
深州失，朝野震惊，紫荆城乱如沸粥，士民小绅惊慌失措，达官贵人争相离京。
咸丰帝五味陈杂，提笔朱谕：此诚危机，存亡之秋。然弃大业而出奔，古所耻。谕各省勤王兵，势无及。朕已无他念，必当自笃定。国君死社稷，礼也。与其坐而待亡，不若出而剿贼。唯遣师督兵，战而捷，则长驱直捣，灭此小丑而还。不捷，则深沟高垒，待勤王之师不迟。纳尔经额，督战不力，革职逮治。直隶总督桂良，速出保定府，阻贼北进。江北大营帮办大臣胜保，果勇有为，逐贼有方，特授钦差大臣，赐神雀刀，即督追围诸军，筹划防剿；凡贻误军情者，副将以下立斩以闻。朕之皇叔，爱新觉罗绵愉，特任奉命大将军，颁锐捷刀，坐镇京城。科尔沁郡王僧格林沁，授参赞大臣，颁纳库尼素光刀，统领健锐营、外火器营、两翼前锋营、八旗护军营、巡捕五营及察哈尔各官兵，并哲里木、卓索图、昭乌达东三盟蒙古