曾国藩接咨，回曰：润芝多虑，安庆之围，绝不可撤。曾国荃、多隆阿、杨载福、韦俊等围城打援，已近年余，城垣弹指或破，岂可前功尽弃！陈贼玉成，野战尚可；武昌城高墙厚，陈贼攻坚甚难。李匪世贤自休宁、徽州围攻祁门不成，已自皖南入赣，攻战婺源；复斩我大将陈明南，大败王开琳部；吾若渡江，左宗棠自成孤注，皖南必失！
赵烈文道：启禀涤帅，陈狗玉成的确悍勇，大江南北，唇齿相依，或可先北后南。
曾国藩道：武昌城高，胡润芝多虑。李匪世贤十万悍军麇集婺源，不特祁门之粮路接济已断，即景德亦无粮路，余等与左公俱在围困之中，祁、休等处军心方欲动摇，此时北渡，吾必分崩离析；待武昌事定，须求北岸分兵一助南岸耳。
国藩言语间，探子急报：李匪世贤阵斩皖南镇总兵陈大富，攻占景德镇。左宗棠难扼其锋，败退乐平。李匪世贤率军四万，直奔祁门而来。
曾国藩惊悸，急道：左季高如何？伤否？
探子道：左宗棠无恙，现被李尚扬逆匪困围乐平。
曾国藩道：速传吾令，鲍超霆军，停追李秀成匪部，火速回援乐平；此令十万火急。
景德镇失，粮道被阻，曾国藩强作镇定，速召众将，曰：黄匪文金、刘匪官芳、古匪隆贤等，皆被打垮；李匪世贤，虽攻占景德，然已是强弩之末。吾令，祁门、黟县各军，速聚休宁，围攻徽州；徽州得，即可断李匪后路，届时，会合左宗棠、鲍超二部，两面夹击，彻歼李匪。
1861年4月13日，曾国藩亲临休宁，指挥攻击徽州事宜。
9000湘军，兵分两路，西路以副将唐义训为主，副将沈宝成、同知朱声隆辅之；北路以开归道张运兰为主，副将娄云生、参将杨镇魁、张应超辅之；两路大军，东西呼应，二攻徽州，均无进展。忽有倾盆暴雨，连注一日，徽城守军乘机反击，湘勇无备，四散而去。
李世贤再接再厉，速偕徽州得胜之军，合击祁门大营。
曾国藩困守祁门，粮断援绝，湘勇屡有哗变，国藩惊惧，熬煎益急，上吊自裁，被幕僚欧阳兆熊救下。
国藩叹曰：即此不死，营破亦死！
国藩言罢，致书其子曾纪泽：余通籍三十余年，官至极品，而学业一无所成，德行一无可许，老人徒伤，不胜悚惶惭愧。今将永别，特立四条以教汝兄弟。一曰慎独则心安。自修之道，莫难于养心；养心之难，又在慎独。二曰主敬则身强。修己以安百姓，笃恭而天下平，敬之效验也。聪明睿智，皆由此出。三曰求人则人悦。若但知私己而不知仁民爱物，是于大本一源之道已悖而失之矣。四曰习劳则神钦。此四条为余数十年人世之得，汝兄弟纪之行之，并传之余子子孙孙。则余曾家可长盛不衰，代有人才。
左宗棠退防乐平，痛定思痛，急谓众将道：侍逆兵锋甚盛，祁门大营，摇摇欲坠。吾等若不拼死一搏，亦将全灭！
降将黄少春道：李逆尚扬，与侍逆同姓，侍逆甚相倚重。然其甫一小挫，辄丧肝胆。吾率一队，直取其首，逆军必溃。
左宗棠道：沧海横流，方显英雄本色！黄将军勇武，即擢中军游击；明日全军围击，先挫逆匪戾气；后日且看黄将军于万军丛中斩取李尚扬首级。
4月15日，左宗棠集合全军，围攻城外太平军。李尚扬不敌，败退桃岭。翌日，黄少春跃马挺矛，杀奔李尚扬营帐。尚扬亲兵拦阻，皆被矛戮。李尚扬胆怯，不敢再战，策马逃遁，其下部卒，随之溃奔。左宗棠挥军追击，斩杀三千余众。
李尚扬部溃败，李世贤不敢等闲视之，即令全军，暂弃祁门，返攻乐平。4月19日，李世贤率军四万，号称十万，再战桃岭，力挫楚将