为攻城增加了极大的难度，亦是让李阀众人的心头蒙上了一层阴影。
李渊立身在大帐前，听着帐篷上哒哒哒的大雨砸落声，倍感头疼，他生性犹豫，起兵是李世民和裴寂等人施展手段，箭在弦上不得不发，起兵之后，面对这增加难度的战事，李渊再一次犹豫起来，是否该退回太原呢？
暂且等等吧，或许等上几天，大雨就停了。
李渊抱着这样的心态，可惜上天并不会因为他的想法而改变，纵然是天子，也绝非心想事成，何况李渊还不是天子。
大雨是一阵一阵的下，却一直没有停过，道路泥泞不堪，士兵们多有抱怨，每日湿漉漉的，十分难受。
最关键的是粮草不多了。
这使得李渊下定决心撤兵返回太原。
他召来裴寂、刘文静等人，说出自己的想法。
“太原被刘武周、梁师都觊觎着，我们不能一直在霍邑这边逗留，尤其是眼下大雨连绵不绝，道路断绝，如果我们被宋老生袭击，一旦战败，太原有破灭之危险。”
“我想先行返回太原，等到明年再攻打霍邑，你们看如何？”
李渊环视众人，缓缓讲出自己的想法，等待众人的反应。
刘文静沉思不语，裴寂稍稍思索后，便认真说道：“大人考虑的不错，关中一时片刻拿不下无所谓，但太原不容有失，否则我们无家可归。”
“既如此，我看就由大人下令，我们班师返回太原吧。”
眼见得裴寂同意自己的想法，李渊立刻信心倍增，他很高兴裴寂支持他，从起兵以来，他就发现裴寂这个老搭档十分了解他，总能切中他的想法，与他配合默契。
“文静呢？”
李渊看向刘文静，他象征性的询问，刘文静眉头紧皱，他其实不太赞成退兵，毕竟眼下大军到霍邑，还未攻城就退走，对士气打击只怕极重。
只是他又暂时想不出来破局之法，这个时候如果仍然反对李渊的意见，那就是犯了朝堂大忌，会被李渊记恨。
于是，刘文静也道：“大人决断周全，我觉得既然要退兵就抓紧退走，否则被宋老生摸中我们的虚实就不好了。”