到了突厥变化，知道裴璟无暇西顾，借着机会就起兵造反了。
刘武周本就是野心勃勃之辈，也想尝一尝这当皇帝的滋味，但凡有一丁点的机会，他又怎么可能放过呢？
所以他发动起兵叛乱，也本就在计划之内了。
农历三月，刘武周攻破楼烦郡，进占汾阳宫，并图谋南下争夺天下。
这个时候，江都的皇帝杨广闻讯后大怒，要提李渊到江都治罪。
在此危急情势下，李世民说：“事情紧急，可以举事了。”
其周围的心腹裴寂、许世绪、武士眜等，也纷纷劝李渊起兵，李渊终于下定了反隋的决心。
于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，在很短的时间里便招到数千人。