隋主楊侗在東都稱帝，本來就是一個傀儡，毫無權力，由王世充專掌朝政。王世充起初假裝謙恭，后來，王世充擅自殺了元文都，又戰勝了李密，于是就非常放肆，漸漸露出了逆反之心。
到了皇泰（隋主侗年號）二年三月，王世充竟然自稱鄭王，加九錫（臣子服飾最高規格）。一個月后，他把隋主楊侗幽禁殿中，自制天子車駕入宮，稱起了皇帝，并改年號為開明，廢掉隋主，封楊侗為潞國公。王世充立兒子王玄應為太子，王玄恕為漢王，其余的兄弟宗族等十九人皆封為王。
這時，程咬金已經改名為程知節，自從李密兵敗后，他就與秦叔寶一同歸降了王世充。一天，他對秦叔寶說：“王世充這個人器量狹小，喜歡胡說八道，種種行為就像個老巫婆，難道還能成為撥亂反正之主？我們跟著他沒有前途，應該找機會離開。”秦叔寶也非常贊同。
這時候，剛好唐驃騎將軍張孝珉等人，率軍來攻王世充，王世充率程知節、秦叔寶等人到九曲城，迎戰唐兵。兩軍還沒有交鋒，程知節就和秦叔寶兩人帶領幾十名騎兵突然向西跑到一百步開外，然后下馬，遠遠地對王世充說：“承蒙您的厚待，我們很想報效，但是您太愛猜忌，并聽信讒言，我們擔心惹禍上身，不便久留，因此告辭了。”
王世充望見他們離去，連忙派人去追，哪知兩人早已上馬，揚鞭馳去，竟然去了唐營。這下，王世充驚得瞠目結舌，他很擔心部將效仿，心想還是返回東都，對部將多加封賞，或許可以穩住軍心。于是，王世充收兵不戰，回到東都去了。
回到東都后，王世充就逼隋主楊侗下禪位詔書，隋主不肯，王世充就把隋主軟禁了。王世充在外面仍然假裝是受禪，并做出三表陳讓和敕書敦勸等一系列假象，其實這都是他一個人做成，隋主毫不知情。
裴仁基和兒子裴行儼本來是李密的部將，后來被王世充擒獲，投降了東都。裴仁基為尚書，兒子裴行儼為大將軍，兩人都頗有威名，因此，王世充對他們父子有所猜忌，而他們二人也心不自安。后來，裴仁基父子與左丞相宇文儒童等人密謀，想要殺害王世充，再擁立隋主楊侗為帝。誰知，有人將此事報知王世充，王世充立即將他們二人殺掉，并滅了三族。
為了斬草除根，王世充派侄子王仁則和家奴梁百年，帶著毒酒，去毒殺隋主。隋主楊侗一直被幽禁在含涼殿，不能自由行動，只能每天祈求神佛保佑。等到王仁則等人來逼命時，楊侗最后拜了一次佛，說道：“從今以后，希望不要再生在帝王家。”說完，他硬著頭皮喝下毒酒，一時還沒有斷氣，被王仁則用絲帶勒死。奇怪的是，潞國公楊侗被毒殺的時候，酅國公楊侑也在長安病死了。
因為沒有平定群雄，唐高祖李淵剿伐安撫并施，想一統天下。忽然，淮安有個土豪叫楊士林，聚集了一萬多人去襲擊偽楚。自稱楚帝的朱粲，性情殘暴不仁，部眾都對他很有成見，現在突然聽說有外兵攻打過來，朱粲的部下一下子逃了一大半。
朱粲率領親兵來到淮源，跟楊士林交戰，沒多久，朱粲又戰敗了，連忙逃到菊潭（今河南省西峽縣丹水鎮）去了。這時，朱粲的手下已經不到一百人，眼看著當不成皇帝，他只好派人入關，向唐主李淵請降。于是，李淵封朱粲為顯州道行臺，加封楚王，并派散騎常侍段確執旄節，前去慰問。
段確來到菊潭，朱粲準備美酒佳肴來款待他，對他非常殷勤。這位段欽使很喜歡喝酒，對著杯中物，就像螞蟻趨附羊肉一般，一杯還沒喝完，又來一杯，接連喝了數十杯，不知不覺就發狂了。他沒有把嘴巴管好，當下笑著對朱粲說道：“聽說你喜歡吃人肉，究竟人肉是個什么味啊？”
朱粲聽了這話，就知道他是有意嘲笑，心里很是憤怒。原來，朱粲之前確實吃過人肉，而且他專門擄婦女和嬰孩來吃，他曾對手下說：“世間最美味的食物莫過于人肉了，只要有人，哪里還會挨餓呢！”因此，他每攻破一個州縣，就會把糧食燒毀，一點都不覺得可惜。聽到段確嘲笑自己，朱粲不禁勃然大怒，道：“人肉最美，喝醉酒的人肉，那就更加可口了，就像糟制的豬肉一樣。”段確大怒，罵道：“狂賊狂賊！你今天來歸降，不過就是我們唐主的一個奴隸，你還想吃醉人肉啊？”
這時，朱粲也喝多了，他把眼睛一瞪，道：“把你吃了又怎樣！”話一說完，朱粲就派左右手下拿下段確。段確的隨從只有幾個人，根本招架不住，很快就被他們陸續捆住。朱粲一刀一個，把他們全都殺死了，然后，朱粲吩咐軍士把他們洗涮干凈，煮熟后大家飽餐一頓。然后，他又索性將菊潭縣的百姓全都殺了，然后跑到東都投降王世充，王世充封他為龍驤大將軍。
聽說段確被煮著吃了，唐高祖頓時非常生氣，想要立即發兵討伐朱粲。隨即，李淵又接到軍報，說朱粲已經投奔王世充去了。于是，高祖召集群臣商議，群臣都認為王世充那邊勢頭正強，短時間內是不可能剿滅的。群臣提議先儲備糧食，養精蓄銳，等到兵精糧足再出師。
于是，高祖制定了租庸調法。此法以人丁為本，按田地多少收租，按人頭服徭役，按戶繳納實物稅，再根據實際情況酌情定額。高祖又編制了十二支軍隊，分別駐扎關內各州府，部隊都以天星為名。每支軍隊設正、副將領各一名，沒有戰事的時候監督耕作，有事就出戰。漸漸地，大唐兵精糧足，國力強盛起來。
這時，宇文士及還在濟北，他妹妹曾嫁到大唐為昭儀，很得高祖的歡心。高祖一直對宇文士及很好，還封他為上儀同。還有以前的隋臣封德彝，他跟宇文士及同時入朝，高祖剛開始不是很喜歡他，覺得他很奸詐不忠誠，但是，封德彝察言觀色，迎合高祖，謀求仕進，因此，很快被高祖封為內史舍人，后來又升遷為侍郎。
唯獨戶部尚書劉文靜，最初因為輔佐高祖創業有功，很得高祖寵信，后來，涇州一戰，因為違抗命令導致戰事失敗，劉文靜被定罪削去官職。后來，劉文靜跟隨李世民平定隴西之后，被恢復爵位，封為尚書。
劉文靜自恃有才，覺得自己官職低，很不滿意。并且，因為裴寂被封為右仆射，官職比自己高，但是功勞卻沒有自己大，于是更覺得憤憤不平。平時，劉文靜和裴寂談論政事，多次產生摩擦，兩人生出嫌隙。這時，劉文靜家里多次出現怪物，劉文靜的弟弟劉文起就找了個巫師驅邪，巫師披著頭發含著刀，念咒畫符非常熱鬧。劉文靜有個小妾因為失寵心生怨恨，竟然讓兄長上書，誣告劉文靜兄弟大興巫盅之事，想要謀反。
于是，高祖讓裴寂前去查明真相，這真是冤家碰著對頭了，裴寂將劉文靜屈打成招，打入大獄，定了死刑。秦王李世民向高祖求情，說道：“以前在晉陽，劉文靜第一個想出起兵造反的大計，告訴了裴寂，裴寂才依計行事。后來，入關后，劉文靜和裴寂兩人受到的恩寵懸殊很大，因此劉文靜有怨言是可以理解的，至于謀反的事肯定不會有的，應該賜恩赦罪，這才對得起他當年獻計的功勞啊！”
聽了這話，高祖一直猶豫不決，這時，裴寂又上殿奏道：“劉文靜才華謀略過人，但是為人陰險狡詐，如今天下未定，如果留此人，必為后患。”高祖竟然點頭同意，隨即下令拿下劉文靜兄弟，推出斬首。劉文靜臨刑前長嘆道：“飛鳥盡，良弓藏。這話果然不假啊！”劉文靜死后，裴寂更加得高祖寵愛。
忽然，從晉陽傳來急報，說劉武周多次攻打并州，乞求派兵增援。于是，高祖命裴寂為晉陽道行軍總管，輔助太原都督齊王李元吉堅守并州。
裴寂奉命離京，正好碰到一隊人馬，押著一個草頭王，入京獻俘。這時，城門內外，一出一入，到處是金戈鐵馬，旌旗飄飄，十分威武。
這俘虜就是河西的李軌。李軌本是涼州人，他樂善好施，鄉親們都很擁戴他，被任命為武威司馬。自從看到薛舉占據金城，稱霸一方后，李軌也想要乘勢稱雄。于是，李軌結交各路英雄和西北胡人，攻下內苑城，自稱涼王。
薛舉派軍兵攻擊李軌，反而被李軌的軍兵打敗。李軌接連攻下張掖、敦煌、西平、枹罕等州郡，占據河西一方。
李淵想要征討薛舉，派人傳信李軌，稱他為從弟，讓他幫助。李軌很是高興，派弟弟李懋入朝受命，李淵封李懋為大將軍，封李軌為涼王，兼涼州總管。
哪知李軌已經僭號稱帝，改年號為安樂，唐使張俟德來時，李軌居然南面召見他，張俟德據理力爭，他才稍微禮貌些。李軌私下與群臣商議，道：“李氏已經占據天下，大勢所歸，我不如削去帝號，接受他的分封吧。”
尚書右仆射曹珍道：“我們大涼已經自為一國，為什么還要再受他人的冊封呢？如果一定要以小事大，不如學蕭詧事魏的例子，對梁稱帝，對魏稱臣。”李軌點頭同意，道：“這個計策非常好。”于是，李軌作表謝唐，派左丞鄧曉跟張俟德一起入朝奉表。
一看表文，開頭二句是“皇弟大涼皇帝李軌，奉表兄大唐皇帝陛下”，高祖不由地非常氣憤，說：“李軌稱朕為兄，那就是明擺著不守君臣之禮了！”
當下，高祖把鄧曉打入打牢，并傳書吐谷渾，讓他起兵攻打李軌。吐谷渾為鮮卑支族，起源于西域，隋朝時，吐谷渾時叛時服，變亂頻繁。隋煬帝曾派兵征討，部落酋長伏允兵敗，逃奔黨項。伏允有個兒子順，曾在隋朝做質子，留居長安，隋末大亂，伏允收還故地，唐高祖與他連和，讓他的兒子回去，伏允非常高興，表示愿意向唐進貢。因此，吐谷渾得到高祖的命令后，酋長伏允就立即發兵進逼河西，李軌不得不出兵防御，國內難免空虛。
李軌有個部將名叫安修仁，被李軌封為戶部尚書，他與吏部尚書梁碩不和，李軌的兒子李仲琰也因梁碩居功自傲，跟他不和。于是，李仲琰跟安修仁勾結，誣陷梁碩，李軌聽信他們的話，竟然將梁碩毒死了。梁碩經常輔助李軌，多有功勞，自從梁碩被毒死后，其他臣子都很疑懼，生了二心。安修仁的哥哥安興貴在唐為官，經常跟安修仁通信，因此得知河西的虛實，于是，安興貴上書唐廷，愿意奉詣到涼州招降李軌。
高祖問安興貴：“李軌占據河西，自稱皇帝。你靠口舌就能把他勸服嗎？”安興貴答道：“臣老家在涼州，在當地頗有威望。弟弟安修仁現在在李軌手下做事，很得李軌的信任，如果李軌肯聽臣勸說，那就好辦，否則臣就伺機把他殺了，也能成事。”
于是，高祖派他西行，沒幾天就到了涼州，經過安修仁替他安排后，安興貴被李軌封為左右衛大將軍。安修貴勸李軌，說道：“涼州偏僻，財力凋敝，雖然有十萬軍兵，無險可守，很難成事。且涼州西北與戎狄為鄰，不是跟我們同族，一定是我們的隱患。如今唐王室占據京師，平定中原，戰必勝，攻必取，一統天下就在眼前。如果我們現在以河西之地歸降大唐，大唐必定會世代封我們爵位，就是漢朝的竇融，也不能跟我們相比的。”
李軌遲疑一會兒，憤憤不平，說道：“唐王室在東邊稱帝，我難道就不能在西邊稱帝？你今天從東而來，莫非是為唐做說客的嗎？”安興貴連忙解釋道：“古人有言，‘富貴不歸故鄉，如衣錦夜行。’我是因此而回來的。如今我們兄弟倆都受到你的器重，委以重任，我怎么敢有異心呢？這只是我的愚見，說說而已，可行與否，仍由您來決定！”李軌這才沒說什么。
安興貴退出，隨即與安修仁暗地里聯絡西北胡人，里應外合，攻破了大涼城。李軌戰敗被擒，被安興貴兄弟押入京城。高祖覺得李軌太倔強，下令把他斬首西市，并封安興貴兄弟為左右武侯大將軍，各賜田宅和財物。河西平定，總計李軌興亡，只有三年。原大涼左丞鄧曉被釋放出獄后，入朝謝恩，手舞足蹈地向高祖表示慶賀。高祖非常嚴肅地說：“你不是涼國的使臣么？怎么你國亡主死都不感到傷心，反而來取悅朕，真是奸佞啊！你是李軌臣子，這么不忠心他，難道肯忠心朕么？”話說完，就把鄧曉斥退，鄧曉紅著臉退下了。
關西基本太平了，高祖正要銳意東征，偏偏一波才平，一波又起，毗陵（今江蘇省常州市）又冒出個沈法興，自稱梁王，李子通也在江都自稱吳帝。最猖獗的是劉武周，他多次侵犯并州，齊王李元吉抵擋不住，李淵派行軍總管裴寂前去增援，以為他老成練達，必定能取勝，誰知他一敗涂地，反而把晉州以北的城鎮全都丟掉了。齊王李元吉聽說戰敗了，嚇得要死，連夜攜妻妾奔還長安，好好一座太原城，平白地讓給了劉武周，險些兒將河東一帶也拱手讓人了。
話說劉武周怎么這么厲害呢？劉武周祖籍瀛州，后來跟著父親劉匡遷居到馬邑。劉武周從小善于騎射，喜歡結交各路豪杰。他的哥哥劉山伯曾批評他道：“你什么人都結交，肯定會給我們家帶來滅門禍患。”
劉武周來到洛陽，投入隋太仆楊義臣帳下，后來，又跟隨隋煬帝征遼，被封為校尉。不久，劉武周返回馬邑，太守王仁恭欣賞他的驍勇，讓他統領帳下軍兵，侍奉左右。時間一長，劉武周與王仁恭的侍女有染，他擔心事發被誅，索性先下手為強，于是，劉武周暗地里結交當地地痞流氓，合謀把王仁恭殺了，然后提著腦袋在城中招搖，卻沒有人敢動他分毫。
后來，劉武周開倉放糧，召集烏合之眾一萬多人，自稱太守。隋雁門郡丞陳孝意、虎賁郎將王智辯一起去攻打劉武周，都被他擊敗。劉武周還乘勝殺進汾陽宮，搶了大批宮女獻給突厥，突厥回贈他很多良馬，還贈了一面狼頭大旗，立他為定揚可汗。于是，劉武周干脆自稱皇帝，改年號天興。
當時，易州（今河北省易縣）賊帥宋金剛有一萬多人馬，并與魏刀兒勾結。魏刀兒被竇建德滅掉后，宋金剛前去增援，也被竇建德擊敗，于是，宋金剛帶領殘眾投奔劉武周。劉武周大喜，封他為宋王，委以兵權，宋金剛很是感激，愿意為劉武周效勞。劉武周有個妹妹到了適婚年齡，正在找對象，宋金剛休了糟糠之妻，毛遂自薦，劉武周也有意籠絡，就把妹妹嫁給了他。
宋金剛勸劉武周進攻晉陽，向南爭奪天下。劉武周封他為西南道大行臺，統兵三萬向南出擊，一連攻下了榆次、介州，接著又進攻并州及太原。唐左武衛大將軍姜寶誼、行軍總管李仲文率兵前去剿殺，都被宋金剛擒獲。姜寶誼被殺，李仲文逃回。
齊王李元吉一再向高祖告急，高祖派裴寂前去增援。裴寂率軍來到介休，在度索原駐營，飲用山澗溪水。宋金剛把上流的水遏住，裴寂的大軍無水可飲，只好到別處駐營，倉促間被敵軍偷襲，竟然全軍覆沒。裴寂花了一天一夜的時間，逃到晉州，李元吉很是擔心，召司馬劉德威商議，劉德威也沒有辦法，勉強說了一個“守”字。李元吉假裝囑咐劉德威道：“你率老幼百姓守城，我領強兵出戰。”劉德威唯唯聽命。誰知，李元吉借口出兵，夜里帶著妻妾，一溜煙逃歸長安了。
于是，宋金剛攻入晉州，劉武周攻入并州及太原。行軍總管裴寂，節節敗退。敵軍直逼絳州（今山西省新絳縣一帶），攻陷龍門，沒過多久，又攻陷澮州，澮州附近的虞州和泰州局勢也變得很緊張。裴寂不但沒有設防，反而不斷催促州吏將城外的百姓趕到城內，并放火燒了他們的家產。百姓怨聲四起，都想造反。夏縣縣民呂崇茂，乘勢聚眾造反，響應劉武周，自稱魏王，四出劫掠。裴寂接連收到警報，只好出兵剿伐呂崇茂，偏偏部下都不耐戰，一經對壘，就想逃跑。呂崇茂率軍殺來，裴寂大軍敗退，紛紛逃散。裴寂也飛馬逃回，沒辦法只好再上奏求援。高祖一面命令永安王李孝基和陜州總管于筠，內史侍郎唐儉等人去幫助圍剿呂崇茂，一面又發出手諭，讓關中守將嚴行防御，所有河東一帶暫時放棄。
這道手諭一下，惹得秦王李世民非常生氣，當即憤然上奏，道：“太原是我們霸業的根基，國家的根本。河東物產豐富，京城全靠這里供給，如果我們因為打了幾次敗仗，就輕易放棄，恐怕河東不保，關西也保不了多久了。兒臣愿意領三萬精兵，去征討劉武周，一定能拿下賊人，收復汾陽和晉陽。”于是，高祖調集關中所有的精兵良將，歸李世民調配，征討劉武周。
武德二年十一月，李世民率軍來到龍門，正好碰到河水凍成了堅硬的冰，于是，大軍踏冰渡河，很快到了柏壁，柏壁前方就是敵營。敵軍的主帥就是宋金剛。李世民選擇了一處險地，駐扎軍營，堅守不戰，只是傳令各郡，讓他們補給軍需。各郡官吏都在觀望，聽說李世民是主帥，都爭著來趨附，并陸續運來糧食。
李世民休兵秣馬，只命令小部分軍兵騷擾敵營。敵進我退，敵退我進，惹得宋金剛非常生氣，率部眾來攻擊。李世民仍然按兵不動，只用硬弓強矢接連射去，一名驍將應聲倒地，沒辦法，宋金剛只好退兵。李世民照舊騷擾。
這時候，李世民接到夏縣戰敗的消息，說永安王李孝基等人全軍覆沒，李孝基等人都被擄去。李世民非常惱怒，大聲吼道：“賊人有這么厲害嗎？等我親自去會會！”話還沒說完，有兩位將軍入帳，道：“此處不方便轉移軍隊，只要由末將等人前去，就可以把他們拿下。”李世民一看，原來是兵部尚書殷開山和行軍總管秦叔寶，便大喜道：“二位將軍既然愿意一起去，那肯定比我去還要好。現在敵軍已經獲勝，肯定會撤軍返回的，你們最好是中途襲擊，攻他無備，一定可以得勝。”
兩位將軍領命出發，途中得到消息，原來，劉武周的部將尉遲恭、尋相幫助呂崇茂夾攻唐軍，才導致李孝基等人戰敗。敵軍已經捉了李孝基等人向澮州去，快要到美良川了。兩位將軍當下命令大軍快速前行，趕到美良川的時候，尉遲恭等人率領人馬正渡河，剛渡了一半，兩位將軍立即指揮部隊兩邊夾擊，就算尉遲恭再怎么驍勇，也是沒用，不一會兒，他的部下就潰不成軍了。
唐兵東劈西斬，前刺后戳，殺了敵軍二千多人才收兵。然而，尉遲恭等人還是逃走了，李孝基等人也沒有救回。兩位將軍擔心窮追會有意外，于是撤回大營。李世民給兩位將軍記了大功，但還是堅持據守不戰。將士們多次請戰，李世民解釋說道：“宋金剛孤軍深入，兵精將猛，速戰速決對他有利。我軍養精蓄銳，就是為了避開他們的銳氣，等他們糧食吃完了，自然就會撤軍的，到那時我們再去追擊。”從此，兩軍相持，竟然持續有一年多的時間，直到武德三年。
劉武周率軍攻打潞州，被唐將王行敏擊退，轉而攻打浩州，又被唐將李仲文、張綸等擊走，接連吃了敗仗，軍威大挫，傷亡慘重。宋金剛的銳氣也漸漸地衰弱，糧食供給不來，只好率軍向北逃去。李世民帶兵追擊，一天趕了二百多里，來到高壁嶺，卻發現只有少許敵軍，不值得唐兵一掃。將士請求駐軍等糧，李世民沒有答應，餓著肚子一路趕到雀鼠谷，這才追上敵軍。宋金剛邊戰邊逃，跟唐軍交鋒了八次，都被李世民殺敗，連俘帶斬敵軍好幾萬人，宋金剛落荒而逃。李世民已經三天沒有卸下盔甲，兩天沒有吃飯，軍中只剩下一只羊，他命令把羊煮了分給將士吃，稍稍緩解饑餓之后，繼續領兵向介休追去。
宋金剛逃到了介休城，還有軍兵二萬人。看到唐軍殺來，宋金剛大軍開門出戰，背對著城列陣。李世民讓前軍應戰，自己率后軍繞到敵軍后面，夾擊宋金剛。宋金剛大敗，騎馬逃走。李世民追擊了幾十里，殺了敵軍三千人，而尉遲恭、尋相等人還在堅守介休城，于是，李世民派人前去招降，兩人當即歸降。尉遲恭的部下有八千人，李世民把他們分散到各營中，并封尉遲恭為右府統軍。屈突通擔心尉遲恭叛變，多次提醒李世民要小心提防。李世民道：“我這才剛剛喜得良將，您就不要繼續說了！”
沒過多久，陜州總管于筠從敵營逃回，他向李世民報告，說劉武周在并州，現在已經窮途末路，想要向北逃去。李世民立即率軍向并州進發。唐軍來到城下，城門已是大開，劉武周早出城逃走了。