劉武周聽說宋金剛打了敗仗回來，就知道唐軍一定會來攻打并州，于是他立即離城逃往突厥。李世民來到并州城，沒有殘殺一人。接著，李世民攻打晉陽，守將楊伏念連忙投降。

之前，侍郎唐儉和永安王李孝基一同被劉武周所擒，此時，唐儉被釋放了，而李孝基已經被劉武周殺了。李孝基是李世民的堂叔，他的尸首被劉武周扔在了大街上，李世民一邊安葬堂叔，一邊分兵收服周邊的郡縣，很快，那些被劉武周所占據的州縣全部歸屬了大唐。

宋金剛收集殘兵敗將，想要回兵再戰，部下聽說要打仗，全都嚇得要死，再次逃去。沒辦法，宋金剛只好向北逃往突厥，不久之后，又從突厥向上谷（今河北省張家口）逃去，誰知被突厥活捉，腰斬示眾。劉武周在突厥待了幾個月，他想要逃回馬邑，不料被突厥知曉，也把他殺了。

此前，劉武周向南進軍的時候，他的謀臣苑君璋就曾進諫道：“大唐只用很少的軍兵就拿下了關中。他們所向披靡，是天命所為，不是我們人力能爭奪的。太原一帶多險阻，如今我們率孤軍深入，后面又沒有援應，一旦失敗的話，就會前功盡棄。不如北邊跟突厥結盟，南邊跟唐朝通好，這才是最好的計策。”然而，劉武周不聽他的勸告，到了戰敗逃到突厥之時，劉武周才哭著對苑君璋說：“我沒有聽從您的建議，所以才到了如此地步。”

苑君璋和劉武周一起逃到突厥，劉武周被殺，突厥封苑君璋為大行臺，統領劉武周的部眾。后來，苑君璋引突厥攻打代州，被刺史王孝德擊退，唐每每派人招降，苑君璋一再抗命，而且，苑君璋還進攻騷擾馬邑和太原。后來，突厥勢力漸漸衰弱，苑君璋才率領部眾投降大唐，被封為安州都督和芮國公，竟然得以顯貴終身。

且說李世民平定了太原，向朝廷上書報捷，等待下一步的指令。高祖命李仲文為并州總管，唐儉為并州道安撫大使，留下鎮守晉陽，催促李世民班師回朝。李世民奉詔返回京城，高祖對他大加封賞，并且大宴群臣。酒過三巡，李淵對群臣道：“現在薛舉、劉武周兩個賊寇已經剿滅了，此外王薄、郭子和、蔣弘度、徐師順、李義滿、綦公順等也都陸續歸降，只有竇建德、王世充還在負隅頑抗，多次騷擾我邊境。竇建德還虜去了朕的堂弟淮安王和朕的妹妹同安公主，朕不會善罷甘休的。現在朕打算先討伐竇建德，再討伐王世充。”

李世民進言道：“王世充殘虐無情，人神共憤，兒臣愿意先去討伐他，另一面跟竇建德暫時議和，讓他歸還我皇叔皇姑。等把王世充掃平后，再去招降竇建德，如果他肯投誠，那就最好，否則再剿也不遲。”高祖道：“竇建德如果肯歸還我弟妹，我們自當先討伐王世充了。”酒宴結束后，李淵派使臣到洺州和竇建德修好，并要求他歸還淮安王李神通和同安長公主。

原來，李神通為山東安撫大使的時候，曾防守抵御過竇建德。竇建德接連攻陷邢州、滄州、洺州、相州等州城，李神通不能抵抗，跑到黎陽投奔李世勣，并且命慰撫使張道源鎮守趙州。

竇建德率軍來到趙州城下，張道源與總管張志昂登城堅守，但還是禁不住敵軍的猛撲，最終，趙州城被攻破。張道源與張志昂兩人仍在城中巷戰，最終不支，一并被抓。竇建德下令把他二人斬首，國子祭酒凌敬道：“人臣各為其主，他們堅守不下，實在是忠臣。大王如果把他們殺死了，怎么能勉勵自己的臣子呢？”竇建德聽了這活，于是將二人松綁，留在軍中，再引兵到衛州去。

李世勣派騎將邱孝剛，率二百騎兵偵探敵軍的蹤跡，途中跟竇建德相遇，這時，竇建德前隊軍兵距黎陽只有三十里了。邱孝剛善用馬槊，自恃驍勇突擊竇建德，竇建德敗走，后軍前來援助竇建德，邱孝剛寡不敵眾，竟然戰死了。于是，竇建德遷怒黎陽，引兵進攻，黎陽城來不及預防，突然被攻陷。淮安王李神通被擄走，同安公主是高祖的同胞妹妹，本來嫁給了大隋的刺史王裕，客居在黎陽，也被竇建德擄走了。一起被擄走的還有秘書丞魏征，他本來奉高祖的命令去招降李世勣，還沒來得及回去，便也被捉了。李世勣倉促逃走，連家屬都來不及帶走。竇建德捉住了李世勣的父親徐蓋，威逼李世勣投降，李世勣看了父親的信想了很長時間，最終歸降竇建德。

竇建德命李世勣為左驍衛將軍，仍然堅守黎陽，只是留下他的父親徐蓋為人質，并封魏征為起居舍人，禮待李神通和同安公主，之后，他又親自督兵攻打滑州。

滑州刺史王軌正打算守城，誰知竟被怨恨他的家奴刺死，家奴提著他的首級來到竇建德軍前。竇建德問明原委，大怒道：“一個家奴竟然敢殺主人，這簡直是大逆不道。”隨即，竇建德下令把這個奴隸處斬，然后把王軌的首級送回滑州，讓家人將首級和身體合于一處安葬。滑州的官吏和百姓都對竇建德心悅誠服，當日就投降了。此后，滑州附近的州縣也都望風投降竇建德，連豫州大盜徐園朗也寫信來歸降。

竇建德返回洺州。李世勣仍然想要歸降大唐，但是又擔心連累父親，于是，李世勣找老朋友郭孝恪商量。郭孝恪道：“你剛剛歸順竇建德，如果這時只要有所行動，肯定會引起他的懷疑，你只有先立下戰功，取得他的信任，然后才能計劃投奔大唐。”于是，李世勣攻破嘉縣，進擊新鄉，活捉了王世充的大將劉黑闥，并把他押獻給竇建德。竇建德非常高興，封劉黑闥為將軍，并且嘉獎了李世勣。李世勣又請命攻打孟海公所占據的曹州和戴州，竇建德派大舅哥曹旦，率五萬軍兵，去幫助李世勣，并說自己將親自策應。

李世勣聽曹旦說竇建德也要來，就打算等他來的時候，把他殺了，并乘機奪回父親徐蓋和竇建德的土地，歸附大唐。誰知等了好多天，也沒有見到竇建德來。此時，曹旦又侵掠河南，人民怨聲四起，李世勣忍耐不住，率部眾襲擊曹旦的大營，誰知曹旦事先有防備，沒有漏洞可乘。李世勣知道自己不可能再留下來，就和郭孝恪帶著幾十個軍兵投奔了大唐。竇建德聽說李世勣投奔大唐了，不禁長嘆了幾聲。屬下都勸他趕快殺了徐蓋，竇建德卻說：“李世勣本來就是大唐的臣子，只是被我虜獲，如今不忘本朝，也是一個忠臣，我怎么能忍心殺他父親呢？”說完，竇建德就把徐蓋放了。竇建德唯獨與羅藝多次交兵，一直無法打敗羅藝。竇建德的大將軍王伏寶，非常勇猛，在軍中無人能敵，因此免不了有些傲慢，侮辱眾將，大家都很恨他，就誣陷他有謀反之心。竇建德信以為真，要將他斬首。王伏寶大呼道：“陛下為什么要聽信讒言，斬了自己左右手呢？”竇建德認為他這是狂妄自大，還是把他梟首示眾。悍將一失，竇建德接連打了幾個敗仗。正好，這時候大唐使臣來求和，正中竇建德的意，于是，他就把淮安王李神通和同安公主送回了大唐。

一邊，竇建德又帶領二十萬軍兵再次攻打幽州，他仗著兵多將勇，四處架起云梯，鼓動大軍登城。誰知，突然背后冒出一些敵軍，這些敵軍非常勇猛，銳不可當。竇建德的部下在云梯上重心不穩，紛紛向后倒退。城內羅藝又親自率精兵來攻打竇建德。竇建德倉皇失措，來不及收兵，慌忙逃走。那些踴躍登城的將士看到這樣的景象，也下城逃去，腳生得長的，還有幸保住性命，稍遲一步的，就都做了無頭鬼，橫尸城下。

那么，竇建德背后的敵軍是從什么地方來的呢？其實就是城中的二薛，薛萬均兄弟。他們見竇建德大舉來攻，擔心不能堅守，于是，二人組建了一個一百多人的敢死隊，鑿了條地道，潛行出城，偷偷地跑到竇建德的后面一陣痛殺。再加上羅藝出來夾攻，就這樣把竇建德一舉擊退了。

羅藝想要乘勝掃平竇建德大營，誰知竇建德已經召集全軍，填塹出戰，奮力擊殺，最終，羅藝兵寡力單，殺不過竇建德，只好戰敗回城。沒過幾天，竇建德又來圍城，羅藝和薛萬徹、薛萬均等人一邊奮力防御，一邊派人到漁陽請求支援。

漁陽被高開道占據，他自稱燕王。高開道本是滄州人，祖上是制鹽的，乘著隋朝末年北方大亂，占據北平，后來又攻下漁陽。當時，懷戎（今河北省張家口市）僧人高曇晟殺害縣令，占據縣城，自號大乘皇帝，封尼姑靜宣為皇后，建元法綸。高曇晟派使者與高開道結為兄弟。高開道帶領部眾到懷戎，住了三個月后，竟然趁高曇晟不備殺了他，然后把懷戎的軍兵收為己用。隨后，高開道也像模像樣地改歷法，易服色，署置百官。

接到羅藝的求助信，高開道樂得發兵揚威，親自率領二千騎兵去救援幽州。竇建德見有援兵到來，擔心自己重蹈覆轍，于是立即撤軍。羅藝出城迎接高開道，并進城設宴款待，席間，羅藝勸高開道歸降大唐，高開道也非常樂意，欣然樂意。于是，羅藝派人向高祖進表，稱他們愿意歸順大唐。李淵封羅藝為燕郡王，封高開道為北平郡王，都賜姓李姓，二人仍舊管轄原來的領地。

這時，因為與東邊的竇建德通好，弟弟妹妹也都回來了，所以，高祖李淵就派秦王李世民率軍去討伐王世充。

王世充多次侵犯大唐，但都沒有成功，他的將領羅士信、李君羨和田留安反而陸續投奔了大唐。羅士信驍勇善戰，大唐封他為陜西道行軍總管，跟著李世民東征。李世民讓他做先鋒，進攻慈澗（今河南省洛陽市新安縣磁澗鎮）。

王世充聽說唐軍來征討，連忙派自己的兄弟子侄等人防守各城。他又擔心部下叛變，于是頒布了一條非常殘酷的法令：如果有一人失蹤，就把他的全家殺了。然后，王世充親自率軍三萬前去援助慈澗城。

李世民親率領一隊輕騎兵，偵查王世充軍情，誰知半路與王世充相遇，寡不敵眾，竟然被王世充的軍兵團團圍住。李世民英勇非凡，他左右開弓，箭無虛發，射斃了王世充部下幾十個人。王世充的驍將燕琪，躍馬來刺殺李世民，誰知還沒走幾步，只聽箭鏃嗖的一聲，就被射中倒地，被唐軍擒住。王世充知道拿不下李世民，只好帶兵撤退。李世民返回大營，第二天就率領五萬軍兵直奔慈澗，援助羅士信。守城的敵軍聽說李世民來了，全都棄城逃去洛陽。李世民率軍入慈澗城，隨即命各位將士，分道進兵。行軍總管史萬寶，從宜陽南入龍門；將軍劉德威，從太行東圍攻河內；上谷公王君廓，從洛口切斷敵軍的糧餉；懷州總管黃君漢，從河陰攻回洛城。四路偏師，奉命而去。李世民親自率大軍，在邙山以北扎營，步步進逼，并且傳檄各郡縣，快快歸降。

很快，許多州縣都歸降了李世民。洧州長史張公謹與刺史崔樞，舉城歸附，鄧州當地的豪紳，也逮捕了王世充所置署的刺史，當作俘虜獻給了李世民。懷州總管黃君漢一軍，用水軍突襲，一舉攻破了回洛城，又接連攻下了二十多個城堡。

王世充之子王玄應，趕來攻打回洛城，數日不能攻破。于是，王世充只好親自率領精兵，在青城宮列陣，與李世民交戰。

李世民隔河布陣，與王世充遙遙相對。王世充遠遠地對李世民說：“隋朝滅亡，大唐占據關中，鄭帝占據河南（此時王世充已廢掉隋皇泰主，建立鄭國稱帝），我們沒有入侵你們，為什么你們率軍來征討，這是什么意思？”李世民讓宇文士及回答，道：“四海以內，都奉大唐是正統，只有你還執迷不悟，因此前來問罪。”

王世充又說道：“天下大亂已經很多年了，長安洛陽，各有分地，如果我們能共同撤兵，彼此和解，那不是更好嗎？”李世民又讓宇文士及回應道：“我只是奉詔拿下東都，沒有詔令讓我講和，如果你能解甲歸降，就可以保全富貴，否則我們就決一勝負，不必多言！”王世充一直沉默著不回話，兩軍相持到晚上，各自退歸。

這時，顯州（今河南信陽市西北）總管田瓚帶著所有部將和二十五州城歸降大唐。田瓚是楊士林的長史，楊士林擊敗朱粲后，奉表歸順大唐，并獻上漢東四郡版籍，于是，高祖封楊士林為顯州道行臺。然而，楊士林表面上歸順大唐，暗地里卻南通蕭銑，北結王世充。

大唐正打算派兵去征討楊士林，誰知，楊士林已經被田瓚殺了，然后，田瓚投降了王世充。王世充封田瓚為顯州總管。田瓚聽說唐軍大舉來攻，多次戰勝王世充，于是，田瓚又帶著屬地歸降大唐。由于顯州降唐，王世充派遣王弘烈鎮守的襄陽（今湖北襄樊市）與王世充的大軍被割斷。此時，大唐總管史萬寶率軍進攻甘泉宮，王君廓又率軍進攻轘轅，河南一帶恐慌不安，各州縣接連投降大唐。

李世民行軍打仗有個習慣，他每天晚上都要檢查將士。這天晚上，降將尋相突然不見了，他帶來的河東軍兵很多也逃亡了。尋相和尉遲恭是同時歸降李世民的，現在尋相一逃，尉遲恭當然很有嫌疑。屈突通和殷開山等人將尉遲恭拿下，入帳勸李世民，道：“尉遲恭驍勇絕倫，留下他恐怕會有后患，不如趁早殺掉，去除禍根。我們把他捉來了，聽候您的處決！”李世民很驚訝，說道：“你們看到尋相跑了，就懷疑尉遲恭嗎？如果他要跑，一定不會在尋相之后。現在，尉遲恭還在這里，就足以說明他沒有叛變的意思。”說完，李世民就來到帳外，親自為尉遲恭松綁，又引他入臥室內，取出一錠黃金給他，說：“大丈夫要有氣量，小小誤會不要介意。如果你一定要走，這點金子就可以作為你的路費，聊表我們曾經一起作戰之意，我不會因為讒言而加害于你的。”

尉遲恭聽了這番話，連忙拜跪，感激涕泣地說：“大王如此厚待我，我尉遲恭也不是草木，感激不盡，定當誓死為大王效力，只是這黃金確實不敢收。”李世民扶他起身，道：“將軍不嫌棄肯留下來，這點金子就收下。”尉遲恭仍然推辭，李世民只好說：“留著以后賞給你。”尉遲恭拜謝而出。

第二天，李世民率領五百騎兵巡行戰地，又遇到王世充率軍偷襲，敵軍有一萬多人，為首的是單雄信，他手持長槊，向李世民刺過來。李世民連忙拔刀招架，但是刀短槊長，李世民正是手忙腳亂，突然，一員大將殺來，從旁邊橫戳單雄信，單雄信墜馬，被他的部下救走。來將正是尉遲恭，他護住李世民，殺出重圍，轉身又率騎兵迎戰，沖入王世充陣中，左挑右撥，無人能擋。這時候，屈突通也帶兵趕到，來援助尉遲恭，一番激戰，殺了敵軍一千多人。王世充落荒而逃，留下大將軍陳智略斷后。尉遲恭追趕過去，順手一槊，將陳智略擊落馬下，陳智略被唐軍活捉。隨即，尉遲恭收兵回營，進見李世民。

李世民連忙起身迎接，對他說：“大家都懷疑你會叛變，我就認為你不會，沒想到你這么快就證明了誠意。”于是，李世民賜尉遲恭一盒金銀，尉遲恭這才收下。當下，李世民檢驗俘虜，除陳智略外，還俘獲了六十名排矟兵，這些兵士都愿意歸降。李世民把排矟兵安插完畢后，敵將張鎮周也來軍營投誠，李世民都推恩錄用。此后，周圍許多州城聞風而至，都爭相來歸附世民。其中，杜才干以濮州歸降，楊慶以管州歸降，魏陸以滎州歸降，王雄以陽城歸降，王要漢以汴州歸降，徐毅以隨州歸降，接連是許、亳一帶十一個州縣，都來請降。

轉眼間，已經是武德四年，梁州總管程嘉會也率部眾來歸降。李世民又招撫了淮南杜伏威，一同圍剿王世充。杜伏威本是齊州人，與同鄉輔公祏，亡命為盜，在江淮一帶出沒，后來，他占據歷陽，自號吳王。等到李世民招撫，杜伏威就歸附了大唐。杜伏威派部將陳正通和徐紹宗兩人，率二千精兵，前來援助李世民，攻下了大梁（今安徽省和縣）。

李世民又挑選了一支十余人的騎兵，全都穿著黑衣玄甲，分為左右兩隊，命秦叔寶、程知節、尉遲恭、翟長孫四將為偏帥，自己為統帥。每次作戰，世民的玄甲兵就作為沖鋒，無堅不摧。

有一次，屈突通、竇軌等人在巡視軍營時，被王世充襲擊，很是危急。李世民聽說后，連忙率領玄甲兵去營救。玄甲兵沖入敵陣，就像蒼龍攪海一樣，一時間駭浪奔騰，殺得王世充丟盔棄甲，狼狽不堪，逃回了洛陽。

王世充的兒子王玄應，因為一直沒有攻下回洛城，于是移師虎牢。后來，聽說王世充戰敗歸來，他也拼命殺回了洛陽。

李世民派宇文士及返回長安，奏請高祖出兵圍攻東都。高祖準奏，并對宇文士及說：“回去跟你的秦王說，如果攻下了洛陽，那些乘輿法物、圖籍器械等要奉給朝廷，其他的美女和財物等都可以賜給將士們。”宇文士及奉命，把高祖的話傳給李世民。于是，李世民移軍青城宮，還沒把大營扎好，王世充就率領二萬精兵，在谷水邊據險列陣，唐軍一看這陣勢都有些畏懼。

李世民在北邙山扎下大營，登高遙望，對將士們說：“看來敵軍是傾巢而出，孤注一擲，我今日如果能破敵，那么敵軍就徹底完了。”隨即，李世民召屈突通入帳，讓他率五千軍兵渡河騷擾王世充。臨行前，李世民囑咐他說：“一旦跟敵軍交鋒，馬上燃起狼煙，我一定會親自接應你們的。”

李世民命令將士穿著鎧甲待命，自己瞭望對岸。很快，對岸飄起了一縷青煙，于是，李世民一躍上馬，沖了出去。將士們跟著渡河，魚貫而進，踴躍渡河，與屈突通合力奮戰。李世民想要知道敵陣情況，于是獨自率領幾十名騎兵冒險沖入敵陣，他從陣前殺到陣后，所向披靡。突然，前面有長堤阻住前路，李世民只好轉頭，仍然從敵陣中殺回。

那時，人人都在奮戰，不能顧及彼此，李世民與騎兵失散，隨身只有邱行恭一人。好幾名王世充的騎兵來追擊李世民，并且用強箭射殺李世民。然而，李世民身上好像有神靈護佑一樣，箭都沒有射到他，卻射中了他的馬，馬兒險些兒將李世民掀翻。幸虧李世民已經先跳下馬，才沒有摔倒，但是，那馬匹卻死了。邱行恭連忙回馬接箭，箭一到手，百發百中，接連射死了好幾個敵軍。追兵不敢再前行，于是，邱行恭下馬，請李世民上馬，自己在馬前步行，手執長刀，又砍死了好幾名敵人。邱行恭奮勇突圍后，李世民這才回到大軍，再次指揮作戰。

王世充指揮將士拼死搏斗，兩下里鼓聲大震。兩軍又混戰了三四個時辰，忽進忽退，唐軍屢次沖殺突擊，王世充終于支持不住，領兵退去。李世民乘勝追殺，直奔東都。這時，羅士信已經攻下了千金堡，王君廓也攻下了虎牢城。捷報傳來，李世民興奮地說：“王世充失去兩座險關，已經是甕中之鱉了，洛陽雖然堅固，還怕攻不下嗎？”

于是，唐軍四面圍攻洛陽城，晝夜不停。誰知城中守御非常牢固，大炮打出的飛石有五十多斤重，能打到二百步開外；強弩射出的箭像車的輻條一樣粗，箭頭像刀斧一樣尖利，能射到五百步那么遠。唐軍被大石和弓箭擊著，全都立刻倒地。李世民射書招降，守將幾次想要做內應，都被王世充察覺，殺死了。王世充的部下御史鄭颋想要削發為僧，卻被王世充懷疑，王世充將他斬首示眾。李世民多次攻打，都沒有成功，于是又給王世充發出降書，曉以利害，也不見回信。

這時候，大唐的將士都有些疲憊思鄉，總管劉弘基請求李世民班師還朝，李世民搖頭，說道：“我們大舉來攻打敵軍，為的就是一勞永逸，永除后患，現在東邊的州城已經全部望風歸降，只剩下洛陽一座孤城還沒有攻下。我料想他也不能堅持多長時間，我們很快就能大功告成，怎么能撤兵呢？”于是，李世民下了一道軍令：“洛陽一日不破，大軍一日不還，敢言班師者，斬！”將士們都不敢再說班師之事了。

后來，李世民接到高祖密詔，讓他退軍。李世民派封德彝入朝，囑咐他面奏高祖：“王世充只剩下一城，現在窮途陌路，朝夕之間就能攻下。如果我們現在撤兵，敵軍又會重新振興，相互勾結，以后就更難拿下了。”封德彝領命離去。這時，李世民突然接到東部的警報，說竇建德率十萬大軍前來援助洛陽，管州被攻陷，刺史郭士安遭害，滎陽、陽翟等縣也都失守了。竇建德的大軍水陸并進，很快就要到達這里了。唐軍都非常驚慌，就連李世民也很是猶豫不決。正在疑慮的時候，有人報告：“夏主竇建德遣人送信，現在來使正在外面等候。”李世民說道：“請他進來。”