袁煕，袁尚投奔烏桓之后，高干率并州一眾降于曹操，曹操仍以其為并州刺史。高干，人如其名，十分能干。在袁紹任人唯親下，四個兒子駐守在外卻只有老大袁譚、老二袁煕，其次便是高干這個非子嗣。可見，高干之能力。尤以在官渡之戰、蒼亭之戰、關中征戰后，潰敗的袁紹軍團中以高干的軍隊保持得最為完整，精銳部隊仍有五萬人，作戰能力很強。當時，袁譚，袁尚，袁煕誰又打的過他，自立是必然。

建安十年四月，繼高干投降以后，勢力盛于一時的黑山軍首領張燕亦率其眾十余萬人投降曹操。曹操封其為安國亭侯。黑山軍說強不強，說弱不至于。自黃巾起義爆發至今已有二十一年，黑山軍前身便是黃巾軍，生存能力可見一斑。董卓未能剿滅，公孫瓚未能剿滅，袁紹未能剿滅，曹操未能剿滅。反而，黑山軍與各勢力處于一種合作與對抗的微妙狀態。

曹操在得到黑山軍后，便感懷十三年前收編青州黃巾軍時，實力爆漲的時候。那時，曹操三十七歲，憑借青州軍剛剛發家。而如今十數年已過，曹操已然半百知天命的年紀，坐擁北方大半。

在張燕投降后，曹操特意叫來張燕，問他今后這幫兄弟交給誰？十余萬黑山軍的安置，曹操也是很難有所決定。想當年收編青州軍七萬，遣散三十萬余萬，三十多萬人的安置，僅僅據有兗州的曹操當年是任自離去。如今北方都是曹操的，任自離去不可能。

黑山軍首領張燕只是說道，“這幫兄弟對我很仁義，然而隨著時間的流逝，我們更像一伙土匪，背離人德，無人相投，便會一步步走向末路。當然，走向末路還很遙遠，這個時間還很早。但就如今黑山軍中，十數萬的兄弟和他們的家人，我不能給他們安穩的生活不說，也不能保證他們的生活物資。我什么都做不到，在如今北方，曹公必將代表朝廷統一北方，所以我愿投降于你。”

曹操表面夸贊道，“真義士也。”心里則道，不是你張燕勢力不夠大，而是你落草為寇，倍受排擠。因為你不是世家子弟，上不得政治臺面，追隨你的不過是烏合之眾。因為你不是世家子弟，占據城池，卻無能治理，最后只不過曇花一現。終要投靠世家，借此洗白自己的賊兵身份。不盡讓人唏噓那個時代，軍閥是世家的走向，賊寇才是百姓的命運。

當時，袁煕、袁尚委身于烏桓之中后，希望借助烏桓的實力，“復圖中原”。而烏桓首領蹋頓亦希望借助二人的聲勢，籠絡漢族民眾。當時，袁尚、袁熙兵敗后，脅迫冀、幽二州軍民十余萬戶投奔蹋頓。蹋頓得以指揮烏桓和漢族人口多達30余萬，史稱蹋頓“以雄百蠻”。

同年夏，幽州動亂，烏桓來襲。遼西、遼東、右北平三郡烏桓攻略獷平，圍攻左度遼將軍鮮于輔（原幽州牧劉虞從事，后官至輔國將軍）。鮮于輔不敵，請求曹操派兵相助。然而曹操還沒來，幽州涿郡人趙犢、霍奴等聚眾起事。時任幽州刺史的焦觸，不敵被殺。

是秋，接到急報的曹操親自率軍進討，擊斬趙犢、霍奴等人。接著，渡潞河，援救獷平。鮮于輔與曹操里應外合，烏桓不敵，逃奔出塞。這年十月，高干乘曹操征討烏桓之機反叛，執押上黨太守，派兵屯守于上黨郡治所壺關，防備曹操。曹操欲追擊烏桓，卻得到后方生變的消息，高干反了，曹操率軍返回許都。

同時，河內太守張晟，率眾萬余人，起兵以應高干，并屯兵澠間，交連劉表，弘農太守張琰亦起兵以應。為防止河東繼而生變，河東太守王邑被調往許都，原西平太守杜畿接掌河東，然河東郡掾衛固率兵以應高干，杜畿不能上任。關西生變，司隸校尉鐘繇上書，“曹公勿憂，關中有我一人足矣。”同年，鐘繇率領馬騰等軍閥，十分順利的剿滅三人叛亂。

可見，鐘繇鎮關中，為曹操省了多大的心，換任何人也做不到，帳下五大謀士程昱、荀彧、郭嘉、荀攸、賈詡，只是謀士。領出來鎮守一方，程昱可守一地，荀彧可安民心，郭嘉則不能治，荀攸則會是諸侯，賈詡則是自保不能治。若叫他們震懾關中，實無力也。只有鐘繇，才是司隸的老大。

而面對此次反叛的主力――高干，曹操遣大將樂進、李典進擊。高干拒壺關而守，曹軍不能進。壺關，據太行而設險，南有天井關，東有壺關口和壺口關，地理形勢十分優越。面對這種天然的守關優勢，樂進也是叫苦不迭。雖然，連搠高干，連斬了高干幾名大將，依舊攻不破關口。

高干據關退守以后，樂進、李典二人更是毫無辦法。任憑叫囂辱罵，就是不出關。任曹軍筑土城居高而攻，還是挖地道以潛攻，高干自是巋然不動。三月以來，久攻不下，曹軍疲憊。而高干的并州軍勢氣依舊旺盛，有充足的糧草接應，何懼久戰？曹軍都生出退意，奈何后方曹司空嚴命，只得相持于壺關口，雙方盡皆按兵不動。

壺關圍而不下的消息使曹操很是焦急，曹操問計郭嘉如何，郭嘉說道高干必須鏟除，否則無法進軍烏桓，進而攻滅袁氏，統一北方。曹操聽之。遂于建安十一年春節過后，曹操便親率大軍北上太行山，決心攻下壺關這個堡壘，拔掉高干這個橫在他統一北方道路上的這顆釘子。

曹操從鄴城起兵，途中要經過太行山的羊腸坂，道路十分艱險。他的樂府詩——《苦寒行》就是在這個時候寫的：

北上太行山，艱哉何巍巍！

羊腸坂詰屈，車輪為之摧。

樹木何蕭瑟，北風聲正悲。

熊羆對我蹲，虎豹夾路啼。

溪谷少人民，雪落何霏霏。

延頸長嘆息，遠行多所懷。

我心何怫郁，思欲一東歸。

水深橋梁絕，中路正徘徊。

迷惑失故路，薄暮無宿棲。

行行日已遠，人馬同時饑。

擔囊行取薪，斧冰持作糜。

悲彼《東山》詩，悠悠令我哀。

一路艱難，一路悲苦，盡在詩中展現。待曹操到了壺關口，命人叫來樂進，“你知不知道，你為什么攻不破壺關么？”樂進道，“不知。”曹操接著道，“你不會用計，只會聽命行事，馳騁沙場。于是，我便來了，早知道應該讓奉孝或是公達跟著你們，就不會如此之久，破不得壺關。”

不久，曹操召集文武于壺關，“他高干不是厲害么，臧霸、鐘繇都敗過他，投降了又反復，真是找死。待城破之時，盡皆坑之！”曹仁連忙進諫說：“圍城，一定要給敵人留下一道活門，以表示他們還有生路。而現在，明公下令城破后，他們一定得死。他們被您逼得沒有退路，人人都會拼死防守。加上壺關城池堅固，城中糧草尚多，壺關易守難攻。況我軍奔襲千里，以疲憊之師去攻，恐怕我軍勝了也是慘勝，更多的可能是僵持不休。明公，三思啊。”

曹操聞言猛醒，隨即收加成命，又問計于荀攸，荀攸獻了詐降之計。曹操采用了荀攸的計策，命降將呂曠、呂翔詐開城門，入城后對高干說：“我們原來也是袁公舊將，不得已而降曹。現曹操新到，軍心未定。我等愿助將軍一臂之力，今夜前去劫營，曹軍不防，定可成功。當然，事后我二人也要擴土自立，還望將軍成全。”高干聽了以后，以為這兩人與自己一般，想要自立遂同意聯手。當時自己再滅了這兩人，毀了他們的白日夢。

然而高干沒想到，這是曹操的計策。是夜，高干親率精兵萬余前去劫營，卻發現是空營。高干大呼上當，面對曹軍的包圍，高干當機立斷，臨陣斬殺呂曠、呂翔二個詐降之人，以震軍心。然而在絕對實力面前，高干所做的不過是鏟除了兩個人，對于大局毫無影響。高干嘆氣道，估計壺關也被人奪取了，高干只好率軍沖出重圍，投奔匈奴而去。于是，曹操攻破壺關，勢如破竹拿下并州大部。

而投奔匈奴的高干，被匈奴拒之門外。高干，你不記得，你當年把南匈奴單于給坑了么？高干只得另投荊州劉表，半路上被上洛都尉王琰所殺，王琰將高干的首級獻于曹操，曹封王琰為列侯。

建安十一年三月，曹操平定并州后，以別部司馬梁習為并州刺史。梁習，面對時經戰火，殘破不堪的并州，首先解決擁兵自重，對于朝廷不服從的少數民族勢力。梁習學習鐘繇處理關中諸將的辦法，仿用其策。先以禮待之，再以兵討之。招募各族豪強，擔任朝廷職務，征召勇士入伍，建立軍隊。待政事與軍事全部走上正軌，便開始利用兵力威逼，遣各族豪強之家屬入鄴城為質。有不從命者，則發兵征討，前后斬首千余級，招降萬余人。

在梁習刺史的“禮與兵”的處理下，并州境內的少數族問題得以解決，各單于無不拱手服從，其部落民眾盡從事生產，形同漢人一般躬耕農桑。于是，并州形勢大為改觀，百姓安居樂業、境內清平、秩序井然，并州大治。為曹操統一北方打下了堅實基礎。