李勣于公元625年（武德八年）、公元629年（貞觀三年）曾經兩次出擊突厥，為唐朝的邊防鞏固立下大功。

當時，高宗為晉王，遙領并州大都督，太宗任李勣為光祿大夫，并同時兼任并州大都督府長史。李勣在并州前后共16年，令行禁止，治理有方，頗有政績。

太宗對他的評價甚高，曾對近臣說：“隋煬帝不能精選賢臣良將守衛邊境。只知道修筑長城來防備突厥的侵擾，真是頭腦昏惑！我現在委任李勣鎮守并州（治所在今山西太原），突厥畏懼他的威勢，遠遠逃遁，邊境得保安寧，這豈不遠勝修筑長城嗎？李勣就是我的長城啊！”

公元641年（唐貞觀十五年），太宗征召李勣回朝，拜為兵部尚書。李勣尚未來得及到京城，大度設率騎兵八萬人南侵李思摩部落。太宗遂派李勣為朔州（今山西朔縣）行軍總管，率輕騎三千追擊薛延施，直到青山（在今甘肅環縣西），大破敵人，斬其名王一人，俘獲其首領，并俘虜五萬余人。

當時，李勣突然生病，醫生在處方中說，要用胡須燒成灰作藥引配藥方可治療李勣的病，太宗聽說后，就把自己的胡須全都剪下來，為李勣配藥。

李勣知道以后，深受感動，叩頭流血，哭著對太宗懇切地表示謝意。太宗說：“你也是為國家的前途著想，我應該感謝你，不必煩勞你深表謝意。”

公元643年（貞觀十七年），高宗被立為皇太子，太宗征調李勣任太子詹事兼左衛率，加位特進，同中書門下三品。這實際上是對李勣的極大的信任，為李勣的政治前途做好鋪墊。

太宗對李勣說：“我兒新登儲君之位，你原是他部下的長史，現在把太子宮的事委托給您，我的意思你應該明白。雖然委屈了您的官階、資歷，但責任重大，請你不要見怪。”李勣當時感激涕零。

太宗曾在一次宴會上對李勣說：“我將把太子托付給朝廷重臣，思來想去，覺得沒有比你更合適的人選了。你過去跟從李密時，不肯辜負李密的托付，現在豈能辜負我的重托啊！”

李勣泣不成聲，咬破手指發誓，要竭忠盡智，輔佐太子。過了一會兒，李勣因喝醉而睡著了，太宗就脫下自己的御衣，給李勣蓋在身上。

公元649年（貞觀二十三年），太宗臥病，對高宗說：“你對李勣沒有恩惠，他就是想報答你也沒有理由。現在，我要責罰他，讓他離開京城。我死后，你要將他調回京城，授給他仆射的官職，他蒙受了你的恩惠，必定會為你盡忠竭力。”

于是太宗真的找了個借口將李勣責出京城，任壘州都督。高宗即位后，當月即召李勣拜洛州刺史，不久又加開府儀同三司，令同中書、門下，參與掌管國家的機密大事。當年又拜李勣為尚書左仆射，完全如太宗臨終安排的一樣。

李勣仍如太宗在世時一樣，兢兢業業，為國家屢建奇勛。后來，李勣任遼東道行軍總管，征伐高麗，渡過鴨綠江，一直打到平壤，俘虜了高麗王高藏，將高藏獻于昭陵，洗雪了太宗征高麗失利的恥辱。