據史書記載，高士廉年輕時便氣度不凡，對文史典籍也有涉獵，與司隸大去薛道衡、起居舍人崔祖浚是忘年之交，因而得到公卿的贊許。

但因為自己是北齊宗室，不適合廣交名流，于是隱居在終南山，閉門謝客。

隋煬帝大業年間，高士廉擔任治禮郎。

大業五年，高士廉因妹妹長孫氏病逝，將妹妹的子女接回家中，并善待他們。

后來，高士廉發現李淵次子李世民才華橫溢，便將甥女長孫氏嫁給他，她就是后來的文德皇...