賀蘭敏之是越王府功曹賀蘭安石的兒子，生于貞觀十七年，比妹妹賀蘭敏月大三歲。賀蘭安石去世時，敏之還是兒童。

永徽三年六月，敏之隨外婆和母親一起入宮，與同齡人陳王李忠一起讀書。但僅過一個月，李忠被立為皇太子，兩人又分開了。

敏之從小在翰林院受到良好的教育，寫得一手好字，外婆、母親和妹妹家的門聯都是他寫的。

龍朔元年，敏之十八歲了，生得身材修長，站立如瑤林玉樹，風度卓然，面容如鸞章...