攻占中都以后，成吉思汗通過派人訪求契丹宗室近族，找到了遼太祖耶律阿保機九世孫、名滿天下的大才子耶律楚材。

耶律楚材的父親耶律履是金朝著名的學者，兼精漢、契丹、女真文字，曾譯漢籍為契丹、女真文，又參與了編纂遼史，以文章行義見知于金世宗、章宗，官至右丞。耶律履精術數，當耶律楚材出生時，他私下對自己的親人說：“吾年六十而得此子，吾家千里駒也。他日必成偉器，且當為異國用。”《左傳》有言，“楚雖有材，晉實用之。”他就用這句話為這個新生兒取名“楚材”。

耶律楚材三歲時，父親去世，在母親楊氏的養育和教誨之下長大成人。耶律楚材自幼勤奮好學，十三歲時開始學習詩書，十七歲時已經“書無所不讀”，善文章。他“博極群書，旁通天文、地理、律歷、術數及釋老、醫卜之說”。他很自負，自命為“百尺棟梁”，強烈地追求功名，企圖按照儒家學說來治理天下，后奉特旨應試中甲科，任為省掾。1214 年，金宣宗遷都南京開封府之后，剛剛二十出頭的耶律楚材隨完顏承暉留守中都，任左右司員外郎。在中都守城的日子里，耶律楚材“絕粒六十日，守職如恒”。

1215年五月，中都終于陷落。耶律楚材無奈棄功名而皈依佛教帶發修行，法號湛然居士。

就在這個時候，成吉思汗召見了耶律楚材。耶律楚材身材魁偉，美髯垂胸，聲音宏亮，成吉思汗見到他之后十分欣喜。

成吉思汗說：“遼與金是世仇，我攻打金國，算是為你們遼人報仇了。”

耶律楚材卻說：“我一家已有三代是金國臣子。既為臣子，豈敢復懷二心，仇恨君父呢？”

成吉思汗很賞識楚材說出的這一番話，將他留在了身邊重用。

成吉思汗很敬重這位學富五車且品格高尚的年輕人，雖然耶律楚材比成吉思汗的三汗子窩闊臺都要小兩歲，成吉思汗卻從來都不直呼其名，而是用蒙古語親切地稱呼他為“吾圖撒合里”，意即“大胡子”。