年幼的劉裕在從母家住下之后，其父劉翹又重新娶了妻，新娘是洮陽縣令蕭卓的女兒蕭文壽。很快，劉裕就有了兩個同父異母的弟弟——劉道規和劉道憐。幾年之后，劉翹去世，繼母蕭文壽把劉裕接回了家（究竟是劉翹先去世，還是劉裕先回家，在史料中并不明確）。

在文學作品中，繼母常常是一副兇神惡煞的模樣，但劉裕的繼母肯定不屬于這種類型。因劉翹已死，劉家的經濟狀況更加窘迫。蕭文壽一人拖著三個孩子，艱難度日，劉裕也在這種日子中漸漸長大成人，成為一個“身長七尺六寸（約1.86米），風骨奇特”的健壯青年。總的來說，蕭文壽待劉裕很好，而劉裕對這位繼母也非常孝順。不知是不是因為名字中帶個“壽”字，老太太福壽雙全，一直活到八十一歲高齡，劉裕的兒子劉義符做皇帝時才去世。

不過，除了孝順之外，青少年時代的劉裕身上，基本也就看不出什么優點了。他不好讀書，粗識文字，整日游手好閑，沒有固定職業，靠賣履的微薄收入補貼家用，似乎還不如他當小吏的父親。掙不到錢也罷了，他偏偏還染上了賭博的惡習，賭技又很低微，到處欠賬，很為鄉鄰瞧不起。于是，京口世家的家長在教育下一代時，就不用到遠處去找反面典型了：“你要再不努力上進，將來和劉寄奴一起編草鞋去！”

有一天，劉裕賭博輸大發了，欠下了當地大土豪驃騎諮議刁逵三萬錢的賭債。這筆錢相當于當時一位縣太爺大半年的工資，對于此時身無長物的劉裕來說，是一筆巨款，當然賠不起。賠不起的結果，是他讓刁逵的下人給抓住綁了起來，一頓好打。此時，幸虧他有一位闊朋友——驃騎長史王謐（mì），幫他還了賭債，才算勉強過關。后來的歷史證明，劉裕有驚人的天賦，奈何術業有專攻，他的才華并不在賭博上，但他的賭徒性格伴隨了他終身。

王謐，字稚遠，瑯邪臨沂人，乃東晉名臣王導的孫子。這個如假包換的世家子弟，大士族出身，如何會與此時的小混混兒劉裕認識呢？

說來話長。據說，劉裕早先有一次去京都建康，回京口時在途中一個小客棧休息。小客棧的老板娘對他說：“里邊有酒，要喝自己拿。”劉裕好酒，進去就喝了個醉，倒地便睡。過了一會兒，王謐一個家住京口的門生正好也途經這個小客棧。因為都是熟人，老板娘招呼他：“劉寄奴正在里邊，你們一起喝一杯吧。”不料，這門生才一進里屋，便嚇得跑出來，驚問老板娘：“里邊是什么東西？”老板娘進去一瞧，還是劉裕在睡覺，便出來悄悄問這門生：“剛才你看見什么啦？”門生答：“剛才看見一怪物，生得五彩斑斕，好像蛟龍，不是劉裕。”后來，門生又把這則奇聞告訴了王謐，王謐忙吩咐他別亂說。但此后，王謐開始結交這個不起眼的劉寄奴，時時厚禮相待。（見《宋書·符瑞志》）

如果這件事不是虛構的，很可能這個門生是劉裕的鐵哥們兒，兩人合作演一出雙簧，來詐王謐的錢財。從后來劉裕不論是在戰場，還是在政壇，出老千時都能面不改色心不跳的心理素質來看，這種可能性還是蠻大的。不管是不是這個原因，反正王謐與劉裕交上了朋友，并為他還了賭債。多年后，王謐將驚喜地發現，這是他一生中回報率最高的一筆投資。

不過，這只潛力股現在還看不出有增值的跡象，不管在制鞋業還是博彩業，都不像大有前途的樣子，他的機會究竟在哪兒呢？

其實機會已經悄悄降臨到他身邊。劉裕十四歲那年，一個能干的三十四歲貴公子到與京口僅一江之隔的廣陵走馬上任，就任建武將軍、兗州刺史、廣陵相，監江北諸軍事，開始招兵買馬，編練新軍，他的名字叫謝玄。兩年后，謝玄移鎮京口，因當時京口又有“北府”的叫法，這支新建的精銳之師，便有了一個在后來威名遠揚的名字——北府軍。