盡管沒能得到劉裕的支持，劉牢之仍召集其他屬下，宣布自己打算據守江北，討伐桓玄的決定。如果說他在幾天前背叛司馬元顯的決定已經讓眾將跌破了眼鏡，現在的聲明則更遭到部下一致的強烈反對。

早在洛澗之戰時就追隨劉牢之的參軍劉襲，不顧多年同事交情，當面斥責自己的上司：“這個世上最不能做的事就是造反！將軍在幾年前背叛了王兗州（王恭），近日背叛了司馬郎君（司馬元顯），現在又要背叛桓公！一個人三次背叛，還有何面目立于天地間？”說完，他完全不給老帥面子，起身離開大營，很多將佐也跟著四散離開，人一下子就走了差不多一半。劉牢之傻了眼，這回真是人心散了，隊伍不好帶啊！

難帶還得帶，惶惶不安的新任會稽內史，讓兒子劉敬宣潛回京口，把家屬接出來。同時，他帶著剩下的部屬往東北走，向廣陵方向退卻。劉牢之此時在北府軍中的威信已經喪盡，他的部下一路走，一路散，人越來越少。到了和劉敬宣約定會合的地方，劉敬宣因為那天大霧，城門延遲數小時才開，誤期未到。一時之間，不明緣由的劉牢之以為事情敗露，兒子可能已經被殺。一連串的打擊讓劉牢之五內俱焚，傷痛莫名，精神已近崩潰。

渾渾噩噩間，劉牢之帶著余眾繼續走，最后幾個屬下看他這副恍恍惚惚的樣子，備感寒心，知道老帥這次真是沒救了，還能跟著他尋死嗎？待到達新洲時，剩下的人差不多也跑光了。

四顧茫然，劉牢之突然清醒過來：自己已經無路可退了。劉裕果然說得沒錯，我連廣陵都到不了啊！哈……哈……哈……啊，我劉牢之竟也有今天……

此時正是陽春三月，春風又綠江南岸，空氣中彌漫著野花的芬芳，但劉牢之已經聞不到了，他的心中已到肅殺的寒冬。百戰老將悲從中來，走到一棵大樹旁，用一根繩索結束了自己的生命。曾經的光榮與夢想，所有的罪過與悔恨，皆化作過往的煙云，萬事皆休……

過了一陣子，遲到的劉敬宣趕到新洲，才發現老父已成亡魂，他顧不得哀悼，也來不及給父親收尸，匆匆忙忙渡江，逃往廣陵。虧得劉牢之的部分故吏念及往日情義，一起買了棺木，將他的靈柩送回丹徒安葬。

幾天后，桓玄聽說劉牢之已死，大喜之余，下令挖開墳墓，將劉牢之的尸體拖出斬首，然后暴尸于市。接著，桓玄乘勝追擊，開始對群龍無首的北府舊將進行大清洗。吳興太守高素（有可能是高雅之的父親、劉牢之的親家）、將軍竺謙之、竺謙之的堂兄竺朗之、面斥過劉牢之的參軍劉襲、劉襲的弟弟劉季武，以及劉裕的老上級孫無終等人，相繼被殺。從這一系列過分的舉動可知桓玄對劉牢之和北府軍的忌諱之深，更彰顯出劉牢之不久前投降桓玄的做法是何等愚蠢。得意揚揚的桓玄宣布大赦天下，改年號為“大亨”（因此，這一年在晉朝有三個年號，分別是元興元年、隆安六年、大亨元年）。

面對這種情況，暫時不在桓玄控制中的北府將領及道子黨的余部，根本不相信大赦天下能赦到他們，只有聯手反抗了。劉襲的兄長冀州刺史劉軌、司馬尚之的弟弟司馬休之、劉敬宣、高雅之，以及將軍袁虔之、劉壽、高常慶、郭恭等人，先到廣陵，再逃到山陽（今江蘇淮安市），同時派遣使者向后秦求援，企圖討伐桓玄。但人心已散，加上后秦姚興正好在柴壁之戰中大敗于北魏拓跋珪，根本無力支援。面對桓玄軍北上，眾人無計可施，只得各自逃亡。其中劉軌、司馬休之、劉敬宣、高雅之逃奔南燕；袁虔之、劉壽、高常慶、郭恭逃奔后秦。由謝玄創建的北府軍政集團暫時瓦解。

至此，在原北府高級將領中，只有劉裕、何無忌等少數幾人，因為早早辭去軍職回鄉，既和劉牢之劃清界限，又顯得沒有擁兵自重的野心，大得桓玄歡心。桓玄很清楚：要實現穩定的統治，光靠揮舞大棒顯然是不行了，胡蘿卜也得適時出手。一方面打擊反對派，另一方面也得樹立榜樣，而劉裕各方面的表現都使他成為此時桓玄最需要的正面典型：他既是常勝名將，又有愛民的好聲名，又沒有野心（這點最重要，雖然桓玄其實看走眼了），出身北府卻不是劉牢之等人的黨羽，獎勵他正好安撫忐忑不安的北府余部。總之，這樣合適的人，還能不大用嗎？

于是，劉裕的又一條預言應驗了：“今方是玄矯情任算之日，必將用我輩也。”大亨元年（402）五月，劉裕辭職回鄉之后僅兩個多月，就被桓玄征召起用，任命為撫軍中兵參軍，前往東陽，討伐孫恩的余黨盧循。