晉隆安三年（399）十二月二十六日，連戰連勝的劉牢之揮師渡過了浙江（今錢塘江），迫近孫恩此時的所在地會稽。聽到這個消息，孫天師說了一句很有“大將”風度的話：“孤不羞走！”（這句話是曹孟德公在赤壁兵敗開溜時說過的名言）他卷卷鋪蓋，帶著男女共二十余萬口，一起向東逃。他的幾個部下吳郡太守陸瓌、吳興太守丘尫、余姚令沈穆夫等人，來不及跟上他，都在山陰（會稽郡治所在地，即今浙江紹興市）戰死，以身殉道。

再說一說劉牢之，他在孫恩起義后為何會如此積極主動地為國效力呢？從此人一生的表現來看，恐怕不是因為忠肝義膽。正確答案是：來發財。

北府軍是為錢搏命的職業化雇傭軍，戰斗力固然強悍，戰斗精神卻大多不怎么高尚。早在謝玄執掌北府軍時，這支勁旅就因為搶奪輜重財物，招致五橋澤的慘敗。有高度文化修養的謝玄死后，勇略過人卻沒多少道德操守的劉牢之接替了他，北府的軍紀就更不怎么樣了。

打劫搶哪里，差距是巨大的。平常的駐地京口、廣陵是北府軍的老家，多是軍人家屬，兔子尚且不吃窩邊草，當然免談。淮河以北雖然原來比較發達，但久經戰亂，一來民風強悍，二來民間也無多少財物可搶，三來靠近北方強敵，也并非搶掠的良好場地。三吳就大不一樣，不但是富庶的江南水鄉，且承平日久，民風柔弱。

于是，北府軍一路奸淫擄掠，燒殺搶劫，軍紀敗壞。郡縣百姓紛紛逃走，躲進山中，很多人直到北府軍北歸一個多月才敢回家。知曉這一情況的孫恩，將許多金銀財寶和被裹挾的女子扔在路旁。劉牢之的大軍爭搶得不亦樂乎。就這樣，孫恩得以率余部從容撤往舟山群島，其實力損失不大。北府軍缺少足夠的戰船，沒有渡海攻擊，就回去了。

孫恩打跑了，劉牢之搶飽了，只給三吳八郡留下一地狼藉，這個收拾爛攤子的工作，就留給謝琰了。本月，謝琰被任命為會稽內史，都督揚州五郡諸軍事，防備孫恩卷土重來。

謝琰，字瑗度，一代名相謝安的次子。年方弱冠，便以精明干練、風姿優美見稱，眼界很高，性格孤傲，只與宗族中有才名的幾個人交朋友，真正往來無白丁。謝安認為這個兒子有軍國方面的才干，便讓他擔任輔國將軍。在淝水之戰中，他是晉軍主將之一，正因為他堅決主張主動進攻，才有了劉牢之的洛澗大捷，而后他又與叔父謝石、堂兄謝玄一起，大破苻堅，為東晉立下了汗馬功勞。由此可見，謝琰并非徒有高貴出身的無能之輩，但缺點也很明顯，智商高而情商低，帶有目中無人的貴族習氣。

想當年，淝水大勝時，謝瑗度是何等春風得意啊！不論門第、風度，還是才干、功績，樣樣拿得出手。像我這樣的人，再不前程似錦，連老天爺都不會答應吧？誰知老天爺竟當真瞎了眼。淝水之戰不久，謝安與謝玄相繼去世，謝家在朝廷的權勢大減，奪過大權的司馬皇家把謝家人當作重點排擠對象，而謝琰又和孝武帝的心腹王珣（就是與車胤一起忽悠王國寶那位）結下了梁子，從此仕途屢屢不順。

一轉眼十六年過去，昔日那個出身低微的小將劉牢之已經高升了，當上都督兗、青、冀、幽、并、徐、揚州、晉陵諸軍事，拜前將軍，成為東晉最強大的藩鎮之一。自己的職位卻沒多大提升，竟淪落到不如劉牢之的境地。不如別人倒也罷了，竟不如那個不入法眼的昔日屬下，教人情何以堪？本來該是“謝家軍”的北府軍也成了他的私產，當初堂兄謝玄和自己千辛萬苦，全給那個姓劉的寒士做了嫁衣。這次就更可惡了，姓劉的滿載著金帛、女子回去享受，讓我給他善后。面對現實的落差，謝琰只能讓自己沉浸在回憶中，用當年的成就來麻痹自己高傲的自尊心。到會稽上任后，他既不用心安撫百姓，也不花力氣整修武備，與下屬離心離德。

有部將向他進言：“孫恩還有不少部眾，就在離海邊不遠的地方，日夜窺探我們的虛實，隨時可能重新登陸。不如采取寬大政策招撫他們，給他們一條改過自新的道路。”謝琰立即反駁：“當年苻堅有百萬之眾，我都沒放在眼里，照樣讓他們到淮南來送死。孫恩不過一個小小的毛賊，敗逃海島，怎敢回來？他要真敢回來，那也是上天嫌他命長，打發他來捐腦袋罷了！”

結果，該來的果然還是來了。孫恩還有近二十萬人，雖能得到沿海信徒的悄悄接濟，但畢竟杯水車薪。他們不可能一直待在小小的舟山島上，就算為了吃口飯，也得回來。隆安四年（400）五月，孫恩第二次登陸，取道浹口（今浙江寧波市鎮海區東南甬江口），經余姚（今屬浙江），攻克上虞縣，隨后進軍邢浦（今浙江紹興市東）。謝琰派軍迎戰，先勝后敗。五月三十日，孫恩軍攻抵會稽城下。

得知這個消息時，謝琰正準備用餐。他勃然大怒，傲氣不減，擺出架勢：“等消滅了這個毛賊再回來吃飯！”

夸下海口后，謝琰立即跨馬而出，指揮晉軍迎戰。大概他認為與小小的孫恩交戰根本用不著什么戰術，幾乎是一擁而上。晉軍先獲小勝，孫恩軍敗退（更可能是孫恩詐敗誘敵），謝琰揮軍追擊。因為當地河道多，塘路狹窄，謝琰的軍隊被迫拉成了一字長蛇陣，魚貫前進，首尾難以接應。謝琰追到千秋亭時，設伏于各處的孫恩軍突然出動，合擊調動不靈的謝琰軍。孫恩軍利用戰船的優勢，從水中用箭猛射晉軍薄弱的側翼，將謝琰的軍隊切成幾段。謝琰大敗。敗逃中，早已受夠謝琰的傲慢與白眼的部下發生了叛變，帳下都督張猛從謝琰身后砍向主將所乘的馬。謝琰跌落馬下，與長子謝肇、次子謝峻一同戰死。只有第三子謝混因為沒來而幸免于難。

謝琰死了，他失敗的原因是驕傲輕敵。而細察他的經歷，這種驕傲輕敵更像是他刻意所為，因為不如此，無以顯示他的優越，也無法彌補他對現實的失落。可見，有些時候，一個人的心理素質遠比他的智商更為重要。

謝琰的死，使東晉朝廷賠掉了原本就不多的最后一點兒本錢，之后司馬元顯就算再不樂意，也非得仰仗劉牢之不可了。繼王恭被殺，這是又一個標志性事件，寒士進入高層，打破士族對政權的壟斷，已變成一個無法阻止的趨勢。從這一點來說，謝琰也算死得其所。