公元373年，東晉孝武帝司馬曜即位。當時北方的前秦十分強盛，前秦主苻堅雄心勃勃，統一北方后又率軍南下，想一舉消滅東晉王朝，統一天下。孝武帝為抵御前秦大軍，必須用一良將鎮守北部地區，他下詔書讓大臣們推薦將才。

尚書仆射謝安的侄兒謝玄，自幼熟諳兵法，長大后更顯才華，深得謝安的喜愛。于是，謝安就把他推薦給皇帝。當時，朝內許多人都有議論，認為謝安是憑借權勢舉薦自己的親人。只有中書郎郄超表示贊同。有人問郄超：“你與謝安一向不和，怎么這回反倒支持他了？”郄超回答：“謝安與眾不同，他舉賢不避親是明智之舉。我與謝玄曾在一起共過事，知道他能當此重任。當今正值國家用人之際，我無端毀譽，豈不成了誣蔑賢良，害國害民了嗎！”孝武帝經過考察，任謝玄為建武將軍，負責都督長江以北的軍事，以抵御前秦入侵。

謝玄上任后，即在廣陵一帶招兵買馬，筑設防城；同時，他還以北方流亡的青壯年為主力，組織了一支戰斗力很強的軍隊。從而，大大加強了江北的防御力量。當苻堅圍困彭城時，謝玄立即派兵救援，用計解救了彭城。孝武帝為表彰謝玄的功勞，晉升謝玄為冠軍，加領徐州刺史，以后又封他為東興縣侯。

公元383年，苻堅經過長期準備，率兵大舉南下，矛頭直指東面江淮之間的淝水地區。面對這一嚴重局勢，東晉派出以謝安之弟謝石為主帥，以謝玄為前鋒都督的八萬軍隊趕赴淝水迎戰。謝石、謝玄趕到前線時，敵軍已經占據了有利地勢，只好尋機破敵。而苻堅以為東晉部隊不敢作戰，便以為勝券在握。于是，派使臣去東晉軍中勸降。使臣原是東晉將領，他見謝家叔侄后，不但沒有勸降，還把苻堅的戰略部署和盤托出，并為東晉出謀劃策。東晉采納了他的建議，依計發起反攻，結果取得勝利，直抵淝水東岸，與前秦軍隊隔河相對。

苻堅吃了敗仗，大驚失措。他站在高處觀望東晉的部隊，只見陣客整齊，指揮有方，也不敢輕易前進。于是傳令部隊，加強防守，等待后續部隊的到來。這樣一來，兩軍對峙，東晉將士沒有與前秦部隊交手的機會，而時間拖久了，局勢顯然對東晉不利。謝石、謝玄生出一計，派人去前秦營中下書說：“你軍深入我國境，臨水列陣，不敢交戰，看來是被我軍的力量嚇破了膽，還是早點回去吧。不然，就請你們稍退后一步，讓我軍渡過河去，咱們一決勝負。”這下激怒了苻堅，他自恃兵力強大，決計后退一步與東晉部隊決以死戰。前秦軍隊人數眾多，后退時指揮無方，隊形大亂，謝玄見時機已到，便率精銳部隊，渡河猛沖過去。同時，派人在前秦軍的后方喊：“秦兵敗了！秦兵敗了！”正在后退的前秦士卒，被沖殺和喊聲搞得不知所措，慌忙退卻奔逃，幾十萬軍隊自相踐踏，傷亡慘重。歷時四個月的淝水之戰，終于以東晉以少勝多，大獲全勝而結束。謝玄在其中起了決定性的作用。對此，后人稱道謝安的舉賢不避親，更欽佩孝武帝大膽用良將的遠見卓識。