原來，李建成和李元吉聽說李世民將要到洛陽去，于是又私下里密謀道：“秦王如果去了洛陽，大權在手那就更難對付了，不如把他留在長安，還有機會把他除去。”
于是，李建成、李元吉二人讓心腹不停向高祖上密奏，說秦王的部下聽說要到洛陽去都很高興，這次去了，可能就不會再回來了。這時，老糊涂的唐高祖又被這些人迷惑，竟然將秦王鎮守洛陽的話拋擲腦后了。
李世民看到高祖一再聽信讒言，就感到自己的處境很危險了。這時，李元吉又想出一個法子，想收買秦王府的驍將據為己用。李元吉平時最畏懼的是秦王府中的尉遲恭，于是就想從他開始下手。尉遲恭善于用槊，李元吉也經常用槊，于是他想要和尉遲恭比一比，誰知一比才知道跟尉遲恭相差太遠。雖然心中很畏忌尉遲恭，但李元吉還是勸李建成和他結交，李建成私下里贈送金銀一車給尉遲恭。
誰知，尉遲恭推辭道：“我尉遲恭出身微賤，在這亂世幸虧得秦王提拔賞識，現在我正想報他的知遇之恩，但是一直還沒做到，很是愧疚。至于殿下前，我更是沒有功勞，怎么敢拿你的財物呢？如果我私下受了殿下的好處，那就是懷有二心，這么不忠心的人，恐怕殿下也不會用我吧？”李建成被他問得沒有話說，只好收回了金銀。
誰知隔了幾天，李建成、李元吉二人又派刺客刺殺尉遲恭，那刺客卻被尉遲恭的氣勢嚇跑了。李建成和李元吉看事情沒有成功，就在高祖面前誣陷尉遲恭要造反。高祖竟然相信了他們話，要殺死尉遲恭，多虧李世民入朝求情，尉遲恭才免于一死。沒有害到尉遲恭，李元吉又算計程知節，讓高祖下詔，調程知節為康州刺史。
程知節對李世民道：“如果大王的股肱羽翼被砍了，那您就危險了。我程知節就是死也不去那里，秦王還是早做決定吧。”李世民還在猶豫不決，忽然又接到詔書，命令房玄齡、杜如晦兩人出秦王府。于是，秦王府的幕僚都人人自危起來。
長孫無忌是李世民的大舅哥，他與房玄齡是莫逆之交，房玄齡秘密跟長孫無忌說道：“如今世民兄弟間的嫌隙已經形成，不是你死就是我亡，你是秦王的親戚，還是勸他早定大計，保全家國，成敗就在今日一舉了。”長孫無忌把房玄齡的話轉告李世民，李世民又召問杜如晦，杜如晦和其他秦王府的門客也勸李世民聽房玄齡的話，早定大計，除了李建成和李元吉。只有李靖和李世勣兩人不發一言。
這時，突厥又來侵犯邊境。李建成推薦李元吉帶兵討伐，高祖同意了。李元吉請調尉遲恭為先鋒，并且要把秦王府的精兵，全都調出去，討伐突厥。尉遲恭急忙和長孫無忌等人，找到李世民，說道：“秦王如果還不做決定，恐怕會大禍臨頭了。”李世民道：“同是手足，怎么忍心下手啊？”這時，太子率更丞王晊突然來報，說齊王李元吉和太子李建成定計，要趁李世民給齊王餞行的時候，在席前埋伏好刺客，置李世民于死地。長孫無忌連忙勸李世民，說道：“先發者制人，后發者為人所制。還是請秦王快做決定吧！”李世民嘆息，道：“骨肉相殘，自古是大惡。我就是知道禍在旦夕，但也只能等對方先出手，然后再討伐，這也讓我出師有名啊！”
尉遲恭在一邊催李世民，說道：“大王如果再不決定的話，我尉遲恭不能留居大王左右，束手就擒，就此告辭。”長孫無忌又道：“秦王不聽尉遲恭的話，我也要跟他一起去。”李世民只好招幕僚商議，大家都說：“大王認為舜是個什么樣的人？”李世民笑道：“舜是古圣人，這還要問嗎？”眾將又道：“舜帝和周公都有過類似的先例。事不宜遲，應當趁早下手。”李世民這才決定，于是秘密地讓長孫無忌招來房玄齡和杜如晦，商議如何動手。
晚上，太白星劃過天空。太史令傅奕密奏高祖，說太白星出現在秦王府上空，預示著秦王將會統治天下。高祖把奏折看完，剛好這時候李世民來拜見，高祖把奏折給李世民看。李世民請父皇屏退左右，把李建成和李元吉淫亂后宮的事告知了高祖。高祖聽后，大驚說道：“有這樣的事啊？”李世民又道：“兒臣自問絲毫沒有做過辜負兄弟的事，但是他們二人卻總是要加害我，還請父皇保護兒臣啊！”說完竟然嗚嗚咽咽地哭了起來。高祖氣憤地說：“明天朕要當面審問這件事。”
李世民回府后，立即連夜調兵，命長孫無忌等人帶領軍兵，埋伏在玄武門。不久天亮了，李世民偷偷奏報高祖的事，張婕妤已經讓內侍告訴了李建成和李元吉。李元吉對李建成道：“今天上朝，恐怕有變，我們假裝說生病，不去了。”
李建成道：“宮內有妃嬪，外面有軍兵，秦王雖然厲害，也不能拿我們怎么樣，我們不如上朝探聽一下。”于是，倆人騎著馬穿過玄武門，來到臨湖殿的時候，二人聽說高祖已經召集裴寂、蕭瑀、陳叔達、封德彝、宇文士及、竇誕等人臨朝會審，就知道情況不妙，于是立即往回跑，眼看就要跑出玄武門，忽然聽到背后有人叫道：“太子、齊王為什么不上朝啊？”李元吉回頭一看，發現正是冤家李世民。李元吉也不回話，從弓袋中取出弓箭，連射三箭，但都被李世民閃過。最后一箭，還被李世民接住了。李世民接箭后，也取弓搭箭，回手向李建成射去，李建成以為他會射向李元吉，根本就沒有防備，誰知颼的一聲，李建成中箭，摔下馬來。
李元吉也顧不得李建成，慌忙往外逃去。不料迎面碰到尉遲恭，又掉頭跑。李世民正追著李元吉，不防李元吉會轉頭，剛好兩人相撞都墜落馬下。尉遲恭跑來，把李世民扶到屋里休息，然后去追李元吉。李元吉想要進武德殿見高祖，誰知后面弓弦一響，轉身一看，來不及了，恰巧箭入咽喉，立即暈倒。尉遲恭搶步上前，拔刀砍下李元吉的首級，又回至建成尸旁，也將他首級梟下，驀然聽到玄武門外人喧馬沸，就知道外面已經殺得翻了天。
尉遲恭催馬來到門外，被東宮和齊王府的軍兵攔下，不由得眼睛一瞪，喊道：“咄！你們看這兩個首級是誰？”說著，就把李建成、李元吉二人的首級懸在槊上警示兩軍，并且又大聲喊道：“我奉旨誅殺二人，如果你們敢違抗圣旨，那就跟他們同罪。還不快快解散，免得獲罪！”東宮和齊王府兩軍看到那血淋淋的兩顆首級的確是李建成和李元吉，又聽到尉遲恭說著奉旨二字，于是更加覺心虛膽怯，隨即一哄而散。
三個兒子都沒有上朝，高祖還以為他們是怕彼此避面尷尬，也沒怎么往心里去，匆匆散了朝，留裴寂、蕭瑀、陳叔達等人在朝堂上待命，而自己帶著妃嬪到海池中泛舟取樂去了。忽然，岸上有一個身穿鎧甲的大將，手里持著長槊，匆匆跑來，高祖便喊道：“來的是什么人？”那大將隨即下馬，倒身下拜道：“臣是尉遲恭。”高祖道：“你來做什么？”尉遲恭答道：“太子和齊王造反，秦王起兵討伐，擔心驚動了陛下，特派臣來保護。”高祖感到很驚訝，連忙問：“卿快起來！太子、齊王現在在哪里？”尉遲恭起身答道：“已經被我斬首了。”高祖不禁大驚失色，就連在旁邊的妃嬪也都嚇得玉容慘淡，戰戰兢兢。高祖急忙派內侍去召裴寂、蕭瑀、陳叔達等人來。
尉遲恭怎么會跑到后宮來呢？原來，尉遲恭嚇退李建成和李元吉的人后，就跑到玄武門報知李世民，李世民問明事情緣由，說：“事已至此，我只好入宮謝罪了。”尉遲恭道：“且慢！皇上的意思我們還不知道，還是先讓末將去打探下吧。”說著，尉遲恭就將兩首級交給李世民，自己闖入朝堂，見到裴寂等人，就跟他說明事情的原委。裴寂說：“此事如何跟皇上說呢？”尉遲恭說道：“等我闖入后宮，去探明皇上的意思，寧可死的是我尉遲恭，也不能讓秦王死。”說完，尉遲恭就闖到后宮去了。見到高祖，尉遲恭據實說明情況。
不久，裴寂、蕭瑀、陳叔達等人跟著內侍趕來。高祖已經命令船靠岸，對裴寂等人說道：“沒想到今天竟然出了這樣的事，那現在該如何處置啊？”蕭瑀、陳叔達齊聲道：“太子和齊王從起義以來，沒有立下什么功勞，反而一個立為儲君，一個立為王爵，現在又無緣無故離間兄弟，禍亂家中，如今有這樣的下場是他們自找的。只有秦王功蓋天下，內外歸心，為今之計，就趁這個機會立秦王為太子，授予他軍政大權，陛下就可以休息下。”
高祖聽了這話，轉驚為喜道：“這正是朕的意思啊。”尉遲恭在一旁乘機入奏，道：“陛下既然愿意立秦王，現在外面還沒有平定，請趕快下詔讓秦王處理這件事。”高祖隨即對宇文士及道：“愛卿快去寫詔書，等朕回朝發落。”宇文士及領命即去。高祖又派尉遲恭去召秦王覲見，尉遲恭飛一樣地出宮去了。
當時，正是武德九年六月，天氣很炎熱，高祖正開襟趁涼。李世民進來，慌忙跪地請罪，高祖撫慰道：“李建成和李元吉膽敢作亂，那也是死有余辜，不過畢竟是親兄弟，發生這樣的事，怎么說也是可悲的事啊。”李世民聽到高祖這么說，于是一頭扎進李淵懷里，痛哭了起來。高祖也忍不住落淚，父子二人對著哭。宇文士及和裴矩等人入宮，勸慰了他們一番，李世民這才回到府里。
秦王府的人勸李世民，說道：“斬草不除根，恐怕會留下后患，李建成和李元吉的兒子也應該殺了。”李世民沒有制止，于是李建成的兒子安陸王李承道、河東王李承德、武安王李承訓、汝南王李承明、巨鹿王李承義和李元吉的兒子梁郡王李承業、漁陽王李承鸞、普安王李承獎、江夏王李承裕、義陽王李承度都被抓住，全部被處死。秦王府的幕僚還要繼續搜捕東宮余黨，一百多人被列入搜捕范圍，李世民也不制止，尉遲恭極力諫阻，說道：“有罪只有二人，如今已經被誅殺了，不宜再傷及其他人。若輾轉牽連，恐怕反而會激成禍亂，不得安生了！”
李世民于是向高祖請旨大赦。高祖頒發了赦免的詔書，又詔立李世民為皇太子，國家大事，都歸皇太子處理。
太子洗馬魏征曾勸李建成早點除掉李世民，李世民知道后，召魏征進見。誰知，魏征對著李世民，只是作揖卻不跪拜，李世民很是生氣，嚴厲斥責道：“你為什么離間我們兄弟？”魏征坦然說道：“如果先太子早點聽我的話，現在就不會被殺了。這不過是各為其主罷了。”李世民聽了這話，轉怒為喜，認為魏征是忠直之士，于是封他為詹事主簿。李世民又召回王珪、韋珽、杜淹等人，命王珪與魏征同為諫議大夫。
后來，廬江王李瑗被查出曾與李建成密通書信，想要謀害李世民，于是，李世民派通事舍人崔敦禮召李瑗進京審問。崔敦禮來到幽州，看到李瑗，只說是奉旨召他入朝，并沒有對他說明是什么事。李瑗已經自覺心虛，連忙招來將軍王君廓商議。廬江王李瑗本是高祖李淵的堂弟，曾與趙郡王李孝恭一同討伐蕭銑，但是沒有立什么功，于是移調洛州總管，后來，因為劉黑闥侵犯棄城逃走，高祖顧念親情，不忍心怪罪他，于是改任他為幽州都督，擔心他不能勝任，特地派右領軍將軍王君廓區輔佐。王君廓以前是個盜賊，非常勇猛，投降大唐后多次立下戰功，李瑗把他當作心腹，并且跟他結親，有什么事就跟他商量。誰知，王君廓只是把李瑗當作奇貨，想要借他討好新太子。于是，王君廓先鼓動李瑗造反，然后又以討伐叛賊的借口把他殺了，并把他的首級獻到京城。李淵不知道事情真相，信以為真，于是傳旨把李瑗貶為平民，并升王君廓為幽州都督。