魯定公十年（公元前500年）秋天發生的侯犯在郈邑的叛亂，引起了魯國朝野的不安。如果侯犯叛亂得逞，很可能成為魯國的第二個陽虎，因此叔孫武叔才說“郈非叔孫氏之憂，社稷之患也”。
季桓子更是憂慮不已，作為季氏采邑首府的費邑，也在陽虎黨羽公山不狃和叔孫輒的控制之下。季桓子恨死陽虎了，家宰盤踞在家族采邑之中對抗家主，陽虎成了侯犯、公山不狃他們的榜樣了！季桓子請來大司寇孔子，向他請教對策。
孔子看到家臣、邑宰接連發生叛亂，極大地擾亂了魯國的安定和政局。他對季桓子說：“依周禮，城邑的長度不應超過百雉（三百丈），家族之中不應私藏甲胄兵器。現在魯國出現了家臣控制了國家政權的情況，就是因為他們依靠采邑堅固的城墻和私藏的甲胄兵器。季氏采邑費、叔孫氏采邑郈、孟孫氏采邑郕（成邑）這三座城池不僅超過了周禮規定的長度，而且城墻還都屢次加固，又高又險，應當予以拆除。”孔子的這一舉措，稱為“墮三都”，也叫“隳（huī）三都”。
季桓子聽了覺得非常有道理，夫子的智慧就是不一樣啊！三桓都住在都城曲阜，自己的采邑交由邑宰打理，他們盤踞在堅固的采邑城池之內，還擁有軍隊和甲胄兵器，采邑中還儲存了大量的糧食，因此家宰、邑宰們有恃無恐，公然對抗家主、對抗魯國，該對他們釜底抽薪了，可以先稟告國君，拆毀費、郈、郕三個采邑的城墻再說。季桓子將孔子的“墮三都”之策告知叔孫武叔和孟懿子后，二人都表示贊同。叔孫武叔剛經歷了郈邑侯犯的叛亂，自然不會反對；孟懿子聽說是自己的老師孔子的主張，更不反對了。
孔子和三桓將“墮三都”的計劃稟告給了魯定公，定公聽后心里樂開了花！任用孔夫子為大司寇、代理魯國執政真是太明智了！拆毀三桓采邑的城墻，對于加強國君和公室的權力有百利而無一害，表面上這樣做是為了防止家臣、邑宰發動叛亂、對抗三桓家主，但實質上這是在削弱三桓的力量。魯定公當場允準，“墮三都”計劃立即實施。
然而，魯定公看出來了，這位與自己同齡的孔夫子真是有些書生氣了。“墮三都”，只是拆毀城墻而已，真正讓三桓有力量壓制君權和公室的，是土田和軍隊！不奪回三桓瓜分的公室土田和軍隊、由國君和公室直接統管，是不可能從根本上改變公室衰微的現狀的。當然，指望剛剛擔任大司寇的孔夫子在朝夕之間就徹底改變魯國田制和軍制，也是不現實的，從“墮三都”開始做起，未嘗不可。
魯定公十二年（公元前498年）夏季，“墮三都”計劃開始實施，叔孫氏的郈邑首先拆除了城墻。不久前郈邑發生了侯犯叛亂，叔孫武叔仍心有余悸，生怕家臣邑宰再次在郈邑鬧事。在邑宰駟赤的發動下，拆除郈邑高大堅固的城墻，還得到了郈邑民眾的廣泛支持，故此“墮郈”計劃進行的很順利。
孔子的學生仲由（子路）擔任季氏的家宰，他和季桓子籌劃如何拿下公孫不狃和叔孫輒盤踞的費邑，落實“墮費”的計劃。然而，郈邑城墻被拆除，已經打草驚蛇了。說起公山不狃（也叫公山弗擾，字子泄），季桓子真后悔當初自己剛繼任家主時讓公山不狃擔任費邑的邑宰，沒想到這個公山不狃反而與陽虎狼狽為奸，意圖謀害自己。陽虎叛亂失敗逃亡了，可這個公山不狃和同黨叔孫輒卻據守費邑對抗季氏，因此季桓子準備和家宰子路一起，率軍前往費邑，拆除費邑高大的城墻，也是借此機會奪回費邑，趕走公山不狃和叔孫輒。
公山不狃預感到自己的末日不遠了，如果不想辦法應對，費邑城防將像郈邑那樣毀于一旦，自己也將無路可走。他與叔孫輒商議，與其坐以待斃，不如以攻為守，出其不意、攻其不備。當子路率領季氏軍隊趕到費邑時，公山不狃和叔孫輒卻率領費邑的兵馬殺奔都城曲阜而來。面對這一突然襲擊，魯定公和三桓、包括孔子都毫無準備，孔子帶人護送定公、季桓子、叔孫武叔、孟懿子躲進季氏家中，登上了季氏府中數丈高的季武子臺。公山不狃率兵攻入了季氏府邸，團團圍住季武子臺，并不停地向臺上射箭。這已經是徹頭徹尾的叛亂了，孔子命魯大夫申句須、樂頎帶領國君侍衛沖下高臺，與費邑叛軍廝殺；與此同時，公室的軍隊也從外面包圍了季府，沖入府內，費邑叛軍腹背受敵，陣腳大亂，被公室軍隊打敗。忠于國君的軍隊一直追擊公山不狃所率的費邑叛軍，在姑蔑徹底擊潰了叛軍。公山不狃、叔孫輒逃奔了齊國，季桓子重新控制了費邑，命子路拆除了費邑又厚又高的城墻。
郈、費兩都被墮毀之后，三都只剩下孟孫氏的成邑還沒有拆除城墻。孟懿子對老師孔子提出的“墮三都”的主張雖然沒有公開反對，但從一開始就不象季氏和叔孫氏那么積極，因為成邑并沒有發生叛亂，邑宰公斂處父對孟氏家族忠心耿耿，孟懿子難以下定決心，成邑地處魯國北部，為了防范齊國的進攻，城墻經過多次加固，他實在找不到一定要拆除的理由。郈邑、費邑拆除了城墻，緩解了家主與邑宰之間的矛盾，但是叔孫氏、季氏兩大家族也受到了損失呀。然而，季氏、叔孫氏兩家都已墮費、墮郈，如果孟氏不跟著“墮成”，又如何向季桓子、叔孫武叔交待？更如何向大司寇、代理執政、自己親聆教誨的老師孔夫子交待呢？
看到家主左右為難，成邑宰公斂處父向孟懿子獻策道：“家主，如果毀掉成邑，齊國必將兵臨城下。成邑凝聚著孟氏家族好幾代人的心血，是孟氏的保障。沒有成邑，也就沒有孟氏了。家主您就假裝什么都不知道，臣定保成邑周全。”
孟懿子聽后，默許了公斂處父的計策。他在“墮成”的問題上采取了陽奉陰違的策略，表面上他不反對，卻暗中支持公斂處父整軍備戰，抵制“墮成”。季桓子和叔孫武叔在費、郈兩邑被墮之后，也醒悟到“墮三都”對三桓是不利的，因此他們既不與孟氏攀比，也不參與墮成的行動。盡管三桓之間也有矛盾，但在與公室和其他世卿大族的爭奪中，三桓的利益是一致的。因此，季氏和叔孫氏也默許了孟氏對墮成計劃的敷衍。在這種情況下，孔子奏請魯定公，在十二月份，由國君親自率領軍隊前往成邑，去實施墮成的計劃。由于成邑地處魯、齊邊境附近，在率軍前往成邑之前，為了避免齊國人誤會，魯定公還專門在十月二十七日來到齊國的黃邑與齊景公舉行了會盟，正式叛晉，并向齊景公通報了“墮成”的計劃，齊國自然對魯國的“墮三都”樂觀其成，并沒有表示反對。然而，成邑宰公斂處父率領成邑的軍隊頑強據守，魯定公率領的公室軍隊無法攻克擁有堅固城墻的成邑。
孔子無論如何也沒有想到，自己提出的“墮三都”這一重大改革舉措，竟然因為自己的學生從中作梗而宣告了失敗。“墮三都”如果能夠成功施行，對改變魯國公室衰微、三桓專權、陪臣橫行的局面將發揮重大作用，然而，它終究是失敗了，這也標志著孔子在魯國政治改革的失敗，標志著三桓與孔子的決裂，也讓他在魯國朝中的政治地位岌岌可危。魯定公即使再想扶持他，也由于三桓與孔子的決裂而失去了話語權。
季桓子和孟懿子二人不便直接與孔子撕破臉，他們讓叔孫州仇（叔孫武叔）在朝廷大殿之上公開質疑孔子的治國策略，樹起了反對孔子的大旗。
齊國大夫犁彌（王猛），在夾谷之會上為齊景公出謀劃策，想劫持魯定公、逼迫魯國就范，結果由于孔子反應機敏、應對有度，有理有節，反使齊國陷于被動，他從此對孔子耿耿于懷，一直在尋找機會報復。他在齊國挑選出八十名能歌善舞的美女，外加一百二十匹駿馬，全部披上色彩美麗的錦緞，派人送往魯國獻給魯定公和季桓子。這樣既可以使貪財好色的魯定公和季桓子荒于政事，又可以進一步離間孔子與魯定公、季桓子的關系。魯定公和季桓子果然中計，整日觀看齊國美人獻舞，怠于政事。孔子的學生子路看到這種情況，已經對魯國失去了希望，他勸老師還是離開魯國吧，但是孔子還沒有死心，他對子路說：“魯國現在要舉行郊祭了，如果能將郊祀祭肉分送給各位大夫的話，我還可以留下。”季桓子沉迷于齊國女樂，連著三日都不上朝；舉行郊祀典禮之后，又不向大夫們分發祭肉。孔子徹底失望了，決定離開魯國，到其它國家去尋找出路。
魯定公十三年（公元前497年）春，在魯國從政三年之后，五十四歲的孔子帶著他的部分學生，滿懷凄楚悲憤之情，又一次離開了他的父母之邦，開始了長達十四年的顛沛流離的生涯。魯國的樂官師己聽說孔子要離開魯國了，急忙趕到曲阜南郊的屯邑為孔子送行，師己安慰孔子說：“夫子沒有什么罪過啊！”孔子默不作聲，過了一會兒，他對師己說：“我唱首歌吧。”，說完唱了起來：
彼婦之口，可以出走。彼婦之謁，可以死敗。蓋優哉游哉，維以卒歲！
（那婦人的口啊，可以讓人出走。那婦人的話啊，可以叫人身死名敗。悠閑自在啊，聊以消磨時光！）
師己回到曲阜后，季桓子問他：“孔子都說什么了？”師己把孔子臨別時唱的那首歌向季桓子復述了一遍，季桓子喟然長嘆道：“夫子是因為女樂的緣故怪罪我啊！”魯定公得知了孔子帶領眾弟子出走的消息后，在燕寢的書房中仰天長嘆，他知道，孔夫子為強公室、弱三桓的努力帶來了希望，但是三桓的勢力過于頑固，自己最信任、最得力的幫手孔夫子對魯國的政治已經徹底失望了，季氏、孟氏、叔孫氏這三座大山，自己的有生之年已經難以撼動了。