孔子在魯定公十三年（公元前497年）春天帶領他的學生們離開魯國之后，先是到了衛國，住在學生顏庚府中。衛靈公并沒有重用孔子，只是因為孔子名聲大，就按照一年六萬斗糧食的俸祿將孔子一行人安頓了下來。然而，由于公叔戌叛逃魯國事件的牽連（詳見《第十一卷定公宋17：衛太子蒯聵出逃，魯定公病逝》），在衛國只呆了十個月的孔子被迫和弟子們選擇了離開。
魯定公十三年底，孔子和他的弟子們離開衛國時，選擇的目的地是陳國。同行之中還有陳國貴族青年公良孺，他仰慕孔子的道德學問，想拜孔子為師。公良孺出身陳國世家大族，在陳國有一定的勢力，這次又以五輛車駕跟隨孔子出行。陳國是孔子的老師李聃（李耳，又稱老子）的故國，陳國的宛丘相傳是“太皞之墟”，而且從衛國往南，距離不是很遠，就能到達陳國；因此，孔子很愿意前往陳國。然而，孔子一行途徑位于濮水南岸的鄭國匡邑時，孔子卻被當地民眾當作魯國的陽虎扣留了。公元前504年（魯定公六年）時，陽虎曾率領魯軍攻占了鄭國的匡邑，而孔子和陽虎又長得比較像，因此才被困在了匡邑。幾天之后，匡邑民眾弄清了真相，發現抓錯人了，才將孔子等人放行。
孔子驚魂甫定，決定先不去陳國了，返回衛國休整一下再做打算，但當他們走到濮邑時，又遇上了麻煩。濮邑在匡邑東北，是衛國公叔氏采邑。此時被衛國驅逐的公叔戌正在濮邑對抗衛國公室，見到孔子帶領弟子們要去衛國，便要扣押他們。陳國貴族公良孺和孔子學生子路等人與濮邑前來扣押他們的人大打出手、激戰一場。濮邑之人見孔子一行人決不示弱，就說道：“只要你們不去衛國都城帝丘，就放你們過去！”孔子當場答應，但是離開濮邑后，孔子還是命大家繼續北行，前往帝丘城。
衛靈公聽說孔子又回來了，而且孔子和弟子們還在濮邑與公叔戌的人大戰了一場，這更解除了衛靈公對孔子的懷疑，衛靈公親自前往帝丘郊外迎接孔子。孔子回到帝丘后，住在了他一直非常景仰的大夫蘧伯玉府中。衛靈公的夫人南子素聞孔子大名，也派人召孔子入宮相見。孔子非常為難，這南子夫人名聲不好，她和宋國的公子朝私通，衛靈公還不聞不問。孔子推辭不過，只好前往宮中拜見南子夫人，孔子向帷帳之后的南子夫人行禮后，南子在帷幕之后回禮，身上佩戴的玉器發出鏗鏘悅耳的響聲，孔子沒說幾句話就趕緊退了出來。
孔子在衛國留居了三四年，一直也沒有得到衛靈公的重用，也就萌生了再次離開衛國的想法。此時晉國叛亂的中行氏家臣、中牟之宰佛肸邀請孔子和他身邊德才兼備的眾弟子去中牟，孔子斟酌之后沒有去，他想去投奔晉國正卿趙鞅，于是率領眾弟子離開了帝丘，準備從棘津渡過黃河，前往晉國。走到黃河邊時，孔子聽說趙鞅誅殺了晉國賢大夫竇鳴犢和舜華，便對收留了魯國罪臣陽虎的趙鞅感到非常失望，于是帶領眾弟子又返回了衛國都城帝丘，還是住在蘧伯玉的家里。
衛、晉兩國關系對立，因為衛國跟隨齊國支持晉國叛臣范氏、中行氏，多次與晉國兵戎相見。孔子要離開衛國去晉國投奔趙鞅，即使此行未成而返回衛國，衛靈公也很不滿意。
魯哀公二年（公元前493年）四月，在位四十二年的衛靈公去世了，衛國扶立原太子蒯聵之子公子輒為國君，史稱衛出公；而公子輒的父親，原太子蒯聵在晉國趙鞅的扶持下返回衛國爭奪國君之位，衛國亂作一團。孔子向來主張“危邦不入，亂邦不居”，因此他在這年秋天帶領弟子們離開了幾進幾出、客居四年多的衛國，想再次前往陳國。這一年孔子五十九歲。
孔子曾擔任魯國的大司寇，代行執政之職，他的學說早已名聞天下，弟子之中人才濟濟，因此他們一行人，對于任何諸侯國的國君來說，都是不可多得的治國群體；但是除了各諸侯國的國君以外，真正掌權之人其實并不歡迎孔子，他們都把孔子視作對自己權力的一種威脅。孔子師徒在衛國的經歷，已經證明了這一點。
孔子在去往陳國的路上，要經過曹國和宋國。宋國是孔子先祖受封的國家，也是孔子夫人亓（qí）官氏的家鄉。孔子年輕時曾到宋國考察殷禮，如今闊別三十年了，他再次來到宋國，倍感親切。宋景公聽說大名鼎鼎的孔子來到了宋國，還帶來了眾多才干出眾的學生，就想重用孔子，但是受到了他的寵臣、大司馬桓魋（向魋）的勸阻，向魋擔心孔子師徒會取代他的權勢，他對宋景公說：“孔子在魯國擔任大司寇，代行相事，位極人臣，卻要辭官出走，可見其野心不小。他在衛國五年，衛靈公對他敬而不用，是因為看透了他。宋國不及衛大，不如魯強，而孔丘不請自來，狼子野心豈不昭然若揭？”宋景公說：“孔子是當今圣人，哪會犯上作亂？眼下宋國正是用人之際，有他們這班文武干才，豈不可以對外征戰、對內安邦？”桓魋則道：“國君如果對孔丘師徒委以重任，他們一旦發難，誰能抵御？這無異于引狼入室啊！”
桓魋還聽說孔子對他的評價很是不好，因為他命令工匠為自己建造大型石槨，勞民傷財。孔子說他“奢侈浪費，不知愛惜民力財物。這樣的人死后不如早點爛掉才好！”桓魋于是派人將孔子師生經常演習禮儀的一處大樹連根拔掉，還揚言要加害孔子。孔子覺得在宋國呆不下去了，于是和弟子們趕快離開了。宋景公得知此事后，怏怏不快，對桓魋也生了嫌隙。
魯哀公二年（公元前493年），孔子和弟子們在宋國受到宋國司馬、奸臣桓魋的迫害，為了安全起見，急匆匆地離開了宋國。為了防備桓魋派人追殺，他們改變了原定前往陳國的計劃，突然改道向西，奔鄭國而去；孔子和學生們化整為零、分成幾個小組，連夜而出。由于師徒們是分頭行動的，孔子和弟子們走散了，他按照事前約定，獨自一人在鄭國都城新鄭的東門附近等待與弟子們會合。子路等人已經先行進城，正在焦急地四處尋找老師孔夫子。一位鄭人告訴子路：“東門那邊站著一個人，他的額頭像唐堯，脖子像皋陶，肩膀像子產，可是從腰以下比禹短了三寸；一副疲憊不堪的樣子，像一只失去主人家的狗。”子路他們連忙跑到鄭國東門，果然見到孔子正在那里四處張望，師徒終于再次相聚。
到鄭國本來就不在行程計劃之內，孔子他們在新鄭稍作休整，便又向陳國進發了。陳閔公聽說孔子遠道而來，在孔子一行到達陳國不久就召見了孔子，而且待如上賓。陳國大夫司城貞子久慕孔夫子大名，把孔子師徒接到了自己的府中居住。后來陳閔公又吩咐把陳國都城里最好的館驛收拾出來安頓孔子等人，然而，陳國也并沒有授予孔子實際官職。
魯哀公三年（公元前492年）五月，魯國王宮發生火災，大火燒毀了魯桓公廟和僖公廟。孔子在陳國聽說魯國宮內失火，直接推斷說“一定是桓、僖二公之廟被燒毀了吧”，因為這兩座廟本不該保留（根據周禮，諸侯只保留自始封國君往下的五代國君之廟，桓公和僖公不在魯國前五代國君之列）。然而魯國是三桓當政，而三桓都是魯桓公的后代，他們自僖公在位時開始掌控魯國政權，因此魯國一直保留了桓公廟和僖公廟。孔子淵博的學識讓陳閔公驚訝不已。有一次，一只受傷的大隼（鷙鳥）中箭落在陳國的宮廷之中死了，大隼被一支長一尺八寸的箭穿過身體，箭頭是用石頭磨制的，陳閔公沒見過這種箭，就派人向孔夫子請教。博學的孔子說：“這箭來自遙遠的北方，名叫肅慎氏之矢。昔日周武王克商，令四方進貢當地特色品物，北方肅慎氏進貢此種箭矢。武王將其賞賜與陳國始封國君虞胡公。國君可派人在府庫中尋找，定能尋得。”果然，陳閔公派人在宮內府庫中的一個金屬匣子中找到了“肅慎氏之矢”。肅慎氏，就是今天滿族人的祖先，居住在長白山、興安嶺之間。陳閔公趕到非常慚愧，我陳國自創始以來就存于府庫中的珍貴文物，寡人作為國君都不知，而這位孔夫子卻能隨口道來，佩服之至啊！
陳國處于吳、楚兩國之間，由于吳楚之間連年交戰，陳國深受其害，孔子覺得無法繼續留在陳國了，就和學生商定，準備南下去楚國。
公元前489年（魯哀公六年），吳王夫差率軍伐陳，楚昭王親自率領楚軍救援陳國，于當年七月死于軍中，楚軍只好撤軍回國，為楚昭王辦理喪事。吳軍乘機兵臨陳國都城宛丘城下。孔子師徒在這種緊張的氣氛中，慌慌張張地逃離了宛丘城。由于是倉皇逃離，他們并未隨身攜帶多少糧食。一路上兵荒馬亂，糧食很快就吃光了，眾人忍饑挨餓已經四五天了。子路到處去尋找食物，但總是空手而歸，他對孔子發牢騷說：“君子也有窮途末路之時嗎？”
孔子答道：“君子處境困窘之時，仍會心志堅定、把持自己；而小人困窘之時就什么事都做得出來了。”孔子知道弟子們此時都懊惱不平，于是對大家說：“《詩》曰：‘匪兕匪虎，率彼曠野’（不是犀牛也不是老虎，為什么偏偏巡行在曠野之中？）難道是我的學說有什么問題嗎？我為什么會落到這個地步？”
子路答道：“想必是我們的仁德還不夠吧？所以人們不相信我們；想必是我們的智謀不足吧？所以別人會不放我們前行。”
孔子道：“有這個道理嗎？仲由（子路），假使有仁德便能贏得信任，那么伯夷、叔齊怎會餓死在首陽山呢？假使有智謀就能通行無阻，那王子比干怎會被紂王剖心呢？”
弟子顏回說道：“老師的學說大到極點了，所以天下人都不能容受老師。然而，老師推行自己的學說，不被容受又有什么關系？人家不能容老師，正說明老師是一位不曲意迎合的君子呢！一個人的學說不能修治，才是真正的恥辱呢。老師的學說名聞天下，卻不被各國采用，是他們的國君和執政卿大夫的恥辱！”
孔子欣慰地笑了，顏回說出了他的心聲。他對顏回說：“有這回事嗎？顏氏之子呀，假如你有很多財富的話，為師真愿意做你的家宰！”
這時，孔子派去楚國城邑負函求援的學生帶回了一車糧食，已經饑餓了七八天的師徒們終于得救了。他們來到楚國的負函城，守城大夫葉公沈諸梁（采邑在距離負函城不遠的葉城）早就仰慕孔子之名，親自出城迎接并設宴款待孔子了一行。
楚昭王得知大名鼎鼎的孔子和學生們來到了楚國，便想把七百里方圓之地封給孔子，令尹子西阻止道：“大王派出的使臣出使各國，有像子貢那樣稱職的嗎？大王的將帥，有像子路那樣英勇的嗎？大王各部主事之臣，有像宰予那樣干練的嗎？”
楚昭王搖搖頭說：“都沒有。”
子西接著說道：“孔丘遵循三皇五帝的遺規，效法周公、召公的德業，大王如果重用了他，讓孔丘擁有方圓七百里的土地，他又有那么多賢能的弟子輔佐，那楚國還能世代保有方圓幾千里的土地嗎？這對楚國可不是什么好事！”
楚昭王聽后，只好打消了封地給孔子的念頭。孔子聽說此事后，對弟子們說：“誰能勸阻子西沽名釣譽呢？心胸要寬廣啊，不為利益誘惑；品德要純潔啊，人的本性是恒定不變的。曲就是曲，直就是直，子西定不能免于災禍。”孔子的判斷非常準確，兩年之后，公元前487年（楚惠王二年，魯哀公八年）楚令尹子西不顧葉公沈諸梁的勸阻，從吳國召回了前太子建的兒子羋勝（就是跟隨伍子胥從鄭國逃到吳國的公子勝），封他為白縣縣公，因此羋勝也被后人稱作“白公勝”；又過了四年，晉國伐鄭，子西率軍救鄭，激怒了白公勝，因為鄭國是他的殺父仇敵。楚惠王十年（公元前479年），白公勝帶兵入郢，劫持楚惠王，殺害了令尹子西、司馬子期，史稱“白公之亂”。
在楚國居住了四年后，公元前485年（魯哀公十年），孔子師徒一行人離開了楚國，他們從楚國負函城經陳國北上，途徑宋國的儀邑回到了衛國，先在蒲城暫歇后，最后又回到了衛國都城帝丘。八年前孔子離開帝丘時，原衛太子蒯聵在晉國的支持下，回到衛國與兒子衛出公爭奪國君之位，正是由于衛國內亂，孔子他們才出走他國。八年間，晉國曾在魯哀公五年（公元前490年）和魯哀公七年（公元前488年）兩次出兵入侵衛國，但都沒有實現扶立蒯聵為衛國國君的企圖。
孔子等人到達衛國時，衛國父子爭權的風波仍未平息。原蒯聵黨羽、逃亡到齊國的衛大夫公孟彄由于齊國正在與吳國作戰，齊悼公被弒殺，又避亂回到了衛國。衛國朝野對于公孟彄的回歸也都猜測紛紛，擔心他是為策應蒯聵爭奪君位才回來的。本來衛出公此時有意重用孔子，但孔子主張在衛國施政要先“正名”，這讓衛出公感到難堪，衛國政壇烏煙瘴氣，君不君，臣不臣，父不父，子不子，衛出公心想：“這個時候如果任用孔夫子，他在衛國‘正名’，那不是讓寡人讓位嗎!”于是打消了任用孔子的念頭。
孔文子也正是在這個時候為攻打太叔疾征詢孔子的意見，孔子看到衛國亂上加亂，也無意繼續留在衛國了。孔子羈留衛國的這段時間里，夫人亓官氏去世了，孔子感到了無盡的哀傷，一股思念故國之情油然升上心頭。這一年(魯哀公十一年，公元前484年）艾陵之戰吳、魯聯軍戰勝齊國，魯國執政季康子派人帶著厚禮邀請孔夫子返回魯國，孔子遠離故國這么多年，更是思鄉心切，于是率領眾弟子高高興興地回到了魯國。這一年孔子已經六十八歲了，說是周游列國，其實也是推行自己的學說，在其他國家尋求施展才能的機會，但終究沒有實現愿望，長達十四年的羈旅生涯就這樣結束了。