1927年7月，劉伯承輾轉來到武漢，臨時下榻于漢口國民黨四川省黨部辦事處。他的公開身份是武漢政府委任的暫編第十五軍軍長，順瀘起義也是要幫國民黨建立左派軍隊，“與川中反動軍閥奮斗”，自然不會再有人來找他的麻煩。
順瀘起義雖然最終淪于失敗，但畢竟堅守孤城達四十余天，這極大地提高了劉伯承在軍界的聲望，武漢報紙直截了當地稱他為“川中革命軍事領袖”。他所下榻的辦事處門口整日車水馬龍，訪者絡繹不絕，其中有表示慰問的，也有專程求賢的，有讓他回川與四川諸侯合作的，也有想拉他入伙的蔣、汪門客。
劉伯承身穿藍布長衫，一一笑臉相迎，不過對于凡是讓他出山的建議，均以久戰之后身心疲憊，急需休養相拒。
劉伯承在隨時待命。這時由汪精衛主持的武漢國民政府也開始“分共”，第二方面軍總指揮張發奎跟著下達命令，讓在他軍中的葉挺等共產黨員退出軍隊或脫離共產黨。
第二方面軍里有許多共產黨的秘密組織和左派將領。于是中共中央決定以此為基礎，在南昌發動武裝起義，并由周恩來負責領導此次起義。
周恩來受命于危難之際，軍事上急需一個得力的助手。劉伯承既有豐富的作戰指揮經驗，又有發動大規模起義的經驗，在當時的中共黨內尚屬鳳毛麟角，因此被周恩來一眼相中。
革命戰術
盡管蔣、汪都采取了反共立場，但寧漢內部仍然處在對峙之中。繼蔣介石“討伐”武漢政府未果后，汪精衛反戈一擊，發起“東征討蔣”的軍事行動，其中唐生智的第一方面軍沿長江北岸，張發奎的第二方面軍沿長江南岸，分別向南京進擊。預定起義的賀龍、葉挺兩部均屬第二方面軍，他們正好利用這個機會，脫離張發奎的掌握，由武漢、鄂東一帶向南昌集結。
7月下旬，周恩來、劉伯承到達南昌。劉伯承出任起義軍參謀長，負責協助起義軍代總指揮賀龍擬訂起義計劃。
計劃很快就寫出來了。鑒于葉挺也是南昌起義的組織者之一，周恩來讓劉伯承再去征求一下葉挺的意見。
葉挺對劉伯承送來的計劃看得很仔細，但是看完之后就立即把計劃書還給了劉伯承，而且自始至終都沒有說一句話。
此前劉伯承并沒有見過葉挺，只知道對方是打下過武昌城的北伐名將，他對葉挺做事的習慣方式完全不了解，當然也不明白葉挺為什么一言不發——如果對計劃不滿意，可以當面指出來呀。
這是劉伯承第一次擔任幕僚長，又是為如此重大的軍事行動進行策劃，內心不免感到忐忑。想來想去想不明白，他只好去問周恩來。
周恩來一聽就笑了：“噢，你還不熟悉他。他就是這個樣子，要是不說話，就是表示贊成?！眲⒉羞@才放下了心。
8月1日，各部按照擬訂的計劃發動起義，在幾個小時之內便完全控制了南昌。起義勝利后，部隊領導層重新進行了調整，葉挺出任前敵總指揮，劉伯承出任參謀長，由劉伯承所領銜的參謀團實際上成為了起義軍的領導中樞。
一旦有了自己的武裝，應該把部隊拉往哪里，中共內部展開過討論。有人主張西退四川，徐作良圖。周恩來等人認為不妥，依據是四川軍閥力量不容小覷，重慶“三三一”慘案和順瀘起義的失敗便是明證。相比之下，廣東東江的革命基礎較好，而且海口便利，可望在取得蘇聯的軍火接濟后發起第二次北伐。
由南昌到東江有兩條平行的路線，一條是大路，一條是小路。二者各有利弊，大路所經地區比較富裕，便于部隊補充給養，但是對起義軍構成直接威脅的敵軍也多，發生對抗難以應付。小路多為山路，沿途敵軍既少且弱，比較容易應付，而且即便敵軍從其他地方增援，山間行軍困難，也便于各個擊破。
劉伯承主持參謀團會議，最后他根據周恩來的意見，決定棄大路，走小路。
得知所部在南昌發動起義，張發奎趕緊召集幕僚商議追擊起義軍的問題。張發奎的參謀長葉劍英是秘密黨員，他看透了張發奎其實是想借機回廣東和李濟深爭奪地盤，于是就“獻策”說：“讓共產黨去占領東江，李濟深就要調兵去打，這時我們就可以乘虛而下廣州。”
張發奎采納了葉劍英的意見。他裝模作樣地對起義軍追了一下，然后“嗣忽分途”，自顧自地往廣州去了。在沒有追兵的情況下，起義軍得以集中全力對付前方的堵截部隊。
李濟深兵分三路進行堵截。乘右路錢大鈞的兵力尚未完全集結，起義軍以數倍于敵的兵力優勢，對敵軍所設防的壬田、瑞金發動攻擊。
在進攻戰上，包括葉挺、劉伯承在內，起義軍將領們所熟悉的仍然是北伐時期的“革命戰術”，即長驅直進和奪取城市，而且作戰過程中，血氣之勇的硬拼要遠多于避實擊虛的巧斗。
進攻壬田時，負責迂回的葉挺部尚未到達，主攻的賀龍部即從正面進行沖擊。雖然敵人被沖垮了，壬田、瑞金也都拿下了，但并沒有殲滅敵人，殘余敵軍又由瑞金退往了會昌。
攻克瑞金后，起義軍查獲了一份敵軍文件，得知會昌屯集著敵軍重兵，并有攻擊起義軍的計劃。會昌在起義軍身后，不破會昌之敵，起義軍就會有后顧之憂。劉伯承認為應該先打會昌，然后折回瑞金，再轉道進入東江。他的這一建議在參謀團會議上得到了一致通過。
這次會昌大戰，一開始也頗不順暢。賀龍的部隊被留在瑞金做總預備隊，導致前方兵力不足，難有建樹，而總預備隊實際也沒派上什么用場。
二攻會昌，劉伯承隨周恩來趕到葉挺部隊進行指揮。此時葉挺部隊共轄兩個師，其中的第二十五師夜間行軍走錯了路，耽誤了到達會昌的時間，第二十四師獨木難支，攻擊一度受挫。
葉挺非常著急，專門派了一名參謀在路上等候，第二十五師一到會昌城下，師長周士第就立即被領進了指揮部。
葉挺介紹完敵情后，轉向指揮部南面，指著一處叫寨的要點說：“那座山上都是敵人占領的，我們沒有部隊在那一面。”劉伯承接著強調：“這座山上的敵人是后來才發現的，如果不把它打掉，它就會抄我們的后路哩！”說到這里，他抬手在寨到指揮部之間畫了一道弧線。
周士第頓時明白了拿下寨對全局的意義，他馬上率領兩個團向寨發起猛烈攻擊。
分兵
第二十五師由葉挺獨立團發展而來，是北伐戰爭中的鐵軍，官兵能征善戰。經過他們的勇猛沖殺，敵軍在寨的主陣地被一舉攻破。
攻克寨成為了會昌大戰的轉折點，8月30日，起義軍拿下了會昌城，錢大鈞率殘部落荒而逃。
雖然大獲全勝，但二攻會昌還是沒能避免“革命戰術”的問題。整個戰斗過程，賀龍部隊都未加入，基本是靠葉挺部隊在孤軍奮戰，最后的結果也仍然只是擊潰戰，而非殲滅戰。
對起義軍這種無后方的作戰部隊而言，打擊潰戰實際是個“殲敵一千，自損八百”的買賣，并不劃算。葉挺部在攻會昌時，傷亡了約一千人，賀龍部也傷亡了七百人，其中多數都是沖鋒在前的黨員和骨干。
南昌起義時，大家已感到黨內缺乏軍事骨干，經過這幾次傷亡，更感到缺乏萬分，可又無法及時進行補充，只能寄望于到東江后再想辦法。
劉伯承很注意收集和研究敵方情報資料。攻入會昌后，他對敵軍遺留的文件和報紙進行了認真翻檢。就在翻檢過程中，一個極其重要的線索映入了眼簾。
南行路上，因為種種原因，不少人都脫離了部隊，其中賀龍的參謀長陳裕新及以下七百人投奔了唐生智。陳裕新為此還發了一份通電，劉伯承在翻檢中看到了這份通電，在那上面，起義軍南行的目的和進軍路線已經完全暴露。
劉伯承立即向周恩來建議召開參謀團會議。會上眾人一致認為有改變南行路線的必要，遂決定在返回瑞金后，改經長汀、上杭入東江。
準備出發前，敵軍突然進攻會昌，遭到起義軍反擊后又即行退去。劉伯承認為這是敵軍在引誘起義軍發動進攻，以延緩起義軍到達東江的時間。在劉伯承的建議下，部隊未與后面的敵人糾纏，繼續向長汀進發。
9月19日，起義軍進入汀州，參謀團開會討論取東江的計劃。一部分人主張全力進攻潮汕。理由是潮汕位于濱海地區，其中汕頭港可停泊巨輪，另外那一帶還爆發過農民暴動。如果起義軍攻破潮汕，不僅可獲得蘇聯的軍火支援，而且能從當地農民中得到急需的兵員補充。
在東江歷來的戰史上，各軍均重視興寧、五華，源于兩縣地形上占優勢之故。正好這個時候起義軍得到一份敵軍電報，說廣州方面來的敵軍正向河源集中。一些人便主張以主力取興寧、五華，從而在迎擊河源敵軍主力時贏得地形上的優勢。
參謀團由此分出了“攻興寧派”和“攻潮汕派”。“攻興寧派”建議僅以不超過兩個團的兵力進攻潮汕，并且預計潮汕守軍兵力空虛，小部分兵力即可讓其棄城而逃。
“攻潮汕派”則不以為然。他們提出，情報顯示興寧方面并無敵情，以主力取興寧根本沒有必要，更重要的是，以小部分兵力攻潮汕，成功實無把握，萬一遭受挫折，起義軍的處境將變得進退維谷。
討論到最后，多數人都傾向和贊同“攻潮汕”。于是起義軍指揮部決定除留朱德率二十五師扼守三河壩外，其余主力都用于攻取潮汕，這就是“三河壩分兵”。
起義軍大兵壓境，潮汕立即陷入混亂狀態，加上汕頭工農赤衛隊的里應外合，潮州、汕頭相繼拿下。
潮汕屬于繁華之地。經過兩個月的長途跋涉，起義軍早已疲困不堪，多數人一停下來就想休息。按照原計劃，起義軍在攻取潮汕后，本應馬不停蹄地開往揭陽，以迎擊由河源來的敵軍主力，結果這一計劃并未得到堅決執行。
除了休整外，起義軍還希望在潮汕補充到大量兵員或得到工農赤衛隊的援助。可是當地農民并沒能充分發動起來，后來劉伯承曾提到“農民其意重在本鄉中尋得土地，愿意從軍出征者少”。
已經組成的工農赤衛隊十分渙散，別說協同起義軍主力作戰了，就連襲擾的作用都起不到，甚至于對付地主武裝都要靠起義軍幫助才能奏效。
在潮汕休整三日后，起義軍進行了第二次分兵：由周逸群的第三師警備潮汕，賀、葉兩軍的主力則向揭陽進發。
與早期作戰部隊缺乏經驗，戰略戰術明顯不夠靈活相一致的是，那時候中共的諜報工作也不像后來那樣成熟有效。盡管中共中央由上海派到廣東去的特工不少，可是起義軍沿途所得到的情報，都是靠繳獲敵軍文件和報紙所得，從特工那里得到報告基本為零。
此外還發生過這樣的事：某特工奉命去某地進行偵察，這名特工領了錢卻未去，也沒有說明未去的理由。最后查出來后，組織上又沒有加以處分。
兵法有云，知己知彼，百戰不殆。情報在戰爭中的作用是誰都不敢低估的。在揭陽，起義軍指揮部終于接到了一個情報，說有千余敵軍集中在湯坑，準備前來揭陽攻擊起義軍。大家決議后，便決定先發制人，用全力吃掉當前之敵。
做失敗時的英雄
孰料好不容易得到的這份情報極不準確，湯坑敵軍不是千余，而是兩萬。起義軍方面，“三河壩分兵”先分了一個戰斗力較強的二十五師，“潮汕分兵”又分了一個師，潮汕休整時又未能補充到兵員，到湯坑之戰時，只能集中和投入六千余人。
在敵眾我寡的情況下，起義軍未能突破敵軍陣地，己方傷亡了近兩千官兵，且彈藥將盡，無力再戰，只得向揭陽、潮汕后撤。
湯坑一戰，敵軍的損失也相當大，敵方戰將黃紹竑事后承認，如果再戰半天，他們是不能夠支持的。起義軍如果沒有先前的兩次分兵，造成主力分散，勝算應該還要大得多。
因為分兵，起義軍反而被敵軍各個擊破。自主力部隊離開潮汕后，駐守潮州的周逸群第三師遭敵兩路猛攻，還沒等主力退回，潮州城即被攻陷。
南昌起義至此宣告失敗。起義軍尚存兩千多人，其中一部退往海陸豐，另一部由朱德、陳毅率領，轉戰江西、湖南，后來上了井岡山。
大革命失敗了，起義軍也失敗了，但是陳毅說了一句話：“要受得起失敗的考驗，做失敗時的英雄。”最艱難處顯奇才，在這黑暗重重、前途茫茫的時刻，劉伯承和他的同志們一樣，需要依靠自己堅強的意志和信念來渡過重重難關。
南昌起義失敗后，劉伯承、賀龍按照上級指示乘船向香港轉移，然后再從香港轉赴上海找中共中央。日后劉伯承接受記者采訪，回憶起這一段經歷時止不住大聲笑了出來——“我跟你講，那一年我跟賀龍兩個逃到香港，很狼狽呢?！?
當時船到達香港，兩人在下船之前就約好，由賀龍扮主人，他扮作賀龍的仆人，因為賀龍身材較胖，像個主人的樣。
上了岸，劉伯承去找旅館。茶房瞧了他一眼，就把他領到了一間又暗又小的房間里。劉伯承很生氣，說你怎么能這樣，把我領到這種房間里來。
正發著火，劉伯承往鏡子前一站，立即被嚇了一大跳：鏡子里的人臉又黑又瘦，穿一身既破又臟的舊軍服，胡子頭發老長老長。
他醒悟過來，為免露出馬腳，趕緊對茶房說，自己只是替主人來看房間的，主人是有身份的，你不該這樣……
1927年冬，劉伯承前往上海，不久便被派往蘇聯學習。留學蘇聯，使得他有機會一邊總結失敗教訓，一邊學習當時世界上最新、最好的軍事科學。
劉伯承首先就讀的是蘇聯高級步兵學校。入學時，他已經三十六歲，一個中國班三十多人，就數他的年齡最大。這個年紀開始學俄文，自然要比其他年輕的同學困難得多，但對于一個在麻醉藥失效的情況下都能咬牙接受眼科手術的人來說，這點困難又不算什么。