兩個都是強勢、偉大的人，當他們不是兇狠地沖突的時候，教皇與藝術家生來便是相契的。他們的腦海中涌現著巨大的計劃。尤利烏斯二世要令人替他造一個陵墓，和古羅馬城相稱的。米開朗琪羅為這個驕傲的思念激動得厲害。他懷抱著一個巴比倫式的計劃，要造成一座山一般的建筑，上面放著碩大無朋的四十余座雕像。教皇興奮非凡，派他到卡拉雷地方去，在石廠中斫就一切必需的白石。在山中米開朗琪羅住了八個多月。他完全被一種狂熱籠罩住了。“一天他騎馬在山中閑逛，他看見一座威臨全景的山頭：他突然想把它整個地雕起來，成為一個巨大無比的石像，使海中遠處的航海家們也能望到……如果他有時間，如果人家答應他，他定會那么做。”
一五〇五年十二月，他回到羅馬，他所選擇的大塊白石亦已開始運到，安放在圣彼得廣場上，米開朗琪羅所住的桑塔—卡泰里納的后面。“石塊堆到那么高大，群眾為之驚愕，教皇為之狂喜。”米開朗琪羅埋首工作了。教皇不耐煩地常來看他，“和他談話，好似父子那般親熱”。為更便于往來起見，他令人在梵蒂岡宮的走廊與米開朗琪羅的寓所中間造了一頂浮橋，使他可以隨意在秘密中去看他。
但這種優遇并不如何持久。尤利烏斯二世的性格和米開朗琪羅的同樣無恒。他一會兒熱心某個計劃，一會兒又熱心另一個決然不同的計劃。另一個計劃于他顯得更能使他的榮名垂久，他要重建圣彼得大寺。是米開朗琪羅的敵人們慫恿他傾向于這新事業的，那些敵人數不在少，而且都是強有力的。他們中間的首領是一個天才與米開朗琪羅相仿而意志更堅強的人物——布拉曼特，他是教皇的建筑家，拉斐爾的朋友。在兩個理智堅強的翁布里亞偉人與一個天才粗野的翡冷翠人中間，毫無同情心可言。但他們所以決心要打倒他，無疑是因為他曾向他們挑戰之故。米開朗琪羅毫無顧忌地指責布拉曼特，說他在工程中舞弊。那時布拉曼特便決意要剪除他。
他使他在教皇那邊失寵。他利用尤利烏斯二世的迷信，在他面前說據普通的觀念，生前建造陵墓是大不祥的。他居然使教皇對于米開朗琪羅的計劃冷淡下來，而乘機獻上他自己的計劃。一五〇六年正月，尤利烏斯二世決定重建圣彼得大寺。陵墓的事情擱置了，米開朗琪羅不獨被壓倒了，而且為了他在作品方面所花的錢負了不少債務。他悲苦地怨艾，教皇不再見他了。他為了工程的事情去求見時，尤利烏斯二世教他的馬弁把他逐出梵蒂岡宮。
目擊這幕情景的盧克奎主教，和馬弁說：
“你難道不認識他嗎？”
馬弁向米開朗琪羅說：
“請原諒我，先生，但我奉命而行，不得不如此。”
米開朗琪羅回去上書教皇：
“圣父，今天早上我由你圣下的意旨被逐出宮。我通知你自今日起，如果你有何役使，你可以叫人到羅馬以外的任何區處找我。”
他把信寄發了，喊著住在他家里的一個石商和一個石匠，和他們說：
“去覓一個猶太人，把我家里的一切全賣給他，以后再到翡冷翠來。”
于是他上馬出發。教皇接到了信，派了五個騎兵去追他，晚上十一點鐘時在波吉邦西地方追上了，交給他一道命令：“接到此令，立刻回轉羅馬，否則將有嚴厲處分。”米開朗琪羅回答，他可以回來，如果教皇履行他的諾言：否則，尤利烏斯二世永遠不必希望再看到他。
他把一首十四行詩寄給教皇：
“吾主，如果俗諺是對的，那真所謂‘非不能也，是不欲也’。你相信了那些謊話與讒言，對于真理的敵人，你卻給他報酬。至于我，我是，我曾是你的忠實的老仆，我的皈依你好比光芒之于太陽；而我所費掉的時間并不使你感動！我愈勞苦，你愈不愛我。我曾希望靠了你的偉大而偉大，曾希望你的公正的度量與威嚴的寶劍將是我唯一的裁判人，而非聽從了哄騙的回聲。但上天把德行降到世上之后，老是把它作弄，仿佛德行只在一棵枯索的樹上期待果實。”
尤利烏斯二世的侮慢，還不是促成米開朗琪羅的逃亡的唯一的原因。在一封給朱利阿諾·達·桑迦羅的信中，他露出布拉曼特要暗殺他的消息。
米開朗琪羅走了，布拉曼特成為唯一的主宰。他的敵手逃亡的翌日，他舉行圣彼得大寺的奠基禮。他的深切的仇恨集中于米開朗琪羅的作品上，他要安排得使米氏的事業永遠不能恢復。他令群眾把圣彼得廣場上的工場，堆著建造尤利烏斯二世陵墓的石塊的區處，搶劫一空。
可是，教皇為了他的雕塑家的反抗大為震怒，接連下敕令到翡冷翠的諸侯那里，因為米開朗琪羅躲避在翡冷翠。諸侯教米開朗琪羅去，和他說：“你和教皇搗蛋，即是法蘭西王也不敢那么做。我們不愿為了你而和他輕啟爭端：因此你當回羅馬去，我們將給你必要的信札，說一切對于你的無理將無疑是對于我們的無理。”
米開朗琪羅固執著。他提出條件。他要尤利烏斯二世讓他建造他的陵寢，并且不在羅馬而在翡冷翠工作。當尤利烏斯二世出征佩魯賈與博洛尼亞的時候，他的敕令愈來愈嚴厲了，米開朗琪羅想起去土耳其，那邊的蘇丹曾托方濟各派教士轉請他去造一座佩拉地方的橋。
終于他不得不讓步了。一五〇六年十一月杪，他委屈地往博洛尼亞去，那時尤利烏斯二世正攻陷了城，以征服者資格進入博洛尼亞城。
“一個早上，米開朗琪羅到桑佩特羅尼奧寺去參與彌撒禮。教皇的馬弁瞥見他，給認識了，把他引到尤利烏斯二世前面，他正在斯埃伊澤宮內用餐。教皇發怒著和他說：‘是你應當到羅馬去晉謁我們的；而你竟等我們到博洛尼亞來訪問你！'——米開朗琪羅跪下，高聲請求寬赦，說他的行動并非由于惡意而是因為被逐之后憤怒之故。教皇坐著，頭微俯著，臉上滿布著怒氣；一個翡冷翠諸侯府派來為米開朗琪羅說情的主教上前說道：‘務望圣上不要把他的蠢事放在心上，他為了愚昧而犯罪。所有的畫家除了藝術之外，在一切事情上都是一樣的。’教皇暴怒起來，大聲呼喝道：‘你竟和他說即使我們也不敢和他說的侮辱的話。你才是愚昧的……滾開，見你的鬼吧！'——他留著不走，教皇的侍役上前一陣拳頭把他攆走。于是，教皇的怒氣在主教身上發泄完了，令米開朗琪羅近前去，寬赦了他。”
不幸，為與尤利烏斯二世言和起見，還得依從他任性的脾氣，而這專橫的意志已重新轉變了方向。此刻，他已不復提及陵墓問題，卻要在博洛尼亞建立一個自己的銅像了。米開朗琪羅雖然竭力聲明“他一些也不懂得鑄銅的事”，也是無用。他必得學習起來，又是艱苦的工作。他住在一間很壞的屋子里，他、兩個助手拉波與洛多維科和一個鑄銅匠貝爾納爾迪諾，三個人只有一張床。十五個月在種種煩惱中度過了。拉波與洛多維科偷盜他，他和他們鬧翻了。
“拉波這壞蛋，”他寫信給他的父親說，“告訴大家說是他和洛多維科兩人做了全部的作品或至少是他們和我合作的。在我沒有把他們攆出門外之前，他們腦筋中不知道他們并非是主人，直到我把他們逐出時，他們才明白是為我雇用的。如畜生一般，我把他們趕走了。”
拉波與洛多維科大為怨望，他們在翡冷翠散布謠言，攻擊米開朗琪羅，甚至到他父親那里強索金錢，說是米開朗琪羅偷他們的。
接著是那鑄銅匠顯得是一個無用的家伙。
“我本信貝爾納爾迪諾師父會鑄銅的，即不用火也會鑄，我真是多么信任他。”
一五〇七年六月，鑄銅的工作失敗了。銅像只鑄到腰帶部分。一切得重新開始。米開朗琪羅到一五〇八年二月為止，一直在干這件作品。他的健康為之損害了。
“我幾乎沒有用餐的時間，”他寫信給他的兄弟說，“……我在極不舒服極痛苦的情景中生活：除了夜以繼日地工作之外，我什么也不想；我曾經受過那樣的痛苦，現在又受著這樣的磨難，竟使我相信如果再要我作一個像，我的生命將不夠了：這是巨人的工作。”
這樣的勞作卻獲得了可悲的結果。一五〇八年二月在桑佩特羅尼奧寺前建立的尤利烏斯二世像，只有四年的壽命。一五一一年十二月，它被尤利烏斯二世的敵人本蒂沃利黨人毀滅了。殘余的古銅被阿方斯·特·埃斯特收買去鑄大炮。
米開朗琪羅回到羅馬。尤利烏斯二世命他做另一件同樣意想不到的同樣艱難的工程。對于這個全不懂得壁畫技術的畫家，教皇命他去作西斯廷教堂的天頂畫。人們可以說他簡直在發不可能的命令，而米開朗琪羅居然會執行。
似乎又是布拉曼特，看見米開朗琪羅回來重新得寵了，故用這件事情作難他，使他的名譽掃地。即在這一五〇八年，米氏的敵手拉斐爾在梵蒂岡宮開始Stanza那組壁畫，獲得極大的成功，故米開朗琪羅的使命尤其來得危險，因為他的敵人已經有了杰作擺在那里和他挑戰。他用盡方法辭謝這可怕的差使，他甚至提議請拉斐爾代替他：他說這不是他的藝術，他絕對不會成功的。但教皇是固執著，他不得不讓步。
布拉曼特為米開朗琪羅在西斯廷教堂內造好了一個臺架，并且從翡冷翠召來好幾個有壁畫經驗的畫家來幫他忙。但上面已經說過，米開朗琪羅不能有任何助手。他開始便說布拉曼特的臺架不能用，另外造了一個。至于從翡冷翠召來的畫家，他看見便頭痛，什么理由也不說，把他們送出門外。“一個早上，他把他們所畫的東西盡行毀掉；他自己關在教堂里，他不愿再開門讓他們進來，即在他自己家里也躲著不令人見。當這場玩笑似乎持續到夠久時，他們沮喪萬分，決意回翡冷翠去了。”
米開朗琪羅只留著幾個工人在身旁。但困難不獨沒有減殺他的膽量，反而使他把計劃擴大了，他決意在原定的天頂之外，更要畫四周的墻壁。
一五〇八年五月十日，巨大的工程開始了。暗淡的歲月，——這整個生涯中最暗淡、最崇高的歲月！這是傳說上的米開朗琪羅，西斯廷的英雄，他的偉大的面目應當永遠鏤刻在人類的記憶之中。
他大感痛苦。那時代的信札證明他的狂亂的失望，決非他神明般的思想能夠解救的了：
“我的精神處在極度的苦惱中。一年以來，我從教皇那里沒有拿到一文錢。我什么也不向他要求，因為，我的工作進行的程度似乎還不配要求報酬。工作遲緩之故，因為技術上發生困難，因為這不是我的內行。因此我的時間是枉費了的。神佑我！”
他才畫完《洪水》一部，作品已開始發霉：人物的面貌辨認不清。他拒絕繼續下去。但教皇一點也不原諒。他不得不重新工作。
在他一切疲勞與煩惱之外，更加上他的家族的糾纏。全家都靠了他生活，濫用他的錢，拼命地壓榨他。他的父親不停地為了錢的事情煩悶、呻吟。他不得不費了許多時間去鼓勵他，當他自己已是病苦不堪的時候。
“你不要煩躁吧，這并非是人生遭受侮弄的事情……只要我自己還有些東西，我決不令你短少什么……即使你在世界上所有的東西全都喪失了，只要我存在，你必不致有何缺乏……我寧愿自己貧窮而你活著，決不愿具有全世界的金銀財富而你不在人世。……如你不能和其余的人一樣在世界上爭得榮譽，你當以有你的面包自足，不論貧與富，當和基督一起生活，如我在此地所做的那樣，因為我是不幸的，我可既不為生活發愁亦不為榮譽——即為了世界——苦惱；然而我確在極大的痛苦，與無窮的猜忌中度日。十五年以來，我不曾有過一天好日子，我竭力支撐你；而你從未識得，也從未相信。神寬恕你們眾人！我準備在未來，在我存在的時候，永遠同樣地做人，只要我能夠！”
他的三個弟弟都依賴他。他們等他的錢，等他為他們覓一個地位；他們毫無顧忌地浪費他在翡冷翠所積聚的小資產；他們更到羅馬來依附他；博納羅托與喬凡·西莫內要他替他們購買一份商業的資產，西吉斯蒙多要他買翡冷翠附近的田產。而他們絕不感激他：似乎這是他欠他們的債。米開朗琪羅知道他們在剝削他；但他太驕傲了，不愿拒絕他們而顯出自己的無能。那些壞蛋還不安分守己呢。他們行動乖張，在米開朗琪羅不在家的時候虐待他們的父親。于是米開朗琪羅暴跳起來。他把他的兄弟們當作頑童一般看待，鞭笞他們。必要時他也許會把他們殺死。