八月底，撲蝗工作結束，蘇軾一行回到杭州。次月初，得知朝廷下達的敕命，蘇軾被移知密州，也即出任密州的知州。
密州，即今山東諸城，以境內有密水而得名。北宋的時候，密州屬京東東路，州治為諸城縣。這個地方自古以來就是一個鮮為人知的地方，直到蘇軾的到來，伴隨著蘇軾所作詩詞的流行，密州始聞名于世。
朝廷為什么會下達這樣的任命呢？
原來，蘇軾因為自己的弟弟蘇轍正在齊州任掌書記，于是就趁此機會向朝廷請求出任山東的州守，以便能與弟弟離得近一點，好在最終獲得了朝廷的恩準，被除以密州守。
在蘇轍為蘇軾死后撰寫的墓志銘里，談起蘇軾離任杭州時，用了以下的詞匯：吏民畏愛，乃罷去，猶謂之學士而不言姓。意思是說，杭州的生民都是對蘇軾既敬畏又喜愛，等到蘇軾離開之后，提起他仍是稱之為“學士”而從不帶姓氏。
作為弟弟為哥哥撰寫的墓志銘，同時按照古人“死者為大”的傳統思想來說，這里面肯定有著抬高與美飾的成分。因此，我們暫且不論這件事，先讓我們來重現一下蘇軾離杭前后眾人的一些反應吧。
首先是應慧勤禪師所請，要為其詩集作序。我們知道，慧勤禪師曾經與歐陽修大人交游三十多年，歐陽公經常稱贊慧勤禪師有學問且擅長作詩。而歐陽修又是蘇軾的恩師，加之自己與恩師的朋友也有著密切的來往，所以說，面對慧勤此刻的請求，這個面子蘇軾是必須得給。
另外，蘇軾來到錢塘后，曾在一位方外禪師處借得本朝畫家燕文貴的山水畫卷，如今蘇軾人要調走，只得在畫卷后題跋一些文字歸還。
燕文貴(967—1044)，吳興(今浙江湖州)人，擅畫山水、屋木、人物。作畫常自出機杼，落筆命意不襲古人，所畫景物清潤秀雅，又善于把山水與界畫相結合，將巍峨壯麗的樓觀閣榭穿插于溪山之間，點綴以人物活動。因刻畫精微，筆法峭麗，境界雄渾，人稱“燕家景致”。
得空時，蘇軾又給老家眉山的好友楊濟甫去了信，告訴老楊自己這次要到密州任職，因為蘇轍就在齊州。密州離齊州很近，自己對這一任命還是比較滿意的，因為以后就可以與蘇轍通信甚至是見面了。只是父母的墳墓還在蜀地，自己的歸期恐怕還要延遲幾年了。言外之意就是請求老楊，自己先人的墓地還要老楊與大堂兄不危（字子安）再照看幾年。
九月初八，在知州大人楊繪為蘇軾設下的餞行宴上，蘇軾動情地賦了首《浣溪沙》，次日又依韻再賦《浣溪沙》詞。“可恨相逢能幾日，不知重會是何年。茱萸子細更重看。”，蘇軾很珍惜與州守楊繪大人僅有一個月的短暫相處，因為朝廷已下達了任命，楊大人被召為翰林院學士，將要還京，不久后潭州知州沈起（字興宗）將會到杭接任。
這幾天，蘇軾又與楊知州同游了法慧寺，在法言的僧舍里觀看了王羲之的《敬和貼》。又分別與南北山的道友元凈（辯才）等人道了別。還與楊繪、陸有開、陳舜俞一同游覽了杭州的靈鷲山，并在此題名。
據佛經記載，印度古代佛教圣地為佛陀生前說法和結集佛藏之地。印度靈鷲山，坐落在恒河平原、比哈爾邦那蘭陀和菩提伽耶之間，是印度佛教的圣地。全山拔地而起，層巒疊嶂，正峰峰頂有一巖石矗立，形如鷲鳥之頭。故名靈鷲山。釋迦牟尼曾在此地駐留十二年。靈鷲山的影響后來還傳到我國，杭州靈鷲山上也有塊巨石，形似鷹嘴的模樣。按我國民間的傳說，杭州的飛來峰就是從靈鷲山而來的，并與靈鷲山結為姊妹峰。
就在蘇軾要離開杭州時，當地有一位十二歲的小歌女走進了蘇軾的生活。也就是后來流傳甚廣的說蘇軾“一肚子不合時宜”段子中的女主角。
王朝云，浙江錢塘（今杭州）人，因早年家境清寒，淪落歌舞班中，成為西湖歌伎。十二歲被蘇軾收為侍女，十八歲被蘇軾納為侍妾，蘇軾賜字“子霞”。朝云天生麗質，著名詞人秦觀贊她“美如春園，目似晨曦”。她亦聰穎靈慧，能歌善舞，善彈琵琶。
據說是蘇軾一次游覽西湖的過程中竟在濃妝艷抹的群伎中發現了一個小女孩，生得冰雪之貌，一身素凈衣裙，清麗淡雅，遂當即做出決定，買下這名女子。
王朝云雖然是蘇軾買來的，卻沒想到倒是成就了這一樁千古絕佳的戀情。
王朝云陪伴了蘇軾二十多年的時光，而這二十多年里，蘇軾基本處于被貶謫的境況里。在貶謫的歲月中，蘇軾過的往往荒涼而苦寂。有著王朝云的陪伴，對于蘇軾的貶謫生活，應該說是一個極大的慰藉。蘇軾仿佛與王姓的女子有緣，如果說王弗是在仕宦生涯初期如何處理人際關系上給予了蘇軾莫大的幫助，王閏之是在蘇軾后來的貶謫生涯中給他以家庭的溫暖與慰藉，那么的王朝云則是以其獨具的藝術氣質和對佛教的由衷膜拜與蘇軾達到了深深地默契。也就是說，王朝云能夠真正地懂得蘇軾的內心世界，在理解程度上能夠直抵蘇軾的心靈深處，可以說算得上是蘇軾的紅顏知己。
此處先略去，關于王朝云我們以后再談，現在單說蘇軾離杭前的一些往事。
臨走前，蘇軾給寺僧居則建造的大殿題了梁柱，還著人把仁宗朝時皇家專門為老百姓編寫的醫書《簡要濟眾》刻石，并立于各州的通衢要沖之地，讓貧病的百姓傳抄。蘇軾還在醫書的最后鄭重地寫下一篇聲明，一是強調了十二年前仁宗皇帝的恩德，同時也要求老百姓互相監督，見到破壞石碑的歹人，一定要到官府去揭發。
在杭期間，明州（今浙江寧波）育王寺懷璉（大覺禪師）曾以羅漢木相贈，蘇軾就借花獻佛地轉贈給了慈華大師種植。育王寺大覺禪師懷璉，是一位蘇軾極為推崇的高僧，蘇軾曾把父親蘇老泉一生珍愛有加的《禪月羅漢》畫捐贈給懷璉所在的育王寺。
懷璉所贈的羅漢木原為樹的根部長的奇特的木質突起物，它們長短不一，而且形態也各不相同。其中多數像人形，略似十八羅漢，故被稱為羅漢木。其實羅漢木就是落羽杉的呼吸根，由于落羽杉生長在溪塘邊，土壤潮濕而缺乏空氣，根部有窒息死亡的危險。為了適應環境而存活下去，它們學會了生存自救的特殊技能，從受窒息的根部長出一批反向細胞，向上生長到地面上來呼吸空氣，故也被稱為呼吸根，是一種南方特有的樹種。
抱著對佛教的濃厚興趣，除了懷璉，蘇軾還與杭州當地的明雅照師和釋顯忠（祖印）相交，并把亡母程夫人的簪珥施舍給了凈慈寺，還讓畫工畫了幅佛像，用來追薦父母在陰間得到福祐。在凈慈寺，蘇軾向一位叫聰藥王的僧人討了一個服用生姜養生的方子，這位年過八十仍面色紅潤、目光炯炯的寺僧竟是常年服食生姜而得以延年益壽的。
在杭州期間，蘇軾還常會收到范鎮、文彥博等老臣的書信，知道了司馬君實老先生的身子骨還不錯。還曾夢到過自己被神宗皇帝招入禁中，可見蘇軾此時潛意識里還有著求進的強烈意圖。不好的事也有，那就是曾因沒有舉駁王文敏盜官錢被罰銅八斤。
再有就是，杭州自古都是一個繁華的所在，因此朝廷各部均在杭州設置有分司（類似于辦事處），所以一旦有了公事，當地的知州與通判就得整日陪同游宴，由于蘇軾的名氣較大，朝廷上下的大小官員都希望他能陪同，按說一同出游對于蘇軾那自然不在話下，就是喝酒這件事難倒了“不勝杯酌”的蘇軾，因此，疲于應付的蘇軾就將杭倅（通判）形象地稱為“酒食地獄”。
不過，蘇軾在杭期間過的總體上還是頗具詩意的。與陳述古所謂交情自不必說，還在杭州通判庭上題寫了“隱秀齋”匾額，訪僧問道的過的不亦樂乎，以至于像蘇軾自己所說“山水窮絕處，往往有軾題字”。倅杭近三年，蘇軾在這里寫下的詩詞被人編輯成書，命名為《錢塘集》，這是一本流傳甚廣的集子。
至于弟弟蘇轍，在杭州期間，除了書信來往外，還有與蘇轍一次有意思的文章互動。
某一天，蘇轍將自己寫的得意之作《孟德傳》寄給了哥哥，蘇軾讀后發現，這里面講的是宋仁宗嘉祐年間的禁軍神勇營逃兵孟德，年少時喜好山林生活，當了兵愿望不能實現。于是休掉妻子，把兒子也給了人，獨自逃到華山的深處去了。然而他多次遇到猛獸，也總是沒死。孟德總結出，凡是猛獸，大都能識別人的氣息。離人尚有百步，就伏在地上號叫，聲音在山谷中震響。自己因為不怕死，所以沒有被它嚇住。再試之其它猛獸，也都是一樣的。
蘇軾看后在弟弟的文后寫道，自己曾聽說，巴蜀有個婦人白日里在溪水中浣衣時把兩個小孩放在沙上玩耍，一只老虎突然從山上奔來，婦人很慌張地沉進水里躲避它，兩個小孩子在沙上戲耍，神態依然如故。老虎細看了很久，去用頭觸碰他們，希望其中一個能害怕，而小孩天真，竟然不知道驚怪，老虎也終于離去了。嬰兒們不是有勝過老虎的地方，而是赤子之心的氣勢蓋過它罷了。在早期古人眼里，幼兒不過尺把高，故稱尺子，也就是所說的“赤子”。