楊廣在江都設(shè)置的四道場(chǎng)與楊堅(jiān)在長(zhǎng)安設(shè)立的大興善寺、玄都觀交相暉映，成為全國性的宗教思想控制的中心。楊廣曾寫詩夸耀自己在江都設(shè)立的四道場(chǎng)，對(duì)自己能延攬到眾多高僧頗為得意。

然而，也有一些高僧堅(jiān)決拒絕楊廣的延攬，不愿前往江都四道場(chǎng)“任職”。如《續(xù)高僧傳》卷一《彭城崇圣道場(chǎng)靖嵩傳》記曰：“隋煬昔鎮(zhèn)揚(yáng)越，立四道場(chǎng)，教旨載馳，嵩終謝遣。及登紫極，又有敕征，固辭乃止。門人問其故，答曰：‘王城有限，動(dòng)止嚴(yán)難，雖內(nèi)道場(chǎng)，不如物外’”。蘇州虎丘山名僧智琰因“道盛名高”，被楊廣召進(jìn)慧日道場(chǎng)，后亦“以辭疾，得返舊山”。江南第一高僧的智覬雖被楊廣延屈至江都。但智覬卻也堅(jiān)決拒絕進(jìn)入慧日道場(chǎng)。

智覬來江都時(shí)，“慧日己明”，楊廣意讓智覬為慧日主持，利用智覬的德望擴(kuò)大其對(duì)江南佛教界的影響。智覬堅(jiān)辭不受，反倒當(dāng)面提出要回荊湘，“于當(dāng)陽縣玉泉山”建立自己的“精舍”。不愿意加人有大隋官方背景的慧日道場(chǎng)，要遠(yuǎn)離江都到荊州建立自己自由傳教的天地，這是對(duì)楊廣盛情邀請(qǐng)明確表示不予合作。智覬在江都城外住了幾個(gè)月，但始終未入慧日道場(chǎng)。其間楊廣仍百般延請(qǐng)，多次派柳顧言往智居處奉送禮物，再作挽留。楊廣稱：“弟子一曰恭親，猶以陋薄，不稱宿心。”開皇十二年（592年）二月十八日，楊廣致書一封請(qǐng)留，但智覬則反而提出要先回廬山東林寺，并轉(zhuǎn)而請(qǐng)楊廣為“東林峰頂兩寺檀越（施主）”。楊廣無奈，只得再派柳顧言轉(zhuǎn)達(dá)口信：“弟子意不欲相去遼遠(yuǎn)，脫能旋回，不敢留停，鎮(zhèn)下近山隋樂住止”。但智覬仍執(zhí)意離去。三月一日，楊廣又修《重留書》，欲留智覬過完夏天后再“發(fā)遣，冀不半途飄露”，“請(qǐng)就攝山安居度夏”，但“師不許”，嚴(yán)辭謝絕。楊廣對(duì)這位固執(zhí)的長(zhǎng)者不敢“違忤”，“謹(jǐn)尊宿愿”，“即命所司發(fā)遣”，最后“具裝發(fā)遣”送智覬覬上廬山。

智覬入江都僅四個(gè)月就遠(yuǎn)走荊湘，對(duì)楊廣表現(xiàn)出的不合作甚至對(duì)立，楊廣都表現(xiàn)出了極大的耐心與智慧。

然而智覬雖極力疏遠(yuǎn)楊廣，卻也沒有忘記利用王者之力來興辦佛事。他離江都時(shí)即給楊廣寫信，稱“近年寇賊交橫，寺塔燒燼，仰乘大力建立將危。遂使佛法安全，道俗蒙賴，收拾經(jīng)像處處流通，誦德盈衢恩滿路”，希望楊廣營造治葺廟宇。楊廣立即回信表示同意，稱“廢寺同于火宅，持缽略成空返，僧從無依，實(shí)可傷嘆”。智覬登上廬山，又述東林寺“羨玩忘勞”，然山下伽藍(lán)偏近驛道，行人歸去頗成混雜，請(qǐng)求楊廣下令寺邊“永禁公私停泊”。楊廣知道后立即交代有關(guān)方面“勒彼州令去公私使命，不得停止”。就這樣，師徒二人各有圖謀，互相利用，書信往來不絕，表面看來似乎已成莫逆之交。

楊廣也一刻沒有放松對(duì)智覬大師的拉攏。開皇十二年（592年）三月二十一日，楊廣連修書三封，存問大師“道體如何”。七月一日，楊廣遣主簿王灌往廬山參省問候，并送鹽米，希望智覬回心轉(zhuǎn)意。但智覬卻于八月八日西去南岳衡山，“營建功德”參拜恩師慧思之墓。楊廣得知智覬遠(yuǎn)云，急忙于十月十日參書一封，云：“弟子渡江還，去月初移新住，多有造次，未善安立，來旨勖以法事，實(shí)用慚悚，始于所居外援建立慧日道場(chǎng)，安置照禪師以下，江陵論法師亦已遠(yuǎn)至于內(nèi)援。建立法云道場(chǎng)，安置潭州覺禪師已下。”再次表示要請(qǐng)智到江都道場(chǎng)主持佛法，并催促說：“已別遣使迎延，愿預(yù)整歸計(jì)。”十一月十五日，楊廣再遣親信伏達(dá)往潭州奉迎。但智覬未加理會(huì)，于十二月回到闊別二十多年的家鄉(xiāng)荊州。一時(shí)“泮宮道俗延頸侯望，扶老攜幼相趨戒場(chǎng)，垂里戴白云屯講座，聽眾五千余人，旋鄉(xiāng)答地荊襄未聞”。智覬即于當(dāng)陽縣玉泉山建立“精舍”，并重修十住寺，打算在此長(zhǎng)住久居。

智覬大師我行我素，傲慢地拒絕晉王楊廣的“累書延屈”，當(dāng)然使晉王大丟面子，但楊廣也并未激怒，表現(xiàn)出極高的政治素養(yǎng)和極大的耐心。智覬遠(yuǎn)離江都而入荊湘意在擺脫晉王的控制，但終不能擺脫大隋政權(quán)的監(jiān)視，遠(yuǎn)離晉王卻也使智覬難以得到晉王的政治庇護(hù)。時(shí)楊堅(jiān)在舊陳荊州等地設(shè)置的總管府，雖說總歸晉王節(jié)制，但實(shí)際上是直接聽命于朝廷，“總管刺史加使持節(jié)”，擁有很大的權(quán)力。如令狐熙為桂州總管十七州諸軍事，即有便宜從事之權(quán)，可以朝廷名義任命刺史以下官吏，楊廣號(hào)令所達(dá)地區(qū)實(shí)際上僅限于揚(yáng)越一隅。

智覬進(jìn)入荊湘弘法，果然遇到了麻煩。智覬臨終時(shí)給楊廣的遺書中透露了自己在荊州集眾說法時(shí)，遭到地方當(dāng)局粗暴干涉的情況：

于荊州法集，聽眾一千余僧，學(xué)禪三百，州司惶虛，謂乖國式，豈可集眾，用惱官人。胡朝同云合，暮如雨散，設(shè)有善萌，不獲增長(zhǎng)，此乃世調(diào)無堪，不能諧和所得。

法會(huì)竟被地方官勒令解散，足見其事之嚴(yán)重。時(shí)江南平叛不到兩年，隋對(duì)舊陳遺民心存警戒，曾多次下令收繳武器，直到開皇十八年（598年），還下令禁止“私造大船，因相聚結(jié)，致有侵害，其江南諸州，人間有船長(zhǎng)三丈以上，悉括入關(guān)”。智覬“因相聚結(jié)”了一千余僧，外加學(xué)僧三百，而未經(jīng)官方同意，自然“有乖國式”。特別是智覬先前與南陳君臣關(guān)系密切而不附隋朝，隋地方官員生怕他以宗教聲望聚眾謀反，他的自由傳教又怎能不使“州司惶虛”。可以肯定，遣散智覬的法令是地方官依法行事，而決不是秉承晉王的命令。為了尋求政治庇護(hù)，智覬寫信請(qǐng)楊廣做玉泉的大檀越，楊廣再次表示同意。楊廣后又寫信給荊州總管達(dá)奚儒，請(qǐng)他對(duì)智者及所修玉泉寺多加關(guān)照。

開皇十三年（593年）二月二十二日，楊廣入朝，行至陜州，又遣使送去親筆信往荊州奉迎智，稱自己“馳仰之誠與時(shí)而積”。五月，智覬派弟子奉書報(bào)晉王，送上新建玉泉伽藍(lán)圖，獻(xiàn)上相傳是外國奉獻(xiàn)給梁武帝的珍貴“萬春樹皮袈裟”。楊廣收到禮物后即修書一封表示感謝，并附一份豐厚的禮單以示還報(bào)。楊廣還在朝見父皇時(shí)奏告了自己為安定江南政局而拉攏利用智覬的意圖，楊堅(jiān)十分重視，于開皇十三年（593年）七月二十三日敕書匾額，賜智覬創(chuàng)辦的精舍名曰“玉泉寺”，并敬問道體。皇帝御筆親題金字，對(duì)于正遭到麻煩的智覬大師來說，的確是巨大的恩惠，這也正是大師求之不得的。荊州總管王世積隨即“到山禮拜”，智覬的境況無疑大為改觀了。弟子為大師幫了大忙，因各有所求，已漸疏遠(yuǎn)的師徒關(guān)系似乎又熱起來。

施之以李，報(bào)之以桃。楊廣施此恩惠，自然要圖還報(bào)，于是更加緊了對(duì)智覬的延攬。九月十日，楊廣致書智覬，稱“弟子還鎮(zhèn)非久，便愿沿流仰合江都”再次邀請(qǐng)智覬往江都。九月二十四日，楊廣又由京師寫信給智覬，稱“仰違已久，弛系實(shí)深”，“獻(xiàn)歲非遙，傾遲虔禮，暮春屆節(jié)當(dāng)遣奉侯”。不日，又遣統(tǒng)軍魯子譽(yù)送信，書稱：“秋仲歸蕃，請(qǐng)夏訖沿下，在于拜覲”。開皇十四年（594年）九月，楊廣從駕東巡于路又兩次修書存問“道體康悆”。開皇十五年（595年）正月，楊廣隨楊堅(jiān)祠泰山后還鎮(zhèn)，即于二十日遣使奉書往迎智覬，稱“余春未盡，必希拜覲”。楊廣的恩惠和“致書累請(qǐng)”使智覬再也不好推辭，隨即順流東下，“重履江淮”。