至閔帝應順元年正月，朝廷不欲石敬瑭久在河東，徙潞王從珂做河東節度使，卻宣授石敬瑭做成德節度使。會潞王稱兵反叛，捉著西京留守王思同殺了；閔帝倉皇無措，下詔召石敬瑭將兵入朝，拒敵潞王。三月，潞王兵馬到陜閿鄉，閔帝懮駭不知所向，只帶得馬軍五十人，一同奔出懷州至東數里頭，遇著石敬瑭統兵入衛。閔帝心中大喜，召敬瑭問興復之策。敬瑭曰：「臣聽得康義誠已行反叛，事勢危急，容臣與二三大將謀之，卻得聞奏。」敬瑭出外見懷州刺史王弘贄，共謀興復大計。弘贄曰：「前代天子播遷，皆有卿相侍衛府庫法物。今主上此來，儀有五十騎自隨，莫是被潞王即位后，廢了主上，驅迫此來，亦未可知。」敬瑭回軍中，將王弘贄的話說與沙守榮、奔洪進兩個。忽洪進向前責罵敬瑭曰：「令公為明宗愛婿，富貴相與共之，憂患亦宜相恤。今天子播遷，委計令公，冀圖興復，公乃以此致疑，怎不是附賊要賣天子否？」洪進抽佩刀待刺石敬瑭，當有敬瑭親將陳暉力救得免。守榮格斗，被陳暉殺死。洪進亦自刎死。劉知遠做牙內指揮使，直引兵入閔帝行宮，將左右從行的騎士，一齊殺盡；只留閔帝一人，得不加害。石敬瑭更不謁見唐主，引兵徑趣洛陽。

至清泰三年，唐主宣授石敬瑭做天平節度使，敬瑭欲不拜命，朝旨差張敬達做西北都部署，迫脅敬瑭赴鄆州。敬瑭疑懼，與劉知遠共謀去就。劉知遠道：「哥哥久在兵間，素得士卒心。今據形勝地面，士馬又十分精強，若稱兵反叛，帝業可成。奈何聽命于一紙制書，自投身于虎口乎？」敬瑭聽得知遠這說，心下欣然，應道：「賢弟說的話，使我心下豁然。」便喚請掌書記桑維翰寫著表，稱臣于契丹主，請以父禮事之。契丹主回書，許俟八月，傾國赴援。八月，唐主使張敬達筑長圍攻打晉陽。石敬瑭差劉知遠做馬步軍都指揮使。十一月，契丹主立石敬瑭做大晉皇帝，改年號做天福元年。宣授劉知遠做侍衛馬軍都指揮使。

天福四年，晉主加授劉知遠做同平章事，與那杜重威同制。知遠心下不悅道：「咱有佐命的大功，重威起自外戚，無甚功勞，恥與之同制。」制下數日，杜門不肯拜受。晉王怒，謂趙瑩曰：「知遠堅拒制命，可落軍權，令他歸家閑坐。」趙瑩奏道：「陛下昔在晉陽時，兵不滿五千人，受虜兵十萬余所攻，危在旦夕，倘非劉知遠心如金石，拚死拒守，大業何由可成？今以小小過失，棄絕功臣，天下之人將謂陛下賞輕罰重，無以制伏臣民。」晉主怒少解，遣和凝親到知遠居第，宣諭圣旨，促令受命。知遠皇恐就職。

天福六年，晉王怕安重榮跋扈，宣授劉知遠為北京留守。那時知遠的孩兒承義，年至十二歲，因出外走馬，被軍卒戲笑曰：「宣贊跨馬趯球快活，怎知恁的娘娘在那孟石村，日夕在河頭擔水，多少苦辛么？」承義未聽得時，萬事都休，才聽得后，一日也忍遏不下，歸家泣告父親道：「孩兒每出外閑走，被軍人笑罵，道咱在此快活，怎知娘娘見在孟石村河頭擔水辛苦。孩兒告著爹爹，待親身去尋咱娘娘，探問消息。」知遠聞言，只見眼淚汪汪，向承義道：「您不須去，您若去時，兩個舅舅必用計謀陷害您。待老爺明日結束行囊，帶領百十人一同走去，探您娘娘消息，兩日便回。」那元帥經行，但見鼙聲振野，騎氣驚人；旌旗飄九陌紅霞，戈甲浸滿眥秋水。離了北京，離不得饑餐渴飲，夜宿曉行。不數日到得孟石村二十里頭，將一行人從并潛伏一處。知遠自打扮做個討草人夫，擔著一對草籃，回那孟石村李長者莊上去。那兩個舅舅李洪信、李洪義全不瞅睬著知遠。只有那叔叔李敬業廝認得知遠，帶他去廳上坐定，喝令屋里點茶出來。古人有詩說茶，道是：

玉蕊旗槍真絕品，僧家造化極工夫。

兔毫盞內香云白，蟹眼湯前細浪腴。

斷送睡魔離幾席，增添清氣入肌膚。

幽叢自好巖溪畔，不許移根傍上都。

茶罷，盞托歸臺。敬業問知遠道：「探聽得賢親在太原大大發跡，今將謂衣錦還鄉，怎生衣服得囗囗囗囗？您的妻房在這里吃哥哥萬千磨難，日夕監他去河頭挑水，受盡苦辛，也指望您功名成遂，夫榮妻貴也。您下梢只恁地狼狽，怎不叫他失望！」將出兩件衣服，使知遠穿了，引他去上親下情處廝叫一聲。因歸去見取三娘子，夫妻廝見，不覺珠淚垂垂。知遠道：「咱討草去為北京留守行司，應付喂馬用度，改日卻來相探。」道罷，挑起草籃便去。第二日，只見一陣軍馬在莊門外啰唣。少刻，北京留守頭踏過了，人從喝道：「低聲！」看看留守馬來，直至李長者廳前下馬，行上廳上坐了。看那留守坐廳時如何？

無限朱衣當砌畔，幾多衛士立階前；厖眉獄子執黃荊，努目杖家持法物。左邊排列，無非客將孔目通引官；右侍森嚴，盡是獄級前行推款吏。法司檢條定法，獄子訊問釘枷。說不盡許多威嚴，塑畫著一堂神道。

那廳上坐的，卻是李長者贅婿劉知遠，受了北京留守，衣錦還鄉也。使左右請將三娘子出來，令排備香案，戴冠穿帔，拜受夫人宣命；拜罷，就知遠左邊列坐。喝令當日排軍，捉將李洪信、洪義兩兄弟跪于階下，罵之曰：「您舊時欺負自家，趕將出去投軍，又要將水淹殺了咱的孩兒！咱這三娘子是您同胞的兄弟，不把半眼覷他，迫令他受盡了萬萬千千磨難，日夕為你做驅口去河頭挑水。您是不顧恩義的賊！」喝令左右：「將第一等重枷來，將李洪信、李洪義枷著。待歇予親眷廝見了，押赴門首斬首來軍前獻酒，泄了咱一肚憤氣！」當得妻叔李敬業進前跪告，知遠疾忙起身，走下階來將叔叔扶起，請上廳，歸主位坐定。敬業道：「人居寒微時，誰不吃人欺負？且如蘇秦未遇時，嫂皆笑之，不為下機；及佩六國相印時，位高金多，親屬皆來跟隨蘇秦，干求富貴，秦皆周之，使滿其欲而去。又如朱買臣，家貧刈薪糊口，常將書冊掛擔上，行且讀書。其妻羞見買臣恁地，日夕求去。買臣道：『吾年五十當富貴，今四十七矣，待我富貴，厚報您恩，休要辭去。』妻罵曰：『如公終餓死溝中耳，何能富貴？』堅要改嫁。買臣不能留，姑聽其去。不三年，拜穎川郡太守。買臣到任，其妻跟后夫同治橋道，買臣見之，使載后車以歸。咱哥哥夫妻兩個，自有眼孔識得好人，招賢親入贅。是洪信、洪義兩個凡夫肉眼，怎識好人？望留守覷著咱哥哥面皮，姑存留兩個承續香火，亦是賢親一場陰德事。」知遠跪謝了敬業道：「小人聽得叔叔教誨，敢不遵從？」喝令階下排軍，將洪信、洪義兩個疏了枷，引上階來，為他把一個盞，與他退驚則個。又記得舊日在李家未贅時，曾出外牧馬，馬吃著報恩寺田禾稼，被寺僧拿去笞了二十下。知遠回孟石村后，此僧不勝恐懼。知遠乃遣人喚這僧來，命之坐，以好語慰安之，道是：「大丈夫以德報怨，小人以怨報怨；您可安心，咱前日的事如風休冰解，休要疑懼。」眾心服知遠之器量過人。知遠在孟石村住得半月十日，帶取李夫人一同回北京留守衙去也。十月，知遠遣親將郭威，賚詔旨誘說吐谷渾酋長白承福，令他舍棄安重榮，來歸朝廷：「您好生小心勾當，事濟有賞。」威曰：「虜惟利是嗜，安鐵胡當來，只將袍褲賜之，得他歸服。今若捐重賂以誘之，可立致其來耳。」知遠令郭威將帶黃金玉帶等自隨，往吐谷渾白承福處諭旨云：「朝廷已割您這田地隸屬契丹，您合自安部落。今者何故南來助安重榮反叛耶？只恐重榮喪亡，您部屬無所歸附，悔無及矣！」承福惶懼，帥眾同郭威來歸降劉知遠，知遠表白承福做大同節度使。六月，晉主石敬瑭疾亟，宣召劉知遠入朝，欲使輔政，策立嗣君。是時，齊王重貴自立為帝，竟寢其命不遣。知遠在后得知，由是心懷怨望。

天福八年九月，景延廣執契丹回圖使喬榮，因放榮歸國，乃大言曰：「爾歸語其主，孫有十萬橫磨劍，翁怒則來戰，萬一蹉跌，取笑天下。」知遠那時做河東節度使，聽得這言語，遂知延廣以大言召寇，但不敢聲言之。一面增募軍馬，置十余軍以備契丹沖突耳。

開運元年二月，契丹渡河，晉主自將親征，詔劉知遠擊契丹。知遠兵屯樂平不進。八月，宣授劉知遠為行營都統，知遠受命。晉主再遣使命督促知遠會兵山東，知遠但按兵不動。晉主疑之，謂所親曰：「知遠據守太原，殊無援朕之急，想有異圖。」雖受都統之命，實無臨制之權，凡朝廷大事皆不得預聞。知遠亦自知為主上見疏，但謹慎自守以度日。郭威見知遠有懮色，謂知遠曰：「小人見令公每日懮形于色，但以淺陋之見覘之，河東之山河險固，風俗好斗，地多良馬，無事則勸民勤于耕桑，有事則募民習于弓矢，此真霸王之資也。愿令公堅守，不必移鎮，進退在我，又何憂乎？」知遠曰：「咱有此意久矣，顧高祖之恩不可負耳！」

開運三年八月，晉王數召白承福入朝，宴賜甚厚。其部落入太原畜牧，多犯法。劉知遠無所輕貸，必以法誅之。部落往往知朝廷微弱，又怕知遠嚴明，私謀遁歸故地。劉知遠與郭威商議：「今天下多事，置白承福等部落在太原，乃異日腹心之疾，不如因事圖之。」密地遣人，進表奏朝廷，謂：「白承福等為謀反復，將有歹心，乞朝廷遷移其部落，使居內地。」晉王乃遣使命賚詔將吐谷渾部落分隸諸州。知遠乘其未行，遣郭威招誘白承福入居太原城中，以謀叛坐之，并其部屬四百余口盡殺之，不留一人。吐谷渾之黨遂弱。初，晉主忌知遠位望已隆，乃進爵為北平王，使為北面行營都統。知遠愈增募軍馬，兼得吐谷渾財畜，愈覺富強，馬步軍各有五萬余人。晉主與契丹結怨，知遠心知晉室危亡，忌景延廣用事，更無一言論諫。契丹舉大兵深入，知遠心知晉主顛沛，嫌晉主忌刻，不遣一兵救援。至晉主重貴被契丹執以北歸，乃分兵據守四境；遣客將王峻奉表稱臣于契丹。表云：

河東節度使北面行營都統進封北平王臣劉知遠，謹頓首上表于大遼皇帝陛下：臣備位晉朝，位兼卿相，主有昏德，而不能進弼違之諫；國有兵難，而不敢遣勤王之師；實以皇帝陛下自天生德，無地不臣。今以亡國之俘臣，愿存前晉之宗社。冒死謹言，席稿待罪。伏候圣旨！

契丹主覽知遠所進表了，道是：「劉知遠觀望不至，既不屬南朝，又不事北朝，意將何所屬耶？」乃手詔褒美。詔云：

覽卿所奏，備見忠忱。今賜劉知遠木拐，優禮先朝元老，昭示朕尊賢之意。此后進表宜加「兒」字于劉知遠姓名之上。勉守太原，朕將畀爾之嘉命！

王峻捧詔回歸，具道契丹主的意思。孔目官郭威向知遠道：「虜之恨公深矣。但王峻言契丹貪殘，大失人心，雖得天下，豈能久有茲土？中國須索中國人為主，且待時而動可也。」知遠曰：「公之謀，與吾意暗合，可謂英雄所見相同也！」或有勸知遠乘時進兵，以興復晉室為辭，必可得志。知遠應之曰：「用兵當審時度宜，今契丹新據京邑，未有他變，怎可輕動？況契丹之志，惟在于得貨財，若剽掠已滿所欲，必將北歸。況春寒已過，勢難久留。直待其去，然后取之，可以收萬全之功也。」河東將佐勸劉知遠稱尊號，然后號召四方忠義之士，以取中國。知遠厲聲曰：「晉主北遷，怎得使爾叛國？如高祖恩義何！」那時知遠聽得契丹主北還，聲言欲出兵井陘，迎奪晉主歸晉陽，命指揮使史弘肇報告諸將佐出師期限。軍士皆歡言：「中國無主，今主天下者非我王而誰？宜推戴北平王先正位號，然后出師未晚。」爭呼萬歲。知遠疾聲叱之曰：「虜勢尚且披猖，吾之軍威未振，當且建功業，然后俟天所命。士卒何知，妄有所請！」命左右禁止之。孔目官郭威與都押衙楊邠入說知遠曰：「此殆天意，非止人謀。王不乘此時應天順人，則人心一去，怎不反受其殃？請大王熟思之！」知遠為眾迫脅，乃即皇帝位。自言未忍改晉國之號，又嫌開運年號不佳，更稱天福十二年。詔諸道有為契丹括率民間錢帛者，截日革罷。晉主知遠自將精兵東迎出帝，至壽陽，聽得已過數日，乃留兵戍承天軍而還。詩曰：

晉君借援犬羊群，迫脅唐君赴火焚。

誰料犬羊更吞噬，周還圖漢不堪聞！