1.2 圖像融合的發展歷史與研究現狀

20世紀80年代多傳感器應用的出現，以及基于金字塔的變換方法的廣泛研究，使得圖像融合作為獲取更高質量圖像以進行人類可視化的一種技術開始發展起來。

早期融合的主要目的僅限于人類觀察和決策。最早也是最基本的融合形式是像素平均，即所有輸入圖像的每個像素單獨相加，并將它們的平均像素值作為融合結果。這種方法非常粗糙，很大概率會引入偽影，尤其是當僅存在于一幅輸入圖像中的特征被“疊加”在融合輸出上時。在兩個輸入具有相同顯著性但對比度相反的特征的情況下，它還會導致模式消除和對比度降低。

隨后基于金字塔分解的圖像融合方法開始出現。圖像金字塔是多分辨率分析（MRA）的早期形式，包含一組經過過濾和縮放的圖像表示。融合是通過從源圖像金字塔中選擇每個尺度的系數來執行的，然后對結果金字塔進行逆變換得到最終融合圖像。金字塔方法首先由Burt等人于1984年提出，他們引入了低通拉普拉斯金字塔進行雙目融合。隨后許多改進的基于金字塔的研究方案被提出并用于圖像融合，包括梯度金字塔等。1988年，Rogers等人首次將融合應用于可見光、熱成像和紅外圖像。到目前為止，金字塔分解方法已在圖像融合中得到廣泛使用，但是融合圖像往往包含塊狀偽影，尤其在多模態輸入存在較大差異的圖像區域，并且該融合方法缺乏靈活性，即缺乏各向異性和方向信息。

1993年，Huntsberger等人提出了一種基于小波變換的圖像融合方法。1995年，Li等人對其進行改進，使用小波作為多傳感器圖像融合的替代基函數，它能夠憑借其方向性克服基于金字塔分解的缺陷。Chipman等人的另一項融合方案的提出，開啟了使用小波變換進行圖像融合的趨勢。1997年，Rockinger等人提出了一種位移不變的離散小波變換（DWT）方法，該方法放棄了子采樣。Chibani等人引入了冗余小波變換（RWT），使用了二元濾波器樹的非抽取形式。基于復數的小波變換，即雙樹復數小波變換（DT-CWT）的發展，克服了先前小波模型的方向和頻率選擇性差的問題，此外還可以減少過度完備性并輕松實現完美重構。從小波變換派生的分支包括輪廓波、脊波和曲波變換，結合了各向異性和方向敏感性，可以更好地促進對邊緣等基本圖像特征的分析。

1998年，Sharma等人首次提出基于貝葉斯理論的圖像融合。自此，基于統計和模型的融合方法蓬勃發展，在高要求應用中實現了卓越的性能，盡管這通常以更高的計算復雜度為代價。進入21世紀以來，圖像融合的相關研究吸引了越來越多學者的關注，相關研究成果也不斷涌現，熱度持續不下的原因主要有三點。

（1）對開發低成本和高性能成像技術的需求增加。受到技術限制，相比較設計具有更高質量或某些特定特性的傳感器，圖像融合更加經濟且能滿足大部分應用的要求。

（2）信號處理與分析理論的發展。例如，近年來提出了稀疏表示和多尺度分解等20多種強大的信號處理工具，為進一步提高圖像融合的性能帶來了機會。

（3）在不同應用中獲得的互補圖像的數量和多樣性不斷增加。例如，在遙感應用中，越來越多的衛星正在獲取具有不同空間、光譜和時間分辨率的觀測場景的遙感圖像。同樣地，在醫學領域多種成像模式能夠提供各種模態的醫學影像。

最近十年，機器學習和卷積神經網絡（CNN）在計算機視覺領域“大展拳腳”，基于學習的圖像融合方法逐漸成為研究主流。這類方法通過海量訓練數據集進行學習，得到的融合模型能夠做到實時的融合且融合效果突出，已經在多個領域得到了廣泛的應用。未來，圖像融合依然會是醫學、遙感和計算機視覺領域的研究熱點。