1.2 研究現狀及發展趨勢

由于成像系統、傳輸設備等的不完善，自然圖像在獲取、存儲與傳輸過程中往往會受到各種噪聲的干擾。研究表明，絕大部分的噪聲都可以用高斯白噪聲來表示。噪聲會嚴重影響圖像的視覺效果，圖像去噪作為圖像恢復的一個經典問題，已經被研究了很長時間。然而，目前它仍然是一項具有挑戰性和開放性的任務。其主要原因是，從數學的角度看，圖像去噪的本質是一個逆問題，其解是不唯一的。

在過去的幾十年間，圖像去噪領域取得了巨大的成就[5-8]。在通常情況下，根據對圖像的表示方法，圖像去噪方法可以分為兩類：空間域方法和變換域方法。空間域方法根據原始圖像中像素/圖像塊之間的相關性計算每個像素的灰度值[9]，以達到消除噪聲的目的。與空間域方法相比，變換域方法首先將給定的噪聲圖像變換到另一個域，如頻率域、小波域等，然后根據圖像和噪聲的不同特征對變換系數進行濾波處理（較大的系數表示高頻成分，即圖像的細節或邊緣；較小的系數表示噪聲），之后將處理后的系數投影回原始的空間域中，以將噪聲從圖像信息中分離出去。

1.2.1 空間域方法

一般來講，空間域方法可以分為3類：空間域濾波、基于先驗信息的正則化去噪模型、基于卷積神經網絡（Convolutional Neural Network，CNN）的方法。

濾波是圖像處理的主要手段，大量的空間濾波器被用于圖像去噪[10-20]。空間域濾波器可以進一步分為線性濾波器和非線性濾波器兩類。最初，利用線性濾波器去除圖像的噪聲，如均值濾波器、維納濾波器[15,17]，但其在圖像上保留紋理和細節的效果并不好[16]。雙邊濾波器[11]作為一種非線性、保邊的濾波器，在圖像去噪領域得到了廣泛應用。然而，雙邊濾波器的一個缺點是算法消耗時間較長。因此，空間濾波器在一定程度上消除了噪聲污染，但付出的代價是使圖像模糊，導致圖像失去銳利的邊緣。

由于圖像去噪的不適定性，許多學者研究并發展了基于先驗信息的正則化去噪模型。該模型的原理是對圖像退化過程進行數學建模，再利用自然圖像先驗信息對解空間進行約束，從而估計所需的無噪圖像。先驗信息不僅能約束圖像去噪問題的最優解滿足唯一性，還能使圖像符合人類視覺感知特性。因此，對于正則化去噪模型，最重要的步驟是找到一個合適的先驗信息。現有的基于先驗信息的正則化去噪模型包括基于梯度的先驗模型、非局部自相似（Non-Local Self-Similarity，NSS）先驗模型、稀疏性先驗模型和低秩性先驗模型。

從20世紀80年代開始，Tikhonov和Arsenin[21]將一個正則化項添加到數學模型中，從而提出了基于Tikhonov正則化先驗的圖像去噪模型。該模型是通過最小化圖像梯度的L2范數實現的，但它會平滑圖像的細節[22,23]。為此，Rudin和Osher等人[24]提出了一種基于梯度投影的全變分（Total Variation，TV）正則化模型，該模型基于TV的正則化方法來解決去噪圖像的平滑性問題，這是該領域很有影響力的工作之一。與Tikhonov正則化模型相比，它將L2范數轉到L1范數上來計算。TV正則化模型基于自然圖像局部平滑、像素強度僅在大部分區域內逐漸變化的統計事實，在平滑噪聲和保持邊緣方面有較為不錯的效果，但是它存在3個主要缺點：對紋理的保護不盡如人意，平坦區域容易產生階梯效應，圖像的對比度下降[25-28]。為了提高TV正則化模型的性能，近年來出現了大量改進算法。2004年，Lysaker和Osher等人[29]為了解決圖像去噪時高階偏微分方程的數值不穩定問題，提出了LOT模型，進一步增強了TV正則化模型的去噪能力，同時提高了數值的穩定性。階梯效應的出現使平坦區域在去噪過程中產生了虛假邊緣。為了應對這種階梯效應，2008年，Zhu和Xia[30]在平均曲率流模型中耦合了梯度項，通過平滑圖像的梯度對圖像梯度加以控制，得到了較好的處理結果。2009年，Beck等人[31]提出了基于約束TV的快速梯度算法，這是一個可覆蓋其他非光滑正則化模型的通用框架。雖然該算法提高了PSNR，但其只考慮了圖像的局部特征，無法保持圖像的整體結構。

顯然，先前介紹的濾波方法與基于梯度先驗的正則化方法都屬于局部去噪方法。雖然局部去噪方法的時間復雜度較低，但當噪聲水平較高時，這些方法的性能會受到影響，其原因是高水平噪聲嚴重干擾了鄰域像素的相關性。近年來，基于自然圖像在不同位置包含大量相似圖像塊這一事實，大多數的先進算法都采用自然圖像的NSS先驗[32]來實現圖像去噪。該類方法的一個開創性工作是非局部均值去噪（Non-Local Means，NLM）算法[33]，其基本思想是以圖像塊作為處理對象進行逐點估計，對于每個圖像塊，利用其冗余信息搜索相似圖像塊并計算權重，通過加權平均相似圖像塊的中心像素來估計像素的真實值，即利用NSS先驗以加權濾波的形式進行圖像去噪。該算法為圖像去噪開辟了一個全新的領域，許多關于NLM的改進算法也相繼被提出[34-42]。受NLM算法的啟發，人們提出了一系列基于非局部自相似先驗的方法來解決各種圖像逆問題[32,43-49]。例如，文獻[32]和文獻[49]提出了將非局部方法拓展到TV正則化中。考慮到TV正則化模型和NSS先驗算法各自的優缺點，Sutour等人[49]提出了一種結合非局部自相似和TV正則化的自適應正則化去噪方法（R-NL）。結果表明，兩種模型（局部TV模型和非局部自相似模型）是互補的。雖然許多基于NSS先驗算法的去噪方法都取得了巨大的成功，但它們都單獨估計每個像素，而不是直接估計去噪的圖像塊；同時，相似圖像塊數量不準確和圖像塊相似性度量標準單一，所有這些因素都可能導致NSS先驗算法傾向于使圖像過平滑，從而大大降低圖像的視覺質量。因此，NSS先驗算法進一步拓展和改進為基于字典學習的稀疏性先驗方法[50]和基于相似圖像塊的低秩性先驗方法[51,52]。

目前，許多圖像去噪方法都利用了圖像的稀疏性先驗知識。作為一種字典學習方法，稀疏表示模型不僅可以從一個有代表性的數據集學習，還可以從待重建圖像本身學習。K-SVD（K-Means Clustering for Singular Value Decomposition）算法[53,54]是解決底層非凸能量最小化問題的最流行和最強大的數值算法之一。如文獻[53]所述，與所有其他字典相比，K-SVD字典在比特率低于1.5比特/像素（稀疏表示模型成立）的情況下，其PSNR可以高1～2dB。然而，這種算法是一種局部算法，它忽略了圖像的非局部信息之間的相關性。在高水平噪聲情況下，局部信息受到噪聲的嚴重干擾，去噪效果不明顯。結合NSS先驗，圖像的自相似稀疏性在圖像處理領域得到了研究者的廣泛關注[55-57]。Mairal等人[55]假設每個圖像塊都可以分解為一個基集合中幾個元素的線性組合，在此基礎上，他們提出了一種基于稀疏編碼的圖像恢復方法。Dong等人[57]提出了非局部聚集稀疏表示（Nonlocally Centralized Sparse Representation，NCSR）模型。NCSR模型自然地將NSS先驗集成到稀疏表示框架中，是目前最流行的圖像去噪模型之一。雖然NSS先驗與稀疏性先驗的結合很成功，但由于迭代字典學習和未知稀疏系數的非局部估計，這種方法對計算能力的要求很高，這極大地限制了它在現實應用中的適用性。

與稀疏性先驗不同，基于低秩性先驗的去噪模型將相似圖像塊重組為一個矩陣，矩陣的每列都是一個拉伸的圖像塊向量，并利用矩陣的低秩性進行圖像去噪[58,59]。基于圖像的低秩性方法最早出現在矩陣填充領域，并在Candès和Li等人[60]的推動下取得了很大的進步。近年來，低秩模型能夠取得良好的去噪效果，因此對低秩去噪方法的研究也逐漸深入。圖像去噪的低秩方法可分為兩類：基于低秩矩陣分解[61-68]的方法和基于核范數最小化[51,52,69,70]的方法。基于低秩矩陣分解的方法通常將給定的數據矩陣近似為兩個固定的低秩矩陣的乘積。例如，文獻[63]提出了一種基于低秩矩陣恢復的圖像去噪方法，取得了良好的效果。Dong等人[65]提出了一種基于奇異值分解（Singular Value Decomposition，SVD）的低秩方法，對非局部相似圖像的稀疏表示進行建模，該方法利用貝葉斯框架中的奇異值迭代收縮來去除噪聲。這類方法的主要局限性在于必須提供秩作為輸入，并且過低或過高的值將分別導致細節丟失或噪聲殘留。另外，圖像去噪可以作為一種低秩矩陣逼近問題。矩陣秩的最小化是一個非凸NP-hard問題[71]，因此有人提出用基于核范數最小化的方法來近似矩陣秩的最小化。最初，Candès等人[60]提出可以通過解決核范數最小化（Nuclear Norm Minimization，NNM）問題恢復潛在低秩矩陣。基于NNM方法，Gu等人[51,52]引入了加權核范數最小化（Weighted Nuclear Norm Minimization，WNNM）方法。除低秩性外，該方法還利用了先驗知識，即低秩近似的大奇異值代表圖像的主要組成部分。從文獻[51]可以看出，WNNM方法顯示了最先進的去噪結果，相對于NNM方法，WNNM方法的PSNR平均值提高了1.3～2dB，并且噪聲強度的魯棒性比其他方法更強。雖然采用圖像先驗的正則化模型得到了較好的去噪效果，但該模型也存在一些缺陷。模型是手動設計的，它們涉及用戶需要修復的參數，因此，人類的感知能力會限制其表現。此外，該模型需要通過求解一個復雜的優化問題得到滿足先驗條件的最優解，所以計算量大。

最近，基于卷積神經網絡（CNN）的方法發展迅速，該方法在許多低層次的計算機視覺任務中效果良好[72,73]。CNN在圖像去噪中的應用可以追溯到2008年，文獻[74]提出了一個五層網絡結構。在過去的幾年中，CNN[75-81]被陸續引入各種圖像去噪方法中，與文獻[74]相比，去噪性能有了很大提高。基于CNN的去噪方法通過優化（退化—干凈）包含圖像對的訓練集上的損失函數來學習映射函數[77,82]，這類方法可以進一步分為基于最大后驗概率（Maximum A Posteriori，MAP）的CNN方法和基于深度神經網絡的去噪方法。

基于MAP的CNN方法，特別指涉及一系列卷積運算的基于后驗概率推論的方法。這類方法不是通過建模圖像先驗去構建去噪模型，而是通過解決兩級優化問題來學習先驗參數和展開固定數量的推斷步驟[83]。雖然這類方法與CNN沒有直接聯系，但是它們展開的推斷實際上可以視為具有階段性架構的CNN變體。在領域專家的開拓性工作[84]之后，Barbu[83]訓練了一個判別馬爾可夫隨機場（Markov Random Field，MRF）模型，用于圖像去噪的梯度下降推理。Samuel和Tappen[85]提出了一個固定的梯度下降推理學習框架，并討論了基于CNN框架的優勢。Sun和Tappen[86]提出了一個新的非局部范圍MRF框架，并采用基于梯度的識別學習方法對模型進行訓練。Chen和Pock[77]通過展開固定數量的梯度下降推斷步驟，進一步提出了一種可訓練的非線性反應擴散模型，并證明其能夠達到更好的去噪效果。然而，已知的先驗和推理過程受到MAP模型形式的限制，該模型在捕獲圖像結構的全部特征方面效果有待提高[78]。

隨著深度卷積神經網絡的發展，許多使用不同深度學習技術的方法應用在圖像去噪問題上，并取得了良好的去噪效果。Zhang等人[78]首次將殘差學習和批量歸一化引入圖像去噪問題中，提出了前饋卷積神經網絡（Denoising Convolutional Neural Network，DnCNN）。雖然經過訓練的DnCNN也能處理更一般的“噪聲”，如壓縮誤差和插值誤差，但是用σ訓練的模型很難直接應用到其他噪聲水平的圖像上。當噪聲水平未知時，去噪方法應允許用戶自適應控制降噪和細節保護之間的權衡，因此滿足這種理想性能的一種靈活的去噪方法FFDNet（Fast and Flexible Denoising Convolutional Neural Network）[79]應運而生。具體來說，FFDNet的主要優點是它可以在下采樣的子圖像上工作，這在很大程度上加快了訓練和測試的速度。這類方法雖然有效且運行時間較短，但是學習過程非常耗時，從幾小時到幾天不等。

1.2.2 變換域方法

圖像去噪方法從最初的空間域方法逐漸發展到當前的變換域方法。最初，變換域方法是基于傅里葉變換開發出來的，并且隨著發展逐漸出現了各種變換域方法，如濾波方法（余弦變換、小波域方法[87-89]）和三維塊匹配濾波[48]（Block-Matching and 3D Filtering，BM3D）方法。變換域方法基于以下原則：變換域中圖像信息和噪聲的特征是不同的。與空間域濾波方法相比，變換域濾波方法首先將給定的噪聲圖像變換到另一個域，然后根據圖像和噪聲的不同特征對變換后的圖像進行去噪處理。變換域濾波方法根據基變換函數的選擇進行細分，基變換函數可以是數據自適應或非數據自適應的[90]。在給定的含噪聲圖像上，數據自適應濾波方法將獨立分量分析[91,92]（Independent Component Analysis，ICA）函數和主成分分析[93,94]（Principle Component Analysis，PCA）函數作為變換工具。其中，ICA函數成功地實現了非高斯數據的去噪。這兩種函數都是數據自適應的，對圖像和噪聲差異的假設仍然成立。它們的主要缺點是計算成本高，因為它們使用滑動窗口，并且需要無噪聲數據的樣本或同一場景的至少兩個圖像幀。但是，在某些應用中，很難獲得無噪聲訓練數據。非數據自適應的變換域濾波方法進一步細分為空間頻域濾波方法和小波變換。空間頻域濾波方法是指通過設計一個頻域濾波器來使用低通濾波，該濾波器允許所有低于截止頻率的頻率通過，并衰減所有高于截止頻率的頻率[15,17]。然而，這些方法是費時的，具體時間取決于截止頻率和濾波器的功能。在圖像去噪領域，研究最多的變換是小波變換[95]，在小波變換中輸入數據用其尺度空間表示。已經證明，不管其頻率如何，使用小波變換可以成功地在去除噪聲的同時保留圖像特征[94,96-100]。小波變換具有稀疏性和多尺度性等特點，目前其在圖像去噪領域仍處于活躍狀態[101]，但小波變換在很大程度上依賴小波基的選擇，其與基于稀疏表示的字典法的區別在于，變換域方法通常使用固定基函數表示圖像信息，而字典法使用冗余字典來表示圖像信息。

由Dabov等人[48]提出的BM3D方法作為NLM方法的有效的、強大的拓展，是目前最先進的圖像去噪方法之一。BM3D方法是變換域中的兩階段非局部協同過濾方法，該方法通過塊匹配將相似圖像塊疊加成三維組，并將三維組轉化為小波域。然后，在小波域中采用帶系數的硬閾值或維納濾波。最后，對系數反變換后的所有估計圖像塊進行聚集，重建整個圖像。然而，當噪聲逐漸增大時，BM3D方法的去噪性能大大降低，尤其是在平坦區域會引入偽影。為了提高去噪性能，學者們基于BM3D方法開發了許多改進版本[102,103]。例如，Maggioni等人[103]提出了一種BM4D去噪方法，將BM3D方法拓展到體積數據。該方法使用被堆疊成一個4D組的體素立方體，應用于該組的4D變換，同時利用了體素的局部相關和非局部相關。因此，該4D組的頻譜非常稀疏，并且通過系數收縮可以有效地分離原始圖像和噪聲。

縱觀圖像去噪的發展歷史，各種去噪模型都取得了長足的發展和不錯的效果。無論是去噪效果，還是模型的穩定性等，都是圖像去噪領域的研究者所關心的。當然，該領域還有很長的路要走，很多問題仍待研究者進一步解決。