1.3 拓撲紋理圖像預處理的研究現狀

1.3.1 保細節圖像去噪研究現狀

在圖像濾波中，噪聲的濾除和圖像邊緣細節的保護常常是相互矛盾的處理：噪聲的平滑會破壞圖像的邊緣細節，而對于邊緣的保護則又會削弱對噪聲的抑制效果。因此，很多濾波算法的研究都致力于在這二者之間達到較好的平衡。

目前來說，以下幾類濾波算法的研究獲得了較大的關注。

①既能平滑噪聲又能保護圖像邊緣細節的自適應濾波器：自適應濾波的基本思想是濾波器的參數可根據像素所在鄰域的情況而自適應地選取，自適應濾波常常可被描述為加權均值濾波器的形式。

②基于圖像建模和估計理論的濾波算法：這類方法的基本思想是提出一個圖像的模型，如果這個模型的參數由一種魯棒估計方法所估計出來，則窗口中心點的灰度值就可由估計出來的參數計算得到。這類方法中最簡單的例子就是中值濾波器，以及很多中值濾波器的推廣形式，如堆濾波器、排列濾波器、基于秩的秩選擇濾波器等。

③基于模糊推理的自適應濾波算法：模糊概念最早是由Zadeh于1965年提出的。近年來，模糊集理論已經成功地應用于自動控制、模糊控制器、模式識別、圖像處理等方面。在信息處理問題中，所含信息的不確定性越大，使用模糊技術就越容易收到令人滿意的效果。很明顯，因為人的視覺對于圖像灰度級別是模糊而難以準確區分的，由此可以將一幅圖像看成一個模糊集，引入模糊集理論的知識來進行圖像處理，常常會收到很好的效果，而且在圖像被噪聲高度污染時，這種不確定性就增加了，應用模糊知識處理圖像的效果就會更加明顯。

④基于小波分析的方法：近年來，運用小波分解的方法除去圖像中的噪聲也很常見。其主要是對小波信號進行分解，在不同層次對噪聲進行消除。

近十幾年來，基于偏微分方程（PDE）和幾何曲率流驅動擴散的圖像分析與處理越來越成為研究關注的熱點。PDE方法是一類比較精細的圖像分析與處理方法，在圖像分析與處理中具有重要作用。基于PDE方法的圖像非線性濾波在保留圖像的重要特征（邊緣、紋理、線等）方面表現出優良的性能。各種非線性的圖像濾波器的設計一直是圖像處理領域的研究熱點。特別地，基于擴散方程的各種圖像去噪、恢復及多尺度分析為圖像的非線性圖像預處理注入了新的活力。

早在1983年，Witkin就嘗試用原始圖像與不同尺度的高斯核卷積所得的圖像序列來描述尺度空間，之后，Koenderink和Hummel進一步指出，圖像與具有不同尺度的高斯函數卷積等價于求解以圖像為初值的熱傳導方程，實際上這種圖像光滑的結果等同于擴散系數為常值的熱傳導方程的解，并且一般的具有各向同性擴散的低通濾波器的迭代光滑都可歸結于求解熱傳導方程。

設u0為初始圖像數據，選取L2范數度量，與u0相關的“尺度空間”分析歸于求解方程：

式（1.1）的解為：u（x，t）=Gσ*u0，其中，是尺度為σ的高斯函數。

由于這種基于高斯核的圖像光滑沒有考慮到圖像特征在空間上的分布，因此在光滑圖像的同時也使得小尺度邊緣細節信息丟失，進而導致邊緣定位提取的錯誤。

鑒于此，Perona和Malik對式（1.1）進行了重要的改進，他們用非線性擴散方程替代原來的熱傳導方程：

式中，g：R+→R+為單調遞減函數，且。函數g通常有形式gk（x）=e-kx或gk（x）=（1+kx2）-1。當g=g0時，式（1.2）退化為經典的高斯濾波模型；當g=gk（k＜0）時，模型允許根據圖像梯度模大小實現有選擇的擴散磨光。

式（1.2）的主要思想是有條件地光滑圖像函數：當|?u|的值很大時，則擴散程度很小，這樣就保持此處邊界的信號性質，而當|?u|很小時，則擴散程度很大，從而使函數在此處變得光滑。由于邊緣具有較大的梯度模值|?u|，因此g（|?u|）取得較小值，這樣模型在邊緣處實行弱光滑以保護重要信息。函數g（|?u|）的零交叉同時也是獲得邊緣圖的重要方法之一。然而式（1.2）仍存在嚴重缺陷：一方面，當初始圖像u0被噪聲嚴重污染時，|?u0|大幅度振蕩，進而|?u|大幅度振蕩，理論上|?u|發生劇烈振動的范圍應是一個無界區域，這時有條件地光滑圖像函數初值的方法用處不是很大，將會導致大量虛假邊緣的出現；另一方面，不難證明式（1.2）只有在很強的條件下才能保證解的存在性和唯一性，也就是說式（1.2）的初值問題是不適定的。對于振蕩問題，Perona和Malik使用低通濾波對圖像實現光滑化，實踐表明具有較好抑制噪聲作用，但同時引入了新的參數。

在理論與實際應用中，減少參數數量和實現自適應濾波是快速、準確獲取邊緣信息的一個原則。為此，Catte提出了一個很重要的改進模型，該模型具有自適應選擇光滑的能力：

式（1.3）避免了式（1.2）的許多缺點的同時，還繼承了它的優點，例如式（1.3）的問題是適定的，且關于噪聲是穩定的。因此，模型提高了濾噪處理能力，在一定程度上較好保護了重要的邊緣信息。但是將式（1.3）展開：

由于拉普拉斯算子Δu的存在，在一些重要的邊緣，特別是角點和鉸接點等處，還是會表現出明顯的圓滑化。

為了消除Δu對去噪效果的影響，Chen對式（1.4）進行了改進：

取噪聲圖像z為u的初值，并取零流邊界。數值分析表明，與式（1.4）相比，式（1.5）較好地保護了圖像邊緣特征。然而，式（1.5）有時仍導致重要的邊緣、角點等特征被過分磨光，因而達不到識別重要邊緣特征的目的。

Alvarez對Perona-Malik模型的擴散系數做了改進，提出了基于曲率同質擴散方法，該模型具有選擇光滑的特性，圖像保邊去噪的效果得到明顯改進。他提出的模型為

簡稱為ALM模型。ALM模型使得函數u的水平曲線沿著垂直于?u方向以g（|?Gσ*u|）速度擴散。圖像在邊緣（梯度模較大）及兩側得到細微的弱光滑，而在內部同質區域得到快速充分的強光滑。

ALM模型是一種“純粹”的各項異性擴散模型，設η是梯度方向的單位向量，ξ是正交于η的單位向量，則在ξη-坐標下，。由此可以看出，項使擴散僅在正交于梯度的方向ξ上發生，這就使得邊緣能得到很好的保持。

從ALM模型中不難看出，非線性擴散去噪模型和幾何曲率流演化方程之間的內在聯系。曲線和曲面的演化運動用于圖像的光滑和增強只有十余年的歷史，ALM模型在幾何曲線運動論上的解釋是：把圖像看成是一系列等強度的輪廓線，這些輪廓線沿法線方向以速度g（|?G*u|）κ演化，在平滑圖像的同時保持了邊緣。之所以能夠如此看待這個問題，其核心的思想是Osher和Sethian所提出的水平集方法。

由Osher和Sethian提出的水平集數值方法在圖像處理中有很大影響，其基本思想是將變形的曲線、曲面或圖像表示為高維超曲面的水平集，為數值計算提供較為精確的實現方法。水平集表示對計算機視覺和圖像處理并不是全新的問題，它是數學形態學中的一個基本技術。給定一函數u：Ω?R2→R，定義與常數c有關的水平集為點集Sc={x∈Ω|u（x）=c}。c的連續變化產生u的全部水平集，類似于制圖學中以高度值來標識的等高線。

由于ALM模型可以看成是一個偏微分方程的初值問題，因此可將曲線的運動和圖像的光滑結合在一起，從而可以借助偏微分方程的基本理論和曲線運動的成果來解決圖像處理的問題。函數g的不同取法構成不同的模型。當1g=時，就是曲線的平均曲率流。—般來說，曲線的平均曲率流用如下的方程來描述：

式中，為單位法線方向，F（κ）為曲線演化速度，C0是曲線的初始狀態。其數值求解借助于Osher和Sethian所提出的水平集方法，用水平集方程來描述上式為：

式中，φ為符號距離函數，d0是（x，y）到C0的距離。如果（x，y）在C0的外部，則d0取正號，反之則取負號。為避免求解過程中的數值振蕩和解的奇異，Osher和Sethian提出了需要滿足的擴散條件。式（1.7）只有當滿足一定擴散條件時，弱解存在且唯一。如果式（1.7）中F（k）=min（k，0），稱為最小（Min）曲率流；F（k）=max（k，0）稱為最大（Max）曲率流。關于曲線的平均曲率流具有如下屬性：

①若F（k）=κ時，則任意形狀的閉合曲線會收縮到一點；

②若F（k）=min（k，0）時，則曲線向內凹的部分將會向外運動，而向外凸的部分將會靜止不動，直到形成一個全凸的曲線；

③若F（k）=max（k，0），則曲線向內凹的部分將會靜止不動，而向外凸的部分將會向內運動，當形成一個全凸的曲線后，該曲線會繼續向內運動，最終收縮為一點。

正是基于這樣的分析，Malladi構造了最大/最小（Min/Max）曲率流，最終確定圖像的凹凸性。

非線性擴散模型和變分模型也有著密切聯系。Alvarez闡述了能量泛函E（u）=∫Ω|?u|dx與發展方程之間的關系，而后者是Perona-Malik模型的特殊形式。用于圖像去噪的最廣泛變分模型是總變分（Total Variation）極小，極小化過程是通過偏微分方程或梯度下降流轉化為—個泛函問題，并使用變分原理導出相應的歐拉-拉格朗日數值方程。第一個提出總變分模型的是Rudin和Osher，他們把圖像作為一個二元函數，且認為這個函數大致是分片光滑的，一些重要數據（如邊緣）是不連續的。有界變差空間中極小化的結果允許有不連續且是保護尖點邊界的。

設u是一個定義在開集Ω?R2上的實函數，Rudin和Osher的原圖像恢復模型為：

對式（1.9）的極小化可以通過梯度下降流計算得到，計算生成的非線性擴散方程為：

進一步，式（1.9）的一種推廣形式為：

是滿足Perona-Malik條件的擴散去噪模型。對式（1.9）的極小化可以通過梯度下降流計算得到，計算生成的非線性擴散方程為：

另一種泛函變分模型是基于Allen-Cahn模型的位相場去噪方法。Allen-Cahn方程源于相位分界線運動理論，在滿足一定約束條件后，可以作為一種有效的面積保留MCM模型的水平集表示。該模型不僅可以提高模型對復雜紋線拓撲形變的自適應能力，而且還能有效地避免特征紋線形狀的失真。本書在第2章將根據非局部Allen-Cahn水平集曲線運動方程和面積保留平均曲率模型的一致性屬性，研究基于Allen-Cahn水平集的拓撲紋理圖像去噪模型。

1.3.2 保色彩圖像恢復研究現狀

在多數情況下，圖像恢復就是要消除觀測圖像中的模糊和噪聲，以獲得原始圖像。模糊是指成像過程中的帶寬縮減現象，它由諸多因素造成，如相機和景物間的相對運動、失焦等。噪聲是指圖像中包含的隨機性干擾。對于上述影響，通常用線性模型描述：

Y=AX+n （1.13）

從觀測圖像Y中恢復原始圖像X是一個不適定問題，因為它不能完全滿足適定性的三個條件。不適定的定義是Hadamard在偏微分方程領域內給出的。如果一個問題的解是存在的、唯一的且連續地依賴于初始數據，那么它是適定的。而當不滿足上述判據中的某一條或某幾條時，它是不適定的。處理不適定問題要引入合適的先驗約束，把它轉換成適定的問題。

不適定問題的典型處理方法有：正則化（Regularization）和MRF（Markov Random Field）方法。Rudin的研究結果表明用總變分（Total Variation，TV）正則化恢復的圖像邊緣的效果非常顯著。基于這一思想，Chan提出了TV盲解卷，其實驗結果顯示算法具有相當的魯棒性，收斂速度很快，特別是對離散模糊收斂的速度更快，即使在嚴重噪聲存在的情況下，也能恢復圖像，因此是一種成功的正則化方法。正則化方法通過穩定子約束解空間，所獲得的解是滿足先驗約束程度和與觀測量相近程度的最佳折中，但不具有普適性：一是對解空間的限制太苛刻，如標準Tikhonov正則化中要求其有預先確定的某階導數，以致在邊緣等不連續處出現過分平滑；二是基于變分法解Euler-Lagrange方程的分析思想不能用來處理高層視覺中的問題，因為無法引入高層處理（如目標識別）中所需的約束項。

MRF方法建立在MRF模型和Bayes估計的基礎上，MRF模型提供了為內容相關約束項建模的途徑。結合實際觀測圖像，按統計決策和估計理論中的最優準則確定問題的解，能克服正則化方法的不足，并有以下幾個鮮明特點：一是MRF模型與正則化有一致性，但比其適應性寬。Bertero證明了標準正則化是它的特殊情形，當觀測噪聲是加性獨立同分布高斯噪聲且采用平滑約束時，MAP（Maximum a Posteriori）解和正則化解是等價的，這是因為MRF模型包括了除平滑約束外的其他約束形式，適用于所有層次上的視覺問題。二是MRF模型能較好地處理不連續問題，即在待估量的先驗模型中引入線過程。在連續情況下對估計量做平滑約束，而在不連續情況下不做任何約束。三是MRF模型的局部特性決定了可采用局部、大規模并行算法。四是MRF模型提供了適當的集成框架，可用于綜合視覺中各類模塊的處理結果以及用于數據融合等領域。五是MRF模型為多分辨率計算提供了基礎。

Geman采用線過程技術來表示非平穩和Gibbs-MRF間的一致性，開創性地建立了關于重建圖像及其邊緣的聯合先驗分布模型。由于根據Bayes分析框架，后驗分布通常也是一個MRF分布，因此MAP估計為后驗能量函數最小值所對應的狀態。他們還提出了一種基于Gibbs采樣，即按后驗條件分布每次只更新某一個位置的狀態的模擬退火算法，并在理論上證明了它的收斂性。

Jeng 提出了混合高斯隨機場（Compound Gaussian Random，CGM）先驗模型，它是一種包含線過程的非平穩GMRF模型，避免了用GMRF模型時在圖像邊緣處的過分平滑，并給出了用模擬退火或ICM方法獲得MAP估計的算法。Jeng還進一步證明了非平穩GMRF模型在退火過程中的收斂性。Zerubia利用鞍點近似算法，用均值場退火方法求MAP估計。Zhang基于鞍點近似求解均值場，并用EM方法實現了圖像恢復。Figueiredo不采用關于線過程的先驗分布，而把CGM中的線過程作為確定性的未知參數，基于MDL原理并結合觀測圖像估計邊緣數和它們的位置，提出了非監督MAP恢復算法。

Bouman采用弱表層技術約束先驗模型，并用GNC（Graduated Non-Convexity）方法求MAP估計。Gunsel在TPM（Thresholded Posterior Mean）方法的基礎上，根據后驗條件概率采樣值計算后驗均值，提出了基于多尺度弱表層模型的邊緣穩健集成算法，可有效實現紋理邊緣的檢測，但需要大量的計算時間。陸明俊根據多尺度模型，用GBF方法進行后驗均值估計，所需計算時間大大減少，且仍能保持相當好的性能。Moura確定了非因果GMRF遞歸形式，從而可用遞歸方法（如Kalman濾波）處理圖像恢復問題。盡管CGM模型和弱表層模型用于圖像恢復時取得了較好的效果，但對邊緣檢測情況就不十分理想了。

我們知道，直接求Bayes估計具有指數復雜度，因為需要計算所有可能狀態的后驗概率，實際上是不可行的。通常為了避開這個困難問題，需要選擇可行的途徑和算法。當求MAP估計時，可將原問題轉化為求后驗能量函數最小值所對應的狀態。通常后驗能量函數有多個極小，即非凸的。因此它是一個組合優化問題，可用隨機松弛和確定松弛方法求解。

隨機松弛算法包括模擬退火、Gibbs采樣器等，確定松弛算法包括GNC（Graduated Non-Convexity）方法、ICM（Iterated Conditional Mode）方法、均值場退火、神經網絡以及動態規劃等。隨機松弛是一種全局優化算法，它花費大量計算時間以獲得全局最優解。而確定松弛是一種局部優化方法，本質上是一個非隨機的確定過程，它所需計算時間少，但只能得到局部最優解。兩者的區別在于狀態更新方式：如果新狀態具有較低的能量，兩者都轉移到那個狀態；如果新狀態的能量升高，前者依一定概率轉移到那個狀態上，從而能量函數依一定概率向增加方向變化（稱為隨機擾動），這樣既有助于系統擺脫局部極小的約束，又使系統最終達到全局極小后不再受擾動的干擾和破壞，后者不更新狀態，它只允許跳到較低能量的狀態上，從而導致受限于局部極小。

1.3.3 精確圖像分割研究現狀

紋理圖像分割在圖像處理、計算機視覺、醫療圖像分割中都具有十分重要的意義，紋理圖像的分割就是根據紋理特征描述將圖像分為幾個區域。將圖像分割成一些具有某種一致性的區域是圖像分析的重要手段，一致性包括亮度、顏色或紋理等衡量標準。在機器視覺系統中，通常圖像可以根據亮度標準進行分割，但在復雜的情況下，如自然景物，這種方法不能達到令人滿意的分割效果。因為這類圖像不具有均勻的亮度分布，而具有共同的紋理輪廓特征。

活動輪廓模型是20世紀80年代后期發展起來的一種圖像分割方法，特別適用于建模和提取任意形狀的變形輪廓。活動輪廓模型是一種有效的圖像分割、運動跟蹤方法，這種方法已成功地用于物體識別、計算機視覺、計算機圖形和生物醫學圖像處理領域。基于活動輪廓的圖像分割的過程就是活動輪廓在模擬的外力（外部能量）和內力（內能）作用下向物體邊緣靠近的過程，外力推動活動輪廓向著物體邊緣運動，而內力保持活動輪廓的光滑性和連續性；到達平衡位置時（對應于能量最小）的活動輪廓收斂到所要檢測的物體邊緣。由于這種方法同時考慮了幾何約束條件和與圖像數據、輪廓形狀有關的能量最小等約束條件，所以能得到令人滿意的分割效果。

活動輪廓模型主要分為參數活動輪廓模型和幾何活動輪廓模型兩大類。其中，參數活動輪廓模型又稱為Snake模型，是一種能量函數最小化的變形輪廓線，它已經被眾多研究者成功地應用于計算機視覺的許多領域。

Snake模型又稱參數活動輪廓模型，是由Kass于1987年提出的。Snake模型對噪聲和對比度不敏感，能將目標從復雜背景中分割出來，并能有效地跟蹤目標的形變和非剛體的復雜運動，因而被廣泛用于圖像分割和物體跟蹤等圖像處理領域。Snake的主要原理是先提供待分割圖像的一個初始的輪廓位置，并對其定義一個能量函數，使輪廓沿能量降低的方向靠近。當能量函數達到最小的時候，提供的初始輪廓收斂到圖像中目標的真實輪廓。Snake能量函數由內部能量函數和外部能量函數組成，內部能量控制輪廓的平滑性和連續性；外部能量由圖像能量和約束能量組成，控制輪廓向著實際輪廓收斂。由于約束能量可根據具體的對象形態定義，因此使得Snake模型具有很大的靈活性。

Snake模型發展10多年來，許多學者對經典Snake模型進行了改進，提出了各種改進的Snake模型。總的來說，這些改善主要體現在能量函數的設計、優化方法的改進和把Snake模型和其他技術的結合上。

①在能量函數的設計上，除了有Kass提出的著眼于外部邊界的方法外，有一些方法把著眼點放在了輪廓內部和區域上。Cohen引入了“氣球力”（Balloon Force），可以使輪廓線膨脹或者收縮。氣球力還可以使輪廓線略過虛假的、孤立的和不強烈的圖像邊界，并且有對抗輪廓線自然收縮的趨勢。應用了氣球力的Snake模型減少了對應初始化未知和圖像噪聲的敏感性，因此非常適合尋找平滑一致的目標，但不適合尋找復雜的多組分或多顏色的目標。Ronfard引進了基于背景和目標區域的統計模型的目標函數，把輪廓線上的點推向符合背景和目標模型分布的位置。Neuenschwander允許用戶指定所需要輪廓變化的兩個端點。在最優化的過程中，邊界的信息從兩端向中間傳播。Fua在Snake模型中設置了吸引子和切線條件，吸引子可以迫使輪廓線趨向某一點或者掠過某一點，切線條件則可以迫使輪廓線在某一點具有指定的切線方向。但是由于要在圖上指出這些具體的點，所以這種方法比較適合于交互的場合。

②在優化算法上，許多學者提出了更多的創新和設想。Amini 使用動態規劃法去最小化能量函數，該方法窮盡搜索了所有可能的方案，每一步循環都給出局部最優解。Geiger允許輪廓線在某初始化位置附近的較大范圍內尋找最優解，從而試圖在一次迭代中得到最后結果。Caselles和Malladi分別提出用Osher 提出的水平集方法求解Snake問題。他們將輪廓線模擬成一個類似于火焰的鋒面（Front），這種方法的主要優點是在演化過程中輪廓的形狀可以發生拓撲改變。此外，Christensen將膨脹黏性液態的變形動力學中的偏微分方程應用于Snake模型中，指導模型的演化。

③對應Snake模型本身的改進主要分為兩類。第一類是將Snake和其他技術的結合。Menet提出用樣條來構造Snake，即用一群基函數的線性組合來表示輪廓，靠改變這些基函數的系數來改變Snake的形狀。這樣的Snake比以前更加結構化，但因為線性最后本身表達能力的不足，這樣的樣條Snake往往不足以表示一個特定的形狀。Flickner用類似的方法構造Snake，但是他用貪心算法來尋找控制點。Figueiredo用Bayesian方法來描述這個問題，并且用迭代的估計最大化算法來解決它。他們將輪廓的能量用一個函數來表示，且這個函數的參數是三個未知的量，即背景和目標的灰度分布、樣條控制點的位置和數目。另一類改進是將先驗信息包含于模型中，這些先驗信息主要是指一個確定的模板。這個模板作為變形的基礎，并且在變形過程中，作為一種制約。Jain在有先驗幾何形狀的場合下，采用整體形狀模板，來克服邊界上的不連續對提取整個形狀造成的干擾。

但由于模型本身的缺陷，致使Snake模型存在對初始位置敏感、易陷入局部極值、無法處理曲線的拓撲變換等問題；而幾何活動輪廓模型則基于曲線進化理論和水平集的思想，先將平面閉合曲線隱含地表達為二維曲面函數（稱為水平集函數）的水平集，即使其具有相同函數值的點集，再通過曲面的演化來隱含地求解曲線的演化。由于是采用水平集方法來做數值計算，因此幾何活動輪廓模型較好地克服了Snake模型的許多缺點，如可以處理曲線的拓撲變化、對初值位置不敏感、具有穩定唯一的數值解等。水平集方法最初稱為基于曲率的表面生長方法（Propagation of Surfaces under Curvature，PSC），是一種跟蹤N維空間中1N-維表面運動的算法，而運動的速度是曲率的函數，由于曲面方程是隱式表達的，所以不需要寫出曲面的顯示方程式。水平集方法的優勢在于它的拓撲適應性，可以處理合并與分裂的問題，也可以處理尖銳的角點等Snake模型難以實現的問題。

幾何活動輪廓模型的這些良好特性已經引起了人們越來越多的關注，并已在圖像處理和計算機視覺領域得到了廣泛應用。幾何活動輪廓模型處理曲線演化的基本思想是：先把曲線作為零水平集嵌入高一維的函數φ中，再通過不斷更新φ來達到演化隱含在其中的曲線的目的。Caselles提出的基本的幾何活動輪廓模型滿足如下方程：

式中，φ稱為水平集函數，u為圖像函數，為函數曲率，v為常數項，g（|?u|）為與圖像梯度?u有關的非遞增函數，一般定義為，其中，Gσ是方差為σ的高斯函數，*為卷積算子。該式描述了以函數曲面φ的零水平集φ（x）=0所表達的二維閉合活動輪廓線沿法線方向的演化，方程右邊是速度項。可見，當活動輪廓線靠近圖像邊緣時，|?u|增大，導致g（·）→0，方程右邊趨于零，活動輪廓的速度趨于零，最終停止運動。這樣，活動輪廓線就停在圖像的邊緣位置。然而，由于圖像中的邊緣并非都是理想的階梯邊緣，如果活動輪廓線附近是較平滑的邊緣，則活動輪廓線可能越過邊緣，出現“冒頂”，不再返回到正確位置。

式（1.14）在圖像對比度很好時，可以獲得滿意的分割效果，但對于不連續的邊緣則無能為力。Caselles提出的測地線活動輪廓模型（Geodesic Active Contours）在Snake模型的基礎上，將歐氏曲線最短流理論應用到圖像邊緣搜索中。測地線活動輪廓模型所揭示的曲線依賴曲率在法線方向上的運動是曲線運動最快的方向，與水平集方法中曲線運動的思想是一致的。經過能量活動輪廓法的演化，邊緣搜索問題轉化成了目標函數的最小化問題，他們提出的目標函數為

式中，C（s）：[0，11]→R2是R2上的閉曲線。由于目標函數表現為曲線的長度，因此目標函數最小化問題等價于曲線變化最快的問題，結合曲線沿梯度方向變化最快的理論，可以得到曲線的水平集演化方程：

雖然Caselles等人引入了一些額外約束項，能在一定程度上克服輪廓線“冒頂”，然而不能從根本上解決問題，關鍵是這些方法僅依靠位于閉合輪廓線下的圖像局部信息來控制的運動，難以全局性地分割出圖像中的同質區域。

Paragios又把區域競爭思想引入測地輪廓線模型中，提出了測地活動區域模型，該模型綜合考慮了目標的邊緣、區域和運動信息。由于采用了水平集算法，該模型能處理輪廓線的拓撲變化并且同時跟蹤多目標。

由于該模型中仍含有與圖像梯度有關的函數項，因此對檢測由梯度定義的目標邊緣十分有效，但對邊緣模糊或者存在離散狀邊緣的區域，則難以得到理想的分割效果。

Chan提出了—種基于Mumford-Shah最優分割模型的幾何活動輪廓模型：

式中，v，μ≥0，λ1λ2＜0為固定常數，為Heaviside函數，δ為Dirac函數，，

從式（1.18）可看出，其中涉及的圖像函數u是全圖像定義域范圍，而不像g（|?u|）函數僅僅利用由梯度定義的邊緣信息；另外，式（1.18）中的兩個未知數c1、c2也定義在圖像定義域內，具有全局特性。不難看出，式（1.18）的一個非常顯著的特點就是全局優化，僅用一條初始閉合輪廓線，就可把內部空洞目標的內外部邊緣全檢測出來，不用為檢測內部空洞的邊緣做特別處理；其次，初始曲線無須完全位于同質區域的內部或外部，仍然可以正確地分割出目標和背景；最后，這種方法還有一個顯著的特點就是不依靠圖像中的邊緣信息，因此，即使圖像中的邊緣呈模糊或離散狀，仍然可以獲得理想的分割效果。

雖然幾何活動輪廓模型在定位特征邊界中得到了成功應用，但由于它僅利用圖像的局部邊緣信息，無法描述目標的全局形狀，特別是對于邊緣模糊或者存在離散狀邊緣的區域，很難得到理想的分割效果。此外，幾何活動輪廓模型受噪聲干擾的影響很大，對含噪圖像的分割存在較大不足，因此要借助一些其他的附加信息來進行輔助分割。

目前流行的另一種主動輪廓方法是采用Mumford-Shah模型的圖像分割和輪廓提取技術。近20年來，基于變分法的Mumford-Shah泛函模型日益成為圖像處理領域中一種有效和強大的研究工具。在國外，應用Mumford-Shah模型進行圖像恢復和去噪、圖像分割和分類、形狀匹配等取得了大量的成果，國內的研究尚處于起步階段。與常規的基于統計的圖像處理方法相比，基于變分法的Mumford-Shah泛函模型無論在理論還是在數值計算上都具有很強的優勢，它可以直接對一些重要的視覺幾何特征，如梯度、切線和曲率等進行操縱，并且在數值計算上可以利用變分法中成熟的數值方法理論來進行實現。Mumford-Shah泛函模型的吸引人之處還在于它為圖像處理和計算機視覺領域中的許多問題提供了統一的解決辦法，例如許多研究者已將其成功應用于圖像分割和邊緣提取、三維立體重構、陰影恢復形狀等領域。

基于變分法的Mumford-Shah泛函模型與活動輪廓模型不同，該泛函模型中同時包含了表征同質連通區域的能量和表征對象邊緣的能量，因此Mumford-Shah泛函模型除了利用圖像的局部邊緣信息外，還有效結合了同質連通區域的全局信息，這就在一定程度上克服了活動輪廓模型對局部圖案曲線的錯誤定位，從而取得了更為理想的分割效果。此外，Mumford-Shah泛函模型在能量極小化的過程中，不需要進行邊緣檢測，這就避免了在活動輪廓模型中，根據活動輪廓線的特征設計邊緣檢測函數的步驟。因此，Mumford-Shah泛函模型比較適宜用于紋理圖案的局部分割定位以及紋理圖案形狀的整體分割提取。此外，由于Mumford-Shah泛函模型本身對噪聲具有抑制效應，因此更適于對含噪環境下的紋理圖案進行穩健分割，這對于實際工程應用來說是非常重要的。

基于Mumford-Shah模型的分割方法依賴的是同質區域的全局信息，因此可以獲得較好的分割結果。Mumford-Shah模型是20世紀80年代提出的，在理論上是一類具有體積能量和低維測度的變分問題：

式中，G（u，K）=μLength（K）+λ∫Ω|u0-u|2dx+v∫Ω|?u|2dx，u0是有界開集Ω∈R2上給定的含噪圖像，閉集K是u0在Ω上的不連續點集，μ、λ和v是調節參數，Length（K）是閉曲線K的1維Haussdorff測度，u為定義在Ω\K上的圖像，為此能量函數的最小解。Mumford-Shah模型通過引入圖像的保真項控制分割后圖像的相似性，圖像的正則項則保障分割圖像具有一定的光滑性，通過長度項控制邊緣的分數維粗糙度。該模型具有結合使用高層知識的能力，支持直觀的交互式操作，成為目前最引人注目的主動輪廓方法。

由于Mumford-Shah模型是現代數學中的一種自由不連續問題，模型中對圖像中邊緣等跳躍部分通過幾何測度（Hausdauff測度）項來控制，使得數值逼近或數值解成為十分棘手的問題。由于Mumford-Shah泛函需要對未知的邊緣長度項進行處理，同時邊緣長度的測度函數K→H1（K）在Hausdoff收斂意義下是非下半連續的，從而導致其在數值計算時存在一定的難度，為此許多學者做了大量研究。De Giorgi在特殊的有界變差空間（SBV空間）中解決了解的存在性和部分正則性，并認為在SBV空間或廣義的SBV空間中有弱的形式。他們提出了Mumford-Shah泛函在特殊有界變分函數空間上的弱形式，并將邊緣長度項簡化為分割函數的本性不連續點所形成的邊緣集。不久，Mumford和Shah提出了分片光滑函數的最佳逼近問題。Ambrosio提出了利用輔助函數來逼近邊緣長度項的特征函數，并通過橢圓泛函來對弱形式Mumford-Shah泛函進行變分逼近，但是該方法不能處理邊緣能量表示比較復雜的情況。Gobbino對De Giorgi猜想進行了嚴格的數學證明，并給出了數值收斂的數學條件。他們利用有限差分法對Mumford-Shah泛函進行數值求解，并將梯度函數用有限差分近似。雖然該方法能夠對曲線長度項的復雜能量密度給予有效處理，但是它要求密度函數必須由分割函數在邊緣的局部方向以及邊緣兩端的邊值決定，因此缺乏足夠的靈活性。由于有限元法具有精度高、可模擬任意復雜結構、易于進行邊界處理等優點，因此更多的學者采用有限元法對弱形式Mumford-Shah泛函進行數值逼近。Negri針對傳統各向同性網格在處理復雜邊界能量時的不足，采用各向異性網格對弱形式Mumford-Shah泛函進行了有限元逼近，有效提高了處理復雜邊界能量函數的靈活性。Bourdin通過對有限元的自適應調整和網格粒度的調節，實現了對精細結構邊緣的有效定位，同時也提高了逼近算法的精度。但是由于弱形式Mumford-Shah泛函本身非凸，因此對泛函逼近的過程是非適定的，Negri[100]和Bourdin[101]在對弱形式Mumford-Shah泛函進行逼近求解后容易導致多個局部極小元產生。

目前，對于Mumford-Shah模型的應用研究存在兩種簡化的隱式模型。其一為Ambrosio提出的基于橢圓逼近的輔助變量模型，通過設置輔助變量函數v：Ω→[0，1]來表征跳躍集Su（Su為K的跳躍部分），并定義了新的松弛泛函Gρ（u，v）和最小化Gρ（u，v）獲得分割圖像和邊緣。他們證明了：如果wρ=（uρ，vρ）為目標泛函Gρ（u，v）的最小序列，則在L2范數下，uρ為u的近似，vρ→1，ρ當0ρ→。這里，vρ僅在不連續集Su的很小的鄰域為1，其他地方都小于1。其二為Chan建立的水平集模型，他們討論了將原始圖像視為由不連續集K和分片常數圖像組成的簡單情形，提出了無梯度主動輪廓二相水平集算法，并推廣到多相水平集算法和向量值圖像的水平集算法。他們的水平集模型具有自動適應圖像中目標拓撲結構，且初始輪廓可以放置在圖像中的任意地方。但由于將圖像限制于分片常數情形，損失了圖像本身復雜的起伏性和邊緣的不規則性，因此只能處理目標單一、沒有交叉點特征的圖像，且分割目標喪失了目標本身的灰度起伏性。

1.3.4 精細圖像修補研究現狀

圖像修復技術是指針對圖像中遺失或者損壞的部分，利用未被損壞的圖像信息，按照一定的規則填補，使修復后的圖像接近或達到原圖的視覺效果。圖像損壞有很多種形式，有時一幅完整的圖像可能由于磨損而散布成各類微小的損害，有時也可能由于保存不當使圖像表層受到損害。在這些情況下，圖像修復就需要通過專業判斷，采取最恰當的方法恢復圖像的原始狀態，同時保證圖像達到最理想的藝術效果。圖像修復技術可以安全有效地數字化恢復損壞的藝術作品，并可去除圖像中的文字或者其他不期望的物體。此外，圖像修復技術還可以應用于視頻點播，對網絡傳輸中丟棄或者損壞的視頻信息進行修復以改善觀看質量。

從數學的角度來看，圖像修復是一個病態問題，因為沒有足夠的信息可以保證能唯一正確地恢復被損壞部分。為了恢復被損害的部分，需要分析原始圖像及其所屬的類別，這些分析對于圖像修補整個過程是非常重要的步驟。因此，人們從視覺心理學的角度進行分析，提出了各種假設限定來解決這個問題。

圖像修補處理方法有很多種，利用插值方法是一種常用的修補方法。假設圖像是連續光滑的二維函數，則可以采用數學上的一些模型來進行插值，得到空白區域中圖像函數的值，從而恢復修補區域的信息，較常用的模型是拉普拉斯方程。這種方法通常稱為調和法，它是根據修補區域的邊界信息，最簡單的情況是將其作為Dirichlet邊值，用差分法得到對圖像進行插值的公式，但圖像效果并不理想。原因很顯然，現實生活中的圖像有很多的邊緣信息，圖像并不是處處連續的，而且修補應盡量恢復被破壞的邊緣，因此采用拉普拉斯方程不能得到最佳效果。

Kokaram提出了以自回歸模型為基礎的預示算子對破損丟失的圖像進行插值修補。該方法對于圖像細節的修復效果比較好，但對于邊緣的平滑過渡卻比較差，即修復圖像的紋理連續性不好，而這一點對于一般用戶在對圖像進行修復時是不能夠忍受的，用戶希望的就是能夠讓修復部分與照片的原有部分過渡自然，而看不出人工修補的痕跡。何云升針對這一要求，提出了用最小最大函數作為預示算子，從而導出非線性插補公式，并引入共軛梯度法來修補破損照片，取得了較好的效果。

Hirani采用紋理綜合的方法來進行圖像的修補，即可以讓用戶選擇紋理來添充修補區域，而對覆蓋不同紋理的修補區域，則要求首先進行圖像的分割，以保證修補的正確性。這種技術的基本思想就是首先選擇一個紋理，然后將它合成到需要填充的區域里面去（如孔洞）。這是一項非常簡單的技術，卻能產生難以置信的效果。但是該算法必須讓用戶選擇要填充紋理的區域或孔洞。對于那些要進行修補的圖像來說，它們可能有多種不同的結構，那么用戶就需要從事大量的分割圖像的工作，然后從中找出相應的取代區域。盡管部分的查找工作可以自動完成，但是非常花費時間，而且還要不厭其煩地選擇大量的參數。李超以點擴展函數和可加白噪聲作為圖像的退化模型，王學良使用局部最大熵恢復圖像，對空域圖像恢復模型中的正則化算子進行了自適應修改，以提高圖像恢復質量。這些方法對受損不大的圖像的修補也有很好的效果。

Masnou提出了去除障礙物模型（Disocclusion）和線性連續模型（Line Continuation），這些工作也都是一些基礎的工作，還沒有得到深入的研究。在進行去除障礙物算法中，目前主要是用圖像分割的，目的來去除遮蔽物，其基本思想就是在同灰度級別處用有彈性的，按最小值估計的曲線連接T型接點。Ballester在延伸這些思想的基礎上，提出了一個用于去除遮蔽物處理的通用變分公式，以及一個用這個公式來實現的非常有價值的算法。這種算法通過用短程的曲線，連接到達要填充的邊界區域的等照度線的接點，來實現修描處理。

用偏微分方程處理圖像修補問題是一個新近發展的研究方向。最先將偏微分方程方法引入圖像修補問題的是Bertalmio等人。利用偏微分方程方法處理圖像修補問題的方法可以分為兩大類：一類注意是依賴圖像微觀修補機制的仿真系統，如擴散過程、傳輸過程等；另一類是變分模型，如總變分模型、基于Mumford-Shah圖像分割模型的等灰度模型等。Bertalmio采用基于偏微分方程的修補算法，通過將待修補區的鄰域信息，沿等光照線方向擴散來填補待修補區，同時利用待修復區域的邊緣信息來確定擴散信息和擴散方向，從區域邊界各向異性地向邊界內擴散。該算法可同時填補多個包含不同結構和背景的區域，并且對待修補區的拓撲關系沒有限制。受到Bertalmio等工作的啟發，Masnou使用等照度線的方法，在待修復區域邊界采用動態規劃確定等照度線的連接方式，然后直線連接對應的等照度線并對區域內進行填充。該算法對簡單結構信息有較好的修復結果，但抗噪聲能力比較弱。Villager提出了一種基于概率的修復方法，通過對梯度和夾角的統計得到其概率分布，然后以待修復區域內總體概率最大為準則求取最優解，對物體的邊角修補有很好的效果，但這種方法在使用前需要先選擇訓練區域，而且對訓練區域有較高的要求，因此在實際應用中受到了一定限制。

另一個模擬人眼恢復圖像中邊緣的有效辦法是優化一個圖像的能量函數，能量驅動的泛函變分模型主要涉及對各種不同類型能量泛函模型的變分求解，常用的能量泛函模型包括總變分（Total Variation，TV）模型和Mumford-Shah（MS）模型。許威威和鄭精靈利用TV模型對圖像進行修補，由于TV模型能夠部分模擬人眼的低層視覺，在修補圖像時可以恢復圖像中的邊緣，因此取得了較好的修補效果。但是由于TV模型對應Euler-Lagrange方程中的傳導系數缺乏幾何信息的有效參與，即使對于很一般的人眼視覺原理（如連通原理等）也無法滿足，因此TV模型對稍復雜圖像的修補結果還存在較大不足。MS模型作為一種有效提高曲線演變拓撲自適應能力的分割模型，是圖像分割領域中一種有效和強大的研究工具。與TV模型的隱式邊緣表示不同，MS模型對目標邊緣項給予顯式表示，即模型中除了包含同質區域的全局信息外，還有效結合了目標對象的局部邊緣項，因此在一定程度上克服了TV模型對局部圖案曲線的錯誤定位，從而取得了更為理想的修補效果。此外，由于對拓撲紋理圖像進行修補預處理的目的是為了提高拓撲紋理圖案分割的精確性，因此必須盡可能地加大圖像修補和圖像分割的耦合度。由于MS模型在對含噪圖像進行修補的同時，還有效提取了紋理圖案的邊緣，因此省去了TV模型在修補后再進行分割的步驟，因此它比TV模型更適于對含噪環境下的紋理圖案進行穩健修補和分割。

由于經典MS模型中只包含圖像的一階微分算子，雖然一階微分算子能夠滿足分割時所需的邊緣檢測任務，但對于修補任務而言，由于許多人眼視覺現象（如連通原理）需要高階的微分算子（如二階曲率算子）參與，因此必須在MS模型中加入高階微分算子。此外，經典MS模型對不連續邊集的約束懲罰項只涉及長度約束，而沒有考慮不連續邊集的拓撲彎曲度約束。由于拓撲紋理圖案中包含許多拓撲形狀復雜的光滑曲線，如果MS模型中缺乏對拓撲彎曲度的約束懲罰，將導致原始光滑連續的曲線經修補后變成許多破裂的曲線段，從而影響拓撲紋理圖案的修補效果。

1.3.5 精準圖像配準研究現狀

圖像配準（Image Registration）是對同一場景在不同條件下得到的兩幅或多幅圖像進行對準、疊加的過程。由于成像條件不同，同一場景的多幅圖像會在分辨率、成像模式、灰度屬性、位置（平移和旋轉）、比例尺度、非線性變形及曝光時間等方面存在很多差異，圖像配準就是要克服這些困難，最終將這些圖像在幾何位置上進行配準，以便能夠綜合利用多幅圖像中的信息滿足一定的應用需求。概括來說，圖像配準問題是以在變換空間中尋找一種特定的最優變換，達到使兩幅或多幅圖像在某種意義上匹配的目的。

圖像配準技術在諸多領域內有著廣泛的應用，其中包括：導彈的地形和地圖匹配，飛機導航，武器發射系統的末制導，光學和雷達的圖像模板跟蹤，工業流水線的自動監控，工業儀表的自動監控，資源分析，氣象預報，醫療診斷，文字識別以及景物分析中的變化檢測等。

隨著計算機技術的飛速發展和普及，圖像配準技術在不斷地發展和進步，新的技術和方法不斷出現。但由于成像方式、圖像數據特性、配準精度要求和圖像變形降質的原因多種多樣，導致現有的圖像配準技術常常是根據特定應用而提出來的，只能解決特定的問題。

圖像配準一直是圖像處理領域的研究熱點，諸多研究者提出了大量圖像配準方法。根據所采用的不同標準，可以對圖像配準方法進行不同的分類。

①按照不同的相似性測度。可以將圖像配準方法分為兩類：基于圖像灰度的配準和基于特征的圖像配準方法。

基于圖像灰度的配準方法是直接利用圖像的某一區域或者整幅圖像去估計圖像之間在空間幾何上的變換參數。基于灰度的配準方法，只需要對圖像的灰度進行處理，不需要對圖像進行特征提取、分類，算法實現簡單，能夠實現全自動化配準。

常見基于圖像灰度的配準方法有：相關類方法、相位相關法、統計型測度法、互信息法等。近年來，源于Shannon信息論的互信息法的應用最為廣泛，幾乎可以運用到任何不同模態的圖像配準中。基于圖像灰度的配準方法的缺點是對圖像之間的微小差別非常敏感。一個細微的變化，比如光照條件的微小變化而導致的圖像灰度值的細微變化，就會對配準算法的計算結果產生很大的影響，有可能導致配準的失敗。所以這類方法抗噪聲、抗干擾的能力比較差，只能適用于兩幅圖像具有相同的外界條件的情況下做精細的配準。

基于特征的圖像配準算法是把從圖像中提取出來的某些特征作為配準基元，而不是直接采用圖像像素灰度。這種算法對于一些細微的干擾不太敏感，而是依賴于提取的圖像特征。其關鍵是尋找易于識別和區分的特征，并基于特征集之間的相似性度量來找到模板在圖像中的配準位置。

常用的特征有：點特征、直線段、邊緣和輪廓。在特征匹配之前，需要先把感興趣的圖像特征用特征提取算子檢測出來，常見的特征檢測子有Moravec檢測子、Harris角點檢測子、Hessian-Laplace、DoG濾波器、顯著區域檢測子等。在檢測出特征區域之后，就可以利用特征匹配算法，將存在匹配關系的特征點對選擇出來，實現圖像配準。Lowe總結了現有的基于不變量技術的特征檢測方法，并提出了SIFT算法，它通過對圖像進行不同程度的模糊與縮放，產生具有不同比例的圖像，然后從這些圖像中分別提取特征。SIFT特征對圖像的縮放、旋轉、光照強度和攝像機觀察視角的改變具有很好的穩定性。Bay提出了SURF算法，它的性能超過了SIFT且能獲得更快的速度，它可以對圖像的旋轉、尺度伸縮、光照、視角等變化保持不變性，尤其對圖像嚴重的模糊和旋轉處理得非常好，但是在處理圖像光照和視角變化時不如SIFT算法。

②按空間變換模型可分為剛性變換、仿射變換、投影變換和非線性變換。剛性變換只包括平移和旋轉，仿射變換將平行線映射為平行線，投影變換將直線映射為直線，非線性變換可把直線變換為曲線，是最復雜的一種變換模型。剛性變換、仿射變換和投影變換只是非線性變換的一個簡單的特例，用非線性變換可以表征以上三種變換。由于成像過程受太多復雜因素影響，一般待配準的兩幅圖像間都存在非線性形變問題，因而要求配準方法具有處理非線性變換的能力，特別是在對配準精度要求非常高而所處理圖像廣泛存在非線性形變的醫學、遙感等領域。

③按配準采用的幾何變換來看，可以分為剛性配準和非剛性配準。

早期，人們對于配準的研究主要從一個線性變換的角度考慮圖像整體的剛性配準，例如圖像的旋轉以及空間位置的平移，之后又加入了圖像在各個方向上尺度的變換情況（仿射變換），這類方法能夠解決線性變換的配準問題。然而隨著研究的深入，人們發現圖像中不同的部分有時需要采用更為復雜的非線性形變過程，僅僅用一種線性變換配準策略無法達到理想的效果。

非剛性圖像配準是通過尋找圖像局部變形區域，進而對圖像進行局部非線性變換。目前主要流行的方法有基于參數的非剛性配準方法（如基于多項式法、基函數法、樣條函數法等）和基于物理模型的非剛性配準方法（如彈性模型、黏性流體模型、光流場模型等）。

基于參數的非剛性配準方法主要利用曲線函數來描述圖像的形變，通過求取控制點的參數來確定變換模型。薄板樣條是徑向基函數的樣條家族中的一部分，薄板樣條首先被Bookstein用于醫學圖像配準中，來描述二維平面內發生的形變，它是目前使用較多的一種樣條配準方法。然而由于樣條函數在其連接點處具有一定的曲率和坡度，薄板樣條多應用于模擬全局變換。近年來，由于B樣條的控制點改變只影響其周圍鄰域能夠用于解決局部變形，因此基于B樣條的自由變形模型被廣泛應用到非剛性圖像配準中。由于基于局部控制函數，B樣條的自由變形模型在計算機圖形學中不僅廣泛用于動畫，可以有效地模擬三維變形物體，取得了成功的應用，而且這種方法還具有計算效率高并能夠保持局部拓撲結構的特點，因此廣泛用于醫學圖像配準。

基于模型的變換是通過構造某種模型來模擬圖像的形變，常見的模型包括彈性模型、黏性流體模型、光流場模型等。Bajcsy提出了彈性模型的思想，將待配準圖像到參考圖像的變形過程建模為一個物理過程，類似于拉伸一個諸如橡皮的彈性材料，這種過程可以用Navier線性偏微分方程表示，但是這種方法不能模擬高度的局部形變，具有一定局限性。Christensen提出的黏性流體模型中，待配準圖像被建模為黏性流體，圖像的形變過程被認為是內力作用的過程，經過一段時間后，內力消失，流體停止流動。內力在圖像隨著時間變形的過程中釋放，使得該模型能夠模擬包括轉角等高度局部化的變形。不難看出，利用黏性流體模型進行配準，能夠提供大變形和更大程度的可變性。然而由于黏性流體模型通過相似灰度值來驅動，為了滿足大變形的需求，有可能會導致形式誤匹配。

光流場模型是一種重要的分析運動圖像的可變形圖像配準方法，相當于流體力學中的連續平衡。光流場模型的計算是基于圖像像素進行的，在精確性和易用性方面有很大的優勢。在光流模型中，浮動圖像與參考圖像被看成圖像序列的連續時間采樣，通過求解光流方程來獲取變換模型。光流分析的研究起源于對人和生物視覺系統的研究，Poggio在對昆蟲視覺系統的研究中提出了一種針對圖像上每一點的運動計算方法，該方法可以看成光流計算的一種粗略形式。光流計算的研究真正起始于20世紀80年代初Horn和Lucas奠基性的工作。近幾年隨著張量分析、微分幾何、多網格計算等數學方法和計算手段在圖像分析中的不斷滲透，光流計算又有了快速發展，在計算精度、可靠性、算法實時性等方面取得了較大的飛躍。

④按變換函數作用域配準可分為全局變換和局部變換。全局變換是將兩幅圖像之間的空間對應關系用同一個函數表示，剛性變換大多使用此方法。局部變換是將兩幅圖像中不同部分的空間對應關系用不同的函數來表示，適用于在圖像中存在非剛性形變的情形。目前，大多數圖像配準方法采用全局變換，即將兩幅圖像之間的空間對應關系用同一個函數表示。在彈性配準中，通常在全局變換不能滿足需求時，需要采用局部變換。

⑤按成像模式不同可分為單模態圖像配準和多模態圖像配準。單模態圖像配準是指待配準的圖像是用同一成像設備獲取的，而多模態圖像配準則是指待配準的圖像來源于不同的成像設備。多模態圖像配準的目的在于融合不同傳感器信息，以獲取更為豐富細致的場景信息，如可見光和紅外圖像配準、醫學成像CT和MRI、多波段的人臉識別等。多模態由于圖像差異大，配準有較大難度。

⑥按配準過程的交互性可分為人工配準、半自動化配準和全自動化配準。在人工配準方法中，由用戶完成配準過程，配準方法負責提供給用戶一個直觀顯示，以便完成配準。在半自動化配準方法中，用戶可能需要初始化算法的一些參數，并根據主觀判斷接受或拒絕某些配準結果。在全自動化配準方法中，用戶只需要選定算法和提供圖像數據，由機器算法自動完成配準。由于人工配準存在精度上的欠缺，而全自動化配準不需要人工干預，由計算機主動完成，因此是配準技術發展的方向。

圖像配準技術經過多年的研究，已經取得了很多研究成果，但是由于影響圖像配準的因素的多樣性，不同的應用對圖像配準的要求各不相同，以及配準問題的復雜性，圖像配準的預處理技術還有待于進一步發展。