機器視覺原理與應用 課件 第9、10章 圖像配準、立體視覺

第9章圖像配準9.1圖像配準概述 9.1.1圖像配準概念 9.1.2常用的圖像配準技術 9.1.3圖像配準技術的應用9.2空間幾何變換 9.2.1簡單變換 9.2.2剛體變換與相似性變換 9.2.3仿射變換 9.2.4投影變換 9.2.5非線性變換9.3基于灰度的圖像配準第9章圖像配準 9.3.1空域模板匹配及相似性度量 9.3.2相位相關法9.4基于特征的圖像配準 9.4.1基于特征的配準步驟 9.4.2形狀匹配與Hausdorff距離9.5快速匹配算法9.6亞像素超分優(yōu)化匹配技術 9.6.1擬合法 9.6.2插值法 9.6.3細分像素法9.7OpenCV實現(xiàn)亞像素細分第9章圖像配準隨著科學技術的迅猛發(fā)展，圖像配準（imageregistration）作為數(shù)字圖像處理的一部分已成為圖像信息處理、模式識別領城中的一項非常重要的技術，并在立體視覺、航空攝影測量、資源分析、醫(yī)學圖像配準、光學和雷達跟蹤、檢測等領域得到了廣泛的應用。9.1.1圖像配準概念從視覺的角度看，“視”應該是有目的的“視”，即要根據(jù)一定的如識（包括對目標的描述）借助圖像去場景中尋找符合要求的目標；“覺”應該是帶識別的“覺”。即要從輸入圖像中抽取目標的特性，再與已有的目標模型進行匹配，從而達到理解（識別）場景含義的目的。在計算機視覺識別過程中，常常需要把不同的傳感器或者同一傳感器在不同時間，不同成像條件下對同一景物獲取的兩幅或多幅圖像進行比較，找到該組圖像中的公有景物，或根據(jù)已知模式到另一幅圖中尋找相應的模式，這一過程稱做圖像配準。在圖像配準的文獻中都會出現(xiàn)圖像配準和圖像匹配，它們之間的含義比較相似。一般同一目標的兩幅圖像在空間位置的對準用圖像配準；圖像配準的技術過程，即尋找同名特征（點）的過程稱為圖像匹配（imagematching）或者圖像相關。9.1.1圖像配準概念一般來說，由于圖像在不同時間、不同傳感器、不同視角獲得的成像條件不同，因此即使是對同一物體，在圖像中所表現(xiàn)出來的幾何特性、光學特性、空間位置都會有很大的不同，如果考慮到噪聲、干擾等影響會使圖像發(fā)生很大差異，圖像配準就是通過這些不同之處找到它們的相同點。假設參考圖像和待配準圖像分別用

和

表示，則圖像的配準關系可以表示為（9-1）其中，Ts表示二維空間幾何變換函數(shù)；Tg表示維灰度變換函數(shù)。9.1.1圖像配準概念配準的主要任務就是尋找最佳的空間變換關系Ts與灰度變換關系Tg，使兩幅圖像實現(xiàn)最佳配準。由于空間幾何變換是灰度交換的前規(guī)，而且有些情況下灰度變換關系的求解并不是必須的，它也可以歸為圖像預處理部分，所以通常意義上配準的關鍵所在就是尋找圖像空間幾何變換關系，于是式（9-1）可改寫為更簡單的表示形式（9-2）9.1.1圖像配準概念圖像配準包含以下四方面基本要素。1.特征空間特征空間是指從參考圖像和待配準圖像中提取的可用于配準的特征，在基于灰度的圖像配準方法中，特征空間為圖像像素的灰度值；而在基于特征的圖像配準方法中，特征空間可以是區(qū)域、邊緣、點、曲線、不變矩等。選擇適當?shù)奶卣骺臻g是圖像配準的第一步。特征空間不僅直接關系到圖像中的哪些特征對配準算法敏感和哪些特征被匹配。而且大體上決定了匹配算法的運算速度和魯棒性等性能。特征空間的構(gòu)造需遵循三個原則，即特征空間是參考圖像和待配準圖像所共有的、容易獲得的、且能夠表達圖像的本質(zhì)信息。9.1.1圖像配準概念2.搜索空間搜索空間是指在配準過程中對圖像進行變換的范圍及變換的方式。1）圖像的變換范圍圖像的變換范圍分為三類：全局的、局部的和位移場的。（1）全局變換是指整幅圖像的空間變換可以用相同的變換參數(shù)表示。（2）局部變換是指在圖像的不同區(qū)域可以有不同的變換參數(shù)，通常的做法是在區(qū)域的關鍵點位置上進行參數(shù)變換，在其他位置上進行插值處理。（3）位移場變換是指對圖像中的每一像素獨立地進行參數(shù)變換，通常使用一個連續(xù)函數(shù)來實現(xiàn)優(yōu)化和約束。9.1.1圖像配準概念2）圖像的變換方式圖像的變換方式即空間幾何變換模型，可以分為線性變換和非線性變換兩種形式。線性變換又可分為剛體變換、仿射變換和投影變換。非線性變換一般使用多項式函數(shù)，如二次、三次函數(shù)及薄板樣條函數(shù)，有時也使用指數(shù)函數(shù)。9.1.1圖像配準概念3.相似性度量評估從搜索空間中獲得的一個給定的變換所定義的輸入數(shù)據(jù)與參數(shù)數(shù)據(jù)之間的相似程度（匹配程度），為搜索策略的下一步動作提供依據(jù)。一般地，高的相似程度是特征間匹配的判定標準。相似性度量和特征空間、搜索空間緊密相關，不同的特征空間往往對應不同的相似性度量；而相似性度量的值將直接判斷在當前所選取的變換模型下圖像是否被正確匹配。通常配準算法抗干擾的能力是由特征提取和相似性度量共同決定的。常用的相似性度量有相關性、互信息、歸一化互信息、聯(lián)合熵、幾何距離等。9.1.1圖像配準概念4.搜索策略搜索策略是指用恰當?shù)姆椒ㄔ谒阉骺臻g中計算變換參數(shù)的最優(yōu)值，在搜索過程中以相似性度量的值作為判優(yōu)依據(jù)。由于配準算法往往需要大量的運算，而常規(guī)的貪婪搜索法在實踐中是無法接受的，因此設計一個有效的搜索策略顯得尤為重要。搜索策略將直接關系到配準進程的快慢，而搜索空間和相似性度量也在一定程度上影響了搜索策略的性能。常用的搜索策略有黃金分割法、Brent法、拋物線法，三次插值法、Powell法、遺傳算法、蟻群算法、牛頓法、梯度下降法等。9.1.2常用的圖像配準技術根據(jù)配準所利用的圖像特征或圖像信息，常用的圖像配準方法主要分為以下兩類。1.基于灰度（或區(qū)域）的配準方法基于灰度（或區(qū)域）的配準方法的核心思想是認為參考圖像和待配準圖像上的對應點及其周圍區(qū)域具有相同或相似的灰度，并以灰度相似為基礎采用相似性度量，然后采用搜索方法尋找使相似性度量達到最大或最小的點，從而確定兩幅圖像之間的變換模型參數(shù)，常見的算法有最大互信息法、相關法、條件熵法、聯(lián)合熵法等。基于灰度的配準方法，只對圖像的灰度進行處理，可以避免主觀因素的影響，配準結(jié)果只依賴配準方法本身，同時可以避免因圖像分割而給配準帶來的額外誤差，并能實現(xiàn)完全自動的配準。最大互信息法可以用在任何不同模態(tài)圖像的配準，已廣泛應用到多模醫(yī)學圖像的配準中，成為醫(yī)學影像配準領域的研究熱點?；诨叶鹊?.1.2常用的圖像配準技術配準方法實現(xiàn)簡單，但也存在一些缺點，例如，①對圖像的灰度變化比較敏感，尤其是非線性的光照變化；②計算量大；③對縮放、旋轉(zhuǎn)、形變及遮擋較敏感，忽略了圖像的空間相關信息。2.基于特征的配準方法基于特征的配準方法中，常用的特征包括點特征、直線段、邊緣、閉合區(qū)城以及統(tǒng)計矩等。由于提取了圖像的基著特征，大大壓縮了圖像信息的數(shù)據(jù)量，故匹配計算最較小、速度較快；但其匹配制度受特征提取的準確度影響，噪聲、遺漏等因素都會影響特征提取的完整性；同時對某些不具有明顯特征的圖像進行匹配時，特征匹配方法實現(xiàn)難度很大。9.1.2常用的圖像配準技術基于特征的配準方法的實現(xiàn)過程可以描述為，首先對兩幅圖像進行特征提?。蝗缓笤趯μ卣鬟M行相似性度量后找到匹配的特征點對，通過找到的匹配特征點對得到圖像間的變換參數(shù)；最后由這些交換參數(shù)實現(xiàn)圖像的配準?；谔卣鞯膱D像配準與基于灰度的圖像配準之間的主要區(qū)別在于是否包含分割步驟?；谔卣鞯呐錅史椒ò▓D像的分割過程，用于提取圖像的特征信息，然后對圖像的顯著特征進行配準?；诨叶鹊呐錅史椒o須進行圖像分割與特征提取。9.1.3圖像配準技術的應用圖像配準主要實際用途基本上可以歸納為以下四類。1.多模態(tài)配準多模態(tài)配準（multimodalregistration）是指由不同傳感器獲得的同一場景圖像的配準。例如，在醫(yī)學領域，不同模態(tài)的圖像有各自的特性，如CT和MRI以較高的空間分辨率提供器官的解剖結(jié)構(gòu)信息，面PET（PositiveElectronTomography,正電子發(fā)射斷層掃描）和SPECT（Single-PhoteEmissionComputedTomography,單光子發(fā)射計算機西層掃描）以較低的空間分辨率提供器官的新陳代謝功能信息。在實際臨床應用中，單一模態(tài)圖像往往不能提供足夠多的信息，一般需要將不同模態(tài)圖像融合在一起以便得到更全面的信息。例如，GE公司推出的DiscoveryLs是PET與CT的一個完美融合系統(tǒng)，不僅能夠完成9.1.3圖像配準技術的應用能量衰減校正、分子影像（molecularimaging），而且能進行同機圖像融合，提高了影像定位診斷的準確性。多模態(tài)配準還可以應用在遙感領城中，實現(xiàn)大量不同波段圖像融合，以便于全面地認識環(huán)境和自然資源，其成果廣泛應用于大地測繪、植被分類與農(nóng)作物生長勢態(tài)評價、天氣預報、自然災害監(jiān)測等方面。2.模板匹配模板匹配（templatematching，area-basedmatching）是指在圖像中識別或定位模板，例如，模式識別領域中的字體識別、目標定位等。9.1.3圖像配準技術的應用3.視角配準視角配準（viewpointregistration）是指由不同角度獲得的圖像，用于深度或形狀重建，經(jīng)常用到視角配準的領域有雙目立體成像中的圖像匹配、運動目標跟蹤、圖像序列分析等。4.時間配準時間配準（temporalregistration）是指不同時間或者不同環(huán)境條件下獲得的同一場景圖像，主要應用于檢測和監(jiān)控變化或生長。例如，醫(yī)學圖像處理中的數(shù)字剪影血管造影術（DSA）、腫瘤檢測和早期白內(nèi)障檢測，遙感領域中的自然資源監(jiān)控。圖像配準技術發(fā)展至今，其實際應用已遍布諸多領域，其較典型的應用領域有：遙感圖像處理、醫(yī)學圖像處理、紅外圖像處理、數(shù)字地圖定位、模式識別、自動導航和計算機視覺等。9.2空間幾何變換各種配準技術都要建立自己的變換模型，變換模型的選取與圖像的變形特性有關。圖像幾何變換方式可分為局部變換和全局變換兩類。全局變換只用一個函數(shù)建立圖像之間像素的空間映射關系，多數(shù)的圖像配準方法都采用全局變換，通常涉及矩陣代數(shù)。局部變換則包含多個映射函數(shù)，有時又稱為彈性映射（elasticmapping），它允許變換參數(shù)存在對空間的依賴性。局部變換適用于包含非剛性形變圖像的配準，如醫(yī)學圖像配準。由于局部變換隨圖像像素位置變化而變化，變換規(guī)則不完全一致，需要進行分段小區(qū)域處理。9.2空間幾何變換圖像幾何變換模型主要有簡單變換、剛體變換、仿射變換、投影變換和非線性變換。如圖9-1所示，給出了幾種常見的圖像幾何變換示意圖。它們主要依據(jù)方程需要的坐標點的數(shù)量進行分類，簡單變換只需一對坐標點，剛體變換只需兩對坐標點，仿射變換只需三對坐標點，投影變換只需四對坐標點就能確定其模型參數(shù)。

圖9-1空間幾何變換示意圖9.2.1簡單變換簡單變換是最簡單的的圖像變換模型。通過系列的簡單變換，可以實現(xiàn)剛體變換和仿射變換。因此，簡單變換也可以看做是剛體變換和仿時變換的原子變換。根據(jù)變換方式的不同，簡單變換又可以細分為平移變換、縮放變換、旋轉(zhuǎn)變換和剪切變換四種。1.平移變換按向量

對圖像的坐標進行平移變換（translationtransformation），其模型可以表述為：（9-3）9.2.1簡單變換2.縮放變換縮放變換（scalingtransformation）是指分別沿著x軸和y軸拉伸或壓縮圖像的幾何變換，可以表述為:

（9-4）3.旋轉(zhuǎn)變換旋轉(zhuǎn)變換（rotationtransformation）是指將圖像旋轉(zhuǎn)一定角度的幾何變換，可以表述為： （9-5）上述的旋轉(zhuǎn)是繞坐標原點(0,0)進行的，如果是繞某一個指定點(a,b)旋轉(zhuǎn)，則先要將坐標系平移到該點，再進行旋轉(zhuǎn)，然后將旋轉(zhuǎn)后的圖像平移回原坐標系。9.2.1簡單變換4.剪切變換剪切變換（shearingtransformation）是將x軸（y軸）的縮放加到y(tǒng)軸（或x軸）的幾何變換，變換模型描述為：（9-6）縮放變換和剪切變換都是對圖像做拉伸或壓縮的，但是它們之間有著顯著的不時?？s放變換不會改變圖形的形狀，例如，長方形變換之后還是長方；但是剪切變換會改變圖形的形狀，例如，長方形變換之后為四邊形。9.2.1簡單變換由式（9-3）~式（9-6）可知，簡單變換中的每一類變換都只涉及一類變換參數(shù)，所以它只需要待配準圖像之間對應的一對坐標點就可以確定其參數(shù)方程。MATILAB中，簡單變換可以直接使用單個函數(shù)實現(xiàn)，例如，圖像縮放、旋轉(zhuǎn)和剪切分別使用imresize、imrotate、imcrop函數(shù)實現(xiàn)。9.2.2剛體變換與相似性變換剛體變換（rigidtransformation）是平移、旋轉(zhuǎn)變換的組合，它的特點在于變換之后并不改變物體的形狀和面積。剛體變換的數(shù)學模型為：（9-7）相似性變換（similaritytransformation）是平移、旋轉(zhuǎn)以及等比例縮放變換的組合，特點在于變換之后不改變物體的形狀。相似性變換的數(shù)學模型為：（9-8）由式（9-7）與式（9-8）可知，剛體變換與相似性變換需要待配準圖像之間對應的兩對坐標點便可確定其方程參數(shù)。9.2.3仿射變換仿射變換（affinetransformation）是比剛體變換更具一般性的一種變換類型，它能容忍更為復雜的圖像變形。仿射變換可以通過一系列的原子變換的復合來實現(xiàn)，包括平移、縮放、翻轉(zhuǎn)（flip）、旋轉(zhuǎn)和剪切。

圖9-2仿射變換由三對坐標點唯一確定9.2.3仿射變換仿射變換的主要特點是保持點的共線性以及保持直線的平行性。通過仿射變換，直線變換為直線，三角形變換為三角形，矩形變換為平行四邊形，平行線變換為平行線，如圖9-2所示。仿射變換的數(shù)學模型為：（9-9）仿射變換可以分解為線性（矩形）變換和平移變換，于是式（9-9）還可以表示為（9-10）9.2.3仿射變換由以上兩式可知，仿射變換中含有六個方程參數(shù)，因此需要待配準圖像間三對坐標才能解出模型參數(shù)。MATLAB中，圖像二維仿射變換使用imtransform函數(shù)實現(xiàn)，如圖9-3所示。

圖9-3仿射變換示例9.2.4投影變換若一幅圖像中的一條直線經(jīng)過變換后映射到另一幅圖像上仍是一條直線，但其他性質(zhì)如平行性和等比例性都不能保持不變，那么這樣的變換就稱為投影變換（projectivetransformation）。所以，經(jīng)投影變換后矩形會被變換為一般的四邊形，如圖9-4所示。投影變換模型適用于被拍攝場景是平面或近似是平面的情況，如航拍圖像。

圖9-4投影變換由四對坐標點唯一確定9.2.4投影變換投影變換還可以看成仿射變換的推廣，而仿射變換則可以看成投影變換的特例。投影變換的數(shù)學模型為

（9-11）若令

則投影變換退化為仿射變換。由于模型含有八個參數(shù)，所以需要待配準圖像間四對坐標點來求解方程。9.2.5非線性變換如果一副圖像上的直線映射到另一幅圖像上后不再是直線，那么這樣的變換被稱為非線性變換（nonlineartransformation）。非線性變換也稱為彎曲變換（curvedtransformation）。典型的非線性變換如多項式變換（polynomialtransformation），在二維空間中，可寫成如下形式（9-12）非線性變換比較適合于具有全局性形變問題的圖像配準，以及整體近似剛體但局部有形變的配準情況。9.2.5非線性變換圖像變換模型的選擇對圖像配準結(jié)果的影響是至關重要的。在進行圖像配準的過程中，必須認真分析圖像的性質(zhì)，選定適當?shù)膱D像變換模型進行圖像配準。同時指出，多數(shù)情況下，認為待配準圖像間的變換模型是仿射變換，這是合理的，這種假設能夠處理絕大部分的圖像配準問題。9.3基于灰度的圖像配準基于灰度的圖像配準方法通常直接利用整幅圖像的灰度信息，建立兩幅圖像之間的相似性度量，然后采用某種搜索方法，尋找使相似性度量達到最大或最小時的空間變換模型的參數(shù)值。這種基于灰度的方法直接利用全部可用的圖像灰度信息，因此能提高估計的精度和魯棒性。但由于在基于灰度的配準方法中，匹配點周圍區(qū)域所有像素都需參與計算，因此其計算量較大?；诨叶鹊呐錅士梢栽诳沼?qū)崿F(xiàn)，也可以在變換域（如傅里葉域）中實現(xiàn)，而基于傅里葉變換的圖像配準方法也稱為相位相關法。下面分別對這兩種實現(xiàn)方法進行介紹。9.3.1空域模板匹配及相似性度量空域模板匹配方法需考慮點的鄰域性質(zhì)，而鄰域常借助模板（也稱子圖像）來確定。該方法首先從參考圖像中提取目標區(qū)域作為模板，然后利用該模板在待配準圖像中滑動，通過相似性度量來尋找最佳匹配點。各種模板匹配方法的主要差異在于相似性度量以及搜索策略的選擇不同?？沼蚰０迤ヅ浞椒ㄆ浔举|(zhì)是用一幅較小的參考圖像與一幅較大的待配準圖像的一部分子圖像進行匹配，匹配的結(jié)果是確定在待配準圖像中是否存在參考圖像，若存在，則進一步確定參考圖像在待配準圖像中的位置。在模板匹配中，模板通常選擇正方形，但也可以是矩形或其他形狀。下面介紹圖像配準中經(jīng)常使用的幾種典型的相似性度量。9.3.1空域模板匹配及相似性度量1.相關系數(shù)對于尺寸為

的參考圖像

和尺寸為M*N待配準圖像

，歸一化相關系數(shù)定義為（9-13）其中，是的均值，只須計算一次；是待配準圖像中與參考圖像當前位置相對應區(qū)域的均值。如圖9-5所示是為空域模板示意圖，式（9-13）中的求和是對

和

相重疊的區(qū)域進行的，搜索范圍最大為

。當s和t變化時，在圖像區(qū)域移動并給出函數(shù)

的所有值，的最大值指出參考圖像在待配準圖像中的最佳匹配位置。9.3.1空域模板匹配及相似性度量

圖9-5空域模板匹配示意圖使用相關系數(shù)作為相似性度量的圖像配準方法也稱圖像相關法（imagecorrelation）或者區(qū)域相關法（area-basedmatchingusingcorrelation)。9.3.1空域模板匹配及相似性度量2.差的平方和、差的絕對值除了使用最大相關系數(shù)來確定匹配位置，還可以使用式（9-14）定義的差的平方和作為（9-14）如果用絕對值代替平方值，得到如下差的絕對值函數(shù)：（9-15）9.3.1空域模板匹配及相似性度量上面兩種誤差函數(shù)有一個缺點。即對

和

幅度值的變化比較敏感。為了解決這個問題，可以使用它們的歸一化形式：（9-16）

（9-17）空域模板匹配方法在參考圖像與待配準圖像間存在較小的方向變化時，是一種可靠的匹配方法。然而，當方向變化稍大些時，這種方法就會變得十分不可靠。另外，當兩者存在尺度變化時，也會導致錯誤匹配。9.3.1空域模板匹配及相似性度量3.互信息互信息（MutualInformation，MI）法的出現(xiàn)是基于灰度統(tǒng)計配準方法的個重要發(fā)展。該相似性度量不需要對不同成像模式下圖像灰度間的關系做任何假設，也不需要對圖像進行分割或任何預處理，特別是，即使其中一個圖像存在數(shù)據(jù)部分缺損時也能得到很好的配準效果?；バ畔⒎ㄐ枰?shù)化的概率密度模型，這意味著其計算量較大，并且要求圖像間的重疊區(qū)域較大?；バ畔⒎ㄖ饕鉀Q多模圖像配準問題，是醫(yī)學圖像配準中的主導技術?；バ畔⑹切畔⒄撝械某Ｓ酶拍?，用于度量兩個隨機變量間的統(tǒng)計相關性，描述一個變量包含另一個變量的多少信息量?；バ畔⒖捎渺貋砻枋?，其定義為（9-18）9.3.1空域模板匹配及相似性度量式中，和H(B)分別為圖像A和B的痛；H(A,B)為二者的聯(lián)合熵，在圖像配準過程中，若兩圖像的空間位置完全一致，互信息K(A,B)為最大。另一種互信息的定義方式與Kulliback-Leibler距離有關，（9-19）其中，和

為圖像A和B的直方圖，

為二者的聯(lián)合直方圖；和表示圖像A和B的灰度值。式（9-19）可以解釋為圖像灰度值的聯(lián)合概率分布

和將兩幅圖像視為獨立變量時的聯(lián)合概率

的距離。9.3.1空域模板匹配及相似性度量互信息具有以下四個特性：①非負性：

；②對稱性：③獨立性：若

，則

；④有界性：

。9.3.1空域模板匹配及相似性度量基于互信息的圖像配準就是尋找一特定的空間變換，使得經(jīng)過該空間變換后兩幅圖像間的互信息量達到最大。為了解決由于重疊區(qū)域而帶來的互信息變化較為敏感的問題，經(jīng)常使用歸一化互信息（NormalizedMutualInformation，NMI）和熵相關系數(shù)（EntropyCorrelationCoefficient，ECC）作為相似性度量，二者的表達式分別表示為：（9-20）（9-21）9.3.2相位相關法不論平移、旋轉(zhuǎn)還是灰度和尺度變化，在傅里葉變換域中都有相應的表示。相位相關法（phasecorrelation）就是利用傅里葉變換的一些主要性質(zhì)來進行圖像配準，它對噪聲有較高的容忍度，匹配結(jié)果與照度無關，可處理圖像之間的平移、旋轉(zhuǎn)和比例縮放。1.位移量估計相位相關法最早用于位移圖像之間的配準，基本原理是基于傅里葉變換的位移定理?？紤]兩幅圖像

和

之間存在位移量

，則它們在空域有如下關系：（9-22）9.3.2相位相關法對其進行傅里葉變換，反映到頻域具有以下形式：（9-23）其中，

和

分別為

和

的傅里葉變換。式（9-23）說明，兩幅存在位移的圖像變換到頻域具有相同的幅值，但存在一個相位差，而這個相位差與位移量有直接關系。相位差的計算可以轉(zhuǎn)化為計算兩圖像的互功率譜的相位，即（9-24）其中，*表示共軛運算符。上式右端經(jīng)傅里葉逆變換表達成空域形式，可以得到一個除了具有位移的地方之外所有地方都近似為零的狄拉克函數(shù)，即（9-25）9.3.2相位相關法于是，相位相關法就是求式（9-24）傅里葉逆變換的峰值所在的位置，確定出位移量被后實現(xiàn)圖像配準。相位相關性非常適合于具有窄帶嗓聲的圖像。同樣由于光照變化通?？杀豢闯墒且环N緩慢變化的過程，主要反映在低頻部分，所以相位相關性對于在不同光照條件下拍攝的圖像或不同傳感器獲得的圖像之間的配準比較有效。9.3.2相位相關法2.旋轉(zhuǎn)角度估計為了將相位相關法擴展至既有位移又有旋轉(zhuǎn)的圖像配準中，可以把直角坐標系下的旋轉(zhuǎn)看做極坐標下的平移，從而解決旋轉(zhuǎn)參數(shù)的估計問題。假設兩幅圖像間存在位移量

和旋轉(zhuǎn)角中，其空域關系表示為（9-26）由傅里葉旋轉(zhuǎn)、位移特性，上式的傅里葉變換可以寫為（9-27）通過取模，得到它們傅里葉功率譜之間的關系為（9-28）9.3.2相位相關法式（9-28）是平移不變的，表明圖像旋轉(zhuǎn)一個角度造成其功率譜也旋轉(zhuǎn)相同的角度。為了將旋轉(zhuǎn)轉(zhuǎn)化成平移形式，對頻譜進行極坐標變換，使原米的坐標

變成，因此可得到下式（9-29）如果

，

，則式（9-28）進一步表示為（9-30）9.3.2相位相關法因此，在極坐標系下用相位相關法求出圖像問的旋轉(zhuǎn)角度，根據(jù)對特配準圖進行旋轉(zhuǎn)補償，再用相位相關法求出位移量。當圖像之間既存在位移和旋轉(zhuǎn)，也存在比例縮放時，只要在上述的極坐標變換后加上取對數(shù)運算（該方法也稱Fourier-Mellai不變描述子），便可將旋轉(zhuǎn)和比例縮放都轉(zhuǎn)化為平移問題，從而再用相位相關法得出旋轉(zhuǎn)角和縮放系數(shù)。對圖像進行旋轉(zhuǎn)和縮放校正后，再計算位移參數(shù)。9.4.1基于特征的配準步驟基于特征的配準過程歸納為以下四個步驟：（1）特征提?。╢eaturedetection）。手動或自動檢測提取圖像中的顯著特征，特征提取是圖像配準的關鍵問題，特征匹配成功與否主要取決于特征提取的準確度。（2）特征匹配（featurematching）。根據(jù)相似性度量建立參考圖像中特征和待配準圖像中特征之間的匹配關系。（3）空間幾何變換模型估計（transformationmodelestimation）。根據(jù)特征匹配結(jié)果估計參考圖像與待配準圖像之間的幾何變換模型的類型和參數(shù)，只有找到能夠很好地描述兩配準圖像之間映射關系的變換模型，才能實現(xiàn)圖像精確配準。（4）圖像重采樣及變換（imageresamplingandtransformation）。待配準圖像經(jīng)過幾何變換后，利用合適的插值技術計算位于非整數(shù)坐標下的圖像灰度值。常用的數(shù)字圖像插值方法有最近鄰插值法、雙線性插值法、雙三次插值法和樣條插值法9.4.2形狀匹配與Hausdorff距離形狀匹配就是在形狀描述的基礎上性，按照一定的相似性度量準則來衡量形狀間的相似性，對于不同的形狀描述子，存在不同的形狀匹配方法。在形狀匹配中，常見的相似性度量包括相關系數(shù)、邊緣方向直方圖、距離（歐氏距離、Manhattan距離、Minkowsky距離、Mahalanobi距離、Hausdorff距離）、角度等。9.4.2形狀匹配與Hausdorff距離其中，Hausdorff距離可以用來測量兩個點集的匹配程度，作為一種點集之同的相似性度量也可以被用來比較兩個其他形狀圖形的相似度，因此可作為二值圖像（如邊緣圖像）配準中的一種相似性度量。Hausdorff距離不需要建立點之間的一一對應關系，只是計算兩個點集之間的相似程度，所以可以有效地處理很多特征點的情況。Hausdorff距離是兩個點集之間的一種距離定義形式。給定兩個有限非空集

和

，則A，B之間Hausdorff距離定義為（9-31）其中，（9-32） （9-33）9.4.2形狀匹配與Hausdorff距離其中，

為定義在點集A、B上的某種距離范數(shù)。距離范數(shù)一般包括城區(qū)距離、棋盤距離、歐幾里德距離，各種距離計算詳見第6.4.2節(jié)。式（9-31）中H(A,B)稱為雙向Hausdorff距離，是Hausdorff距離的最基本形式；式（9-32）中的h(A,B)和式（9-33）中的h(B,A)分別稱為從點集A到點集B、從點集B到點集A間的單向Hausdorff距離。首先定義一個點到一個有限集合的距離為該點與這個集合中所有的點的距離的最小值，在上述公式中，h(A,B)表示的是點集A中的每個點到點集B的距離的最大值。從上面的定義可以看出，在一般的情況下h(A,B)不等于h(B,A)。9.4.2形狀匹配與Hausdorff距離h(A,B)和h(B,A)的最大值定義為Hausdorff距離H(A,B)。只要通過計算h(A,B)和h(B,A)同時求出它們的最大值，即可獲得兩個點集A和B之間的相似程度。如果

，則表示A中所有點到B中點的距離不超過d，也就是說A中的點都在B中點的距離為d的范圍之內(nèi)。Hausdorff距離表征了兩個點集之間的不相似程度。但它對干擾很敏感，為了避免此問題，可以使用下面公式定義的部分Hausdorff距離距高（partialHausdorffdistance，PHD）：（9-34）9.4.2形狀匹配與Hausdorff距離式中，（9-35）（9-36）這里，

，分別稱為前向分數(shù)（forwardfraction）和后向分數(shù)（reversefraction），控制著前向距離和后向距離，th表示排序。當

時，該公式退化為原始的Hausdorff距離。9.4.2形狀匹配與Hausdorff距離形狀匹配需要考慮以下三個問題：（1）形狀常與目標聯(lián)系在一起，相對于顏色，形狀特征可以有做更高層次的圖像特征。要獲得有關目標的形狀參數(shù)，常常要先對圖像進行分割，所以形狀特征會受圖像分割效果的影響。（2）選取合適的形狀描述方法。目標形狀的描述是一個非常復雜的問題，至今還沒有找到能與人的感覺相一致的圖像形狀的確切數(shù)學定義。（3）從不同視角獲取的目標形狀可能會有很大差別，為準確進行形狀匹配，需要解決位移、尺度、旋轉(zhuǎn)變換等問題。9.5快速匹配算法圖像匹配結(jié)果的可靠性與模板窗口的信息量密切相關，信息量越少，其可靠性就越差，然而增加模板尺寸又會導致運算量增加。因此，采用適當?shù)哪０宕翱?、加上某些約束條件是有效的辦法。下面介紹幾種常用的針對模板匹配的快速配準算法。9.5快速匹配算法（1）變灰度級相關算法變灰度級相關算法（varyinggray-levelcorrelationalgorithm）是根據(jù)參考圖像的灰度值按位生成幾個二值圖像，然后以這些二值圖像作為新的模板，按照從高位到低位的順序依次與待配準圖像進行相關運算，并對每一位設定一閾值，只有相關運算的結(jié)果大于該閾值的像素點才能參與下一級的相關。這樣，在最后一級相關運算中得到的最大值點即為最終的匹配點。由于參與相關運算的像素點越來越少，而且也避免了一般相關算法中的多次乘方運算、開平方根運算，減少了計算的復雜性，從而達到了減少總計算量的目的。9.5快速匹配算法（2）FFT相關算法由離散傅里葉變換中的相關定理可知，兩個函數(shù)在空域中的卷積對應于它們在頻域中的乘積，而相關可看成卷積的一種特殊形式。由于DFT可用FFT實現(xiàn)，則在頻域中的計算速度可以得到有效提高。首先把參考圖像和待配準圖像進行二維DFT，對于參考圖像，有（9-37）其中，u，v分別表示在x和y方向上的頻率分量，并且有

。9.5快速匹配算法假定待配準圖像尺寸為

。采用同樣的方法進行DFT得到

。然后根據(jù)相關定理寫出相關函數(shù)的DFT為（9-38）再對

求IDFT得到在空域中的相關函數(shù)

為（9-39）其中，*為共軛運算符。9.5快速匹配算法根據(jù)上面的關系式，畫出FFT相關算法流程圖如圖9-6所示。

圖9-6FFT相關算法圖像的像素數(shù)和搜索位置數(shù)越大，應用這種算法在時間上的優(yōu)勢越明顯。此外，由于傅里葉變換的周期性，匹配點會星周期性出現(xiàn)，因此在運算時必須采取其他措施。9.5快速匹配算法（3）序慣相似性檢測算法序慣相似性檢測算法（sequencesimilardetectionalgorithm，SSDA）是在當前點的匹配窗口內(nèi)，按像素逐個累加參考圖像和待配準圖像的灰度差值，同時記錄累加點數(shù)。若在累加過程中灰度差值的累加值達到了預先設定的閾值，則停止累加，轉(zhuǎn)而計算下一點，從而省去大量的非匹配位置處的無用計算，如圖9-7所示。當所有點都計算完后，取最大累加點數(shù)的位置作為匹配點。9.5快速匹配算法圖9-7序貫相似檢測算法示意圖9.5快速匹配算法（4）變分辨率相關算法變分辨率相關好法是較常用的一種快速相關算法，它是將參考圖像和待配準圖像的每個2*2區(qū)域逐級進行灰度平均，得到兩個圖像塔形結(jié)構(gòu)。從塔形結(jié)構(gòu)的最高層開始，將參考圖像和待配準圖像進行相關運算，設定閾值去掉一些失配點，得到候選匹配點。然后在下一層中，只在候選中進行匹配搜索，再去掉一些失配點。由此逐級向下，直至最高分辨率的原始圖像。該方法通過降低參考圖像和待配準圖像的大小來達到減少計算量的目的。9.5快速匹配算法（5）基于投影特征的匹配算法該方法利用兩幅圖像的投影進行相關運算以減少計算量，從而達到提高速度的目的。（1）設參考圖像大小為m*n，計算其垂直投影，得到長度為m的一維矩陣g。（2）設待配準圖像大小為X*Y在其中依次取

一個與參考圖像相同大小的子圖像，對這

個子圖像分別計算它們的垂直投影，得到

個長度為m的一維矩陣f。（3）求相關系數(shù)

（9-40）9.5快速匹配算法（4）求出

的最大值，其在矩陣中的位置即為參考圖像在待配準圖像中的位置。基于投影特征的匹配算法是將圖像的二維信息轉(zhuǎn)變?yōu)橐痪S信息，然后利用一維相關進行匹配識別，提高了速度但降低了匹配準確性。9.6.1擬合法下面以二次曲面擬合法為例介紹擬合法實現(xiàn)亞像素級配準，可以同時獲得x和y方向的精確配準位置。首先通過上述配準方法確定整像素匹配位置為

。計算以

為中心3*3鄰域內(nèi)9點的相關系數(shù)，利用最小二乘法擬合二次曲面：

（9-41）其中，

為二次曲面的6個系數(shù)。擬合曲面與計算數(shù)據(jù)之間的均方差函數(shù)表示為：（9-42）計算對的偏導數(shù)，并令其等于0，可以得到6個等式：（9-43）9.6.1擬合法求解由式（9-43）所構(gòu)成的方程組便可獲得，代入式（9-41）便可確定二次曲面方程

。然后對

求偏導數(shù)并令其等于0，得（9-44）求解式（9-44）得到次曲面的駐點為：（9-45）實踐證明相關系數(shù)函數(shù)為單值函數(shù)，且僅有一個駐點。因此，不需要判斷便可以確定該駐點一定為極大值點，于是亞像素級匹配位置為

。9.6.2插值法1.高斯曲面插值法將最大相關系數(shù)值附近的曲面視為半徑為w、幅度為h、中心坐標為

的高斯曲面，選擇相關系數(shù)極大值點

（即整像素匹配位置）及最接近極大值的另外3個點

，

和

，則有

（9-46）解方程組得:

（9-47）9.6.2插值法其中，

9.6.2插值法2.梯度插值法當確定參考圖像

在待配準圖像中的對應區(qū)域

時，真實區(qū)域應為

，則函數(shù)（9-48）應取最小值。將

鄰域進行泰勒級數(shù)展開并取到1次項，則公式（9-48）變?yōu)?/p>

（9-49）9.6.2插值法令

，

，便可以得到計算

的方程組：

（9-50）其中，

，

，

，

，

，

。用差分代替偏微分，即可對方程組（9-50）求解。根據(jù)泰勒級數(shù)理論，將級數(shù)展開式取到2次項或高次項后，所得到的結(jié)果將更精確。當然，其計算量將隨之增加。9.6.3細分像素法在待配準圖像中以整像素匹配點為中心，選取一個3*3的窗口圖像，對此窗口圖像進行細化，得到亞像素級的窗口圖像。同樣對參考圖像進行細化，得到亞像素級的參考圖像。然后再對兩窗口圖像做相關運算。非整數(shù)像素位置上的灰度值通過插值方法獲得，為了減少計算量，一般采用如下雙線性插值：（9-51）其中，I00，I01，I10，I11為待插值點所處方格的4個頂點位置上的灰度值；

，

為插值點在

坐標系下的坐標值；dx和dy為x和y方向的步長；k和l為整數(shù)。細分像素法示意圖如圖9-8所示。9.6.3細分像素法

圖9-8細分像素法示意圖如果能對圖像進行理想插值，那么理論上細分像素法的精度取決于步長的大小。但是由于圖像中的噪聲、插值算法的誤差影響、圖像數(shù)字化時存在一定的采樣間隔以及硬件的限制，當步長小到一定程度后，得到的測量精度是沒有意義的。細分像素法最大的缺點在于計算量非常大，同時，對灰度范圍比較窄的圖像使用細分像素法幾乎達不到提高精度的目的。9.7OpenCV實現(xiàn)亞像素細分超像素是把一張圖片中具有相似特征的像素進行聚類，形成一個更具有代表性的大“像素”。這個新的像素可以作為其他圖像處理算法的基本單位，可以減低圖像的維度和異常像素點。目前常用的超像素分割算法有SLIC、SEEDS和LSC。在OpenCV中提供了cv.ximgproc.createSuperpixelSLIC()函數(shù)來實現(xiàn)圖像超像素分割，其一般格式為：retval=cv2.ximgproc.createSuperpixelSLIC（image，algorithm[，region_size[，ruler]]）9.6.3細分像素法其中：

image：輸入圖像

algorithm：選擇要使用的算法變體：SLIC、SLICO（默認）和MSLIC三種可選

region_size：平均超像素大小，默認10 ruler：超像素平滑度，默認10思考與練習9-1什么是圖像配準？舉出幾種圖像配準的應用實例。9-2說明互相關系數(shù)相似性度量計算公式中每個量值符號所表示的意義。解釋該測度值等于1時的物理意義。9-3請說明匹配準則和搜索方式影響圖像匹配速度的原因。9-4討論模板匹配。在哪種類型的應用中可以使用模板匹配？模板匹配的主要局限是什么？9-5什么是亞像素級配準？亞像素位移檢測中擬合曲面的駐點及其位置的物理意義是什么?第10章立體視覺10.1坐標系間的變換關系 10.1.1四個基本坐標系 10.1.2四個坐標系間的變換關系10.2攝像機成