圖像配準融合介紹

1、圖像配準操作（Image Registration）是在不同條件下得到的并且位 于不同坐標系下的同一場景（或物體）的二幅或者多幅圖像進行對準疊 加的過程由于成像條件不同，同一場景（物體）的多幅圖像會在分辨率、 成像模式、灰度屬性、位置（平移和旋轉(zhuǎn)卜比例尺度、非線性變形及 曝光時間等方面存在很多差異，圖像配準就是要克服這些困難，最終將 這些圖像在幾何位置上進行配準，以便能夠綜合利用多幅圖像中的信 息滿足一定的應用需求。概括來說，圖像配準問題就是將位于不同坐 標系下同一場景的二幅或多幅圖像，尋找一種特定的最優(yōu)幾何變換，將 兩幅或多幅圖像變換到同一坐標系的過程背景、意義背景圖像配準最早在美國70年代

2、飛行器輔助導航系統(tǒng)、武器投射系 統(tǒng)的末端制導以及尋地等應用研究中提出。經(jīng)過 20年的研究成功地 用于中程導彈及戰(zhàn)斧式巡航導彈上彈著點誤差半徑不超過十幾米。80年代后很多領域都有大量配準技術(shù)的應用，如遙感領域、模式識別、 自動導航、醫(yī)學診斷、計算機視覺等。各個領域的配準技術(shù)都是對各 自具體的應用背景結(jié)合實際情況量身訂制的技術(shù)。但是不同領域的配準技術(shù)之間在理論方法上又具有很大的相似性。目前國內(nèi)外研究圖像配準技術(shù)比較多的應用領域有：紅外圖像處理、遙感圖像處理、數(shù)字地圖定位和醫(yī)學圖像處理等領域。70 年代 PE.Anuta 提出用 FFT （Fast Fourier Transform快速傅里葉 變換

3、）進行圖像配準；D.I.Barnea 和 H.F.Silverman SSDA（SequentialSimilarty Detection Algorithm 序貫相似性檢測算法）進行圖像配準該 算法的優(yōu)點是圖像配準的處理速度相對其它算法來說得到了提高； W.Pratt在數(shù)字圖像處理中詳細闡述了各種用于圖像配準的相似度量 函數(shù)；后來A.Roche等將相關相似度函數(shù)擴展并應用得到多模態(tài)圖像 配準當中（缺陷：不能處理較復雜的多模態(tài)圖像間的配準、利用其計 算的相似性的峰會較平坦、顯著性較低、計算復雜度較高）PE.Anuta等提出了改進的基于邊界信息計算的相關相似度量，有效地提高了該相似度量相對于光照

4、變化的魯棒性；PViola and W.M.Wells III，等在1997較早地將信息論中的交互信息用于圖像的配準操作Thevenaz and Unser等嘗試了各種途徑來解決多種交互信息在圖像配準應用中 遇到的技術(shù)問題口，由此，他們也成功地提出了利用 Parzen窗來計算交 互信息。交互信息能夠有效地實現(xiàn)多模態(tài)圖像間的圖像配準。為了滿足很多具體應用對高精度的需求，最近幾十年內(nèi)己經(jīng)提出 很多能夠達到亞像素精度的圖像配準算法為了實現(xiàn)亞像素圖像配準，插值函數(shù)被廣泛用來克服圖像離散化對圖像配準精度帶來的負面影 響。V N Dvornychenko利用插值函數(shù)對由相似度量函數(shù)計算得到的相 似值組成的

5、曲面實現(xiàn)插值的方法，實現(xiàn)了亞像素的圖像配準精度；J.A.Parker等人利用插值函數(shù)對圖像灰度值進行插值從而實現(xiàn)亞像素 的圖像配準精度的方法，并對各種插值函數(shù)進行了性能的對比。因為 有些插值方法會產(chǎn)生新的灰度值而引起圖像灰度分布發(fā)生變化的缺 點,Maes等人提出了部分體積插值法（Partial Volume Interpolation, PV> PV方法實際上并不直接計算出插值點的灰度值，而是根據(jù)線性插值的 權(quán)重分配原則，將每對像素對聯(lián)合直方圖的貢獻分散到聯(lián)合直方圖上 與之相鄰的各個像素對上，這樣聯(lián)合直方圖上各個像素對的頻度值以 小數(shù)增加，不會出現(xiàn)新的灰度值而破壞目標函數(shù)值分布的光滑性。

6、意義圖像配準的應用前景非常的廣闊。無論在地理遙感領域還是在軍 事、醫(yī)學領域都能看到圖像配準技術(shù)的應用實例。圖像配準作為圖像處理中一個基本問題 ，源自于多個領域中很多 實際問題的不同應用需求，同時它也是眾多圖像分析和處理任務的關 鍵步驟。由于圖像配準在航空影像自動制圖、圖像三維重構(gòu)、計算機 視覺、遙感融合、模式識別、醫(yī)學圖像處理、影像分析等眾多領域內(nèi) 有著廣泛的應用，所以它也是當前科研領域中的重要研究熱點之一。在醫(yī)學圖像處理方面，隨著計算機技術(shù)的不斷發(fā)展，醫(yī)學成像技術(shù)得到了快速的發(fā)展，尖端的新型醫(yī)療影像設備層出不窮，如計算機 X線攝影（CR）數(shù)字X線攝影（DR）直接數(shù)字X線攝影（DDR） X線計

7、 算機斷層攝影（CT）核磁共振成像（MRI）、數(shù)字減影血管造影（DSA）超 聲成像（US> 丫閃爍成像（丫 -scintigraphy）、單光子發(fā)射體層成像（SPECT） 正電子發(fā)射體層成像（PET等等，這些已經(jīng)成為現(xiàn)代醫(yī)學診斷必不可少 的醫(yī)學數(shù)字成像手段、由于這些醫(yī)學數(shù)字成像設備有不同的靈敏度和 分辨率，它們有各自的使用范圍和局限性。多種模式圖像的結(jié)合能充 分利用圖像自身的特點并做到信息互補。根據(jù)醫(yī)學圖像所提供的信息內(nèi)涵，我們可以將這些信息主要分為解剖結(jié)構(gòu)成像和功能成像兩大類。這兩類成像方式同樣各有優(yōu)缺點，解剖成像（CT, MRI, B超等）的優(yōu)點是分辨率高，能夠提供人體內(nèi)臟器 官的解

8、剖形態(tài)信息；功能成像（PET,SPECT）的缺點是成像分辨率較低， 但能夠提供人體內(nèi)器官、大腦的功能代謝信息。即使是像CT MRI、PET的同一種成像方式，得到圖像的信息也不完全相同。CT圖像能夠 清晰的顯示骨骼的結(jié)構(gòu)圖像，MRI適合對軟組織形態(tài)成像，而PET能夠 反映身體器官的新陳代謝狀況。不同成像技術(shù)對人體同一組織得到的 形態(tài)信息和功能信息存在一定差異，但是它們提供的信息又是互相補 充的。為了充分利用這些成像方式提供的信息，臨床醫(yī)生迫切希望能夠?qū)⑼徊∪说牟煌瑘D像信息進行配準、融合 ，將成像結(jié)果綜合起來， 這就需要對不同的圖像進行配準及信息融合技術(shù)。圖像的融合是指將兩幅（或兩幅以上）來自不

9、同成像設備或不同時 刻獲取的己配準圖像，采用某種算法，把各個圖像的優(yōu)點或互補性有機 結(jié)合起來，獲得信息量更為豐富的新圖像的技術(shù)，醫(yī)學圖像的配準和 融合有著密切的關系，特別是對于多模態(tài)圖像而言，配準則是進行圖像 融合的必要條件。配準是融合的前提，也是決定圖像融合技術(shù)發(fā)展的 關鍵技術(shù)，若事先不對待融合圖像進行空間上的配準，那么融合后的圖 像也是毫無意義的。近幾十年以來，圖像配準在醫(yī)學上的應用日益受到醫(yī)學界和工程 界的重視，己在世界范圍廣泛展開，在相關文獻中己經(jīng)提出了很多種醫(yī) 學圖像配準的方法，這些研究成果廣泛地運用到醫(yī)學領域中。圖像配 準在醫(yī)學中的應用領域主要有以下幾方面：1）組織切片圖像的處理與

10、顯微結(jié)構(gòu)三維重建；2）疾病診斷及其發(fā)展和消退的過程檢測；3）神經(jīng)外科手術(shù)可視化！神經(jīng)外科手術(shù)一計劃及術(shù)前評估；4）感覺運動和認知過程的神經(jīng)功能解剖學研究；5）神經(jīng)解剖變異性的形態(tài)測量分析學；6）放射治療和立體定向放射外科治療計劃；總之，開展醫(yī)學圖像配準研究，探索提高配準精度、速度和魯棒 性的理論和關鍵技術(shù)，對于完善配準理論、拓展配準的應用領域等都 具有重要的理論和實踐意義?，F(xiàn)狀、問題點經(jīng)過多年的研究，圖像配準技術(shù)無論在醫(yī)學還是在遙感圖像處理都已經(jīng)取得了很多研究成果，但是由于科技的不斷發(fā)展促使新的應用 不斷涌現(xiàn)、圖像采集設備的復雜多樣性，并且不斷更新?lián)Q代、影響圖 像配準的因素的復雜性多樣性等并且

11、隨著近年來某些具體應用對各 種性能指標要求的不斷提高，圖像配準技術(shù)也必然產(chǎn)生一些新的急需 解決的問題，所以圖像配準的技術(shù)還有待于進一步完善發(fā)展，例如： 提高圖像配準的自動化程度、提高圖像配準的精度、克服圖像離散化 對圖像配準精度帶來的負面影響、 改善圖像配準算法的運算效率、 穩(wěn) 定性、魯棒性和可靠性、提出有效衡量圖像配準結(jié)果好壞的評價標準 等等。主要技術(shù)手段圖像配準方法的關鍵步驟特征值提?。ㄌ卣靼ǎ褐本€的交點、角點、直線、邊界輪廓、 封閉的區(qū)域最具代表性的是 點、曲線、輪廓；特征點又稱圖像配準 基準點）特征值匹配（首先要根據(jù)所選的特征，選取并計算合適的特征描 述子。其次，選取合適的相似度量函

12、數(shù)，以便計算特征之間的匹配程度； 最后，根據(jù)計算出的候選匹配關系找出正確匹配特征對集）集合變換模型的選取及參數(shù)的確定（根據(jù)所得到的特征間的對應 關系，計算出選定的幾何變換模型的參數(shù)。然后再根據(jù)相似度量函數(shù) 優(yōu)化已計算出的幾何變換參數(shù)，以實現(xiàn)圖像的精配準）配準圖像的重新采樣及圖像的匹配（根據(jù)具體應用的需求 ，選取 合適的插值函數(shù)，用已經(jīng)計算出的精確的幾何映射函數(shù) ，將浮動圖像 映射到基準圖像的坐標空間，從而實現(xiàn)圖像的配準操作。）圖像配準方法可分為三類：基于灰度信息法，基于變換域法和基 于特征法。在選取幾何變換模型時必須綜合考慮成像傳感器、成像平臺、成 像條件、拍攝場景等各方面的因素，使選擇的變換

13、模型盡可能真實的 反映參考圖像和待配準圖像之間的幾何變換關系。圖像配準中采用的變換模型主要分為以下兩大類：（1）全局變換模型（Global Transformation）,它將基準圖像和浮動圖 像之間的幾何變換關系用一個函數(shù)來表示。 這樣圖像之間的配準問題便轉(zhuǎn)換為如何優(yōu)化求解所選定的幾何變換模型的參數(shù)值的問題。這種變換模型為現(xiàn)有的大多數(shù)配準方法所采用；(2)局部變換模型(Local Transformation)通常被用在基準圖像和浮 動圖像之間的空間變換關系非常復雜，不能用一個函數(shù)來表示的情況 下,如大尺寸圖像之間的配準。局部變換模型將基準圖像和浮動圖像 不同部分的空間對應關系用不同的函數(shù)表

14、示這種變換模型在現(xiàn)有的 圖像配準方法中應用較少圖像配準中常用的幾何變換模型主要包括：1 .剛體變換(rigid body transformation):剛體變換可分解為平移、旋轉(zhuǎn)以及反轉(zhuǎn)，它變換特性是圖像中的 兩點在變換后歐氏距離保持不變，且兩條直線的平行或垂直關系不變。 在二維空間中，點(x, y)通過剛性變換至點(x', y')的過程可表 木為, 2 .相似變換(Similarity Transformation)(旋轉(zhuǎn) 平移 縮放4自由 度兩點確定)：物體經(jīng)過相似變換后，其形狀保持不變。相似變換能夠?qū)⑾嗷テ?行的直線映射成平行直線，相互垂直的直線映射成為垂直直線。適用

15、于具有相同視角不同拍攝位置的同一傳感器的兩幅圖像。3 .仿射變換(Affine Transformation)(旋轉(zhuǎn) 平移 縮放 剪切變換； 最常用的幾何變換模型 6自由度3點確定)：如果第一幅圖像中的一條直線經(jīng)過變換映射到第二幅圖像上仍 然為直線，并且保持平衡關系，這樣的變換稱為仿射變換。他比剛體 變換多了縮放變換。這種變換將直線依然映射為直線，并保持直線間 的平行關系但不保持直線段長度和他們的角度。在二維空間中，點(x,V)經(jīng)仿射變換到點(x'，y)的變換公式為4 .投影變換(Projective transformation)(它可以折為一系列的基 本變換 包括平移 旋轉(zhuǎn) 縮放

16、剪切8個自由度4點確定)；如果一幅圖像中的一條直線經(jīng)過變換后映射到第二幅圖像上仍 是直線，但平行關系基本不保持，則這樣的變換稱為投影變換，一般 用于成像視點的圖像配準問題中，在二維空間中變換公式為5 .非線性變換(Nonlinear transformation)：如果第一幅圖像中的一條直線經(jīng)過變換后映射到第二幅圖像上不再是直線，則這樣的變換稱為非線性變換，一般用于比較復雜的圖 像畸變中 變換公式為6 .若投影變換(Projective Transformation):它可以折為一系列的基本變換，包括、平移、旋轉(zhuǎn)、縮放、剪切 變換，由3點不共線的四個點唯一確定。它適用于場景或目標離成像 平臺相

17、對于物體的深度來說較遠的兩幅圖像之間的配準。多項式變換(非線性模型，一般將直線映射成曲線實際中多項式變換模型一般均采用二次以下，一次多項式模型就是仿射變換模型基于灰度信息的圖像配準方法此類方法直接利用整幅圖像之間的相似性，以圖像內(nèi)部的信息為 依據(jù)，然后采用搜索方法尋找使相似度量最大或最小值點，確定參考 圖像和浮動圖像之間的變換參數(shù)。 實現(xiàn)簡單，不需要對參考圖像和待 配準圖像進行復雜的預處理，但運算量大，不能直接用于校正圖像的 非線性形變。互相關法(Cross Correlation, C。：互相關法是一種匹配度量， 通過計算模板圖像和搜索窗口之間的互相關值，來確定匹配的程度， 互相關值最大時的

18、搜索窗口位置決定了模板圖像在待匹配圖像中的 位置，通常被用于進行模板匹配和模式識別。(歸一化的交叉相關相似度量函數(shù)(Normalized Cross Correlation NCC)序貫相似性檢測算法(Sequential Similarity Detection Algorithm , SSDA )一種快速的區(qū)域匹配算法，它直接計算一個給定區(qū)域內(nèi)像素誤差 的累積，對于基準圖像R中選定的模板區(qū)域T和浮動圖像S,SSDAt 接用對應的灰度差的絕對值的和來表示它們之間的相似程度。該方法先選擇一個簡單的固定門限，若在某點上計算兩幅圖像殘差和的過程 中，殘差和大于該固定門限，就認為當前點不是匹配點，從

19、而終止當前 的殘差和的計算，轉(zhuǎn)向別的點去計算殘差和，最后認為殘差和增長最慢 的點就是匹配點。它克服了一般模板匹配算法計算量大的缺點。傳統(tǒng)的圖像相關匹配算法精度高，匹配速度較慢，在實際應用中受到限制， 而SSDA算法能很快丟棄不匹配的點，減少花在不匹配點上的計算量， 從而提高匹配速度，且算法比較簡單，易于實現(xiàn)互信息法通過引入信息論中的一個基本概念互信息(Mutual informion ,Ml),研究者構(gòu)建了基于交互信息的相似性度量函數(shù)(MutualInformational)互信息用于描述兩個變量間的統(tǒng)計相關性，即一個變量中包含的另一個變量中的信息的多少，表示兩個隨機變量之間的依賴程度。如果兩

20、幅圖像幾何上對齊的話，它們對應體素所對應的強度 值的互信息最大。由于該方法不需要對兩種成像模式中圖像強度間關 系的性質(zhì)作任何假設，也不需要對圖像作任何分割或任何預處理，所以 被廣泛地用于各種圖像配準算法中。(Studholme在互信息的基礎上 提出了一種更為穩(wěn)定的歸一化交互信息(Normalized Mutual Information,NMI)還有些學者將其它信息與互信息結(jié)合起來，提出了一系列有效的 圖像配準算法，比如Pluim等人提出將互信息和圖像的梯度信息結(jié)合 起來以改善其極值性能；Thevenaz等采用一種多分辨率圖像金字塔方 法以提高最大化交互信息的優(yōu)化速度；Anthony等將互信息

21、和空間信 息結(jié)合起來，提出空間互信息法(spatial mutual information),此方法不 但比互信息對噪聲有更好的魯棒性，而且在多模圖像配準中更可靠Skouson等推導出兩幅圖像交互信息的上界，從而給出了有關互信息 屬性的更深認識，并指出在一些情況下交互信息不一定能夠得到最優(yōu) 化的結(jié)果基于變換域信息的圖像配準方法基于變換域信息的圖像配準方法包括：基于傅立葉、小波變換、 Warsh變換等。其中常用的是基于傅立葉變換圖像配準方法，該方法主 要有以下一些優(yōu)點：圖像的平移、旋轉(zhuǎn)、仿射等變換在傅立葉變換中 都有相應的體現(xiàn)；同時傅立葉變換域的方法還有可能獲得一定程度的 抵抗噪聲的魯棒性。傅

22、氏變換對于圖像配準是非常有用的，但它也有相當?shù)木窒扌?，如傅氏變換方法只能用來配準灰度屬性有線性正相關 的圖像，圖像之間必須是嚴格滿足定義好的變換關系等基于相位相關的圖像配準方法：1975年，相位相關(Phase Correlation)的概念被應用到圖像配準領 域中，很好地解決了僅存在平移的圖像之間的配準。相位相關方法的 主要依據(jù)是傅立葉的位移原理?；谛〔ㄗ儞Q的圖像配準方法：20世紀80年代,自提出小波變換以來，小波變換一度成為圖像處 理領域的研究熱點，于是也發(fā)展了基于小波變換的各種圖像配準算法 文獻中闡述了利用小波分解方法做圖像配準的合理性，結(jié)合小波分解 和相關系數(shù)法，利用子空間搜索和統(tǒng)計

23、特征匹配代替窮盡搜索法，在并 行計算機上實現(xiàn)對遙感圖像的多分辨率配準；文獻首先利用小波分解 得到低頻圖像信息，同時結(jié)合交互信息法得到初始參數(shù)。然后，在下一 層的計算中采用前期的參數(shù)作為初始值，以減少計算負擔，不斷細化,直至產(chǎn)生最優(yōu)配準參數(shù)的集合基于其它變換的圖像配準方法：2006年,G.Lazaridis等提出用wralsh變換進行圖像配準，該方法能 夠?qū)Υ嬖谛D(zhuǎn)和平移的圖像進行配準基于特征的圖像配準方法對于存在較大幾何變形的圖像間的配準，僅僅直接利用灰度信息， 有時不能完成圖像之間的配準。這類圖像間的配準，一般需要經(jīng)過粗 配準和精配準兩個步驟。粗配準過程主要是利用基準圖像與浮動圖像 之間的顯

24、著特征及其對應關系消除圖像間的幾何變形。然后在此基礎上進行精配準，從而精確地估計出圖像之間的幾何變換模型和相應參 變量的值，并最終完成圖像配準操作"基于特征的圖像配準方法，并不 直接對圖像灰度信息進行操作，而是首先從基準圖像和浮動圖像中提 取一些共同特征作為配準基元，然后通過建立配準基元之間的對應關 系估算出基準圖像和與浮動圖像之間幾何變換模型及其參變量值"基于特征圖像配準方法一般包含以下幾步：特征選擇與提?。√卣髌ヅ?！ 幾何變換模型的選取與參變量的估計！圖像重新采樣與變換"其基本過程與其它方法相比，基于特征的方法具有計算復雜度低！魯棒性強! 能夠適用于部分存在復

25、雜幾何變形圖像之間的圖像配準等優(yōu)點"1）計算復雜度低：基于相似度量函數(shù)的圖像配準算法，由于是采用 相似度量函數(shù)，并且是根據(jù)幾何變換模型定義的搜索空間進行搜索，因此其計算復雜度較高"但是基于特征的圖像匹配算法，其匹配的計算量 主要局限于少量所提取的特征集合間的匹配，從而極大地降低了圖像匹配過程的計算量"2）魯棒性強：由于圖像間噪音和圖像的多模態(tài)性的存在，基于灰度 信息的圖像匹配算法，受它們的影響較大，而基準圖像和浮動圖像間的 某些共有特征受圖像的噪音和圖像多模態(tài)性影響較小"因此基于特征的圖像配準算法的穩(wěn)定性能要比基于灰度信息的圖像匹配算法更強"3

26、）適應性強：能夠適用于存在更復雜）1；何變形的圖像之間的配準" 而基于灰度信息的圖像配準方法，當基準圖像和浮動圖像之間存在較 大的幾何變形時，其搜索的幾何變換參數(shù)空間會隨其自由度的增大而 呈指數(shù)級的增加"因此，當基準圖像和浮動圖像間存在復雜幾何變換時 基于灰度信息的圖像配準方法在某些情況下便不能勝任"但是基于特征的方法，從理論上講，只要能夠找到包含有幾何變換信息的特征集間 的對應關系，就能夠配準兩幅圖像，其計算復雜度也不是隨幾何變換模 型自由度成指數(shù)級的增長"所以說，基于特征的算法能夠適用于存在更 復雜幾何變形圖像間的配準操作"亞像素圖像配準算法為了提高圖像配準的精度，宋智禮提出了適用于仿射幾何變換模 型和平面投影變換幾何模型下的基于軌跡擾動現(xiàn)象的相似度量函數(shù)"并提出了基于軌跡擾動現(xiàn)象相似度量函數(shù)在這兩種幾何變換模型下 的計算數(shù)的學模型"經(jīng)實驗證實，該相似度量函數(shù)很大程度地提高了圖 像配準的精度基于灰度插值的亞像素圖像配準方法，這類方法是直接對圖像的 灰度進行插值，方法簡單易懂，易于實現(xiàn)且應用較多；基于相似程度因 子插值的亞像素圖像配準方法，該類方法首先根據(jù)相似度量函數(shù)計算 得到相似程度曲線或曲面，然后利用對曲線或者曲面進行擬合的方法 達到亞像素圖像配準精度 ；基于梯度的亞像素圖像配準方法；基于Newton-