醫(yī)學(xué)圖象配準(zhǔn)

本章研究內(nèi)容圖像配準(zhǔn)的概述圖像配準(zhǔn)與融合的概念圖像基本空間變換：剛體、仿射、透視、非線性配準(zhǔn)類型：同一對象、不同對象；主要配準(zhǔn)方法：點(diǎn)法、曲線法、表面法、矩和主軸法、相關(guān)法、最大互信息法、圖譜法、非線性變換技術(shù)；圖像基本空間變換模型基于基準(zhǔn)點(diǎn)的配準(zhǔn)法倒角匹配圖像配準(zhǔn)法基于最大互信息的多模醫(yī)學(xué)圖像配準(zhǔn)法第1頁/共60頁第一頁，共61頁。一、圖象配準(zhǔn)概述1.兩種模式的醫(yī)學(xué)圖象各有所長：描述生理形態(tài)的解剖成像描述人體功能或代謝的功能成像X-Ray;DSAX-CTMRI;MRAUltrasoundSPECTPETfMRIEEGMRS圖象配準(zhǔn)必要性：基于多種原因，臨床上通常需要對同一個病人進(jìn)行多種模式或同種模式的多次成像。即同時從幾幅圖像獲得信息，進(jìn)行綜合分析。2.對于一個病人群的統(tǒng)計(jì)研究，或?qū)τ谀硞€病人不同時期的評估研究的需要。第2頁/共60頁第二頁，共61頁。圖象的配準(zhǔn)(imageregistration)：

對幾幅不同的圖象作定量分析，首先要將圖象轉(zhuǎn)換到一個公共的坐標(biāo)框架內(nèi)研究，解決圖象的嚴(yán)格對齊問題，這就是圖像配準(zhǔn)。圖象的融合(imagefusion)：

幾幅圖象信息綜合的結(jié)果。圖象配準(zhǔn)與融合的概念:一、圖象配準(zhǔn)概述第3頁/共60頁第三頁，共61頁。1、醫(yī)學(xué)圖象配準(zhǔn)的概念醫(yī)學(xué)圖象配準(zhǔn)：對于一幅醫(yī)學(xué)圖象尋求一種(或—系列)空間變換，使它與另一幅醫(yī)學(xué)圖象上的對應(yīng)點(diǎn)達(dá)到空間上的一致。這種一致是指人體上的同一解剖點(diǎn)在兩張匹配圖象上有相同的空間位置。配準(zhǔn)的結(jié)果應(yīng)使兩幅圖象上所有的解剖點(diǎn)，或至少是所有具有診斷意義的點(diǎn)及手術(shù)感興趣的點(diǎn)都達(dá)到匹配。一、圖象配準(zhǔn)概述第4頁/共60頁第四頁，共61頁。醫(yī)學(xué)圖象配準(zhǔn)示意圖第5頁/共60頁第五頁，共61頁。2、醫(yī)學(xué)圖象基本變換：剛體、仿射、投影、非線性（1）剛體變換(Rigidbodytransformation)（2）仿射變換(Affinetransformation)一、圖象配準(zhǔn)概述第6頁/共60頁第六頁，共61頁。（3）投影變換(Projectivetransformation)（4）非線性變換(Nonlinear

transformation)一、圖象配準(zhǔn)概述2、醫(yī)學(xué)圖象基本變換：剛體、仿射、投影、非線性第7頁/共60頁第七頁，共61頁。剛體變換指物體內(nèi)部任意兩點(diǎn)之間的距離保持不變，可以分解成旋轉(zhuǎn)與平移；仿射變換將直線映射為直線，并保持平行性；投影變換將直線映射為直線，但不再保持平行性質(zhì)；非線性變換將直線映射為曲線；2、醫(yī)學(xué)圖象基本變換：剛體、仿射、投影、非線性一、圖象配準(zhǔn)概述第8頁/共60頁第八頁，共61頁。剛體變換

仿射變換 投影變換

非線性變換全局變換局部變換2、醫(yī)學(xué)圖象基本變換：剛體、仿射、投影、非線性一、圖象配準(zhǔn)概述第9頁/共60頁第九頁，共61頁。常用的空間幾何變換的圖示：第10頁/共60頁第十頁，共61頁。3、圖象配準(zhǔn)類型（1）同一對象(intra—subject)的圖象配準(zhǔn)不同MR加權(quán)像間的配準(zhǔn)圖象序列的配準(zhǔn)fMRI圖象序列的配準(zhǔn)胸、腹部臟器的圖象配準(zhǔn)同一部位，不同時間圖象的配準(zhǔn)單模(monomodality)多模(multimodality)CT和MRI圖象CT(或MRI)與SPECT(或PET)配準(zhǔn)SPECT/ECT與CT/MRI/DSA配準(zhǔn)CT、MRI速度、C-Arm與定位裝置的配準(zhǔn)一、圖象配準(zhǔn)概述第11頁/共60頁第十一頁，共61頁。（2）不同對象間(inter—subject)的圖象配準(zhǔn) 將被試的圖象與典型正常人相同部位的圖象對比，以確定被試者是否正常。如果異常，也許還要與一些疾病的典型圖象對比，確定患者是否屬于同類（3）圖象與圖形（圖譜）配準(zhǔn)或與物理空間的圖象配準(zhǔn)3、圖象配準(zhǔn)類型一、圖象配準(zhǔn)概述第12頁/共60頁第十二頁，共61頁。4、主要配準(zhǔn)方法一、圖象配準(zhǔn)概述點(diǎn)法(PointMethod)－界標(biāo)配對曲線法(CurveMethod)－邊界曲線的匹配表面法(SurfaceMethod)，如“頭帽法”(HeadandHatmethod)矩和主軸法(MomentandPrincipalAxesMethod)

交叉相關(guān)方法(CorrelationMethod)

最大互信息配準(zhǔn)法(MaximizationofMutualInformation)

圖譜法(AtlosMethod)與非線性變換技術(shù)第13頁/共60頁第十三頁，共61頁。主要配準(zhǔn)方法點(diǎn)法（PointMethod）：分為內(nèi)部點(diǎn)法與外部點(diǎn)法。標(biāo)志點(diǎn)一旦確定，圖象配準(zhǔn)問題就歸結(jié)為求解對應(yīng)點(diǎn)集的剛體變換；對準(zhǔn)了這些標(biāo)志點(diǎn)，圖象也就配準(zhǔn)內(nèi)部點(diǎn)：解剖標(biāo)志點(diǎn)；耳蝸尖端拐點(diǎn)處；兩個線性結(jié)構(gòu)的交點(diǎn)；血管的分叉或相交處等；優(yōu)點(diǎn)：對受試者友好；缺點(diǎn)：難以識別，需要一定的經(jīng)驗(yàn)。外部點(diǎn)：在受試著顱骨嵌入的螺釘；在皮膚上作記號；其他在兩幅圖像都可以檢測到的附加標(biāo)記物：如充有硫酸銅的管子、玻璃珠、鉻合金球、明膠球等。優(yōu)點(diǎn)：容易識別；缺點(diǎn)：受試者在掃描裝置內(nèi)要求嚴(yán)格不動；第14頁/共60頁第十四頁，共61頁。主要配準(zhǔn)方法曲線法(CurveMethod)：邊界曲線的匹配用人工方法在兩幅配準(zhǔn)圖象中尋找對應(yīng)的開曲線，再在兩條開曲線局部曲率最佳擬合的線段用相同的采樣率找出一組對應(yīng)點(diǎn)對這組對應(yīng)點(diǎn)使用點(diǎn)法匹配兩幅圖象第15頁/共60頁第十五頁，共61頁。主要配準(zhǔn)方法表面法(SurfaceMethod)：又稱頭帽法

(HeadandHatmethod)“頭帽法”（head-hatmethod）是由Pelizzari和Chen提出的一個典型算法。從一幅圖像輪廓中提取的點(diǎn)集稱作“帽子”（hat），從另一幅圖像輪廓提取的表面模型叫做“頭”（head），用剛體變換將“帽”的點(diǎn)集變換到“頭”上。一般用體積較大的病人圖像，或在圖像體積大小差不多時用分辨率較高的圖像來產(chǎn)生頭表面模型。Powell搜索算法被用來尋求所需的幾何變換，即使帽點(diǎn)和頭表面間的距離平均平方值最小。許多學(xué)者對該算法做了改進(jìn)，例如用多分辨金字塔技術(shù)克服局部極值問題；用距離變換擬合兩幅圖像的邊緣點(diǎn)等等。第16頁/共60頁第十六頁，共61頁。主要配準(zhǔn)方法矩和主軸法(MomentandPrincipalAxesMethod)

根據(jù)力學(xué)中物理質(zhì)量分布的概念：先計(jì)算兩幅圖象象素點(diǎn)的質(zhì)心和主軸；再通過平移和旋轉(zhuǎn)使兩幅圖象的質(zhì)心和主軸對齊，從而達(dá)到配準(zhǔn)。缺點(diǎn)：對數(shù)據(jù)缺失敏感；對神經(jīng)醫(yī)生感興趣的某些病案效果不佳。應(yīng)用：粗配準(zhǔn)；初步對齊；第17頁/共60頁第十七頁，共61頁。主要配準(zhǔn)方法相關(guān)法對圖象序列采用使圖象間相似性最大化的原理進(jìn)行配準(zhǔn)；通過優(yōu)化兩幅圖象間相似性準(zhǔn)則來估計(jì)變換參數(shù)，主要是剛體的平移和旋轉(zhuǎn)；主要限于單模圖象的配準(zhǔn)最大互信息配準(zhǔn)法用互信息作為多模醫(yī)學(xué)圖象配準(zhǔn)的測度，如果兩幅圖象幾何上對齊的話，它們對應(yīng)體素對的強(qiáng)度值的互信息量最大；廣泛應(yīng)用于CT/MR，PET/MR的配準(zhǔn)第18頁/共60頁第十八頁，共61頁。主要配準(zhǔn)方法圖譜法針對不同人腦的解剖結(jié)構(gòu)的大小與形狀方面具有的共性，使我們有可能構(gòu)造一個解剖圖譜；利用腦圖譜進(jìn)行配準(zhǔn)，就可以利用圖譜所包含的先驗(yàn)知識對病人或其他人的圖象進(jìn)行自動識別和正確的分割非線性變換基于物理模型的配準(zhǔn)方法基于空間變換的配準(zhǔn)方法第19頁/共60頁第十九頁，共61頁。二、基本空間變換模型1、剛體變換

醫(yī)學(xué)圖象配準(zhǔn)中常采用剛體變換模型，該模型假定圖象內(nèi)部的距離和角度在配準(zhǔn)過程中保持不變。二維剛體變換三維剛體變換第20頁/共60頁第二十頁，共61頁。1、剛體變換

（1）二維剛體變換三個變換參數(shù)：兩個方向的平移和繞坐標(biāo)原點(diǎn)的旋轉(zhuǎn)沿x軸方向的平移：矩陣形式：其中，P是剛體變換參數(shù)。定義x軸為水平方向軸，正方向：從左到右；第21頁/共60頁第二十一頁，共61頁。1、剛體變換

（1）二維剛體變換三個變換參數(shù)：兩個方向的平移和繞坐標(biāo)原點(diǎn)的旋轉(zhuǎn)沿y軸方向的平移：矩陣形式：其中，q是剛體變換參數(shù)。定義y軸為垂直方向軸，正方向：從下到上；第22頁/共60頁第二十二頁，共61頁。1、剛體變換

（1）二維剛體變換三個變換參數(shù)：兩個方向的平移和繞坐標(biāo)原點(diǎn)的旋轉(zhuǎn)繞坐標(biāo)原點(diǎn)的旋轉(zhuǎn)：矩陣形式：其中，是剛體變換參數(shù)；定義為順時針旋轉(zhuǎn)方向；第23頁/共60頁第二十三頁，共61頁。1、剛體變換

（1）二維剛體變換性質(zhì)1：對于變換矩陣，不同的變換順序，其變換結(jié)果也不同。變換順序1：先x軸后y軸再旋轉(zhuǎn)第24頁/共60頁第二十四頁，共61頁。1、剛體變換

（1）二維剛體變換性質(zhì)1：對于變換矩陣，不同的變換順序，其變換結(jié)果也不同。變換順序2：先旋轉(zhuǎn)后x軸再y軸第25頁/共60頁第二十五頁，共61頁。1、剛體變換

（1）二維剛體變換性質(zhì)2：給定一個變換結(jié)果，可以有多種不同的變換途徑。同一剛體變換結(jié)果實(shí)現(xiàn)的兩種方法：1、先旋轉(zhuǎn)10度，后x軸平移4單位，再y軸平移9單位；2、先x軸平移2.3764單位，后y軸平移9.5579單位，再旋轉(zhuǎn)10度；對于剛體變換無須關(guān)心其實(shí)際的旋轉(zhuǎn)與平移順序。第26頁/共60頁第二十六頁，共61頁。1、剛體變換（1）二維剛體變換性質(zhì)3：給定一個變換任務(wù)，總的變換矩陣唯一確定剛體變換結(jié)果。應(yīng)用逆矩陣運(yùn)算或組合矩陣變換可以很容易地實(shí)現(xiàn)多種形式的圖象配準(zhǔn)例：第一幅圖a1,第二幅圖a2,第三幅圖a3;1、a2=x1*a1;則a1=inv(x1)*a2；2、a2=x1*a1且a3=x2*a2，則a3=x2*x1*a1;3、a2=x1*a1且a3=x*a1，則a3=x*inv(x1)*a2;第27頁/共60頁第二十七頁，共61頁。性質(zhì)1：對于變換矩陣，不同的變換順序，其變換結(jié)果也不同。性質(zhì)2：給定一個變換結(jié)果，可以有多種不同的變換途徑。性質(zhì)3：給定一個變換任務(wù)，總的變換矩陣唯一確定剛體變換結(jié)果。性質(zhì)4：二維剛體變換基本矩陣順序改變后僅涉及平移參數(shù)的改變。1、剛體變換（1）二維剛體變換第28頁/共60頁第二十八頁，共61頁。1、剛體變換（1）二維剛體變換：判據(jù)判斷一個二維變換矩陣是否為剛體變換的依據(jù)：1、變換矩陣的左上角2x2子矩陣具有明顯的對稱性；2、變換矩陣的左上角2x2子矩陣行列式的值為1。第29頁/共60頁第二十九頁，共61頁。1、剛體變換（2）三維剛體變換三維剛體變換涉及到6個變換參數(shù)：沿三個坐標(biāo)軸方向的平移和繞三個坐標(biāo)軸的旋轉(zhuǎn)沿x軸方向的平移：矩陣形式：其中，P是剛體變換參數(shù)。第30頁/共60頁第三十頁，共61頁。1、剛體變換（2）三維剛體變換三維剛體變換涉及到6個變換參數(shù)：沿三個坐標(biāo)軸方向的平移和繞三個坐標(biāo)軸的旋轉(zhuǎn)沿y軸方向的平移：矩陣形式：其中，q是剛體變換參數(shù)。第31頁/共60頁第三十一頁，共61頁。1、剛體變換（2）三維剛體變換三維剛體變換涉及到6個變換參數(shù)：沿三個坐標(biāo)軸方向的平移和繞三個坐標(biāo)軸的旋轉(zhuǎn)沿z軸方向的平移：矩陣形式：其中，r是剛體變換參數(shù)。第32頁/共60頁第三十二頁，共61頁。1、剛體變換（2）三維剛體變換三維剛體變換涉及到6個變換參數(shù)：沿三個坐標(biāo)軸方向的平移和繞三個坐標(biāo)軸的旋轉(zhuǎn)繞x軸的旋轉(zhuǎn)：矩陣形式：第33頁/共60頁第三十三頁，共61頁。1、剛體變換（2）三維剛體變換三維剛體變換涉及到6個變換參數(shù)：沿三個坐標(biāo)軸方向的平移和繞三個坐標(biāo)軸的旋轉(zhuǎn)繞y軸的旋轉(zhuǎn)：矩陣形式：第34頁/共60頁第三十四頁，共61頁。1、剛體變換（2）三維剛體變換三維剛體變換涉及到6個變換參數(shù)：沿三個坐標(biāo)軸方向的平移和繞三個坐標(biāo)軸的旋轉(zhuǎn)繞z軸的旋轉(zhuǎn)：矩陣形式：第35頁/共60頁第三十五頁，共61頁。1、剛體變換（2）三維剛體變換性質(zhì)1：對于變換矩陣，不同的變換順序，其變換結(jié)果也不同。性質(zhì)2：給定一個變換結(jié)果，可以有多種不同的變換途徑。性質(zhì)3：給定一個變換任務(wù)，總的變換矩陣唯一確定剛體變換結(jié)果。性質(zhì)4：二維剛體變換基本矩陣順序改變后僅涉及平移參數(shù)的改變，在三維剛體變換中旋轉(zhuǎn)角度也發(fā)生變化。第36頁/共60頁第三十六頁，共61頁。2、全局尺度變換在三維剛體變換基礎(chǔ)上增加一個新參數(shù)m（尺度變換系數(shù)）以描述不同條件下獲取的圖象縮放倍數(shù)全局尺度變換對三個方向的縮放倍數(shù)相同尺度變換的順序也對變換結(jié)果有影響7個參數(shù)：平移x，y，z；旋轉(zhuǎn)x，y，z；全局尺度參數(shù)m第37頁/共60頁第三十七頁，共61頁。3、九參數(shù)仿射變換9參數(shù)仿射變換對三個方向的縮放倍數(shù)都不同，這意味著待配準(zhǔn)的兩幅圖象存在固有的不對稱性9個參數(shù)：平移x，y，z；旋轉(zhuǎn)x，y，z；第38頁/共60頁第三十八頁，共61頁。4、一般仿射變換對于二維，可以通過奇異值分解將任意仿射變換分解為一個變換序列。該序列包括某個適當(dāng)取向的尺度變換，之后是剛體變換。所以，可以看作是待變換的物體在一個特殊的參考框架里做尺度變換，而參考框架自身做剛體變換；二維仿射變換：6個獨(dú)立參數(shù)第39頁/共60頁第三十九頁，共61頁。4、一般仿射變換三維與二維情況類似，可以看作物體沿參考框架中坐標(biāo)軸的各向異性尺度變換，而該參考框架在三維空間內(nèi)繞原點(diǎn)旋轉(zhuǎn)三維仿射變換：12個獨(dú)立參數(shù)第40頁/共60頁第四十頁，共61頁。5、透視變換（投影變換）線性變換的最一般形式直線經(jīng)變換后仍然為直線，但平行性不再保持第41頁/共60頁第四十一頁，共61頁。6、非線性空間變換非線性空間變換可以用于校正圖象獲取過程中由儀器引起的畸變，也可以用于圖象配準(zhǔn)常用的非線性變換模型有低階多項(xiàng)式變形基于薄板樣條函數(shù)的變換基于B樣條的變換第42頁/共60頁第四十二頁，共61頁。三、基于基準(zhǔn)點(diǎn)的配準(zhǔn)法 基于特征的配準(zhǔn)的思路：先從三維圖象中提取一個表面，然后從該表面上提取基準(zhǔn)線，甚至再從這些基準(zhǔn)線上選取基準(zhǔn)點(diǎn)； 只要能找出表面上的邊緣脊線，脊線上表面上的軌跡，其主曲率在相應(yīng)的主方向達(dá)到局部最大。脊線可通過計(jì)算圖象強(qiáng)度的三階導(dǎo)數(shù)來提取。第43頁/共60頁第四十三頁，共61頁。1、極值線與極值點(diǎn)極值線：定義為極值函數(shù)e的零交叉點(diǎn)的軌跡；極值點(diǎn)：定義為三個隱含表面的交點(diǎn)。這些表面是f=I，e1=0，e2=0。第44頁/共60頁第四十四頁，共61頁。2、極值點(diǎn)的自動提取從三維圖象提取極值點(diǎn)可以首先對圖象中所有體素計(jì)算e1、e2，然后單獨(dú)考慮每個由8個相鄰體素構(gòu)成的小立方體元具體提取極值點(diǎn)的步驟：提取等值表面提取脊線計(jì)算極值點(diǎn)的位置第45頁/共60頁第四十五頁，共61頁。3、極值點(diǎn)的隨機(jī)提取首先選取一些種子單元然后按自動提取的方法依次剔除8個角點(diǎn)f-I值符號相同的單元，同時剔除8個角點(diǎn)e1值符號相同的單元提取脊線和極值點(diǎn)第46頁/共60頁第四十六頁，共61頁。4、基于曲線的剛體配準(zhǔn)通過對兩幅圖象分別提取極值線，再設(shè)法找到兩組極值線之間的關(guān)系，計(jì)算出能使這些匹配線段重疊的最佳剛體變換適合于同一對象不同時間采集的單一模式的圖象配準(zhǔn)第47頁/共60頁第四十七頁，共61頁。4、基于曲線的剛體配準(zhǔn)典型的技術(shù)：幾何散列表與Hough變換結(jié)合具體步驟：建立散列表搜尋配對脊線點(diǎn)Hough變換確定候選變換擬合最佳變換第48頁/共60頁第四十八頁，共61頁。5、基于極值點(diǎn)的剛體配準(zhǔn)僅使用脊線上的極值點(diǎn)來進(jìn)行配準(zhǔn)不足：采集位置不同，某些脊線和極值點(diǎn)在兩幅圖象中可能不是同時存在的噪聲的影響形成虛假的脊線和極值點(diǎn)第49頁/共60頁第四十九頁，共61頁。6、基于基準(zhǔn)點(diǎn)的剛體配準(zhǔn)利用人為地加信號，或識別出圖象中明顯的解剖標(biāo)志點(diǎn)來作為基準(zhǔn)點(diǎn)進(jìn)行配準(zhǔn)特點(diǎn)是僅依靠基準(zhǔn)點(diǎn)的空間坐標(biāo)而無須計(jì)算復(fù)雜的微分幾何特性適合于各種圖象的配準(zhǔn)第50頁/共60頁第五十頁，共61頁。四、倒角匹配圖象配準(zhǔn)法倒角匹配是一種對分割特征進(jìn)行匹配的經(jīng)典圖象配準(zhǔn)方法，其基本思想是將線條圖與圖象匹配；倒角匹配包括幾個內(nèi)容：對圖象進(jìn)行分割距離變換代價函數(shù)優(yōu)化算法第51頁/共60頁第五十一頁，共61頁。五、基于最大互信息的多模圖象配準(zhǔn)法互信息作為一種相似性測度應(yīng)用于圖象配準(zhǔn)，主要是因?yàn)楫?dāng)兩幅圖象空間位置一致時，對應(yīng)象素灰度的互信息最大配準(zhǔn)原理：對于不同的兩幅圖象A和B，需要定義一個相似性測度并尋找一個空間變換關(guān)系，使得經(jīng)過該空間變換后兩幅圖象間的相似性達(dá)到最大。也就是使A中的每一個點(diǎn)在圖象B中都有唯一的點(diǎn)與之對應(yīng)，并且這兩個點(diǎn)對應(yīng)同一個解剖位置第52頁/共60頁第五十二頁，共61頁。關(guān)鍵技術(shù)格點(diǎn)采樣子集從原有數(shù)據(jù)格點(diǎn)中有規(guī)律的每隔幾點(diǎn)選取一點(diǎn)PV插值技術(shù)該算法不通