醫(yī)學(xué)圖像處理專題討論醫(yī)學(xué)圖像配準(zhǔn)MedicalImageRegistration

一、配準(zhǔn)的基本概念二、配準(zhǔn)的臨床應(yīng)用三、配準(zhǔn)的核心框架四、醫(yī)學(xué)圖像配準(zhǔn)的分類五、關(guān)鍵技術(shù)討論內(nèi)容提要第一頁，共75頁。一、配準(zhǔn)的基本概念

醫(yī)學(xué)圖像配準(zhǔn)是指對于一幅醫(yī)學(xué)圖像尋求一種或者一系列的空間變換，使它與另一幅醫(yī)學(xué)圖像上的對應(yīng)點(diǎn)達(dá)到空間上的一致。一致是指人體上的同一解剖點(diǎn)或者至少是所有具有診斷意義的點(diǎn)及手術(shù)感興趣的點(diǎn)都達(dá)到匹配。保持不動的圖像叫參考圖像；做變換的圖像稱作浮動圖像。第二頁，共75頁。一、Basicconceptionofregistration

Imageregistration,alsocalledimagematchingoralignment,isaprocesstoregisteroneimagetoothers,sothatthetransformationmatrixbetweentwoofthemaredeterminedsothattheyarecorrespondingeachotherinspace.

Imageregistrationistheprocessofestimatinganoptimaltransformationbetweentwoimages.第三頁，共75頁。一、配準(zhǔn)的基本概念q=T(p)R：參考圖像，F(xiàn)：浮動圖像，T:變換

T’=argmaxS(R,T(F))T第四頁，共75頁。一、配準(zhǔn)的基本概念第二幅圖像中少了一部分，原因可能是：成像設(shè)備，成像模式差別病變組織發(fā)生變化（如術(shù)前，術(shù)后）不同對象的成像第五頁，共75頁。一、配準(zhǔn)的基本概念四種基本的變換剛體變換仿射變換投影變換彎曲變換第六頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用兩個時期的同種類圖像比較病灶生長情況；治療效果分析；動——靜對比收縮——舒張對比發(fā)作——間歇對比對某一病人第七頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用數(shù)字減影血管造影Digitalsubtractionangiography，DSA

1977年．Nudelman成功地獲得了第一張DSA影像<<腦血管疾病--MR.CT.DSA.與臨床>>

第八頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用LiQiang,etc,Improvedcontralateralsubtractionimagesbyuseofelasticmatchingtechnique,Med.Phys.27.8.,August2000(a)箭頭所指為節(jié)結(jié)第九頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用于勁：基于特征的肝臟病理切片顯微圖像拼接（碩士論文）第十頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用多模態(tài)圖像融合疾病診斷放射治療計劃外科手術(shù)導(dǎo)航系統(tǒng)對某一病人圖像與物理世界配準(zhǔn)第十一頁，共75頁。2005年，北美核醫(yī)學(xué)年會的最佳圖像獎：三維立體圖像融合圖像

二、配準(zhǔn)的臨床應(yīng)用第十二頁，共75頁。PET顯示食道癌

二、配準(zhǔn)的臨床應(yīng)用第十三頁，共75頁。羅述謙，醫(yī)學(xué)圖像處理與分析二、配準(zhǔn)的臨床應(yīng)用第十四頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用圖像與圖譜的比較不同人被試圖像與典型正常人相同部位的圖像比較：——確定是否正常被試圖像與一些疾病的典型圖像對比：——確定患者是否同類Talairach腦圖譜Ono腦溝回圖譜哈佛全腦圖譜第十五頁，共75頁。二、配準(zhǔn)的臨床應(yīng)用三維重建虛擬數(shù)字人第十六頁，共75頁。三、配準(zhǔn)的核心框架變換：Transform度量：Metric優(yōu)化:Optimizer插值：InterpolatorRegistrationistreatedasanoptimizationproblemwiththegoaloffindingthespatialmappingthatwillbringthemovingimageintoalignmentwiththefixedimage.第十七頁，共75頁。三、配準(zhǔn)的核心框架3.1變換剛性變換仿射變換透視或投影變換非線性變換（彎曲變換）

第十八頁，共75頁。三、配準(zhǔn)的核心框架3.2插值插值的原因：分辨率不同

圖像變換引起的像素點(diǎn)不對應(yīng)第十九頁，共75頁。三、配準(zhǔn)的核心框架3.2插值插值方法：最近鄰插值線性插值B樣條插值WindowedSinc插值

第二十頁，共75頁。三、配準(zhǔn)的核心框架3.3配準(zhǔn)程度的度量可能是配準(zhǔn)框架中最關(guān)鍵的部分選擇度量方法與要解決的配準(zhǔn)問題有關(guān)第二十一頁，共75頁。?Meansquares?Normalizedcorrelation?Meanreciprocalsquareddifference?MutualinformationbyViolaandWells?MutualinformationbyMattes?KullbackLieblerdistancemetric?Normalizedmutualinformation?Meansquareshistogram?Correlationcoefficienthistogram?CardinalityMatchmetric?KappaStatisticsmetric?GradientDifferencemetric三、配準(zhǔn)的核心框架3.3配準(zhǔn)程度的度量第二十二頁，共75頁。三、配準(zhǔn)的核心框架3.4優(yōu)化?Amoeba:Nelder-Meadedownhillsimplex.

?ConjugateGradient:Fletcher-Reevesformoftheconjugategradientwithorwithoutpreconditioning.?GradientDescent:Advancesparametersinthedirectionofthegradientwherethestepsizeisgovernedbyalearningrate。第二十三頁，共75頁。三、配準(zhǔn)的核心框架3.4優(yōu)化?Powell法下山單純形法Arent法Levenberg-Marquadrt法Newton-Raphson迭代法隨機(jī)搜索法梯度下降法遺傳算法模擬退火法幾何hash法半窮盡搜索法第二十四頁，共75頁。四、醫(yī)學(xué)圖像配準(zhǔn)的分類4.1分類的依據(jù)圖像的主體圖像的模態(tài)圖像的客體(人體的部位)圖像空間的維數(shù)配準(zhǔn)所基于的圖像信息變換的模型變換參數(shù)的確定方式配準(zhǔn)方法的交互性第二十五頁，共75頁。四、醫(yī)學(xué)圖像配準(zhǔn)的分類4.2圖像的主體（Subject）IntraSubjectInterSubjectAtlas4.3圖像的模態(tài)(Modalities)MonomodalMultimodalModalitytomodalPatienttomodality第二十六頁，共75頁。4.3圖像的模態(tài)描述生理形態(tài)的解剖成像模式：X光、CT(ComputedTomography)MRI(MagneticResonanceImaging)US(UltraSound)MRA(MagneticResonanceAngiography)DSA(DigitalSubtractionAngiography)光纖內(nèi)窺鏡四、醫(yī)學(xué)圖像配準(zhǔn)的分類第二十七頁，共75頁。描述人體功能或代謝功能的成像模式：SPECT(SinglePhotonEmissionComputedTomography，單光子發(fā)射斷層掃描)PET(PositronEmissionTomography，正電子發(fā)射斷層掃描)fMRI(functionalMRI，功能磁共振成像)EEG(Electro-EncephaloGraphy,腦電圖)MEG(Magneto-EncephaloGraphy，腦磁圖)光子內(nèi)源成像四、醫(yī)學(xué)圖像配準(zhǔn)的分類4.3圖像的模態(tài)第二十八頁，共75頁。4.5圖像的維度

二維，三維，時間維4.4圖像的客體（Object）Head(Brainorskull,Eye,Dental)Thorax(Entire,Caridac,Breast)Abdomen(General,Kidney,Liver)Limbs(General,Femur,Humerus,Hand)SpineandvertebratePelvisandperineum四、醫(yī)學(xué)圖像配準(zhǔn)的分類第二十九頁，共75頁。無需圖像信息

4.6配準(zhǔn)中使用的信息特征點(diǎn)侵入性的非侵入性的內(nèi)部標(biāo)志點(diǎn)四、醫(yī)學(xué)圖像配準(zhǔn)的分類像素或體素特征曲線或曲面外部標(biāo)志點(diǎn)特征空間第三十頁，共75頁。蔣大介，實用神經(jīng)外科手術(shù)學(xué)，第四章，定向手術(shù)

華工超星圖書，以“神經(jīng)外科”搜索，72本書

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)立體框架第三十一頁，共75頁。陳炳桓，《立體定向放射神經(jīng)外科學(xué)》，r刀

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)第三十二頁，共75頁。Brown–Roberts–Wells(BRW)框架Cosman-Roberts-Wells(CRW)框架Gill-Thomas-Cosman（GTC）框架該類框架主要用于神經(jīng)外科手術(shù)的定位和導(dǎo)航以及放射治療隨著計算機(jī)技術(shù)的快速發(fā)展，無框架立體定向在圖像引導(dǎo)的顱內(nèi)手術(shù)中使用得更加廣泛

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)第三十三頁，共75頁。韓錦華等，影像導(dǎo)航中的配準(zhǔn)問題，國外醫(yī)學(xué)耳鼻喉科學(xué)分冊，2004.3

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)外部標(biāo)記物第三十四頁，共75頁。MatthewY.Wang,AnAutomaticTechniqueforFindingandLocalizingExternallyAttachedMarkersinCTandMRVolumeImagesoftheHead,IEEEtransactionsonBiomedicalEngineering.Vol.43,No.6,1996

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)外部標(biāo)記點(diǎn)第三十五頁，共75頁。周振環(huán)等，醫(yī)學(xué)圖像標(biāo)志點(diǎn)的自動配準(zhǔn),中國生物醫(yī)學(xué)工程學(xué)報，2003,No.5

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)外部標(biāo)記點(diǎn)第三十六頁，共75頁。

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)外部標(biāo)志點(diǎn)它與圖像本身無關(guān)。選用外部標(biāo)志點(diǎn)的好處是簡單快速，不需要復(fù)雜的優(yōu)化算法，而且精度較高。只要圖像中標(biāo)志點(diǎn)能夠被檢測出來，任何模態(tài)的圖像都能進(jìn)行配準(zhǔn)。確定外部標(biāo)志點(diǎn)的位置要比確定內(nèi)部標(biāo)志點(diǎn)的位置容易得多，圖像空間和物體空間的配準(zhǔn)也很難用內(nèi)部標(biāo)志點(diǎn)來實現(xiàn)。第三十七頁，共75頁。

4.6配準(zhǔn)中使用的信息——外部標(biāo)志點(diǎn)外部標(biāo)志點(diǎn)會給病人帶來很大不適；注入病人體內(nèi)的外來元素往往對人體有些損害；完全無損的又很難達(dá)到滿意的精度；這種方法不包括病人本身的相關(guān)圖像信息，因而它的變換方式只限于剛性變換。第三十八頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)內(nèi)部標(biāo)志點(diǎn)解剖標(biāo)志點(diǎn)(AnatomicLandmarks)幾何極值點(diǎn)

線的交點(diǎn)臍點(diǎn)(umbilicpoint)脊點(diǎn)灰度的極值點(diǎn)輪廓上曲率的極值點(diǎn)兩個線形結(jié)構(gòu)的交點(diǎn)某一封閉區(qū)域的質(zhì)心形狀特征點(diǎn)第三十九頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)IgorD.Grachev,etc,AMethodforAssessingtheAccuracyofIntersubjectRegistrationoftheHumanBrainUsingAnatomicLandmarks，NeuroImage9,250–268(1999)解剖標(biāo)志點(diǎn)第四十頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)解剖標(biāo)志點(diǎn)第四十一頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)Detectedpointlandmarksina2DsagittalMRimageofahumanbrainKarlRohr，On3Ddifferentialoperatorsfordetectingpointlandmarks，ImageandVisionComputing15(1997)219-233角點(diǎn)第四十二頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)周永新，羅述謙，基于形狀特征點(diǎn)最大互信息的醫(yī)學(xué)圖像配準(zhǔn)，計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，Vol.14,No.7，2002形狀特征點(diǎn)第四十三頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)兩幅圖像中選取出的控制點(diǎn)應(yīng)當(dāng)具有唯一性。對于圖像的局部失真有較好的魯棒性。由于變換的確定依賴于這些控制點(diǎn)，因而控制點(diǎn)的數(shù)量不能太少；同時若控制點(diǎn)的數(shù)量太多，匹配又會比較困難。所以控制點(diǎn)的數(shù)量選擇是一個很重要的問題，它將影響到配準(zhǔn)的質(zhì)量與效率。內(nèi)部控制點(diǎn)的選取原則第四十四頁，共75頁。

4.6配準(zhǔn)中使用的信息——內(nèi)部標(biāo)志點(diǎn)選取內(nèi)部控制點(diǎn)的好處是很靈活，從理論上說適用于任何模態(tài)的圖像，而且對病人完全友好?？刂泣c(diǎn)一般用來確定剛性變換或仿射變換，如果控制點(diǎn)數(shù)量足夠多，也可用來確定其他一些更復(fù)雜的變換。這種方法的一個缺點(diǎn)是控制點(diǎn)的確定往往需要人工干預(yù)，很難實現(xiàn)完全自動。內(nèi)部控制點(diǎn)的優(yōu)缺點(diǎn)第四十五頁，共75頁。

4.6配準(zhǔn)中使用的信息——表面先進(jìn)行圖像分割，提取輪廓曲線、物體表面等內(nèi)部特征。圖像配準(zhǔn)簡化為曲線或曲面匹配。變換的形式既可以是剛體變換，也可以是形變變換最大缺點(diǎn)是配準(zhǔn)精度受限于分割步驟的精度，除了分割階段，整個算法可以做到全自動化，分割階段經(jīng)常也是半自動實現(xiàn)的。第四十六頁，共75頁。

4.6配準(zhǔn)中使用的信息——表面閾值分割邊緣檢測區(qū)域增長聚類分割輪廓表面的提取方法邊界跟蹤曲面擬合第四十七頁，共75頁。剛體變換仿射變換投影變換4.7圖像變換方法非線性變換四、醫(yī)學(xué)圖像配準(zhǔn)的分類第四十八頁，共75頁。交互的半自動化自動化參數(shù)計算參數(shù)搜索4.9優(yōu)化過程4.8求解過程的交互性四、醫(yī)學(xué)圖像配準(zhǔn)的分類第四十九頁，共75頁。5.1圖像的基本變換對于在不同時間或/和不同條件下獲取的兩幅圖像I1(x1,y1,z1)和I2(x2,y2,z2)配準(zhǔn)，就是尋找一個映射關(guān)系P：(x1,y1,z1)→I2(x2,y2,z2)，使I1的每一個點(diǎn)在I2上都有唯一的點(diǎn)與之對應(yīng)，并且這兩點(diǎn)對應(yīng)同一解剖位置。映射關(guān)系P表現(xiàn)為一組連續(xù)的空間變換。五、配準(zhǔn)的關(guān)鍵技術(shù)第五十頁，共75頁。5.1.1剛體變換RigidBodyTransformation剛體：指物體內(nèi)部任意兩點(diǎn)間的距離保持不變。剛體變換：旋轉(zhuǎn)、平移二維：沿x軸平移:x’=x+p,y’=y沿y軸平移:x’=x,y’=y+q繞坐標(biāo)原點(diǎn)旋轉(zhuǎn):x’=xcosθ+ysinθy’=-xsinθ+ycosθxyθ為順時針旋轉(zhuǎn)的角度用矩陣的形式表達(dá)？5.1圖像的基本變換第五十一頁，共75頁。5.1.1剛體變換RigidBodyTransformation5.1圖像的基本變換繞坐標(biāo)原點(diǎn)順時針旋轉(zhuǎn)θ沿x軸平移p沿y軸平移q第五十二頁，共75頁。5.1.1剛體變換RigidBodyTransformation5.1圖像的基本變換對一個點(diǎn)先沿x軸平移p,再沿y軸平移q,最后繞原點(diǎn)順時針旋轉(zhuǎn)θ第五十三頁，共75頁。5.1.1剛體變換RigidBodyTransformation5.1圖像的基本變換對一個點(diǎn)先繞原點(diǎn)順時針旋轉(zhuǎn)θ,再沿x軸平移p,最后沿y軸平移q第五十四頁，共75頁。5.1.1剛體變換RigidBodyTransformation5.1圖像的基本變換對于相同的變換參數(shù)p、q、θ,由于變換過程不同，變換的結(jié)果也不同。對于給定的變換結(jié)果，可以有不同的變換途徑。使用矩陣表示，無需關(guān)心旋轉(zhuǎn)與平移的順序。應(yīng)用逆矩陣運(yùn)算或組合矩陣變換易于實現(xiàn)多種形式的圖像配準(zhǔn)。結(jié)論：第五十五頁，共75頁。5.1.1剛體變換RigidBodyTransformation5.1圖像的基本變換如何判定一個給定的矩陣是否為剛體變換矩陣？問題：第五十六頁，共75頁。5.1.1剛體變換三維：（6個參數(shù)）沿x軸平移p沿y軸平移q沿z軸平移r繞x軸旋轉(zhuǎn)θ

繞y軸旋轉(zhuǎn)ω

繞z軸旋轉(zhuǎn)Φ

只考慮旋轉(zhuǎn)，有六種不同的組合:結(jié)合先旋轉(zhuǎn)、后平移，及先平移后旋轉(zhuǎn)，有12種組合。5.1圖像的基本變換第五十七頁，共75頁。5.1.1剛體變換剛體變換矩陣的特性：P(u)=Au+BU=(x,y,z)是像素的空間位置；A是旋轉(zhuǎn)變換矩陣B是平移向量矩陣A滿足條件：ATA=IAT是矩陣A的轉(zhuǎn)值，I是單位矩陣。5.1圖像的基本變換第五十八頁，共75頁。5.1.2仿射變換將直線映射成直線，并保持平行性。具體表現(xiàn)：各個方向尺度變換系數(shù)一致的均勻尺度變換；變換系數(shù)不一致的非均勻尺度變換；

剪切變換。AffineTransformation應(yīng)用：校正由物體與光學(xué)儀器間的距離引發(fā)的尺度變化；校正由CT臺架傾斜引起的剪切；校正MR梯度線圈不完善產(chǎn)生的畸變。5.1圖像的基本變換第五十九頁，共75頁。5.1.2仿射變換三維：（9參數(shù)）沿x軸平移p沿y軸平移q沿z軸平移r繞x軸旋轉(zhuǎn)θ

繞y軸旋轉(zhuǎn)ω

繞z軸旋轉(zhuǎn)Φ

x軸向的尺度mxy軸向的尺度myz軸向的尺度mz5.1圖像的基本變換第六十頁，共75頁。5.1.2仿射變換更一般的仿射變換，二維有6個獨(dú)立參數(shù)，三維有12個獨(dú)立參數(shù)。x’y’z’1e11e12e13e14e21e22e23e24e31e32e33e340001xyz1=對于eij，無小于1的約束。5.1圖像的基本變換第六十一頁，共75頁。5.1.2仿射變換5.1圖像的基本變換幾種基本的二維仿射變換變換矩陣的矩陣對數(shù)的對角元素對稱時，產(chǎn)生全局尺度變換（6）；不對稱時，產(chǎn)生相應(yīng)軸的縮放尺度變換（5，7）。非對角元素對稱，相當(dāng)整體旋轉(zhuǎn)(2)，不對稱，產(chǎn)生沿某個軸的剪切(1,3)1234567第六十二頁，共75頁。5.1.3透視或投影變換特性：直線經(jīng)變換后，仍然是直線，但是平行的直線經(jīng)變換后卻可能相交。應(yīng)用：(1)點(diǎn)源與物體作用，在一個平面上產(chǎn)生投影圖像的放射成像。(2)對于照片，采集光線全部通過透鏡的焦點(diǎn)。對于斷層成像數(shù)據(jù)處理一般不用透視變換。PerspectiveorProjectiveTransformation5.1圖像的基本變換第六十三頁，共75頁。5.1.3透視或投影變換x’y’1e11e12pe21e22qfg1xy1=二維情況下的變換矩陣：x’=(e11*x+e12*y+p)/(f*x+g*y+1)5.1圖像的基本變換第六十四頁，共75頁。5.1.4非線性變換NonlinearTransformation又稱：彎曲變換，curvedtransformation特性：將直線變成曲線。變換方法：多項式函數(shù)（二次、三次、薄板樣條函數(shù)）指數(shù)函數(shù)應(yīng)用：多用于使解剖圖譜變形來擬合圖像數(shù)據(jù)；對有全局性形變的胸、腹部臟器圖像的配準(zhǔn)。5.1圖像的基本變換第六十五頁，共75頁。5.1.4非線性變換二階多項式變形模型：x’=e00+e01x+e02y+e03z+e04x2+e05xy+e06xz+e07y2+e08yz+e09z2y’=e10+e11x+e12y+e13z+e14x2+e15xy+e16xz+e17y2+e18yz+e19z2z’=e20+e21x+e22y+e23z+e24x2+e25xy+e26xz+e27y2+e28yz+e29z2薄板樣條函數(shù)變換：仿射變換與徑向基函數(shù)的線性組合。

nf(X)=AX+B+ΣWiU(|Pi-X|)

i=1基于B樣條的變換5.1圖像的基本變換參見《數(shù)值分析》，有關(guān)樣條插值第六十六頁，共75頁。5.1.5基本變換的可視化5.1圖像的基本變換平移旋轉(zhuǎn)第六十七頁，共75頁。5.1.5基本變換的可視化5.1圖像的基本變換第六十八頁，共75頁。5.1.5基本變換的可視化5.