圖像拼接算法

圖像拼接算法第一頁，共十九頁，編輯于2023年，星期二圖像拼接簡介第二頁，共十九頁，編輯于2023年，星期二圖像拼接簡介圖像拼接中的幾個(gè)主要問題：使用圖像數(shù)據(jù)和攝像機(jī)模型對(duì)幾何失真進(jìn)行校正。使用圖像數(shù)據(jù)及攝像機(jī)模型進(jìn)行圖像對(duì)齊。消除拼接圖像中的接縫。第三頁，共十九頁，編輯于2023年，星期二攝像機(jī)運(yùn)動(dòng)模型在拍攝過程中由于攝像機(jī)鏡頭的運(yùn)動(dòng)，使得拍攝到的相鄰兩幅圖像中的景物會(huì)出現(xiàn)幾何形變。通過尋找能夠恰當(dāng)?shù)貙⒁环鶊D像與另一幅圖像對(duì)準(zhǔn)的幾何變換來將兩幅圖像對(duì)齊。這些變換被稱為對(duì)應(yīng)(homography)。換句話說，這些幾何變換是一種映射， 兩幅有重疊區(qū)域的圖像，其中一幅圖像重疊區(qū)域中的一個(gè)點(diǎn)經(jīng)過這種幾何變換將被映射到另外一幅圖像重疊區(qū)域中的某個(gè)點(diǎn)上。這樣這兩個(gè)點(diǎn)形成了對(duì)應(yīng)關(guān)系。在固定位置拍攝的條件下，我們通常使用8-參數(shù)運(yùn)動(dòng)模型以及其簡化形式來概括或計(jì)算這些幾何變換。第四頁，共十九頁，編輯于2023年，星期二攝像機(jī)運(yùn)動(dòng)模型homography第五頁，共十九頁，編輯于2023年，星期二攝像機(jī)的8-參數(shù)運(yùn)動(dòng)模型常見的幾種幾何變換：平移（translation)旋轉(zhuǎn)(rotation)水平切變(horizontalshear)投影(projection)第六頁，共十九頁，編輯于2023年，星期二8-參數(shù)運(yùn)動(dòng)模型假設(shè)和分別是一個(gè)象素點(diǎn)的新舊坐標(biāo)，一個(gè)二維仿射變換可以寫為： 或是

尺度和旋轉(zhuǎn) 垂直切變 水平切變

第七頁，共十九頁，編輯于2023年，星期二8-參數(shù)運(yùn)動(dòng)模型仿射變換在統(tǒng)一坐標(biāo)系下可以用一個(gè)矩陣相乘的形式來表示：

當(dāng)引進(jìn)尺度參數(shù)W后，就得到了8-參數(shù)模型： 第八頁，共十九頁，編輯于2023年，星期二8－參數(shù)運(yùn)動(dòng)模型平移、剛體、仿射以及透視變換對(duì)應(yīng)的變換矩陣M的形式：第九頁，共十九頁，編輯于2023年，星期二圖像對(duì)齊圖像對(duì)齊找出兩幅圖像之間最優(yōu)的空間位置和色彩之間的變換關(guān)系，使一幅圖像中的點(diǎn)最優(yōu)地映射到另一幅圖像中。它是圖像拼接過程中的主要任務(wù)。第十頁，共十九頁，編輯于2023年，星期二圖像對(duì)齊方法所使用的圖像特征特征點(diǎn)頻域灰度值優(yōu)化算法非線性最小二乘傅立葉變換小波變換動(dòng)態(tài)規(guī)劃遺傳算法第十一頁，共十九頁，編輯于2023年，星期二對(duì)齊算法流程投影到統(tǒng)一坐標(biāo)系初始變換矩陣M最終變換矩陣M圖像合成非線性最小二乘法進(jìn)行優(yōu)化第十二頁，共十九頁，編輯于2023年，星期二初始變換矩陣的獲取初始變換矩陣M可以通過提取特征點(diǎn)或者在頻域上計(jì)算兩幅圖像的相位相關(guān)等方法來得到。MATLAB中內(nèi)建有cpselect函數(shù)，該函數(shù)允許用戶在將要拼接的兩幅圖像的重疊區(qū)域中手工選取一定數(shù)量的匹配特征點(diǎn)對(duì)然后自動(dòng)給出兩幅圖像之間的初始變換矩陣。第十三頁，共十九頁，編輯于2023年，星期二優(yōu)化目標(biāo)函數(shù)假設(shè)I‘(x’,y‘)和I(x,y)是兩幅需要對(duì)齊的圖像。這種方法就是要使I(x,y)和I‘(x’,y‘)的重疊區(qū)域中所有相應(yīng)象素i的強(qiáng)度值之差的平方和最小，即：第十四頁，共十九頁，編輯于2023年，星期二L-M非線性最小二乘算法1.對(duì)于未對(duì)齊圖像中（x,y）處的象素點(diǎn)，（a）計(jì)算它在基準(zhǔn)圖像中的位置第十五頁，共十九頁，編輯于2023年，星期二L-M非線性最小二乘算法（cont.）（b）計(jì)算誤差梯度（c）計(jì)算Hessian矩陣A和加權(quán)梯度向量b,其中第十六頁，共十九頁，編輯于2023年，星期二L-M非線性最小二乘算法（cont.）2.求解方程并且更新變換矩陣3.檢查誤差E的變化，如果增大，則適當(dāng)?shù)卦黾应耍匦掠?jì)算一個(gè)△m，然后重復(fù)步驟2；如果減小，則適當(dāng)?shù)販p小λ，重新計(jì)算△m，然后重復(fù)步驟2。4.不斷進(jìn)行迭代計(jì)算直到強(qiáng)度差E低于某一門限或執(zhí)行完一定的次數(shù)為止。第十七頁，共十九頁，編輯于2023年，星期二拼接實(shí)驗(yàn)(1)第十八頁，共十九頁，編輯于2023年，星期二后續(xù)工作改進(jìn)圖像對(duì)齊算