《工學(xué)電子穩(wěn)像》PPT課件.ppt

1、非線性信號分析課程報(bào)告,基于EIS的運(yùn)動估計(jì)技術(shù),內(nèi)容安排,EIS的介紹 運(yùn)動估計(jì)的基本原理 基于圖像塊的運(yùn)動估計(jì)技術(shù) 基于像素灰度信息的運(yùn)動估計(jì)技術(shù) 結(jié)論,EIS的發(fā)展歷程,EIS（即電子穩(wěn)像）技術(shù)的研究已三十多年歷史，美國、法國、俄羅斯等國家對電子穩(wěn)像技術(shù)應(yīng)用于軍事方面已經(jīng)進(jìn)行了較深入的研究；日本和韓國對家用攝錄機(jī)的穩(wěn)定技術(shù)也進(jìn)行了研究和開發(fā)。,國內(nèi)發(fā)展現(xiàn)狀,國內(nèi)對電子穩(wěn)像技術(shù)的研究依然處于初級階段，目前為止，只有中國科學(xué)院長春光機(jī)所和北京理工大學(xué)等單位在這個(gè)領(lǐng)域有一定的研究，總體來說，電子穩(wěn)像技術(shù)解決復(fù)雜抖動依然不夠成熟。,EIS技術(shù)的基本原理,單純的電子穩(wěn)像技術(shù)是指：從視頻圖像序列的幀

2、間差別中，利用運(yùn)動估計(jì)算法檢測代表攝像機(jī)運(yùn)動的參數(shù)，并判斷該參數(shù)是屬于隨機(jī)抖動還是人為掃描運(yùn)動，且將其區(qū)分獲得抖動參數(shù)，然后通過運(yùn)動補(bǔ)償算法來消除或者減輕攝像機(jī)的隨機(jī)抖動對視頻圖像的干擾，實(shí)現(xiàn)視頻序列的穩(wěn)定。,電子穩(wěn)像系統(tǒng)一般包括三個(gè)主要的功能模塊，即運(yùn)動估計(jì)模塊、運(yùn)動決定模塊和運(yùn)動補(bǔ)償模塊，對應(yīng)的，其關(guān)鍵技術(shù)為：全局運(yùn)動估計(jì)、運(yùn)動矢量濾波和圖像補(bǔ)償校正。,系統(tǒng)框圖如下：,運(yùn)動估計(jì)技術(shù)研究,在視頻序列中，幀與幀之間總是存在差異，引起這種差異的原因很多。由攝像機(jī)位置或參數(shù)的變化引起的整個(gè)圖像的變化，稱之為全局運(yùn)動；由場景中物體運(yùn)動引起的局部圖像變化，稱為局部運(yùn)動。 電子穩(wěn)像的運(yùn)動估計(jì)是指全局運(yùn)動

3、的估計(jì)。,運(yùn)動估計(jì)技術(shù)研究,運(yùn)動估計(jì)由運(yùn)動模型選取和模型參數(shù)估計(jì)兩部分組成。,模型選取,在運(yùn)動估計(jì)的初始階段，首先要根據(jù)系統(tǒng)應(yīng)用環(huán)境、模型的性質(zhì)、適用范圍和參數(shù)的敏感性等因素正確選取攝像機(jī)運(yùn)動模型。一般說來，運(yùn)動模型使用的參數(shù)越多，運(yùn)動估計(jì)越準(zhǔn)確，但計(jì)算復(fù)雜性也越大。,常用模型,1、剛性變換模型 2、相似變換模型,常用模型,3、仿射變換模型 4、透視變換模型,常用運(yùn)動估計(jì)技術(shù)分類,基于圖像塊的方法 基于模板匹配的方法 基于圖像二值位平面信息的方法 基于像素灰度投影的方法 基于圖像特征的方法 基于變換域的方法,基于圖像塊的方法,塊匹配運(yùn)動估計(jì)法是基于塊內(nèi)所有像素運(yùn)動一致性這樣的假設(shè)。 其基本匹配

4、原理如圖：,匹配原理如圖,塊匹配運(yùn)動估計(jì)準(zhǔn)則,塊匹配運(yùn)動估計(jì)算法中常用的匹配準(zhǔn)則有三種，即最小平均絕對差(MAD)、最小均方誤差(MSE)和歸一化互相關(guān)函數(shù)(NCCF)，分別定義如下： 1、最小平均絕對差,塊匹配運(yùn)動估計(jì)準(zhǔn)則,2、最小均方誤差 3、歸一化互相關(guān)函數(shù),在運(yùn)動估計(jì)中，匹配準(zhǔn)則對匹配精度的影響不是很大，由于MAD準(zhǔn)則不需作乘法運(yùn)算，實(shí)現(xiàn)簡單、方便，所以使用最多。在實(shí)際應(yīng)用中，通常使用SAD(SumofAbsolute Difference)來代替MAD，即求絕對誤差和，其定義式如下：,塊匹配運(yùn)動估計(jì)搜索路徑,1、全搜索法（FS） 2、三步法（TSS） 3、菱形法（DS）,全搜索法,全

5、搜索法(Full Search Method，F(xiàn)S)，也稱為窮盡搜索法，是對搜索范圍內(nèi) 所有可能的候選位置計(jì)算SAD(i,j)的值，從中找出最小SAD，其對應(yīng)偏移量即為所求運(yùn)動矢量。,全搜索法圖示,FS算法是最簡單、最原始的搜索算法，由于可靠，且能夠得到全局最優(yōu)的結(jié)果，通常是其它算法性能比較的標(biāo)準(zhǔn)，但它的計(jì)算量的確很大，這就限制了在需要實(shí)時(shí)應(yīng)用的場合，所以有必要進(jìn)一步研究其它快速算法。,三步搜索法,TSS算法的基本思想是采用一種由粗到細(xì)的搜索模式，從原點(diǎn)開始，按一定步長取周圍8個(gè)點(diǎn)構(gòu)成每次搜索的點(diǎn)群，然后進(jìn)行匹配計(jì)算，跟蹤最小塊誤差（MBD）點(diǎn)。,三步搜索法圖示,TSS算法搜索時(shí)，整個(gè)過程采用

6、了統(tǒng)一的搜索模板，使得第一步的步長過大，容易引起誤導(dǎo)，從而對小運(yùn)動效率較低。當(dāng)搜索范圍大于7時(shí)，僅用3步是不夠的?？傮w說來，三步法是一種較典型的快速搜索算法，所以被研究的較多，后來又相繼有許多改進(jìn)的新三步法出現(xiàn)，改進(jìn)了它對小運(yùn)動的估計(jì)性能。,菱形搜索法,DS算法采用了兩種控制模扳，分別是有9個(gè)檢測點(diǎn)的大模板 (LargeDiamond Search Pattern) LDSP和有5個(gè)檢測點(diǎn)的小模板 (Small Diamond SearchPattern) SDSP，如圖所示。,搜索時(shí)先用大模板計(jì)算，當(dāng)最小塊誤差MBD點(diǎn)出現(xiàn)在中心點(diǎn)處時(shí)，將大模板LDSP換為SDSP，再進(jìn)行匹配計(jì)算，這時(shí)5個(gè)點(diǎn)

7、中的MBD即為最優(yōu)匹配點(diǎn)。,DS算法搜索圖示,DS算法的特點(diǎn)在于它分析了視頻圖像中運(yùn)動矢量的基本規(guī)律，選用了大小兩種形狀的搜索模板LDSP和SDSP。先用LDSP搜索，由于步長大，搜索范圍廣，可以進(jìn)行粗定位，使搜索過程不會陷于局部最??；當(dāng)粗定位結(jié)束后，可以認(rèn)為最優(yōu)點(diǎn)就在LDSP周圍8個(gè)點(diǎn)所圍的菱形區(qū)域中，這時(shí)再用SDSP來準(zhǔn)確定位，使搜索不致于有大的起伏，所以它的性能優(yōu)于其它算法。另外，DS搜索時(shí)各步驟之間有很強(qiáng)的相關(guān)性，模板移動時(shí)只需在幾個(gè)新的檢測點(diǎn)處進(jìn)行匹配計(jì)算，所以也提高了搜索速度。,塊匹配運(yùn)動估計(jì)算法分析,塊匹配運(yùn)動估計(jì)算法已經(jīng)發(fā)展比較成熟，并且具有實(shí)際應(yīng)用價(jià)值，在穩(wěn)像處理應(yīng)用時(shí)需要考

8、慮如下幾個(gè)主要問題。 1、塊大小和位置的選擇 2、匹配準(zhǔn)則 3、搜索策略 4、估計(jì)精度 5、塊內(nèi)運(yùn)動的不一致性,基于像素灰度投影的方法,灰度投影算法的原理是基于行列灰度曲線的變化規(guī)律進(jìn)行的運(yùn)動估計(jì)。,基于像素灰度投影的方法,1、將灰度圖像的二維圖像信息映射成兩個(gè)獨(dú)立的一維波形，即獲取圖像的行列灰度投影曲線圖像，它反映了圖像灰度變化的特點(diǎn)。 其投影方法用公式可以表示如下：,基于像素灰度投影的方法,2、投影曲線的互相關(guān)計(jì)算 利用上式獲取圖像的行列灰度投影曲線，進(jìn)行相關(guān)運(yùn)算，找到相關(guān)值曲線中的單峰值即為當(dāng)前圖像相對于參考圖像的位移值。,示意圖,算法分析,由于灰度投影算法利用了圖像的整體灰度信息，且只對兩個(gè)1維向量作相關(guān)運(yùn)算，故對圖像的整體灰度變化、像面曝光度及噪聲均較不敏感，運(yùn)動矢量估計(jì)精度高、運(yùn)算量較小，適合實(shí)時(shí)運(yùn)動矢量檢測。,算法分析,灰度投影算法的應(yīng)用需要一定的條件： 首先是圖像的灰度變化應(yīng)較豐富，圖像有一定的對比度，否則，灰度投影曲線變化不明顯，難以精確地求出運(yùn)動矢量。 其次，成像環(huán)境復(fù)雜，存在小運(yùn)動物體，這些因素都會影響投影法的精度。