第五章序列圖像編碼及運動估計

1、第五章第五章 序列圖像編碼及運動估計序列圖像編碼及運動估計中國礦業(yè)大學中國礦業(yè)大學信電學院信電學院l 5.1 概述概述l 5.2 視頻信號的數(shù)字化視頻信號的數(shù)字化l 5.3 二維運動估計二維運動估計l 5.4 采用時間預測和變換編碼的視采用時間預測和變換編碼的視 頻編碼頻編碼 5.1 概述概述 概念：概念：活動圖像信號，也稱為數(shù)字序列圖像或連活動圖像信號，也稱為數(shù)字序列圖像或連續(xù)幀圖像，指續(xù)幀圖像，指由多幅尺寸相同的靜止圖像組成的圖由多幅尺寸相同的靜止圖像組成的圖像序列像序列。例如數(shù)字化后的電視或視頻信號。例如數(shù)字化后的電視或視頻信號。 其中的每幅靜止圖像稱為一個幀。其中的每幅靜止圖像稱為一個

2、幀。 活動圖像活動圖像與靜止圖像相比，可以認為多了一個與靜止圖像相比，可以認為多了一個時間軸，成為三維信號，因此時間軸，成為三維信號，因此活動圖像活動圖像也被稱為也被稱為三三維圖像。維圖像?；顒訄D像都是一幀一幀地傳輸，看作一個沿時間軸活動圖像都是一幀一幀地傳輸，看作一個沿時間軸分布的圖像序列，統(tǒng)稱為序列圖像。分布的圖像序列，統(tǒng)稱為序列圖像。這里主要討論序列圖像中的視頻圖像的壓縮編碼這里主要討論序列圖像中的視頻圖像的壓縮編碼視頻圖像壓縮編碼分類：視頻圖像壓縮編碼分類： 幀內(nèi)編碼幀內(nèi)編碼：也稱為空間壓縮。利用每幅：也稱為空間壓縮。利用每幅( (單幀單幀) )圖像內(nèi)部的相關性進行幀內(nèi)壓縮編碼。當壓縮

3、一圖像內(nèi)部的相關性進行幀內(nèi)壓縮編碼。當壓縮一幀圖像時，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之幀圖像時，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息。幀內(nèi)一般采用有損壓縮算法。間的冗余信息。幀內(nèi)一般采用有損壓縮算法。壓壓縮后的視頻數(shù)據(jù)仍可以以幀為單位進行編輯。幀縮后的視頻數(shù)據(jù)仍可以以幀為單位進行編輯。幀內(nèi)壓縮一般達不到很高的壓縮。內(nèi)壓縮一般達不到很高的壓縮。 幀間編碼幀間編碼：也稱為時間壓縮。利用時間軸上相：也稱為時間壓縮。利用時間軸上相鄰幀之間的相關性鄰幀之間的相關性( (前后兩幀信息變化很小前后兩幀信息變化很小) )進行進行幀間壓縮編碼。幀間壓縮一般是無損的。幀間壓縮編碼。幀間壓縮一般是無損的。

4、混合編碼混合編碼：為不同的編碼方法組合在一起相結(jié)：為不同的編碼方法組合在一起相結(jié)合的編碼方法。如變換編碼和幀間預測編碼。合的編碼方法。如變換編碼和幀間預測編碼。視頻圖像編碼要求：視頻圖像編碼要求： 實時性實時性：圖像傳輸系統(tǒng)必須能實時地對活動電視：圖像傳輸系統(tǒng)必須能實時地對活動電視 圖像進行編碼傳輸。圖像進行編碼傳輸。 高效性高效性：必須能使數(shù)字視頻信號以一定目標碼率：必須能使數(shù)字視頻信號以一定目標碼率 傳輸。如視頻信號傳輸。如視頻信號8bit/像素，數(shù)碼率高像素，數(shù)碼率高 達達216Mbit/s。視頻圖像編碼目的：視頻圖像編碼目的：在保證一定重建質(zhì)量前提下，以盡量少數(shù)據(jù)量來在保證一定重建質(zhì)量

5、前提下，以盡量少數(shù)據(jù)量來表征視頻信息，以減少視頻序列的碼率，便于能表征視頻信息，以減少視頻序列的碼率，便于能夠在給定的通信信道上實時傳輸視頻信號。夠在給定的通信信道上實時傳輸視頻信號。5.2 視頻信號的數(shù)字化視頻信號的數(shù)字化 5.2.1 電視制式電視制式 幀：一段視頻中的每一幅圖像稱為一幀。幀：一段視頻中的每一幅圖像稱為一幀。 根據(jù)視覺暫留原理，要使人的視覺產(chǎn)生連續(xù)的動根據(jù)視覺暫留原理，要使人的視覺產(chǎn)生連續(xù)的動態(tài)感覺，每秒鐘圖像的播放幀數(shù)要在態(tài)感覺，每秒鐘圖像的播放幀數(shù)要在24243030（幀頻）（幀頻） 幀頻：每秒播放的幀數(shù)。幀頻：每秒播放的幀數(shù)。電視制式：即電視的播放標準（掃描分辨率、幀電

6、視制式：即電視的播放標準（掃描分辨率、幀頻、色彩空間的轉(zhuǎn)換關系不同）。頻、色彩空間的轉(zhuǎn)換關系不同）。 目前國際上有三種不同的電視制式目前國際上有三種不同的電視制式: NTSC; PAL; SECAMu NTSC(national television system committee),u 是國家電視制式委員會的縮寫。是國家電視制式委員會的縮寫。u 美國研制的一種與黑白電視兼容的彩色電視制式。美國研制的一種與黑白電視兼容的彩色電視制式。l幀頻：每秒播放幀頻：每秒播放30幀畫面幀畫面l掃描行數(shù)（掃描分辨率）：每幀有掃描行數(shù)（掃描分辨率）：每幀有526行像素行像素l美國、加拿大、日本、韓國、菲律賓

7、、臺灣等美國、加拿大、日本、韓國、菲律賓、臺灣等 NTSC制式優(yōu)點：制式優(yōu)點：在信號傳輸無失真情況下，具有比較高彩色圖在信號傳輸無失真情況下，具有比較高彩色圖像質(zhì)量；兼容性好；重現(xiàn)的彩色圖像無明顯的像質(zhì)量；兼容性好；重現(xiàn)的彩色圖像無明顯的“爬行爬行”和亮度閃爍現(xiàn)象；較易于實現(xiàn)信號處和亮度閃爍現(xiàn)象；較易于實現(xiàn)信號處理；色度信號的形成和分離都比較簡單。理；色度信號的形成和分離都比較簡單。u PAL(Phase Alternation Line), 是相位逐行交替的縮寫。西德在是相位逐行交替的縮寫。西德在1962年研制的一年研制的一種與黑白電視兼容的彩色電視制式。種與黑白電視兼容的彩色電視制式。l幀

8、頻：每秒播放幀頻：每秒播放25幀畫面幀畫面l掃描行數(shù)（掃描分辨率）：每幀有掃描行數(shù)（掃描分辨率）：每幀有625行像素行像素l西歐國家、新加坡、澳大利亞、中國大陸以及香西歐國家、新加坡、澳大利亞、中國大陸以及香港等港等 PAL制式基本原理：制式基本原理：采用逐行倒相正交平衡調(diào)幅的色度信號，解采用逐行倒相正交平衡調(diào)幅的色度信號，解調(diào)時先經(jīng)過逐行梳狀濾波器將色度信號分離調(diào)時先經(jīng)過逐行梳狀濾波器將色度信號分離后再同步檢波；最后利用視覺平均作用補償后再同步檢波；最后利用視覺平均作用補償小幅度串色所引起的彩色偏差。小幅度串色所引起的彩色偏差。 PAL制式優(yōu)點：制式優(yōu)點：對相位失真不敏感，多徑接收對對相位失

9、真不敏感，多徑接收對PAL信號影信號影響小。響小。u SECAM (Sequential Couleur Avec Memoire) u 是順序與存儲彩色電視系統(tǒng)的縮寫。是順序與存儲彩色電視系統(tǒng)的縮寫。 法國研制的一種與黑白電視兼容的彩色電視制式；法國研制的一種與黑白電視兼容的彩色電視制式；l 幀頻：每秒播放幀頻：每秒播放2525幀畫面幀畫面l 掃描行數(shù)（掃描分辨率）：每幀有掃描行數(shù)（掃描分辨率）：每幀有625625行像素行像素l 法國、俄羅斯等東歐國家和中東一帶法國、俄羅斯等東歐國家和中東一帶 SECAM制式優(yōu)點：制式優(yōu)點：傳輸失真對色度信號影響小，大面積彩色圖像幾乎傳輸失真對色度信號影響小

10、，大面積彩色圖像幾乎不受微分增益和微分相位失真的影響，受傳輸通道不受微分增益和微分相位失真的影響，受傳輸通道頻率特性和多徑接收的影響也不大。頻率特性和多徑接收的影響也不大。SECAMSECAM是一種順序同時制。是采用錯開傳輸時是一種順序同時制。是采用錯開傳輸時間的方法（時分原則）來避免串色以及造成的間的方法（時分原則）來避免串色以及造成的彩色失真。彩色失真。SECAM編碼解碼方式與編碼解碼方式與PAL制式完全不同。制式完全不同。 不同電視制式的技術指標不同電視制式的技術指標TV制式制式NTSCPALSECAM幀頻幀頻/Hz302525行行/幀幀525625625亮度帶寬亮度帶寬/MHz4.26

11、.06.0彩 色 幅 載 波彩 色 幅 載 波/MHz3.584.434.25色度帶寬色度帶寬/MHz1.3(I)，0.6(Q)1.3(U)，1.3(V)1.0(U)，1.0(V)聲音載波聲音載波/MHz4.56.56.55.2.2 視頻信號的數(shù)字化視頻信號的數(shù)字化l（1）復合數(shù)字化：復合數(shù)字化：先用高速模先用高速模/數(shù)轉(zhuǎn)換器對彩色全數(shù)轉(zhuǎn)換器對彩色全電視信號進行數(shù)字化，然后在數(shù)字域中進行分離亮電視信號進行數(shù)字化，然后在數(shù)字域中進行分離亮度和色度，以獲得所希望的度和色度，以獲得所希望的YUV（PAL，SECAM制）分量或制）分量或YIQ（NTSC制）分量，最后轉(zhuǎn)換成制）分量，最后轉(zhuǎn)換成RGB分量

12、數(shù)據(jù)。此種方法稱為分量數(shù)據(jù)。此種方法稱為復合數(shù)字化復合數(shù)字化。l（2）分量數(shù)字化：分量數(shù)字化：從復合彩色電視圖像中分離出從復合彩色電視圖像中分離出彩色分量的亮度和色度，得到彩色分量的亮度和色度，得到Y(jié)UV或或YIQ分量，然分量，然后用后用3個模個模/數(shù)轉(zhuǎn)換器對數(shù)轉(zhuǎn)換器對3個分量分別進行數(shù)字化，個分量分別進行數(shù)字化，最后再轉(zhuǎn)換成最后再轉(zhuǎn)換成RGB空間，此種方法稱為空間，此種方法稱為分量數(shù)字分量數(shù)字化化。 分量數(shù)字化是視頻信號數(shù)字化的主流。分量數(shù)字化是視頻信號數(shù)字化的主流。1視頻信號數(shù)字化方法分類視頻信號數(shù)字化方法分類 2視頻信號采樣結(jié)構的選擇視頻信號采樣結(jié)構的選擇 概念概念：采樣結(jié)構是指采樣點在

13、空間與時間上的相對位置。采樣結(jié)構是指采樣點在空間與時間上的相對位置。 采樣結(jié)構分類采樣結(jié)構分類： 正交結(jié)構：在圖像平面上沿著水平方向采樣點等正交結(jié)構：在圖像平面上沿著水平方向采樣點等間隔排列，沿垂直方向采樣點上下對齊排列。間隔排列，沿垂直方向采樣點上下對齊排列。 行交叉結(jié)構：每行內(nèi)采樣點數(shù)為整數(shù)加半個。行交叉結(jié)構：每行內(nèi)采樣點數(shù)為整數(shù)加半個。（a） 正交結(jié)構正交結(jié)構（b） 行交叉結(jié)構行交叉結(jié)構3數(shù)字視頻的采樣格式數(shù)字視頻的采樣格式 在復合電視信號中，亮度信號的帶寬是色度信在復合電視信號中，亮度信號的帶寬是色度信號帶寬的兩倍號帶寬的兩倍因此其因此其數(shù)字化時可采用對信號的數(shù)字化時可采用對信號的色差

14、分量的采樣率低于對亮度分量的采樣率色差分量的采樣率低于對亮度分量的采樣率。用。用Y:U:V來表示來表示YUV三分量的采樣比例，則數(shù)字視三分量的采樣比例，則數(shù)字視頻的采樣格式有如下頻的采樣格式有如下4種：種： （1）Y:U:V=4:4:4 l指在每條掃描線上在水平和垂直方向上每指在每條掃描線上在水平和垂直方向上每4個連個連續(xù)的取樣點取續(xù)的取樣點取4個亮度個亮度Y樣本、樣本、4個紅色差個紅色差Cr樣本樣本和和4個藍色差個藍色差Cb樣本，相當于每個像素包含樣本，相當于每個像素包含3個個樣本。即對每個采樣點，亮度樣本。即對每個采樣點，亮度Y、色差、色差U和和V各取各取一個樣本，也就是每個像素用一個樣本

15、，也就是每個像素用3個樣本表示。個樣本表示。 采樣格式采樣格式4:4:4采樣格式采樣格式4:2:2采樣格式采樣格式表示亮度表示亮度Y采樣點采樣點表示色度表示色度UV采樣點采樣點 （2）Y:U:V=4:2:2 l這種方式指在每條掃描線上，在每這種方式指在每條掃描線上，在每4個連續(xù)的采樣個連續(xù)的采樣點上，取點上，取4個亮度個亮度Y的樣本值，而色差的樣本值，而色差U、V分別取分別取其第一點和第三點的樣本值，共其第一點和第三點的樣本值，共8個樣本，平均每個樣本，平均每個像素用個像素用2個樣本表示。這種方式能給信號的轉(zhuǎn)換個樣本表示。這種方式能給信號的轉(zhuǎn)換留有一定余量，效果更好一些。留有一定余量，效果更好

16、一些。l這是通常所用的方式，每這是通常所用的方式，每4個連續(xù)的采樣點取個連續(xù)的采樣點取4個個亮度亮度Y樣本、樣本、2個紅色差個紅色差Cr樣本和樣本和2個藍色差個藍色差Cb樣樣本，結(jié)果相當于平均每個像素用本，結(jié)果相當于平均每個像素用2個樣本表示。個樣本表示。l 色度信號在水平方向上采樣點數(shù)為亮度信號的一色度信號在水平方向上采樣點數(shù)為亮度信號的一半，而在垂直方向上的采樣點數(shù)相同。半，而在垂直方向上的采樣點數(shù)相同。 （3）Y:U:V=4:1:1l這種方式是在每這種方式是在每4個連續(xù)的采樣點上，取個連續(xù)的采樣點上，取4個亮個亮度度Y的樣本值，而色差的樣本值，而色差U、V分別取其第一點的分別取其第一點的

17、樣本值，共樣本值，共6個樣本，每個像素用個樣本，每個像素用1.5個樣本表個樣本表示。示。 l 色差信號在色差信號在在水平方向上采樣點數(shù)為亮度信號的在水平方向上采樣點數(shù)為亮度信號的1/41/4，而在垂直方向上的采樣點數(shù)相同。，而在垂直方向上的采樣點數(shù)相同。采樣格式采樣格式4:1:1采樣格式采樣格式表示亮度表示亮度Y采樣點采樣點表示色度表示色度UV采樣點采樣點（4）Y:U:V=4:2:04:2:0子采樣格式是指分別在水平和垂直方向子采樣格式是指分別在水平和垂直方向上每上每2個連續(xù)的采樣點上取個連續(xù)的采樣點上取2個亮度個亮度Y樣本、樣本、1個紅色差個紅色差Cr樣本和樣本和1個藍色差個藍色差Cb樣本，

18、平均每樣本，平均每個像素用個像素用1.5個樣本表示。個樣本表示。 色差信號分別在水平方向和垂直方向上采樣點色差信號分別在水平方向和垂直方向上采樣點數(shù)為亮度信號的數(shù)為亮度信號的1/21/2。采樣格式采樣格式4:2:0采樣格式采樣格式4:2:0采樣格式采樣格式表示亮度表示亮度Y采樣點采樣點表示色度表示色度UV采樣點采樣點MPEG1、H.261支持支持MPEG2支持支持掃描方式小結(jié)掃描方式小結(jié)l電視圖像既是空間的函數(shù)，也是時間的函數(shù)，電視圖像既是空間的函數(shù)，也是時間的函數(shù)，而且又是隔行掃描式，所以其采樣方式比掃描而且又是隔行掃描式，所以其采樣方式比掃描儀掃描圖像的方式要復雜得多。分量采樣時采儀掃描圖

19、像的方式要復雜得多。分量采樣時采到的是隔行樣本點，要把隔行樣本組合成逐行到的是隔行樣本點，要把隔行樣本組合成逐行樣本，然后進行樣本點的量化，樣本，然后進行樣本點的量化，YUV到到RGB色彩空間的轉(zhuǎn)換等，最后才能得到數(shù)字視頻數(shù)色彩空間的轉(zhuǎn)換等，最后才能得到數(shù)字視頻數(shù)據(jù)。據(jù)。 4數(shù)字視頻標準數(shù)字視頻標準 為了在為了在PAL、NTSC和和SECAM電視制式之間電視制式之間確定共同的數(shù)字化參數(shù)，國際無線電咨詢委員會確定共同的數(shù)字化參數(shù)，國際無線電咨詢委員會（CCIR）制訂了）制訂了廣播級質(zhì)量的數(shù)字電視編碼標準廣播級質(zhì)量的數(shù)字電視編碼標準，稱為稱為CCIR 601標準標準。該標準規(guī)定了彩色電視圖像。該標

20、準規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率，彩色空間之轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率，彩色空間之間的轉(zhuǎn)換關系等。間的轉(zhuǎn)換關系等。（1）采樣頻率）采樣頻率 ITU-RBT.601標準為三種電視制式規(guī)定了共同的標準為三種電視制式規(guī)定了共同的電視圖像采樣頻率。其基本的計算方法是：電視圖像采樣頻率。其基本的計算方法是：對對PAL制、制、SECAM制，采樣頻率制，采樣頻率fs為：為： fs=62525N=15625N=13.5 MHz，N=864 其中：其中：N為每一掃描行上的采樣數(shù)目。在為每一掃描行上的采樣數(shù)目。在PAL制、制、SECAM制中，制中，625是指行數(shù)，是指行數(shù)，25表示每秒幀數(shù)。

21、表示每秒幀數(shù)。 （2）有效顯示分辨率）有效顯示分辨率 對對PAL制和制和SECAM制的亮度信號，每一條掃描制的亮度信號，每一條掃描行采樣行采樣864個樣本；對個樣本；對NTSC制的亮度信號，每一條制的亮度信號，每一條掃描行采樣掃描行采樣858個樣本。個樣本。為了使這些制式的采樣點兼為了使這些制式的采樣點兼容，規(guī)定每一掃描行的有效樣本數(shù)均為容，規(guī)定每一掃描行的有效樣本數(shù)均為720720個。個。（3）數(shù)據(jù)量）數(shù)據(jù)量 CCIR 601規(guī)定，每個樣本點都按規(guī)定，每個樣本點都按8位數(shù)字位數(shù)字化，即有化，即有256個等級。但實際上亮度信號占個等級。但實際上亮度信號占220級、色度信號占級、色度信號占225

22、級，其他位作同步、編碼級，其他位作同步、編碼等控制用。如果按等控制用。如果按fs的采樣率和的采樣率和4:2:2的格式采的格式采樣，則數(shù)字視頻的數(shù)據(jù)量為：樣，則數(shù)字視頻的數(shù)據(jù)量為： 13.5(MHz)8(bit)+26.75(MHz)8(bit)=27MB/s （4）CIF、QCIF和和SQCIF 為了兼容為了兼容625行的電視圖像和行的電視圖像和525行的電視圖像，行的電視圖像，CCITT定義了定義了公用公用中分辨率格式中分辨率格式CIF（Common Intermediate Format），），1/4公用中分辨率格式公用中分辨率格式（Quarter-CIF，QCIF）和和（Sub-Quar

23、ter Common Intermediate Format，SQCIF）格式格式。CIF格式具有如下特性：格式具有如下特性：l 電視圖像的空間分辨率為電視圖像的空間分辨率為352288。l 使用非隔行掃描（使用非隔行掃描（Non-Interlaced Scan）。）。 使用使用NTSC幀速率，電視圖像的最大幀速率為幀速率，電視圖像的最大幀速率為30 000/100129.97幅幅/秒。秒。CIF QCIFSQCIF行數(shù)行數(shù)/幀幀像素像素/行行行數(shù)行數(shù)/幀幀像素像素/行行行數(shù)行數(shù)/幀幀像素像素/行行亮度（亮度（Y）288360(352)144180(176)96128色度（色度（Cb）1441

24、80(176)7290(88)4864色度（色度（Cr）144180(176)7290(88)4864 下表是下表是CIF、QCIF和和SQCIF圖像格式參數(shù)。圖像格式參數(shù)。5.3 視頻信號編碼方法視頻信號編碼方法 一、一、視頻信號視頻信號編碼的依據(jù)：編碼的依據(jù)：1 1、視頻信號編碼的出發(fā)點：、視頻信號編碼的出發(fā)點： 對于活動圖像，相鄰幀的時間間隔很短對于活動圖像，相鄰幀的時間間隔很短(1/25(1/25 1/30s),1/30s),在景物運動不很劇烈場合，相鄰幀在景物運動不很劇烈場合，相鄰幀間相關性很強。間相關性很強。編碼時充分利用活動圖像的相鄰編碼時充分利用活動圖像的相鄰幀幀( (在時間軸

25、方向在時間軸方向) )的相關性進行預測。的相關性進行預測。2 2、視頻信號視頻信號編碼的依據(jù)：編碼的依據(jù)： 依據(jù)依據(jù)1 1：從信源角度看，自然景物大多都處于相從信源角度看，自然景物大多都處于相對不變或緩變狀態(tài)，為幀間相關性存在前提條件。對不變或緩變狀態(tài)，為幀間相關性存在前提條件。5.3.1 視頻信號編碼基礎視頻信號編碼基礎幀間預測典型情況：可視電話圖像幀間預測典型情況：可視電話圖像 可視電話圖像內(nèi)容通常為一個細節(jié)不十分復雜可視電話圖像內(nèi)容通常為一個細節(jié)不十分復雜背景前，有一個活動量不大的單個人物的頭背景前，有一個活動量不大的單個人物的頭- -肩像。肩像。假定人位置在假定人位置在第第k幀與第幀與

26、第k-1幀相比有一定幀相比有一定x方向位移方向位移,可可將畫面分為將畫面分為3個各具特點區(qū)個各具特點區(qū)域：域：背景區(qū)、運動物體區(qū)、暴露區(qū)背景區(qū)、運動物體區(qū)、暴露區(qū)背景區(qū)背景區(qū)：指攝像機不動而攝取人物后面的背景。：指攝像機不動而攝取人物后面的背景。 一般背景區(qū)是靜止的，若外界條件不變，則一般背景區(qū)是靜止的，若外界條件不變，則這兩幀背景區(qū)絕大部分數(shù)據(jù)相同，意味著兩幀背這兩幀背景區(qū)絕大部分數(shù)據(jù)相同，意味著兩幀背景區(qū)之間幀間相關性很強。景區(qū)之間幀間相關性很強。運動物體區(qū)運動物體區(qū)：若將物體運動近似看作簡單平移，則：若將物體運動近似看作簡單平移，則第第k幀與第幀與第k-1-1幀的運動區(qū)的數(shù)據(jù)也基本相同。

27、幀的運動區(qū)的數(shù)據(jù)也基本相同。簡單平移看作只有簡單平移看作只有x方向位移量方向位移量Dx，則可采用某種位，則可采用某種位移估值方法對位移量進行移估值方法對位移量進行“運動補償運動補償”。暴露區(qū)暴露區(qū)：指在運動后所暴露出的原來曾被物體遮蓋：指在運動后所暴露出的原來曾被物體遮蓋住區(qū)域。住區(qū)域。 若有存儲器將這暴露區(qū)的數(shù)據(jù)暫時存儲，則再次若有存儲器將這暴露區(qū)的數(shù)據(jù)暫時存儲，則再次經(jīng)遮蓋后再暴露出來的數(shù)據(jù)與原先存儲數(shù)據(jù)相同，經(jīng)遮蓋后再暴露出來的數(shù)據(jù)與原先存儲數(shù)據(jù)相同，這為一幀間相關性。這為一幀間相關性。注意：注意：如果將整個畫面從一類景物切換為另一類景如果將整個畫面從一類景物切換為另一類景物時，則談不上

28、幀間相關性利用。因為整個畫面內(nèi)物時，則談不上幀間相關性利用。因為整個畫面內(nèi)容數(shù)據(jù)全部改變了。容數(shù)據(jù)全部改變了。 這三類區(qū)域的幀間相關性是幀間壓縮編碼的重這三類區(qū)域的幀間相關性是幀間壓縮編碼的重要依據(jù)。要依據(jù)。 依據(jù)依據(jù)2 2：利用人眼視覺特性，在活動圖像編碼中利用人眼視覺特性，在活動圖像編碼中針對圖像內(nèi)容在清晰度和活動性針對圖像內(nèi)容在清晰度和活動性( (幀頻幀頻) )適當調(diào)整碼適當調(diào)整碼率，可使重建圖像在視覺上保持一致主觀效果。率，可使重建圖像在視覺上保持一致主觀效果。 保證對于傳輸序列圖像的靜止部分的較高空間分保證對于傳輸序列圖像的靜止部分的較高空間分辨率。同時，可降低時間軸分辨率，通過抽幀

29、或跳幀辨率。同時，可降低時間軸分辨率，通過抽幀或跳幀減少傳輸幀數(shù)，在接收端依靠幀存儲器把未傳輸幀補減少傳輸幀數(shù)，在接收端依靠幀存儲器把未傳輸幀補充。充。 可降低序列圖像中的運動物體部分的分辨率。物可降低序列圖像中的運動物體部分的分辨率。物體的運動速度愈高，可用更低清晰度進行傳輸。體的運動速度愈高，可用更低清晰度進行傳輸。二、視頻信號編碼的關鍵問題：二、視頻信號編碼的關鍵問題：n 對于序列圖像中大量存在的靜止或緩變區(qū)域，對于序列圖像中大量存在的靜止或緩變區(qū)域，？n 對于靜止區(qū)域如何壓縮編碼？對于靜止區(qū)域如何壓縮編碼？n 對于運動區(qū)域如何壓縮編碼？對于運動區(qū)域如何壓縮編碼？設第設第k幀圖像位于位置

30、幀圖像位于位置z=(x, y)的像素采樣值為的像素采樣值為Ik(z)。其預測值其預測值 為第為第k-1幀圖像幀圖像(前一幀圖像前一幀圖像)的相對應的相對應同一位置處像素復原值同一位置處像素復原值Ik-1(z)。則有：。則有：)(zIk(z)I(z)I(z)I(z)I(z)FD(z)I(z)Ikkkkk1k1k 定義一定義一閾值閾值TH，則有：，則有： 若若|FDk(z)| TH ，認為，認為Ik(z)位于圖像相對靜止部分位于圖像相對靜止部分 (背景區(qū)背景區(qū)) 若若|FDk(z)| TH ，認為，認為Ik(z)位于圖像運動區(qū)域。位于圖像運動區(qū)域。幀間差幀間差v 幀（場）重復工作形式：幀（場）重復

31、工作形式：l 通常用在可視電話等傳輸碼率很低應用場合。通常用在可視電話等傳輸碼率很低應用場合。l 在序列圖像傳輸中進行抽幀，使少傳一些幀。在序列圖像傳輸中進行抽幀，使少傳一些幀。l 在接收端可以采用對前幀重復讀出方式補滿。在接收端可以采用對前幀重復讀出方式補滿。v 運動估計與補償預測方法：運動估計與補償預測方法：l相鄰畫面高度相似，其中差別變化是由于物體相鄰畫面高度相似，其中差別變化是由于物體運動或攝象機運動所引起的。運動或攝象機運動所引起的。l 畫面中物體或像素的運動是可以估計的。畫面中物體或像素的運動是可以估計的。l 因此，可以因此，可以從前面的畫面預測當前畫面，編碼從前面的畫面預測當前畫

32、面，編碼器只對預測誤差進行編碼器只對預測誤差進行編碼。l 不能進行預測的畫面或區(qū)域使用不能進行預測的畫面或區(qū)域使用JPEG進行編進行編碼（利用畫面內(nèi)部相關性）。碼（利用畫面內(nèi)部相關性）。l相鄰幀間的主要變化是由于構成景物的各物相鄰幀間的主要變化是由于構成景物的各物體的運動引起的。體的運動引起的。5.3.2 運動估計與補償?shù)幕靖拍钸\動估計與補償?shù)幕靖拍?定義定義：將活動圖像分為若干個塊，檢測出當前幀中：將活動圖像分為若干個塊，檢測出當前幀中每個塊在前一幀每個塊在前一幀(參考幀參考幀)圖像中的對應位置，從而可圖像中的對應位置，從而可以估計出這個塊的位移，用運動矢量表示。這個過程以估計出這個塊的

33、位移，用運動矢量表示。這個過程叫做運動估計。叫做運動估計。 運動估計通常以宏塊為單位進行，計算被壓縮圖像運動估計通常以宏塊為單位進行，計算被壓縮圖像與參考圖像在對應位置處的宏塊間的位置偏移。與參考圖像在對應位置處的宏塊間的位置偏移。 該位置偏移是以運動矢量描述，代表水平和垂直兩該位置偏移是以運動矢量描述，代表水平和垂直兩個方向的位移。個方向的位移。1. 運動估計運動估計場景中物體運動反場景中物體運動反映在畫面中，表現(xiàn)映在畫面中，表現(xiàn)為當前畫面部分內(nèi)為當前畫面部分內(nèi)容是前一畫面部分容是前一畫面部分內(nèi)容的位移運動。內(nèi)容的位移運動。 2. 運動補償運動補償 定義定義：就是根據(jù)求出的運動矢量，找到當：

34、就是根據(jù)求出的運動矢量，找到當前幀的像素（或像素塊）是從前一幀的哪個前幀的像素（或像素塊）是從前一幀的哪個位置移動過來的，從而得到當前幀像素（或位置移動過來的，從而得到當前幀像素（或像素塊）的預測值。像素塊）的預測值。 由于用當前幀在前一幀圖像中對應部分來對當前由于用當前幀在前一幀圖像中對應部分來對當前幀進行預測，而相鄰兩幀中對應的運動部分圖像信幀進行預測，而相鄰兩幀中對應的運動部分圖像信息會有所不同，所以一般會產(chǎn)生補償殘差。息會有所不同，所以一般會產(chǎn)生補償殘差。 運動估計及補償?shù)幕驹磉\動估計及補償?shù)幕驹恚豪脦g運動估計：利用幀間運動估計得到待編碼圖像塊的一個（或多個）參考塊，然后得

35、到待編碼圖像塊的一個（或多個）參考塊，然后用這個參考塊進行運動補償，將補償后用這個參考塊進行運動補償，將補償后殘差進行殘差進行DCT變換和可變長編碼。變換和可變長編碼。3. 運動補償幀間預測編碼運動補償幀間預測編碼定義：定義：對于運動的物體，如果能估計出物體在相鄰對于運動的物體，如果能估計出物體在相鄰幀內(nèi)的相對位移，那么用上一幀中物體的對應區(qū)域幀內(nèi)的相對位移，那么用上一幀中物體的對應區(qū)域?qū)Ξ斍皫矬w進行預測，編碼傳輸預測誤差部分，對當前幀物體進行預測，編碼傳輸預測誤差部分，就可壓縮這部分區(qū)域的碼率。這種考慮了運動物體就可壓縮這部分區(qū)域的碼率。這種考慮了運動物體對應區(qū)域的位移或運動的預測方式稱為

36、運動補償幀對應區(qū)域的位移或運動的預測方式稱為運動補償幀間預測編碼。間預測編碼。幀間運動估計與補償預測的基本過程幀間運動估計與補償預測的基本過程運動補償幀間預測編碼原理框圖：運動補償幀間預測編碼原理框圖：壓縮圖像塊壓縮圖像塊輸入圖像塊輸入圖像塊e en nf fn n f fn n運動補償預測幀間誤差圖像運動補償預測幀間誤差圖像運動補償預測圖像運動補償預測圖像nnnffe 其中：其中：fn 為輸入圖像塊；為輸入圖像塊； fn 為運動補償預測圖像為運動補償預測圖像運動補償幀間預測編碼技術的組成：運動補償幀間預測編碼技術的組成： 物體的劃分物體的劃分：劃分靜止區(qū)域和運動區(qū)域。這里：劃分靜止區(qū)域和運動

37、區(qū)域。這里假設運動物體僅作平移。假設運動物體僅作平移。 運動估計運動估計：對每一個運動物體進行位移估計。：對每一個運動物體進行位移估計。 運動補償運動補償：由位移估值建立同一運動物體在不：由位移估值建立同一運動物體在不同幀空間位置對應關系，建立預測關系。同幀空間位置對應關系，建立預測關系。 補償后的預測信息編碼補償后的預測信息編碼：對運動物體的補償后：對運動物體的補償后的位移幀差信號的位移幀差信號DFD，以及運動矢量等進行編碼，以及運動矢量等進行編碼傳輸。傳輸。5.3.3 基于塊的基于塊的運動估計運動估計塊匹配算法塊匹配算法塊匹配算法通過對圖像序列中相鄰兩幀圖像間的子塊匹配算法通過對圖像序列中

38、相鄰兩幀圖像間的子塊匹配來進行運動估計。塊匹配來進行運動估計。前提條件前提條件：在塊匹配算法中，圖像被分割為子塊，在塊匹配算法中，圖像被分割為子塊，把子塊分成靜止和運動兩類，運動子塊中的所有像把子塊分成靜止和運動兩類，運動子塊中的所有像素的運動矢量被認為相同，都只作相等的平移。素的運動矢量被認為相同，都只作相等的平移?；舅枷牖舅枷耄簩τ趲瑢τ趲琸(k(當前幀當前幀) )中像素中像素(n1,n2)(n1,n2)的位移的位移，通過考慮一個中心定位在，通過考慮一個中心定位在(n1,n2)(n1,n2)的塊，搜索幀來的塊，搜索幀來找出同樣大小的最佳匹配塊的位置來確定。找出同樣大小的最佳匹配塊的位置

39、來確定。1. 基本思想基本思想 初始搜索點的選擇。初始搜索點的選擇。 直接選擇參考幀對應塊直接選擇參考幀對應塊中心位置；中心位置； 選擇預測的起點。選擇預測的起點。 匹配準則。匹配準則。一般方法有均方誤差函數(shù)和平均絕對一般方法有均方誤差函數(shù)和平均絕對誤差函數(shù)等準則。誤差函數(shù)等準則。 搜索方法。搜索方法。有全搜索、三步搜索、交叉搜索、分有全搜索、三步搜索、交叉搜索、分層運動估計算法等。層運動估計算法等。 塊的大小選擇。塊的大小選擇。塊的大小應滿足下列要求：每一塊的大小應滿足下列要求：每一個塊幾乎都只具有單一運動或者沒有運動。塊不能個塊幾乎都只具有單一運動或者沒有運動。塊不能過小，以保證可以搜索到

40、正確的塊。過小，以保證可以搜索到正確的塊。目前塊大小用目前塊大小用較多為較多為16，有時也取，有時也取4 4，8 8。 2. 提高搜索效率的主要技術提高搜索效率的主要技術常用的匹配準則常用的匹配準則l 給定兩個圖像塊給定兩個圖像塊B Bi i和和B Bi-1i-1，均方誤差均方誤差絕對誤差絕對誤差 21n0 x1n0y1ii22ms)yy,xx(f)y,x(fn1e 1n0 x1n0y1ii2av)yy,xx(f)y,x(fn1e 求這兩個誤差函數(shù)對應最小值時求這兩個誤差函數(shù)對應最小值時(x, y)為最佳運為最佳運動估計動估計 全搜索算法（全搜索算法（FSFS）基本思想：基本思想：要估計一個像

41、素的位移要估計一個像素的位移( (運動運動) )時，在當時，在當前幀中取以該像素為中心的一個子塊，然后在前一前幀中取以該像素為中心的一個子塊，然后在前一幀圖像中所有可能位置尋找一個與之最匹配幀圖像中所有可能位置尋找一個與之最匹配( (相關最相關最大大) )的子塊，則匹配子塊中心與當前幀中子塊中心的的子塊，則匹配子塊中心與當前幀中子塊中心的位移即為估計的位移位移即為估計的位移( (運動運動) )矢量。矢量。匹配準則：匹配準則：最小平均絕對誤差函數(shù)（最小平均絕對誤差函數(shù)（MAD)設將當前幀中劃分為設將當前幀中劃分為N N像素子塊，像素子塊，A為為待處理的子待處理的子塊。塊。水平和垂直方向最大位移均

42、為水平和垂直方向最大位移均為dm 。3. 典型的塊匹配算法典型的塊匹配算法塊匹配算法就是在其前一幀以塊匹配算法就是在其前一幀以A為中心的搜索區(qū)為中心的搜索區(qū)SR:(N+2dm) (N+2dm) 內(nèi)尋找一內(nèi)尋找一個與個與A相關性最大的同樣大小相關性最大的同樣大小的子塊的子塊B，B與與A的坐標偏移量的坐標偏移量即為估計的子塊即為估計的子塊A的運動矢量的運動矢量設設B與與A的坐標偏移量為的坐標偏移量為(i，j)， 則：則：平均絕對平均絕對誤差誤差MAD 10,12| ),(),(|1NnmkkijjnimInmIN 第第k幀灰度值幀灰度值則在某一個位置偏移則在某一個位置偏移(i，j)下有最小誤差下有

43、最小誤差min ij，選定，選定一閾值一閾值T，則有：，則有： 當當min ij T，說明在一定誤差范圍內(nèi)達到匹配，說明在一定誤差范圍內(nèi)達到匹配，運動矢量為運動矢量為dx=i，dy=j當當min ij T，說明不能匹配。應該對該子塊直接幀，說明不能匹配。應該對該子塊直接幀內(nèi)編碼。內(nèi)編碼。在全搜索條件下，塊匹配算法達到全局最優(yōu)，但缺在全搜索條件下，塊匹配算法達到全局最優(yōu)，但缺點為運算量大，總共要計算點為運算量大，總共要計算(1+2dm) (1+2dm) 次匹次匹配運算，且搜索算法時間占到整個編碼時間的配運算，且搜索算法時間占到整個編碼時間的50%80%。 二維對數(shù)算法（二維對數(shù)算法（TDL） 開

44、創(chuàng)了快速算法的先例。開創(chuàng)了快速算法的先例?；舅枷耄夯舅枷耄簭脑c開始，以從原點開始，以“十十”字形分布的五個點字形分布的五個點構成每次搜索的點群，通過快速搜索跟蹤最匹配點。構成每次搜索的點群，通過快速搜索跟蹤最匹配點。算法步驟：算法步驟： 從原點開始，選取一定的步長，在以從原點開始，選取一定的步長，在以“十十”字字形分布的五個點處進行塊匹配計算并比較形分布的五個點處進行塊匹配計算并比較 若最匹配點在邊緣四個點處，則以該點作為中若最匹配點在邊緣四個點處，則以該點作為中心點，保持步長不變，重新搜索心點，保持步長不變，重新搜索“十十”字形分布字形分布的五個點的五個點l 若最匹配點位于中心點，則保

45、持中心點位置不變，若最匹配點位于中心點，則保持中心點位置不變，將步長減半，構成將步長減半，構成“十十”字形點群，在五個點處字形點群，在五個點處計算計算l 若步長為若步長為1，在中心及周圍，在中心及周圍8個點處找出最匹配點，個點處找出最匹配點，該點所在位置即對應最佳運動矢量，算法結(jié)束；該點所在位置即對應最佳運動矢量，算法結(jié)束；否則，重復第否則，重復第2步步算法搜索過程圖示：算法搜索過程圖示：11111222223333344444-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7-7-6-5-4-3-2-1012345674444算法搜索過程圖示：算法搜索過程圖示：起初步長

46、起初步長=2 三步搜索法（三步搜索法（TSS）基本思想：基本思想：搜索范圍為搜索范圍為 7 7。即在上一幀以當前子塊。即在上一幀以當前子塊為原點，將當前子塊在其上下左右距離為為原點，將當前子塊在其上下左右距離為7 7范圍內(nèi)按范圍內(nèi)按一定規(guī)則移動，每移動到一個位置，取出同樣大小一定規(guī)則移動，每移動到一個位置，取出同樣大小的子塊與當前子塊進行匹配計算。的子塊與當前子塊進行匹配計算。匹配準則：匹配準則：最小均方誤差函數(shù)最小均方誤差函數(shù)(MSE)或最小平均絕或最小平均絕 對誤差函數(shù)（對誤差函數(shù)（MAD)具體方法具體方法： 第一步：第一步：在搜索范圍內(nèi)，以當前子塊為中心，以在搜索范圍內(nèi)，以當前子塊為中心

47、，以4為步幅。選擇標記為為步幅。選擇標記為“1” 的的9個點分別為中心位置個點分別為中心位置的子塊與當前子塊進行匹配，求出最佳匹配的子塊的子塊與當前子塊進行匹配，求出最佳匹配的子塊中心位置，然后把中心位置移到該點。如果在某點中心位置，然后把中心位置移到該點。如果在某點找到最小的找到最小的MSE或或MAD，則表示在該點一定范圍內(nèi)，則表示在該點一定范圍內(nèi)達到最佳匹配。達到最佳匹配。 第二步：第二步：以第一步求出最佳子塊為中心，以以第一步求出最佳子塊為中心，以2為為步幅。選擇步幅。選擇9個標記為個標記為“2”點分別為中心位置的子塊點分別為中心位置的子塊與當前子塊進行匹配，求出最佳匹配的子塊中心位與當

48、前子塊進行匹配，求出最佳匹配的子塊中心位置，然后把中心位置移到該點。置，然后把中心位置移到該點。 第三步：第三步：以第二步求出最佳子塊為中心，以以第二步求出最佳子塊為中心，以1為步幅。選擇為步幅。選擇9個標記為個標記為“3”點分別為中心位置點分別為中心位置的子塊與當前子塊進行匹配，求出最佳匹配的的子塊與當前子塊進行匹配，求出最佳匹配的子塊中心位置。則它與當前子塊中心位置偏移子塊中心位置。則它與當前子塊中心位置偏移量為估計的位移量。量為估計的位移量。結(jié)論：在結(jié)論：在dm=7dm=7時，三步法僅需要時，三步法僅需要3 3 9-7=259-7=25次匹配，次匹配，比全搜索算法匹配次數(shù)少很多。比全搜索

49、算法匹配次數(shù)少很多。三步搜索算法三步搜索算法111111111222222222333333333搜索搜索9+8+825次次-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7-7-6-5-4-3-2-101234567 交叉法（交叉法（CSACSA）是在是在TDLTDL、TSSTSS基礎上為進一步減少計算量發(fā)展起來的基礎上為進一步減少計算量發(fā)展起來的基本思想：基本思想：從原點開始，以從原點開始，以“”字形分布的五個點字形分布的五個點構成搜索點群，以構成搜索點群，以TDLTDL的搜索方式搜索最匹配點，的搜索方式搜索最匹配點，僅在最后一步采用僅在最后一步采用“十十”字形點群字

50、形點群算法描述：算法描述： 從原點開始，選取最大搜索長度的一半作為步從原點開始，選取最大搜索長度的一半作為步長，在以長，在以“”字形分布的五個點處進行塊匹字形分布的五個點處進行塊匹配計算并比較配計算并比較l 以上一步的最匹配點為中心，步長減半，繼續(xù)進以上一步的最匹配點為中心，步長減半，繼續(xù)進行行“”字形五點搜索，若步長大于字形五點搜索，若步長大于1，重復本步；，重復本步；若步長為若步長為1，則進行第三步，則進行第三步l 若上一步最匹配點處于中心點、左下角或右上角，若上一步最匹配點處于中心點、左下角或右上角，做做“十十”字形搜索；若上一步最匹配點處于左上字形搜索；若上一步最匹配點處于左上角或右下

51、角，則做角或右下角，則做“”字形搜索。搜索到的最字形搜索。搜索到的最匹配點為最佳運動矢量，算法結(jié)束匹配點為最佳運動矢量，算法結(jié)束交叉法搜索過程圖示：交叉法搜索過程圖示：111112222233333搜索搜索5+4+413次次-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7-7-6-5-4-3-2-101234567 四步搜索法（四步搜索法（FSSFSS）l基本思路基本思路l現(xiàn)實中序列圖像的運動矢量大多都是中心分布的，現(xiàn)實中序列圖像的運動矢量大多都是中心分布的，從而在從而在55大小的搜索窗口上構造了有大小的搜索窗口上構造了有9個檢測個檢測點的搜索模板點的搜索模板l步驟步驟

52、l 以搜索區(qū)域原點為中心選定以搜索區(qū)域原點為中心選定55的搜索窗，然后的搜索窗，然后在在9個檢測點處進行匹配計算個檢測點處進行匹配計算l若最匹配點位于中心點，跳到第若最匹配點位于中心點，跳到第3步，即縮小搜步，即縮小搜索窗口為索窗口為33最匹配點不在中心點，跳到第最匹配點不在中心點，跳到第2步步l 窗口保持窗口保持55，搜索模式改變，搜索模式改變l上一步最匹配點位于窗口上一步最匹配點位于窗口4個角上，個角上，則另外再搜索則另外再搜索5個檢測點個檢測點l上一步最匹配點位于窗口的上一步最匹配點位于窗口的4邊中邊中心點處，則需再搜索心點處，則需再搜索3個檢測點個檢測點l若這一次的最匹配點在窗口中心，

53、若這一次的最匹配點在窗口中心，則跳到第則跳到第3步，否則，重復本步步，否則，重復本步l 將窗口縮小到將窗口縮小到33，計算出最匹配，計算出最匹配點的位置即對應最佳運動矢量點的位置即對應最佳運動矢量四步搜索法過程圖示四步搜索法過程圖示1111111112222333333444444444-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7-7-6-5-4-3-2-101234567最匹配點分最匹配點分別為：別為：(0,-2) (2,-4) (2,-4) (3,-4),搜索共搜索共分分4步。步。 菱形搜索法（菱形搜索法（DSDS）本算法經(jīng)過多次改進，已成為目前快速匹配算法本算

54、法經(jīng)過多次改進，已成為目前快速匹配算法中性能最優(yōu)異的算法之一；中性能最優(yōu)異的算法之一；1999年年10月，月，DS算算法被法被MPEG-4國際標準采用并收入驗證模型。國際標準采用并收入驗證模型?；舅枷耄夯舅枷耄?使用兩種搜索模板，使用兩種搜索模板，9個檢測點的大模板個檢測點的大模板LDSP和和5個檢測點的個檢測點的SDSP 搜索時，先用大模板計算，當最匹配塊出現(xiàn)搜索時，先用大模板計算，當最匹配塊出現(xiàn)在中心點處時，換大模板為小模板，再進行匹配在中心點處時，換大模板為小模板，再進行匹配計算，計算，5個點中的最匹配點即為最優(yōu)點個點中的最匹配點即為最優(yōu)點。大模板大模板LDSP小模板小模板SDSP算

55、法步驟：算法步驟： 用用LDSP在搜索區(qū)域中心及周圍在搜索區(qū)域中心及周圍8個點處進個點處進行匹配計算，若最匹配點位于中心，則進行行匹配計算，若最匹配點位于中心，則進行Step3；否則，到；否則，到Step2 以上一次找到的最匹配點為中心點，用新以上一次找到的最匹配點為中心點，用新的的LDSP來計算，若最匹配點位于中心點，來計算，若最匹配點位于中心點，則進行則進行Step3；否則，重復本步；否則，重復本步 以上一次找到的最匹配點為中心點，將以上一次找到的最匹配點為中心點，將LDSP換為換為SDSP，在，在5個點處計算，找到最個點處計算，找到最匹配點，該點所在位置即為最佳運動矢量。匹配點，該點所在

56、位置即為最佳運動矢量。菱形搜索算法過程圖示菱形搜索算法過程圖示1111111112222223333344444-7-6-5-4-3-2-101234567-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7最匹配點分最匹配點分別為：別為：(2,0) (2,-2) (2,-2) (2,-3),使用使用次次LDSP和和次次SDSP,搜索搜索共分共分5步。步。菱形搜索算法分析菱形搜索算法分析l選用了大小兩種形狀的搜索模板，先用選用了大小兩種形狀的搜索模板，先用LDSP搜索，步長大，搜索范圍廣，進行搜索，步長大，搜索范圍廣，進行粗定位，避免搜索窗口太小時，陷入局部粗定位，避免搜索

57、窗口太小時，陷入局部最優(yōu)；粗定位后，再用最優(yōu)；粗定位后，再用SDSP準確定位，準確定位，保證匹配精度保證匹配精度l從前圖中可看出，搜索時各步之間相關性從前圖中可看出，搜索時各步之間相關性強，模板移動只需要在幾個新的檢測點處強，模板移動只需要在幾個新的檢測點處進行匹配計算，提高了搜索速度進行匹配計算，提高了搜索速度復習：復習：l 視頻信號編碼技術視頻信號編碼技術 運動補償幀間預測編碼技術運動補償幀間預測編碼技術 物體的劃分物體的劃分：劃分靜止區(qū)域和運動區(qū)域。這：劃分靜止區(qū)域和運動區(qū)域。這里假設運動物體僅作平移。里假設運動物體僅作平移。 運動估計運動估計：對每一個運動物體進行位移估計。：對每一個運

58、動物體進行位移估計。 運動補償運動補償：由位移估值建立同一運動物體在不：由位移估值建立同一運動物體在不同幀空間位置對應關系，建立預測關系。同幀空間位置對應關系，建立預測關系。 補償后的預測信息編碼補償后的預測信息編碼：對運動物體的補償后：對運動物體的補償后的位移幀差信號，以及運動矢量等進行編碼傳的位移幀差信號，以及運動矢量等進行編碼傳輸。輸。抽幀或跳幀抽幀或跳幀復習：復習：l如何實現(xiàn)運動矢量估計？如何實現(xiàn)運動矢量估計？塊匹配算法塊匹配算法 初始搜索點的選擇。初始搜索點的選擇。 直接選擇參考幀對應塊直接選擇參考幀對應塊中心位置；中心位置； 選擇預測的起點。選擇預測的起點。 匹配準則。匹配準則。一

59、般方法有均方誤差函數(shù)和平均絕對一般方法有均方誤差函數(shù)和平均絕對誤差函數(shù)等準則。誤差函數(shù)等準則。 搜索方法。搜索方法。有全搜索、三步搜索、交叉搜索等。有全搜索、三步搜索、交叉搜索等。 塊的大小選擇。塊的大小選擇。塊的大小應滿足下列要求：每一塊的大小應滿足下列要求：每一個塊幾乎都只具有單一運動或者沒有運動。塊不個塊幾乎都只具有單一運動或者沒有運動。塊不能過小，以保證可以搜索到正確的塊。能過小，以保證可以搜索到正確的塊。目前塊大目前塊大小用較多為小用較多為16，有時也取，有時也取4 4，8 8。 復習：復習：l塊匹配方法塊匹配方法 全搜索算法全搜索算法 二維對數(shù)搜索算法二維對數(shù)搜索算法 三步搜索算法

60、三步搜索算法 交叉法交叉法 四步搜索算法四步搜索算法 菱形（鉆石形）搜索菱形（鉆石形）搜索算法算法以以“十十”字形分布的字形分布的五個點構成每次搜索的五個點構成每次搜索的點群，若步長為點群，若步長為1，周圍，周圍8鄰域匹配。鄰域匹配。搜索范圍為搜索范圍為 7“4-2-1”以以“”字形的五個點構成字形的五個點構成搜索點群，若步長為搜索點群，若步長為1，上，上一步最匹配點處于中心點、一步最匹配點處于中心點、左下角或右上角，左下角或右上角， “十十”字形搜索；若處于左上角字形搜索；若處于左上角或右下角，則或右下角，則 “”字形字形搜索。搜索。“55”的搜索窗口，若的搜索窗口，若步長為步長為1，則，則