《多媒體技術(shù)》講稿第4章-2-2003

1、第四章-第二部分運(yùn)動(dòng)圖象編碼4.2動(dòng)態(tài)圖象、圖形處理4.2.1概述n利用人眼的視覺(jué)惰性作用：對(duì)亮度信號(hào)保持感覺(jué)1/201/10秒n序列圖象、圖形(動(dòng)畫(huà))(2530幀/S)形成運(yùn)動(dòng)感覺(jué)特點(diǎn)：(1)時(shí)間連續(xù)、適于表示“過(guò)程”(2)逐幀顯示、屬于離散型時(shí)基媒體(3)數(shù)據(jù)量大，需要壓縮編碼(4)相關(guān)性強(qiáng)，這是動(dòng)態(tài)的基礎(chǔ)，也是壓縮的條件(5)實(shí)時(shí)性強(qiáng)4.4 預(yù)測(cè)編碼多媒體技術(shù)基礎(chǔ)及應(yīng)用4幀間編碼幀間編碼n幀間編碼技術(shù)處理的對(duì)象是序列圖幀間編碼技術(shù)處理的對(duì)象是序列圖像（也稱為運(yùn)動(dòng)圖像）；像（也稱為運(yùn)動(dòng)圖像）；nASIC的迅速發(fā)展，已有可能把幾的迅速發(fā)展，已有可能把幾幀圖像存儲(chǔ)起來(lái)作實(shí)時(shí)處理，利用幀圖像存儲(chǔ)

2、起來(lái)作實(shí)時(shí)處理，利用幀間的時(shí)間相關(guān)性進(jìn)一步消除圖像幀間的時(shí)間相關(guān)性進(jìn)一步消除圖像信號(hào)的冗余度，提高壓縮比。信號(hào)的冗余度，提高壓縮比。n幀間編碼的技術(shù)基礎(chǔ)是預(yù)測(cè)技術(shù)幀間編碼的技術(shù)基礎(chǔ)是預(yù)測(cè)技術(shù) 。4.2.2幀間預(yù)測(cè)編碼n三維預(yù)測(cè)：利用本行前幾個(gè)取樣值，前幾行相鄰取樣值，還有上一幀或前幾幀取樣值等，電視信號(hào)相鄰幀間的相關(guān)性即時(shí)間相關(guān)性去掉冗余度，達(dá)到壓縮碼率的目的。4.2.2.1幀間差值的統(tǒng)計(jì)特性 Frame Difference是指活動(dòng)圖象序列的某一固定象素位置(m , n)上，當(dāng)前幀的圖象亮度值X (m ,n)與上一幀的亮度值X-1(m ,n)之差，即 統(tǒng)計(jì)資料表明：對(duì)于變化較為緩慢的256級(jí)

3、灰度的黑白圖象序列幀間差值超過(guò)閾值3的象素大約不到4%；對(duì)于變化較為劇烈的256級(jí)亮度值的彩色電視圖象序列，幀間差值超過(guò)閾值6的象素?cái)?shù)平均只有7.5%，而色度信號(hào)平均只有7.5%。這些是幀間壓縮編碼的依據(jù)。),(),(),(1nmxnmxnmd4.2.2.2條件幀間修補(bǔ)法Conditional Frame Replenishment CFR稱條件幀間修補(bǔ)法，對(duì)第幀的當(dāng)前象素X (m ,n)的預(yù)測(cè)值定義為其中X-1(m n)為第-1幀中對(duì)應(yīng)象素X-1(m ,n)的復(fù)原值，進(jìn)而定義當(dāng)前象素X(m ,n)的幀間差值),(),(1nmxnmx),(),(),(),(),(1nmxnmxnmxnmxnm

4、FDn規(guī)定一個(gè)閾值TH，若滿足則認(rèn)為當(dāng)前象素X(m ,n)位于圖象的背景區(qū)或相對(duì)靜止部分，隔幾幀才傳輸一次。n反之若則認(rèn)為當(dāng)前象素X(m ,n)位于圖象的運(yùn)動(dòng)物體區(qū)，需用全碼傳送。THnmFD),(THnmFD),(n 進(jìn)一步的改進(jìn)是此時(shí)傳輸FD(m ,n)，而不是傳輸X(m ,n)本身，在接收端則通過(guò)獲得X(m ,n)的復(fù)原值。),(),(),(1nmFDnmxnmx4.4 預(yù)測(cè)編碼多媒體技術(shù)基礎(chǔ)及應(yīng)用10幀間預(yù)測(cè)編碼條件補(bǔ)充法n若幀間對(duì)應(yīng)像素的亮度差超過(guò)閾值，則把這些像素存入緩存中，并以恒定的傳輸速度傳送；n閾值以下的像素不傳送，在接收端用上一幀相應(yīng)像素值來(lái)代替。n 只傳送圖像中亮度差超過(guò)

5、閾值的像素，且傳送的只是幀間差值，可以得到較好的壓縮比。n上述預(yù)測(cè)法(CFR)可獲得平均1bit/象素，壓縮比為8的結(jié)果。 4.4 預(yù)測(cè)編碼多媒體技術(shù)基礎(chǔ)及應(yīng)用11幀間預(yù)測(cè)編碼條件次取樣n條件補(bǔ)充法還可以和內(nèi)插法相結(jié)合應(yīng)用，稱為條件次取樣 ；n在時(shí)間軸采用次取樣，對(duì)于未取樣的當(dāng)前場(chǎng)的某一點(diǎn)，可以用隔場(chǎng)的四個(gè)鄰點(diǎn)的亮度均值作為該點(diǎn)亮度的預(yù)測(cè)值。 4.4 預(yù)測(cè)編碼多媒體技術(shù)基礎(chǔ)及應(yīng)用12條件次取樣（續(xù)一）條件次取樣（續(xù)一）n圖中兩場(chǎng)像素取樣點(diǎn)錯(cuò)開(kāi)半個(gè)像素，稱為梅花狀取樣。在時(shí)間軸采用次取樣。 4.4 預(yù)測(cè)編碼多媒體技術(shù)基礎(chǔ)及應(yīng)用13條件次取樣（續(xù)二）條件次取樣（續(xù)二）n在時(shí)間軸采用次取樣。預(yù)測(cè)值為

6、So=(SaSbScSd)/4;n如果像素的亮度實(shí)際值與預(yù)測(cè)值之間的差值小于閾值，則此像素信息就不傳輸；n如果這個(gè)差值超過(guò)閾值，則補(bǔ)充傳送。 4.2.2.3運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)n目前，從H.261到MPEG-1，MPEG-2都無(wú)一例外地采用“簡(jiǎn)單幀間預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償”(或者“簡(jiǎn)單幀間預(yù)測(cè)+有條件地切換為幀內(nèi)編碼”)的技術(shù)框架。nMotion Compensation運(yùn)行補(bǔ)償簡(jiǎn)寫(xiě)為MC4.4 預(yù)測(cè)編碼多媒體技術(shù)基礎(chǔ)及應(yīng)用15運(yùn)動(dòng)補(bǔ)償技術(shù)運(yùn)動(dòng)補(bǔ)償技術(shù)n它是Mpeg中使用的主要技術(shù)之一。對(duì)提高編碼壓縮比很有好處。尤其對(duì)于運(yùn)動(dòng)部分只占整個(gè)畫(huà)面較小的會(huì)議電視和可視電話，此技術(shù)后，壓縮比可以提高很多。n用這一技術(shù)計(jì)算

7、圖像中運(yùn)動(dòng)部分位移的兩個(gè)分量可使預(yù)測(cè)效果大大提高。n運(yùn)動(dòng)補(bǔ)償方法是跟蹤畫(huà)面內(nèi)的運(yùn)動(dòng)情況對(duì)其加以補(bǔ)償之后再進(jìn)行幀間預(yù)測(cè)。n這項(xiàng)技術(shù)的關(guān)鍵是運(yùn)動(dòng)向量的計(jì)算。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)通常由下面幾方面組成：把圖象分割為靜止和運(yùn)動(dòng)兩部分，并假設(shè)運(yùn)動(dòng)物體僅作平移。估計(jì)物體的位移值。用位移估值(即運(yùn)動(dòng)矢量)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。預(yù)測(cè)信息編碼運(yùn)動(dòng)估值示意圖例如圖中將當(dāng)前預(yù)測(cè)值的位置沿物體平移的方向錯(cuò)開(kāi)Dx個(gè)象素再進(jìn)行預(yù)測(cè)，稱運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。運(yùn)動(dòng)預(yù)測(cè)與補(bǔ)償技術(shù)示意運(yùn)動(dòng)預(yù)測(cè)與補(bǔ)償技術(shù)示意圖象分割(Image Segmentation)是運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的基礎(chǔ)，分割的辦法：n實(shí)際分割成不同運(yùn)動(dòng)的物體，但較困難。n把圖象分為矩形子塊，

8、將子塊分為動(dòng)與不動(dòng)兩種，估計(jì)出運(yùn)動(dòng)子塊的位移。n對(duì)每個(gè)象素的位移都進(jìn)行遞歸估計(jì)。將s0,經(jīng)行幀存儲(chǔ)后，即為前一幀的數(shù)據(jù)，把前一幀和當(dāng)前數(shù)據(jù)送進(jìn)運(yùn)動(dòng)參數(shù)估值器后就得到運(yùn)動(dòng)位移的估值，有了運(yùn)動(dòng)位移參數(shù)和前幀復(fù)原數(shù)據(jù)，就可作出當(dāng)前象素的預(yù)測(cè)值。4.2.3運(yùn)動(dòng)估值方法4.2.3.1塊匹配法Block Matching Algorithm簡(jiǎn)稱BMA，它假設(shè)塊內(nèi)各象素只作相等的平移，H.261和MPEG都采用了BMA。首先確定M*N塊與搜索區(qū)的幾何關(guān)系如下圖，用MXN子塊在搜索區(qū)內(nèi)尋求最優(yōu)匹配來(lái)得到運(yùn)動(dòng)矢量估值(dx ,dy)。塊匹配示意圖判決準(zhǔn)則：歸一化互相關(guān)函數(shù)(NCCF)均方誤差MSE幀間絕對(duì)差(M

9、AD)三種估值結(jié)果差別不大，但MAD便于計(jì)算與硬件實(shí)現(xiàn). MAD定義為：),(),(1),(111jnimSnmSMNjiMADKNnKMm其中SK表示第K幀灰度值，i,j分別為水平與垂直方向的偏移量。n搜索方法中最簡(jiǎn)單可靠的是窮盡搜索法，對(duì)搜索范圍內(nèi)每點(diǎn)都計(jì)算MAD值，最小的MAD(i,j)即對(duì)應(yīng)著最優(yōu)匹配，它共需計(jì)算(M+2Mx)(N+2My)個(gè)MAD值。塊匹配法存在的問(wèn)題：n塊尺寸的選擇，塊小的時(shí)候才可近似認(rèn)為塊內(nèi)各點(diǎn)作相等平移，但塊太小易干擾噪聲的影響，不可靠，而且矢量場(chǎng)比特?cái)?shù)多，塊大可減輕噪聲影響，但影響估值精度。而且大的塊常包含多個(gè)不同運(yùn)動(dòng)的物體，塊內(nèi)運(yùn)動(dòng)一致性難于滿足。H261和

10、MPEG的建議選1616作為“宏塊”。n估值得到的運(yùn)動(dòng)矢量場(chǎng)一致性不夠好，這是由于分割圖象為塊的緣故。n塊內(nèi)包含前景背景兩個(gè)不同區(qū)的運(yùn)動(dòng)估值，這時(shí)塊內(nèi)運(yùn)動(dòng)一致性假設(shè)不成立，還存在背景的遮擋和露出問(wèn)題。4.2.3.2像素遞歸法基本公式 Sk(x ,y)=Sk-1(x-dx ,y-dy)即若K幀的(x ,y)點(diǎn)是由K-1幀中位于(x-dx y-dy)處的點(diǎn)運(yùn)動(dòng)dx,dy過(guò)來(lái)的，則這兩點(diǎn)灰度值相等。定義偏移幀差通過(guò)修正公式(迭代)找到使DFD為最小的 ,將上述作泰勒展開(kāi)，用梯度法求解使DFD為最小的運(yùn)動(dòng)矢量 ，得迭代修正公式由于受穩(wěn)定性限制，取得很小，如1/1024，因此收斂慢。),(),(),(1yxKKyxdydxSyxSddyxDFDyxdd,TyxddD),(),(),.(11iyixKiyixiidydxSddyxDFDDD4.2.3.3相位相關(guān)法在頻域中進(jìn)行運(yùn)動(dòng)估值設(shè)Sk-1(x,y)和Sk(x,y)分別為兩幀圖象中大小為N*N的子塊，記Sk-1(x,y)的付立葉變換為則根據(jù)付立葉變換的性質(zhì)，Sk-1(x,y)的空間平移 的付立葉變換為它與Sk-1(u,v)之間相位差為:).(),(11vuSyxSFKK),()(