多媒體第三章

多媒體第三章第一頁，共一百五十九頁，2022年，8月28日3.1靜態(tài)圖像壓縮標(biāo)準(zhǔn)JPEG

第二頁，共一百五十九頁，2022年，8月28日3.1.1JPEG標(biāo)準(zhǔn)主要內(nèi)容

ISO/IEC10918號(hào)標(biāo)準(zhǔn)“多灰度連續(xù)色調(diào)靜態(tài)圖象壓縮編碼”即JPEG標(biāo)準(zhǔn),選定ADCT作為靜態(tài)圖象壓縮的標(biāo)準(zhǔn)化算法。該標(biāo)準(zhǔn)為保證通用性,包含以下兩種方式：空間方式可逆編碼空間方式對(duì)于基本系統(tǒng)和擴(kuò)展系統(tǒng)來說,被稱為獨(dú)立功能。DCT方式非可逆編碼,包含基本系統(tǒng)(必須保證的功能)和擴(kuò)展系統(tǒng)(擴(kuò)充功能)第三頁，共一百五十九頁，2022年，8月28日

3.1.1JPEG標(biāo)準(zhǔn)主要內(nèi)容（續(xù)）

基本系統(tǒng)是實(shí)現(xiàn)DCT編碼與解碼所需的最小功能集,大多數(shù)的應(yīng)用系統(tǒng)只要用此標(biāo)準(zhǔn),就能基本上滿足要求。擴(kuò)展系統(tǒng)是為了滿足更為廣闊領(lǐng)域的應(yīng)用要求而設(shè)置的。空間方式對(duì)于基本系統(tǒng)和擴(kuò)展系統(tǒng)而言，稱為獨(dú)立功能。1.基本系統(tǒng)。輸入圖像精度8位/像素/色，順序模式，Huffman編碼（編碼表DC/AC分別有2個(gè)）。2.擴(kuò)展系統(tǒng)。輸入圖像精度12位/像素/色，累進(jìn)模式，Huffman編碼（編碼表DC/AC分別有4個(gè)）。3.獨(dú)立功能。輸入圖像精度2-16位/像素/色，序列模式，Huffman編碼（編碼表有4個(gè)），算術(shù)編碼。第四頁，共一百五十九頁，2022年，8月28日3.1.2JPEG靜態(tài)圖像壓縮算法兩種：1.基于DCT的有失真的壓縮算法。2.基于空間線性預(yù)測(cè)技術(shù)（DPCM）的無失真壓縮算法。第五頁，共一百五十九頁，2022年，8月28日1.

基于DPCM的無失真編碼

預(yù)測(cè)器熵編碼器表說明無失真編碼器源圖象數(shù)據(jù)壓縮圖象數(shù)據(jù)無失真編碼簡(jiǎn)化框圖第六頁，共一百五十九頁，2022年，8月28日基于DPCM的無失真編碼優(yōu)點(diǎn)是硬件易實(shí)現(xiàn)，重建圖象質(zhì)量好。缺點(diǎn)是壓縮比太低,大約為2:1。第七頁，共一百五十九頁，2022年，8月28日預(yù)測(cè)器的工作原理是對(duì)X的預(yù)測(cè)值X’,將X-X’進(jìn)行無失真熵編碼。對(duì)X’的求法見圖給出的預(yù)測(cè)方式。

cbax選擇值預(yù)測(cè)選擇值預(yù)測(cè)0123非預(yù)測(cè)

abc4567a+b-ca+(b-c)/2b+(a-c)/2(a+b)/2(a)X鄰域(b)

預(yù)測(cè)方式預(yù)測(cè)器第八頁，共一百五十九頁，2022年，8月28日2.基于DCT的有失真壓縮編碼

該算法包括基本系統(tǒng)和增強(qiáng)系統(tǒng)。離散余弦變換量化處理DC系數(shù)的編碼和AC系數(shù)的行程編碼熵編碼第九頁，共一百五十九頁，2022年，8月28日基于DCT編碼過程FDCT熵編碼器表說明無失真編碼器源圖象數(shù)據(jù)壓縮圖象數(shù)據(jù)量化器表說明88塊（YUV每個(gè)分量）第十頁，共一百五十九頁，2022年，8月28日解碼過程熵解碼器IDCT表說明解碼器逆量化器表說明88塊壓縮圖象數(shù)據(jù)恢復(fù)的圖象數(shù)據(jù)第十一頁，共一百五十九頁，2022年，8月28日離散余弦變換

(1)首先把原始圖象順序分割成8×8子塊;(2)采樣精度為P位(二進(jìn)制),把[0,2P-1]范圍的無符號(hào)數(shù)變換成[-2P-1,2P-1]范圍的有符號(hào)數(shù),作為離散余弦正變換(FDCT)的輸入;(3)在輸出端經(jīng)離散余弦逆變換(IDCT)后又得到一系列8×8子塊,需將數(shù)值范圍[-2P-1,2P-1]變換回[0,2P-1]來重構(gòu)圖象。第十二頁，共一百五十九頁，2022年，8月28日這里用的8×8FDCT的數(shù)學(xué)定義為：

F(u,v)=(1/4)C(u)C(v)

[∑x=07∑y=07

f(x,y)·cos((2x+1)u/16)·cos((2y+1)v/16)]

8×8IDCT的數(shù)學(xué)定義為：

f(x,y)=(1/4)[∑u=07∑v=07C(u)C(v)F(u,v)·

cos((2x+1)u/16)·cos((2y+1)v/16)]

其中:C(u),C(v)=1/√2

當(dāng)u,v=0

C(u),C(v)=1

其它下面的編碼針對(duì)FDCT輸出的64個(gè)基信號(hào)的幅值(F(0,0),…,F(7,7)稱作DCT系數(shù))來進(jìn)行第十三頁，共一百五十九頁，2022年，8月28日量化處理

量化是一個(gè)“多到一”的過程,失真原因。關(guān)鍵是找最小量化失真的量化器,JPEG采用線性均勻量化器,定義為對(duì)64個(gè)DCT系數(shù)除以量化步長(zhǎng),然后四舍五入取整:FQ(u,v)=IntegerRound[F(u,v)/Q(u,v)]Q(u,v)是量化器步長(zhǎng),它是量化表的元素。量化表元素隨DCT系數(shù)的位置和彩色分量不同有不同的值,量化表尺寸為8×8與64個(gè)變換系數(shù)一一對(duì)應(yīng)。這個(gè)量化表應(yīng)由用戶規(guī)定(JPEG給出參考值-見表2.2,2.3),并作為編碼器的一個(gè)輸入。第十四頁，共一百五十九頁，2022年，8月28日

1611101624405161121214192658605514131624405769561417222951878062182237566810910377243555648110411392496478871031211201017292959811210010399亮度量化表第十五頁，共一百五十九頁，2022年，8月28日

17182447999999991821266699999999242656999999999947669999999999999999999999999999999999999999999999999999999999999999999999999999色度量化表第十六頁，共一百五十九頁，2022年，8月28日

量化的作用:在一定主觀保真度圖象質(zhì)量前提下,丟掉那些對(duì)視覺影響不大的信息,通過量化可調(diào)節(jié)數(shù)據(jù)壓縮比。第十七頁，共一百五十九頁，2022年，8月28日

DC系數(shù)的編碼

64個(gè)變換系數(shù)經(jīng)量化后,坐標(biāo)u=v=0的F(0,0)稱DC系數(shù)(直流分量),它即64個(gè)空域圖象采樣值的平均值。相鄰8×8塊之間DC系數(shù)有強(qiáng)相關(guān)性。JPEG對(duì)量化后的DC系數(shù)采用DPCM編碼,即對(duì)DIFF=DCi-DCi-1編碼?！璪locki-1blockiDCi-1DCi

DC系數(shù)差分編碼第十八頁，共一百五十九頁，2022年，8月28日AC系數(shù)的行程編碼

其余63個(gè)交流系數(shù)(AC)采用行程編碼。從左上方AC0,1開始沿對(duì)角線方向“Z”字形掃描直到AC7,7掃描結(jié)束,這樣可增加行程中連續(xù)0的個(gè)數(shù)。AC系數(shù)編碼的碼字用兩個(gè)字節(jié)表示,如圖所示:

Z字形掃描第十九頁，共一百五十九頁，2022年，8月28日AC系數(shù)行程編碼碼字兩個(gè)非0值間連續(xù)0的個(gè)數(shù)

表示下一個(gè)非0值需要的bit數(shù)

下一個(gè)非0實(shí)際值7430字節(jié)1字節(jié)2例子：對(duì)“…,3,0,0,0,0,0,12,0,0,…”編碼…,(5,4),(12),….第二十頁，共一百五十九頁，2022年，8月28日熵編碼

為了進(jìn)一步壓縮數(shù)據(jù),需對(duì)DC碼和AC行程編碼的碼字再做基于統(tǒng)計(jì)特性的熵編碼。JPEG建議的熵編碼是Huffman編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。熵編碼可分成兩步進(jìn)行:把DC碼和AC行程碼轉(zhuǎn)換為中間符號(hào)序列給這些符號(hào)賦以變長(zhǎng)碼字

第二十一頁，共一百五十九頁，2022年，8月28日AC系數(shù)熵編碼的中間格式

熵編碼的中間格式由兩個(gè)符號(hào)組成:符號(hào)1:(行程,尺寸)符號(hào)2:(幅值)第一個(gè)信息參數(shù)“行程”表示前后兩個(gè)非0的AC系數(shù)之間連續(xù)0的個(gè)數(shù)。第二個(gè)信息參數(shù)“尺寸”是后一個(gè)非0的AC系數(shù)幅值編碼所需比特?cái)?shù)。第二十二頁，共一百五十九頁，2022年，8月28日行程取值范圍為1～15,超過15時(shí)用擴(kuò)展符號(hào)1(15,0)來擴(kuò)充,63個(gè)AC系數(shù)最多增加3個(gè)擴(kuò)展符號(hào)1。編碼結(jié)束時(shí)用(0,0)表示?！俺叽纭比≈捣秶鸀?～10?！胺怠庇靡员硎痉?的AC系數(shù)的值,范圍為［-210,210-1］(最長(zhǎng)10bit),結(jié)構(gòu)形式如表2-4所示。第二十三頁，共一百五十九頁，2022年，8月28日1-1,12-3..-2,2..33-7..-4,4..74-15..-8,8..1567……89-511..-256,256…51110-1023..-512,512…1023符號(hào)2結(jié)構(gòu)第二十四頁，共一百五十九頁，2022年，8月28日DC系數(shù)的熵編碼對(duì)于直流分量DC也有類似于AC系數(shù)的編碼格式符號(hào)1：(尺寸)符號(hào)2：(幅值)“尺寸”表示DC差值的幅值編碼所需的比特?cái)?shù),而“幅值”表示DC差值的幅值,范圍為［-211,211-1］。可在表2.4中多加一級(jí),幅值尺寸以1到11比特表示。將63個(gè)AC系數(shù)表示成為符號(hào)1和符號(hào)2序列,其中連續(xù)0的長(zhǎng)度超過15時(shí),有多個(gè)符號(hào)1;塊結(jié)束(EOB)時(shí)僅有一個(gè)符號(hào)1(0,0)。第二十五頁，共一百五十九頁，2022年，8月28日

“…4,0,0,0,0,0,0,0,……0,3,0”.4,3之間有31個(gè)0.

(15,0),(15,0),(1,2),(3)可變長(zhǎng)度熵編碼就是對(duì)上述序列進(jìn)行變長(zhǎng)編碼。對(duì)DC系數(shù)、AC系數(shù)中的符號(hào)1采用Huffman表中的變長(zhǎng)碼編碼(VLC),這里Huffman變長(zhǎng)碼表必須作為JPEG編碼器輸入。符號(hào)2用碼字長(zhǎng)度在表2.4中給出的變長(zhǎng)整數(shù)VLI碼編碼。VLI是變長(zhǎng)碼,但不是Huffman碼。VLI的長(zhǎng)度存放在VLC中,JPEG提供VLI碼字表供用戶使用第二十六頁，共一百五十九頁，2022年，8月28日J(rèn)PEG提供2套Huffman碼表:亮度和色度。每套又有DC表和AC表各1個(gè)。共有4個(gè)表。表定義（亮度DC系數(shù)碼表）

16B說明碼字長(zhǎng)度：

X’00010501010101010100000000000000’

第i個(gè)(1-16)元素值表示長(zhǎng)度為i的Huffman碼個(gè)數(shù)。緊跟一組值說明亮度表分類：

X’000102030405060708090A0B’第二十七頁，共一百五十九頁，2022年，8月28日亮度DC系數(shù)表分類碼長(zhǎng)碼字分類碼長(zhǎng)碼字0200641110130107511110230118611111033100971111110431011081111111053110119111111110第二十八頁，共一百五十九頁，2022年，8月28日色度DC系數(shù)表分類碼長(zhǎng)碼字分類碼長(zhǎng)碼字0200661111101201771111110221088111111103311099111111110441110101011111111105511110111111111111110第二十九頁，共一百五十九頁，2022年，8月28日J(rèn)PEG壓縮效果評(píng)價(jià)壓縮效果(比特/象素)

質(zhì)量0.25~0.50

中~好0.50~0.75

好~很好0.75~1.5

極好1.2~2.0

與原始圖象分不出來第三十頁，共一百五十九頁，2022年，8月28日3.基于DCT的累進(jìn)操作方式編碼

順序方式:每個(gè)圖象分量的編碼一次掃描完成的;

累進(jìn)方式:圖象分量編碼要經(jīng)過多次掃描才完成。累進(jìn)方式第一次掃描只進(jìn)行一次粗糙圖象的掃描壓縮,以相對(duì)于總的傳輸時(shí)間快得多的時(shí)間傳輸粗糙圖象,并重建一幀質(zhì)量較低的可識(shí)別圖象;在隨后的掃描中再對(duì)圖象作較細(xì)的壓縮,這時(shí)只傳遞增加的信息,可重建一幅質(zhì)量提高一些的圖象。這樣不斷累進(jìn),直到滿意的圖象為止。第三十一頁，共一百五十九頁，2022年，8月28日為了實(shí)現(xiàn)累進(jìn)的操作：需在量化器的輸出與熵編碼的輸入之間,增加一個(gè)足以存儲(chǔ)量化后DCT系數(shù)的緩沖區(qū),對(duì)緩沖區(qū)中存儲(chǔ)的DCT系數(shù)多次掃描,分批編碼。兩種累進(jìn)方式：頻譜選擇法掃描中，只對(duì)64個(gè)DCT變換系數(shù)中某些頻帶的系數(shù)進(jìn)行編碼、傳送,隨后對(duì)其它頻帶編碼、傳送,直到全部系數(shù)傳送完畢為止。按位逼近法沿著DCT量化系數(shù)有效位（表示系數(shù)精度的位數(shù)）方向分段累進(jìn)編碼。如第1次掃描只取最高有效位的n位編碼、傳送,然后對(duì)其余位進(jìn)行編碼、傳送。第三十二頁，共一百五十九頁，2022年，8月28日4.基于DCT的分層操作方式

分層方式是對(duì)一幅原始圖象的空間分辨率,分成多個(gè)分辨率進(jìn)行“錐形”的編碼方法,水平(垂直)方向分辨率的下降以2的倍數(shù)因子改變。

分層操作方式第三十三頁，共一百五十九頁，2022年，8月28日分層操作方式的過程(1)把原始圖象空間分辨率降低。(2)對(duì)已降低分辨率的圖象采用基于DCT的順序方式、累進(jìn)方式或無失真預(yù)測(cè)編碼中的任何一種編碼方法進(jìn)行編碼。(3)對(duì)低分辨率的圖象解碼,重建圖象,使用插值濾波器,對(duì)它插值,恢復(fù)圖象的水平和垂直分辨率。(4)把分辨率已升高的圖象作為原始圖象的預(yù)測(cè)值,對(duì)它們的差值采用基于DCT的順序方式、累進(jìn)方式或用無失真方式進(jìn)行編碼。(5)重復(fù)(3)、(4)直到圖象達(dá)到完整的分辨率編碼。第三十四頁，共一百五十九頁，2022年，8月28日3.1.3JPEG2000簡(jiǎn)介基于Internet的多媒體應(yīng)用，給圖像編碼提出了新的要求。2000年12月公布的新的JPEG2000標(biāo)準(zhǔn)(ISO15444),其目標(biāo)是在高壓縮率情況下保證圖像傳輸質(zhì)量。JPEG中采用DCT變換為主的分塊編碼，考察整個(gè)時(shí)域過程的頻域特征或整個(gè)頻域過程的時(shí)域特征。JPEG2000采用以小波變換為主的多分辨率編碼方式。JPEG2000統(tǒng)一了面向靜態(tài)圖像和二值圖像的編碼方式,是既支持低比率壓縮又支持高比率壓縮的通用編碼方式。第三十五頁，共一百五十九頁，2022年，8月28日

該算法主要特點(diǎn)如下：(1)高壓縮率。與JPEG相比,可修復(fù)約30％的速率失真特性。JPEG和JPEG2000在壓縮率相同時(shí),JPEG2000的信噪比將提高30％左右;(2)無損壓縮。預(yù)測(cè)編碼作為對(duì)圖像進(jìn)行無損編碼的成熟方法被集成在JPEG2000中;(3)漸進(jìn)傳輸。JPEG2000可實(shí)現(xiàn)以空間清晰度和信噪比為首的各種可調(diào)節(jié)性,從而實(shí)現(xiàn)漸進(jìn)傳輸,即具有“漸現(xiàn)”特性.第三十六頁，共一百五十九頁，2022年，8月28日（4)感興趣區(qū)域壓縮。JPEG2000支持所謂的“感興趣區(qū)域”?？梢灾付▓D像上感興趣區(qū)域的壓縮量，還可以指定的部分先解壓縮。關(guān)注：1.糾錯(cuò)能力強(qiáng)。2.可以指定最后文件尺寸大小。適合帶寬受到限制的Web系統(tǒng)和無線網(wǎng)絡(luò)上傳輸。第三十七頁，共一百五十九頁，2022年，8月28日3.2運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)MPEG第三十八頁，共一百五十九頁，2022年，8月28日3.2.1MPEG標(biāo)準(zhǔn)簡(jiǎn)介MPEG標(biāo)準(zhǔn)是面向運(yùn)動(dòng)圖象壓縮的一個(gè)系列標(biāo)準(zhǔn)。最初MPEG專家組工作項(xiàng)目是3個(gè),即在1.5Mbps,10Mbps,40Mbps傳輸速率下圖象編碼,分別命名為MPEG-1,MPEG-2,MPEG-3。MPEG-3后被取消.1992，MPEG-2使用范圍擴(kuò)大到HDTV，可以支持MPEG-3的所有功能，因此MPEG-3被取消。為了滿足不同的應(yīng)用要求,MPEG又將陸續(xù)增加其它一些標(biāo)準(zhǔn)MPEG-4,MPEG-7,MPEG-21。第三十九頁，共一百五十九頁，2022年，8月28日

MPEG算法編碼過程和解碼過程是一種非鏡象對(duì)稱算法(不對(duì)稱),解碼過程要比編碼過程相對(duì)簡(jiǎn)單些。MPEG-1和MPEG-2只規(guī)定了解碼的方案,重點(diǎn)將解碼算法標(biāo)準(zhǔn)化。因而用硬件實(shí)現(xiàn)MPEG算法時(shí),人們首先實(shí)現(xiàn)MPEG的解碼器,如C-Cube公司CL450解碼器系列。隨著MPC性能提高,軟件解壓功能得到支持。第四十頁，共一百五十九頁，2022年，8月28日3.2.2MPEG-1系統(tǒng)

“用于數(shù)字存儲(chǔ)媒體運(yùn)動(dòng)圖象及其伴音速率為1.5Mbps的壓縮編碼”簡(jiǎn)稱MPEG-1,作為ISO/IEC11172號(hào)建議于1992年通過。主要用于在CD-ROM存儲(chǔ)運(yùn)動(dòng)視頻圖像,它針對(duì)標(biāo)準(zhǔn)分辨率(NTSC制為352×240;PAL制為352×288)的圖像進(jìn)行壓縮,每秒30幀畫面,具備CD音質(zhì)。它還用于數(shù)字電話網(wǎng)絡(luò)上的視頻傳輸,如非對(duì)稱數(shù)字用戶線路(ADSL)、視頻點(diǎn)播、教育網(wǎng)絡(luò)等。使用MPEG-1的壓縮算法,可將一部120分鐘長(zhǎng)的電影壓縮到1.2GB左右。因此,它被廣泛地應(yīng)用于VCD制作。第四十一頁，共一百五十九頁，2022年，8月28日MPEG-1分為5個(gè)部分(1)MPEG系統(tǒng)(11172-1),定義音頻、視頻及有關(guān)數(shù)據(jù)的同步;(2)MPEG視頻(11172-2),定義視頻數(shù)據(jù)的編碼和重建圖象所需的解碼過程,亮度信號(hào)分辨率為360×240,色度信號(hào)分辨率為180×120;(3)MPEG音頻(11172-3),定義音頻數(shù)據(jù)的編碼和解碼;(4)一致性測(cè)試(11172-4);(5)軟件模擬的技術(shù)報(bào)告(11172-5)。第四十二頁，共一百五十九頁，2022年，8月28日

MPEG-1解碼器原型第四十三頁，共一百五十九頁，2022年，8月28日MPEG-1編解碼器原型:1.多路復(fù)合而成的碼流假設(shè)以介質(zhì)特定格式存儲(chǔ)在數(shù)字存儲(chǔ)介質(zhì)(DSM)或網(wǎng)絡(luò)上,標(biāo)準(zhǔn)不規(guī)定介質(zhì)特定格式。2.系統(tǒng)解碼器從輸入多路復(fù)合流中抽取定時(shí)信息,并對(duì)輸入流進(jìn)行分流處理,輸出兩個(gè)基本流分別給視頻和音頻解碼器。3.視頻和音頻解碼器分別解碼輸出視頻和聲音信號(hào)。

第四十四頁，共一百五十九頁，2022年，8月28日

4.系統(tǒng)、視頻、音頻和介質(zhì)4個(gè)解碼器之間用定時(shí)信息進(jìn)行同步。5.多路復(fù)合流構(gòu)造為2層:系統(tǒng)層和壓縮層。系統(tǒng)解碼輸入的是系統(tǒng)層;而視頻、音頻解碼器輸入的是壓縮層。第四十五頁，共一百五十九頁，2022年，8月28日

6.系統(tǒng)解碼器執(zhí)行兩類操作:一類是作用在整個(gè)多路復(fù)合流上的操作,稱為復(fù)合流操作;另一類是作用在單個(gè)基本流上的操作,稱為特定流操作。7.系統(tǒng)層分為兩個(gè)子層:一個(gè)子層稱為包(pack),是復(fù)合流操作對(duì)象;另一個(gè)子層稱為組(packet),它用于特定流操作。第四十六頁，共一百五十九頁，2022年，8月28日

MPEG音頻標(biāo)準(zhǔn)的特點(diǎn):1.音頻信號(hào)采樣率可以是32KHz,44.1KHz或48KHz。2.壓縮后的比特流可以按以下4種模式之一支持單聲道或雙聲道:提供給單音頻通道的單聲道模式；提供給兩個(gè)獨(dú)立的單音頻通道的雙-單聲道模式；提供給立體聲通道的立體聲模式；聯(lián)合立體聲模式,利用立體聲通道之間的關(guān)聯(lián)或通道之間相位差的無關(guān)性,或者對(duì)兩者同時(shí)利用。第四十七頁，共一百五十九頁，2022年，8月28日

3.MPEG音頻標(biāo)準(zhǔn)提供3個(gè)獨(dú)立的壓縮層次,用戶可在復(fù)雜性和壓縮質(zhì)量之間權(quán)衡選擇。層1最簡(jiǎn)單,使用比特率384Kbps,主要用于DCC;層2的復(fù)雜度中等,使用比特率192Kbps左右,主要應(yīng)用于數(shù)字廣播的音頻編碼、CD-ROM上的音頻信號(hào)以及CD-I和VCD。層3最為復(fù)雜,使用比特率64Kbps,尤其適用于ISDN上的音頻傳輸,有損壓縮但音質(zhì)保持逼真效果。MP3音樂是利用MPEGAudioLayer3的技術(shù),聲音采用1:10甚至1:12的壓縮率第四十八頁，共一百五十九頁，2022年，8月28日

4.壓縮后的比特流具有預(yù)定義的比特率之一。MPEG音頻標(biāo)準(zhǔn)也支持用戶使用預(yù)定義的比特率之外的比特率。5.編碼后的比特流支持循環(huán)冗余校驗(yàn)(CRC)。6.MPEG音頻標(biāo)準(zhǔn)還支持在比特流中載帶附加信息。MPEG-1音頻壓縮算法是第一個(gè)高保真音頻壓縮國(guó)際標(biāo)準(zhǔn)，可完全獨(dú)立的應(yīng)用。第四十九頁，共一百五十九頁，2022年，8月28日

MPEG視頻數(shù)據(jù)流的結(jié)構(gòu)

運(yùn)動(dòng)圖象序列圖片組圖片圖片切片宏塊塊8象素8象素MPEG-1數(shù)據(jù)結(jié)構(gòu)第五十頁，共一百五十九頁，2022年，8月28日

1.運(yùn)動(dòng)序列包括一個(gè)表頭，一組或多組圖像和序列結(jié)束標(biāo)志碼。2.圖象組由一系列圖像組成，可以從運(yùn)動(dòng)序列中隨機(jī)存取。3.圖像圖象信號(hào)分3個(gè)部分:

一個(gè)亮度信號(hào)Y和兩個(gè)色度信號(hào)U、V。亮度信號(hào)Y由偶數(shù)個(gè)行和偶數(shù)個(gè)列組成，色度信號(hào)U、V取Y信號(hào)在水平和垂直方向的1/2。如下圖所示：第五十一頁，共一百五十九頁，2022年，8月28日黑點(diǎn)代表色度U、V位置,亮度Y位置用白圈表示。色度和亮度的位置關(guān)系第五十二頁，共一百五十九頁，2022年，8月28日

4.塊:一個(gè)塊由一個(gè)8×8的亮度信息或色度信息組成。5.宏塊一個(gè)宏塊由一個(gè)16×16的亮度信息和兩個(gè)8×8色度信息構(gòu)成，如圖所示。6.圖象切片由一個(gè)或多個(gè)連續(xù)的宏塊構(gòu)成。

YUV8X88X8123456宏塊的組成第五十三頁，共一百五十九頁，2022年，8月28日

3.2.4MPEG-1視頻編碼技術(shù)

主要問題:一方面使用幀內(nèi)編碼無法達(dá)到很高的壓縮比，另一方面用單一的靜止幀內(nèi)編碼方法能最好地滿足隨機(jī)存取的要求。解決方法：對(duì)這兩個(gè)方面做了折衷考慮。即為了減少時(shí)間上冗余性的基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)和基于DCT變換的減少空間上冗余性的ADCT技術(shù)。第五十四頁，共一百五十九頁，2022年，8月28日在MPEG中將圖象分為3種類型：I圖象利用圖象自身的相關(guān)性壓縮,提供壓縮數(shù)據(jù)流中的隨機(jī)存取的點(diǎn).P圖象用最近的前一個(gè)I圖象(或P圖象)預(yù)測(cè)編碼得到(前向預(yù)測(cè))。B圖象B圖象在預(yù)測(cè)時(shí),既可使用了前一個(gè)圖象作參照,也可使用下一個(gè)圖象做參照或同時(shí)使用前后兩個(gè)圖象作為參照?qǐng)D象(雙向預(yù)測(cè))。1.圖像類型第五十五頁，共一百五十九頁，2022年，8月28日幀間預(yù)測(cè)1I2B3B4B5P6B7B8B1I前向預(yù)測(cè)雙向預(yù)測(cè)第五十六頁，共一百五十九頁，2022年，8月28日

1秒?yún)⒄諑g有2個(gè)B圖象

每0.5秒1幀I圖象123456789101112131415161718192021222324252627282930IBBPBBPBBPBBPBBIBBPBBPBBPBBPBB典型的圖象類型的顯示次序2.運(yùn)動(dòng)序列流的組成

第五十七頁，共一百五十九頁，2022年，8月28日傳輸順序MPEG編碼器需對(duì)上述圖象重新排序,以便解碼器高效工作,因?yàn)閰⒄請(qǐng)D象必須先于B圖象恢復(fù)之前恢復(fù)。上述1～7幀圖象重排后圖象組次序?yàn)椋?213756IPBBPBB第五十八頁，共一百五十九頁，2022年，8月28日3.運(yùn)動(dòng)補(bǔ)償技術(shù)運(yùn)動(dòng)補(bǔ)償技術(shù):

用于消除P圖象和B圖象在時(shí)間上的冗余性，提高壓縮效率。

MPEG中,運(yùn)動(dòng)補(bǔ)償技術(shù)工作在宏塊一級(jí)。B圖象每16*16宏塊有4種類型

幀內(nèi)宏塊,簡(jiǎn)稱I塊；前向預(yù)測(cè)宏塊,簡(jiǎn)稱F塊；后向預(yù)測(cè)宏塊,簡(jiǎn)稱B塊；平均宏塊,簡(jiǎn)稱A塊。對(duì)于P圖象,其宏塊只有I塊和F塊兩種。第五十九頁，共一百五十九頁，2022年，8月28日無論B圖象和P圖象,I塊處理技術(shù)都與I圖象中采用技術(shù)一致即ADCT技術(shù)。對(duì)于F塊、B塊和A塊,MPEG都采用基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)。F塊預(yù)測(cè)時(shí)其參照為前一個(gè)I圖象或P圖象B塊預(yù)測(cè)時(shí)其參照為后一個(gè)I圖象或P圖象對(duì)于A塊預(yù)測(cè)其參照為前后兩個(gè)I圖象或P圖象第六十頁，共一百五十九頁，2022年，8月28日基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù),就是在其參照幀中尋找符合一定條件,當(dāng)前被預(yù)測(cè)塊的最佳匹配塊。找到匹配塊后,有兩種處理方法：一是在恢復(fù)被預(yù)測(cè)塊時(shí),用匹配塊代替；二是對(duì)預(yù)測(cè)的誤差采用ADCT技術(shù)編碼,在恢復(fù)被預(yù)測(cè)塊時(shí),用匹配塊加上預(yù)測(cè)誤差。第六十一頁，共一百五十九頁，2022年，8月28日宏塊的預(yù)測(cè)方式宏塊類型預(yù)測(cè)器預(yù)測(cè)誤差I(lǐng)塊I1(X)=128I1(X)-I1(X)F塊I1(X)=I0(X+mv01)I1(X)-I1(X)B塊I1(X)=I2(X+mv21)I1(X)-I1(X)A塊I1(X)=(I0(X+mv01)+I2(X+mv21))/2I1(X)-I1(X)第六十二頁，共一百五十九頁，2022年，8月28日3.運(yùn)動(dòng)補(bǔ)償技術(shù)（續(xù)）MPEG標(biāo)準(zhǔn)只說明了怎樣表示運(yùn)動(dòng)信息，如根據(jù)運(yùn)動(dòng)補(bǔ)償類型，前向預(yù)測(cè)、后向預(yù)測(cè)、雙向預(yù)測(cè)等，每個(gè)16*16宏塊可包含有一個(gè)或兩個(gè)運(yùn)動(dòng)矢量。并沒有說明運(yùn)動(dòng)矢量如何計(jì)算，但它采用基于塊的表示方法，使用塊匹配技術(shù)是可行的。通過搜索當(dāng)前圖像宏塊與參照?qǐng)D像之間的誤差可獲得運(yùn)動(dòng)向量。第六十三頁，共一百五十九頁，2022年，8月28日4.MPEG-1視頻系統(tǒng)MPEG-1視頻提供了統(tǒng)一的編碼格式描述存儲(chǔ)在各種數(shù)字存儲(chǔ)媒體上經(jīng)過壓縮的視頻信息。塌縮定義的主要受限參數(shù)包括：畫面橫向尺寸≤768像素，畫面縱向尺寸≤576像素，畫面區(qū)域≤396宏塊；像素速率≤396*25宏塊/秒；畫面速率≤30Hz；比特速率≤1856000bps。該標(biāo)準(zhǔn)不規(guī)定編碼過程，但確定比特流的語法和語義。下面是編碼器的主要模塊：第六十四頁，共一百五十九頁，2022年，8月28日4.MPEG-1視頻系統(tǒng)

簡(jiǎn)化的視頻編碼框圖

第六十五頁，共一百五十九頁，2022年，8月28日基本的視頻解碼器框圖

第六十六頁，共一百五十九頁，2022年，8月28日3.2.5MPEG-2標(biāo)準(zhǔn)MPEG-2標(biāo)準(zhǔn)名稱為“運(yùn)動(dòng)圖像及其伴音信息的通用編碼”，(ISO/IEC13818)標(biāo)準(zhǔn)制定于1994年。該標(biāo)準(zhǔn)10個(gè)部分：1.MPEG-2系統(tǒng)，規(guī)定音頻、視頻及有關(guān)數(shù)據(jù)的同步；2.MPEG-2視頻，規(guī)定視頻數(shù)據(jù)的編碼和解碼；3.MPEG-2音頻，規(guī)定音頻數(shù)據(jù)的編碼和解碼；4.MPEG-2一致性測(cè)試；5.MPEG-2軟件模擬；6.MPEG-2數(shù)字存儲(chǔ)媒體；7.MPEG-2高級(jí)聲音編碼；8.MPEG-2系統(tǒng)解碼器實(shí)時(shí)接口擴(kuò)展標(biāo)準(zhǔn)；9.MPEG-2DSM-CC一致性測(cè)試；10.MPEG-2高級(jí)聲音編碼標(biāo)準(zhǔn)。第六十七頁，共一百五十九頁，2022年，8月28日3.2.5MPEG-2標(biāo)準(zhǔn)（續(xù)）MPEG-2標(biāo)準(zhǔn)的系統(tǒng)功能是將一個(gè)或多個(gè)音頻、視頻或其它的基本數(shù)據(jù)流合成單個(gè)或多個(gè)數(shù)據(jù)流，以適應(yīng)存儲(chǔ)和傳輸。MPEG-2系統(tǒng)具有5個(gè)基本功能：1.解碼時(shí)多壓縮流的同步；2.將多個(gè)壓縮流交織成單個(gè)數(shù)據(jù)流；3.解碼時(shí)緩沖器初始化；4.緩沖區(qū)管理；5.時(shí)間識(shí)別。第六十八頁，共一百五十九頁，2022年，8月28日3.2.5MPEG-2標(biāo)準(zhǔn)它利用網(wǎng)絡(luò)3～100Mbps的數(shù)據(jù)傳輸率來支持具有更高分辨率圖象的壓縮和更高的圖象質(zhì)量。MPEG-2可支持交迭圖象序列,支持可調(diào)節(jié)性編碼,多種運(yùn)動(dòng)估計(jì)方式,提供一個(gè)較廣的范圍改變壓縮比,以適應(yīng)不同畫面質(zhì)量、存儲(chǔ)容量和帶寬的要求。它與MPEG-1兼容基礎(chǔ)上實(shí)現(xiàn)了低碼率和多聲道擴(kuò)展：MPEG-2可以將一部120分鐘長(zhǎng)的電影壓縮到4～8GB(DVD質(zhì)量),其音頻編碼可提供左右中及兩個(gè)環(huán)繞聲道、一個(gè)加重低音聲道和多達(dá)7個(gè)伴音聲道。第六十九頁，共一百五十九頁，2022年，8月28日

除了作為DVD指定標(biāo)準(zhǔn)外，MPEG-2還可用于為廣播、有線電視網(wǎng)、電纜網(wǎng)絡(luò)等提供廣播級(jí)數(shù)字視頻.MPEG-2Video定義了不同的功能檔次(Profiles)每個(gè)檔次又分為幾個(gè)等級(jí)(Levels),一個(gè)等級(jí)為N的解碼器能夠?qū)ψ罡邽樵摰燃?jí)的數(shù)碼流解碼。

第七十頁，共一百五十九頁，2022年，8月28日5個(gè)檔次簡(jiǎn)單型（Simple）基本型（Main）信噪比可調(diào)型（SNRScalable）空間可調(diào)型（SpatialScalable）增強(qiáng)型（High）第七十一頁，共一百五十九頁，2022年，8月28日4個(gè)等級(jí)低級(jí)（Low）35228830,它面向VCR并與MPEG-1兼容；基本級(jí)（Main）72046030或72057625，它面向視頻廣播信號(hào)；高1440級(jí)（High-1440）1440108030或1440115225，它面向HDTV；高級(jí)（High）1920108030或1920115225，它面向HDTV。

第七十二頁，共一百五十九頁，2022年，8月28日11種規(guī)范高級(jí)的基本型MP@HL高級(jí)的增強(qiáng)型HP@HL高-1440級(jí)的基本型MP@H1440高-1440級(jí)的空間可調(diào)型SSP@H1440高-1440級(jí)的的增強(qiáng)型HP@H1440基本級(jí)的簡(jiǎn)單型SP@ML基本級(jí)基本型MP@ML基本級(jí)的信噪比可調(diào)型SNP@ML基本級(jí)的增強(qiáng)型HP@ML低級(jí)的基本型MP@LL低級(jí)的信噪比可調(diào)型SNP@LL第七十三頁，共一百五十九頁，2022年，8月28日MPEG-2音頻基本特性之一是向后與MPEG-1音頻兼容?？梢允?.1也可以是7.1通道的環(huán)繞立體聲。5.1也稱為“3/2-立體聲加LFE”,其含義是播音現(xiàn)場(chǎng)前面可有3個(gè)喇叭通道(左、中、右),后面可有2個(gè)環(huán)繞聲喇叭通道。LFE是低頻音效加強(qiáng)通道。7.1通道環(huán)繞立體聲與5.1類似,它另有中左、中右2個(gè)喇叭通道。第七十四頁，共一百五十九頁，2022年，8月28日MPEG-2還支持線性PCM和DolbyAC-3編碼。DolbyAC-3支持5個(gè)聲道（左、中、右、左環(huán)繞、右環(huán)繞）和0.1HZ以下的低聲音音效聲道，聲音樣本精度為20位，每個(gè)聲音的采樣率可以是32khz、44.1khz、48khz，最大聲音速率為448kbps.線性PCM可支持8個(gè)聲道，聲音樣本精度為16/20/24位，每個(gè)聲音的采樣率可以是48khz或96khz，最大聲音速率為6.144Mbps.第七十五頁，共一百五十九頁，2022年，8月28日2.MPEG-2編碼方法

MPEG-2的編碼方法和MPEG-1區(qū)別主要是在隔行掃描制式下,DCT變換是在場(chǎng)內(nèi)還是在幀內(nèi)進(jìn)行由用戶自行選擇,亦可自適應(yīng)選擇。一般情況下,對(duì)細(xì)節(jié)多、運(yùn)動(dòng)部分少的圖象在幀內(nèi)進(jìn)行DCT,而細(xì)節(jié)少、運(yùn)動(dòng)分量多的圖象在場(chǎng)內(nèi)進(jìn)行DCT。MPEG-2采用可調(diào)型和非可調(diào)型兩種編碼結(jié)構(gòu)。還可以使用一個(gè)基本層加上多個(gè)增強(qiáng)型的多層編碼結(jié)構(gòu),這由用戶按質(zhì)量和壓縮比要求選擇使用.第七十六頁，共一百五十九頁，2022年，8月28日MPEG-2亮度宏塊結(jié)構(gòu)第七十七頁，共一百五十九頁，2022年，8月28日空間可調(diào)型MPEG-2編碼器原理框圖第七十八頁，共一百五十九頁，2022年，8月28日MPEG-2編碼方法MPEG-2算法編碼過程和解碼過程是一種非鏡像對(duì)稱算法，即運(yùn)動(dòng)圖像的壓縮編碼過程與還原解碼過程是不對(duì)稱算法，解碼過程比編碼過程相對(duì)簡(jiǎn)單。MPEG-1和MPEG-2只規(guī)定了解碼的方案，重點(diǎn)將解碼算法標(biāo)準(zhǔn)化。第七十九頁，共一百五十九頁，2022年，8月28日3.2.6MPEG-4標(biāo)準(zhǔn)MPEG-4“甚低速率視聽編碼”1998年11月公布,它針對(duì)低速率視音頻編碼,更加注重系統(tǒng)交互性和靈活性。MPEG-4引入了AV對(duì)象(AVO),使得更多的交互操作成為可能：“AV對(duì)象”可以是一個(gè)孤立的人,也可以是這個(gè)人的語音或一段背景音樂等。第八十頁，共一百五十九頁，2022年，8月28日3.2.6MPEG-4標(biāo)準(zhǔn)（續(xù)）MPEG-4對(duì)AV對(duì)象的操作主要有：

采用AV對(duì)象來表示聽覺、視覺或者視聽組合內(nèi)容；組合已有AV對(duì)象來生成復(fù)合的AV對(duì)象，并生成AV場(chǎng)景；對(duì)AV對(duì)象的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適的網(wǎng)絡(luò)來傳輸這些AV對(duì)象數(shù)據(jù)；允許接收端用戶在AV場(chǎng)景中對(duì)AV對(duì)象進(jìn)行交互操作等。第八十一頁，共一百五十九頁，2022年，8月28日3.2.6MPEG-4標(biāo)準(zhǔn)（續(xù)）MPEG-4標(biāo)準(zhǔn)主要構(gòu)成部分：(1)傳輸多媒體集成框架(DMIF)。主要用于解決交互網(wǎng)絡(luò)中、廣播環(huán)境下以及光盤應(yīng)用中多媒體應(yīng)用操作問題。它是MPEG-4制訂會(huì)話協(xié)議,用來管理多媒體數(shù)據(jù)流。通過傳輸多路合成比特信息來建立客戶端和服務(wù)器端的連接與傳輸。第八十二頁，共一百五十九頁，2022年，8月28日3.2.6MPEG-4標(biāo)準(zhǔn)（續(xù)）(2)場(chǎng)景描述。場(chǎng)景聲音視頻對(duì)象間的關(guān)系的描述體現(xiàn)在兩個(gè)層次：BIFS描述場(chǎng)景中對(duì)象的空間時(shí)間安排,觀察者可以有與這些對(duì)象交互的可能性；在較低的層次上,對(duì)象描述子定義針對(duì)每個(gè)對(duì)象的基本流的關(guān)系，并提供諸如訪問基本流需要的URL地址、譯碼器的特性、知識(shí)產(chǎn)權(quán)等其它信息。

MPEG-4具備與Web3DX3D和W3CSMIL的互操作性。XMT格式可在SMIL播放器、VRML和MPEG-4播放器間互換。第八十三頁，共一百五十九頁，2022年，8月28日3.2.6MPEG-4標(biāo)準(zhǔn)（續(xù)）

(3)音頻編碼。MPEG-4不僅支持自然聲音,而且支持合成聲音。MPEG-4的音頻部分將音頻的合成編碼和自然聲音的編碼相結(jié)合,并支持音頻的對(duì)象特征。支持MIDI和TTS.(4)視頻編碼。MPEG-4也支持對(duì)自然和合成的視覺對(duì)象的編碼。合成的視覺對(duì)象包括2D、3D動(dòng)畫和人面部表情動(dòng)畫等。(5)緩沖區(qū)管理和實(shí)時(shí)解碼。MPEG-4定義了一個(gè)系統(tǒng)解碼模式(SDM),該解碼模式描述了一種理想的處理比特流句法語義的解碼裝置,它要求特殊的緩沖區(qū)和實(shí)時(shí)模式。通過有效地管理,可以更好地利用有限的緩沖區(qū)空間。第八十四頁，共一百五十九頁，2022年，8月28日2.MPEG-4視頻編碼技術(shù)MPEG-4中的場(chǎng)景采用層次化的樹形結(jié)構(gòu)，基本的組成單位是各個(gè)視頻對(duì)象（VO）和音頻對(duì)象（AO)。邏輯結(jié)構(gòu)分為如下層次：1.VS，是視頻碼流中最高層的語法結(jié)構(gòu)，與完整的MPEG-4可視場(chǎng)景相對(duì)應(yīng)，可以包括一個(gè)或多個(gè)VO；第八十五頁，共一百五十九頁，2022年，8月28日2.VO，與場(chǎng)景中一個(gè)特定對(duì)象相對(duì)應(yīng)，可以是矩形幀，也可以是任意形狀。3.VOL，每個(gè)VO可以采用多個(gè)VOL，實(shí)現(xiàn)可分級(jí)編碼。4.GOV，是多個(gè)視頻對(duì)象面的組合，每個(gè)GOV獨(dú)立編碼，從而提供隨機(jī)訪問點(diǎn)，可用于快進(jìn)、快退和搜索。5.VOP，視頻對(duì)象和某個(gè)時(shí)刻的VO相對(duì)應(yīng)，包括幀內(nèi)VOP(I-VOP)、預(yù)測(cè)VOP(P-VOP)、雙向差值VOP(B-VOP)第八十六頁，共一百五十九頁，2022年，8月28日MPEG-4視頻編碼器的算法方框圖

第八十七頁，共一百五十九頁，2022年，8月28日

MPEG-4終端的構(gòu)成(接收端)

第八十八頁，共一百五十九頁，2022年，8月28日3.MPEG-4音頻編碼MPEG-4音頻編碼分為自然音頻編碼和合成音頻編碼兩大類。在自然音頻編碼方面有3種編碼方案：參數(shù)編碼、碼本激勵(lì)線性預(yù)測(cè)器、時(shí)間/頻率編碼。在合成音頻編碼方面2種編碼方案：結(jié)構(gòu)音頻和文語轉(zhuǎn)換。它的應(yīng)用從智能語音到高質(zhì)量多聲道音頻，從自然聲音道合成聲音。第八十九頁，共一百五十九頁，2022年，8月28日MPEG-4音頻編碼（續(xù)）支持下面成分組成的高效表示。1.語音信號(hào)。能實(shí)現(xiàn)位率在2kps-24kps間的語音編碼。2.合成語音。3.普通音頻信號(hào)。4.合成音頻。5.復(fù)雜度綁定的合成音頻。6.其它功能。7.新的工具和功能。第九十頁，共一百五十九頁，2022年，8月28日4.MPEG-4應(yīng)用實(shí)例背景全景圖+視頻對(duì)象(VO)=合成圖象第九十一頁，共一百五十九頁，2022年，8月28日MPEG-4標(biāo)準(zhǔn)（續(xù)）與MPEG-1和2相比,MPEG-4更適于交互AV服務(wù)以及遠(yuǎn)程監(jiān)控,其設(shè)計(jì)目標(biāo)使它具有更廣適應(yīng)性和可擴(kuò)展性：傳輸速率可在4.8-64kbps之間,分辨率為176×144,可以利用很窄帶寬通過幀重建技術(shù)壓縮和傳輸數(shù)據(jù)。它將應(yīng)用在數(shù)字電視、動(dòng)態(tài)圖像、互聯(lián)網(wǎng)、實(shí)時(shí)多媒體監(jiān)控、移動(dòng)多媒體通信、Internet/Intranet上的視頻流與可視游戲、DVD上的交互多媒體等方面。第九十二頁，共一百五十九頁，2022年，8月28日MPEG-4標(biāo)準(zhǔn)（續(xù)）MPEG-4用MPEG-4壓縮算法的ASF可以將120分鐘的電影壓縮為300MB左右的視頻流；采用MPEG-4壓縮算法的DIVX編碼技術(shù)可以將120分鐘的電影壓縮600MB左右，也可以將一部DVD影片壓縮到2張CD-ROM上。第九十三頁，共一百五十九頁，2022年，8月28日MPEG-4屬于一種高比率有損壓縮算法,其圖像質(zhì)量始終無法和DVD的MPEG-2相比,畢竟DVD的存儲(chǔ)容量較大。要想保證高速運(yùn)動(dòng)的圖像畫面不失真,必須有足夠的碼率,目前MPEG-4的碼率雖然可以調(diào)到和DVD差不多,但總體效果還有不小的差距。因此,對(duì)圖像質(zhì)量要求較高的專業(yè)視頻領(lǐng)域暫時(shí)還不能采用。第九十四頁，共一百五十九頁，2022年，8月28日3.3

視聽通信編碼解碼標(biāo)準(zhǔn)H.26X

第九十五頁，共一百五十九頁，2022年，8月28日3.3.1H.26x標(biāo)準(zhǔn)簡(jiǎn)介H.26X系列標(biāo)準(zhǔn)時(shí)ITU制定的面向可視通信領(lǐng)域的國(guó)際標(biāo)準(zhǔn)。由綜合業(yè)務(wù)數(shù)字網(wǎng)推動(dòng)的H.261標(biāo)準(zhǔn)克服了傳統(tǒng)編碼方案壓縮率不大、電視制式及PCM標(biāo)準(zhǔn)的不兼容性等特點(diǎn)，采取策略是讓用戶自己決定視頻圖像的質(zhì)量和傳輸速率，并采用統(tǒng)一的圖像格式CIF。H.261標(biāo)準(zhǔn)覆蓋的位率范圍不大，適合各種各樣視頻使用。第九十六頁，共一百五十九頁，2022年，8月28日H.26x標(biāo)準(zhǔn)簡(jiǎn)介（續(xù)）為了適應(yīng)B-IDSN的傳輸需求，ITU與MPEG聯(lián)合發(fā)布ISO/IEC13818號(hào)MPEG-2標(biāo)準(zhǔn)又稱為ITUH.262，與H.261和MPEG-1相兼容，是通用標(biāo)準(zhǔn)。H.263是在H.261基礎(chǔ)上開發(fā)的，1996年發(fā)布，吸收了MPEG的若干概念和思想，設(shè)計(jì)用于低速率傳輸標(biāo)準(zhǔn)。ITUH.264與ISOMPEG-4的第十部分（ISO/IEC11496-10)是ISOMPEG和ITU-TVCEG聯(lián)合，名稱是高級(jí)視頻編碼AVC。第九十七頁，共一百五十九頁，2022年，8月28日3.3.2H.261標(biāo)準(zhǔn)ITU推薦H.261方案標(biāo)題“64Kbps視聲服務(wù)用視象編碼方式”,又稱為P×64Kbps視頻編碼標(biāo)準(zhǔn)。包括信源編碼和統(tǒng)計(jì)編碼。信源編碼采用有失真編碼按方法，又分為幀內(nèi)編碼和幀間編碼。P取值范圍為1-30。P=1或2時(shí),僅能支持QCIF(176×144)分辨率格式,每秒幀數(shù)較低的可視電話;當(dāng)P≥6時(shí),則可支持圖象分辨率格式為CIF(352×288)的電視會(huì)議。第九十八頁，共一百五十九頁，2022年，8月28日P×64Kbps壓縮算法采用基于DCT的變換編碼和帶有運(yùn)動(dòng)預(yù)測(cè)的DPCM預(yù)測(cè)編碼的混合方法。P×64Kbps標(biāo)準(zhǔn)的壓縮算法與MPEG-1標(biāo)準(zhǔn)有許多共同之處,只是傳輸速率P×64Kbps覆蓋較寬的信道頻帶,而MPEG-1是基于較窄的頻帶上傳輸。

第九十九頁，共一百五十九頁，2022年，8月28日幀內(nèi)編碼算法，采用基于DCT8*8塊的變換編碼方法。8*8塊的DCT系數(shù)經(jīng)線性量化，經(jīng)視頻多路編碼器進(jìn)入緩沖器，通過掌握的緩沖器空滿度，改變量化器的步長(zhǎng)來調(diào)節(jié)視頻信息比特流，與傳輸信道速率匹配。幀內(nèi)編碼的結(jié)果送入視頻多路解碼器，經(jīng)解碼后重建圖像存入緩沖區(qū)以備幀間編碼使用。第一百頁，共一百五十九頁，2022年，8月28日幀間編碼采用混合編碼方法可減少時(shí)域的冗余信息。DPCM編碼對(duì)當(dāng)前宏塊與宏塊的預(yù)測(cè)值的誤差進(jìn)行編碼，當(dāng)誤差大于某閾值時(shí)，對(duì)誤差進(jìn)行DCT變換，量化處理，然后和運(yùn)動(dòng)向量信息一起送到視頻多路編碼器，必要時(shí)可使用循環(huán)過濾器，濾掉高頻噪聲，改善圖像質(zhì)量。熵編碼利用信號(hào)統(tǒng)計(jì)特性來減少比特率。第一百零一頁，共一百五十九頁，2022年，8月28日H.261標(biāo)準(zhǔn)編碼器結(jié)構(gòu)圖H.261編碼器第一百零二頁，共一百五十九頁，2022年，8月28日利用CIF格式,可使不同制式的各國(guó)電視信號(hào)變換為統(tǒng)一的中間格式,然后輸入給編碼器,從而使編碼器本身不必意識(shí)信號(hào)是來自哪種制式的。H.261標(biāo)準(zhǔn)適合各種各樣實(shí)時(shí)視覺應(yīng)用,如位率不同(P不同),運(yùn)動(dòng)效果和圖象質(zhì)量不同,位率提高、畫面質(zhì)量改善。第一百零三頁，共一百五十九頁，2022年，8月28日CIF使用示例利用CIF的優(yōu)點(diǎn)第一百零四頁，共一百五十九頁，2022年，8月28日

視頻層次數(shù)據(jù)結(jié)構(gòu)

P×64Kbps標(biāo)準(zhǔn)采用層次塊的視頻數(shù)據(jù)結(jié)構(gòu)形式,使高壓縮視頻編碼算法得以實(shí)現(xiàn)。P×64Kbps標(biāo)準(zhǔn)的視頻編碼定義一個(gè)視頻數(shù)據(jù)結(jié)構(gòu)CIF，保證解碼器對(duì)接收到的比特流進(jìn)行沒有二義性的正確解碼。第一百零五頁，共一百五十九頁，2022年，8月28日?qǐng)D像頭QCIF幀圖塊組1塊組2塊組3塊組1頭宏塊1宏塊2宏塊33宏塊1頭亮度塊1亮度塊4色度塊1色度塊2DCT系數(shù)……DCT系數(shù)塊結(jié)束…視頻數(shù)據(jù)結(jié)構(gòu)圖

第一百零六頁，共一百五十九頁，2022年，8月28日?qǐng)D象數(shù)據(jù)層次結(jié)構(gòu)

123456789101112135幀QCIF123456789101112131415161718192021222324252627282930313233塊組123456宏塊88CIF塊第一百零七頁，共一百五十九頁，2022年，8月28日

為了適應(yīng)B-ISDNATM傳輸需要,ITU與MPEG聯(lián)合發(fā)布ISO/IEC13818,分別稱為H.262和MPEG-2標(biāo)準(zhǔn),它與H.261和MPEG-1兼容。H.263是ITU-T制定的適合于低速視頻信號(hào)壓縮標(biāo)準(zhǔn)。大多數(shù)用戶最方便的是公用電話線,以V.34為標(biāo)準(zhǔn)的調(diào)制解調(diào)器支持在電話線中傳輸速率可達(dá)28.8kbps或33.6kbps,甚至56kbps.2.5.3H.263標(biāo)準(zhǔn)

第一百零八頁，共一百五十九頁，2022年，8月28日2.5.3H.263標(biāo)準(zhǔn)（續(xù)）與MPEG-4基于對(duì)象編碼不同,H.263采用基于幀編碼.H.263是在H.261基礎(chǔ)上擴(kuò)展形成的,支持的圖象格式包括Sub-QCIF(12896),QCIF,CIF,4CIF,16CIF(14081152)等。其中主要采用的改進(jìn)技術(shù)有：第一百零九頁，共一百五十九頁，2022年，8月28日

(1)半象素精度的運(yùn)動(dòng)補(bǔ)償在H.261中,運(yùn)動(dòng)矢量的精度為1個(gè)象素,H.263運(yùn)動(dòng)矢量的估值精度達(dá)到半個(gè)象素。精度的提高使運(yùn)動(dòng)補(bǔ)償后的幀間誤差減少,從而降低了碼率。(2)不受限的運(yùn)動(dòng)矢量當(dāng)運(yùn)動(dòng)跨越圖象邊界時(shí),由運(yùn)動(dòng)矢量所確定的宏塊位置可能有一部分落在邊界之外,此時(shí)可以用邊界上的象素值表示界外的象素值,從而降低預(yù)測(cè)誤差。(3)用基于句法的算術(shù)編碼代替Huffman編碼(可選項(xiàng))這是一種效率較高的自適應(yīng)算術(shù)編碼。第一百一十頁，共一百五十九頁，2022年，8月28日

(4)先進(jìn)的預(yù)測(cè)模式(可選項(xiàng))

對(duì)宏塊中的4個(gè)亮度塊分別進(jìn)行運(yùn)動(dòng)估值獲得4個(gè)運(yùn)動(dòng)矢量。雖然此時(shí)傳輸運(yùn)動(dòng)矢量的比特?cái)?shù)增加一些,但由于預(yù)測(cè)誤差的大幅度降低,仍然使總碼率降低。(5)PB幀模式(可選項(xiàng))

雖然使用雙向預(yù)測(cè)B幀可以降低碼率,但卻要引入附加的編碼延時(shí)和解碼延時(shí).為降低延時(shí),H.263采用了P幀和B幀作為一個(gè)單元來處理的方式,即將P幀和由該幀與上一個(gè)P幀所共同預(yù)測(cè)的B幀一起進(jìn)行編碼。第一百一十一頁，共一百五十九頁，2022年，8月28日在1997年的ITU-T推薦的H.263第2版本，增加如下選項(xiàng)：1.為改善視頻信號(hào)在網(wǎng)絡(luò)中傳輸質(zhì)量，增加了一種具有時(shí)間可調(diào)性和兩種信噪比可調(diào)性或空間可調(diào)性的編碼。2.改進(jìn)的PB幀模式增強(qiáng)了頻繁使用PB幀時(shí)的魯棒性。3.為了適應(yīng)更廣泛的應(yīng)用，除標(biāo)準(zhǔn)的格式外，允許用戶使用自定義的圖像格式。4.提供9種新的編碼方式。5.支持在碼流中增添新的輔助信息。第一百一十二頁，共一百五十九頁，2022年，8月28日2.5.4H.264/AVC標(biāo)準(zhǔn)ITU-T和ISO/IEC聯(lián)合開發(fā)組共同開發(fā)的最新標(biāo)準(zhǔn)，主要目標(biāo)是：在相同帶寬下提供更加優(yōu)秀的圖像質(zhì)量，同等質(zhì)量下壓縮效率比提高了2倍以上。H.264最大的技術(shù)優(yōu)勢(shì)體現(xiàn)在4個(gè)方面：

1）將每個(gè)視頻幀分離成由像素組成的塊，因此視頻幀的編碼處理的過程可以達(dá)到塊的級(jí)別。

2）采用空間冗余方法，對(duì)視頻幀一些原始?jí)K進(jìn)行空間預(yù)測(cè)、轉(zhuǎn)換、優(yōu)化和熵編碼。

第一百一十三頁，共一百五十九頁，2022年，8月28日3）對(duì)連續(xù)幀的不同塊采用臨時(shí)存放的方法，這樣只需對(duì)連續(xù)幀中有改變的部分進(jìn)行編碼。4）采用剩余空間冗余技術(shù),對(duì)視頻幀里殘留塊進(jìn)行編碼。對(duì)源塊和相應(yīng)預(yù)測(cè)塊不同,再次采用轉(zhuǎn)換、優(yōu)化和熵編碼。

第一百一十四頁，共一百五十九頁，2022年，8月28日H.264是保留了以往壓縮技術(shù)的長(zhǎng)處又具有其它壓縮技術(shù)無法比擬的許多優(yōu)點(diǎn)。

1）低碼流：采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG-2的1/8,MPEG-4的1/3。

2）高質(zhì)量的圖像：H.264能提供連續(xù)、流暢的高質(zhì)量圖像（DVD質(zhì)量）。H.264標(biāo)準(zhǔn)的特點(diǎn)第一百一十五頁，共一百五十九頁，2022年，8月28日3）容錯(cuò)能力強(qiáng)：H.264提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯(cuò)誤的必要工具。4）網(wǎng)絡(luò)適應(yīng)性強(qiáng)：H.264提供了網(wǎng)絡(luò)適配層,使得H.264的文件能容易地在不同網(wǎng)絡(luò)上傳輸(例如互聯(lián)網(wǎng),CDMA,GPRS,WCDMA,CDMA2000等)。第一百一十六頁，共一百五十九頁，2022年，8月28日H.264適用領(lǐng)域主要有：基于有線、衛(wèi)星、有線調(diào)制解調(diào)器、DSL等的廣播；交互或線性存儲(chǔ)于光設(shè)備或磁設(shè)備的存儲(chǔ)，如DVD;通過ISDN、以太網(wǎng)、局域網(wǎng)、DSL、無線移動(dòng)網(wǎng)等進(jìn)行會(huì)話服務(wù)、視頻點(diǎn)播或多媒體流服務(wù)、多媒體信息服務(wù)等。第一百一十七頁，共一百五十九頁，2022年，8月28日3.4AVS標(biāo)準(zhǔn)AVS工作組全名數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組，由中國(guó)國(guó)家信息產(chǎn)業(yè)部于2002.6月成立。任務(wù)：面向我國(guó)的信息產(chǎn)業(yè)需求，聯(lián)合國(guó)內(nèi)企業(yè)和科研機(jī)構(gòu)，制定數(shù)字音視頻的壓縮、解壓縮、處理和表示等共性技術(shù)標(biāo)準(zhǔn)，為數(shù)字音視頻設(shè)備與系統(tǒng)提供高效經(jīng)濟(jì)的編解碼技術(shù)，服務(wù)于高分辨率數(shù)字廣播、高密度激光數(shù)字存儲(chǔ)媒體、無線寬帶多媒體通信、互聯(lián)網(wǎng)寬帶流媒體等重大信息產(chǎn)業(yè)應(yīng)用。第一百一十八頁，共一百五十九頁，2022年，8月28日3.4.1標(biāo)準(zhǔn)工作簡(jiǎn)況與發(fā)展目前音頻產(chǎn)業(yè)可選擇的信源編碼標(biāo)準(zhǔn)有：MPEG-1，MPEG-2，MPEG-4AVC(H.264)，AVS。制定者：前三個(gè)是MPEG工作組開發(fā)的，第四個(gè)是我國(guó)自主制定的。發(fā)展階段：MPEG-2是第一代信源標(biāo)準(zhǔn)，其余為第二代標(biāo)準(zhǔn)。編碼效率：MPEG-4是MPEG-2的1.4倍，AVS和AVC相當(dāng)，都是MPEG-2的二倍以上。第一百一十九頁，共一百五十九頁，2022年，8月28日標(biāo)準(zhǔn)工作簡(jiǎn)況與發(fā)展AVS是我國(guó)具有自主知識(shí)產(chǎn)權(quán)的第二代音源編碼標(biāo)準(zhǔn)，是數(shù)字音頻產(chǎn)業(yè)的共性基礎(chǔ)標(biāo)準(zhǔn)。具有先進(jìn)性、自主性、開放性。第一百二十頁，共一百五十九頁，2022年，8月28日標(biāo)準(zhǔn)工作簡(jiǎn)況與發(fā)展AVS通過簡(jiǎn)潔的一站式許可政策，解決了AVC專利許可問題死結(jié)，制定過程開放、國(guó)際化，是開放式制訂的國(guó)家、國(guó)際標(biāo)準(zhǔn)，易于推廣；AVC僅是一個(gè)視頻編碼標(biāo)準(zhǔn),而AVS是一套包含系統(tǒng)、視頻、音頻、媒體版權(quán)管理在內(nèi)的完整標(biāo)準(zhǔn)體系，為數(shù)字音視頻產(chǎn)業(yè)提供更全面的解決方案。第一百二十一頁，共一百五十九頁，2022年，8月28日標(biāo)準(zhǔn)工作簡(jiǎn)況與發(fā)展AVS標(biāo)準(zhǔn)是《信息技術(shù)-先進(jìn)音視頻編碼》系列標(biāo)準(zhǔn)的簡(jiǎn)稱，它包括9個(gè)部分：系統(tǒng)(第1部分)、視頻(第2部分)、音頻(第3部分)、數(shù)字版權(quán)管理(第6部分)技術(shù)標(biāo)準(zhǔn)、一致性測(cè)試(第4部分)、參考軟件(第5部分)、移動(dòng)視頻(第7部分)、系統(tǒng)知識(shí)產(chǎn)權(quán)IP(第8部分)、文件格式(第9部分)等支撐標(biāo)準(zhǔn)。第一百二十二頁，共一百五十九頁，2022年，8月28日標(biāo)準(zhǔn)工作簡(jiǎn)況與發(fā)展2006年2月22日，國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)頒布通知：《信息技術(shù)-先進(jìn)音視頻編碼》第2部分視頻（GB/T20090.2）于2006年3月1日起開始實(shí)施。標(biāo)準(zhǔn)其他部分將繼續(xù)開展工作,陸續(xù)進(jìn)入標(biāo)準(zhǔn)報(bào)批和審核程序。第一百二十三頁，共一百五十九頁，2022年，8月28日標(biāo)準(zhǔn)工作簡(jiǎn)況與發(fā)展應(yīng)用范圍：數(shù)字電視、激光視盤、網(wǎng)絡(luò)流媒體、無線流媒體、數(shù)字視頻廣播、數(shù)字音頻廣播、監(jiān)控領(lǐng)域等。主要產(chǎn)品形態(tài)：1.芯片：高清晰度/標(biāo)準(zhǔn)清晰度AVS解碼芯片和編碼芯片。2.軟件：AVS節(jié)目制作與管理系統(tǒng)。3.整機(jī)：機(jī)頂盒、硬盤播出服務(wù)器等。第一百二十四頁，共一百五十九頁，2022年，8月28日3.4.2AVS標(biāo)準(zhǔn)音頻技術(shù)AVS系統(tǒng)層設(shè)計(jì)師基于MPEG-2系統(tǒng)，AVS視頻將作為MPEG-2系統(tǒng)流的一個(gè)“基本流”，利用MPEG-2的系統(tǒng)層進(jìn)行傳輸和存儲(chǔ)。AVS視頻的壓縮將作為PES負(fù)載。在系統(tǒng)格式方面，根據(jù)AVS視音頻數(shù)據(jù)的特點(diǎn)，對(duì)MPEG-2系統(tǒng)流語法進(jìn)行改進(jìn)和擴(kuò)充。AVS還需改進(jìn)傳輸流和程序流的系統(tǒng)解碼器模型，端到端延遲恒定的系統(tǒng)模型，視音頻的同步解碼和顯示，復(fù)用和解復(fù)用。第一百二十五頁，共一百五十九頁，2022年，8月28日AVS標(biāo)準(zhǔn)音頻技術(shù)AVS音頻編碼對(duì)系統(tǒng)的具體要求：音頻的聲道數(shù)量：?jiǎn)温暤馈㈦p聲道、5.1聲道、7.1聲道。采樣率：44.1kHZ，48kHZ，96kHZ。音頻解碼器要求系統(tǒng)的緩存區(qū)大?。?096字節(jié)。第一百二十六頁，共一百五十九頁，2022年，8月28日3.4.3AVS標(biāo)準(zhǔn)視頻技術(shù)與MPEG都采用混合編碼框架，包括變換、量化、熵編碼、幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)、環(huán)路預(yù)測(cè)等技術(shù)模式。創(chuàng)新在于提出了一批具體的優(yōu)化技術(shù)，在較低復(fù)雜度下實(shí)現(xiàn)了與國(guó)際標(biāo)準(zhǔn)相當(dāng)?shù)募夹g(shù)性能。核心技術(shù)：8*8整數(shù)變換、量化、幀內(nèi)預(yù)測(cè)、1/4精度像素插值、特殊的幀間預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償、二維熵編碼、去塊效應(yīng)環(huán)路濾波等。第一百二十七頁，共一百五十九頁，2022年，8月28日AVS標(biāo)準(zhǔn)視頻技術(shù)特點(diǎn)：1.性能高，編碼效率是MPEG-2的兩倍以上，與H.264的編碼效率相同。2.復(fù)雜度低，算法復(fù)雜度比H.264明顯地，軟硬件實(shí)現(xiàn)成本都低于H.264.3.我國(guó)掌握主要知識(shí)產(chǎn)權(quán)，專利授權(quán)模式簡(jiǎn)單，費(fèi)用低。第一百二十八頁，共一百五十九頁，2022年，8月28日2.5聲音壓縮標(biāo)準(zhǔn)

第一百二十九頁，共一百五十九頁，2022年，8月28日3.5.1聲音編碼

聲音包括語音和音樂,是多媒體系統(tǒng)中兩類重要數(shù)據(jù)。語音數(shù)據(jù)，由于電話的普及，應(yīng)用范圍很廣。聲音數(shù)據(jù)表征是一個(gè)一維時(shí)變系統(tǒng),特別對(duì)于語音數(shù)據(jù),人們已經(jīng)找到了較合理的聲道模型,因此聲音數(shù)據(jù)的壓縮要比圖象數(shù)據(jù)的壓縮容易。

第一百三十頁，共一百五十九頁，2022年，8月28日統(tǒng)計(jì)表明,語音過程是一個(gè)近似的短時(shí)平穩(wěn)隨機(jī)過程.短時(shí)是指在10～30ms的范圍。由于語音信號(hào)的這一性質(zhì),使得我們有可能將語音信號(hào)劃分為一幀一幀進(jìn)行處理,每一幀內(nèi)的信號(hào)近似地滿足同一模型—這是本方法假設(shè)的基本前提。在實(shí)用中,一般一幀的寬度為20ms。1.基于參數(shù)分析與合成的編碼算法原理第一百三十一頁，共一百五十九頁，2022年，8月28日語音的基本參數(shù)包括基音周期共振峰語音譜聲強(qiáng)。第一百三十二頁，共一百五十九頁，2022年，8月28日語音生成機(jī)構(gòu)的模型語音生成機(jī)構(gòu)的模型由3部分組成聲源共鳴機(jī)構(gòu)放射機(jī)構(gòu)聲源共有3類:元音、摩擦音、爆破音。共鳴機(jī)構(gòu)也稱聲道,由鼻腔、口腔與舌頭組成。放射機(jī)構(gòu)由嘴唇和鼻孔組成,是功能是發(fā)出聲音并傳播出去。

第一百三十三頁，共一百五十九頁，2022年，8月28日模型的描述與此語音生成機(jī)構(gòu)模型相對(duì)應(yīng)的聲源由基音周期參數(shù)描述,聲道由共振峰參數(shù)描述,放射機(jī)構(gòu)則由語音譜和聲強(qiáng)描述。DPCM,ADPCM等波形預(yù)測(cè)技術(shù)是音樂和實(shí)時(shí)語音數(shù)據(jù)壓縮技術(shù)的主要方法。第一百三十四頁，共一百五十九頁，2022年，8月28日語音生成機(jī)構(gòu)的數(shù)字模型第一百三十五頁，共一百五十九頁，2022年，8月28日模型的描述該模型用準(zhǔn)周期的脈沖源模擬聲帶的振動(dòng)，用隨機(jī)噪聲模擬摩擦聲源，用可變參數(shù)的數(shù)字濾波器力來模擬聲道諧振特性與放射特性。如果圖中所有的控制信號(hào)均由真實(shí)的語音信號(hào)分析所得，則該系統(tǒng)的輸出就完全接近于原始信號(hào)序列，從而可以恢復(fù)出聲音。第一百三十六頁，共一百五十九頁，2022年，8月28日2.基于波形預(yù)測(cè)的編碼原理DPCM、ADPCM等波形預(yù)測(cè)技術(shù)是音樂和實(shí)時(shí)語音數(shù)據(jù)壓縮技術(shù)的主要方法。雖然與語音識(shí)別的方法和基于參數(shù)分析合成的方法相比有壓縮能力差的缺點(diǎn)，但算法簡(jiǎn)單，容易實(shí)現(xiàn)，且能夠保持有較好的原有聲音，因而在語音數(shù)據(jù)壓縮的標(biāo)準(zhǔn)變化方案中最先考慮。第一百三十七頁，共一百五十九頁，2022年，8月28日

參數(shù)編碼的壓縮率很大,但計(jì)算量大,保真度不高,適合語音信號(hào)的編碼?；旌暇幋a介于波形編碼和參數(shù)編碼之間,集中了兩者優(yōu)點(diǎn)。第一百三十八頁，共一百五十九頁，2022年，8月28日2.5.2ITU語音標(biāo)準(zhǔn)化方案

16KbpsITU語音標(biāo)準(zhǔn)化方案G.72832KbpsITU語音標(biāo)準(zhǔn)化方案G.72164KbpsITU語音標(biāo)準(zhǔn)化方案G.722

第一百三十九頁，共一百五十九頁，2022年，8月28日1.16Kbps語音標(biāo)準(zhǔn)化方案G.728

使用領(lǐng)域統(tǒng)一在包括可視電話、數(shù)字移動(dòng)通信、無繩電話、衛(wèi)星通信、