H3C 多媒體培訓(xùn)教材-基礎(chǔ)知識(shí)-視頻編碼v1

杭州華三通信技術(shù)有限公司H3C多媒體培訓(xùn)教材

－視頻編碼培訓(xùn)對(duì)象:內(nèi)部人員,合作伙伴,客戶前言了解當(dāng)前視頻編碼領(lǐng)域的主要發(fā)展情況了解常用視頻編碼的主要特點(diǎn)及應(yīng)用領(lǐng)域培訓(xùn)目標(biāo):學(xué)習(xí)完本課程，您應(yīng)該能夠：目錄MPEG系列和H.26X系列視頻編碼概述H.264簡介其他常見視頻編碼原理引入：關(guān)于視頻編碼定義：所謂多媒體編輯碼方式就是指通過特定的壓縮技術(shù)，將某個(gè)視頻格式的文件轉(zhuǎn)換成另一種視頻格式文件的方式。

意義：視頻編碼最主要的目的是為了對(duì)數(shù)字視頻信息進(jìn)行壓縮，從而降低數(shù)字視頻的存儲(chǔ)（容量）與傳輸（帶寬）的成本。原理：視頻圖像數(shù)據(jù)有極強(qiáng)的相關(guān)性，也就是說有大量的冗余信息。其中冗余信息可分為空域冗余信息和時(shí)域冗余信息；通過壓縮技術(shù)，可將數(shù)據(jù)中的冗余信息去掉（去除數(shù)據(jù)之間的相關(guān)性）；壓縮技術(shù)包含幀內(nèi)圖像數(shù)據(jù)壓縮技術(shù)、幀間圖像數(shù)據(jù)壓縮技術(shù)和熵編碼壓縮技術(shù)。視頻編碼技術(shù)的主要標(biāo)準(zhǔn)組織在視頻編解碼技術(shù)定義方面主要有兩大標(biāo)準(zhǔn)機(jī)構(gòu)：

國際電信聯(lián)盟(ITU)

：ITU-T視頻編碼工作組的視頻編碼研究主要是面向視頻通信，如會(huì)議電視、可視電話等視頻通信應(yīng)用，推出的視頻壓縮標(biāo)準(zhǔn)為H.26x系列，包括H.261、H.262、H.263與H.264；

國際標(biāo)準(zhǔn)化組織(ISO)

：ISO下屬的運(yùn)動(dòng)圖像工作組（MPEG，MotionPictureExpertGroup）也對(duì)視頻編碼進(jìn)行研究，推出的標(biāo)準(zhǔn)為MPEG系列，主要針對(duì)消費(fèi)類數(shù)字視頻應(yīng)用，如廣播電視、VCD/DVD等視頻存儲(chǔ)，已經(jīng)針對(duì)運(yùn)動(dòng)圖像壓縮定義了的MPEG標(biāo)準(zhǔn)包括MPEG1、MPEG2與MPEG4等。注意：除了ITU與ISO兩個(gè)主要的標(biāo)準(zhǔn)組織以外，還有很多廠商、和組織也進(jìn)行視頻編碼技術(shù)研究，并提出了相應(yīng)的技術(shù)標(biāo)準(zhǔn)，如微軟提出WMV9（并經(jīng)美國電影電視工程協(xié)會(huì)(SMPTE)標(biāo)準(zhǔn)化為VC-1標(biāo)準(zhǔn)），中國數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組提出AVS標(biāo)準(zhǔn)等。（這兩個(gè)標(biāo)準(zhǔn)組織的工作并非完成獨(dú)立，有時(shí)會(huì)相互合作，進(jìn)行聯(lián)合研究。隨著視頻應(yīng)用的日益廣泛，兩個(gè)標(biāo)準(zhǔn)組織之間的重合交叉部分會(huì)越來越多）視頻編碼編碼標(biāo)準(zhǔn)概述：MPEG系列標(biāo)準(zhǔn)標(biāo)準(zhǔn)名稱發(fā)布時(shí)間主要內(nèi)容主要應(yīng)用MPEG-11993年正式推出包括系統(tǒng)（system）、視頻（Video）、音頻（Voice）、一致性（compliance）和參考軟件（Software）五個(gè)部分編碼高至1.5Mbit/s，編碼分辨率為SIF（StandInputFormat：320×240），主要應(yīng)用為VCD。

MPEG-21994年1）前五部分與MPEG1相同，在MPEG-1的基礎(chǔ)上附加了一些特征幀格式和編碼選項(xiàng)。2）相對(duì)于MPEG-1，可支持更高的分辨率和傳輸率，支持固定比特率傳送、可變比特率傳送、隨機(jī)訪問、分級(jí)編碼、比特流編輯等功能。MPEG-2主要用于數(shù)字存儲(chǔ)媒體、高清晰度電視和數(shù)字視頻廣播等領(lǐng)域（SVCD，HDTV，DVD，DVB等），能夠提供廣播級(jí)的視像和CD級(jí)的音質(zhì)。MPEG-2是迄今為止最成功的視頻編碼技術(shù)MPEG-41999年1月第一版1）標(biāo)準(zhǔn)中規(guī)定適應(yīng)的3段比特率范圍分別為：低于64kbit/s；64kbit/s~384kbit/s；384kbit/s～4Mbit/s。2）MPEG-4標(biāo)準(zhǔn)定義了一種框架而不是具體的算法，采用基于對(duì)象的方式，通過對(duì)不同的視聽對(duì)象（自然的或合成的）獨(dú)立進(jìn)行編碼實(shí)現(xiàn)較高的壓縮效率，同時(shí)可實(shí)現(xiàn)基于內(nèi)容的交互功能，滿足了多媒體應(yīng)用中人機(jī)交互的需求。MPEG-4定位于多媒體業(yè)務(wù)在各個(gè)領(lǐng)域的應(yīng)用，不同的應(yīng)用對(duì)應(yīng)的碼率、分辨率、質(zhì)量和服務(wù)也不同。目前MPEG-4標(biāo)準(zhǔn)的主要應(yīng)用領(lǐng)域有：數(shù)字電視、實(shí)時(shí)多媒體監(jiān)控、互聯(lián)網(wǎng)視頻通信、低比特率下的移動(dòng)多媒體通信等。視頻編碼編碼標(biāo)準(zhǔn)概述：MPEG系列標(biāo)準(zhǔn)標(biāo)準(zhǔn)名稱發(fā)布時(shí)間主要內(nèi)容主要應(yīng)用MPEG-7

MPEG-7（ISO/IEC15938）一般稱為多媒體內(nèi)容描述接口，主要是為了圖像、聲音信息的有效管理和迅速搜索問題。MPEG-7定義了一個(gè)關(guān)于內(nèi)容描述方式的可互操作的框架，對(duì)多媒體內(nèi)容進(jìn)行描述和檢索，使多媒體信息查詢更加智能化。目前已經(jīng)實(shí)現(xiàn)了的應(yīng)用包括數(shù)字圖書館、廣播媒體選擇、多媒體目錄服務(wù)、多媒體編輯、電子商務(wù)、家庭娛樂等。MPEG-21

正式名稱是多媒體框架，重點(diǎn)是為從多媒體內(nèi)容發(fā)布到消費(fèi)所涉及的所有標(biāo)準(zhǔn)建立一個(gè)基礎(chǔ)體系，支持各種多媒體設(shè)備之間的互操作。

MPEG系列國際標(biāo)準(zhǔn)已經(jīng)成為影響最大的多媒體技術(shù)標(biāo)準(zhǔn)，對(duì)數(shù)字電視、視聽消費(fèi)電子產(chǎn)品、廣播電視、多媒體通信等產(chǎn)業(yè)都有重大影響視頻編碼編碼標(biāo)準(zhǔn)概述：MPEG系列標(biāo)準(zhǔn)注意：1、MPEG-4標(biāo)準(zhǔn)定義的是一種框架，而不是具體的編碼算法，這使得視頻產(chǎn)品具備更大的靈活性和可擴(kuò)展性。按照MPEG4標(biāo)準(zhǔn)，設(shè)備廠商采用MPEG-4標(biāo)準(zhǔn)進(jìn)行產(chǎn)品開發(fā)時(shí)，可根據(jù)應(yīng)用需求的不同，適當(dāng)選擇標(biāo)準(zhǔn)工具的子集。2、這同時(shí)也是導(dǎo)致MPEG4產(chǎn)品之間兼容性差的一個(gè)重要原因。視頻編碼編碼標(biāo)準(zhǔn)概述：H系列標(biāo)準(zhǔn)標(biāo)準(zhǔn)名稱發(fā)布時(shí)間主要內(nèi)容主要應(yīng)用H.261

最早的運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)，主要針對(duì)ISDN上的雙向視頻通信應(yīng)用（如視頻會(huì)議、可視電話）設(shè)計(jì)，支持CIF（352×288）及QCIF(176×144)分辨率，編碼速率為64kb/s的倍數(shù)（P*64）。由于主要用于對(duì)延遲敏感的雙向視頻，因此H.261僅允許采用I與P幀，而不允許B幀。H.261已經(jīng)過時(shí)，基本沒有應(yīng)用H.2621994年與MPEG2相同

H.263

H.263是ITU-T為低于64kb/s的窄帶通信信道制定的視頻編碼標(biāo)準(zhǔn)。它是在H.261基礎(chǔ)上發(fā)展起來的，其標(biāo)準(zhǔn)輸入圖像格式可以是S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亞取樣圖像。其基本原理與H.261大同小異。隨后出現(xiàn)的第二版(H.263+)及H.263++增加了許多選項(xiàng)，使其具有更廣泛的適用性。H.263及其附件構(gòu)成了MPEG-4中許多編碼工具的核心。H.263主要用于可視電話和視訊會(huì)議系統(tǒng)H.2642003.07H.264是視頻編碼技術(shù)在過去幾年最重要的發(fā)展之一,由ITU和ISO/IEC的聯(lián)合視頻小組(JVT)開發(fā)，具備比以往各種視頻編碼標(biāo)準(zhǔn)更高的壓縮效率。（更詳細(xì)情況參考后面的介紹）H.264是目前應(yīng)用前景最廣泛的視頻編碼，目前已經(jīng)廣泛應(yīng)用于視訊會(huì)議、視頻監(jiān)控、可視電話、IPTV等領(lǐng)域，此外，DVD、數(shù)字電視、移動(dòng)視頻等領(lǐng)域也開始采用H.264視頻編碼編碼標(biāo)準(zhǔn)概述：兩大系列標(biāo)準(zhǔn)的關(guān)系MPEG2(也叫H.262)和H.264（也叫MPEG-4AVC或MPEG-4part10）都是ITU-T和ISO兩個(gè)標(biāo)準(zhǔn)組織合作的結(jié)果目錄MPEG系列和H.26X系列視頻編碼概述H.264簡介其他常見視頻編碼關(guān)于H.264

H.264是兩大標(biāo)準(zhǔn)組織合作的最新、最重要的成果：

H.264是ITU-T對(duì)該標(biāo)準(zhǔn)的稱呼，在ISO的MPEG方面就稱其為MPEG-4Part10（第10部分，也叫ISO/IEC14496-10），有時(shí)也叫MPEG-4AVC（AdvancedVideoCoding）H.264是當(dāng)前最炙手可熱的視頻編碼標(biāo)準(zhǔn)！H.264的主要優(yōu)勢1、壓縮效率更高：在相同的視頻質(zhì)量下，H.264與MPEG2相比節(jié)約超過50％的帶寬2、對(duì)信道時(shí)延的適應(yīng)性較強(qiáng)：既可工作于低時(shí)延模式以滿足實(shí)時(shí)業(yè)務(wù)，如會(huì)議電視等；又可工作于無時(shí)延限制的場合，如視頻存儲(chǔ)等；

3、更好的網(wǎng)絡(luò)適應(yīng)性：H.264提供更多的容錯(cuò)工具，加強(qiáng)對(duì)誤碼和丟包的處理，提高解碼器的差錯(cuò)恢復(fù)能力；4、在編/解碼器中采用復(fù)雜度可分級(jí)設(shè)計(jì)：在圖像質(zhì)量和編碼處理之間可分級(jí)，以適應(yīng)不同復(fù)雜度的應(yīng)用。H.264的幾個(gè)等級(jí)

基本類（BaseLineProfile）：降低了計(jì)算及系統(tǒng)內(nèi)存需求，而且針對(duì)低時(shí)延進(jìn)行了優(yōu)化，所以BaseLine中不包括B幀的處理；適合于可視電話應(yīng)用以及其他需要低成本實(shí)時(shí)編碼的應(yīng)用；主類（MainProfile）：相比于基本類，壓縮效率提高了很多，但其要求的處理能力也比基本類高許多，適合于廣播與內(nèi)容存儲(chǔ)應(yīng)用，如SDTV/HDTV、DVD等；擴(kuò)展類（ExtendProfile）：擴(kuò)展類支持除CABAC外所有H.264/AVC特性，更適合于用于各種網(wǎng)絡(luò)視頻流傳輸，主要定位于網(wǎng)絡(luò)流媒體應(yīng)用等；

高級(jí)類（HighProfile）：H.264HP是后來又新推出一個(gè)版本，主要是保真度范圍擴(kuò)展(FRExt)

，H.264中添加了一整套工具，大幅提升H.264的性能，主要應(yīng)用于高清廣播與DVD等應(yīng)用。TempeteCIF30Hz25262728293031323334353637380500100015002000250030003500Bit-rate[kbit/s]QualityY-PSNR[dB]MPEG-2H.263MPEG-4H.264幾種常用編碼算法的壓縮效率比較可見，H.264的編碼壓縮性能最高，在相同的圖象質(zhì)量下，H.264所需帶寬約為MPEG-2的36%、H.263的51％、MPEG-4的61％幾種常用編碼算法對(duì)性能的要求比較單片TIDM6446平臺(tái)處理D130fps(480）、YUV4:2:0性能所需要頻率典型值。1、不同編碼算法的壓縮率不同，復(fù)雜度也不同，對(duì)編碼/解碼設(shè)備的性能要求也不同2、H.264算法是最復(fù)雜的，對(duì)編碼器/解碼器的系統(tǒng)要求最高，同樣的清晰度要求時(shí)，H.264BP編碼對(duì)CPU的性能要求是H.263/MPEG4的1.6，H.264解碼對(duì)CPU的性能要求是H.263/MPEG-4的3倍；（該數(shù)據(jù)僅供參考）目錄MPEG系列和H.26X系列視頻編碼概述H.264簡介其他常見視頻編碼中國自己的視頻編碼標(biāo)準(zhǔn)-AVS據(jù)一些測試顯示：AVS的優(yōu)勢體現(xiàn)在算法復(fù)雜度低和易于實(shí)現(xiàn)，在清晰度略低于甚至接近H.264的前提下，AVS解碼復(fù)雜度相當(dāng)于H.264的30%，AVS編碼復(fù)雜度相當(dāng)于H.264的70%；另外一個(gè)很重要的優(yōu)勢就是標(biāo)準(zhǔn)使用費(fèi)用低。1、AVS視頻編碼標(biāo)準(zhǔn)（AudioVideocodingStandard）是中國數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組制定的數(shù)字音視頻編碼標(biāo)準(zhǔn)。AVS國家標(biāo)準(zhǔn)包括9個(gè)部分，其中《第2部分視頻》（簡稱AVS視頻）于2006年2月頒布，3月正式實(shí)施。2、AVS在具體的實(shí)現(xiàn)技術(shù)上與H.264有很多相似之處，如采用了變換、量化、幀內(nèi)預(yù)測、幀間預(yù)測、環(huán)路濾波、熵編碼等流行的壓縮技術(shù)，同時(shí)在幀內(nèi)預(yù)測時(shí)AVS將時(shí)間域和空間域相結(jié)合。3、AVS目前已經(jīng)在IPTV等領(lǐng)域開始應(yīng)用（如網(wǎng)通采用AVS作為IPTV的視頻標(biāo)準(zhǔn)），此外，在視頻監(jiān)控、手機(jī)電視等領(lǐng)域的應(yīng)用也在不斷推進(jìn)中，并將為這些應(yīng)用推出專用的AVS版本，如為視頻監(jiān)控推出AVS-S。JPEG、JPEG2000、MJPEG1、JPEG：JPEG（JointPhotographicExpertsGroup，聯(lián)合圖像專家組)，是一種有損壓縮格式。由于可以做到壓縮比例和圖像質(zhì)量之間較好的平衡，JPEG成為目前最流行的圖像壓縮格式之一。JPEG壓縮比率通常在10：1到40：1之間可調(diào)。2、JPEG2000：JPEG2000作為JPEG的升級(jí)版，其壓縮率比JPEG高約30％左右，同時(shí)支持有損和無損壓縮。JPEG2000最重要的改進(jìn)之一在于它能實(shí)現(xiàn)漸進(jìn)傳輸，即先傳輸圖像的輪廓，然后逐步傳輸數(shù)據(jù)，不斷提高圖像質(zhì)量，讓圖像由朦朧到清晰顯示，這點(diǎn)非常適合互聯(lián)網(wǎng)應(yīng)用。此外，JPEG2000還支持所謂的“感興趣區(qū)域”特性，可以任意指定影像上感興趣區(qū)域的壓縮質(zhì)量，還可以選擇指定的部分先解壓縮。3、MJPEG：MJPEG（MotionJPEG）壓縮技術(shù)是在JPEG基礎(chǔ)發(fā)展起來的動(dòng)態(tài)圖像壓縮技術(shù)，它的特點(diǎn)是全部采用幀內(nèi)編碼，而基本不考慮視頻流中不同幀之間的變化。但是可靈活設(shè)置每路的視頻清晰度和壓縮幀數(shù)。在有些國家，只有采用幀內(nèi)編碼的視頻錄像才可作為法律證據(jù)，這也是MJPEG在視頻監(jiān)控中應(yīng)用的優(yōu)勢之一。主要問題：1）對(duì)系統(tǒng)的性能要求高，一般很難做到滿幀率，同時(shí)實(shí)時(shí)性較差。2）壓縮效率低，占用存儲(chǔ)空間較大。其他編碼技術(shù)除了上述標(biāo)準(zhǔn)外，還有很多廠商、和組織也進(jìn)行視頻編碼技術(shù)研究，并提出了相應(yīng)的技術(shù)解決方案，尤其是在互聯(lián)網(wǎng)視頻應(yīng)用領(lǐng)域，如RealNetworksRealVideo(RV10)、WMV（MicrosoftWindowsMediaVideo）系列等。其中比較受關(guān)注的是WMV9。1、WMV是微軟創(chuàng)立的視頻壓縮技術(shù)標(biāo)準(zhǔn)，WMV是在微軟的ASF（AdvancedStreamFormat）格式升級(jí)而來，WMV文件一般同時(shí)包含視頻和音頻部分。視頻部分使用WMV編碼，音頻部分使用WindowsMediaAudio編碼。2、WMV9是微軟WMV系列中的最新版本。在同等視頻質(zhì)量下，WMV格式的體積較小，因此比較適合在網(wǎng)絡(luò)傳輸和播放。其中WMV-HD，基于WMV9標(biāo)準(zhǔn)，目前已經(jīng)通過美國電影電視工程協(xié)會(huì)(SMPTE)標(biāo)準(zhǔn)化為VC-1標(biāo)準(zhǔn)。WMV9（VC-1）目前主要用于網(wǎng)絡(luò)視頻傳輸和播放，但是微軟正努力推廣該標(biāo)準(zhǔn)的應(yīng)用常見視頻應(yīng)用領(lǐng)域的標(biāo)準(zhǔn)進(jìn)展情況

主要視頻應(yīng)用領(lǐng)域中的標(biāo)準(zhǔn)情況（僅供參考）應(yīng)用主要需求當(dāng)前應(yīng)用的主要編碼近期發(fā)展趨勢視頻監(jiān)控

MPEG2、MPEG4、MJPEG、H.264H.264、AVS可視電話、會(huì)議電視低時(shí)延、低比特率H.261、H.264H.264互聯(lián)網(wǎng)流媒體