MPEG壓縮技術(shù)課件

第五章MPEG壓縮技術(shù)MPEG(MovingPictureExpertGroup)是在1988年由國(guó)際標(biāo)準(zhǔn)化組織(InternationalOrganizationforStandardization，ISO)和國(guó)際電工委員會(huì)(InternationalElectrotechnicalCommission，IEC)聯(lián)合成立的專(zhuān)家組，負(fù)責(zé)開(kāi)發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標(biāo)準(zhǔn)。這個(gè)專(zhuān)家組開(kāi)發(fā)的標(biāo)準(zhǔn)稱(chēng)為MPEG標(biāo)準(zhǔn)，到目前為止，已經(jīng)開(kāi)發(fā)和正在開(kāi)發(fā)的MPEG標(biāo)準(zhǔn)有:MPEG-1：數(shù)字電視標(biāo)準(zhǔn)，1992年正式發(fā)布。MPEG-2：數(shù)字電視標(biāo)準(zhǔn)。MPEG-3：已于1992年7月合并到高清晰度電視(High-DefinitionTV，HDTV)工作組。MPEG-4：多媒體應(yīng)用標(biāo)準(zhǔn)(1999年發(fā)布)。MPEG-7：多媒體內(nèi)容描述接口標(biāo)準(zhǔn)(正在研究)。

第五章MPEG壓縮技術(shù)MPEG(MovingPi1主要應(yīng)用范圍光盤(pán)存儲(chǔ)數(shù)字視頻的傳播交換式數(shù)字視頻HDTV網(wǎng)絡(luò)多媒體主要應(yīng)用范圍2MPEG-1和-2典型的編碼參數(shù)

MPEG-1MPEG-2(基本型)標(biāo)準(zhǔn)化時(shí)間1992年1994年(DIS)主要應(yīng)用CD-ROM上的數(shù)字電視，VCD數(shù)字TV，DVD空間分辨率CIF格式(1/4TV)，288×360像素TV，576×720像素時(shí)間分辨率25-30幀/秒50-60場(chǎng)/秒位速率1.5Mbit/s15Mbit/s質(zhì)量相當(dāng)于VHS相當(dāng)于NTSC/PAL電視壓縮率20~3030~40

MPEG-1和-2典型的編碼參數(shù)

MPEG-1MPEG-235.1MPEG-1數(shù)字電視標(biāo)準(zhǔn)MPEG-1處理的是標(biāo)準(zhǔn)圖像交換格式(StandardInterchangeformat，SIF)或者稱(chēng)為源輸入格式(SourceInputFormat，SIF)的電視，即NTSC制為352像素240行/幀

30幀/秒，PAL制為352像素

288行/幀

25幀/秒，壓縮的輸出速率定義在1.5Mbit/s以下。這個(gè)標(biāo)準(zhǔn)主要是針對(duì)當(dāng)時(shí)具有這種數(shù)據(jù)傳輸率的CD-ROM和網(wǎng)絡(luò)而開(kāi)發(fā)的，用于在CD-ROM上存儲(chǔ)數(shù)字影視和在網(wǎng)絡(luò)上傳輸數(shù)字影視。MPEG-1的標(biāo)準(zhǔn)號(hào)為ISO/IEC11172，標(biāo)準(zhǔn)名稱(chēng)為“信息技術(shù)——用于數(shù)據(jù)速率高達(dá)大約1.5Mbit/s的數(shù)字存儲(chǔ)媒體的電視圖像和伴音編碼”Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s)。它已于1991年底被ISO/IEC采納，由五個(gè)部分組成：5.1MPEG-1數(shù)字電視標(biāo)準(zhǔn)MPEG-1處理的是4①M(fèi)PEG-1系統(tǒng)，寫(xiě)成MPEG-1Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步，標(biāo)準(zhǔn)名是ISO/IEC11172-1：1993Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—

Part1：Systems。②MPEG-1電視圖像，寫(xiě)成MPEG-1Video,規(guī)定電視數(shù)據(jù)的編碼和解碼，標(biāo)準(zhǔn)名是ISO/IEC11172-2：1993Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—

Part2：Video。③MPEG-1聲音，寫(xiě)成MPEG-1Audio,規(guī)定聲音數(shù)據(jù)的編碼和解碼，標(biāo)準(zhǔn)名是ISO/IEC11172-3：1993Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—

Part3：Audio。

①M(fèi)PEG-1系統(tǒng)，寫(xiě)成MPEG-1Systems，規(guī)定5④MPEG-1一致性測(cè)試，寫(xiě)成MPEG-1Conformancetesting，標(biāo)準(zhǔn)名是ISO/IEC11172-4：1995Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mbit/s—Part4：Conformancetesting。這個(gè)標(biāo)準(zhǔn)詳細(xì)說(shuō)明如何測(cè)試比特?cái)?shù)據(jù)流(bitstreams)和解碼器是否滿足MPEG-1前3個(gè)部分(Part1，2和3)中所規(guī)定的要求。這些測(cè)試可由廠商和用戶實(shí)施。⑤MPEG-1軟件模擬，寫(xiě)成MPEG-1Softwaresimulation，標(biāo)準(zhǔn)名是ISO/IECTR11172-5Informationtechnology—Codingofmovingpicturesandassociatedaudiofordigitalstoragemediauptoabout1.5Mbit/s—Part5：Softwaresimulation。實(shí)際上，這部分的內(nèi)容不是一個(gè)標(biāo)準(zhǔn)，而是一個(gè)技術(shù)報(bào)告，給出了用軟件執(zhí)行MPEG-1標(biāo)準(zhǔn)前3個(gè)部分的結(jié)果。

④MPEG-1一致性測(cè)試，寫(xiě)成MPEG-1Conform6MPEG-1譯碼器的方框圖MPEG-1譯碼器的方框圖75.2MPEG-2數(shù)字電視標(biāo)準(zhǔn)

MPEG-2標(biāo)準(zhǔn)從1990年開(kāi)始研究，1994發(fā)布DIS。它是一個(gè)直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。MPEG-2可以說(shuō)是MPEG-1的擴(kuò)充，因?yàn)樗鼈兊幕揪幋a算法都相同。但MPEG-2增加了許多MPEG-1所沒(méi)有的功能，例如增加了隔行掃描電視的編碼，提供了位速率的可變性能(scalability)功能。MPEG-2要達(dá)到的最基本目標(biāo)是：位速率為4～9Mbit/s，最高達(dá)15Mbit/s。MPEG-2的標(biāo)準(zhǔn)號(hào)為ISO/IEC13818，標(biāo)準(zhǔn)名稱(chēng)為“信息技術(shù)�電視圖像和伴音信息的通用編碼(Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation)”。MPEG-2包含9個(gè)部分：①M(fèi)PEG-2系統(tǒng)，寫(xiě)成MPEG-2Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步，標(biāo)準(zhǔn)名是ISO/IEC13818-1：1996Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation：Systems。5.2MPEG-2數(shù)字電視標(biāo)準(zhǔn)MPEG-2標(biāo)準(zhǔn)從8這個(gè)標(biāo)準(zhǔn)主要是用來(lái)定義電視圖像數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)據(jù)的組合，把這些數(shù)據(jù)組合成一個(gè)或者多個(gè)適合于存儲(chǔ)或者傳輸?shù)幕緮?shù)據(jù)流。數(shù)據(jù)流有兩種形式，一種稱(chēng)為程序數(shù)據(jù)流(ProgramStream，PS)，另一種稱(chēng)為傳輸數(shù)據(jù)流(TransportStream，TS)。程序數(shù)據(jù)流是組合一個(gè)或者多個(gè)規(guī)格化的即包化基本數(shù)據(jù)流(PacketisedElementaryStreams，PES)而生成的一種數(shù)據(jù)流，用在出現(xiàn)錯(cuò)誤相對(duì)比較少的環(huán)境下，適合使用軟件處理的應(yīng)用；傳輸數(shù)據(jù)流也是組合一個(gè)或者多個(gè)PES而生成的一種數(shù)據(jù)流，它用在出現(xiàn)錯(cuò)誤相對(duì)比較多的環(huán)境下，例如在有損失或者有噪聲的傳輸系統(tǒng)中。

MPEG-2的系統(tǒng)模型

這個(gè)標(biāo)準(zhǔn)主要是用來(lái)定義電視圖像數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)9②MPEG-2電視圖像，寫(xiě)成MPEG-2Video，規(guī)定電視數(shù)據(jù)的編碼和解碼，標(biāo)準(zhǔn)名是ISO/IEC13818-2：1996Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation：Video。為了適應(yīng)各種應(yīng)用，這個(gè)標(biāo)準(zhǔn)定義了電視圖像的各種規(guī)格，稱(chēng)為配置(profile)。表中的“X”符號(hào)表示MPEG-2支持的配置。有些人認(rèn)為使用4:2:0子采樣格式的圖像質(zhì)量還不夠好，因此在1996年的標(biāo)準(zhǔn)中增加了4:2:2子采樣格式的圖像。多視角配置(MultiviewProfile，MVP)是附加的配置。③MPEG-2聲音，寫(xiě)成MPEG-2Audio，規(guī)定聲音數(shù)據(jù)的編碼和解碼，是MPEG-1Audio的擴(kuò)充，支持多個(gè)聲道，標(biāo)準(zhǔn)名是ISO/IEC13818-3：1998Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part3：Audio。②MPEG-2電視圖像，寫(xiě)成MPEG-2Video，規(guī)定10配置等級(jí)Simple

(簡(jiǎn)化型)Main

(基本型)SNRscalable

(信噪比可變型)Spatialscalable

(空間分辨率可變型)High

(高級(jí)型)Multiview

(多視角型)4:2:2Highlevel(高級(jí))

X

X

High-1440level

(高級(jí)1440)

X

XX

Mainlevel(基本級(jí))XXX

XXXLowlevel(低級(jí))

XX

MPEG-2電視圖像配置配置Simple

(簡(jiǎn)化型)Main

(基本型)SNR11④MPEG-2一致性測(cè)試，寫(xiě)成MPEG-2Conformancetesting，標(biāo)準(zhǔn)名是ISO/IECDIS13818-4Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part4：Conformancetesting。⑤MPEG-2軟件模擬，寫(xiě)成MPEG-2Softwaresimulation，標(biāo)準(zhǔn)名是ISO/IECTR13818-5：1997Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part5：Softwaresimulation。⑥MPEG-2數(shù)字存儲(chǔ)媒體命令和控制擴(kuò)展協(xié)議，寫(xiě)成MPEG-2ExtensionsforDSM-CC，標(biāo)準(zhǔn)名是ISO/IECDIS13818-6Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part6：ExtensionsforDSM-CC。④MPEG-2一致性測(cè)試，寫(xiě)成MPEG-2Conform12⑦M(jìn)PEG-2先進(jìn)聲音編碼，寫(xiě)成MPEG-2AAC，是多聲道聲音編碼算法標(biāo)準(zhǔn)。這個(gè)標(biāo)準(zhǔn)除后向兼容MPEG-1Audio標(biāo)準(zhǔn)之外，還有非后向兼容的聲音標(biāo)準(zhǔn)。標(biāo)準(zhǔn)名是ISO/IEC13818-7：1997Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part7：AdvancedAudioCoding(AAC)。⑧MPEG-2系統(tǒng)解碼器實(shí)時(shí)接口擴(kuò)展標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是ISO/IEC13818-9：1996Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part9：Extensionforrealtimeinterfaceforsystemsdecoders。

⑨MPEG-2DSM-CC一致性擴(kuò)展測(cè)試，標(biāo)準(zhǔn)名是ISO/IECDIS13818-10Informationtechnology—Genericcodingofmovingpicturesandassociatedaudioinformation—Part10：ConformanceextensionsforDigitalStorageMediaCommandandControl(DSM-CC)。⑦M(jìn)PEG-2先進(jìn)聲音編碼，寫(xiě)成MPEG-2AAC，是多聲135.3MPEG-4多媒體應(yīng)用標(biāo)準(zhǔn)

MPEG-4從1994年開(kāi)始工作，它是為視聽(tīng)(audio-visual)數(shù)據(jù)的編碼和交互播放開(kāi)發(fā)算法和工具，是一個(gè)數(shù)據(jù)速率很低的多媒體通信標(biāo)準(zhǔn)。MPEG-4的目標(biāo)是要在異構(gòu)網(wǎng)絡(luò)環(huán)境下能夠高度可靠地工作，并且具有很強(qiáng)的交互功能。為了達(dá)到這個(gè)目標(biāo)，MPEG-4引入了對(duì)象基表達(dá)(object-basedrepresentation)的概念，用來(lái)表達(dá)視聽(tīng)對(duì)象(audio/visualobjects，AVO)；MPEG-4擴(kuò)充了編碼的數(shù)據(jù)類(lèi)型，由自然數(shù)據(jù)對(duì)象擴(kuò)展到計(jì)算機(jī)生成的合成數(shù)據(jù)對(duì)象，采用合成對(duì)象/自然對(duì)象混合編碼(Synthetic/NaturalHybridCoding，SNHC)算法；在實(shí)現(xiàn)交互功能和重用對(duì)象中引入了組合、合成和編排等重要概念。MPEG-4系統(tǒng)構(gòu)造如圖5-01所示，接收端的構(gòu)造部件如圖5-02所示。5.3MPEG-4多媒體應(yīng)用標(biāo)準(zhǔn)MPEG-414圖5-01MPEG-4系統(tǒng)示意圖

圖5-01MPEG-4系統(tǒng)示意圖15圖5-02MPEG-4接收端的主要部件

圖5-02MPEG-4接收端的主要部件16MPEG-4中制定了一個(gè)稱(chēng)為傳輸多媒體集成框架(DeliveryMultimediaIntegrationFramework，DMIF)的會(huì)話協(xié)議，它用來(lái)管理多媒體數(shù)據(jù)流。該協(xié)議在原則上與文件傳輸協(xié)議FTP(FileTransferProtocol)類(lèi)似，其差別是：FTP返回的是數(shù)據(jù)，而DMIF返回的是指向到何處獲取數(shù)據(jù)流的指針。DMIF覆蓋了三種主要技術(shù)：廣播技術(shù)，交互網(wǎng)絡(luò)技術(shù)和光盤(pán)技術(shù)，如圖8-03所示。

圖8-03DMIF覆蓋的三種主要技術(shù)

MPEG-4中制定了一個(gè)稱(chēng)為傳輸多媒體集成17MPEG-4將應(yīng)用在移動(dòng)通信和公用電話交換網(wǎng)(publicswitchedtelephonenetwork，PSTN)上，并支持可視電話(videophone)、電視郵件(videomail)、電子報(bào)紙(electronicnewspapers)和其他低數(shù)據(jù)傳輸速率場(chǎng)合下的應(yīng)用。MPEG-4的標(biāo)準(zhǔn)名是Very-lowbitrateaudio-visualcoding(甚低速率視聽(tīng)編碼)。截止到1998年9月，已作為國(guó)際標(biāo)準(zhǔn)草案(DraftInternationalStandard，DIS)的MPEG-4文件有6個(gè)部分，它們是：①M(fèi)PEG-4系統(tǒng)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是ISO/IECDIS14496-1Very-lowbitrateaudio-visualcoding—Part1:Systems。②MPEG-4電視圖像標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是ISO/IECDIS14496-2Verylowbitrateaudio-visualcoding—Part2:Video。③MPEG-4聲音標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是ISO/IECDIS14496-3Verylowbitrateaudio-visualcoding—Part3:Audio。

MPEG-4將應(yīng)用在移動(dòng)通信和公用電話交換網(wǎng)(pu18④MPEG-4一致性測(cè)試標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是ISO/IECDIS14496-4Very-lowbitrateaudio-visualcoding—Part4:ConformanceTesting。⑤MPEG-4參考軟件，標(biāo)準(zhǔn)名是ISO/IECDIS14496-5Very-lowbitrateaudio-visualcoding—Part5:Referencesoftware⑥MPEG-4傳輸多媒體集成框架，標(biāo)準(zhǔn)名是ISO/IECDIS14496-6Very-lowbitrateaudio-visualcoding—Part6:DeliveryMultimediaIntegrationFramework(DMIF)。④MPEG-4一致性測(cè)試標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是ISO/IECDI195.4MPEG-7多媒體應(yīng)用標(biāo)準(zhǔn)

MPEG-7的工作于1996年啟動(dòng)，名稱(chēng)叫做多媒體內(nèi)容描述接口(MultimediaContentDescriptionInterface)，目的是制定一套描述符標(biāo)準(zhǔn)，用來(lái)描述各種類(lèi)型的多媒體信息及它們之間的關(guān)系，以便更快更有效地檢索信息。這些媒體材料可包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的組合關(guān)系。在某些情況下，數(shù)據(jù)類(lèi)型還可包括面部特性和個(gè)人特性的表達(dá)。與其他的MPEG標(biāo)準(zhǔn)一樣，MPEG-7是為滿足特定需求而制定的視聽(tīng)信息標(biāo)準(zhǔn)。MPEG-7標(biāo)準(zhǔn)也是建筑在其他的標(biāo)準(zhǔn)之上的，例如，PCM,MPEG-1,MPEG-2和MPEG-4等等。在MPEG-7中，例如MPEG-4中使用的形狀描述符、MPEG-1和MPEG-2中使用的移動(dòng)矢量(motionvector)等都可能在MPEG-7中用到。5.4MPEG-7多媒體應(yīng)用標(biāo)準(zhǔn)MPEG-7的20下圖表示了MPEG-7的處理鏈(processingchain)，這是高度抽象的方框圖。在這個(gè)處理鏈中包含有三個(gè)方框：特征抽取(featureextraction)、標(biāo)準(zhǔn)描述(standarddescription)和檢索工具(searchengine)。特征的自動(dòng)分析和抽取對(duì)MPEG-7是至關(guān)重要的，抽象程度越高，自動(dòng)抽取也越困難，而且不是都能夠自動(dòng)抽取的，因此開(kāi)發(fā)自動(dòng)的和交互式半自動(dòng)抽取的算法和工具都是很有用的。盡管如此，特征抽取和檢索工具都不包含在MPEG-7標(biāo)準(zhǔn)中，而是留給大家去競(jìng)爭(zhēng)，以便得到最好的算法和工具。MPEG-7的應(yīng)用領(lǐng)域包括：數(shù)字圖書(shū)館(Digitallibrary)，例如圖像目錄、音樂(lè)詞典等；多媒體目錄服務(wù)(multimediadirectoryservices)，例如黃頁(yè)(yellowpages)；廣播媒體的選擇，例如無(wú)線電頻道，TV頻道等；多媒體編輯，例如個(gè)人電子新聞服務(wù)，多媒體創(chuàng)作等等。潛在應(yīng)用的應(yīng)用領(lǐng)域包括：教育、娛樂(lè)、新聞、旅游、醫(yī)療、購(gòu)物等等

下圖表示了MPEG-7的處理鏈(processing215.5MPEG視頻MPEG-1和MPEG-2Video標(biāo)準(zhǔn)有許多共同之處，基本概念類(lèi)似，數(shù)據(jù)壓縮編碼方法基本相同，都采用以圖像塊作為基本單元進(jìn)行變換、量化和運(yùn)動(dòng)補(bǔ)償?shù)燃夹g(shù)來(lái)獲得高壓縮比。MPEG-4Video部分采用內(nèi)容基編碼技術(shù)，它除與MPEG-1和-2Video向后兼容外，還引入了電視圖像對(duì)象(VO)的概念，在某些應(yīng)用場(chǎng)合下，對(duì)場(chǎng)景中的圖像分別進(jìn)行編碼可以獲得很高的壓縮比而服務(wù)質(zhì)量也能滿足要求。下面將簡(jiǎn)要介紹這些標(biāo)準(zhǔn)中壓縮電視圖像數(shù)據(jù)的基本方法。5.5.1數(shù)據(jù)壓縮算法1簡(jiǎn)介電視圖像數(shù)據(jù)壓縮利用的各種特性和采用的方法歸納在表5-1中。從表中可以看到，電視圖像本身在時(shí)間上和空間上都含有許多冗余信息，圖像自身的構(gòu)造也有冗余性。此外，正如前面所介紹的，利用人的視覺(jué)特性也可對(duì)圖像進(jìn)行壓縮，這叫做視覺(jué)冗余。5.5MPEG視頻MPEG-1和MPEG-222表5-1電視圖像壓縮利用的各種冗余信息種類(lèi)內(nèi)容目前主要方法統(tǒng)計(jì)空間冗余像素間的相關(guān)性變換編碼，預(yù)測(cè)編碼特性時(shí)間冗余時(shí)間方向上的相關(guān)性幀間預(yù)測(cè)，運(yùn)動(dòng)補(bǔ)償圖像構(gòu)造冗余圖像本身的構(gòu)造輪廓編碼，區(qū)域分割知識(shí)冗余收發(fā)兩端對(duì)人物的共有認(rèn)識(shí)基于知識(shí)的編碼視覺(jué)冗余人的視覺(jué)特性非線性量化，位分配其他不確定性因素

表5-1電視圖像壓縮利用的各種冗余信息種類(lèi)內(nèi)容目前主要方法23MPEG-Video圖像壓縮技術(shù)基本方法和方法可以歸納成兩個(gè)要點(diǎn)：①在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG(JointPhotographicExpertsGroup)壓縮算法來(lái)去掉冗余信息。②在時(shí)間方向上，圖像數(shù)據(jù)壓縮采用運(yùn)動(dòng)補(bǔ)償(motioncompensation)算法來(lái)去掉冗余信息。為了在保證圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，MPEG專(zhuān)家組定義了三種圖像：幀內(nèi)圖像I(intra)，預(yù)測(cè)圖像P(predicted)和雙向預(yù)測(cè)圖像B(bidirectionallyinterpolated)，典型的排列如圖5-04所示。這三種圖像將采用三種不同的算法進(jìn)行壓縮。圖5-04MPEG專(zhuān)家組定義的三種圖像

MPEG-Video圖像壓縮技術(shù)基本方法和方法可以歸242幀內(nèi)圖像I的壓縮編碼算法幀內(nèi)圖像I不參照任何過(guò)去的或者將來(lái)的其他圖像幀，壓縮編碼采用類(lèi)似JPEG壓縮算法，它的框圖如圖5-05所示。如果電視圖像是用RGB空間表示的，則首先把它轉(zhuǎn)換成YCrCb空間表示的圖像。每個(gè)圖像平面分成8×8的圖塊，對(duì)每個(gè)圖塊進(jìn)行離散余弦變換DCT(discreteCosineTransform)。DCT變換后經(jīng)過(guò)量化的交流分量系數(shù)按照Z(yǔ)ig-zag的形狀排序，然后再使用無(wú)損壓縮技術(shù)進(jìn)行編碼。DCT變換后經(jīng)過(guò)量化的直流分量系數(shù)用差分脈沖編碼DPCM(DifferentialPulseCodeModulation)，交流分量系數(shù)用行程長(zhǎng)度編碼RLE(run-lengthencoding)，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼。它的編碼框圖如圖5-05所示。2幀內(nèi)圖像I的壓縮編碼算法25圖5-05幀內(nèi)圖像I的壓縮編碼算法框圖

圖5-05幀內(nèi)圖像I的壓縮編碼算法框圖263預(yù)測(cè)圖像P的壓縮編碼算法預(yù)測(cè)圖像的編碼也是以圖像宏塊(macroblock)為基本編碼單元，一個(gè)宏塊定義為I×J像素的圖像塊，一般取16×16。預(yù)測(cè)圖像P使用兩種類(lèi)型的參數(shù)來(lái)表示：一種參數(shù)是當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值，另一種參數(shù)是宏塊的運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量的概念可用圖5-06表示。圖5-06運(yùn)動(dòng)矢量的概念

3預(yù)測(cè)圖像P的壓縮編碼算法圖5-06運(yùn)動(dòng)矢量的概念27求解差值的方法如圖5-07所示。假設(shè)編碼圖像宏塊MPI是參考圖像宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)像素值之差。對(duì)所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照J(rèn)PEG壓縮算法對(duì)差值進(jìn)行編碼，計(jì)算出的運(yùn)動(dòng)矢量也要進(jìn)行霍夫曼編碼。圖5-07預(yù)測(cè)圖像P的壓縮編碼算法框圖

求解差值的方法如圖5-07所示。假設(shè)編碼圖像宏塊MP28求解運(yùn)動(dòng)矢量的方法定義在圖5-08中。在求兩個(gè)宏塊差值之前，需要找出編碼圖像中的預(yù)測(cè)圖像編碼宏塊MPI相對(duì)于參考圖像中的參考宏塊MRJ所移動(dòng)的距離和方向，這就是運(yùn)動(dòng)矢量(motionvector)。

圖5-08運(yùn)動(dòng)矢量的算法框圖

horizontal求解運(yùn)動(dòng)矢量的方法定義在圖5-08中。在求兩個(gè)宏塊差值29要使預(yù)測(cè)圖像更精確，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測(cè)圖像編碼宏塊MPI。所謂最佳匹配是指這兩個(gè)宏塊之間的差值最小。方法一、以絕對(duì)值A(chǔ)E(absolutedifference)最小作為匹配判據(jù)，

，

方法二、以均方誤差MSE(mean-squareerror)最小作為匹配判據(jù)，方法三、以平均絕對(duì)幀差MAD(meanoftheabsoluteframedifference)最小作為匹配判據(jù)，，

要使預(yù)測(cè)圖像更精確，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測(cè)30其中，dx和dy分別是參考宏塊MRJ的運(yùn)動(dòng)矢量d(dx,dy)在X和Y方向上的矢量。從以上分析可知，對(duì)預(yù)測(cè)圖像的編碼實(shí)際上就是尋找最佳匹配圖像宏塊，找到最佳宏塊之后就找到了最佳運(yùn)動(dòng)矢量d(dx,dy)。為減少搜索次數(shù)，現(xiàn)在已開(kāi)發(fā)出許多簡(jiǎn)化算法用來(lái)尋找最佳宏塊，下面介紹其中的三種。1.二維對(duì)數(shù)搜索法(2D-logarithmicsearch)這種方法采用的匹配判據(jù)是MSE為最小。它的搜索策略是當(dāng)沿著最小失真方向搜索。二維對(duì)數(shù)搜索方法如圖5-09所示。在搜索時(shí)，每移動(dòng)一次就檢查5個(gè)搜索點(diǎn)。如果最小失真在中央或在邊界，就減少搜索點(diǎn)之間的距離。在這個(gè)例子中，步驟1，2，…，5得到的近似移動(dòng)矢量d為(i，j-2)、(i，j-4)、(i+2，j-4)、(i+2，j-5)和(i+2，j-6)，最后得到的移動(dòng)矢量為d(i+2，j-6)。其中，dx和dy分別是參考宏塊MRJ的運(yùn)動(dòng)矢量d(d31圖5-09二維對(duì)數(shù)搜索法圖5-09二維對(duì)數(shù)搜索法322.三步搜索法(three-stepsearch)這種搜索法與二維對(duì)數(shù)搜索法很接近。不過(guò)在開(kāi)始搜索時(shí)，搜索點(diǎn)離(i，j)這個(gè)中心點(diǎn)很遠(yuǎn)，第一步就測(cè)試8個(gè)搜索點(diǎn)，如圖5-10所示。在這個(gè)例子中，點(diǎn)(i+3，j-3)作為第一個(gè)近似的移動(dòng)矢量d1；第二步，搜索點(diǎn)偏離(i+3，j-3)較近，找到的點(diǎn)假定為(i+3，j-5)；第三步給出了最后的移動(dòng)矢量為d(i+2，j-6)。本例采用MAD作為匹配判據(jù)。圖5-10三步搜索法

2.三步搜索法(three-stepsearch)圖5-333.對(duì)偶搜索法(conjugatesearch)該法使用MAD作為匹配判據(jù)，示于圖5-11。在第一次搜索時(shí)，通過(guò)計(jì)算點(diǎn)(i-1，j)、(i，j)和(i+1，j)處的MAD值來(lái)決定i方向上的最小失真。如果計(jì)算結(jié)果表明點(diǎn)(i+1，j)處的MAD為最小，就計(jì)算點(diǎn)(i+2，j)處的MAD，并從(i，j)，(i+1，j)和(i+2，j)的MAD中找出最小值。按這種方法一直進(jìn)行下去，直到在i方向上找到最小MAD值及其對(duì)應(yīng)的點(diǎn)。在這個(gè)例子中，假定在i方向上找到的點(diǎn)為(i+2，j)。在i方向上找到最小MAD值對(duì)應(yīng)的點(diǎn)之后，就沿j方向去找最小MAD值對(duì)應(yīng)的點(diǎn)，方法與i方向的搜索方法相同。最后得到的移動(dòng)矢量為d(i+2，j-6)。3.對(duì)偶搜索法(conjugatesearch)34圖5-11對(duì)偶搜索法

在整個(gè)MPEG圖像壓縮過(guò)程中，尋找最佳匹配宏塊要占據(jù)相當(dāng)多的計(jì)算時(shí)間，匹配得越好，重構(gòu)的圖像質(zhì)量越高。圖5-11對(duì)偶搜索法在整個(gè)MPEG圖像354雙向預(yù)測(cè)圖像B的壓縮編碼算法雙向預(yù)測(cè)圖像B的壓縮編碼框圖如圖5-12所示。具體計(jì)算方法與預(yù)測(cè)圖像P的算法類(lèi)似。

圖5-12雙向預(yù)測(cè)圖像B的壓縮編碼算法框圖[

4雙向預(yù)測(cè)圖像B的壓縮編碼算法圖5-12雙向預(yù)測(cè)圖像365電視圖像的結(jié)構(gòu)MPEG編碼器算法允許選擇I圖像的頻率和位置。I圖像的頻率是指每秒鐘出現(xiàn)I圖像的次數(shù)，位置是指時(shí)間方向上幀所在的位置。一般情況下，I圖像的頻率為2。MPEG編碼器也允許在一對(duì)I圖像或者P圖像之間選擇B圖像的數(shù)目。I圖像、P圖像和B圖像數(shù)目的選擇依據(jù)主要是根據(jù)節(jié)目的內(nèi)容。例如，對(duì)于快速運(yùn)動(dòng)的圖像，I圖像的頻率可以選擇高一些，B圖像的數(shù)目可以選擇少一點(diǎn)；對(duì)于慢速運(yùn)動(dòng)的圖像I圖像的頻率可以低一點(diǎn)，而B(niǎo)圖像的數(shù)目可以選擇多一點(diǎn)。此外，在實(shí)際應(yīng)用中還要考慮媒體的速率。一個(gè)典型的I、P、B圖像安排如圖5－13所示。編碼參數(shù)為：幀內(nèi)圖像I的距離為N=15，預(yù)測(cè)圖像(P)的距離為M=3。

5電視圖像的結(jié)構(gòu)37圖5－13MPEG電視幀編排

I、P和B圖像壓縮后的大小如表10-02所示，單位為比特。從表中可以看到，I幀圖像的數(shù)據(jù)量最大，而B(niǎo)幀圖像的數(shù)據(jù)量最小。MPEG三種圖像的壓縮后的典型值(比特)

圖像類(lèi)型IPB平均數(shù)據(jù)/幀MPEG-1CIF格式(1.15Mb/s)150000500002000038000MPEG-2601格式(4.00Mb/s)40000020000080000130000圖5－13MPEG電視幀編排I、P和B圖像壓縮后的大小385.4MPEG-4電視圖像編碼MPEGVideo專(zhuān)家組建立了一個(gè)用來(lái)開(kāi)發(fā)圖像和電視圖像編碼技術(shù)的模型，叫做“試驗(yàn)?zāi)Ｐ?TestModel)”或者叫做“驗(yàn)證模型(VM—VerificationModel)”。這個(gè)模型描述了一個(gè)核心的編碼算法平臺(tái)，包括編碼器、解碼器以及位流(bitstream)的語(yǔ)法和語(yǔ)義。本節(jié)就電視圖像的編碼和解碼的基本方法作一個(gè)簡(jiǎn)單介紹，其他內(nèi)容請(qǐng)看本章所附的參考文獻(xiàn)和站點(diǎn)。1、電視圖像對(duì)象區(qū)的概念MPEG-4Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對(duì)各種輸入格式下的標(biāo)準(zhǔn)矩形圖像、幀速率、位速率和隔行掃描圖像源的支持。MPEG-4Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對(duì)場(chǎng)景中使用分割算法抽取的單獨(dú)的物理對(duì)象進(jìn)行編碼和解碼。MPEG-4Video還提供管理這些電視內(nèi)容的最基本方法。

5.4MPEG-4電視圖像編碼39為了實(shí)現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4Video驗(yàn)證模型引進(jìn)了一個(gè)叫做“電視圖像對(duì)象區(qū)(VideoObjectPlane，VOP)”的概念。如圖10-11所示，上圖表示支持MPEG-1和MPEG-2的普通的MPEG-4編碼器，下圖表示MPEG-4的甚低速率電視圖像(VeryLowBitrateVideo，VLVB)的核心編碼器。MPEG-4Video驗(yàn)證模型不像MPEG-1/-2Video那樣把電視圖像都認(rèn)為是一個(gè)矩形區(qū)，而是假設(shè)每幀圖像被分割成許多任意形狀的圖像區(qū)，每個(gè)區(qū)都有可能覆蓋描述場(chǎng)景中感興趣的物理對(duì)象或者內(nèi)容，這種區(qū)被定義為圖像對(duì)象區(qū)VOP。

圖5－13普通MPEG-4編碼器和MPEG-4VLBV核心編碼器

為了實(shí)現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4Vid40

編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也可隨幀的變化而改變。屬于相同物理對(duì)象的連續(xù)的電視圖像對(duì)象區(qū)(VOP)組成電視圖像對(duì)象(VideoObjects，VO)。例如，一個(gè)沒(méi)有背景圖像的正在演講的人，如圖10-11所示。MPEG-4可單獨(dú)對(duì)屬于相同電視圖像對(duì)象(VO)的電視圖像區(qū)(VOP)的形狀、移動(dòng)(motion)和紋理(texture)信息進(jìn)編碼和傳送，或者把它們編碼成一個(gè)單獨(dú)的電視圖像對(duì)象層(VideoObjectLayer，VOL)。此外，需要標(biāo)識(shí)每個(gè)電視圖像對(duì)象層(VOL)的信息也包含在編碼后的位流(bitstream)中，這些信息包括各種電視圖像對(duì)象層(VOL)的電視圖像在接收端應(yīng)該如何進(jìn)行組合，以便重構(gòu)完整的原始圖像序列。這樣就可以對(duì)每個(gè)電視圖像對(duì)象區(qū)(VOP)進(jìn)行單獨(dú)解碼，提供了管理電視圖像序列的靈活性。編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也412電視圖像編碼方案

MPEG-4Video驗(yàn)證模型對(duì)每個(gè)電視圖像對(duì)象(VO)的形狀、移動(dòng)和紋理信息進(jìn)行編碼形成單獨(dú)的VOL層，以便能夠單獨(dú)對(duì)電視圖像對(duì)象(VO)進(jìn)行解碼。如果輸入圖像序列只包含標(biāo)準(zhǔn)的矩形圖像，就不需要形狀編碼，在這種情況下，MPEG-4Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。

MPEG-4Video驗(yàn)證模型對(duì)每個(gè)電視圖像對(duì)象區(qū)(VOP)進(jìn)行編碼使用的壓縮算法是在MPEG-1和MPEG-2