第4章圖像信息處理技術(shù)(MPEG概要)綜述課件

MPEG概要7/20/20232008-07-011MPEG概要目錄1MPEG簡介1.1MPEG是什么1.2MPEG文檔的創(chuàng)建過程1.3MPEG標準的重要性2MPEG-1數(shù)字電視標準2.1MPEG-1是什么2.2MPEG-1的系統(tǒng)模型2.3MPEG-1標準的文檔3MPEG-2數(shù)字電視標準3.1MPEG-2是什么3.2MPEG-2的系統(tǒng)模型3.3MPEG-2視像的類型與等級3.4MPEG-2標準的文檔4MPEG-4視聽對象編碼4.1MPEG-4是什么4.2MPEG-4系統(tǒng)的模型4.3MPEG-4標準的文檔5MPEG-7多媒體內(nèi)容描述接口標準5.1MPEG-7是什么5.2MPEG-7標準化范圍5.3MPEG-7標準的文檔6MPEG-21多媒體框架標準6.1MPEG-21是什么6.2MPEG-21的結(jié)構(gòu)6.3MPEG-21標準的文檔7/20/202321MPEG簡介MPEG是什么MovingPictureExpertGroup的縮寫1988年5月由國際標準化組織(ISO)和國際電工委員會(IEC)聯(lián)合成立的專家組MPEG專家組的任務(wù)負責開發(fā)視像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們之間的同步等標準專家組開發(fā)的標準稱為MPEG標準，見圖1圖1ISO/IEC聯(lián)合成立的MPEG專家組7/20/202331MPEG簡介(續(xù)1)MPEG標準MPEG-1：1992年發(fā)布的數(shù)字電視標準，主要用在VideoCD(VCD)，MP3(MPEG-1Layer3)等產(chǎn)品典型參數(shù)見表1MPEG-2：1994年發(fā)布的數(shù)字電視標準，主要用在DVD，ATSC，DVB，ISDB等數(shù)字電視標準以及數(shù)字電視機頂盒等產(chǎn)品典型參數(shù)見表1MPEG-3：最初設(shè)想是開發(fā)HDTV標準，后來發(fā)現(xiàn)MPEG-2可滿足HDTV的要求，于1992年7月終止MPEG-4：1999年發(fā)布的多媒體應(yīng)用標準，主要應(yīng)用在多媒體通信、數(shù)字電視和人機互動系統(tǒng)等產(chǎn)品中?，F(xiàn)改稱為“視聽對象編碼”標準MPEG-5：直至2007年9月還沒有見到定義MPEG-6：直至2007年9月還沒有見到定義表1MPEG?1和MPEG?2的典型編碼參數(shù)7/20/202341MPEG簡介(續(xù)2)MPEG-7：2001年發(fā)布的多媒體內(nèi)容描述接口標準，用于描述和搜索視聽內(nèi)容

MPEG-21：2000年啟動的多媒體框架標準

MPEG-A：多媒體應(yīng)用格式標準，集成多種MPEG技術(shù)以提供專用的格式

MPEG-B：為專用系統(tǒng)提供系統(tǒng)技術(shù)標準

MPEG-C：為專用電視提供電視技術(shù)標準

MPEG-D：為專用聲音提供聲音技術(shù)標準

MPEG-E：為應(yīng)用程序提供下載和執(zhí)行功能的多媒體中間件標準這些標準的進程見圖2。7/20/202351MPEG簡介(續(xù)3)圖2MPEG標準的開發(fā)進程結(jié)論：2000年以前制定的標準主要是數(shù)據(jù)壓縮2000年開始制定的標準主要是針對內(nèi)容管理MPEG-4既含數(shù)據(jù)壓縮又含內(nèi)容管理7/20/202361MPEG簡介(續(xù)4)MPEG標準的重要性標準是人類智慧的結(jié)晶，凝聚著人類認識世界和改造世界的歷史經(jīng)驗。在有標準可循的情況下，開發(fā)軟硬件產(chǎn)品要遵循標準，在還沒有標準可循的情況下，要力爭把我們的科研成果變成標準7/20/202372MPEG-1數(shù)字電視標準MPEG-1是什么MPEG專家組于1992年發(fā)布的第一個數(shù)字電視編碼標準(ISO/IEC11172)，包括圖像數(shù)據(jù)的編碼，針對1/4的NTSC制和1/4的PAL制視像，壓縮比為30:1時，相當于家用錄像系統(tǒng)(VHS)的視像質(zhì)量。聲音數(shù)據(jù)的編碼，針對采樣頻率為44.1kHz的聲音數(shù)據(jù)，定義了3個層次的壓縮比，壓縮比約為6:1時，聲音質(zhì)量接近激光唱片上的聲音質(zhì)量MPEG-1的主要應(yīng)用針對20世紀90年代初期CD-ROM的數(shù)據(jù)傳輸能力只有1.4Mb/s而開發(fā)的，MPEG-1的最高數(shù)據(jù)速率限定在1.5Mb/sMPEG-1標準主要用于在CD光盤上存儲數(shù)字影視、在網(wǎng)絡(luò)上傳輸數(shù)字影視以及存放MP3格式的數(shù)字音樂節(jié)目

7/20/202382MPEG-1數(shù)字電視標準(續(xù)2)MPEG-1的系統(tǒng)模型由編碼系統(tǒng)和解碼系統(tǒng)兩大部分組成，見圖3圖(a)是MPEG-1的編碼系統(tǒng)，圖(b)是MPEG-1的解碼系統(tǒng)編碼系統(tǒng)由兩個部分組成

(1)視像編碼和聲音編碼；(2)系統(tǒng)層上的多路數(shù)據(jù)復(fù)合圖3MPEG-1系統(tǒng)模型7/20/202392MPEG-1數(shù)字電視標準(續(xù)3)MPEG-1標準的文檔MPEG-1的標準號為ISO/IEC11172，標準名稱為Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mb/sMPEG-1標準定義的一套語法和語義規(guī)則由五個部分組成Part1(MPEG-1System)：視像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步Part2(MPEG-1Video)：電視數(shù)據(jù)的編碼和解碼Part3(MPEG-1Audio)：聲音數(shù)據(jù)的編碼和解碼Part4(MPEG-1ConformanceTesting)：說明如何測試位流(bitstream)和解碼器是否滿足Part1，Part2和Part3所規(guī)定的要求Part5(MPEG-1SoftwareSimulation)：1994年認可的包含C語言代碼的參考軟件(ReferenceSoftware)，并給出了用參考軟件執(zhí)行前3個部分的結(jié)果7/20/2023103MPEG-2數(shù)字電視標準MPEG-2是什么1990年開始于1994年完成的數(shù)字電視編碼標準(ISO/IEC13818)，與數(shù)字電視廣播和有線數(shù)字電視有直接關(guān)系基本編碼算法與MPEG?1的相同，增加了許多MPEG?1所沒有的功能，如支持高分辨率的視像、大范圍的數(shù)據(jù)速率、多聲道的環(huán)繞聲、多種視像分辨率、位速率可變(scalability)、隔行掃描等特性。由于增加了如此多的特性，再加MPEG-1的技術(shù)就形成了單獨的MPEG-2標準要達到的目標是電視數(shù)據(jù)壓縮后的數(shù)據(jù)位速率最低為4Mb/s，最高可達100Mb/s典型應(yīng)用是DVD影視和廣播級質(zhì)量的數(shù)字電視，包括美國的ATSCDTV、歐洲的DVB以及日本的ISDB。MPEG-2也是在因特網(wǎng)上傳輸數(shù)字電視的標準

7/20/2023113MPEG-2數(shù)字電視標準(續(xù)1)MPEG-2的系統(tǒng)模型主要由編碼系統(tǒng)和解碼系統(tǒng)兩部分組成。見圖4圖(a)：編碼系統(tǒng)，由兩個部分組成：(1)視像編碼和聲音編碼；(2)數(shù)據(jù)打包和多路數(shù)據(jù)復(fù)合圖(b)：解碼系統(tǒng)(a)MPEG-2編碼系統(tǒng)7/20/2023123MPEG-2數(shù)字電視標準(續(xù)3)(b)MPEG-2解碼系統(tǒng)圖4MPEG-2系統(tǒng)模型用來定義把視像、聲音和其他數(shù)據(jù)組合成適合存儲或傳輸?shù)幕緮?shù)據(jù)流。節(jié)目數(shù)據(jù)流(programstream，PS)，由基本數(shù)據(jù)流(packetisedelementarystreams，PES)組合而成，用在出現(xiàn)錯誤相對比較少的環(huán)境，如DVD存儲系統(tǒng)傳輸數(shù)據(jù)流(transportstream，TS)，由一個或多個PES組合而成，用在出現(xiàn)錯誤相對比較多的環(huán)境下，如數(shù)字電視廣播、有損失或者有噪聲的傳輸系統(tǒng)7/20/2023134MPEG-4視聽對象編碼MPEG-4是什么視聽對象編碼(Codingofaudio-visualobjects)標準(ISO/IEC14496)，始于1993年的多媒體應(yīng)用標準1998年10月發(fā)布了版本11999年底完成了版本22000年初正式成為國際標準不斷更新和完善……目標是為通信、廣播、存儲和其他應(yīng)用提供數(shù)據(jù)速率低而視聽質(zhì)量高的數(shù)據(jù)編碼方法和交互播放工具，見圖5吸收了MPEG-1、MPEG-2和其他相關(guān)標準的許多特性引入了視聽對象(audio-visualobjects，AVO)編碼的概念7/20/2023144MPEG-4視聽對象編碼(續(xù)1)擴充了編碼類型，由自然對象擴展到合成對象采用了合成對象與自然對象混合編碼(Synthetic/NaturalHybridCoding，SNHC)算法引入了組合、合成和編排等重要概念，以實現(xiàn)交互功能和對象重用圖5MPEG-4的應(yīng)用前景7/20/2023154MPEG-4視聽對象編碼(續(xù)2)MPEG-4的系統(tǒng)模型信息編碼操場按MPEG資深專家的說法，MPEG-4期待為未來多媒體應(yīng)用提供一個“信息編碼操場(informationcodingplayground)”。根據(jù)當時的技術(shù)和技術(shù)發(fā)展趨勢，專家們引入了基于對象的視聽表示模型，見圖67/20/2023164MPEG-4視聽對象編碼(續(xù)3)發(fā)送端(b)接收端圖6MPEG-4基于對象的系統(tǒng)模型7/20/2023174MPEG-4視聽對象編碼(續(xù)2)MPEG-4的系統(tǒng)模型由編碼和解碼兩大部分組成，為互動視聽場景通信定義的主要功能包括自然視聽對象和人造視聽對象、二維(2-D)和三維(3-D)視聽對象的編碼表示法，這些對象可以是攝像機攝制的、用麥克風錄制的或用計算機生成的視聽對象及其行為的時間與空間的編碼表示法數(shù)據(jù)流管理信息的編碼表示法，包括同步、標識、流媒體內(nèi)容的描述、超鏈接和互動等信息的編碼表示法7/20/2023184MPEG-4視聽對象編碼(續(xù)4)MPEG-4系統(tǒng)分成3層，見圖7圖7MPEG-4分層模型壓縮層(CompressionLayer)視聽數(shù)據(jù)流的編碼和解碼稱為“基本數(shù)據(jù)流(ElementaryStream)”編碼和解碼定義在MPEG-4Visual、MPEG-4Audio和MPEG-4AVC中同步層(SyncLayer)管理基本數(shù)據(jù)流的同步定義在MPEG-4System中傳遞層(DeliveryLayer，SL)傳遞多媒體內(nèi)容而不關(guān)心內(nèi)容所在位置和內(nèi)容傳輸技術(shù)描述該層抽象功能的名稱是“傳遞多媒體框架(DeliveryMultimediaIntegrationFramework，DMIF)”定義在MPEG-4DMIF中7/20/2023195MPEG-7多媒體內(nèi)容描述接口標準

MPEG-7是什么從1998年啟動的多媒體內(nèi)容描述接口標準(ISO/IEC15938)描述多媒體內(nèi)容及它們之間的關(guān)系，便于多媒體信息檢索多媒體內(nèi)容包括用文字、圖像、圖形、三維模型、聲音和視像等傳播媒體表示的內(nèi)容，以及它們在多媒體演示中的組合關(guān)系不是瞄準特定的應(yīng)用，其應(yīng)用領(lǐng)域極其廣泛如數(shù)字圖書館(如影視目錄)、多媒體目錄服務(wù)(如黃頁)、廣播媒體(如無線電頻道，TV頻道等)、多媒體編輯(如新聞服務(wù)、多媒體創(chuàng)作)等注意：MPEG-7不是視聽數(shù)據(jù)壓縮標準7/20/2023205MPEG-7多媒體內(nèi)容描述接口標準(續(xù)1)MPEG-7標準化范圍內(nèi)容描述的概念對多媒體數(shù)據(jù)的特征進行描述。特征包括對圖像、圖形、

三維動畫、聲音和視像的特征。例如，在圖9中，一段AV(視聽材料)可能包括多個鏡頭，為檢索方便，需要對每個鏡頭進行描述，就是對鏡頭進行標注。鏡頭(shot)是攝像機拍攝的描述某一場面或主題(subject)的一組連續(xù)圖像。鏡頭是構(gòu)成情節(jié)的基本單元，其持續(xù)時間取決于鏡頭表現(xiàn)的意圖等因素7/20/2023215MPEG-7多媒體內(nèi)容描述接口標準(續(xù)2)圖9MPEG-7的內(nèi)容描述概念7/20/2023225MPEG-7多媒體內(nèi)容描述接口標準(續(xù)3)標準化的范圍MPEG-7的處理鏈(processingchain)見圖10。包含三個部分：特征抽取(featureextraction)，MPEG-7的基礎(chǔ)標準描述(standarddescription)搜索引擎(searchengine)，MPEG-7的應(yīng)用特征抽取和檢索工具都不屬于MPEG-7專家組制定標準的范疇，而是留給那些才華橫溢的科學(xué)技術(shù)人員去競爭，以便得到最好的算法和工具引擎(engine)的概念：(1)具有特定功能的專用處理器(如圖形處理器)，但不能單獨工作，就像發(fā)動機一樣，處理器運行得越快，工作任務(wù)完成得越快。(2)執(zhí)行基本而又具有高度重復(fù)功能的專用軟件，如搜索引擎；決定程序如何管理和操作數(shù)據(jù)的專用軟件，如數(shù)據(jù)庫引擎7/20/2023235MPEG-7多媒體內(nèi)容描述接口標準(續(xù)4)圖10MPEG-7標準化的范圍7/20/2023245MPEG-7多媒體內(nèi)容描述接口標準(續(xù)5)MPEG-7標準的文檔MPEG-7描述的是視聽信息的表示方法，是有關(guān)信息的信息，而不是信息本身。該標準現(xiàn)由11個部分組成目前，大多數(shù)人比較關(guān)心的部分包括

Part1(MPEG-7Systems)—系統(tǒng)標準:闡述MPEG-7標準的框架結(jié)構(gòu)

Part2(MPEG-7DescriptionDefinitionLanguage)—描述定義語言：定義MPEG-7描述工具的語法和定義新的描述方案(DescriptionSchemes)Part3(MPEG-7Visual)—可視內(nèi)容描述：規(guī)范描述可視內(nèi)容的描述工具

Part4(MPEG-7Audio)—聲音內(nèi)容描述：規(guī)范描述聲音內(nèi)容的描述工具

Part5(MPEG-7MultimediaDescriptionSchemes)—多媒體描述方案：規(guī)范描述一般特性和描述多媒體的描述工具。7/20/2023256MPEG-21多媒體框架標準MPEG-21是什么開發(fā)背景盡管有MPEG-1,MPEG-2,MPEG-4和MPEG-7標準，但在多媒體內(nèi)容的發(fā)行和使用方面，要達到完全協(xié)調(diào)工作，還需要有能夠把已有和正在開發(fā)的標準和技術(shù)融合在一起的標準，這就是MPEG專家組開發(fā)MPEG-21標準的出發(fā)點，俗稱為“膠水標準(glue-standardization)”。2000年啟動開發(fā)的多媒體框架(MultimediaFramework)標準(ISO/IEC21000)試圖描述多媒體的元數(shù)據(jù)(metadata)，用于全球多媒體對象的集成、創(chuàng)建、使用、管理和傳送等操作，便于不同人群在異構(gòu)網(wǎng)絡(luò)環(huán)境下使用各種多媒體資源，它的目標是為未來多媒體的應(yīng)用提供一個完整的平臺7/20/2023266MPEG-21多媒體框架標準(續(xù)1)元數(shù)據(jù)(metadata)是描述數(shù)據(jù)本身特性的數(shù)據(jù)，如描述包含在數(shù)據(jù)流中的聲音和視像數(shù)據(jù)的元數(shù)據(jù)，包括描述文件中的標題、主題、作者和大小等的元數(shù)據(jù)。試圖解決資源共享、知識產(chǎn)權(quán)和版權(quán)管理與保護，形象地用“數(shù)字條目”和一把鎖來表示，見圖11圖9-11MPEG-21的遠景規(guī)劃[3]7/20/2023276MPEG-21多媒體框架標準(續(xù)2)標準的結(jié)構(gòu)MPEG-21專家組將解決的關(guān)鍵技術(shù)問題歸納為7個數(shù)字條目說明(DigitalItemDeclaration，DID)用于定義數(shù)字條目(DI)的模式。該模式應(yīng)當對所有類型的媒體資源和描述模式都是開放和可以擴展的，并且應(yīng)當支持分層結(jié)構(gòu)以利于搜索和管理。數(shù)字條目標識和描述(DigitalItemIdentificationandDescription，DIID)為標識和描述任何實體提供所需的框架。 內(nèi)容管理和使用(contentmanagementandusage)為內(nèi)容的創(chuàng)建、管理、搜索、訪問、存儲、傳遞和