數(shù)字視頻技術(shù)

數(shù)字視頻技術(shù)第1頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月4.2MPEG-1視頻編碼和解碼4.3MPEG-2視頻編碼和解碼4.1視頻圖像編碼標(biāo)準(zhǔn)綜述主要內(nèi)容4.4MPEG-4視頻編碼和解碼4.5H.264/AVC視頻編碼和解碼重點(diǎn)重點(diǎn)了解第2頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述第3頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述一、H.261H.261頒布于1990年，主要用于雙向視頻通信，允許的最大編碼延遲為150ms。它的輸入圖象格式為通用（同時(shí)適用于625線和525線的視頻標(biāo)準(zhǔn)）中間格式CIF(352×288)，低端可用其四分之一大小的QCIF(176×144)格式，幀率為30,15,10,7.5四種，隔行（interlaced）視頻，寬高比4:3。H.261的編碼方案是基于DCT和DPCM的預(yù)測(cè)編碼算法，運(yùn)動(dòng)每幀圖象分成8×8的子塊，再組成宏塊、塊組，宏塊由4個(gè)8×8的亮度塊和2個(gè)8×8的色度塊組成，每個(gè)塊組由3×11個(gè)宏塊組成。每幅QCIF圖象有3個(gè)塊組；每幅CIF圖象有12個(gè)塊組，形成一個(gè)多層次的塊結(jié)構(gòu)。第4頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述二、H.263H.263是在H.261的基礎(chǔ)上針對(duì)低碼率（低于64kbp）視頻壓縮提出的標(biāo)準(zhǔn)，與之不同的是采用半象素精度運(yùn)動(dòng)補(bǔ)償算法和變長(zhǎng)編碼，并引進(jìn)了16種可協(xié)商的編碼選項(xiàng)用于提高壓縮性能和支持新增加的功能。第5頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月三、JPEGJointPhoto-GraphicExpertsGroup聯(lián)合圖像專家組,是ISO和IEC兩個(gè)機(jī)構(gòu)聯(lián)合組成的。適用于連續(xù)變化的靜止圖像，連續(xù)變化是指灰度等級(jí)和顏色兩方面的連續(xù)變化。編碼壓縮的基本算法與H.261的幀內(nèi)模式相似，只在本幀內(nèi)進(jìn)行,與前后幀無(wú)關(guān)。JPEG可用于活動(dòng)圖像壓縮編碼，只不過壓縮方法只限于幀內(nèi)進(jìn)行，不作運(yùn)動(dòng)補(bǔ)償和幀間差運(yùn)算，稱作：M-JPEG，只用于高質(zhì)量圖像壓縮。JPEG編碼器組成框圖第6頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月JPEG壓縮流程示意圖第7頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月亮度量化表色度量化表

第8頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述四、MPEG-1

MPEG-1是1992年通過的視頻壓縮標(biāo)準(zhǔn)，用于CIF格式的視頻在速率約1.5Mbps的各種數(shù)字存儲(chǔ)介質(zhì)（如CD-ROM,DAT,硬盤及光驅(qū)等）上的編碼表示，主要應(yīng)用在交互式多媒體系統(tǒng)中；MPEG-1算法與H.261算法相似，它在1.2Mbps（視頻信號(hào)）速率下壓縮和解壓縮CIF格式的視頻質(zhì)量與VHS記錄的模擬視頻質(zhì)量相當(dāng)；它是一種通用標(biāo)準(zhǔn)，規(guī)定了編碼位流的表示語(yǔ)法和解碼方法，提供的支持操作有運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、DCT、量化和變長(zhǎng)編碼。MPEG-1的特點(diǎn)有：(1)隨機(jī)存取，(2)支持快速雙向搜索，(3)允許大約1秒的編碼/解碼延遲，比H.261的150ms內(nèi)的嚴(yán)格限制松得多。第9頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述五、MPEG-2/H.262MPEG-2是1993年通過的視頻壓縮標(biāo)準(zhǔn)，用于高清晰度視頻和音頻的編碼，也包含用于可視電話中的超低碼率（8-32kbps）的壓縮編碼；MPEG-2是MPEG-1的兼容擴(kuò)展，廣泛應(yīng)用于各種速率（2-20Mbps）和各種分辨率情況下的場(chǎng)合；MPEG-2不僅接受逐行掃描視頻，也可以接受隔行掃描視頻，高清晰度視頻，提供可伸縮調(diào)節(jié)的位流，提供改進(jìn)的量化和編碼選項(xiàng)。第10頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述六、MPEG-4

低于64kbps甚低數(shù)據(jù)率，交互式多媒體應(yīng)用標(biāo)準(zhǔn)；

MPEG-4利用了人眼視覺特性，抓住了圖像信息傳輸?shù)谋举|(zhì)，從輪廓、紋理思路出發(fā)，基于對(duì)內(nèi)容的訪問；AV對(duì)象（AVO，AudioVisualObject）是MPEG-4為支持基于內(nèi)容編碼而提出的重要概念；視音頻已不再是圖像幀的概念，而是一個(gè)個(gè)視聽場(chǎng)景；把編碼對(duì)象從圖像幀到任意形狀的視頻對(duì)象，實(shí)現(xiàn)從基于像素的傳統(tǒng)編碼到基于對(duì)象和內(nèi)容的現(xiàn)代編碼。

采用開放的編碼系統(tǒng)，可隨時(shí)加入新的編碼算法模塊，同時(shí)也可根據(jù)不同應(yīng)用需求現(xiàn)場(chǎng)配置解碼器，以支持多種多媒體應(yīng)用；第11頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述MPEG-7：多媒體內(nèi)容描述標(biāo)準(zhǔn)，支持對(duì)多媒體資源的組織管理、搜索、過濾和檢索；MPEG-21：多媒體框架和綜合應(yīng)用方面的框架。目標(biāo)是建立一個(gè)交互的多媒體框架，該標(biāo)準(zhǔn)致力于在大范圍的網(wǎng)絡(luò)上實(shí)現(xiàn)透明的傳輸和對(duì)多媒體資源的充分利用。七、H.264/AVC面向電視電話、電視會(huì)議和Internet多媒體的新一代國(guó)際視頻編碼標(biāo)準(zhǔn)；具有較強(qiáng)的抗誤碼特性，可適應(yīng)丟包率高、干擾嚴(yán)重的信道中的視頻傳輸；支持不同網(wǎng)絡(luò)資源下的分級(jí)編碼傳輸，在圖像主觀質(zhì)量和碼率方面有大幅改進(jìn)，是目前綜合性能最優(yōu)、應(yīng)用前景最廣泛的編碼標(biāo)準(zhǔn)。第12頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述對(duì)象形成及跟蹤基于語(yǔ)義基于對(duì)象基于像素對(duì)象特征提取MPEG-7MPEG-4MPEG-1MPEG-2第13頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.1視頻圖像編碼標(biāo)準(zhǔn)綜述編碼標(biāo)準(zhǔn)全稱傳輸碼率主要應(yīng)用H.261P×64kbps的音/視頻服務(wù)的編/解碼P×64kbpsP=1～30ISDN視頻會(huì)議MPEG-1面向數(shù)字存儲(chǔ)的運(yùn)動(dòng)圖像及伴音編碼1.5MbpsVCD,CD-ROMMPEG-2運(yùn)動(dòng)圖像及伴音的通用編碼4～100MbpsDVD,HDTV,VOD,DABH.263低比特率通信的視頻編碼低于64kbps遠(yuǎn)程視頻監(jiān)控，可視電話，電視會(huì)議MPEG-4音/視頻對(duì)象的通用編碼小于64kbps64～384kbps384kbps～4MbpsInternet通信，無(wú)線通信，2D/3D計(jì)算機(jī)圖像交互式視頻MPEG-7多媒體內(nèi)容描述接口任意多媒體檢索H.264/AVC高級(jí)視頻編碼算法任意未來(lái)視頻編碼工業(yè)標(biāo)準(zhǔn)綜合數(shù)字電話網(wǎng)第14頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼一、標(biāo)準(zhǔn)簡(jiǎn)介編號(hào)為ISO/IEC11172；規(guī)定視頻信息與伴音信息經(jīng)壓縮之后的數(shù)據(jù)速率上限為1.5Mbps（其中視頻約為1.2Mbps，音頻約為0.3Mbps）；可以在CD-ROM、硬盤、可寫光盤、數(shù)字音頻磁帶等介質(zhì)上進(jìn)行存儲(chǔ)，也可在局域網(wǎng)、ISDN上進(jìn)行視頻與伴音信息的傳輸；應(yīng)用：目前市場(chǎng)上用的MP3和VCD以及數(shù)字電話網(wǎng)絡(luò)上的視頻傳輸為MPEG-1。第15頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼二、標(biāo)準(zhǔn)組成MPEG-1系統(tǒng)—這部分是有關(guān)同步和多路復(fù)合的技術(shù)，用來(lái)把數(shù)字視頻和聲音復(fù)合成單一的數(shù)據(jù)位流。標(biāo)準(zhǔn)名是ISO/IEC11172-1。MPEG-1視頻—這部分是有關(guān)電視圖像的壓縮技術(shù)，標(biāo)準(zhǔn)名是ISO/IEC11172-2。MPEG-1音頻—這部分是關(guān)于聲音的壓縮編碼技術(shù)。標(biāo)準(zhǔn)名是ISO/IEC11172-3。MPEG-1一致性測(cè)試—這個(gè)標(biāo)準(zhǔn)詳細(xì)說(shuō)明了如何測(cè)試比特?cái)?shù)據(jù)流和解碼器是否滿足MPEG-1前3個(gè)部分中所規(guī)定的要求。這些測(cè)試可由廠商和用戶實(shí)施。標(biāo)準(zhǔn)名是ISO/IEC11172-4。MPEG-1軟件模擬—這部分內(nèi)容不是標(biāo)準(zhǔn)，而是一個(gè)技術(shù)報(bào)告，給出了用軟件執(zhí)行前3個(gè)部分的結(jié)果。標(biāo)準(zhǔn)名是ISO/IEC11172-5。第16頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼三、輸入圖像格式

MPEG-1輸入視頻信號(hào)采用源輸入格式（SIF,SourceInputFormat），采用YCrCb色空間；采樣格式4：2：0；

MPEG-1最大的圖像尺寸只能是352×288（對(duì)應(yīng)25Hz幀頻）。第17頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼四、視頻幀類型幀內(nèi)幀（intrapicture，I幀）——對(duì)I幀的編碼類似于JPEG，支持隨機(jī)存取，壓縮比低；

預(yù)測(cè)幀（predictedpicture，P幀）——是運(yùn)動(dòng)主體在與I幀相隔一定時(shí)間，在同一背景上已有明顯變化的畫面。以前面I幀為參考，相同信息不發(fā)送只發(fā)送主體變化差值，進(jìn)行具有運(yùn)動(dòng)補(bǔ)償?shù)那跋蝾A(yù)測(cè)；雙向預(yù)測(cè)幀（bidirectionalpicture，B幀）——傳送I、P幀間的畫面，只反映運(yùn)動(dòng)主體變化情況，重放時(shí)既參考I幀也參考P幀，本身不做參考幀使用，不能用作預(yù)測(cè)參考；第18頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼第19頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼有損1量化從10bits降為8bits無(wú)損2省略水平和垂直空白間隔有損3降低垂直方向色度分辨率(4:2:0)無(wú)損4活動(dòng)圖像的DPCM有損5DCT和量化無(wú)損6Z掃描和零序列的游程編碼無(wú)損7Huffman編碼第20頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼－20％量化10bits到8bits270Mbit/s216Mbit/s－25％忽略水平和垂直空白間隔166Mbit/s-25%降低垂直色度分辨率(4:2:0)124.5Mbit/s進(jìn)一步數(shù)據(jù)壓縮步驟2～6Mbit/s第21頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼DPCMZ掃描＋VLCHuffman編碼進(jìn)一步數(shù)據(jù)壓縮DCT＋量化第22頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼五、MPEG-1視頻語(yǔ)法MPEG視頻圖像數(shù)據(jù)流是一個(gè)分層結(jié)構(gòu)，目的是把位流中邏輯上獨(dú)立的實(shí)體分開，防止語(yǔ)意模糊，并減輕解碼過程的負(fù)擔(dān)。MPEG視頻位流分層結(jié)構(gòu)共包括六層：每一層支持一個(gè)確定的函數(shù)；或是一個(gè)信號(hào)處理函數(shù)（DCT，運(yùn)動(dòng)補(bǔ)償）；或是一個(gè)邏輯函數(shù)（同步，隨機(jī)存取點(diǎn)）等；每一個(gè)層的開始有一個(gè)頭，作為說(shuō)明參數(shù)。第23頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼圖像序列層——由連續(xù)圖像組成，用序列終止符結(jié)束；圖像組層——圖像組（GOP）由幾幀連續(xù)圖像組成，是隨機(jī)存取單元，其第一幀總是I幀；圖像層——圖像（幀）編碼的基本單元，獨(dú)立的顯示單元；像條層——由一幀圖像中的幾個(gè)宏塊組成，主要用于誤差恢復(fù)；宏塊層——一個(gè)宏塊由四個(gè)8×8的亮度塊和兩個(gè)8×8的色差塊組成；塊層——一個(gè)8×8的像素區(qū)域稱為一個(gè)塊，是最小的DCT單位。第24頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼

層次名稱功能圖像序列層隨機(jī)存取單元：上下文圖像組層隨機(jī)存取單元：視頻編碼圖像層基本編碼單元宏塊片層重同步單元宏塊層運(yùn)動(dòng)補(bǔ)償單元塊層DCT單元第25頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼圖像組

圖像組

圖像組圖像圖像序列宏塊條宏塊8×8塊第26頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼GOP1GOPSCGOP頭圖像1圖像2圖像3…圖像N圖像SC圖像頭條

1條

2條

3…條m條

SC條頭宏塊

1宏塊

2宏塊

3…宏塊

nY1宏塊編碼信息Y2Y3Y4C1C28×8系數(shù)塊序列層GOP層圖像層宏塊層像塊層序列SC序列擴(kuò)展序列頭GOP2…序列EC0x000001B3像條層第27頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼1、關(guān)鍵技術(shù)（1）幀序重排在編碼器端需要對(duì)輸入圖像重新排序，對(duì)按顯示順序輸入的序列，經(jīng)過幀序重排后成為按編碼順序排列，然后按I、B、P幀分別進(jìn)行編碼；（2）運(yùn)動(dòng)估計(jì)和補(bǔ)償（3）比特流緩沖器六、MPEG-1視頻編碼器第28頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼圖像壓縮首先處理I幀圖像，然后是P幀，最后在兩者的基礎(chǔ)上才處理B幀；MPEG編碼器算法允許選擇I圖像頻率（指每秒鐘出現(xiàn)I圖像的次數(shù)）和位置（時(shí)間方向上幀所在的位置）；一個(gè)典型的I、P、B圖像排列如下：I的距離為15；P的距離為3；第29頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼“開放性”的視頻碼流：I幀在碼流中出現(xiàn)的位置和頻率，可根據(jù)圖像序列中隨機(jī)存取和景物切換的需要進(jìn)行選擇。相鄰最近的I與P幀或P幀之間的B幀數(shù)目可以選擇。I，P，B三種圖象的數(shù)據(jù)壓縮比：2～5：1，5～10：1，20～30：1

圖象的編碼順序和顯示順序不相同。第30頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼顯示順序上在前的B幀圖像，由于預(yù)測(cè)時(shí)參照靠后的P幀圖像，在傳輸存儲(chǔ)和解碼是必須先處理P幀圖像，因此在編碼順序上P幀圖像反而在B幀圖像之前；由于編碼順序和顯示順序之間的差異，帶來(lái)編、解碼總延時(shí)達(dá)0.8～1s；這種延時(shí)對(duì)廣播性質(zhì)的圖像傳輸不會(huì)帶來(lái)任何影響，因?yàn)橛脩舨⒉荒馨l(fā)現(xiàn)發(fā)射端與接收端信號(hào)起始時(shí)間的差異；對(duì)于交互性質(zhì)的圖像傳輸，如數(shù)字會(huì)議電視會(huì)帶來(lái)不便，如甲方向乙方提問，由于雙向延時(shí)則會(huì)1.8～2s以后得到回答；為減小延時(shí)采用方法：通過減少B幀使兩個(gè)I幀之間的幀數(shù)減少，則編、解碼總延時(shí)下降；為進(jìn)一步減小延時(shí)，可以把B幀、P幀全部去掉。這樣可得零延時(shí)，此方式稱M-JPEG方式；此時(shí)壓縮比降到5:1～7:1,所以延時(shí)與壓縮倍數(shù)是互相矛盾的。第31頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼I幀編碼算法第32頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼P幀編碼算法第33頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼B幀編碼算法第34頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼2、MPEG標(biāo)準(zhǔn)并沒有定義特定的編碼過程，只是定義了編碼比特流的語(yǔ)法和解碼過程。①②③④⑤⑥⑦⑧⑨⑩⑾第35頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.2MPEG-1視頻編碼和解碼討論：編碼過程I幀：DCT量化編碼P、B幀：預(yù)測(cè)求幀差DCT量化編碼DCT變換幀內(nèi)編碼模式下，采樣為8位無(wú)符號(hào)數(shù)；幀間編碼模式下，采樣為9位有符號(hào)數(shù)，因?yàn)椴钪涤锌赡転樨?fù)數(shù)；經(jīng)過DCT變換后，用一個(gè)12位有符號(hào)整數(shù)表示。第36頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼一、標(biāo)準(zhǔn)簡(jiǎn)介“運(yùn)動(dòng)圖象和相關(guān)聲音信息的一般編碼方法”，ISO/IEC13818，94年11月公布；用于DVB，HDTV，DVD。是針對(duì)標(biāo)準(zhǔn)數(shù)字電視和高清晰度電視在各種應(yīng)用下的壓縮方案和系統(tǒng)層的詳細(xì)規(guī)定，也是國(guó)際主流的SDTV和HDTV的編碼標(biāo)準(zhǔn)。在ITU-T的協(xié)議系列中，被稱為H.262；MPEG-2和MPEG-1的圖像結(jié)構(gòu)相同；MPEG-2通用性較強(qiáng)，滿足對(duì)圖像質(zhì)量和傳輸速率的多層次要求，技術(shù)成熟；圖像格式：704×576（PAL）和704×480（NTSC），碼率為3~15Mbps，9Mbps模擬分量質(zhì)量；能處理逐行掃描和隔行掃描圖像，包括16：9寬高比圖像格式。第37頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼MPEG-1定位在VHS質(zhì)量，MPEG-2的目的是要達(dá)到廣播級(jí)的音視頻質(zhì)量；MPEG-2編碼增加了場(chǎng)處理的方式；MPEG-2支持多種分辨率；MPEG-2的音頻編碼可與MPEG-1兼容（MPEG-2BC），并擴(kuò)展支持16KHz、22.05KHz和24KHz采樣頻率，音頻數(shù)據(jù)位率擴(kuò)展到8-64Kbps，支持5.1和7.1聲道環(huán)繞立體聲；MPEG-2還支持線性PCM編碼和DolbyAC-3編碼。第38頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼二、標(biāo)準(zhǔn)組成——共分9個(gè)部分，核心如下：13818-1系統(tǒng)：定義規(guī)范的系統(tǒng)編碼，包括復(fù)合視頻和音頻數(shù)據(jù)的復(fù)用結(jié)構(gòu)以及重放同步序列所需表示定時(shí)信息的方法；13818-2視頻：定義視頻數(shù)據(jù)的編碼方法和重建圖像所要求的解碼過程；13818-3音頻：定義音頻數(shù)據(jù)的編碼方法；13818-4兼容性：定義編碼碼流是否符合MPEG-2碼流的兼容性測(cè)試方法；13818-5軟件：描述MPEG-2標(biāo)準(zhǔn)的前3部分的軟件實(shí)現(xiàn)方法；13818-6數(shù)字存儲(chǔ)媒體-命令與控制：描述交互式多媒體網(wǎng)絡(luò)中服務(wù)器與用戶間的會(huì)話信令集。第39頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼三、檔次及等級(jí)MPEG-2視頻標(biāo)準(zhǔn)的技術(shù)規(guī)范集包括5個(gè)“檔次”（Profiles）和4個(gè)“等級(jí)”（Levels）；檔次是MPEG-2標(biāo)準(zhǔn)定義的不同編碼算法的子集：較低的檔次在編碼時(shí)僅使用最為基本的編碼工具；較高的檔次則采用較多的編碼工具集；檔次之間具有向下兼容性；等級(jí)主要針對(duì)ITU-RCCIR601標(biāo)準(zhǔn)下的不同的圖像信源的分辨率：從低級(jí)到高級(jí)，對(duì)應(yīng)信源的分辨率逐步增加。檔次與等級(jí)的若干組合構(gòu)成MPEG-2視頻編碼標(biāo)準(zhǔn)在某種特定應(yīng)用下的子集，對(duì)某一輸入格式的圖像，采用特定集合的壓縮編碼工具，可產(chǎn)生規(guī)定速率范圍內(nèi)的編碼碼流。第40頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼1、MPEG-2標(biāo)準(zhǔn)的檔次（類）檔次（Profile）說(shuō)明簡(jiǎn)單檔次（SimpleProfile）使用最少的編碼工具集主檔次（MainProfile）增加雙向預(yù)測(cè)方法信噪比可伸縮檔次（SNRScalableProfile）增加可伸縮特性空間可分伸縮檔次（SpatiallyScalableProfile）高級(jí)檔次（HighProfile）用于圖像質(zhì)量、比特率要求更高的場(chǎng)合第41頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼2、MPEG-2標(biāo)準(zhǔn)的等級(jí)級(jí)別（Level）分辨率最大碼率低級(jí)(LowLevel)352×240×30,352×288×254Mbps主級(jí)(MainLevel)720×480×30,720×576×2515Mbps1440高級(jí)(High-1440Level)1440×1080×3060Mbps高級(jí)(HighLevel)1920×1080×30（16:9）80Mbps第42頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼3、檔次與等級(jí)的組合選擇在實(shí)現(xiàn)MPEG-2標(biāo)準(zhǔn)時(shí)，可根據(jù)應(yīng)用環(huán)境（數(shù)字存儲(chǔ)媒體、可視電話、數(shù)字電視、高清晰度電視及通信網(wǎng)絡(luò)）的需求，選擇適當(dāng)?shù)臋n次與等級(jí)；在20種可能的組合中，為了保證與MPEG-1向下兼容及特定的數(shù)字廣播、通信和家用視聽設(shè)備的需求，目前11種是已獲通過的，成為MPEG-2適用點(diǎn)。第43頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼第44頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼以下4種技術(shù)規(guī)范最常使用：MP@ML：主級(jí)/主類，可應(yīng)用于包括數(shù)字視頻廣播（DVB）、數(shù)字視盤（DVD）、數(shù)字有線電視和交互式電視等；SP@ML：簡(jiǎn)單類/主級(jí)，用于數(shù)字有線電視和數(shù)字錄像機(jī)；MP@HL：主類/高級(jí)，用于全數(shù)字HDTV；SSP@HL1440：空域可伸縮類/1440高級(jí)，用于HDTV。第45頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼四、系統(tǒng)層原理MPEG-2在概念上將編碼結(jié)構(gòu)分為兩層：最外部為系統(tǒng)層（系統(tǒng)層作用是對(duì)多個(gè)壓縮層的碼流進(jìn)行打包和復(fù)用）；內(nèi)層為壓縮層；為使壓縮碼流能夠在衛(wèi)星、電纜和地面頻道等信道的傳輸中兼容MPEG-1系統(tǒng)層碼流，MPEG-2系統(tǒng)部分還定義了兩種碼流結(jié)構(gòu)：節(jié)目流（ProgramStream,PS）；傳送流（TransportStream,TS）。MPEG-2為TS流和PS流都提供了相關(guān)的解碼方式和語(yǔ)法，能夠保證壓縮碼流的同步譯碼和音/視頻信號(hào)的重構(gòu)；TS流和PS流的數(shù)據(jù)結(jié)構(gòu)稱為PES數(shù)據(jù)包，包含編碼后的音/視頻信息和相關(guān)系統(tǒng)信息。第46頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼MPEG-2系統(tǒng)層結(jié)構(gòu)圖打包器打包器PS復(fù)用TS碼流PS碼流視頻PES視頻音頻數(shù)據(jù)TS復(fù)用視頻編碼器音頻編碼器數(shù)據(jù)編碼器MPEG-2系統(tǒng)規(guī)范原始音/視頻等信息編碼后送到系統(tǒng)層系統(tǒng)層對(duì)壓縮碼流打包形成PES數(shù)據(jù)包復(fù)合成節(jié)目流和傳輸流送出I1B2B3P4B5B6P7B8B9I10I1P4B2B3P7B5B6I10B8B9第47頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼1、節(jié)目流節(jié)目流能夠?qū)⒁粋€(gè)或多個(gè)具有相同時(shí)間基點(diǎn)的數(shù)據(jù)流合成單個(gè)數(shù)據(jù)流；MPEG-2節(jié)目流解碼器能夠正確對(duì)MPEG-1系統(tǒng)流進(jìn)行解碼，因此與MPEG-1系統(tǒng)流一樣，MPEG-2節(jié)目流適用于無(wú)誤碼影響的環(huán)境以及基于軟件的解碼處理；節(jié)目流的PES數(shù)據(jù)包通常比較長(zhǎng)且長(zhǎng)度不固定，典型長(zhǎng)度在1～2KB之間；節(jié)目流支持MPEG-2標(biāo)準(zhǔn)一些特性：隨機(jī)訪問；特技模式等。第48頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼2、傳送流傳送流面向通信傳輸信道定義，能夠有效提高傳送碼流對(duì)信道噪聲的魯棒性，傳送流中可以包含多個(gè)信道節(jié)目；傳送流將多個(gè)獨(dú)立時(shí)間基點(diǎn)的多信道節(jié)目合成為一個(gè)單獨(dú)的數(shù)據(jù)流，屬于同一節(jié)目的各個(gè)原始數(shù)據(jù)流具有相同時(shí)間基點(diǎn)，以便于劃分；傳送流由一系列的傳送流分組構(gòu)成，每個(gè)傳送流分組是包括頭信息在內(nèi)的188B的數(shù)據(jù)包；更利于使用嵌入式硬件進(jìn)行處理，也適合在各種有線和無(wú)線信道中傳輸。第49頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼（1）鏈接頭作用包同步：用于建立包同步；包識(shí)別PID：復(fù)用和解復(fù)用的識(shí)別信息，靠PID提取基本碼流；誤碼處理：發(fā)端對(duì)包作0~15的重復(fù)計(jì)數(shù)，接收端發(fā)現(xiàn)連續(xù)計(jì)數(shù)中斷，就會(huì)判斷丟失數(shù)據(jù)；有條件接收：傳輸格式允許包的數(shù)據(jù)作加擾處理，各基本流可獨(dú)立擾亂，傳輸包的鏈接頭要說(shuō)明是否擾亂，標(biāo)志出解擾密鑰。頭部信息不允許擾亂。

鏈接頭可變長(zhǎng)適配頭凈負(fù)荷數(shù)據(jù)

188字節(jié)

4字節(jié)第50頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼（2）適配的作用定時(shí):一些包的適配頭傳時(shí)間信息，即在（PCR）字段傳27MHz時(shí)鐘，指出解碼器從碼流中讀完該字段的期望時(shí)間。解碼器的時(shí)鐘與PCR比較，調(diào)整本時(shí)鐘頻率，進(jìn)行同步；可隨機(jī)進(jìn)入壓縮碼流；在節(jié)目調(diào)節(jié)或更換時(shí)應(yīng)該隨機(jī)進(jìn)入音頻和視頻的I幀，在I幀前的視頻序列的頭部應(yīng)該有一個(gè)隨機(jī)進(jìn)入點(diǎn)；可插入本地節(jié)目。第51頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼188字節(jié)包頭凈荷包頭凈荷…包頭凈荷適應(yīng)字段81113包同步誤碼指示開始指示傳送優(yōu)先級(jí)PID加擾控制適應(yīng)字段控制連續(xù)性計(jì)數(shù)器1224可變長(zhǎng)可選字段8115適應(yīng)字段長(zhǎng)度不連續(xù)性指示隨機(jī)進(jìn)入指示ES優(yōu)先級(jí)指示5個(gè)標(biāo)志填充字節(jié)14848PCR拼接點(diǎn)倒計(jì)時(shí)傳送私有數(shù)據(jù)8OPCR適應(yīng)字段擴(kuò)展TS包格式第52頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼五、編/解碼原理1、編碼原理——經(jīng)典的基于DCT變換的混合編碼方案第53頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼在編碼器端，輸入圖像首先根據(jù)幀編碼模式來(lái)進(jìn)行相應(yīng)處理：幀內(nèi)編碼——編碼圖像分塊后直接進(jìn)行DCT變換，隨后使用量化矩陣進(jìn)行量化處理，以縮小數(shù)值的動(dòng)態(tài)區(qū)域。幀間編碼——視頻信號(hào)經(jīng)過運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償后，由運(yùn)動(dòng)矢量和參考幀生成當(dāng)前幀的預(yù)測(cè)圖像，而后將當(dāng)前幀與預(yù)測(cè)圖像的殘差圖像進(jìn)行DCT變換、量化、VLC編碼，生成編碼比特流送入緩沖器。第54頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼2、解碼重建像塊差值每個(gè)GOP的頭部送一個(gè)量化矩陣用兩個(gè)碼表解碼運(yùn)動(dòng)矢量重建像塊數(shù)據(jù)提取各種參數(shù)第55頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼六、關(guān)鍵技術(shù)1、離散余弦變換（DCT）考慮到視頻信號(hào)的隔行掃描特性，MPEG-2專門設(shè)置了兩種圖像結(jié)構(gòu)：場(chǎng)模式（Field-pictures）和幀模式（Frame-pictures），因而DCT變換的基本單元也有所不同，即可以基于幀，也可以基于場(chǎng)；幀模式在進(jìn)行DCT變換之前直接對(duì)宏塊進(jìn)行劃分，每塊由兩場(chǎng)的交替行組成，最后分割為8×8像素的子塊即可；場(chǎng)模式是每幀先被劃分為16×16的宏塊，隨后對(duì)宏塊進(jìn)行重新組合，按宏塊中每一行所在場(chǎng)的不同將宏塊劃分為16×8的2個(gè)子塊，最后對(duì)每個(gè)子塊中的2個(gè)8×8的數(shù)據(jù)塊做DCT變換。第56頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼第57頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼2、量化器量化針對(duì)DCT變換系數(shù)進(jìn)行，由于DCT變換系數(shù)對(duì)人類視覺系統(tǒng)感知的重要性不同，因此對(duì)一個(gè)8×8的DCT變換塊的64個(gè)DCT變換系數(shù)采用不同的量化精度，保證盡可能多的包含特定的DCT空間頻率信息，又使量化精度不超過需要；低頻系數(shù)對(duì)視覺感應(yīng)的重要性較高，分配的量化步長(zhǎng)較?。桓哳l系數(shù)對(duì)視覺感應(yīng)的重要性較低，分配量化步長(zhǎng)較大，通常情況下DCT變換塊中大多數(shù)高頻系數(shù)量化后會(huì)變?yōu)榱?。?8頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼3、掃描方式DCT變換系數(shù)量化后大多數(shù)非零系數(shù)集中于8×8矩陣的左上角，即低頻分量區(qū)，為使游程編碼和VLC編碼效率更高，必須將其轉(zhuǎn)換為一維序列的表達(dá)方式；掃描后，非零DCT系數(shù)集中于一維排列數(shù)組的前部，后面跟著長(zhǎng)串的量化為0的DCT系數(shù)，為后續(xù)編碼創(chuàng)造條件；MPEG-2使用了兩種掃描方法：Zigzag掃描和交替掃描；交替掃描是基于隔行掃描圖像的垂直相關(guān)性較逐行掃描圖像要小的特性得到的，在低比特率下具有更好的性能；第59頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼第60頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼4、游程編碼在游程編碼中，只有非零系數(shù)被編碼，當(dāng)子塊的一維序列中剩余的DCT系數(shù)全部為零時(shí)，MPEG-2定義“塊結(jié)束”（EndOfBlock,EOB）標(biāo)志位來(lái)指示，就可結(jié)束當(dāng)前子塊編碼，從而進(jìn)一步降低編碼的比特?cái)?shù)。5、熵編碼MPEG-2視頻壓縮系統(tǒng)中采用Huffman編碼，對(duì)不同的語(yǔ)法元素制定了不同的VLC碼表。第61頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼6、信道緩存信道緩存是所有編解碼器都必須具有的核心部分；隨著視頻圖像統(tǒng)計(jì)特性的變化，編碼后的碼流碼率也是變化的，在大多數(shù)情況下傳輸帶寬是恒定的，因此需在編碼碼流進(jìn)入信道前設(shè)置緩存器，以變比特率從熵編碼器讀入數(shù)據(jù)，以傳輸系統(tǒng)標(biāo)稱的恒定比特率向外讀出，輸入信道；緩存器大小固定，若編碼器瞬時(shí)輸出比特率明顯高于或低于傳輸系統(tǒng)的帶寬，可能造成緩存器的上溢或下溢，需要加碼率控制器，使緩存器的寫入與讀出數(shù)據(jù)速率趨于平衡；碼率控制器的調(diào)控主要通過調(diào)整量化器的量化參數(shù)實(shí)現(xiàn)：將要上溢時(shí)增大量化步長(zhǎng)以降低編碼數(shù)據(jù)速率；將要下溢時(shí)減小量化步長(zhǎng)以提高編碼數(shù)據(jù)速率；第62頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.3MPEG-2視頻編碼和解碼7、運(yùn)動(dòng)估計(jì)MPEG-2根據(jù)“幀模式”和“場(chǎng)模式”對(duì)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償進(jìn)行了相應(yīng)的擴(kuò)展；幀圖像的幀預(yù)測(cè)幀圖像的場(chǎng)預(yù)測(cè)場(chǎng)圖像的場(chǎng)預(yù)測(cè)雙基預(yù)測(cè)16×8預(yù)測(cè)對(duì)于幀圖像，合成圖像中相鄰行來(lái)自于不同場(chǎng)，圖像中物體運(yùn)動(dòng)時(shí)，垂直方向上相鄰像素間相關(guān)性會(huì)減少，MPEG-2使用新的運(yùn)動(dòng)估計(jì)方法，最高支持半像素精度。第63頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼一、標(biāo)準(zhǔn)簡(jiǎn)介“基于音視頻對(duì)象的通用編碼算法”，其目的是為多媒體信息壓縮提供統(tǒng)一和開放的平臺(tái)，ISO/IEC14496，99年2月公布第一版草案，2000年初正式成為國(guó)際標(biāo)準(zhǔn)；目前，在Internet視頻、流媒體、無(wú)線通信等領(lǐng)域中得到廣泛應(yīng)用；作為開放標(biāo)準(zhǔn)，新內(nèi)容和新算法不斷加入其中；可支持的比特速率低速率可低到5～64kb/s，高速率高達(dá)5Mb/s

；圖像格式：支持各種掃描標(biāo)準(zhǔn)和圖象格式；旨在將各種多媒體應(yīng)用集成于一個(gè)完整的框架內(nèi)。第64頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼二、標(biāo)準(zhǔn)提出的背景技術(shù)發(fā)展的趨勢(shì)與應(yīng)用要求的提高音視頻內(nèi)容越來(lái)越多，且很多是計(jì)算機(jī)合成的；視頻信息的傳送將擴(kuò)展到所有網(wǎng)絡(luò)，無(wú)線通信不僅用于語(yǔ)音，而且將應(yīng)用于數(shù)據(jù)和視頻；對(duì)音視頻信息交互處理和應(yīng)用的要求不斷增長(zhǎng)；電信、計(jì)算機(jī)、影視廣播領(lǐng)域正逐步融合，相互滲透；MPEG-1和MPEG-2存在不足基于像素和像素塊的編碼，不能對(duì)圖像的內(nèi)容進(jìn)行查詢、編輯和選擇播放等操作，交互性較差；無(wú)法在同一場(chǎng)景中集成自然媒體與人造（合成）媒體；不支持超鏈接；不提供對(duì)低碼率應(yīng)用的支持，將圖像分成固定大小的塊，在高壓縮比情況下會(huì)有很嚴(yán)重的塊效應(yīng)。第65頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第66頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼三、標(biāo)準(zhǔn)組成由相互聯(lián)系的16個(gè)部分組成，核心部分如下：14496-1系統(tǒng)：定義規(guī)范的系統(tǒng)編碼，主要是復(fù)合音/視頻數(shù)據(jù)的復(fù)用結(jié)構(gòu)和實(shí)時(shí)應(yīng)用中重放同步序列所需表示定時(shí)信息的方法。（編碼器端的音/視頻對(duì)象被分別編碼，與場(chǎng)景描述信息和其它同步控制信息合成比特流；接收端按場(chǎng)景描述信息合成場(chǎng)景）14496-2視頻：定義視頻數(shù)據(jù)的編碼表示和重建圖像所要求的解碼過程；14496-3音頻：定義音頻數(shù)據(jù)的編碼要求；14496-6多媒體集成傳輸框架（DMIF）：對(duì)不同傳輸媒體提供共同的接口和服務(wù)。通過對(duì)編碼比特流進(jìn)行打包，使壓縮碼流適合于在不同的信道傳輸。第67頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第68頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼四、標(biāo)準(zhǔn)新功能基于內(nèi)容的交互性基于內(nèi)容的操作與比特流編輯自然與合成數(shù)據(jù)的混合編碼增強(qiáng)的時(shí)間域隨機(jī)存取：可按幀或任意形狀對(duì)象進(jìn)行隨機(jī)存取高壓縮率提高了編碼效率：同等碼率下更好的圖像質(zhì)量對(duì)多個(gè)并發(fā)數(shù)據(jù)流的編碼：提供對(duì)同一場(chǎng)景的有效多視角編碼、多伴音聲道編碼及有效視聽同步，足夠觀察視點(diǎn)下可有效描述三維自然景物靈活多樣的存取抗誤碼特性：多種抗誤碼技術(shù)基于內(nèi)容的可伸縮性：圖像中各個(gè)對(duì)象具有不同優(yōu)先級(jí)第69頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼五、檔次與等級(jí)MPEG-4針對(duì)不同的媒體內(nèi)容和場(chǎng)景描述定義了四各類：視頻類音頻類圖形類場(chǎng)景描述類不同分類在選用時(shí)是相互獨(dú)立的，與MPEG-2類似MPEG-4也采用了檔次和等級(jí)的形式，檔次就是針對(duì)特定的應(yīng)用確定要采用的編碼工具，不同類的碼流句法結(jié)構(gòu)不同，視頻、音頻和圖形類中支持的對(duì)象類型也各不相同；每個(gè)檔次包括一個(gè)或多個(gè)等級(jí)，用以限制計(jì)算復(fù)雜度。第70頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼核心的視頻框架下主要包括如下6各檔次：SimpleVisualProfile：提供針對(duì)矩形視頻對(duì)象的編碼功能，具有最低的復(fù)雜度，適合于計(jì)算能力較差的移動(dòng)網(wǎng)絡(luò)終端設(shè)備；AdvancedSimpleVisualProfile：提供針對(duì)矩形視頻對(duì)象的高效編碼功能，支持交織視頻方式，適合對(duì)質(zhì)量要求較高的移動(dòng)網(wǎng)絡(luò)；SimpleScalableVisualProfile：在SimpleProfile基礎(chǔ)上增加了對(duì)象的時(shí)域和空域可伸縮編碼功能，應(yīng)用于提供多級(jí)服務(wù)質(zhì)量，如Internet和軟件解碼；CoreVisualProfile：在SimpleProfile基礎(chǔ)上增加了任意形狀對(duì)象編碼和時(shí)域擴(kuò)展編碼功能，適用于相對(duì)簡(jiǎn)單的內(nèi)容交互應(yīng)用，如Internet多媒體應(yīng)用；MainVisualProfile：在CoreProfile基礎(chǔ)上增加了Sprite對(duì)象編碼功能，適合于交互和娛樂質(zhì)量廣播和DVD應(yīng)用等；N-BitVisualProfile：在CoreProfile基礎(chǔ)上增加了具有不同像素深度（4～12bit）視頻對(duì)象編碼功能，適用于監(jiān)控應(yīng)用；第71頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼六、層次結(jié)構(gòu)MPEG-4采用了基于對(duì)象的編碼方案。對(duì)象：一幅圖像中表征有含義的實(shí)體的一組區(qū)域；對(duì)象代替了像素，一幅圖像/視頻可以看作不能再分解的一組對(duì)象；一幅圖像可以包括一個(gè)或多個(gè)視頻對(duì)象，通過紋理、形狀、運(yùn)動(dòng)等方式來(lái)表征每一個(gè)視頻對(duì)象的時(shí)間、空間信息；基于對(duì)象的表征方法帶來(lái)了交互性；MPEG-4中所見的視音頻不再是圖像幀的概念，而是一個(gè)個(gè)視聽場(chǎng)景（AV場(chǎng)景），這些不同的AV場(chǎng)景由不同的AV對(duì)象組成；第72頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼AV對(duì)象(Audio/VisualObjects)是聽覺、視覺、或者視聽內(nèi)容的表式單元，其基本單位是原始AV對(duì)象，可以是自然的或合成的聲音、圖像，它們又可進(jìn)一步組成復(fù)合AV對(duì)象；AV對(duì)象編碼是MPEG-4的核心編碼技術(shù)。第73頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼一個(gè)面向?qū)ο蟮碾娨暻榫癝portsresults:Portugal-Brazil

Sportsresults:Portugal-Brazil第74頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼MPEG-4視頻內(nèi)容呈現(xiàn)層次結(jié)構(gòu)，從高層到低層共5層結(jié)構(gòu)；視頻對(duì)象序列(VisualObjectSequence,VS)：是MPEG-4視頻流的最高語(yǔ)法結(jié)構(gòu)，是一個(gè)完整的可以包括任何自然的或人工合成的對(duì)象的MPEG-4視頻場(chǎng)景。VS由視頻對(duì)象序列起始碼開始，后跟視頻對(duì)象，最后由視頻對(duì)象結(jié)束碼標(biāo)注結(jié)束；視頻對(duì)象(VideoObject,VO)：VO對(duì)應(yīng)著場(chǎng)景中的一個(gè)特定對(duì)象，可以是任意形狀的對(duì)象，也可以是一個(gè)矩形幀。VO由視頻對(duì)象起始碼標(biāo)注開始，后跟視頻對(duì)象層；視頻對(duì)象層(VideoObjectLayer,VOL)：根據(jù)應(yīng)用具體要求，每一個(gè)視頻對(duì)象都可以分級(jí)（空間或時(shí)間分級(jí)）或不分級(jí)的方式進(jìn)行編碼，用視頻對(duì)象層來(lái)表征。VOL包括基本層和增強(qiáng)層，基本層有一個(gè)，增強(qiáng)層可有多個(gè)，每一層表示一種分辨率，分辨率可以從粗糙到精細(xì)；第75頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼視頻對(duì)象平面組(GroupofVideoObjectPlanes,GOV)：可以提供對(duì)碼流的隨機(jī)訪問點(diǎn)，GOV是任意的；視頻對(duì)象平面(VideoObjectPlane,VOP)：一個(gè)VOP是對(duì)一個(gè)視頻對(duì)象的時(shí)間采樣，包括視頻對(duì)象的運(yùn)動(dòng)參數(shù)，形狀信息和紋理數(shù)據(jù)，對(duì)VOP編碼就是針對(duì)某一時(shí)刻該幀畫面VO的形狀、運(yùn)動(dòng)、紋理等信息進(jìn)行編碼。一個(gè)普通的視頻幀可用矩形的VOP表征。第76頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼MPEG-4視頻碼流邏輯結(jié)構(gòu)圖第77頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼說(shuō)明：視頻對(duì)象（VO）為場(chǎng)景中的某個(gè)物體，有生命期，由時(shí)間上連續(xù)的許多幀構(gòu)成；視頻對(duì)象平面（VOP）可看作VO在某一時(shí)刻的表示，即某一幀；視頻對(duì)象平面組（GOV）提供視頻流的標(biāo)記點(diǎn)，標(biāo)記VOP單獨(dú)解碼的時(shí)域位置，也就是對(duì)視頻流任意訪問的標(biāo)記；視頻對(duì)象層（VOL）用于擴(kuò)展VO的時(shí)域和空域分辨率，包含VO的3種屬性信息；幾個(gè)視頻場(chǎng)景（VS）組成一個(gè)完整的視頻序列。第78頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月P1P2PnP1P2Pn§4.4MPEG-4視頻編碼和解碼七、編/解碼原理在MPEG-4中，宏塊僅支持一種圖像采樣格式，即4:2:0格式。MPEG-4系統(tǒng)層編碼原理圖第79頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼視頻對(duì)象形成（分割）：采用全自動(dòng)、半自動(dòng)、人工等方法分割出視頻對(duì)象，或直接采用傳統(tǒng)的矩形區(qū)域作為視頻對(duì)象，在時(shí)間軸上生成VOP；在MPEG-4中采用了3種VOP，即I-VOP幀、P-VOP幀和B-VOP幀。對(duì)于輸入的任意形狀的VOP序列，采用基于變換的混合編碼算法：首先對(duì)I-VOP進(jìn)行編碼，然后是P-VOP和B-VOP，對(duì)不同視頻對(duì)象的形狀、運(yùn)動(dòng)、紋理信息應(yīng)分配不同的碼字；將每個(gè)視頻對(duì)象（VOP）的形狀、運(yùn)動(dòng)、紋理信息在復(fù)合成VOL比特流輸出。第80頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼自然視覺對(duì)象編碼對(duì)于靜止圖像，采用零樹小波算法提供高壓縮比，同時(shí)提供多達(dá)11級(jí)的空間分辨率和質(zhì)量的可伸縮性；對(duì)于運(yùn)動(dòng)視頻對(duì)象編碼，采用形狀編碼來(lái)支持對(duì)象編碼。第81頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第82頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼ShapeDecodingTextureDecodingShapeInformationDEMULTIPLEXERMotionCompensationBitstreamMotionDecodingVOPMemoryReconstructedVOPCompositorVideoOutCompositingscript第83頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第84頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼場(chǎng)景描述——用BIFS描述語(yǔ)言描述場(chǎng)景的結(jié)構(gòu)和視音頻對(duì)象的位置變化、尺寸、彩色、聲音響度等屬性；場(chǎng)景描述的核心是對(duì)多媒體對(duì)象的安排布置，用戶通過場(chǎng)景描述可以操作對(duì)象的顯示狀態(tài)，實(shí)現(xiàn)交互操作；場(chǎng)景描述用單獨(dú)的數(shù)據(jù)流傳輸，單獨(dú)編解碼，可在壓縮的數(shù)據(jù)流域?qū)崿F(xiàn)對(duì)象控制；場(chǎng)景描述結(jié)構(gòu)例：顯示的圖像序列、聲音、音樂、語(yǔ)言，投影屏幕，背景墻，動(dòng)畫合成女解說(shuō)員，講由解說(shuō)詞產(chǎn)生的語(yǔ)言，還有合成的繪圖—桌子和地球儀。第85頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼BIFS場(chǎng)景描述例第86頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼八、關(guān)鍵技術(shù)1、形狀編碼使用一個(gè)尺寸為16的整數(shù)倍的最小邊框?qū)OP框住，框內(nèi)分成獨(dú)立的16×16宏塊，這樣就可以將VOP用一個(gè)邊框矩陣表示，對(duì)VOP的形狀編碼變?yōu)閷?duì)邊框矩陣的編碼；最終每個(gè)VOP的形狀與運(yùn)動(dòng)、紋理信息在宏塊內(nèi)一起編碼。

第87頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼VO的形狀信息有兩類：二值形狀信息和灰度形狀信息二值形狀信息的取值為0或1，值的選定依賴于像素是否位于視頻對(duì)象內(nèi)部：1表示VOP形狀區(qū)域；0表示非VOP區(qū)域。灰度形狀信息是二值形狀信息的擴(kuò)展，采用0～255之間的數(shù)值來(lái)表示VOP的透明程度，也稱做阿爾法平面（AlphaPlane）。0表示完全透明，1～254表示透明程度不同的VOP區(qū)域，255表示完全不透明?；叶燃?jí)形狀信息的引入相當(dāng)于作了“模糊”處理，使前景物體疊加到背景上時(shí)不會(huì)使邊界太明顯。第88頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼News一幀圖像

前景對(duì)象的二值形狀信息第89頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼形狀信息編碼采用基于塊的運(yùn)動(dòng)補(bǔ)償變換編碼方法，與VOP的紋理和運(yùn)動(dòng)信息一起編碼；編碼以二值阿爾法塊為單位，基本編碼工具是基于上下文的算術(shù)編碼算法，根據(jù)有無(wú)運(yùn)動(dòng)估計(jì)分為：幀間編碼，用于在幀間有運(yùn)動(dòng)補(bǔ)償?shù)膱?chǎng)合；幀內(nèi)編碼，用于幀內(nèi)無(wú)運(yùn)動(dòng)補(bǔ)償?shù)那闆r。第90頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼編碼模式分為多種：VOP外部塊，標(biāo)記為透明塊，這些塊的紋理無(wú)需編碼；VOP內(nèi)部塊，標(biāo)記為不透明塊，這些塊不做形狀編碼，但需要紋理編碼；幀內(nèi)VOP，使用幀內(nèi)形狀編碼，不使用參考信息；幀間VOP，運(yùn)動(dòng)矢量誤差為零，塊不更新；幀間VOP，運(yùn)動(dòng)矢量誤差為零，塊更新。用幀間形狀編碼對(duì)更新的塊編碼，宏塊的運(yùn)動(dòng)矢量可通過計(jì)算最佳匹配位置給出；第91頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼八、關(guān)鍵技術(shù)2、運(yùn)動(dòng)信息編碼運(yùn)動(dòng)信息編碼可視為現(xiàn)有標(biāo)準(zhǔn)由矩形視頻幀向任意形狀VOP的延伸；三種模式：幀內(nèi)編碼模式（I-VOP）、幀間預(yù)測(cè)編碼模式（P-VOP）和幀間雙向預(yù)測(cè)編碼模式（B-VOP）；運(yùn)動(dòng)估計(jì)可以基于16×16的宏塊，同時(shí)也支持8×8子塊；為了能夠適應(yīng)任意形狀的VOP編碼，還引入圖像填充技術(shù)和多邊形匹配技術(shù)。第92頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼對(duì)于標(biāo)準(zhǔn)宏塊：采用標(biāo)準(zhǔn)的基于塊的運(yùn)動(dòng)估計(jì)和補(bǔ)償技術(shù)；對(duì)于位于VOP邊界的輪廓宏塊，形狀不規(guī)則，運(yùn)動(dòng)估計(jì)與補(bǔ)償步驟如下：圖像填充技術(shù)，使用VOP內(nèi)部像素值來(lái)對(duì)外部像素值進(jìn)行預(yù)測(cè)，用該灰度值填充輪廓宏塊中位于邊界以外的像素。水平填充，根據(jù)邊緣像素左端或右端最近鄰像素點(diǎn)有效灰度值填充，若左右都有合適的則取平均值，否則哪端合適取哪端像素點(diǎn)值；垂直填充，水平填充后剩下仍為透明的像素部分進(jìn)行垂直填充，根據(jù)上下鄰近點(diǎn)灰度值填充。多邊形匹配，根據(jù)匹配準(zhǔn)則在采用填充技術(shù)填充過的重構(gòu)VOP中，為當(dāng)前VOP的邊緣宏塊尋找最佳匹配宏塊?！岸噙呅巍倍x了輪廓宏塊中位于VOP以內(nèi)的部分，以外的部分排除在外。運(yùn)動(dòng)估計(jì)只對(duì)多邊形定義的屬于VOP活動(dòng)區(qū)域的像素進(jìn)行。第93頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼水平填充垂直填充第94頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第95頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼八、關(guān)鍵技術(shù)3、紋理信息編碼紋理：由許多相互接近、互相編織的元素構(gòu)成的，并且具有一定程度的規(guī)律性或周期性；VOP的紋理信息包含在視頻信號(hào)的亮度分量和兩個(gè)色度分量中；VOP紋理編碼的對(duì)象可以是幀內(nèi)編碼模式I-VOP，也可以是幀間編碼模式的P-VOP或B-VOP運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)誤差。第96頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼紋理編碼流程DCT量化系數(shù)預(yù)測(cè)系數(shù)掃描VLCVOP紋理碼流第97頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼DCT變換：幀內(nèi)編碼——完全屬于VOP內(nèi)的區(qū)域直接做，屬于VOP邊緣的宏塊區(qū)域首先填充再做變換；幀間編碼——將VOP形狀之外的塊填充后變換；量化：采用非線性方式量化；系數(shù)預(yù)測(cè)（幀內(nèi)預(yù)測(cè)）：DCT變換后不直接對(duì)系數(shù)進(jìn)行編碼，根據(jù)已編碼子塊（上方或左方）的系數(shù)得到預(yù)測(cè)值，對(duì)當(dāng)前塊DCT系數(shù)和預(yù)測(cè)系數(shù)的殘差進(jìn)行量化和熵編碼；系數(shù)掃描：定義了3種掃描方式Zigzag掃描（如果沒有DC頻段系數(shù)預(yù)測(cè)）、水平交替掃描（如果DC系數(shù)進(jìn)行水平方向預(yù)測(cè)）和垂直交替掃描（如果DC系數(shù)進(jìn)行垂直方向預(yù)測(cè)）；熵編碼：在MPEG-4中對(duì)于幀內(nèi)編碼塊和幀間編碼塊，DC系數(shù)和AC系數(shù)分別采用不同的碼表；幀內(nèi)編碼塊DC系數(shù)用8bit定長(zhǎng)碼編碼，AC系數(shù)Huffman編碼；幀間編碼塊DC和AC系數(shù)都采用Huffman編碼。第98頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼九、編碼新技術(shù)1、視頻對(duì)象提取技術(shù)視頻編碼以任意形狀的VOP為單位進(jìn)行的，編碼前要提取獨(dú)立的VOP信息，針對(duì)不同對(duì)象進(jìn)行編碼；視頻對(duì)象提?。ǚ指睿┘夹g(shù)是MPEG-4的關(guān)鍵技術(shù)之一，是新一代編碼的研究熱點(diǎn)及難點(diǎn)，標(biāo)準(zhǔn)中沒有規(guī)定生成VOP的具體算法；VOP提取包括：全自動(dòng)、半自動(dòng)（人工輸入確定初始幀VOP的范圍通過算法獲得初始幀VOP，后繼幀中自動(dòng)跟蹤此VOP的運(yùn)動(dòng)和變化）和人工提?。ㄈ斯し椒▽⒁曨l對(duì)象標(biāo)記出來(lái)，對(duì)有意義的對(duì)象進(jìn)行跟蹤提取）；目前的編碼機(jī)制中大都以16×16的宏塊為基本單位，按基于矩形的塊編碼方案進(jìn)行，可以與現(xiàn)有面向像素編碼標(biāo)準(zhǔn)兼容，又便于面向?qū)ο缶幋a技術(shù)擴(kuò)展。第99頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼九、編碼新技術(shù)2、可伸縮編碼技術(shù)支持兩種可伸縮方式：空域可伸縮和時(shí)域可伸縮；每一種可伸縮至少包括2層VOL，低層為基本層，高層為增強(qiáng)層；空域可伸縮通過增強(qiáng)層強(qiáng)化基本層的空間分辨率實(shí)現(xiàn)，目前只支持矩形VOP；時(shí)域可伸縮既支持幀（矩形VOP）又支持任意形狀VOP。第100頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼九、編碼新技術(shù)3、Sprite對(duì)象編碼視頻編碼中多數(shù)視頻序列中的背景本身靜止或變化緩慢的，可通過圖像匹配和拼接將整個(gè)視頻序列的背景圖像拼為一幅完整的全景圖像，該序列所有幀背景中出現(xiàn)過的像素點(diǎn)在該背景的全景圖中都能找到對(duì)應(yīng)點(diǎn)——Sprite圖像；Sprite圖像本身不變，整個(gè)編碼中只需傳輸一次，接收端根據(jù)攝像機(jī)運(yùn)動(dòng)參數(shù)重建背景，避免重復(fù)傳送，減少傳輸數(shù)據(jù)量；第101頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼Sprite全景圖生成過程全局運(yùn)動(dòng)估計(jì)仿射變換合成幀存形狀圖當(dāng)前幀Sprite第102頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第103頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼第104頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.4MPEG-4視頻編碼和解碼Sprite編碼分3種：基本Sprite編碼低延時(shí)Sprite編碼可伸縮Sprite編碼Sprite的形狀和紋理信息都按照I-VOP進(jìn)行編碼；低延時(shí)Sprite編碼：整個(gè)Sprite分為不同的片，先將必要的片傳送到接收端顯示，其余的片在必要時(shí)或者帶寬允許時(shí)在傳送；可伸縮Sprite編碼：先傳送低分辨率圖像，后不斷進(jìn)行細(xì)化。第105頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7簡(jiǎn)介“多媒體內(nèi)容描述接口”ISO/IEC15938；多媒體內(nèi)容描述標(biāo)準(zhǔn)，定義了描述符、描述語(yǔ)言和描述方案，對(duì)多媒體信息進(jìn)行標(biāo)準(zhǔn)化的描述，實(shí)現(xiàn)快速有效的搜索；MPEG-1，-2，-4是對(duì)信息進(jìn)行有效的表示，MPEG-7則對(duì)信息表示方法進(jìn)行描述，為各種表示法的適當(dāng)部分提供索引。前三種編碼方法使得信息的內(nèi)容變得容易獲取，MPEG-7則使在需要時(shí)能找到它。MPEG-7確立各種類型多媒體信息的標(biāo)準(zhǔn)描述方法，方法是描述符和描述方案的組合，并與所描述的內(nèi)容緊密相關(guān)；描述形式與描述內(nèi)容的編碼方法或存儲(chǔ)方式無(wú)關(guān)，描述可獨(dú)立于所描述的媒體而存在。也可將描述附加在媒體上，方便檢索和查詢。標(biāo)準(zhǔn)只規(guī)定媒體特征的描述語(yǔ)法和語(yǔ)義。第106頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7標(biāo)準(zhǔn)的組成第107頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7中的描述定義語(yǔ)言描述定義語(yǔ)言DDL、描述方案和描述符是實(shí)現(xiàn)MPEG-7描述的主要工具，其中DDL是MPEG-7的核心部分；DDL——一種允許產(chǎn)生新的描述方案和描述符的語(yǔ)言，同時(shí)能夠?qū)ΜF(xiàn)有的描述方案進(jìn)行擴(kuò)展和修改；DDL必須滿足MPEG-7描述定義語(yǔ)言的需求：能夠表示描述方案或描述方案元素之間的復(fù)雜空間、時(shí)間、結(jié)構(gòu)和概念關(guān)系；能提供豐富的模型來(lái)連接或索引一個(gè)或多個(gè)描述以及被描述的數(shù)據(jù)；必須是一個(gè)與應(yīng)用無(wú)關(guān)、人機(jī)可讀的平臺(tái)；第108頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7工作范圍MPEG-7工作范圍：特征提取標(biāo)準(zhǔn)的信息描述(MPEG-7)搜索引擎視頻素材的低級(jí)描述符能夠描述象形狀、尺寸、紋理、顏色、運(yùn)動(dòng)（拋射）、位置等屬性；最高級(jí)的抽象描述等級(jí)可能會(huì)給出關(guān)于語(yǔ)義的信息。如，描述一個(gè)場(chǎng)景；中級(jí)描述，如一個(gè)場(chǎng)景中主、客體分類。第109頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7與其它MPEG標(biāo)準(zhǔn)的區(qū)別MPEG-7可獨(dú)立于其他MPEG標(biāo)準(zhǔn)使用；MPEG其他標(biāo)準(zhǔn)著重研究視頻、音頻的高效壓縮編碼算法，MPEG-7對(duì)多媒體對(duì)象的存儲(chǔ)、編碼不進(jìn)行專門討論，而將重點(diǎn)放在多媒體對(duì)象的特征提取、數(shù)據(jù)庫(kù)的層次劃分、不同數(shù)據(jù)類型之間的有機(jī)聯(lián)系等方面，它所處理的數(shù)據(jù)對(duì)象甚至包含模擬信號(hào)（電影和錄音剪輯）；可利用MPEG-7的描述來(lái)增強(qiáng)其他MPEG標(biāo)準(zhǔn)的內(nèi)容描述功能；MPEG-7與其他MPEG標(biāo)準(zhǔn)最大不同在于MPEG-7更注重于對(duì)人的自然本性的考慮；MPEG-7必須將許多相關(guān)領(lǐng)域的特點(diǎn)和技術(shù)結(jié)合起來(lái)，比如：計(jì)算機(jī)視覺、數(shù)據(jù)庫(kù)以及信號(hào)處理等。第110頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7的潛在應(yīng)用PULL（檢索/定位）：多媒體素材的存儲(chǔ)與調(diào)用

PUSH

（過濾）：個(gè)性化電視服務(wù)第111頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7基于內(nèi)容檢索系統(tǒng)的簡(jiǎn)單結(jié)構(gòu)媒體庫(kù)特征庫(kù)特征抽取檢索引擎管理端用戶端數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)生成子系統(tǒng)數(shù)據(jù)查詢子系統(tǒng)知識(shí)庫(kù)第112頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-7按MPEG-7描述標(biāo)準(zhǔn)建立的管理系統(tǒng)工作流程圖例讀入視頻資料鏡頭分割提取視頻資料及其關(guān)鍵幀的特征值將特征值按照MPEG-7標(biāo)準(zhǔn)進(jìn)行描述將視頻資料及其描述信息存儲(chǔ)到視頻數(shù)據(jù)庫(kù)提取關(guān)鍵幀第113頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21多媒體框架（ISO/IEC18034）標(biāo)準(zhǔn)的提出背景隨著互連網(wǎng)的飛速發(fā)展，越來(lái)越多的設(shè)備通過互聯(lián)網(wǎng)的主干線、本地的寬帶或窄帶網(wǎng)、高速局域網(wǎng)或家庭網(wǎng)以及正在發(fā)展的無(wú)線網(wǎng)互連到一起，共享和交換信息；多媒體內(nèi)容的產(chǎn)生和消費(fèi)不再是固定的，每個(gè)消費(fèi)終端都是多媒體的制作者和消費(fèi)者，多媒體數(shù)據(jù)將通過不同的用戶層和應(yīng)用范圍漫游。在多媒體數(shù)據(jù)的交換過程中，要處理和組成各種所需內(nèi)容，直到滿足各種消費(fèi)要求的問題尚不能解決；怎樣能使這些無(wú)處不在的多媒體信息高效地、安全可靠地通過全球范圍的各種不同類型網(wǎng)絡(luò)和用戶設(shè)備漫游？是當(dāng)前流媒體安全發(fā)展中的一個(gè)挑戰(zhàn)性的問題；解決這個(gè)問題需要綜合地利用不同層次的多媒體技術(shù)標(biāo)準(zhǔn)?，F(xiàn)在的標(biāo)準(zhǔn)是否能真正做到匹配銜接？在各個(gè)標(biāo)準(zhǔn)之間是否存在缺漏？是否還需要一個(gè)綜合性的標(biāo)準(zhǔn)來(lái)加以協(xié)調(diào)？第114頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21面對(duì)這些問題，于1999年10月的墨爾本MPEG會(huì)議上提出了多媒體框架這一概念。1999年12月毛伊島會(huì)議上確定為MPEG-21。主要研究目標(biāo)討論是否需要和如何將這些不同的組件（協(xié)議、標(biāo)準(zhǔn)、技術(shù)等）有機(jī)的結(jié)合起來(lái)；討論是否需要新的規(guī)范；討論如果具備前兩個(gè)條件，如何將不同的標(biāo)準(zhǔn)集成在一起。第115頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21MPEG-21的范圍可描述成一些關(guān)鍵技術(shù)的集成，其功能包括：內(nèi)容表示、內(nèi)容創(chuàng)建、內(nèi)容發(fā)布、內(nèi)容消費(fèi)、內(nèi)容識(shí)別與描述、知識(shí)產(chǎn)權(quán)管理和保護(hù)、財(cái)政管理、用戶的隱私權(quán)、終端和網(wǎng)絡(luò)資源的內(nèi)容提取、事件報(bào)告等；MPEG-21框架的基本要素?cái)?shù)字項(xiàng)目的發(fā)布（DigitalItemDeclaration）數(shù)字項(xiàng)目的識(shí)別與描述內(nèi)容管理與使用知識(shí)產(chǎn)權(quán)管理與保護(hù)終端和網(wǎng)絡(luò)（TerminalsandNetworks）內(nèi)容表示（ContentRepresentation）事件報(bào)告（EventReporting）第116頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21第117頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21的應(yīng)用和發(fā)展有關(guān)MPEG-21的應(yīng)用主要參考MPEG會(huì)議產(chǎn)生的文檔N3549.doc，文中介紹了多方面應(yīng)用及舉例：相冊(cè)管理；數(shù)字圖書館；醫(yī)學(xué)研究；旅游；家庭設(shè)計(jì)網(wǎng)絡(luò)視音頻的廣播和點(diǎn)播等。MPEG-21的制定從2000年5月開始，計(jì)劃在2002年2月達(dá)到國(guó)際標(biāo)準(zhǔn)。MPEG-21標(biāo)準(zhǔn)的內(nèi)容非常豐富，許多內(nèi)容尚在制定中，如轉(zhuǎn)碼、擴(kuò)展的權(quán)力表達(dá)語(yǔ)言—XrML等。第118頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21關(guān)鍵問題關(guān)鍵問題網(wǎng)絡(luò)傳送；服務(wù)質(zhì)量和靈活性；內(nèi)容展示的質(zhì)量；內(nèi)容藝術(shù)性方面的質(zhì)量；服務(wù)和設(shè)備的易用性；物理媒體格式的互操作性；付費(fèi)/訂購(gòu)模型；第119頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月MPEG-21關(guān)鍵問題多平臺(tái)的解碼和繪制；內(nèi)容的過濾、定位、回放和存儲(chǔ)；消費(fèi)者信息發(fā)布；消費(fèi)者使用權(quán)限；消費(fèi)者隱私保護(hù)。第120頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼一、標(biāo)準(zhǔn)簡(jiǎn)介JVT(JointVideoTeam)是由國(guó)際標(biāo)準(zhǔn)化組織運(yùn)動(dòng)圖像專家組（ISOMPEG）和國(guó)際電信聯(lián)盟視頻編碼專家組（ITU-TVCEG）成立的聯(lián)合視頻工作組，致力于開發(fā)低比特率視頻標(biāo)準(zhǔn)；JVT標(biāo)準(zhǔn)于2003年推出H.264/AVC標(biāo)準(zhǔn)在ISO/IEC中正式名稱為MPEG-4Part10，稱之為“ISO/IEC14496Part10高級(jí)視頻編碼算法”（ISO/IEC1449610AVC）第121頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼第122頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼二、檔次與等級(jí)H.264主要支持4:2:0格式的連續(xù)或隔行視頻的編解碼，4:2:2和4:4:4可作為額外的參考信息參數(shù)；根據(jù)應(yīng)用領(lǐng)域不同，制定了不同的算法集合和技術(shù)限定，共分為3個(gè)檔次：基本檔、主檔和擴(kuò)展檔；在每一檔次設(shè)置了不同的參數(shù)，每個(gè)檔次下面又劃分為不同的等級(jí)；基本檔是擴(kuò)展檔的子集，但不是主檔的子集。第123頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼檔次技術(shù)特點(diǎn)典型應(yīng)用基本檔利用I片和P片支持幀內(nèi)和幀間編碼，支持利用基于上下文的自適應(yīng)變長(zhǎng)編碼進(jìn)行熵編碼；支持靈活的宏塊組織順序；片之間是相互獨(dú)立的可任意順序傳輸?shù)浇獯a端視頻會(huì)話、如會(huì)議電視、可視電話、遠(yuǎn)程醫(yī)療、遠(yuǎn)程教學(xué)等主檔支持隔行視頻，采用B片的幀間編碼和加權(quán)預(yù)測(cè)的幀內(nèi)編碼；采用基于上下文的自適應(yīng)算數(shù)編碼消費(fèi)電子應(yīng)用，如數(shù)字電視廣播、數(shù)字視頻存儲(chǔ)等擴(kuò)展檔支持碼流之間的有效切換（SP和SI片）、改進(jìn)抗誤碼性能；不支持隔行視頻和基于上下文的自適應(yīng)算數(shù)編碼網(wǎng)絡(luò)視頻流，如視頻點(diǎn)播、流媒體等第124頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼H.264標(biāo)準(zhǔn)從概念上將編碼結(jié)構(gòu)分為兩層：上層為視頻編碼層；底層為網(wǎng)絡(luò)抽象層?？刂茢?shù)據(jù)視頻編碼層數(shù)據(jù)分割網(wǎng)絡(luò)適配層H.320MPEG-4H.323/IPMPEG-2其他編碼宏塊編碼片/分區(qū)第125頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼視頻編碼層負(fù)責(zé)完成高效率的視頻壓縮任務(wù)，網(wǎng)絡(luò)適配層將視頻編碼層從具體的傳輸層中抽象出來(lái)，負(fù)責(zé)解決網(wǎng)絡(luò)的適配問題，即根據(jù)使用環(huán)境對(duì)不同網(wǎng)絡(luò)采用最為合適的方式對(duì)數(shù)據(jù)進(jìn)行打包和傳送，以使得碼流對(duì)各類信道都具有良好的適應(yīng)能力；對(duì)上層，從視頻編碼層獲得數(shù)據(jù)，包括頭信息、視頻壓縮數(shù)據(jù)信息；對(duì)下層，依據(jù)具體傳輸網(wǎng)絡(luò)的特性對(duì)數(shù)據(jù)進(jìn)行封裝，包括成幀、發(fā)送信號(hào)至邏輯信道、利用同步信息等，定義適合傳輸層或存儲(chǔ)介質(zhì)需要的數(shù)據(jù)格式，提供頭信息，將視頻編碼數(shù)據(jù)正確的映射到H.323、H.324等具體的傳輸協(xié)議上，從而提供視頻編碼層與外部世界的接口。第126頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼三、編/解碼原理1、編碼原理仍然采用經(jīng)典的運(yùn)動(dòng)補(bǔ)償混合編碼算法；編碼圖像分為3種：I幀、P幀和B幀；此外H.264還定義了新的SP幀和SI幀，用以實(shí)現(xiàn)不同的傳輸速率、不同圖像質(zhì)量碼流間的快速切換以及信息丟失的快速恢復(fù)等功能；H.264將一視頻圖像編碼成一個(gè)或多個(gè)片，一個(gè)片由一系列按光柵掃描順序排列的宏塊構(gòu)成每片包含整數(shù)個(gè)宏塊或一幅圖像的全部宏塊。第127頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼采用幀內(nèi)編碼時(shí)首先選擇相應(yīng)的幀內(nèi)預(yù)測(cè)模式進(jìn)行預(yù)測(cè)；隨后對(duì)實(shí)際值和預(yù)測(cè)值之間的差值進(jìn)行變換、量化和熵編碼；同時(shí)編碼后的碼流經(jīng)過反量化和反變換之后重構(gòu)預(yù)測(cè)殘差圖像，與預(yù)測(cè)值相加得出重構(gòu)幀，結(jié)果經(jīng)環(huán)路濾波器平滑后送入幀存儲(chǔ)器；采用幀間編碼時(shí)首先在參考幀中進(jìn)行運(yùn)動(dòng)估計(jì)，之后的殘差圖像經(jīng)整數(shù)變換、量化和熵編碼后與運(yùn)動(dòng)矢量一起送入信道傳輸。第128頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼三、編/解碼原理2、解碼原理首先根據(jù)語(yǔ)法元素判斷：為幀內(nèi)編碼直接進(jìn)行反量化、反變換重構(gòu)；為幀間編碼得到的為殘差圖像，需要根據(jù)幀存儲(chǔ)器中的參考圖進(jìn)行運(yùn)動(dòng)補(bǔ)償后與殘差圖疊加。第129頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼四、關(guān)鍵技術(shù)H.264的特征是加大了預(yù)測(cè)部分的比重，通過改善預(yù)測(cè)誤差而提高編碼效率；與H.263+和MPEG-4簡(jiǎn)單類相比，在視頻圖像質(zhì)量相同的情況下，H.264最多能節(jié)省50%的碼率；第130頁(yè)，課件共145頁(yè)，創(chuàng)作于2023年2月§4.5H.264/AVC視頻編碼和解碼采用的新型編碼技術(shù)主要包括如下：采用4×4像素塊的整數(shù)變換，運(yùn)算速度快，反變換過程中沒有匹配錯(cuò)誤問題；采用可變塊運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償技術(shù)，宏塊尺寸從16×16,1