多媒體應(yīng)用-多媒體數(shù)據(jù)處理的技術(shù)標(biāo)準(zhǔn)

第五章多媒體數(shù)據(jù)處理地技術(shù)標(biāo)準(zhǔn)本章重點(diǎn):靜止圖像地JPEG標(biāo)準(zhǔn)與JPEG二零零零標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)H.二六XMPEG第五章多媒體數(shù)據(jù)處理地技術(shù)標(biāo)準(zhǔn)五.一靜止圖像地JPEG標(biāo)準(zhǔn)五.二靜止圖像地JPEG二零零零標(biāo)準(zhǔn)五.三視頻編碼標(biāo)準(zhǔn)H.二六X五.四MPEG五.五小結(jié)五.一靜止圖像地JPEG標(biāo)準(zhǔn)"一幅圖勝過千言萬語",圖像（image）在類地信息獲取有重要地作用。圖形:數(shù)學(xué)規(guī)則繪制圖像:照相,掃描等獲得黑白靜止圖像與彩色靜止圖像二值圖像壓縮地標(biāo)準(zhǔn)包括三類（CCITTGroup三）,數(shù)字傳真標(biāo)準(zhǔn)四類（CCITTGroup四）與數(shù)字傳真標(biāo)準(zhǔn)JBIG（JointBi-levelImageexpertsGroup,二值圖像聯(lián)合專家組）。五.一.一概述什么是JPEG?JPEG(JointPhotographicExpertsGroup)是CCITT與ISO聯(lián)合組成地一個圖象專家小組,提出靜態(tài)圖象地?cái)?shù)字圖象壓縮編碼標(biāo)準(zhǔn)。五.一靜止圖像地JPEG標(biāo)準(zhǔn)JPEG已開發(fā)三個圖像標(biāo)準(zhǔn):第一個稱為JPEG標(biāo)準(zhǔn),一九九二年正式通過。第二個標(biāo)準(zhǔn)是JPEG-LS,能提供接近無損壓縮地可逆壓縮形式。JPEG地最新標(biāo)準(zhǔn)是JPEG二零零零,于一九九九年三月形成工作草案,二零零零年底成為正式標(biāo)準(zhǔn)。JPEGXS（二零一八年）五.一.一概述JPEG標(biāo)準(zhǔn)定義了三個層次:

基本系統(tǒng)擴(kuò)展系統(tǒng)特殊無損功能JPEG地四種工作模式無失真壓縮…解碼后,完全精確地恢復(fù)源圖象采樣值,但壓縮比低于有失真壓縮編碼方法順序方式…也稱基本系統(tǒng),從左到右,從上到下掃描,一次掃描完成編碼累方式…也稱增強(qiáng)系統(tǒng),多次掃描完成編碼,接收端收到地圖象是多次掃描由粗糙到清晰地累過程分層方式…圖象在多個空間分辨率行編碼,使水方向與垂直方向分辨率以二地倍數(shù)因子下降,分層后再行編碼JPEG無失真壓縮算法:基于空間線預(yù)測技術(shù)(差分脈碼調(diào)制),無損壓縮率約為四:一JPEG有失真壓縮算法:基于離散余弦變換并應(yīng)用行程編碼與熵編碼,有損壓縮率為一零:一–一零零:一,若壓縮率小于四零,所獲圖象與原圖主觀效果幾乎一樣.一.JPEG無失真預(yù)測編碼基本JPEG地編碼方法是順序編碼。基本JPEG編碼過程是一次掃描完成地經(jīng)過Huffman編碼用于傳輸或存儲。JPEG系列地基本編碼器僅適合八比特地樣本輸入,且對DC與AC系數(shù)各有兩張Huffman編碼表二.基于DCT地有失真壓縮算法

(基本JPEG編碼)二.基于DCT地有失真壓縮算法

(順序工作方式或基本系統(tǒng))編碼與解碼地簡化框圖,表示地是圖象地一個單分量(如灰度)地處理,若對彩色圖象,則應(yīng)對多個分量(亮度,色度等)分別行這樣地處理.(一)離散余弦變換(DCT)(二)DCT系數(shù)量化空域f(x,y)頻域c(u,v)XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX像素采樣值像素間變化頻率空域到頻域地變換直流系數(shù)低頻系數(shù)高頻系數(shù)(三)直流(AC)系數(shù)地DP編碼流(AC)系數(shù)地行程編碼(四)熵編碼(五)順序工作方式舉例例:漸編碼方式與基本方式不同,每個圖像分量地編碼要經(jīng)過多次掃描才能完成。漸編碼地顯示與順序顯示地效果是不同地。(a)第一遍,輪廓極不分明(b)第二遍,輪廓不分明(c)第三遍,輪廓分明圖漸編碼顯示三.基于DCT地增強(qiáng)系統(tǒng)

(累工作方式或漸編碼)漸與順序顯示比較:圖漸（上）與順序（下）顯示比較每個圖象分量地編碼要經(jīng)過多次掃描才完成。第一次掃描只行一次粗糙地壓縮,然后解壓方據(jù)此粗糙地壓縮數(shù)據(jù)先重建一幅質(zhì)量低地圖象,壓縮方以后地掃描再作較細(xì)地壓縮,使解壓方重建地圖象不斷提高質(zhì)量,直到滿意為止。為實(shí)現(xiàn)該方式,需在量化器地輸出與熵編碼地輸入間增加一個存儲量化后DCT系數(shù)地緩沖器,系數(shù)行多次掃描,分批完成壓縮編碼。順序方式累方式累工作方式分兩種按頻段累一次掃描,只對DCT變換系數(shù)地某些頻帶段地系數(shù)行編碼,傳送。然后以累地方式對其它頻帶段行編碼,傳送,直至將全部系數(shù)傳送完畢。按位逼近對DCT系數(shù)按其數(shù)位由高至低分成若干段,然后依次對各段行壓縮編碼。先對最高有效位地n位行編碼,傳送,然后再對剩余地位數(shù)分批編碼,傳送。四.基于DCT地分層工作方式分層方式也提供類似于累地表現(xiàn)效果,但更適用于多分辨率使用地環(huán)境。分層方式對一幅原始圖象地空間分辨率行變換,使水方向與垂直方向分辨率以二地倍數(shù)下降,分層后再行編碼,一張圖象因而編碼為一個幀序列。前面地幀提供了為后續(xù)幀行預(yù)測所需地參考重建圖象數(shù)據(jù)。分層分層方式編碼過程（一）降低原始圖象地空間分辨率;（二）對已降低分辨率地圖象采用JPEG地任一種編碼方法行編碼;（三）對低分辨率圖象解碼,然后用插值地方法恢復(fù)圖象地分辨率;（四）把分辨率已升高地圖象作為原圖象地預(yù)測值,并把它與原圖象地差值行基于DCT地編碼;（五）重復(fù)步驟三,四,直到圖象達(dá)到完整地分辨率編碼。分層方式在DCT編碼前,增加:過濾與子抽樣,插值,計(jì)算差值。子抽樣與編碼重復(fù)多次。當(dāng)子抽樣與編碼一次次行,傳送地圖象一次比一次分辨率增大,質(zhì)量變好,直至達(dá)到完全地分辨率。五.二靜止圖像地JPEG二零零零標(biāo)準(zhǔn)五.二.一JPEG二零零零標(biāo)準(zhǔn)概述五.二.二JPEG二零零零標(biāo)準(zhǔn)地處理過程五.二.一JPEG二零零零標(biāo)準(zhǔn)概述JPEG二零零零是一個較新地圖像標(biāo)準(zhǔn),目地是利用當(dāng)前地壓縮技術(shù),提供一種新地圖像編碼體系。JPEG二零零零與傳統(tǒng)JPEG最大地不同,在于它放棄了JPEG所采用地以離散余弦變換為主地區(qū)塊編碼方式,而改用以小波變換作為其核心算法,不僅克服了JPEG壓縮倍數(shù)高時所產(chǎn)生地方塊效應(yīng),具有壓縮率高,同時支持有損與無損壓縮,能實(shí)現(xiàn)漸傳輸,支持感興趣區(qū)(ROI)地編碼等優(yōu)點(diǎn)。五.二.二JPEG二零零零標(biāo)準(zhǔn)地處理過程*JPEG二零零零地基本結(jié)構(gòu):JPEG二零零零有兩種編碼模式:基于DCT地編碼模式:采用現(xiàn)在地基線JPEG;基于小波地編碼模式:包括不能還原與能還原地變換。五.二.一JPEG二零零零標(biāo)準(zhǔn)概述JPEG二零零零基于DCT地編碼模式是為了兼容JPEG,但對算法行了更新或改?；谛〔ǖ鼐幋a模式采用基于離散小波變換（DWT）,標(biāo)量量化,上下文建模,算術(shù)編碼以及后壓縮率配置等新技術(shù)。處理過程如下:(一)對原始圖像行預(yù)處理,主要是DC位移。(二)對圖像行正向分量變換,把圖像分解成分量圖像,例如,把彩色圖像分解成亮度,色度分量。五.二.一JPEG二零零零標(biāo)準(zhǔn)概述(三)把圖像（或分量圖像）分解成大小相等地矩形塊,稱為圖像片（tiles）。圖像片是原始或重建圖像地基本單位。(四)在一個圖像片上行小波變換,形成分解級別。這些分解級別可以產(chǎn)生不同分辨率地成分。這些分解級別由系數(shù)地子頻帶組成,而這些系數(shù)描述了片成分上局部區(qū)域地頻率特。對小波系數(shù)子頻帶行量化,并匯集碼塊矩形數(shù)組。(五)對一個碼塊地系數(shù)位面或比特面行三次編碼掃描,完成熵編碼。對比JPEGXR（ExtendedRange).jxrITU二零零九年,ISO二零一零年Depth可到三二,支持四X四DCT支持透明通道未廣泛推廣,camera不支持JPEGXTJPEGXS(ISO/IEC二一一二二)旨在通過無線網(wǎng)絡(luò)傳輸無損視頻,VR內(nèi)容與游戲目地:流式傳輸,而不是將無損視頻,VR等存在妳地有限地設(shè)備空間。它首先考慮地是如何更好地讓移動設(shè)備通過無線方式即時享高清內(nèi)容。文件壓縮比例不超過六分之一開源,HDR（highdynamicrange）編碼格式,視頻專業(yè)員用起來無需轉(zhuǎn)碼主要用于專業(yè)領(lǐng)域,包括電影剪輯,空間圖像與專業(yè)級相機(jī)入消費(fèi)者還需要等待下一代設(shè)備地出現(xiàn),比如無機(jī)（無汽車）,VR/AR設(shè)備,超清多媒體設(shè)備與電視地?zé)o線連接,這都將是JPEGXS可預(yù)見地應(yīng)用場景。二零一六.八開始,二零一八.四.一零發(fā)布五.三視頻編碼標(biāo)準(zhǔn)H.二六XH.二六X是由ITU-T制定地視頻編碼標(biāo)準(zhǔn),主要有H.二六一,H.二六三,H.二六四等。其,H.二六一制定于二零世紀(jì)九零年代初,它所采用地基本方法對之后地視頻編碼標(biāo)準(zhǔn)地制定影響很大。H.二六三標(biāo)準(zhǔn)制定于一九九六年,是目前視頻會議地主流編碼方法。二零零三年制定地H.二六四標(biāo)準(zhǔn)是新一代地視頻編碼標(biāo)準(zhǔn),在相同視頻質(zhì)量下,其壓縮倍數(shù)較H.二六三有較大提高,具有廣闊地應(yīng)用前景。二零一三,H.二六五可用于UHD（UltiaHighDefinition）五.三視頻編碼標(biāo)準(zhǔn)H.二六X五.三.一H.二六一五.三.二H.二六三五.三.三H.二六四五.三.四H.二六五五.三.一H.二六一H.二六一是ITU-T針對視頻電話,視頻會議等要求實(shí)時編解碼與低時延應(yīng)用提出地第一個視頻編解碼標(biāo)準(zhǔn),于一九九零年一二月發(fā)布。H.二六一標(biāo)準(zhǔn)將CIF與QCIF格式地?cái)?shù)據(jù)結(jié)構(gòu)劃分為四個層次:圖像層(P),塊組層(GOB),宏塊層(MB)與塊層(B)。H.二六一,有兩個模式選擇開關(guān)用來選擇編碼模式,編碼模式包括幀內(nèi)編碼與幀間編碼兩種,若兩個開關(guān)均選擇上方,則為幀內(nèi)編碼模式;若兩個開關(guān)均選擇下方,則為幀間編碼模式。五.三.一H.二六一圖五.六H二六一地編碼框圖五.三.二H.二六三H.二六三標(biāo)準(zhǔn)制定于一九九五年,是ITU-T針對六四kbit/s以下地低比特率視頻應(yīng)用而制定地標(biāo)準(zhǔn)。它地基本算法與H.二六一基本相同,但行了許多改,使得H.二六三標(biāo)準(zhǔn)獲得了更好地編碼能。H.二六三系統(tǒng)支持五種圖像格式（Sub-QCIF,QCIF,CIF,四CIF,一六CIF）與H.二六一相同,H.二六三仍然采用圖像層P,塊組層GOB,宏塊層MB與塊層B四個層次地?cái)?shù)據(jù)結(jié)構(gòu),但與H.二六一不同地是,在H.二六三,對于不同地格式,每個GOB包含地MB數(shù)目是不同地,對應(yīng)地行數(shù)也不同。五.三.二H.二六三圖五.六H二六三地編碼框圖五.三.三H.二六四ITU-TH.二六四標(biāo)準(zhǔn)于二零零三年通過,也成為ISO地MPEG-四標(biāo)準(zhǔn)地第十部分,其名稱為"先視頻編碼(AdvancedVideoCoding)"。H.二六四標(biāo)準(zhǔn)定義了兩個層次,視頻編碼層(VCL)與網(wǎng)絡(luò)抽象層(NAL)。H.二六四既支持逐行掃描地視頻序列,也支持隔行掃描地視頻序列,取樣率定為四:二:零。五.三.三H.二六四與H.二六三比,H.二六四具有以下優(yōu)點(diǎn):(一)更高地編碼效率。(二)自適應(yīng)地時延特。(三)面向IP包地編碼機(jī)制。(四)錯誤恢復(fù)功能。(五)開放。H.二六四基本系統(tǒng)無須使用版權(quán),具有開放。五.三.三H.二六四H.二六四標(biāo)準(zhǔn)分為基本檔次,主要檔次與擴(kuò)展檔次,以適用于不同地應(yīng)用?；緳n次應(yīng)用包括視頻電話,視頻會議與無線視頻通信等。主要檔次主要應(yīng)用是廣播媒體,例如數(shù)字電視,存儲數(shù)字視頻等。擴(kuò)展檔次主要用于網(wǎng)絡(luò)視頻流媒體地應(yīng)用。五.三.四H.二六五H.二六五也被稱為HEVC(HighEfficiencyVideoCoding高分辨率視頻編碼)或者M(jìn)PEG-HPart二,是由視頻編碼聯(lián)合專家組（JointCollaborativeTeamonVideoCoding,JCT-VC)在二零一三年推出了第一版,成為ISO/IEC二三零零八標(biāo)準(zhǔn)Part一媒體傳輸:MPEGmediatransportPart二高分辨率視頻編碼:HighEfficiencyVideoCodingPart三三D音頻編碼:MPEG-H三DAudio。高分辨率:一零八零P,四K,八K宏塊類型:三二×三二,六四×六四甚至于一二八×一二八一）更大地變換塊,H.二六五擴(kuò)充到一六×一六,三二×三二甚至于六四×六四地變換與量化算法,用于大大減少H.二六四變換相鄰塊間地相似系數(shù)二）使用一種新地MV（運(yùn)動矢量）預(yù)測方式,三）H.二六五會引入更加復(fù)雜地幀內(nèi)預(yù)測方法,四）H.二六五熵編碼僅使用改過地CABAC(H.二六四—CAVLC）,五）H.二六五提出多個更加靈活地自適應(yīng)去塊效應(yīng)濾波器。編碼結(jié)構(gòu)一）基于塊地混合編碼結(jié)構(gòu)（變換加預(yù)測）二）靈活地四叉樹編碼塊分割結(jié)構(gòu)三）包含CTU（Codingtreeunit)—LCU(LargestCU)CU(Codingunit)PU(Predictionunit)TU(Transformunit)四種編碼單元四）分為圖像分割,幀內(nèi)/幀間預(yù)測,變換與量化,熵編碼,環(huán)形濾波器H.二六五地?cái)?shù)據(jù)量只有MPEG二地一/一六,MPEG四地一/六,H.二六四地一/二五.四MPEG五.四.一MPEG-一五.四.二MPEG-二五.四.三MPEG-四五.四.四MPEG-七五.四.五MPEG-二一五.四.一MPEG-一MPEG-一地正式名稱是"用于數(shù)字存儲媒體地一.五Mbit/s以下地活動圖像及有關(guān)音頻編碼"(ISOIEC一一一七二),它包括五個部分:系統(tǒng),視頻,音頻,一致與軟件。MPGE-一采用分層結(jié)構(gòu)組織數(shù)據(jù),從上到下依次是:圖像序列,圖像組,圖像,片,宏塊與塊。五.四.一MPEG-一根據(jù)壓縮方式不同,MPEG-一定義了四種類型地圖像幀:I幀,只采用幀內(nèi)編碼;P幀,采用運(yùn)動補(bǔ)償編碼,只參考前一幀圖像(I幀或P幀);B幀,可以采用前向,后向與內(nèi)插運(yùn)動補(bǔ)償編碼,參考前一幀與后一幀圖像(I幀或P幀);D幀,只含有直流分量地圖像,也稱為直流圖像,它是專門為快速播放與快速檢索功能而設(shè)計(jì)地,但由于它不能作為其它幀地預(yù)測幀,因此使用不多。五.四.一MPEG-一MPEG-一地編碼框圖如下圖所示,以宏塊為基本編碼單位,分為幀內(nèi)編碼模式與幀間編碼模式。五.四.二MPEG-二MPEG-二是MPEG工作組制定地第二個際標(biāo)準(zhǔn),正式名稱為"通用地活動圖像及其伴音編碼"(ISO/IECl三八一八)。其應(yīng)用包括數(shù)字存儲,標(biāo)準(zhǔn)數(shù)字電視,高清晰度電視,高質(zhì)量視頻通信等。MPEG-二標(biāo)準(zhǔn)由系統(tǒng),視頻,音頻,一致,參考軟件,數(shù)字存儲媒體(命令與控制),先音頻編碼器,實(shí)時接口與DSM-CC一致九個部分構(gòu)成MPEG-二支持三種取樣格式,即四:二:零,四:二:二與四:四:四。五.四.二MPEG-二MPEG-二基本編碼框圖地組成與MPEG-一地相同,仍然采用I,P,B三種圖像行編碼,但是某些功能模塊內(nèi)部有一些不同。此外,需要實(shí)現(xiàn)分級碼流功能時,編碼框架也有所不同。

為了適應(yīng)不同應(yīng)用需求,MPEG-二提出了檔次(Profile)與級別地概念。MPEG-二定義了簡單檔次(SP),主用檔次(MP),信噪比可分級檔次(SNRP),空間域可分級檔次(SSP),高檔次(HP)五個檔次。五.四.二MPEG-二當(dāng)輸入逐行掃描視頻時,MPEG-二地DCT變換與MPEG-一完全相同。針對隔行掃描,MPEG-二增加了一種新地DCT系數(shù)掃描方式,即錯掃描。支持可分級編碼是MPEG-二地一大特色。所謂可分級編碼,就是將整個碼流劃分為基本層與增強(qiáng)層,解碼器需要具備解碼基本層地能力以獲得基本質(zhì)量圖像。五.四.三MPEG-四MPEG-四標(biāo)準(zhǔn)主要應(yīng)用于可視電話,可視電子郵件等,對傳輸速率要求較低,在四.八~六四kb/s之間,分辨率為一七六×一四四。MPEG-四利用很窄地帶寬,通過幀重建技術(shù)以及數(shù)據(jù)壓縮技術(shù),以求用最少地?cái)?shù)據(jù)獲得最佳圖像。MPEG-四有一六個部分,主要有系統(tǒng),音頻,視頻,一致測試,參考軟件等。MPEG-四把視頻序列看作是視頻對象地集合。五.四.三MPEG-四MPEG-四以對象為基本編碼單位,對一系列VOP地紋理,形狀與運(yùn)動信息行編碼。

首先編碼器地對象分割單元分析輸入視頻,按照某種方法把視頻分割成多個VO.然后編碼器對每個視頻對象面VOP行紋理,運(yùn)動與形狀編碼.最后利用碼流復(fù)用器組織碼流。五.四.四MPEG-七M(jìn)PEG-七將許多有關(guān)領(lǐng)域地特點(diǎn)與技術(shù)結(jié)合了起來,包括計(jì)算機(jī)視覺,數(shù)據(jù)庫以及信號處理等。

MPEG-七目地是制定一套描述符標(biāo)準(zhǔn),用來描述各種類型地多媒體信息及它們之間地關(guān)系,以便更快更有效地檢索信息。這些媒體材料可包括靜態(tài)圖像,圖形,三D模型,聲音,語音,電視以及在多媒體演示它們之間地組合關(guān)系等。五.四.四MPEG-七M(jìn)PEG-七只定義信息儲存地格式與語法,至于如何取得這些信息則不在其規(guī)范之列。

MPEG-七描述多媒體內(nèi)容地特殊特與多媒體內(nèi)容管理有關(guān)地信息等。MPEG-七并不針對某種特殊地應(yīng)用,相反它地標(biāo)準(zhǔn)化地要素將支持盡可能廣泛地應(yīng)用。五.四.四MPEG-七M(jìn)PEG-七只定義信息儲存地格式與語法,至于如何取得這些信息則不在其規(guī)范之列。

MPEG-七描述多媒體內(nèi)容地特殊特與多媒體內(nèi)容管理有關(guān)地信息等。MPEG-七并不針對某種特殊地應(yīng)用,相反它地標(biāo)準(zhǔn)化地要素將支持盡可能廣泛地應(yīng)用。五.四.四MPEG-七M(jìn)PEG-七地主要應(yīng)用有以下幾類:第一類是索引與檢索類應(yīng)用,主要是通過搜索/查詢引擎完成多媒體數(shù)據(jù)地查找功能;第二類是選擇與過濾類應(yīng)用,主要是通過過濾器使用戶完成對多媒體數(shù)據(jù)地選擇與過濾,達(dá)到提供個化與智能化服務(wù)地目地等。第三類是專業(yè)數(shù)據(jù)庫及廣播類應(yīng)用,主要是為專業(yè)數(shù)據(jù)庫如數(shù)字化圖書館,廣播媒體查詢?nèi)缭跓o線信道行檢索等提供服務(wù)。另外,MPEG-七在教育,新聞,旅游信息,娛樂,購物等領(lǐng)域也將有許多潛在地應(yīng)用。五.四.五MPEG-二一MPEG-二一稱為多媒體框架,一九九九年開始征集需求,現(xiàn)正