視頻編碼技術(shù)前沿與方向-

視頻編碼技術(shù)前沿與方向

北京大學(xué)數(shù)字媒體研究所/tutorial/FMM.htm提綱視頻編碼技術(shù)現(xiàn)狀簡(jiǎn)介視頻編碼技術(shù)前沿與方向基于視覺(jué)特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)數(shù)字視頻應(yīng)用傳統(tǒng)視頻編碼技術(shù)原理傳統(tǒng)視頻編碼方法從信號(hào)處理層面入手，以像素、塊為表示基礎(chǔ)基于香農(nóng)信息論，采用混合編碼框架：變換+預(yù)測(cè)+熵編碼視頻編碼的極限數(shù)學(xué)極限—熵差別感知能力—Weber定律，

心理學(xué)模型t+1t時(shí)間冗余空間冗余感知冗余DCT視頻編碼技術(shù)發(fā)展歷程編碼效率進(jìn)一步提高已很艱難色彩空間和變換編碼已接近最優(yōu)用計(jì)算復(fù)雜度換取預(yù)測(cè)增益的空間越來(lái)越小熵編碼提高增益的路也不寬1950差分預(yù)測(cè)編碼調(diào)制隔行編碼B幀P幀場(chǎng)景自適應(yīng)編碼塊運(yùn)動(dòng)估計(jì)DCT宏塊混合編碼哈夫曼編碼變換編碼運(yùn)動(dòng)矢量預(yù)測(cè)視頻對(duì)象基于對(duì)象的可分級(jí)編碼容錯(cuò)一般的B幀高級(jí)的去塊效率慮波基于位平面的可伸縮編碼高精度運(yùn)動(dòng)補(bǔ)償基于上下文的算術(shù)編碼2014多視編碼分布式編碼1999~1985專利可免費(fèi)使用專利可免費(fèi)使用ISO/IECMPEGMPEG-1,MPEG-2,MPEG-4,MPEG-4AVC/H.264,MPEGHVCITU-TVCEGH.261,H.262(MPEG-2),H.263,H.264,VCEGH.NGC中國(guó)AVSAVS-P2,AVS-S下一代標(biāo)準(zhǔn)？方向、技術(shù)？

年代

MPEG-1

1993

2001

1997

2005

MPEG-4AVC/H.2641989

MPEG-2MPEG-42013AVS下一代標(biāo)準(zhǔn)20092017視頻編碼標(biāo)準(zhǔn)發(fā)展歷程問(wèn)題分析：客觀指標(biāo)與主觀感知的差異？峰值信噪比=6.24峰值信噪比=5.98一般認(rèn)為：峰值信噪比與圖像質(zhì)量近似成正比關(guān)系。結(jié)論：1、峰值信噪比度量與人的視覺(jué)感知并不完全一致！

2、需要尋求更加符合人類視覺(jué)感知的客觀度量方法以

及相應(yīng)的編碼理論和方法。群組編碼稀疏編碼視覺(jué)注意運(yùn)動(dòng)感知……視覺(jué)機(jī)理視頻編碼稀疏編碼JPEG(~50倍)JPEG(~14倍)基于視感知的壓縮

(~200倍)感知圖對(duì)視覺(jué)感知機(jī)理的認(rèn)識(shí)逐漸深入，用于視頻編碼的潛力很大可能突破方向：借鑒視覺(jué)感知機(jī)理[Guo03,ICCV]提綱視頻編碼技術(shù)現(xiàn)狀簡(jiǎn)介視頻編碼技術(shù)前沿與方向基于視覺(jué)特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)

視網(wǎng)膜側(cè)膝體

人類“眼腦”視覺(jué)信息系統(tǒng)處理基本流程

下顳葉皮質(zhì)區(qū)

信息論視覺(jué)信息論視頻編碼理論基礎(chǔ)視頻編碼

框架與方法

基于數(shù)字信號(hào)處理的框架與方法基于視覺(jué)模型的框架與方法

光學(xué)刺激

像素圖像塊局部特征部件/物體

視覺(jué)信息表示的基本粒子結(jié)構(gòu)基于視覺(jué)特性的視頻編碼視覺(jué)信息論——從像素到基元（熵）質(zhì)量評(píng)價(jià)方法——與主觀感知一致編碼方法——多維度感知編碼、分布式視覺(jué)編碼香農(nóng)信息熵視覺(jué)熵像素集基元詞典擴(kuò)展基于視覺(jué)特性的視頻編碼技術(shù)1：紋理分析合成編碼**ThomasWiegand:NewTechniquesforImprovedVideoCoding基于視覺(jué)特性的視頻編碼*ThomasWiegand:NewTechniquesforImprovedVideoCoding紋理分析合成編碼*實(shí)驗(yàn)結(jié)果對(duì)比基于視覺(jué)特性的視頻編碼技術(shù)2：基于Inpainting技術(shù)的視頻編碼*碼率節(jié)省達(dá)18%*D.

Liu;X.Sun;F.Wu;S.Li;Y.Zhang,ImageCompressionWithEdge-BasedInpainting,IEEE-TCSVT,Vol.17,No.10,Oct.2007pp.1273–1287.基于視覺(jué)特性的視頻編碼技術(shù)3：視覺(jué)感知機(jī)理與編碼“像素-基元/紋理-對(duì)象-場(chǎng)景”層次模型S.Zhu,UCLA感知圖獲取結(jié)構(gòu)感知合成紋理原始圖像合成圖像紋理區(qū)域估計(jì)基于視覺(jué)特性的視頻編碼基于視覺(jué)特性的視頻編碼符合人眼特性的圖像/視頻質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)塊效應(yīng)、模糊效應(yīng)、振鈴效應(yīng)的模型表示圖像/視頻庫(kù)主觀質(zhì)量評(píng)價(jià)視覺(jué)失真測(cè)度模型提綱視頻編碼技術(shù)現(xiàn)狀簡(jiǎn)介視頻編碼技術(shù)前沿與方向基于視覺(jué)特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)傳統(tǒng)可伸縮編碼時(shí)域可分級(jí)空域可分級(jí)質(zhì)量可分級(jí)時(shí)域可分級(jí)質(zhì)量可分級(jí)傳統(tǒng)可伸縮編碼H.264SVCHierarchicalPicture編碼,完全可兼容AVC的SVC編碼方案,通過(guò)層次預(yù)測(cè)實(shí)現(xiàn)時(shí)域可分級(jí)編碼傳統(tǒng)可伸縮編碼H.264SVCSNR可分級(jí)：層間預(yù)測(cè)多維度可伸縮視頻編碼可伸縮編碼框架：融合時(shí)域、空域、質(zhì)量、注意、動(dòng)態(tài)范圍等的多維度可伸縮編碼方法注意編碼：基于注意模型的感興趣區(qū)域表達(dá)、編碼及碼流優(yōu)化截取方法空域可伸縮時(shí)域可伸縮質(zhì)量可伸縮注意可伸縮動(dòng)態(tài)范圍可伸縮提綱視頻編碼技術(shù)現(xiàn)狀簡(jiǎn)介視頻編碼技術(shù)前沿與方向基于視覺(jué)特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)多視編碼多視采集系統(tǒng)線陣排列多視編碼多視采集系統(tǒng)弧形排列多視編碼采集系統(tǒng)面陣排列多視編碼多視點(diǎn)預(yù)測(cè)編碼—H.264MVC視內(nèi)預(yù)測(cè)視間預(yù)測(cè)：消除視間的冗余多視編碼H.264MVC編碼效率立體視頻編碼立體感的產(chǎn)生視差原理立體視頻編碼立體電視與自由視點(diǎn)電視立體視頻編碼立體顯示戴眼鏡觀看：互補(bǔ)色、時(shí)分立體電視不戴眼鏡即可觀看：三維顯示器立體視編碼多視預(yù)測(cè)編碼深度信息獲取立體攝像機(jī)直接獲?。撼杀靖唠p目立體匹配方法：匹配點(diǎn)不唯一問(wèn)題，遮擋問(wèn)題單目單圖示線索方法：可利用圖示信息較少，提取深度不準(zhǔn)確其他研究：?jiǎn)文慷鄨D示線索方法立體視編碼紋理圖深度圖分塊模型深度信息編碼基于模型的編碼，通過(guò)編碼模型參數(shù)來(lái)表示深度信息對(duì)相鄰幀間深度信息進(jìn)行差分預(yù)測(cè)、量化編碼編碼過(guò)程中的率失真優(yōu)化立體電視示范系統(tǒng)多視點(diǎn)

立體視頻

采集裝置自動(dòng)立體

顯示器分時(shí)立體

顯示器…深度圖

生成平臺(tái)多視點(diǎn)

立體視頻

編碼器直播點(diǎn)播服務(wù)器解碼

繪制

終端現(xiàn)有

視頻節(jié)目顯示

適配器網(wǎng)絡(luò)立體視編碼韓國(guó)立體電視廣播示范系統(tǒng)2002FIFAWorldCupKorea/Japan(5games)提綱視頻編碼技術(shù)現(xiàn)狀簡(jiǎn)介視頻編碼技術(shù)前沿與方向基于視覺(jué)特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)分布式編碼原理Slepian-Wolf理論獨(dú)立編碼信源X,Y也可達(dá)到聯(lián)合熵下界獨(dú)立編碼相關(guān)信源X,Y可在解碼端通過(guò)聯(lián)合解碼進(jìn)行重建滿足條件約束[1]Slepian-Wolf,Noiselesscodingofcorrelatedinformationsources,IEEEtrans.onInf.Theory,1973.[2]Wyner-Ziv,RecentresultsintheShannontheory,IEEEtransonInf.Theory,1974.分布式編碼系統(tǒng)StandfordDVC編碼器以常規(guī)方法編碼信源Y(Keyframe)以Wyner-Ziv編碼信源X,通過(guò)Slephian-WolfCoder傳送校驗(yàn)位分布式編碼系統(tǒng)BerkeleyDVC編碼器PRISM(Power-efficientRobusthIgh-compressionSyndrome-basedMultimediacoding)：將高效的預(yù)測(cè)編碼模式和幀內(nèi)預(yù)測(cè)編碼模式有效的結(jié)合起來(lái)，相應(yīng)地需要：低復(fù)雜度邊信息編碼高復(fù)雜度邊信息解碼分布式編碼應(yīng)用獨(dú)立、低復(fù)雜度編碼適合分布式監(jiān)控、無(wú)線傳感網(wǎng)絡(luò)等應(yīng)用上行：Wyner-Ziv編碼器編碼碼流傳送到級(jí)站下行：級(jí)站進(jìn)行轉(zhuǎn)碼，用通用編碼器編碼，終端采用通用低復(fù)雜度解碼器解碼提綱視頻編碼技術(shù)現(xiàn)狀簡(jiǎn)介視頻編碼技術(shù)前沿與方向基于視覺(jué)特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)下一代視頻編碼標(biāo)準(zhǔn)MPEGHVC,2009年2月需求文檔w10361兩大應(yīng)用前景需要支持HD甚至UHD應(yīng)用的家庭影院、數(shù)字相機(jī)等移動(dòng)終端應(yīng)用壓縮效率比現(xiàn)有技術(shù)有顯著提高圖像分辨率支持4Kx2K，甚至高達(dá)8Kx4K支持采樣格式Y(jié)CbCr4:2:0,YCbCr/RGB4:4:4，采樣精度最高達(dá)14bit典型幀率支持24~60fps，支持靈活幀率復(fù)雜度/性能較好的折中下一代視頻編碼標(biāo)準(zhǔn)VCEG,H.NGC,Geneva,27January-6February2009編碼碼率比H.264/AVC再降低50%編碼復(fù)雜度低于3倍的H.264/AVC復(fù)雜度增加50%時(shí)應(yīng)能提供25%的碼率降低較好的容錯(cuò)性能支持8-bit4:2:0到12-bit4:4:4編碼分辨率支持8Kx4K，幀率23.976Hz甚至更高下一代視頻編碼標(biāo)準(zhǔn)可選擇的編碼工具超宏塊預(yù)測(cè)變塊尺寸預(yù)測(cè)高精度運(yùn)動(dòng)補(bǔ)償增強(qiáng)型幀內(nèi)預(yù)測(cè)自適應(yīng)插值濾波器，運(yùn)動(dòng)矢量預(yù)測(cè)….下一代視頻編碼標(biāo)準(zhǔn)“BeyondMacroblockbasedPredictiveBeyondPredictiveCodingforUltraHDVideo”,w10174_4-2,October14,2008下一代視頻編碼標(biāo)準(zhǔn)變塊尺寸預(yù)測(cè)下一代視頻編碼標(biāo)準(zhǔn)變塊尺寸預(yù)測(cè)TriangularSub-MacroblockPartitioningForMotionCompensatedPrediction,w10174,October14,2008.下一代視頻編碼標(biāo)準(zhǔn)1/8像素插值插值濾波器設(shè)計(jì)對(duì)數(shù)據(jù)存取的吞吐量、計(jì)算復(fù)雜度起著重要的影響作用，