中國音視頻編碼標準AVS.課件

1、中國音視頻編碼標準AVS中國出口彩電的美國數(shù)字電視標準事件(2.5美元/臺)2008年2010年9000億元15000億元視音頻產(chǎn)業(yè)預測年產(chǎn)值2007年2006年2002年5000億元中國為什么要制定標準？數(shù)字視音頻產(chǎn)業(yè)群大而不強大陸DVD、機頂盒、MP3、電視機產(chǎn)量均居世界首位，年產(chǎn)量超過2億臺；數(shù)字視音頻產(chǎn)業(yè)已經(jīng)成為我國電子信息產(chǎn)業(yè)的主體但是，相關產(chǎn)業(yè)的年平均利潤率從2005年的3.4%向負利潤滑坡視音頻編碼是所有視音頻產(chǎn)業(yè)的共性核心技術，最容易受到攻擊大陸企業(yè)視聽終端產(chǎn)品企業(yè)需支付專利費約40億/年，十年回溯將達400億由于專利費事件，我國已經(jīng)沒有自主品牌的DVD產(chǎn)業(yè)若采用新的國際標準(

2、H.264)，則我國運營商每年還將支付約200億DVD專利事件(2.5美元/臺)MP3專利事件(0.75美元/臺)出口歐洲的機頂盒MPEG-2專利費事件(2.5美元/臺)標準、專利、專利池MPEG標準的專利池1991：MPEG-1無專利收費問題 1994：MPEG-2托起DVD、數(shù)字電視產(chǎn)業(yè)，獲得Emmy獎2.5美元/臺終端1999：MPEG-4 SP (Part 2)設備0.25美元，按時間交費（例：2美分/小時，每年100多元)遭到AOL-Times Warner反對2003：H.264/MPEG-4 AVC (Part 10)2003.11.17政策出臺：按節(jié)目收費(每點播一個節(jié)目2美分

3、）遭到EBU(歐廣聯(lián))反對（2003第96號聲明）2004.05.20政策定案，基本上沒有變化編解碼器制造商按訂戶收按節(jié)目數(shù)收網(wǎng)絡廣播免費電視付費節(jié)目發(fā)行/運營不直接收費的運營商AVC/H.264許可概要制造商MPEG專利池的深層原因當前國際標準和知識產(chǎn)權的“割裂三段論” 標準制定RAND 專利池收費政策產(chǎn)品/服務ISO知識產(chǎn)權政策:RAND (合理非歧視原則)什么價格是合理?結(jié)果：RAND為很多不太必要的專利打開了標準大門一些專利權人等著從標準渠道謀取暴利或待價而沽建立專利池越來越難專利池定價越來越難工業(yè)界不敢采用專利許可政策不清晰的標準Data Miningon Patentsin MPE

4、G LA Patent PoolNov.012008AVS視頻標準框架 (2004)熵編碼反量化反變換運動補償預測控制數(shù)據(jù)量化后的變換系數(shù)運動數(shù)據(jù)幀內(nèi)/幀間編碼控制解碼器運動估計變換/量化-0環(huán)濾波幀內(nèi)預測9EntropyCodingInv Quant/Inv TransformMotion-CompensationControlDatacoeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/Quant-InputVideoSignalSplit intoMacroblocks16x16 pixels Intra-fra

5、me PredictionDe-blockingFilterOutputVideoSignalAVS1-P2 DiagramAVS視頻標準工具集雙向預測隔行編碼運動矢量預測子像素插值多參考幀預測可變塊大小預測幀內(nèi)預測變換和量化熵編碼環(huán)路濾波緩沖區(qū)管理其它圖像組頭防偽起始碼碼流順序時間參考索引AVS變換量化Transform T Row Transform Y=XTAa= sqrt(8),b=sqrt(10);Col Transform Y = TYAVS變換矩陣AVS 8x8變換AVS變換量化Quantization for first class 8x86x8 quantization/de

6、quantization table is used to do normalization:Note:Qi,j *DQi,j * Sj2 = 2bits. Qi,j= Qi+1,j*2(1/8)（返回）AVS創(chuàng)新舉例：變換量化-老樹新花技術發(fā)展歷史很早以前就用于去除空間冗余的目的 8x8整數(shù)變換JVT發(fā)展過程中曾采用8x8的整數(shù)正交變換更早的標準都是基于DCT的 AVS專利策略采用自主或公開發(fā)表的技術改進實現(xiàn)方式專利申請浙大和長信嘉分別有若干項專利申請AVS幀內(nèi)預測模式亮度： 5種預測模式色度： 4種預測模式AVS幀間預測模式AVS 宏塊劃分模式：運動矢量預測：編碼當前塊的差分運動矢量 MV

7、DE= MVE- PMVEAVS幀間預測新的濾波方案對半像素使用4拍濾波，代替AVC的6拍濾波半像素插值: （-1/8，5/8，5/8，-1/8）1/4像素插值: （1/16，7/16，7/16，1/16）色度采用1/8雙線型插值Aa1bBcdef2h3i4jklmC5DAVS幀間預測AVS新型的雙向預測模式: Symmetric mode只編碼一個前向運動矢量， 后向運動矢量根據(jù)幀間距離推導得出在兩個方向同時搜索得到最優(yōu)的運動矢量.BMV = -FMV*d2/d1AVS幀間預測特殊編碼模式 Skip mode:用預測運動矢量，無殘差系數(shù)Direct mode: B幀中無向量編碼模式雙向預測編

8、碼涉及到的主要專利（15項）最早由JVC和Sony公司注冊專利持有人Sony, Matsushita, AT&T, JVC, Columbia Univ., Toshiba, Telenor 涉及內(nèi)容直接的運動補償傳送預測殘差的運動補償 傳送預測殘差與運動矢量的運動補償 幀或宏塊用四種模式進行編碼差分運動矢量，雙基預測，PB幀，direct 模式 雙向預測編碼技術發(fā)展歷史發(fā)展源于視頻會議系統(tǒng)中的丟幀或跳幀實現(xiàn) 存在更早的公開技術直接內(nèi)插技術（Jain & Jain，1979年） 后向預測技術（Hinman論文，BBC技術報告，1984年）基于運動補償?shù)膬?nèi)插、傳輸預測誤差，但不傳輸運動矢量（Ro

9、os，1984年 ）AVS專利策略AVS可以使用直接編碼模式 ：有公開技術AVS可以使用后向預測模式 ：有公開技術AVS摒棄雙向預測模式：有專利問題為補償編碼效率，采用對稱預測模式（計算所提案）AVS還采用了其它技術，用于改進編碼性能（計算所提案）AVS創(chuàng)新舉例：幀間預測新型的雙向預測模式: 對稱模式(Symmetric mode)只編碼一個前向運動矢量， 后向運動矢量根據(jù)幀間距離推導得出在兩個方向同時搜索得到最優(yōu)的運動矢量.BMV = -FMV*d2/d1雙向預測編碼AVS專利情況自主技術 + 過期專利 + 公開技術專利申請4項03157077.1 一種用于視頻編碼的編碼端/解碼端雙向預測方

10、法 中科院計算所 2003.9.12 直接編碼模式下確定參考圖像塊的方法 中科院計算所申請中 一種參考圖像緩沖區(qū)管理方法 中科院計算所申請中固定參考幀數(shù)編碼方式下獲取圖像參考塊的方法 中科院計算所申請中主要技術對比列表 編碼工具AVSH.264MPEG-2幀內(nèi)預測基于8x8塊，5種亮度預測模式，4種色度預測模式基于4x4塊，9種亮度預測模式，4種色度預測模式只在頻域內(nèi)進行DC系數(shù)差分預測多參考幀預測最多2幀最多16幀只有1幀變塊大小運動補償16x16, 16x8, 8x168x816x16, 16x8, 8x168x8,8x4,4x8,4x416x16, 16x8(場編碼)B幀宏塊直接編碼模式

11、時域空域相結(jié)合，當時域內(nèi)后向參考幀中用于導出運動矢量的塊為幀內(nèi)編碼時，使用空域相鄰塊的運動矢量進行預測獨立的空域或時域預測模式，若后向參考幀中用于導出運動矢量的塊為幀內(nèi)編碼時只是視其運動矢量為0，依然用于預測無B幀宏塊雙向預測模式稱為對稱預測模式，只編碼一個前向運動矢量，后向運動矢量由前向?qū)С鼍幋a前后兩個運動矢量編碼前后兩個運動矢量主要技術對比列表-續(xù)編碼工具AVSH.264MPEG-2像素運動補償像素位置采用4拍濾波 像素位置采用4拍濾波、線性插值像素位置采用6拍濾波 像素位置線性插值僅在半像素位置進行雙線性插值變換與量化8x8整數(shù)變換，編碼端進行變換歸一化，量化與變換歸一化相結(jié)合，通過乘法

12、、移位實現(xiàn)4x4整數(shù)變換，編解碼端都需要歸一化，量化與變換歸一化相結(jié)合，通過乘法、移位實現(xiàn)8x8浮點DCT變換，除法量化熵編碼適應性2D VLC,編碼塊系數(shù)過程中進行多碼表切換CAVLC：與周圍塊相關性高，實現(xiàn)較復雜CABAC：計算較復雜單一VLC表，適應性差環(huán)路濾波基于8x8塊邊緣進行，簡單的濾波強度分類，濾波較少的像素，計算復雜度低基于8x8塊邊緣進行，濾波強度分類繁多，計算復雜無容錯編碼簡單的Slice劃分機制足以滿足廣播應用中的錯誤隱藏、恢復需求數(shù)據(jù)分割、復雜的FMO/ASO等宏塊、條帶組織機制、強制Intra塊刷新編碼(Intra refresh)、約束性幀內(nèi)預測等簡單的Slice劃

13、分高清視頻復雜度：AVS vs. H.264最小8x8塊的變塊大小運動補償，節(jié)省30-40%運算量，性能降低2-4%，約為0.1dB低復雜度1/4像素精度運動補償，由6拍減為4拍，降低1/3存儲器的訪問量B幀采用了一種新型的對稱預測模式，由前向運動向量可直接預測后向運動向量B幀采用了時域/空域直接預測模式相結(jié)合的直接預測模式，對直接模式的運動矢量導出過程中進行舍入控制，信噪比提高0.2-0.3dB，或性能提高5%左右8x8整數(shù)變換/量化，比4x4變換的去相關性能力較強，實際編碼效率提高在2%（約0.1dB）左右高清視頻復雜度：AVS vs. H.264基于上下文的適應性熵編碼2DVLC，編碼效

14、率比CABAC要低10-15%左右，約為0.5dB。但CABAC在硬件實現(xiàn)時特別復雜低復雜度環(huán)路濾波，濾波邊數(shù)降為1/4，強度也低，降低了計算量圖像級幀場自適應選擇，由MBAFF降為PAFF，節(jié)省30%計算量，性能降低0.2-0.3dB，或性能降低5%左右低復雜度幀內(nèi)預測，基于8x8塊進行，只用了5種模式，相對于9種模式，復雜度幾乎降低一半緩沖區(qū)管理，H.264有一套特別復雜的緩沖區(qū)管理機制，使用5個參考幀來提高編碼效率，對此AVS限定至多兩個參考幀，在緩沖區(qū)管理上十分簡單、有效結(jié)論：編碼性能基本相當，實現(xiàn)復雜度明顯降低AVS編碼復雜度，相當于H.264的30%AVS解碼復雜度，相當于H.26

15、4的70%Complexity AnalysisToolsEstimated increasingAVSH.264Multiple reference12Variable block-size MC12Quarter pixel33Entropy coding0.51Deblocking filter0.51Total69中國標準的優(yōu)勢技術性能先進壓縮效率與對應的新國際標準相當是當前使用的國際標準(MPEG-2)的兩倍或更高方案簡潔，復雜度低 AVS vs. H.264/MPEG-4 AVC計算復雜度：解碼器復雜度降低到70%，編碼器復雜度降低到30%知識產(chǎn)權清晰融合了公共知識和新技術（包括專

16、利）必要專利數(shù)量不到相應國際標準的一半大多數(shù)專利由中國會員貢獻AVS國家標準進展200220032004200520062007Q1Q2Q3Q4Q1Q2Q3Q4Q1Q2Q3Q4Q1Q2Q3Q4Q1Q2Q3Q4Q1Q2Q3Q4P1系統(tǒng)(廣播與存儲)P2視頻-基準檔P3音頻(立體聲與多聲道)P6 DRM(核心、IPTV、廣播)P8&P9系統(tǒng)(網(wǎng)絡)P7移動視頻P2視頻-增強檔 P3音頻-移動 P6-域/存儲AVS編碼器PowerCoder AE200MCPowerCoder AE100SD/HDCoderStar AE1001CoderStar AC10014Caster C4SUMAVISION

17、 9210AVS芯片AVS終端新一代中國標準信息技術 新型多媒體編碼更快、更高、更強更快：速度更快的編解碼算法更高：固定超高清、移動高清化、三維視頻更強：壓縮效率再提高更靈活、更開放、更綜合更靈活：芯片解碼器可以多年不變，軟件可隨時升級更開放：從封閉（如廣播電視）到開放（第三方服務的開放集成），從收費軟件到開源軟件更綜合：音視頻和其他媒體無縫融合，成為未來網(wǎng)絡服務的重要形式即將制定的AVS視頻編碼標準支持超高分辨率（至少為4k2k）視頻的高效編碼。支持三維視頻、多視角視頻的高效編碼。支持立體聲、多聲道音頻的高效有損及無損編碼。時間表：2011年12月，F(xiàn)CDAVS2 信息技術 新型多媒體編碼核

18、心：更快、更高、更強（以芯片為載體）更快：速度更快的編解碼算法更高：固定超高清、移動高清化、三維視頻更強：壓縮效率再提高平臺：更靈活、更開放、更綜合（以軟件為載體）更靈活：芯片解碼器可以多年不變，但軟件可隨時升級更開放：從封閉（如廣播電視）到開放（第三方服務的開放集成），從收費軟件到開源軟件更綜合：音視頻和其他媒體無縫融合，成為未來網(wǎng)絡服務的重要形式AVS2編碼標準的技術需求支持超高分辨率（至少為4k2k）視頻的高效編碼。支持三維視頻、多視角視頻的高效編碼。支持立體聲、多聲道音頻的高效有損及無損編碼。時間表如下：2011年12月，F(xiàn)CDAVS2編碼標準的技術需求-視頻編碼效率：在重建視頻主觀質(zhì)

19、量相同的情況下，編碼效率比AVS1的最好性能提高一倍以上。重建視頻主觀質(zhì)量：在同等碼率情況下，重建視頻質(zhì)量明顯高于AVS1。視頻分辨率和幀率：支持典型分辨率的視頻，Super HD（8k4k、4k2k）彩色空間及格式：至少支持YCbCr彩色空間，8 14 bit精度，4:2:0、4:2:2、4:4:4典型碼率：19201080/4:2:0/8bit/24fps 10Mbit/s（透明）；4k2k /4:2:0/8bit/24fps 40Mbit/s（透明）。以1s為時間窗計算碼率。隨機訪問 支持隨機訪問、碼流切換、快進快退?？拐`碼性能：對突發(fā)性和隨機性丟包具備良好的容錯性能。對丟包率為5%以內(nèi)

20、的丟包具有良好的差錯恢復能力，視頻主觀質(zhì)量無明顯下降。AVS2編碼標準的技術需求-音頻采樣率：8 kHz 384 kHz樣本比特數(shù)：32 bit、24 bit、20 bit、16 bit、8 bit編碼效率：與AVS1-P3相比，編碼效率提高50%以上；與AVS1-P10相比，編碼效率提高30%以上。重建音頻主觀質(zhì)量：重建音頻主觀質(zhì)量與同等級的編碼標準相當。實現(xiàn)復雜度：實現(xiàn)復雜度與同等級的編碼標準相當。抗誤碼性能：對突發(fā)性和隨機性誤碼具備良好的容錯性能。誤碼率為10-4以內(nèi)具有良好的差錯恢復能力，音頻主觀質(zhì)量無明顯下降。AVS2三維視頻應用的技術需求 1. 應用類型手機電視類應用：低時延，低解碼復雜度，具有很好的容錯機制，高編碼效率。數(shù)字電視類應用：較低的時延限制，高編碼效率。IP網(wǎng)絡類應用：較低的時延限制，高編碼效率。2. 視頻技術需求指標2.1. 編碼效率：雙目視頻可以被壓縮到相當于一路MPEG-2視頻流的碼流。2.2.