視頻壓縮原理

1、第1章介紹1. 為什么要進(jìn)行視頻壓縮？· 未經(jīng)壓縮的數(shù)字視頻的數(shù)據(jù)量巨大·存儲(chǔ)困難·· 一張DVD只能存儲(chǔ)幾秒鐘的未壓縮數(shù)字視頻。·傳輸困難·· 1兆的帶寬傳輸一秒的數(shù)字電視視頻需要大約4分鐘。2. 為什么可以壓縮·去除冗余信息·· 空間冗余：圖像相鄰像素之間有較強(qiáng)的相關(guān)性· 時(shí)間冗余：視頻序列的相鄰圖像之間內(nèi)容相似· 編碼冗余：不同像素值出現(xiàn)的概率不同· 視覺冗余：人的視覺系統(tǒng)對(duì)某些細(xì)節(jié)不敏感· 知識(shí)冗余：規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到

2、3. 數(shù)據(jù)壓縮分類·無損壓縮（Lossless）·· 壓縮前解壓縮后圖像完全一致X=X'· 壓縮比低(2:13:1)· 例如：Winzip，JPEG-LS·有損壓縮（Lossy）·· 壓縮前解壓縮后圖像不一致XX'· 壓縮比高(10:120:1)· 利用人的視覺系統(tǒng)的特性· 例如：MPEG-2，H.264/AVC，AVS4. 編解碼器·編碼器（Encoder）·· 壓縮信號(hào)的設(shè)備或程序·解碼器（Decoder）

3、·· 解壓縮信號(hào)的設(shè)備或程序·編解碼器(Codec)·· 編解碼器對(duì)5. 壓縮系統(tǒng)的組成(1) 編碼器中的關(guān)鍵技術(shù)(2) 編解碼中的關(guān)鍵技術(shù)6. 編解碼器實(shí)現(xiàn)·編解碼器的實(shí)現(xiàn)平臺(tái)：··超大規(guī)模集成電路VLSI·· ASIC， FPGA· 數(shù)字信號(hào)處理器DSP· 軟件·編解碼器產(chǎn)品：·· 機(jī)頂盒· 數(shù)字電視· 攝像機(jī)· 監(jiān)控器7. 視頻編碼標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)作用：·兼容：·· 不同廠家

4、生產(chǎn)的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼·高效：·· 標(biāo)準(zhǔn)編解碼器可以進(jìn)行批量生產(chǎn)，節(jié)約成本。主流的視頻編碼標(biāo)準(zhǔn)：· MPEG-2· MPEG-4 Simple Profile· H.264/AVC· AVS· VC-1標(biāo)準(zhǔn)化組織：·ITU：International Telecommunications Union·· VECG：Video Coding Experts Group·ISO：International Standards Organization&#

5、183;· MPEG：Motion Picture Experts Group8. 視頻傳輸· 視頻傳輸：通過傳輸系統(tǒng)將壓縮的視頻碼流從編碼端傳輸?shù)浇獯a端· 傳輸系統(tǒng)：互聯(lián)網(wǎng)，地面無線廣播，衛(wèi)星9. 視頻傳輸面臨的問題·傳輸系統(tǒng)不可靠·· 帶寬限制· 信號(hào)衰減· 噪聲干擾· 傳輸延遲·視頻傳輸出現(xiàn)的問題·· 不能解碼出正確的視頻· 視頻播放延遲10. 視頻傳輸差錯(cuò)控制· 差錯(cuò)控制（Error Control）解決視頻傳輸過程中由于數(shù)據(jù)丟失或延遲導(dǎo)致的問題&

6、#183;差錯(cuò)控制技術(shù)：·· 信道編碼差錯(cuò)控制技術(shù)· 編碼器差錯(cuò)恢復(fù)· 解碼器差錯(cuò)隱藏11. 視頻傳輸?shù)腝oS參數(shù)· 數(shù)據(jù)包的端到端的延遲· 帶寬：比特/秒· 數(shù)據(jù)包的流失率· 數(shù)據(jù)包的延遲時(shí)間的波動(dòng)第2章 數(shù)字視頻1.圖像與視頻· 圖像：是人對(duì)視覺感知的物質(zhì)再現(xiàn)。· 三維自然場景的對(duì)象包括：深度，紋理和亮度信息· 二維圖像：紋理和亮度信息· 視頻：連續(xù)的圖像。· 視頻由多幅圖像構(gòu)成，包含對(duì)象的運(yùn)動(dòng)信息，又稱為運(yùn)動(dòng)圖像。2. 數(shù)字視頻·數(shù)字視頻：

7、自然場景空間和時(shí)間的數(shù)字采樣表示。··空間采樣·· 解析度（Resolution）·時(shí)間采樣·· 幀率：幀/秒3. 空間采樣· 二維數(shù)字視頻圖像空間采樣4. 數(shù)字視頻系統(tǒng)·采集·· 照相機(jī)，攝像機(jī)·處理·· 編解碼器，傳輸設(shè)備·顯示·· 顯示器5. 人類視覺系統(tǒng)HVS·HVS·· 眼睛· 神經(jīng)· 大腦·HVS特點(diǎn)：·· 對(duì)高頻信息不敏感·

8、 對(duì)高對(duì)比度更敏感· 對(duì)亮度信息比色度信息更敏感· 對(duì)運(yùn)動(dòng)的信息更敏感6. 數(shù)字視頻系統(tǒng)的設(shè)計(jì)應(yīng)該考慮HVS的特點(diǎn)：· 丟棄高頻信息，只編碼低頻信息· 提高邊緣信息的主觀質(zhì)量· 降低色度的解析度· 對(duì)感興趣區(qū)域（Region of Interesting，ROI）進(jìn)行特殊處理7. RGB色彩空間· 三原色：紅（R），綠（G），藍(lán)（B）。· 任何顏色都可以通過按一定比例混合三原色產(chǎn)生。·RGB色度空間·· 由RGB三原色組成· 廣泛用于BMP，TIFF，PPM等· 每

9、個(gè)色度成分通常用8bit表示0,2558. YUV色彩空間·YUV色彩空間：·· Y：亮度分量· UV：兩個(gè)色度分量· YUV更好的反映HVS特點(diǎn)9. RGB轉(zhuǎn)化到Y(jié)UV空間亮度分量Y與三原色有如下關(guān)系：經(jīng)過大量實(shí)驗(yàn)后ITU-R給出了， ，  ，主流的編解碼標(biāo)準(zhǔn)的壓縮對(duì)象都是YUV圖像10. YUV圖像分量采樣· YUV圖像可以根據(jù)HVS的特點(diǎn)，對(duì)色度分量下采樣，可以降低視頻數(shù)據(jù)量。· 根據(jù)亮度和色度分量的采樣比率，YUV圖像通常有以下幾種格式：11. 通用 的YUV圖像格式·

10、; 根據(jù)YUV圖像的亮度分辨率定義圖像格式12. 幀和場圖像· 一幀圖像包括兩場頂場，底場13. 逐行與隔行圖像· 逐行圖像：一幀圖像的兩場在同一時(shí)間得到，ttop=tbot。· 隔行圖像：一幀圖像的兩場在不同時(shí)間得到， ttoptbot。14. 視頻質(zhì)量評(píng)價(jià)· 有損視頻壓縮使編解碼圖像不同，需要一種手段來評(píng)價(jià)解碼圖像的質(zhì)量。·質(zhì)量評(píng)價(jià)：·· 客觀質(zhì)量評(píng)價(jià)· 主觀質(zhì)量評(píng)價(jià)· 基于視覺的視頻質(zhì)量客觀評(píng)價(jià)· 客觀質(zhì)量評(píng)價(jià)：通過數(shù)學(xué)方法測量圖像質(zhì)量評(píng)價(jià)的方式。·優(yōu)點(diǎn)：·&

11、#183; 可量化· 測量結(jié)果可重復(fù)· 測量簡單·缺點(diǎn)：·· 不完全符合人的主觀感知15. 客觀評(píng)價(jià)的方法常用的客觀評(píng)價(jià)方法：16. 主觀評(píng)價(jià)方法· 主觀質(zhì)量評(píng)價(jià)：用人的主觀感知直接測量的方式。·優(yōu)點(diǎn)：·· 符合人的主觀感知·缺點(diǎn)：·· 不容易量化· 受不確定因素影響，測量結(jié)果一般不可重復(fù)· 測量代價(jià)高常用主觀評(píng)價(jià)方法17. 基于視覺的視頻質(zhì)量客觀評(píng)價(jià)方法· 基于視覺的視頻質(zhì)量客觀評(píng)價(jià)：將人的視覺特性用數(shù)學(xué)方法描述并用于視頻質(zhì)量評(píng)價(jià)的方

12、式。· 結(jié)合了主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)兩方面優(yōu)點(diǎn)。· 常用方法：結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）方法。· 將HVS的特征用數(shù)學(xué)模型表達(dá)出來。· 未來重要的研究方向 第3章 信息論基礎(chǔ)1. 通信系統(tǒng)的組成· 信源：產(chǎn)生消息· 信道：傳輸消息· 信宿：接收消息2. 基本概念·通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)，消息，信息。·· 信號(hào)：是信息的物理層表達(dá)，可測量，可描述，可顯示。如電信號(hào)，光信號(hào)。· 消息：是信息的載體，以文字，語言，圖像等人類

13、可以認(rèn)知的形式表示。· 信息：不確定的內(nèi)容。3. 信息熵信息的特點(diǎn)信息的測量自信息量條件信息量4. 信息熵5. 條件熵和聯(lián)合熵6. 熵的性質(zhì)· 非負(fù)性：信源熵是非負(fù)值，即 H(X) >=0;· 擴(kuò)展性：信源熵X有M個(gè)符號(hào)，如果其中一個(gè)符號(hào)出現(xiàn)的概率趨于零，信源熵就等于剩余M-1個(gè)符號(hào)的信源熵；· 極值性（最大信息熵）：對(duì)于具有M個(gè)符號(hào)的信源，只有在所有符號(hào)等概率出現(xiàn)的情況下，信源熵達(dá)到最大值，即· 可加性：· 熵不增：條件熵不大于信息熵 H(X|Y) <= H(X)；· 聯(lián)合熵不大于各信息熵的和，即H(

14、XY) <= H(X) + H(Y)。7. 互信息量8. 互信息· 物理意義：H(X)是X所含的信息，H(X|Y)是已知Y的條件下X還能帶來的信息量。那么兩者之差就是由于知道Y使得X減少的信息量，也即由Y可以得到的關(guān)于X的信息量。9. 各種熵的關(guān)系11. 信源編碼· 信源編碼：將消息符號(hào)轉(zhuǎn)變成信道可傳輸?shù)男畔ⅰ?#183;兩個(gè)基本問題：·· 用盡可能少的信道傳輸符號(hào)來傳遞信源消息，提高傳輸效率；· 減少由于信道傳輸符號(hào)的減少導(dǎo)致的失真。12. 離散信源統(tǒng)計(jì)特性13. 離散信源類型：簡單無記憶信源和馬爾可夫信源14. 編碼分類·

15、等長碼：在一組碼字集合C中的所有碼字cm (m = 1,2, ,M)，其碼長都相同，則稱這組碼C為等長碼。· 變長碼：若碼字集合C中的所有碼字cm (m = 1,2, ,M)，其碼長不都相同，稱碼C為變長碼。15. 平均碼長16. 等長碼與變長碼比較· 等長編碼將信源輸出符號(hào)序列的任意一種取值（概率可能不同）都編碼成相同長度的輸出碼字，沒有利用信源的統(tǒng)計(jì)特性；· 變長編碼可以根據(jù)信源輸出符號(hào)序列各種取值的概率大小不同，將他們編碼成不同長度的輸出碼字，利用了信源的統(tǒng)計(jì)特性。因此又稱其為熵編碼。17. Huffman編碼

16、3; Huffman編碼：典型的變長編碼。·步驟：·· 將信源符號(hào)按概率從大到小的順序排列，假定p(x1) p(x2)  p(xn)· 給兩個(gè)概率最小的信源符號(hào)p(xn-1)， p(xn)各分配一個(gè)碼位"0"和"1"，將這兩個(gè)信源符號(hào)合并成一個(gè)新符號(hào)，并用這兩個(gè)最小的概率之和作為新符號(hào)的概率，結(jié)果得到一個(gè)只包含(n-1)個(gè)信源符號(hào)的新信源。稱為信源的第一次縮減信源，用S1表表示。· 將縮減信源S1的符號(hào)仍按概率從大到小的順序排列，重復(fù)步驟2，得到只含(n-2)個(gè)符號(hào)的縮減信源

17、S2。· 重復(fù)上述步驟，直至縮減信源只剩下兩個(gè)符號(hào)為止，此時(shí)所剩兩個(gè)符號(hào)的概率之和必為1。然后從最后一級(jí)縮減信源開始，依編碼路徑向前返回，就得到各信源符號(hào)所對(duì)應(yīng)的碼字。 18. 信道編碼· 信道編碼主要考慮如何增加信號(hào)的抗干擾能力，提高傳輸?shù)目煽啃?，并且提高傳輸效率?#183; 一般是采用冗余編碼法，賦予信碼自身一定的糾錯(cuò)和檢錯(cuò)能力，使信道傳輸?shù)牟铄e(cuò)概率降到允許的范圍之內(nèi)。19. 信道類型·根據(jù)信道連續(xù)與否分類·· 離散信道· 連續(xù)信道· 半連續(xù)信道·根據(jù)信道是否有干擾分類·· 無干

18、擾信道· 有干擾信道·根據(jù)信道的統(tǒng)計(jì)特性分類·· 無記憶信道· 有記憶信道· 恒參信道· 變參信道· 對(duì)稱信道· 非對(duì)稱信道20. 信道容量· 在信息論中，稱信道無差錯(cuò)傳輸?shù)淖畲笮畔⑺俾蕿樾诺廊萘俊?#183;仙農(nóng)信道容量公式：·· 假設(shè)連續(xù)信道的加性高斯白噪聲功率為N，信道帶寬為B，信號(hào)功率為S，則該信道的容量為· 由于噪聲功率N與信道帶寬B有關(guān)，則噪聲功率N=n0B 。因此，仙農(nóng)公式還可以表示為21. 香農(nóng)信道容量公式的意義· 在給定B和S/

19、N的情況下，信道的極限傳輸能力為C，而且此時(shí)能夠做到無差錯(cuò)傳輸。如果信道的實(shí)際傳輸速率大于C 值，則無差錯(cuò)傳輸在理論上就已不可能。因此，實(shí)際傳輸速率一般不能大于信道容量C ，除非允許存在一定的差錯(cuò)率。· 提高信噪比S/N（通過減小n0或增大S），可提高信道容量C。特別是，若n0->0，則C-> ，這意味著無干擾信道容量為無窮大；· 增加信道帶寬B，也可增加信道容量C，但做不到無限制地增加。這是因?yàn)?，如?#160;S、n0一定，有· 維持同樣大小的信道容量，可以通過調(diào)整信道的B及S/N來達(dá)到，即信道容量可以通過系統(tǒng)帶寬與信噪比的互換

20、而保持不變。22. 失真· 失真：信源的消息經(jīng)過編解碼后不能完全復(fù)原·在實(shí)際的信源和信道編碼中，消息的傳輸并不總是無失真的。·· 由于存儲(chǔ)和傳輸資源的限制· 噪聲等因素的干擾23. 率失真理論·仙農(nóng)定義了信息率失真函數(shù)R(D)·· D是消息失真· R是碼率· 率失真定理：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。24. 失真函數(shù)· 失真函數(shù)：信源符號(hào)X=x1, x2, .xn，經(jīng)信道傳輸接收端符號(hào)Y=y1, y2.yn，對(duì)于每一對(duì)(xi,

21、0;yj)指定一個(gè)非負(fù)函數(shù) d(xi, yj)，稱d(xi, yj)為單個(gè)符號(hào)的失真度或失真函數(shù)。對(duì)于連續(xù)信源連續(xù)信道的情況，常用d(x, y)表示。·常用失真函數(shù)：···平均失真度：·· 第四章 視頻編碼基礎(chǔ)1. 壓縮碼流·語法：碼流中各個(gè)元素的位置關(guān)系·· 01001001· 圖像編碼類型(01)，宏塊類型(00)，編碼系數(shù)1001等·語義：每個(gè)語法元素所表達(dá)的意義。·· 例如：圖像編碼類型2. 編碼層次

22、3; 序列（Sequence）· 圖像組（Group of Pictures，GOP）· 圖像（Picture）· 條帶（Slice）· 宏塊（Macroblock，MB）· 塊(Block)3. 碼流結(jié)構(gòu)3. PB幀編碼4. 序列編碼對(duì)象（1）IBBP序列· 序列：一段連續(xù)編碼的并具有相同參數(shù)的視頻圖像。·序列起始碼：專有的一段比特串，標(biāo)識(shí)一個(gè)序列的壓縮數(shù)據(jù)的開始·· MPEG-2的序列起始碼為十六進(jìn)制數(shù)000001(B3)。·序列頭：記錄序列信息·· 檔次（Profile

23、），級(jí)別（Level），寬度，高度，是否是逐行序列，幀率等。·序列結(jié)束碼：專有的一段比特串，標(biāo)識(shí)該序列的壓縮數(shù)據(jù)的結(jié)束·· MPEG-2的序列結(jié)束碼為十六進(jìn)制數(shù)000001(B7)。5. 圖像組編碼對(duì)象6. 圖像編碼結(jié)構(gòu)· 圖像：·圖像起始碼：專有的一段比特串，標(biāo)識(shí)一個(gè)圖像的壓縮數(shù)據(jù)的開始·· MPEG-2的圖像起始碼為十六進(jìn)制數(shù)000001(00)。·圖像頭：記錄圖像信息·· 圖像編碼類型，圖像距離，圖像編碼結(jié)構(gòu)，圖像是否為逐行掃描。7. 圖像分塊編碼8. 條帶編碼結(jié)構(gòu)· 條帶：多個(gè)

24、宏塊的組合。·條帶起始碼：專有的一段比特串，標(biāo)識(shí)一個(gè)條帶的壓縮數(shù)據(jù)的開始·· MPEG-2的條帶起始碼為十六進(jìn)制數(shù)000001(0AF)。·條帶頭：記錄當(dāng)前圖像的相關(guān)信息·· 條帶位置，條帶量化參數(shù)，宏塊編碼技術(shù)標(biāo)識(shí)等。9. 條帶編碼對(duì)象10. 宏塊編碼結(jié)構(gòu)· 宏塊：16x16的像素塊（對(duì)亮度而言）。· 宏塊內(nèi)容：宏塊編碼類型，編碼模式，參考幀索引，運(yùn)動(dòng)矢量信息，宏塊編碼系數(shù)等。11. 宏塊編碼對(duì)象12. 塊編碼結(jié)構(gòu)· 8x8或4x4塊的變換量化系數(shù)的熵編碼數(shù)據(jù)。·CBP (Coded Bloc

25、k Patten)：用來指示塊的變換量化系數(shù)是否全為零。·· 對(duì)于YUV(4:2:0)編碼，CBP通常6比特長，每個(gè)比特對(duì)應(yīng)一個(gè)塊，當(dāng)某一塊的變換量化系數(shù)全為零時(shí)，其對(duì)應(yīng)比特位值為0，否則為1。· 每個(gè)塊的變換量化系數(shù)的最后用一個(gè)EOB (End of Block)符號(hào)來標(biāo)識(shí)。13. 視頻編解碼關(guān)鍵技術(shù)· 預(yù)測：通過幀內(nèi)預(yù)測和幀間預(yù)測降低視頻圖像的空間冗余和時(shí)間冗余。· 變換：通過從時(shí)域到頻域的變換，去除相鄰數(shù)據(jù)之間的相關(guān)性，即去除空間冗余。· 量化：通過用更粗糙的數(shù)據(jù)表示精細(xì)的數(shù)據(jù)來降低編碼的數(shù)據(jù)量，或者通過去除人眼不敏感的信息來降

26、低編碼數(shù)據(jù)量。· 掃描：將二維變換量化數(shù)據(jù)重新組織成一維的數(shù)據(jù)序列。· 熵編碼：根據(jù)待編碼數(shù)據(jù)的概率特性減少編碼冗余。14. 預(yù)測·空間預(yù)測：利用圖像空間相鄰像素的相關(guān)性來預(yù)測的方法。·· 幀內(nèi)預(yù)測技術(shù)：利用當(dāng)前編碼塊周圍已經(jīng)重構(gòu)出來的像素預(yù)測當(dāng)前塊· Intra圖像編碼（I幀）·時(shí)間預(yù)測：利用時(shí)間上相鄰圖像的相關(guān)性來預(yù)測的方法。·· 幀間預(yù)測：運(yùn)動(dòng)估計(jì)（Motion Estimation，ME），運(yùn)動(dòng)補(bǔ)償（Motion Compensation，MC）· Inter圖像編碼：前向預(yù)測編碼圖像（

27、P幀），雙向預(yù)測編碼圖像（B幀）15. 幀內(nèi)預(yù)測· I幀圖像的每個(gè)宏塊都采用幀內(nèi)（Intra）預(yù)測編碼模式。· 宏塊分成8x8或者4x4塊，對(duì)每個(gè)塊采用幀內(nèi)預(yù)測編碼，稱作Intra8x8或者Intra4x4。· 幀內(nèi)預(yù)測有多個(gè)預(yù)測方向：水平，垂直，左下，右上。· 幀內(nèi)預(yù)測還有直流（DC）預(yù)測。·色度塊預(yù)測還有平面預(yù)測。··16. 幀間預(yù)測· 塊基運(yùn)動(dòng)估計(jì)：為待預(yù)測塊在參考幀上找到最佳的預(yù)測塊，并記錄預(yù)測塊在參考幀上的相對(duì)位置。·運(yùn)動(dòng)矢量（MV）：參考幀上的預(yù)測塊與當(dāng)前幀上的的待預(yù)測塊的相對(duì)位置。·

28、;· MV有兩個(gè)分量：（x，y）·分像素運(yùn)動(dòng)估計(jì)·· 最佳的預(yù)測塊不在整像素位置，而在分像素位置；· 1/2，1/4，1/8像素插值得到分像素值。·幀間預(yù)測流程：··· 運(yùn)動(dòng)補(bǔ)償：給定MV和參考幀，為待解碼塊從參考幀上獲取預(yù)測塊。·運(yùn)動(dòng)矢量編碼·· MV預(yù)測：用當(dāng)前塊的周圍可得到鄰塊的運(yùn)動(dòng)矢量來預(yù)測當(dāng)前塊的運(yùn)動(dòng)矢量· 運(yùn)動(dòng)矢量差（MV difference，MVD）：實(shí)際運(yùn)動(dòng)矢量與預(yù)測運(yùn)動(dòng)矢量的差，即：·運(yùn)動(dòng)矢量差采用變長編碼。··17

29、. 預(yù)測殘差18. 變換編碼· 變換編碼：通過變換將空域信號(hào)轉(zhuǎn)換為頻域信號(hào)來去除空間信號(hào)的冗余信息，減少編碼數(shù)據(jù)。·二維離散余弦變換·· 4x4變換，8x8變換· 二維離散余弦變換例：· 變換系數(shù)：直流（DC）系數(shù)，交流（AC）系數(shù)19. 量化· 量化原理：將含有大量的數(shù)據(jù)集合映射到含有少量的數(shù)據(jù)集合中。· 一般情況下量化后高頻部分包含大量的零系數(shù)· 量化對(duì)主觀質(zhì)量的影響20. 掃描· 掃描：將二維數(shù)據(jù)轉(zhuǎn)換為一維的數(shù)據(jù)序列。21. 熵編碼· 熵編碼：根據(jù)符號(hào)出現(xiàn)的概率，對(duì)經(jīng)常出現(xiàn)的符號(hào)

30、分配較短的碼字，對(duì)不常出現(xiàn)的符號(hào)分配較長的碼字。· Level-Run編碼：用數(shù)據(jù)中非零值和其前面非零值之間出現(xiàn)零值的個(gè)數(shù)重新描述量化系數(shù)序列為（Level，Run）二元組序列·變長編碼·· 將Level-Run編碼后的（level，run）變長編碼成最終的比特串。22. 碼率控制· 受到緩沖區(qū)，帶寬的限制，編碼碼率不能無限制的增長，因此需要通過碼率控制來將編碼碼流控制在目標(biāo)碼率范圍內(nèi)。·一般通過調(diào)整量化參數(shù)的手段控制碼率·· 幀級(jí)控制· 條帶級(jí)控制· 宏塊級(jí)控制·碼率控制考慮的問題&

31、#183;· 防止碼流有較大的波動(dòng)，導(dǎo)致緩沖區(qū)發(fā)生溢出，· 同時(shí)保持緩沖區(qū)盡可能的充滿，讓圖像質(zhì)量盡可能的好而且穩(wěn)定·CBR（Constant Bit Rate）·· 比特率穩(wěn)定，但圖像質(zhì)量變化大·VBR（Variable Bit Rate）·· 比特率波動(dòng)大，但圖像質(zhì)量穩(wěn)定·碼率控制算法·· 碼率分配· 碼率控制·碼率控制屬于非標(biāo)準(zhǔn)技術(shù)·· 編碼端有，解碼端沒有第5章 預(yù)測1. 預(yù)測技術(shù)· 目的：去除空間冗余和時(shí)間冗余。·視

32、頻存在大量的空間冗余和時(shí)間冗余··空間冗余：用幀內(nèi)預(yù)測編碼去除·· 基于塊的幀內(nèi)預(yù)測·時(shí)間冗余：用幀間預(yù)測編碼去除·· 基于塊匹配（Block Matching）的幀間預(yù)測· 預(yù)測后得到去除大部分空間或時(shí)間冗余的殘差2. 空間冗余· 圖像空間相鄰像素具有很強(qiáng)的相關(guān)性。· 幀內(nèi)預(yù)測技術(shù)去除空間冗余3. 亮度預(yù)測模式4. 色度預(yù)測模式5. 時(shí)間冗余· 視頻圖像在時(shí)間上有較強(qiáng)的相關(guān)性，即存在時(shí)間冗余·去除時(shí)間冗余的編碼技術(shù)··運(yùn)動(dòng)估計(jì)（Motion Estima

33、tion，ME）·· 為待編碼塊搜索最相似的預(yù)測塊· 記錄運(yùn)動(dòng)矢量（Motion Vector，MV)· 記錄預(yù)測殘差：·運(yùn)動(dòng)補(bǔ)償（Motion Compensation，MC）·· 根據(jù)運(yùn)動(dòng)矢量獲取預(yù)測塊· 根據(jù)預(yù)測殘差計(jì)算重構(gòu)塊：6. 運(yùn)動(dòng)模型（1）平移7. 匹配準(zhǔn)則8. 匹配準(zhǔn)則簡化·簡化技術(shù)方法·· 分別計(jì)算當(dāng)前塊和預(yù)測塊的象素值和· 根據(jù)簡化形式，比較當(dāng)前塊和預(yù)測塊· 如果用簡化準(zhǔn)則對(duì)預(yù)測塊和當(dāng)前塊比較的結(jié)果比以前最好的結(jié)果差，可以確定預(yù)測效果不好，不必對(duì)

34、預(yù)測塊再進(jìn)行比較。9. 運(yùn)動(dòng)估計(jì)· 去除視頻圖像的時(shí)間冗余· 運(yùn)動(dòng)估計(jì)在搜索范圍內(nèi)為當(dāng)前塊尋找匹配最好的預(yù)測塊· 全搜索方式的運(yùn)動(dòng)估計(jì)計(jì)算復(fù)雜度高10. 全搜索復(fù)雜度分析· 圖像大?。篗xM· 預(yù)測塊大?。篘xN· 搜索范圍：(-R，R)· 每個(gè)搜索點(diǎn)象素比較個(gè)數(shù)：N2· 搜索點(diǎn)個(gè)數(shù)(2R+1)2· 在搜索范圍內(nèi)的象素比較個(gè)數(shù)總和N2(2R+1)2· 一幀圖像所有塊的全搜索象素比較個(gè)數(shù)總和N2(2R+1)2(M/N)2=(2R+1)2M2·例：M=512，N=4，R=8，幀率：30幀/

35、秒·(2R+1)2M2·=172X5122·= 75759616次/幀·= 75759616x30次/秒·=2272788480次/秒·采用SSD匹配準(zhǔn)則：每次象素比較需1個(gè)減法，1個(gè)乘法，1個(gè)加法，則上述全搜索計(jì)算每秒需要2272788480x2次加減法和2272788480次乘法操作。·11. 快速運(yùn)動(dòng)估計(jì)·在保持預(yù)測精度的同時(shí)減少運(yùn)動(dòng)估計(jì)的搜索次數(shù)。·· 三步搜索（Three Step Search，TSS）· 二維Log搜索（2D Logarithmic Search，2DLO

36、G）· 正交搜索（Orthogonal Search Algorithm，OSA）· 十字搜索（Cross Search Algorithm，CSA）· 新三步搜索（New Three Step Search，NTSS）· 四步搜索（Four Step Search，F(xiàn)SS）· 共軛方向搜索（Conjugate Direction Search，CDS）· 梯度下降搜索（Gradient Descent Search，GDS）· 層次塊搜索（Hierarchical Block Matching Algorithm，HBMA

37、）12. 三步搜索· 由粗到精搜索最優(yōu)點(diǎn)，初始步長為R/2.· 第一步：檢查起始點(diǎn)和其周圍步長為R/2的8個(gè)點(diǎn)，將最優(yōu)點(diǎn)作為第二步的起始點(diǎn)；· 第二步：以新的起始點(diǎn)為中心檢查其周圍步長為R/4的8個(gè)點(diǎn)，找到最優(yōu)點(diǎn)作為第三步的起始點(diǎn)；· 第三步：以新的起始點(diǎn)為中心檢查其周圍步長為R/8的8個(gè)點(diǎn)，找到最優(yōu)點(diǎn)，如果R/8=1則搜索終止，最優(yōu)點(diǎn)位置的預(yù)測塊作為最優(yōu)的預(yù)測塊，否則重復(fù)該過程直到R/n2=1；· 三步搜索方法檢查點(diǎn)的個(gè)數(shù)為1+8log2（d+1），當(dāng)d=8時(shí)，檢查點(diǎn)個(gè)數(shù)為9+8+8=2513. 二維Log搜索· 每一步采用十字搜索

38、模式· 如果每一步的最優(yōu)點(diǎn)為中心點(diǎn)或者搜索窗的邊界點(diǎn)，搜索步長減半，否則搜索步長不變· 當(dāng)搜索步長為1時(shí)，中心點(diǎn)周圍的8個(gè)點(diǎn)都要檢查· 兩個(gè)搜索路徑一個(gè)需要5+3+3+8=19，另外一個(gè)需要5+3+2+3+2+8=2314. 正交搜索· 起始搜索步長R/2，從起始點(diǎn)開始水平搜索三個(gè)點(diǎn)，得到最優(yōu)點(diǎn)并沿著最優(yōu)點(diǎn)垂直方向搜索相鄰的兩個(gè)點(diǎn)，得到最優(yōu)點(diǎn)，以搜索步長為R/4再以同樣的方式先水平再垂直搜索，當(dāng)步長為1時(shí)停止搜索· 搜索方法檢查點(diǎn)的個(gè)數(shù)為1+4log2(d+1)，當(dāng)d=8時(shí)，檢查點(diǎn)個(gè)數(shù)為3+2+2+2+2+2=13。 15. 十字搜索· 起始搜索步長R/2，從起始點(diǎn)開始以"X"形十字搜索，當(dāng)搜索步長降為1時(shí)，如果上一步的最優(yōu)點(diǎn)為中心點(diǎn)，左上點(diǎn)或右下點(diǎn)，則這一步搜索以"+"形狀十字搜索，然后結(jié)束搜索，否則還是以"X"形十字搜索，然后結(jié)束搜