【畢業(yè)學(xué)位論文】（Word原稿）H.264編解碼器性能評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)-軟件工程

中圖分類號(hào)： 學(xué)校代碼： 10055 密級(jí)： 公開 碩 士 專 業(yè) 學(xué) 位 論 文 解碼器性能評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) of or 文摘要 I 中文 摘要 近 年發(fā)展起來的能夠顯著提高 視頻 壓 縮效率 的視頻標(biāo)準(zhǔn)， 該 標(biāo)準(zhǔn)已被廣泛應(yīng)用到 視頻會(huì)議、視頻監(jiān)視、遠(yuǎn)程教育、視頻點(diǎn)播 、高清晰數(shù)字電視等多媒體 領(lǐng)域 。 然而，由于 解碼器的運(yùn)算量大，當(dāng)被應(yīng)用在一些計(jì)算資源有限或者實(shí)時(shí)性要求比較高的場(chǎng)合時(shí)，開發(fā)者需要依據(jù)具體計(jì)算平臺(tái)的特性，對(duì) 解碼器進(jìn)行適當(dāng)?shù)牟眉艋蛘咝薷?。由?構(gòu)復(fù)雜，僅其初始化參數(shù)就有 100 多個(gè)。除此之外，目前有多種運(yùn)動(dòng)估計(jì)以及補(bǔ)償算法 、碼率控制算法 可供選擇 。這些因素導(dǎo)致開發(fā)者將面對(duì)多種可能的配置，并且需要對(duì)這些配置對(duì) 解碼器的性能，尤其是碼率、處理后圖像質(zhì)量等 指標(biāo)進(jìn)行快速評(píng)估。為了解決這個(gè)問題，本文開發(fā)了一個(gè) 解碼器性能評(píng)估系統(tǒng)。 本文 介紹了對(duì)視頻信息進(jìn)行編碼解碼的三個(gè)標(biāo)準(zhǔn)系列： 列，中國(guó)自主制定的 準(zhǔn)以及 定的 列。 闡述了將 為本文研究對(duì)象的原因。定義了 解碼器性能評(píng)估系統(tǒng)應(yīng)該完成的功能。給出了系統(tǒng)的總體設(shè)計(jì)，主要是闡述了 系統(tǒng) 總體的數(shù)據(jù)處理流程，介紹了本系統(tǒng)所采用的 解碼器的特點(diǎn) 以及對(duì)應(yīng)的總體移植思路，將 定為本系統(tǒng)視頻開發(fā)工具的 原因。 接下來，本文闡述了主界面模塊以及實(shí)驗(yàn)結(jié)果處理模塊的概要設(shè)計(jì)，主要是介紹了系統(tǒng)的界面設(shè)計(jì)，闡述了各界面應(yīng)該完成的功能， 介紹了 上述兩個(gè)模塊所包含的子模塊的概要設(shè)計(jì)。最后，本文詳細(xì)論述了 主界面模塊以及實(shí)驗(yàn)結(jié)果處理模塊 的詳細(xì)設(shè)計(jì)以及實(shí)現(xiàn)，重點(diǎn)闡述了 如何使用 制指標(biāo)的曲線圖，以及如何使用 口將實(shí)驗(yàn)結(jié)果保存為 件，供用戶定量分析實(shí)驗(yàn)結(jié)果。 本文所開發(fā)的系統(tǒng)可供用戶快速評(píng)估各種初始化參數(shù)、運(yùn)動(dòng)估計(jì)與預(yù)測(cè)算法、碼率控 制算法組合情形下 解碼器的性能，供開發(fā)者快速遴選出適用于特定應(yīng)用場(chǎng)合的 置。 關(guān)鍵詞 ： 準(zhǔn) ； 解碼器 ； 運(yùn)動(dòng)估計(jì)與預(yù)測(cè)算法 ； 碼率控制算法 I is in to of to of on to of by in a of or of to to of a it 00 In a of to a of to of in To we a of of x VS TU we as an of . 264 of of M is by In we as of a of of in of is on to to to to to II a to of JM 錄 錄 中文摘要 I 錄 一章 緒論 1 第一節(jié) 視頻編解碼標(biāo)準(zhǔn)概述 1 定的 列 2 中國(guó)自主制定的 準(zhǔn) 4 定的 列 4 第二節(jié) 本項(xiàng)目背景 6 第三節(jié) 論文的組織 7 第二章 系統(tǒng)功能定義與總體設(shè)計(jì) 9 第一節(jié) 碼器概述 9 第二節(jié) 性能評(píng)估系統(tǒng)的功能定義 11 第三節(jié) 系統(tǒng)總體設(shè)計(jì) 11 第四節(jié) 解碼器的移植策略 12 第五節(jié) 視頻開發(fā)工具的選擇 13 第六節(jié) 主控模塊的總體設(shè)計(jì) 15 第三章 系統(tǒng)概要設(shè)計(jì) 17 第一節(jié) 系統(tǒng)的界面設(shè)計(jì) 17 第二節(jié) 主界面模塊的概要設(shè)計(jì) 18 初始化參數(shù)設(shè)置模塊的設(shè)計(jì) 21 視頻源選擇模塊的設(shè)計(jì) 22 播放控制模塊的設(shè)計(jì) 23 圖像顯示模塊的設(shè)計(jì) 25 目 錄 V 第三節(jié) 實(shí)驗(yàn)結(jié)果處理模塊的設(shè)計(jì) 25 第四章 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 27 第一節(jié) 開發(fā)環(huán)境簡(jiǎn)介 27 第二節(jié) 主界面模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 28 初始化參數(shù)設(shè)置模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 28 播放控制模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 31 圖像顯示模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 33 第三節(jié) 實(shí)驗(yàn)結(jié)果顯示與導(dǎo)出模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 34 曲線圖的顯示 36 以 式導(dǎo)出實(shí)驗(yàn)結(jié)果 43 第四節(jié) 評(píng)估指標(biāo)詳解與系統(tǒng)測(cè)試 48 線圖性能指標(biāo)說明 48 出指標(biāo)詳解 49 系統(tǒng)測(cè)試與評(píng)估性能反饋 49 第五章 總結(jié)與展望 52 第一節(jié) 工作總結(jié) 52 第二節(jié) 展望 52 參考文獻(xiàn) 54 致 謝 56 個(gè)人簡(jiǎn)歷 57 第一章 緒論 1 第一章 緒論 隨著計(jì)算機(jī)技術(shù)以及互聯(lián)網(wǎng)的迅猛發(fā)展，人們對(duì)多媒體信息處理以及傳輸?shù)男枨笤絹碓狡惹小１菊?0 節(jié)介紹了對(duì)視頻信息進(jìn)行編碼解碼的三個(gè)標(biāo)準(zhǔn)系列：定的 列，中國(guó)自主制定的 準(zhǔn)以及 定的 所有這些標(biāo)準(zhǔn)中， 準(zhǔn)由于技術(shù)先進(jìn)、碼率低、編碼質(zhì)量高、適于網(wǎng)絡(luò)應(yīng)用，因而在數(shù)字電視廣播、視頻實(shí)時(shí)通信、網(wǎng)絡(luò)視頻媒體傳遞以及多媒體短信等領(lǐng)域得到了廣泛的應(yīng)用。 該標(biāo)準(zhǔn)對(duì)應(yīng)的編解碼器也被本系統(tǒng)選作研究對(duì)象。 本章 0 節(jié) 闡述了本文開發(fā)“ 解碼器性能評(píng)估系統(tǒng)”的目的以及該系統(tǒng)的主要功能。 第一節(jié) 視頻編解碼標(biāo)準(zhǔn)概述 隨著計(jì)算機(jī)技術(shù)以及互聯(lián) 網(wǎng)的迅猛發(fā)展，人們對(duì)多媒體信息處理以及多媒體信息在網(wǎng)絡(luò)上的傳輸需求越來越迫切。在視頻會(huì)議系統(tǒng)，視頻以及音頻信息被壓縮，通過專用網(wǎng)絡(luò)或者互聯(lián)網(wǎng)傳輸?shù)竭h(yuǎn)方，經(jīng)過解碼后，視頻以及音頻信息將重現(xiàn)給接受者。在網(wǎng)上教育領(lǐng)域，開發(fā)者使用多媒體技術(shù)，將教師的授課內(nèi)容、相關(guān)的材料制作成多媒體教學(xué)資源放在網(wǎng)絡(luò)上，遠(yuǎn)方的學(xué)習(xí)者通過在線或者下載后播放的形式，播放這些多媒體資源，通過自學(xué)的方式學(xué)習(xí)，這種方式能夠?qū)?yōu)質(zhì)的教育資源以非常低的成本呈現(xiàn)給學(xué)習(xí)者。在娛樂領(lǐng)域，多媒體制作者將電影、短片、動(dòng)畫等多媒體資源放在網(wǎng)絡(luò)上或者刻錄在 媒體介質(zhì)中，用戶通過在線或者離線的方式，播放這些娛樂資源。隨著計(jì)算機(jī)處理能力的迅速提升，并行處理技術(shù)的迅猛發(fā)展以及存儲(chǔ) 設(shè)備單位存儲(chǔ)價(jià)格的明顯下降，人們對(duì)多媒體方面的需求越來越迫切。 多媒體信息主要包括視頻信息以及音頻信息兩個(gè)方面。其中，視頻信息能夠向用戶提供 70%左右的信息量。然而，和音頻信息相比，視頻信息所占的存儲(chǔ)量或者帶寬遠(yuǎn)遠(yuǎn)大于音頻信息所占用的。因此，研究者在視頻信息處理領(lǐng)域投入了大量精力和資金。 在視頻信息處理領(lǐng)域，圖像以及視頻壓縮編解碼起著非常重要的作用。如果不壓縮， 1 秒鐘的電視信號(hào)將占用 216M 的存儲(chǔ)容量，在網(wǎng)絡(luò)上傳輸時(shí)，要求第一章 緒論 2 網(wǎng)絡(luò)具有 216M 的傳輸帶寬。對(duì)于目前大部分用戶，這是一個(gè)很高的要求。即使這個(gè)要求能被滿足，少數(shù)幾個(gè)這樣的視頻傳輸通道將使整個(gè)網(wǎng)絡(luò)變得非常繁忙，使得網(wǎng)絡(luò)沒有能力處理其他類型的網(wǎng)絡(luò)請(qǐng)求。即使不是通過網(wǎng)絡(luò)發(fā)布視頻信息，按照上述碼率，一部 2 小時(shí)的電影 將需要 194G 的存儲(chǔ) 空間 ，這是一般用戶不能接受的。為了使得用戶能夠 快速而廉價(jià)地得到高質(zhì)量的靜態(tài)或者動(dòng)態(tài)畫面 ，必須要對(duì)視頻或者圖像進(jìn)行快速、高效的壓縮。 可喜的是，經(jīng)過研究者多年的努力，已經(jīng)有性能優(yōu)異的視頻、圖像壓縮編解碼算法問世，實(shí)際上 ，這些算法目前已經(jīng)被廣泛使用在 絡(luò)以及移動(dòng)設(shè)備中。在圖像壓縮領(lǐng)域，已經(jīng)存在 無損壓縮算法以及 有損壓縮算法。在視頻壓縮領(lǐng)域 1， 國(guó)際標(biāo)準(zhǔn)化組織 （ 定了 列視頻編解碼標(biāo)準(zhǔn)，這種標(biāo)準(zhǔn)已被廣泛應(yīng)用在 多媒體介質(zhì)的制作中。另一方面， 國(guó)際電信聯(lián)盟 （ 定了 列標(biāo)準(zhǔn)。和 列相比，該系列標(biāo)準(zhǔn)更多地考慮了多媒體信號(hào)在各種網(wǎng)絡(luò)介質(zhì)的傳輸問題。 上述標(biāo)準(zhǔn)涉及大量的專利，采用這些標(biāo)準(zhǔn)的芯片制造商、設(shè)備制造商需要長(zhǎng)期繳納大筆的專利許可費(fèi)。為了節(jié)省這筆 不菲的費(fèi)用，我國(guó)自主研發(fā)了 列標(biāo)準(zhǔn)。 在這三個(gè)系列中， 列標(biāo)準(zhǔn)更適用于以 者 存儲(chǔ)設(shè)備來存儲(chǔ)視頻信息的場(chǎng)合，同時(shí)，該系列標(biāo)準(zhǔn)也適用于廣電網(wǎng)絡(luò)的數(shù)字電視機(jī)頂盒應(yīng)用。而 列標(biāo)準(zhǔn)更適用于 實(shí)時(shí)視頻通信如視頻會(huì)議和可視電話 應(yīng)用方面。起始時(shí)，這兩個(gè)標(biāo)準(zhǔn)組織 僅在 制定 及 準(zhǔn) 時(shí)有過合作，在大部分時(shí)間里兩個(gè)組織各自獨(dú)立的研究、制定各自的標(biāo)準(zhǔn)。但是，自 上世紀(jì)90 年代末期 開始，這兩個(gè)組織開始 合作開發(fā)由 先提出的 準(zhǔn) 2。 接下來我們將分別介紹這三 個(gè)系列的標(biāo)準(zhǔn)。 0小節(jié)將介紹 小節(jié)將介紹 列標(biāo)準(zhǔn)， 0 小節(jié)將介紹本文工作涉及的 列標(biāo)準(zhǔn)。 定的 列 定的 列標(biāo)準(zhǔn)主要包括 準(zhǔn)， 準(zhǔn)以及 準(zhǔn)。下面我們簡(jiǎn)要介紹這三個(gè)標(biāo)準(zhǔn)。 1. 初是為了將音頻、視頻信息壓縮存放在 制定的。這個(gè)標(biāo)準(zhǔn)考慮了以下三個(gè)問題：（ 1）播放 音頻、視頻信息所要考慮的 視頻和音頻復(fù)接多路技術(shù) 以及其他播放系統(tǒng)所要解決的問題；（ 2）視頻信息第一章 緒論 3 的壓縮；（ 3）音頻信息的壓縮。 時(shí)采用了 幀內(nèi) 以及 幀間圖像壓縮技術(shù) 。 幀內(nèi)壓縮 部分 采用 了圖像壓縮領(lǐng)域廣泛采用的離散余弦變化（ 技術(shù)， 以減少 二維 空間上的信息冗余。 幀間壓縮 部分采用了 預(yù)測(cè)法和插補(bǔ)法。 該標(biāo)準(zhǔn) 對(duì) 預(yù)測(cè)誤差 也實(shí)施 換，以 進(jìn)一步 提高壓縮比 。幀間 預(yù)測(cè)壓縮 技術(shù)可減少時(shí)間軸方向 各幀圖像之間的 冗余信息。 頻壓縮技術(shù)的特點(diǎn)： （ 1） 能夠 隨機(jī)存取 多媒體信息； （ 2） 快速正向 /逆向搜索； （ 3） 逆向重播； （ 4） 視聽同步； （ 5） 具有一定的 容錯(cuò) 能力。 準(zhǔn)存在以下不足：（ 1） 視頻壓縮比是 26： 1，這個(gè)壓縮比不夠大 ； （ 2）圖像分辨率太低。 最大清晰度僅為 352 X 288， 回放清晰度不高；（ 3） 幀率被固定為每秒 25 幀，不能丟幀錄像，不適合網(wǎng)絡(luò)應(yīng)用場(chǎng)合。 2. 稱為 “ 21 世紀(jì)的電視標(biāo)準(zhǔn) ” ，最重要應(yīng)用時(shí)數(shù)字視頻廣播。它在 基礎(chǔ)上作了許多重要的擴(kuò)展和改進(jìn)，但基本算法和 同。 該標(biāo)準(zhǔn)制定于 1994 年，是在 基礎(chǔ)之上發(fā)展而來， 基本算法和同 ，但是對(duì) 了許多重要的擴(kuò)展和改進(jìn) 。該標(biāo)準(zhǔn)的分辨率可達(dá) 720 X 486，其碼率位于 3間。該標(biāo)準(zhǔn)被 廣泛應(yīng)用在 ，用來壓縮視頻、音頻信息，然后將處理后的信息存放在 質(zhì)中。除此之外，該標(biāo)準(zhǔn)還被有線電視網(wǎng)以及衛(wèi)星直播場(chǎng)合，能夠提 供廣播級(jí)的數(shù)字視頻。 在音頻處理方面，支持較低頻率（ 16 及 24 采樣，支持支持雙聲道以及多聲道編碼，采用了被稱為 更高級(jí)音頻編碼算法。 3. 然 準(zhǔn)在 領(lǐng)域得到了廣泛的應(yīng)用，但是這種標(biāo)準(zhǔn)不太適合于視頻會(huì)議、 可視電話 等領(lǐng)域所要求的更低碼率，比如小于 64Kb/s。另外，準(zhǔn)也不適用于視頻內(nèi)容檢索與編輯等領(lǐng)域。為了解決以上問題，準(zhǔn)應(yīng)運(yùn)而生。 和此前的 準(zhǔn)不同， 義的是一個(gè)多媒體 數(shù)據(jù)壓縮編解碼框架， 而不單單是 一套具體的編解碼算法。該標(biāo)準(zhǔn)的制定者希望將這個(gè)體系定義為一個(gè)開放的系統(tǒng)，以 支持多種多媒體的應(yīng)用，特別是多媒體信息 檢索 方面第一章 緒論 4 的應(yīng)用。該標(biāo)準(zhǔn)允許應(yīng)用程序依據(jù)不同的用戶需要， 現(xiàn)場(chǎng)配置解碼器， 或者隨時(shí) 加入新的 編解碼算法模塊。 中國(guó)自主制定的 準(zhǔn) 由我國(guó)數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組 制定的 編碼標(biāo)準(zhǔn)。 該工作組在 準(zhǔn)化委員會(huì)的支持下，于 2012 年成立了 作組，并于2013 年公布了標(biāo)準(zhǔn)號(hào)為 857 的 頻編碼標(biāo)準(zhǔn)。 該標(biāo)準(zhǔn) 與 準(zhǔn)的主要技術(shù)差異包括： 采用了 8數(shù)變換 ， 1/4 精度像素插值 ， 特殊的幀間預(yù)測(cè) 以及 運(yùn)動(dòng)補(bǔ)償 算法，采用了 二維熵編碼 ，采用了 去塊效應(yīng)環(huán)內(nèi)濾波等 技術(shù)。 在數(shù)字電視、 流媒體和多媒體通信等領(lǐng)域 ， 該 標(biāo)準(zhǔn) 將 為我國(guó) 打造一個(gè)具有自主知識(shí)產(chǎn)權(quán)的 “ 技術(shù)專利標(biāo)準(zhǔn)芯片與軟件整機(jī)與系統(tǒng)制造數(shù)字媒體網(wǎng)絡(luò) ” 產(chǎn)業(yè)鏈 ，將為我國(guó)節(jié)省使用國(guó)外標(biāo)準(zhǔn)所導(dǎo)致的大筆專利使用許可費(fèi)。例如，我們目前大約有 6 億個(gè)支持 準(zhǔn)的電視機(jī)或機(jī)頂盒，假設(shè)其中有 2 億臺(tái)電視機(jī)需要接入網(wǎng)絡(luò)電視， 估計(jì) 需要繳納的在設(shè)備中使用專利的費(fèi)用大 約為 70 多億元，每年還要繳納的在節(jié)目點(diǎn)播中使用專利的費(fèi)用大約為 200 多億元。如果使用 準(zhǔn)，由于該標(biāo)準(zhǔn)的使用費(fèi)用遠(yuǎn)遠(yuǎn)低于 而可以節(jié)省大筆費(fèi)用。 定的 列 定的 列標(biāo)準(zhǔn)主要包括 準(zhǔn) ， 準(zhǔn)以及 4下面我們分別簡(jiǎn)要介紹這些標(biāo)準(zhǔn)。 1. 準(zhǔn) 準(zhǔn) 起初是為了在 開展可視電話以及視頻會(huì)議而設(shè)計(jì)的。它的算法和 類似但是計(jì)算量少得多。和 準(zhǔn)不同，這 個(gè)標(biāo)準(zhǔn)會(huì)將碼率固定為 64整數(shù)倍，倍數(shù)的范圍是 1 到 30，這個(gè)設(shè)計(jì)和 絡(luò)的特性密切相關(guān)。 該標(biāo)準(zhǔn)會(huì)采用固定的帶寬來處理視頻中包含快速運(yùn)動(dòng)以及只包含運(yùn)動(dòng)速度較慢物體的兩種情形，這 會(huì) 導(dǎo)致包含快速運(yùn)動(dòng)的情形下視頻的處理效果差。因此，這屬于一種恒定碼流可變質(zhì)量編碼算法。為了保證視頻會(huì)議的質(zhì)量，算法的延遲不超過 150 第一章 緒論 5 準(zhǔn) 也采用了 運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè) ， 換 ， 自適應(yīng)量化 ， 熵編碼等壓縮技術(shù)。運(yùn)動(dòng)估計(jì) 的 精度 只達(dá)到 像素級(jí) ，沒有 1/4 或者 1/8 像素級(jí)的運(yùn)動(dòng)估計(jì)。由于該標(biāo)準(zhǔn)的應(yīng)用場(chǎng)合只是基于 絡(luò)的可視電話以及視頻會(huì)議，因而該標(biāo)準(zhǔn)的圖像分辨率只能達(dá)到 176 x 144 像素 或者 352 x 288 像素 。 準(zhǔn)的優(yōu)點(diǎn)是 復(fù)雜度 低 ，缺點(diǎn)是 壓縮比 仍然不夠大，算法也缺乏靈活性。 2. 準(zhǔn) 準(zhǔn) 是在 基礎(chǔ)上發(fā)展而來。該標(biāo)準(zhǔn)的 基本原理 、 原始數(shù)據(jù)和碼流組織 都和 類似。但是，該標(biāo)準(zhǔn)吸納了 準(zhǔn)中的一些算法，比如 半像素精度的運(yùn)動(dòng)估計(jì)、 預(yù)測(cè)等 ，使得 準(zhǔn) 能夠達(dá)到更小的碼率、更好的視頻質(zhì)量。 碼可以處理以下 5 種圖像分辨率： 4及16和 同，其碼率可以低于 64 且，其碼率可變，以適應(yīng)不同特點(diǎn)的視頻信號(hào)。 4. 準(zhǔn) 準(zhǔn) 的研究工作 始于 1997 年。到 2001 年底時(shí)，由 頻編碼專家組 設(shè)計(jì)研發(fā)的 法的視頻壓縮質(zhì)量已經(jīng)超越了當(dāng)時(shí)的 準(zhǔn) 3。鑒于此， 組加入到 了 成了一個(gè)聯(lián)合視頻小組 （ 經(jīng)過 聯(lián)合視頻小組 數(shù)年的努力，該小組制定的 準(zhǔn)于 2003 年被 國(guó) 際電信聯(lián)盟正式批準(zhǔn) 。 準(zhǔn) 4采納了其他標(biāo)準(zhǔn)的優(yōu)點(diǎn)，吸取了 以往標(biāo)準(zhǔn)制定中積累的經(jīng)驗(yàn) 和教訓(xùn)， 采用 了 簡(jiǎn)潔 的 設(shè)計(jì) 思路 。 準(zhǔn) 創(chuàng)造性 的使用了 多參考幀 技術(shù)， 多 個(gè)塊類型 技術(shù)， 整數(shù)變換 技術(shù)以及 幀內(nèi)預(yù)測(cè)等新的壓縮技術(shù) 。在運(yùn)動(dòng)估計(jì)方面，使用了 低至 1/4 像素甚至 1/8 像素的 運(yùn)動(dòng)矢量 以及 新一代的環(huán)路濾波器 技術(shù)。這些技術(shù)的采用，使其 和 及 比 ， 碼率 可被壓縮一半 ，存儲(chǔ)容量 也 大大降低 。而且，該標(biāo)準(zhǔn)可以在 不同分辨率、不同碼率下 都能提供 較高的視頻質(zhì)量 。 在 列的標(biāo)準(zhǔn)中， 準(zhǔn) 是一個(gè)里程碑。和此前的其他編解碼標(biāo)準(zhǔn)相比，該標(biāo)準(zhǔn)的碼率更低，輸出的視頻質(zhì)量更好，更適于在網(wǎng)絡(luò)等實(shí)際應(yīng)用中推廣使用。由于以上原因，自 準(zhǔn)被確定以來，很多視頻應(yīng)用產(chǎn)品都將其作為產(chǎn)品必備功能。 該標(biāo)準(zhǔn) 在數(shù)字電視廣播、視頻實(shí)時(shí)通信、網(wǎng)絡(luò)視頻媒第一章 緒論 6 體傳遞以及多媒體短信等各個(gè)方面發(fā)揮 了 重要 的 作用。 在電視廣播領(lǐng)域， 現(xiàn)在各個(gè)國(guó)家都 在逐步減少或者停止 模擬電視廣播， 轉(zhuǎn)而使用 數(shù)字電視廣播 技術(shù)。在 傳輸費(fèi)用 方面 ， 如果 采用 準(zhǔn) ， 可以降低 3/4 的傳輸費(fèi)用 ， 這對(duì)電視廣播運(yùn)營(yíng)公司來說是一件非常利好的技術(shù)。 僅具有優(yōu)異 的壓縮性能， 由于設(shè)計(jì)之初已經(jīng)考慮了視頻信號(hào)在網(wǎng)絡(luò)上的傳輸問題，該標(biāo)準(zhǔn) 具有良好的網(wǎng)絡(luò)親和性，這對(duì)實(shí)時(shí)視頻通信 是非常有利的。 第二節(jié) 本項(xiàng)目背景 準(zhǔn)之所以能夠?qū)崿F(xiàn)比其他編解碼標(biāo)準(zhǔn)更低的碼率以及更高的圖像質(zhì)量，是由于該標(biāo)準(zhǔn)采用了以下復(fù)雜度較高的算法或者技術(shù)：（ 1）采用了 1/4甚至 1/8 像素級(jí)的運(yùn)動(dòng)估計(jì)以及運(yùn)動(dòng)補(bǔ)償算法，再加上多參考幀技術(shù)，使得該標(biāo)準(zhǔn)能夠更精確地預(yù)測(cè)物體的運(yùn)動(dòng)；（ 2）采用了多種碼率控制策略，來進(jìn)一步壓低碼率；（ 3）采用了 新的整數(shù) 換技術(shù) ，這種技術(shù)解決了經(jīng)典 換所帶來的反變換匹 配誤差 問題；（ 4） 幀間采用不同 的 塊大小來 更加 準(zhǔn)確 地 描述物體的實(shí)際運(yùn)動(dòng)情況 5；（ 5）采用 自適應(yīng)濾波器以去除圖像的邊界效應(yīng)，采用基于上下文的二進(jìn)制編碼技術(shù)以縮減 碼率 6。 雖然采用這些技術(shù)使得 準(zhǔn)能實(shí)現(xiàn)更低的碼率以及更高的圖像質(zhì)量，但是， 由于這些技術(shù)需要更大的計(jì)算量，從而限制了該標(biāo)準(zhǔn)在一些實(shí)時(shí)或者計(jì)算能力較弱場(chǎng)合的應(yīng)用。 在實(shí)際應(yīng)用中，由于以下原因，我們常常需要對(duì) 準(zhǔn)進(jìn)行裁剪或者修改：（ 1）在不同的計(jì)算平臺(tái)上，可以使用該平臺(tái)所具有的優(yōu)勢(shì)來優(yōu)化 解碼器的上述算法。例如，當(dāng)系統(tǒng)中 具有支持 并行處理硬件時(shí)，系統(tǒng)可以將哪些適于并行化的算法在 可以大幅提升壓縮速度。或者，在一些配備有 系統(tǒng)中，可以采用專門設(shè)計(jì)的 序來完成 的濾波、換等核心模塊，這也可以明顯提高處理速度。（ 2）當(dāng)應(yīng)用程序所運(yùn)行的平臺(tái)的計(jì)算能力的確較低時(shí)，可以考慮使用計(jì)算量較小的算法去替代 準(zhǔn)中的標(biāo)準(zhǔn)算法，以部分實(shí)現(xiàn) 準(zhǔn)。 （ 3） 準(zhǔn)的編解碼模塊具有許多初始化參數(shù)，這些參數(shù)可被用來控制編解碼器的行為。開發(fā)者常常需要嘗試設(shè)置各種不同的初始化參數(shù)，以使 解碼器滿足自己特定的需求。 第一章 緒論 7 因此，在實(shí)際應(yīng)用中，開發(fā)者可以對(duì) 各種配置以滿足該應(yīng)用的需求。然而， 解碼可供配置的算法、參數(shù)很多，開發(fā)者需要一個(gè)平臺(tái)，能夠快速實(shí)現(xiàn)各種配置，而且，解碼器的碼率、圖像質(zhì)量、計(jì)算量等指標(biāo)。為了滿足開發(fā)者的這個(gè)需求，本論文開發(fā)了一個(gè) 解碼器算法性能評(píng)估 系統(tǒng)。 該 系統(tǒng) 使用簡(jiǎn)潔的界面，允許用戶設(shè)置 解碼器的初始化參數(shù)，允許用戶選擇 運(yùn)動(dòng)估計(jì) 與補(bǔ)償算法，允許用戶選擇 碼率控制算法 。在做完以上配置后，系統(tǒng)對(duì)用戶指定的視頻信號(hào)進(jìn)行 編碼、解碼、播放 ，讓用戶能夠直觀地感受到指定配置情形下的編碼質(zhì)量、編碼速度。同時(shí)，系統(tǒng)計(jì)算客觀的圖像質(zhì)量評(píng)價(jià)指標(biāo) to 將每幀的 標(biāo)以曲線圖的方式呈現(xiàn)給用戶。系統(tǒng)還會(huì)將碼率等評(píng)估指標(biāo)以曲線圖的方式呈現(xiàn)給用戶。用戶還可以將以上評(píng)估信息導(dǎo)出為 件，進(jìn)一步以定量的 方式比較各種配置條件下 解碼器的行為。這些信息為用戶裁剪 解碼器提供了重要的參考資料。 系統(tǒng)在 臺(tái) 上的 具上開發(fā)，使用 C/C+語言 ， 用到了微軟的 在 開發(fā) 過程中 ，我們盡量遵循 了 以下原則。 合理性 。 在系統(tǒng)設(shè)計(jì)時(shí)， 考慮 了不同計(jì)算平臺(tái)的計(jì)算能力，因而系統(tǒng) 對(duì)運(yùn)行環(huán)境 （ 硬件設(shè)備、 操作系統(tǒng)等 ） 具有較好的適應(yīng)性。 實(shí)用性 。 本系統(tǒng) 應(yīng)該 提供清晰、簡(jiǎn)潔、友好的中文人機(jī)交互界面，操作簡(jiǎn)便、靈活、易學(xué)易用，便于管理和維護(hù)。 規(guī)范性 。 系統(tǒng) 采用 了符合 國(guó)家標(biāo)準(zhǔn) 以及 行業(yè)標(biāo)準(zhǔn) 的 控制協(xié)議、編 解碼協(xié)議 、媒體文件格式、傳輸協(xié)議等 ，因而 具有良好的兼容性和互聯(lián)互通性。 第三節(jié) 論文 的 組織 論文的主要內(nèi)容如下 。 第 1 章，緒論。介紹了對(duì)視頻信息進(jìn)行編碼解碼的三個(gè)標(biāo)準(zhǔn)系列： 列，中國(guó)自主制定的 準(zhǔn)以及 定的 列。在所有這些標(biāo)準(zhǔn)中， 準(zhǔn)由于技術(shù)先進(jìn)、碼率低、編碼質(zhì)量高、適于網(wǎng)絡(luò)應(yīng)用，因而在數(shù)字電視廣播、視頻實(shí)時(shí)通信、網(wǎng)絡(luò)視頻媒體傳遞以及多媒體短信等領(lǐng)域得到了廣泛的應(yīng)用。該標(biāo)準(zhǔn)對(duì)應(yīng)的編解碼器也被本系統(tǒng)選作研究對(duì)象。第一章 緒論 8 這章闡述了本文開發(fā)“ 解 碼器性能評(píng)估系統(tǒng)”的目的以及該系統(tǒng)的主要功能。 第 2 章 ， 系統(tǒng) 功能定義 與總體設(shè)計(jì) 。介紹了 解碼器性能評(píng)估系統(tǒng)應(yīng)該完成的功能，給出了這個(gè)系統(tǒng)的總體設(shè)計(jì)思路以及主要模塊的總體設(shè)計(jì)方案。具體地說，該章簡(jiǎn)要介紹了 碼器的架構(gòu)以及相關(guān)的主要技術(shù)。闡述了系統(tǒng)應(yīng)該完成的主要功能。介紹了系統(tǒng)總體的數(shù)據(jù)處理流程。介紹了本系統(tǒng)所采用的 解碼器的特點(diǎn)，闡述了總體的移植思路。介紹了 臺(tái)上常用的視頻開發(fā)工具，以及將 定為本系統(tǒng)視頻開發(fā)工具的原因。介紹了主 控模塊的流程以及開發(fā)中需要考慮的問題。 第 3 章 ， 系統(tǒng)概要設(shè)計(jì) 。 解碼器性能評(píng)估 系統(tǒng) 主要 包括主界面模塊以及 實(shí)驗(yàn) 結(jié)果 處理 模塊。其中 ， 主界面模塊主要負(fù)責(zé) 系統(tǒng)各 模塊的銜接 、多線程的調(diào)度等，實(shí)驗(yàn) 結(jié)果 處理 模塊主要負(fù)責(zé) 實(shí)驗(yàn) 結(jié)果 顯示、導(dǎo)出。 這一章介紹這兩個(gè)主要模塊的概要設(shè)計(jì)。具體地說，該章 介紹了系統(tǒng)的界面設(shè)計(jì)，闡述了各界面應(yīng)該完成的功能。介紹了主界面模塊的概要設(shè)計(jì)，重點(diǎn)闡述了初始化參數(shù)設(shè)置模塊，視頻源選擇模塊，播放控制模塊以及圖像顯示模塊的概要設(shè)計(jì)。介紹了實(shí)驗(yàn)結(jié)果處理模塊的概要設(shè)計(jì)。 第 4 章 ， 系統(tǒng)詳細(xì)設(shè)計(jì)和 實(shí)現(xiàn) 。 本系統(tǒng)的主要功能由主界面模塊以及實(shí)驗(yàn)結(jié)果處理模塊完成。本系統(tǒng)在 008 平臺(tái)上開發(fā)，使用 C+語言，開發(fā)中用到了微軟出品的 本章首先介紹了 細(xì)闡述了主界面模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)，重點(diǎn)介紹了初始化參數(shù)設(shè)置模塊、播放控制模塊以及圖像顯示模塊的的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。介紹了實(shí)驗(yàn)結(jié)果處理模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)，詳細(xì)闡述了 如何使用 制 指標(biāo)的 曲線圖 ，以及如何使用 口將實(shí)驗(yàn)結(jié)果保存為 件，供用戶定量分析實(shí)驗(yàn)結(jié)果。 第 5 章 ，總結(jié)與展望。 總結(jié) 了論文工作 ， 提出了 系統(tǒng)將來 可能的改進(jìn)方向。 第二章 系統(tǒng)功能定義與總體設(shè)計(jì) 9 第二章 系統(tǒng) 功能定義 與總體 設(shè)計(jì) 本章介紹了 解碼器性能評(píng)估系統(tǒng)應(yīng)該完成的功能，給出了這個(gè)系統(tǒng)的總體設(shè)計(jì)思路以及主要模塊的總體設(shè)計(jì)方案。 0 節(jié)簡(jiǎn)要介紹了 碼器的架構(gòu)以及相關(guān)的主要技術(shù) ，給出了評(píng)價(jià)處理后圖像質(zhì)量的 標(biāo)的定義。0 闡述了系統(tǒng)應(yīng)該完成的主要功能。 0 節(jié)介紹了系統(tǒng)總體的數(shù)據(jù)處理流程。準(zhǔn)有三個(gè)流行的 C/C+實(shí)現(xiàn)：由德國(guó) 究所開發(fā)的 解碼器；由 起的 碼器；由中國(guó)視頻編碼自由組織開發(fā)的 解碼器。 0 節(jié)介紹了本系統(tǒng)所 采用的 解碼器的特點(diǎn)，闡述了總體的移植思路。 解碼器只是負(fù)責(zé)底層的視頻信號(hào)編碼以及解碼操作，并不負(fù)責(zé)視頻信號(hào)的采集、格式轉(zhuǎn)換、播放等操作， 0 節(jié)介紹了 臺(tái)上常用的視頻 開發(fā)工具，以及將 定為本系統(tǒng)視頻開發(fā)工具的原因。0 節(jié)介紹了主控模塊的流程以及開發(fā)中需要考慮的問題。 第 一節(jié) 碼器 概述 由于 碼器所執(zhí)行的操作與編碼器的簽好相反，本節(jié)只介紹 碼器的 總體 框架 如圖 示 7。 變 換 量 化 Z i g Z a g 掃 描 熵 編 碼當(dāng) 前 幀 估 計(jì)參 考 幀 1運(yùn) 動(dòng) 補(bǔ) 償重 建 幀 濾 波 反 量 化幀 內(nèi) 預(yù) 測(cè)模 式幀 內(nèi) 預(yù) 測(cè)反 變 換+-+N A 預(yù) 測(cè)幀 內(nèi) 預(yù) 測(cè)變 換 編 碼熵 編 碼圖 0碼器的總體框架 各主要模塊的功能如下。 幀內(nèi)預(yù)測(cè) 。 給定一幀圖像，將該圖像細(xì)分為若干個(gè)子塊，對(duì)各子塊分別進(jìn)行編碼。 對(duì)某個(gè)子塊進(jìn)行編碼時(shí)，由于通常情況下，當(dāng)前子塊和 其周圍子塊有第二章 系統(tǒng)功能定義與總體設(shè)計(jì) 10 著密切的相關(guān)性，我們可以利用這個(gè)相關(guān)性，在已知周圍子塊的信息的前提下，使用更少的位數(shù)來對(duì)當(dāng)前子塊進(jìn)行編碼。 “幀內(nèi)預(yù)測(cè)”模塊依據(jù)當(dāng)前塊的上方和左上方子塊的信息，來預(yù)測(cè)當(dāng)前塊的取值，再計(jì)算這個(gè)預(yù)測(cè)值和當(dāng)前塊實(shí)際值的誤差 8。由于這些誤差值的取值范圍比當(dāng)前塊的實(shí)際值的取值范圍要小得多，因而可以通過較少的二進(jìn)制位對(duì)其進(jìn)行編碼，從而減少碼率。 幀間 預(yù)測(cè) 。 由于現(xiàn)實(shí)世界中大部分物體的運(yùn)動(dòng)速度較慢，在一個(gè)較短時(shí)間內(nèi)，一個(gè)物體的圖像會(huì)出現(xiàn)在這段時(shí)間內(nèi)所有幀中。我們可以利用這個(gè)物體首次出現(xiàn)時(shí)的圖像信息 來預(yù)測(cè)后續(xù)幀中該物體的圖像信息。這就是 “幀間預(yù)測(cè)”模塊的工作原理 9。 其中的“運(yùn)動(dòng)估計(jì)”部分能夠計(jì)算物體的運(yùn)動(dòng)方向以及位移量 11。 將位移量的精度提高到 1/8 像素單位。該模塊的“運(yùn)動(dòng)補(bǔ)充”部分使用一個(gè)樹狀結(jié)構(gòu)運(yùn)動(dòng)補(bǔ)償算法，利用一個(gè)物體先前的圖像信息預(yù)測(cè)當(dāng)前塊的取值，計(jì)算這個(gè)預(yù)測(cè)值和當(dāng)前塊實(shí)際值的誤差，再對(duì)這個(gè)誤差值進(jìn)行編碼，從而可以減少碼率。 整數(shù)變換與量化 。 從頻域角度看，一幅圖像的能量主要集中在 直流和低頻部分，只有少量能量 散布在 高頻成分 。前者對(duì)應(yīng)著圖像中緩慢變化或者不變的部分， 比如天空的藍(lán)色背景或者云彩內(nèi)部的灰白過渡，后者對(duì)應(yīng)著圖像中的快速變化部分，比如藍(lán)天和白云的交界部分。因此，將圖像變換到頻域后，將形成一些幅值很小的系數(shù)，忽略或者只使用很少的二進(jìn)制為對(duì)這些系數(shù)進(jìn)行編碼，并不會(huì)顯著影響圖像的質(zhì)量，從而可以降低碼率 10。 圖 0“變換編碼”模塊實(shí)現(xiàn)上述功能。由于傳統(tǒng)圖像壓縮算法采用的 88離散余弦變換 以及 逆變換 可能出現(xiàn) 失配問題 ，所以 用了 44 整數(shù)離散余弦變換 算法 對(duì)圖像或者預(yù)測(cè)殘 差進(jìn)行變換編碼。 該 算法 的核心部分只使用了加法和移位運(yùn)算，沒有使用乘法運(yùn)算，因而運(yùn)算速度更快。另外，由于處理的基本單位是 44 像素塊 ，而不是 傳統(tǒng)的 88 像素塊，因而對(duì) 運(yùn)動(dòng)物體的劃分更精確，有助于減少塊效應(yīng) 12。 另外，為了比較不同參數(shù)配置情況下算法的性能，我們使用了視頻編解碼研究領(lǐng)域常 用 的 峰值信噪比 (衡量被視頻編解碼算法處理后的圖像的質(zhì)量。這個(gè)評(píng)價(jià)指標(biāo) 依賴原始信號(hào)和 處理后 信號(hào)的均方差（ ，其定義為 (第二章 系統(tǒng)功能定義與總體設(shè)計(jì) 11 其中 表示在原始圖像中每個(gè)像素點(diǎn)所占的二進(jìn)制位。雖然在某些情形下依據(jù) 出的評(píng)價(jià)結(jié)果和主觀評(píng)價(jià)結(jié)果有較明顯的不同，但是，由于該指標(biāo)可被快速、方便地計(jì)算出來，因而在視頻編解碼研究領(lǐng)域被廣泛采用。 第二節(jié) 性能評(píng)估 系統(tǒng)的 功能定義 解碼器性能評(píng)估系統(tǒng) 可以 實(shí)現(xiàn) 視頻的實(shí)時(shí) 捕捉 、編碼、解碼、播放等基本功能。 應(yīng)該支持 格式為 本地 件 、從 攝像頭捕獲 的視頻信號(hào)以及來自網(wǎng)絡(luò)的 碼流 數(shù)據(jù)。 同時(shí) ，用戶應(yīng)該 可以 設(shè)置不同的編解碼器初始化參數(shù)， 選擇不同的 運(yùn)動(dòng)估計(jì) 以及 補(bǔ)償算法 ，選擇不同的 碼率控制算法 ，以體驗(yàn)不同的編解碼 效果， 更直觀、全面 地 理解 解碼算法。 具體地說，系統(tǒng)應(yīng)該完成以下功能。 允許用戶設(shè)置各種 編解碼器 初始化參數(shù) 。例如， 文件格式方面，允許用戶指定 件的文件頭的長(zhǎng)度，指定從 件的哪一幀開始處理以及將被處理的總幀數(shù)。 編碼器控制參數(shù)方面，允許用戶指定 13的周期、是否使用換、參考幀的數(shù)目以及是否使用快速運(yùn)動(dòng)估計(jì)算法 14。 解碼器的初始化參數(shù)多達(dá) 100 多個(gè)，系統(tǒng)應(yīng)該提供一個(gè)良好的界面，允許用戶快速、方便地設(shè)置這些初始化參數(shù)。 允許用戶選擇 在以下 4 種不同的 運(yùn)動(dòng)估計(jì) 以及 運(yùn)動(dòng)補(bǔ)償 算法 中選擇一種：（ 1）未優(yōu)化算法；（ 2）優(yōu)化算法 A；（ 3）優(yōu)化算法 B；（ 4）優(yōu)化算法 C。 允許用戶選擇 在以下 5 種 不同的 碼率控制算法 中選擇一種 15,16：（ 1） 基于碼率控制算法； （ 2） 基于基本單元層碼率控制改進(jìn)算法； （ 3） 基于圖像直方圖碼率控 制改進(jìn)