一種魯棒靈活的非平衡多描述視頻編碼和傳輸方案

1、一種魯棒靈活的非平衡多描述視頻編碼和傳輸方案*本課題得到國家自然科學(xué)基金(60503063)資助. 李彬, 男, 1981年生, 博士生, 主要研究領(lǐng)域?yàn)橐曨l壓縮和通信, Email: libin98; 黃峰, 男, 1979年生, 博士生, 主要研究領(lǐng)域?yàn)闊o線網(wǎng)絡(luò)下視頻編碼和傳輸; 孫立峰, 男, 1972年生, 博士, 副教授, 主要研究領(lǐng)域?yàn)榻换ザ嘁朁c(diǎn)視頻, 異構(gòu)網(wǎng)絡(luò)流媒體; 楊士強(qiáng), 男, 1952年生, 教授, 博士生導(dǎo)師, 主要研究領(lǐng)域?yàn)橐曨l分析和網(wǎng)絡(luò)多媒體李彬 黃峰 孫立峰 楊士強(qiáng)(清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系, 北京 100084)摘要 在網(wǎng)絡(luò)上傳輸?shù)囊曨l經(jīng)常因?yàn)閬G包而影響終端

2、接收到的視頻的質(zhì)量。由于現(xiàn)有的視頻編碼器通常使用預(yù)測編碼技術(shù)來減少時(shí)域冗余提高壓縮率，所以一個(gè)包的丟失都會(huì)引起錯(cuò)誤的傳播，直到解碼器收到幀內(nèi)編碼的幀為止。針對(duì)這個(gè)問題，本文提出一種靈活魯棒的非平衡多描述編碼和傳輸方案。其編碼器借助不同描述間的“同步幀”，能夠迅速從包丟失中恢復(fù)解碼，并保證終端視頻的連續(xù)播放；同時(shí)，該方案能夠靈活適應(yīng)多路徑傳輸和單路徑傳輸兩種情況，在單路徑傳輸時(shí)本文還研究了不同描述間的碼率分配問題，并提出一種近似最優(yōu)的快速碼率分配方案。實(shí)驗(yàn)結(jié)果充分驗(yàn)證了本文提出的非平衡多描述編碼和傳輸方案的有效性、魯棒性和靈活性。關(guān)鍵詞 多描述編碼 非平衡多描述編碼 碼率分配 視頻編碼 傳輸方案

3、1 引 言隨著網(wǎng)絡(luò)技術(shù)和數(shù)字內(nèi)容產(chǎn)業(yè)的迅猛發(fā)展，作為豐富信息載體的視頻流媒體逐漸成為互聯(lián)網(wǎng)主流應(yīng)用之一。在現(xiàn)有的視頻編碼方法中，人們通常采用預(yù)測編碼技術(shù)來減少視頻信號(hào)間的時(shí)域相關(guān)性，獲得較好的壓縮效率；但是，在獲得高壓縮效率的同時(shí)，預(yù)測編碼技術(shù)也造成了丟失一個(gè)包也將導(dǎo)致解碼過程中的錯(cuò)誤沿時(shí)間軸方向傳播的缺點(diǎn)。為了限制錯(cuò)誤的傳播，前期研究提出了多種方案，例如不時(shí)地插入采用幀內(nèi)編碼的幀來阻止錯(cuò)誤傳播，或者使用糾錯(cuò)碼進(jìn)行前向糾錯(cuò) (Forward Error Correction, FEC) 來增加碼流的魯棒性并減少錯(cuò)誤傳播的長度1。然而，前者生成的碼率較高，后者的主要障礙在于FEC中當(dāng)給定一個(gè)預(yù)先

4、確定的冗余時(shí)，其糾錯(cuò)能力是固定的，當(dāng)丟包率超出該閾值時(shí)，F(xiàn)EC無法糾正錯(cuò)誤，導(dǎo)致視頻質(zhì)量嚴(yán)重下降，即所謂的“懸崖效應(yīng) (Cliff Effect)”。盡管人們也提出了自動(dòng)重傳請(qǐng)求 (Auto Retransmission reQuest, ARQ)方法，但是由于視頻應(yīng)用通常對(duì)包傳送時(shí)間期限有嚴(yán)格的限制，ARQ通常不適用2。多描述編碼 (Multiple Description Coding, MDC)技術(shù)在提出后即被證明是一種處理錯(cuò)誤傳播的行之有效的方法3。低延遲的特性使得MDC在魯棒的視頻傳輸方面具有良好的應(yīng)用前景。一般來說，多數(shù)的MDC采用多個(gè)獨(dú)立的視頻描述進(jìn)行傳輸，只要接收到一個(gè)或多個(gè)描

5、述，那么解碼器就可以恢復(fù)出相應(yīng)質(zhì)量的視頻流。MDC根據(jù)各個(gè)描述之間的重要性關(guān)系分為平衡多描述編碼 (Balanced Multiple Description Coding, BMDC) 和非平衡多描述編碼 (Unbalanced Multiple Description Coding, UMDC)。平衡多描述編碼采用具有大致相同重要性和質(zhì)量的描述，例如基于多相下采樣 (Polyphase Downsampling) 的方法4，基于標(biāo)量量化 (Scalar Quantization) 的方法5，基于格子向量量化 (Lattice Vector Quantization) 的方法6，基于成對(duì)相關(guān)

6、變換 (Pairwise Correlating Transform) 的方法7等。這些方案通常都無法較好地解決如何控制多描述編碼引入的冗余量問題，而且從帶寬利用角度來看，當(dāng)有多個(gè)路徑可用時(shí)，平衡多描述編碼不能充分利用各個(gè)路徑的可用帶寬。與之對(duì)應(yīng)，非平衡多描述編碼891011使用多個(gè)不同重要性和質(zhì)量的視頻描述（為便于說明，這里采用兩個(gè)描述），一個(gè)具有較高的重要性和質(zhì)量，稱為高分辨率(High-Resolution, HR)描述，另一個(gè)重要性和質(zhì)量相對(duì)較低的描述稱為低分辨率(Low-Resolution, LR)描述。在這種情況下，LR描述主要是作為冗余，用于隱藏HR描述由于包丟失而產(chǎn)生的錯(cuò)誤。

7、與平衡多描述編碼相比，非平衡多描述編碼能夠靈活控制引入的冗余量，同時(shí)充分利用不同路徑的端到端可用帶寬。非平衡多描述編碼器的核心問題是如何使用LR描述的信息恢復(fù)HR描述中由于丟包造成丟失的信息。針對(duì)這個(gè)問題，文獻(xiàn)8, 9, 10提出了局部錯(cuò)誤隱藏技術(shù)，使用丟失區(qū)域附近的時(shí)域和空域的信息，但沒有解決錯(cuò)誤傳播到后續(xù)的幀間編碼幀，減輕錯(cuò)誤傳播的能力有限。文獻(xiàn)11使用了基于序列的錯(cuò)誤隱藏 (sequence-based EC) 算法，使用多幀恢復(fù)原則來最小化HR描述里的錯(cuò)誤傳播，然而為了恢復(fù)當(dāng)前幀里的丟失信息，該算法必須等待并檢查一定數(shù)量的后續(xù)幀，無法滿足具有嚴(yán)格的延遲要求和突發(fā)丟包 (burst pa

8、cket losses) 的視頻應(yīng)用。因此，本文重點(diǎn)研究適應(yīng)視頻傳輸?shù)姆瞧胶舛嗝枋鼍幋a方案，利用LR描述和HR描述的相互協(xié)作提高視頻傳輸?shù)聂敯粜?；同時(shí)探討非平衡多描述方案在多路徑和單路徑條件下的傳輸問題，力求通過靈活的碼率分配機(jī)制充分利用端到端的可用帶寬。針對(duì)以上問題，我們提出了一種新的非平衡多描述編解碼器，使用“同步幀”來阻止HR描述里的錯(cuò)誤，利用HR描述和LR描述的相互協(xié)作從包丟失中快速恢復(fù)，提高關(guān)鍵幀傳輸?shù)聂敯粜浴Ｔ诖嘶A(chǔ)上，我們還討論了該方案在多路徑和單路徑條件下的傳輸性能，并借助兩狀態(tài)馬爾可夫鏈路模型和簡化的率失真模型提出了單路徑條件下一種近似最優(yōu)的碼率分配方案。仿真實(shí)驗(yàn)結(jié)果充分驗(yàn)證

9、了所提出的非平衡多描述編碼器以及傳輸方案的有效性、魯棒性和靈活性。本文組織結(jié)構(gòu)如下，第2節(jié)說明所提出的非平衡多描述編碼器，重點(diǎn)分析借助“同步幀”來解決HR和LR間相互協(xié)作提高視頻傳輸魯棒性的特點(diǎn)；第3節(jié)討論該編碼器在多路徑和單路徑條件下的傳輸方案，繼而在第4節(jié)提出近似最優(yōu)的碼率分配方案。第5節(jié)通過仿真實(shí)驗(yàn)驗(yàn)證所提編碼器和傳輸方案的性能。第6節(jié)總結(jié)全文并討論未來工作。2 魯棒的非平衡多描述編解碼器圖1 魯棒的UMDC編碼器結(jié)構(gòu)如上所述，非平衡多描述編碼器的關(guān)鍵在于LR和HR描述間的相互協(xié)作，因此在所提出的非平衡多描述編解碼器中，我們?cè)O(shè)計(jì)將LR編碼器的輸入與HR編碼器的重構(gòu)幀關(guān)聯(lián)，取代其他非平衡多

10、描述編碼器方案中的原始視頻幀，如圖1和圖2所示。在編碼器端，我們首先引入“同步幀”加強(qiáng)HR和LR描述之間的相關(guān)性。所謂“同步幀”，即LR編碼器重構(gòu)的I幀，其作用主要是置于HR編碼器的幀緩沖區(qū)并替代HR編碼器的當(dāng)前的重構(gòu)的P幀。這樣，HR編碼器在編碼下一個(gè)P幀時(shí)就以“同步幀”作為參考幀。需要說明的是，“同步幀”的引入增強(qiáng)了HR描述對(duì)包丟失進(jìn)行恢復(fù)的魯棒性。在解碼器端，HR解碼器必須取得“同步幀”來用于下一個(gè)P幀的運(yùn)動(dòng)補(bǔ)償。之所以考慮引入“同步幀”，主要是因?yàn)镠R描述的幀內(nèi)刷新周期較長，當(dāng)P幀因?yàn)閬G包缺失時(shí)，必須等待下一個(gè)I幀到來才可以恢復(fù)，而引入“同步幀”后，丟失的P幀可以通過HR和LR的“同步

11、幀”恢復(fù)，提高了HR視頻傳輸?shù)聂敯粜?。一般來說，在圖1中所示的“同步幀”可以通過兩種方式獲得：1) LR解碼器的輸出幀作為“同步幀”；2) 編碼器的重構(gòu)幀，此時(shí)編碼器的輸入是HR解碼器的輸出。本文提出的非平衡多描述編解碼器借助“同步幀”加強(qiáng)HR和LR描述的相關(guān)性，能夠處理多種包丟失情況，下面分四種情況討論編解碼器的工作方式：1) 當(dāng)HR描述和LR描述都正確接收時(shí)，兩個(gè)描述都可以正確解碼，解碼器的輸出是HR描述的數(shù)據(jù)；圖2 魯棒的UMDC解碼器結(jié)構(gòu)2) 當(dāng)LR描述在傳輸中發(fā)生包丟失，而HR描述順利接收時(shí)，所提編解碼器能夠快速恢復(fù)所丟失的包。如上所述， HR編碼器的重構(gòu)幀作為LR編碼器的輸入，此時(shí)

12、只需把HR解碼器的輸出直接輸入到一個(gè)標(biāo)準(zhǔn)編碼器，生成LR描述并正確重構(gòu)LR描述中的因包丟失而損壞的幀，繼續(xù)LR描述的解碼過程；3) 當(dāng)HR描述在傳輸中發(fā)生包丟失，而LR描述順利接收時(shí)，常規(guī)的非平衡多描述編解碼器里通常只有兩種選擇：要么HR描述的解碼過程暫停直到接收下一個(gè)能夠正確解碼的I幀，解碼輸出相應(yīng)的LR描述的數(shù)據(jù)；要么把相應(yīng)的LR描述的數(shù)據(jù)作為HR描述的參考幀，HR描述的解碼過程繼續(xù)。然而前一種方法得到的LR描述質(zhì)量較低，后一種方法造成HR編碼器和解碼器的不匹配，從而這兩種方法都會(huì)降低解碼視頻的質(zhì)量。所提出的非平衡多描述編碼器中，由于HR描述的下一個(gè)P幀使用“同步幀”作為參考幀，因此從正確

13、接收的LR描述里取得“同步幀”并作為HR描述的參考幀時(shí)，在HR編碼器和解碼器之間不存在不匹配的情況。此時(shí)HR解碼器只需等待從LR解碼器輸出得到下一個(gè)“同步幀”即可重新開始解碼過程；4) 當(dāng)HR描述和LR描述同時(shí)發(fā)生包丟失或者錯(cuò)誤傳播時(shí)，解碼器暫停解碼等待下一個(gè)“同步幀”到達(dá)后重新開始解碼。在這個(gè)過程中解碼器的輸出為最近的已解碼幀。圖3和圖4分別說明了LR發(fā)生包丟失和HR發(fā)生包丟失時(shí)的示例，其中Ip表示“同步幀”，Px表示在傳輸過程中丟失的P幀，Pd表示丟棄的P幀。圖3 LR描述的同步幀Ip 重新啟動(dòng)HR描述的解碼過程圖4 LR描述丟失的P幀由HR的重構(gòu)幀編碼后重構(gòu)3 適應(yīng)多路徑和單路徑的靈活傳

14、輸方案在提出了上述魯棒的非平衡多描述編碼器之后，我們重點(diǎn)研究多個(gè)描述的傳輸問題。多描述編碼傳輸?shù)男阅苤饕Q于視頻同一部分或者相鄰部分的不同描述的包是否同時(shí)丟失。針對(duì)這個(gè)問題，通常人們采用分離的多個(gè)路徑，即“路徑多樣性 (Path Diversity)”來發(fā)送不同的描述，這種傳輸方案被稱為多路徑傳輸 (Multiple Path Transport, MPT) 。大量的研究工作1213141516探討了結(jié)合多描述編碼和多路徑傳輸進(jìn)行可靠視頻傳輸?shù)姆桨?，這些工作大多對(duì)比了多路徑傳輸與單路徑傳輸 (Single Path Transport, SPT) 的優(yōu)劣。與使用單描述編碼和單路徑傳輸相比，結(jié)

15、合多描述編碼和多路徑傳輸?shù)男阅艿玫接行嵘Ｓ捎诙嗦窂絺鬏攲?duì)于傳輸多個(gè)描述具有很內(nèi)在的優(yōu)越性，因此在傳輸過程中具有多條可用的路徑時(shí)，所提出的非平衡多描述編碼傳輸方案采用多條路徑傳輸。然而，在一些情況下，由于種種原因無法征用多條路徑，此時(shí)我們需要考慮多個(gè)描述在單一路徑傳輸?shù)膯栴}。這種在多路徑和單路徑間靈活傳輸?shù)臋C(jī)制也是本文區(qū)別于其他研究的主要特點(diǎn)之一。當(dāng)考慮單一路徑傳輸時(shí)，如果只是簡單地把每個(gè)描述的包放在一起，那么由于網(wǎng)絡(luò)丟包的突發(fā)特性，對(duì)應(yīng)視頻同一部分或者相鄰部分的不同描述的包同時(shí)丟失的可能性較大，會(huì)嚴(yán)重影響多描述編碼傳輸?shù)男阅堋Ｎ墨I(xiàn)17介紹了一種在單路徑上傳輸非平衡多描述視頻的方法。為了能夠

16、在單個(gè)路徑上靈活地傳輸多個(gè)描述，我們借鑒該方法的一些思想，并對(duì)其進(jìn)行了擴(kuò)展和改進(jìn)，主要方案如下：在使用單路徑傳輸多個(gè)描述時(shí)，為了確保HR和LR描述同時(shí)發(fā)生丟包的可能性較低，不能同時(shí)傳輸對(duì)應(yīng)視頻同一部分的HR和LR的包。因此所提方案將分別屬于不同幀的HR和LR數(shù)據(jù)封裝到同一個(gè)包，降低同一個(gè)數(shù)據(jù)包內(nèi)的HR數(shù)據(jù)和LR數(shù)據(jù)之間的相關(guān)性。這樣屬于同一幀的HR和LR數(shù)據(jù)以一定間隔在同一條路徑上傳輸。這種HR和LR數(shù)據(jù)間幀號(hào)偏移，提供了在單一路徑上傳輸?shù)撵`活性。我們可以根據(jù)網(wǎng)絡(luò)狀況來決定相應(yīng)的偏移量，當(dāng)網(wǎng)絡(luò)狀況較好時(shí)，使用較小的偏移，而當(dāng)網(wǎng)絡(luò)狀況較差時(shí)，使用較大的偏移。圖5示意性地說明了在單一路徑上傳輸?shù)拇?/p>

17、包方式，其中k表示偏移。當(dāng)然，偏移也會(huì)引入一定的延遲，在后面的實(shí)驗(yàn)中我們相應(yīng)地討論了這種偏移方案的性能。這里所提出的利用HR和LR間的偏移靈活適應(yīng)不同網(wǎng)絡(luò)狀況的傳輸方案是本文區(qū)別其他研究的另一個(gè)特點(diǎn)。圖5 HR和LR封裝方法4 近似最優(yōu)的多描述碼率分配方案上面兩節(jié)分別說明了所提出的魯棒的非平衡多描述編碼器和靈活的傳輸方案，這一節(jié)主要研究在使用單路徑傳輸多個(gè)描述時(shí)，如何根據(jù)網(wǎng)絡(luò)狀況分配HR和LR描述的碼率，進(jìn)而提高視頻傳輸質(zhì)量的問題。下面我們通過對(duì)網(wǎng)絡(luò)丟包狀況和率失真建模分析，求解在給定網(wǎng)絡(luò)狀況下，HR描述和LR描述之間的近似最優(yōu)的碼率分配，從而使接收到的視頻質(zhì)量近似最優(yōu)。4.1 兩狀態(tài)連續(xù)時(shí)間

18、馬爾可夫鏈路模型我們首先采用文獻(xiàn)18中提出的兩狀態(tài)連續(xù)時(shí)間馬爾可夫鏈Xt來模擬鏈路傳輸?shù)臓顩r，其中Xt0, 1表示鏈路上包丟失， Xt=1說明在t時(shí)刻發(fā)生了包丟失， Xt=0說明在t時(shí)刻包順利傳輸。由此，我們可以用式(1)表示馬爾可夫鏈的微分生成矩陣，從而對(duì)應(yīng)該馬爾可夫鏈的穩(wěn)定分布為=(0, 1)，其中0=1/(0 + 1)，1=0/(0 + 1)。在時(shí)間間隔t內(nèi)，狀態(tài)i和狀態(tài)j之間的轉(zhuǎn)移概率可以通過式(2)計(jì)算。當(dāng)給定平均丟包率、平均突發(fā)丟包長度 (單位: 包)和發(fā)送速率時(shí)，參數(shù)0和1可以由式(3)得到。 (1) (2) (3)實(shí)際上，可以通過將接收端測量出PL和的值反饋回發(fā)送端，能夠持續(xù)計(jì)

19、算并更新參數(shù)0和1的值。4.2 簡化的率失真模型上一小節(jié)通過兩狀態(tài)連續(xù)時(shí)間馬爾可夫鏈模擬了網(wǎng)絡(luò)丟包狀況，為了進(jìn)一步對(duì)碼率分配問題進(jìn)行研究，我們考慮如何將碼率和視頻失真聯(lián)系起來。對(duì)于壓縮視頻應(yīng)用，前期研究已經(jīng)討論了一些失真模型來估計(jì)給定碼率情況下的失真狀況，然而這些率失真模型大多計(jì)算復(fù)雜，缺乏實(shí)用性。結(jié)合視頻傳輸嚴(yán)格的延遲要求，我們需要選擇一個(gè)相對(duì)容易實(shí)現(xiàn)又具有代表性的率失真模型。因此，我們選擇了文獻(xiàn)19中提出的簡化模型來估計(jì)失真，如式(4)所示，其中K是模型參數(shù)，Ri和D(Ri)分別表示碼率和對(duì)應(yīng)的失真。對(duì)于離線編碼的視頻序列，參數(shù)K的值可以預(yù)先計(jì)算；而對(duì)于實(shí)時(shí)編碼，先給K假設(shè)一個(gè)初始值，然后

20、隨著編碼的幀的增加不斷改進(jìn)K值。 (4)4.3 近似最優(yōu)的碼率分配模型圖6 HR和LR描述之間的延遲上面分別討論了網(wǎng)絡(luò)丟包模型和簡化的率失真模型。當(dāng)HR描述正確接收時(shí)，接收端的失真為DHR，當(dāng)LR描述正確接收而HR描述發(fā)生包丟失時(shí)，接收端的失真為DLR，當(dāng)HR和LR描述都發(fā)生包丟失時(shí)，接收端的失真為DC。若記鏈路的丟包率為p，當(dāng)HR包丟失時(shí)正確接收LR的條件概率記作p10，當(dāng)HR丟失且LR也丟失的條件概率記作p11，那么接收端的失真D可以表示成式(5)。 (5)從節(jié)4.1中可以得到網(wǎng)絡(luò)鏈路的丟包率p就是該馬爾可夫鏈的穩(wěn)定分布1，條件概率p10即是該馬爾可夫鏈從狀態(tài)1到狀態(tài)0的轉(zhuǎn)移概率，條件概率

21、p11即為該馬爾可夫鏈從狀態(tài)1到狀態(tài)1的轉(zhuǎn)移概率。對(duì)于單路徑傳輸方案而言，屬于同一幀的HR描述和LR描述之間的時(shí)間間隔為k*td，如圖6所示。這樣，式(5)可以重寫為式(6)。 (6)記鏈路的帶寬為RT，HR描述的碼率為R1，LR描述的碼率為R2，則在HR描述和LR描述之間碼率分配問題轉(zhuǎn)化為在HR描述和LR描述的碼率總和一定的條件下最小化接收端的失真的問題，如式(7)所示。 (7)把式(2)和式(4)代入式(6)，可以得到式(8)： (8)顯然，當(dāng)k*td足夠大時(shí)，但是由于k*td關(guān)系到解碼延遲，所以k*td的值不能太大。通過選擇一個(gè)合適的k值，使得，這樣式(8)就可以近似成式(9)。 (9)

22、而在給定網(wǎng)絡(luò)丟包率和視頻源條件下，和與的取值無關(guān)，那么最小化失真的問題就轉(zhuǎn)化成的問題，即。由函數(shù)極值理論，我們可以知道當(dāng)，即時(shí)，取得最小值，即取得最小值。5 實(shí)驗(yàn)研究及結(jié)果分析對(duì)本文提出的非平衡多描述視頻編碼和傳輸方案的性能我們進(jìn)行了模擬實(shí)驗(yàn)。在第一部分實(shí)驗(yàn)中，我們首先考察本文提出的非平衡多描述編碼方案在多路徑傳輸情況下的性能，這里主要比較了本文方案、傳統(tǒng)的前向糾錯(cuò)碼方案以及其他兩種非平衡多描述編碼方案，包括：獨(dú)立的非平衡多描述編碼方案 (I-UMDC)，LR描述獨(dú)立于HR描述，即UMDC編碼器以不同的目標(biāo)碼率獨(dú)立地編碼LR描述和HR描述；傳統(tǒng)的非平衡多描述編碼方案 (C-UMDC)11，LR

23、描述的生成只是簡單地重新編碼HR描述的重構(gòu)幀。在這兩種方案里，當(dāng)HR描述遇到突發(fā)的包丟失時(shí)，HR解碼器等待HR描述的下一個(gè)I幀以重新開始解碼過程，這時(shí)UMDC解碼器輸出LR描述；當(dāng)HR描述和LR描述都遇到包丟失或錯(cuò)誤傳播時(shí)，UMDC解碼器暫停解碼，UMDC解碼器的輸出是最近解碼的HR幀或者LR幀，直到UMDC解碼器取得下一個(gè)I幀以重新開始解碼。對(duì)于FEC方案，我們采用Reed-Solomon碼實(shí)現(xiàn)。UMDC方案和FEC方案的性能比較是在同樣碼率，同樣冗余下進(jìn)行。由于數(shù)據(jù)交織直接影響FEC碼在傳輸受到突發(fā)錯(cuò)誤時(shí)的性能，所以在實(shí)現(xiàn)FEC方案時(shí)，采用了數(shù)據(jù)交織的方式。我們通過修改H.264參考軟件J

24、M8.6來實(shí)現(xiàn)UMDC和FEC方案的編碼器。這里假定使用RTP負(fù)載格式打包H.264視頻流。我們先后測試了不同的視頻序列并在本文中給出了對(duì)應(yīng)Foreman和News序列 (大小: QCIF，幀率: 15幀/秒，幀數(shù): 150幀) 的結(jié)果作為示例性說明。下面的評(píng)價(jià)選擇三個(gè)指標(biāo)，分別是平均PSNR，暫停概率，以及PSNR方差。平均PSNR反映視頻的客觀質(zhì)量，另兩個(gè)指標(biāo)則說明視頻的主觀質(zhì)量，暫停概率對(duì)應(yīng)播放的流暢性而PSNR方差表示每幀視頻質(zhì)量的抖動(dòng)。實(shí)驗(yàn)參數(shù)設(shè)置如表1所示。對(duì)于每一組模型參數(shù)，實(shí)驗(yàn)?zāi)M30次。表1 仿真實(shí)驗(yàn)參數(shù)設(shè)置UMDCFEC高分辨率描述碼率(kbps)低分辨率描述碼率(kbps

25、)原始碼流碼率(kbps)FEC冗余碼流碼率(kbps)10033.3310033.33實(shí)驗(yàn)結(jié)果如圖7 圖12所示。圖7和圖8列出了四個(gè)方案的解碼視頻質(zhì)量。這里HR描述的幀內(nèi)刷新 (Intra Refreshment, IR)周期設(shè)為50幀，LR描述的幀內(nèi)刷新周期為10幀，SD的幀內(nèi)刷新周期為10幀。實(shí)驗(yàn)結(jié)果表明本文提出的UMDC明顯優(yōu)于其他的UMDC，獲得增益大約為1.0dB2.8dB。FEC方案在鏈路狀態(tài)好的時(shí)候性能優(yōu)于本文提出的UMDC，但是當(dāng)鏈路狀態(tài)較差時(shí)，本文所提出的UMDC優(yōu)于FEC。圖9和圖10說明了了四個(gè)方案的暫停概率，對(duì)視頻播放的連貫性要求暫停概率越小越好。UMDC解碼器暫停

26、只有在HR和LR描述都遇到包丟失或者錯(cuò)誤傳播才會(huì)發(fā)生，本文所提出的UMDC暫停概率最低。當(dāng)鏈路的突發(fā)錯(cuò)誤變長時(shí)，F(xiàn)EC方案視頻流的播放經(jīng)常中斷。除了解碼視頻質(zhì)量和暫停概率，我們還使用PSNR方差來評(píng)價(jià)UMDC和FEC的性能，圖11和圖12說明了四個(gè)方案的PSNR方差情況。與前兩個(gè)指標(biāo)一樣，本文所提出的UMDC性能好于其他方案，說明應(yīng)用本文所提出的UMDC，視頻流抖動(dòng)較小。圖7 Foreman QCIF序列的四種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR對(duì)比。圖8 News QCIF序列的四種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR對(duì)比。圖9 Foreman QCIF序列的四種方案在不同平

27、Bad狀態(tài)平均持續(xù)時(shí)間下的暫停概率對(duì)比。圖10 News QCIF序列的四種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的暫停概率對(duì)比。圖11 Foreman QCIF序列的四種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR方差對(duì)比。圖12 News QCIF序列的四種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR方差對(duì)比。正如節(jié)3中提及，在一些情況下，多路徑傳輸無法實(shí)現(xiàn)，所以我們繼而通過模擬實(shí)驗(yàn)來考察單路徑傳輸方案的性能。在下面的實(shí)驗(yàn)中，我們比較了多路徑傳輸?shù)腜-UMDC，單路徑傳輸?shù)腜-UMDC和FEC三個(gè)方案的性能，主要選擇平均PSNR，暫停概率，以及PSNR方差三個(gè)指標(biāo)，實(shí)驗(yàn)結(jié)果如圖13 圖18所示

28、。在圖13和圖14中，我們對(duì)比了多路徑傳輸?shù)腢MDC-MPT，單路徑傳輸?shù)腢MDC-SPT，和FEC系統(tǒng)的解碼視頻質(zhì)量，圖15和圖16給出了暫停概率的對(duì)比情況。圖17和圖18說明了PSNR方差的曲線。從圖13 圖18中，我們可以明顯發(fā)現(xiàn)單路徑傳輸?shù)腢MDC-SPT和多路徑傳輸?shù)腢MDC-MPT的性能很接近，這說明了我們的單路徑傳輸?shù)腢MDC方案在降低HR和LR描述丟包相關(guān)性方面具有很好的效果。圖13 Foreman QCIF序列的三種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR對(duì)比。圖14 News QCIF序列的三種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR對(duì)比。圖15 Foreman Q

29、CIF序列的三種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的暫停概率對(duì)比。圖 16 News QCIF序列的三種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的暫停概率對(duì)比。圖17 Foreman QCIF序列的三種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR方差對(duì)比。圖18 News QCIF序列的三種方案在不同Bad狀態(tài)平均持續(xù)時(shí)間下的PSNR方差對(duì)比。接著，我們通過模擬仿真實(shí)驗(yàn)來驗(yàn)證節(jié)4所提出的近似最優(yōu)的碼率分配方案的效果。在仿真實(shí)驗(yàn)里，我們?cè)O(shè)置平均突發(fā)丟包長度為1.5和2.0，包丟失概率為15%, 20%, 25%和30%，分別模擬不同的網(wǎng)絡(luò)狀態(tài)。我們?cè)O(shè)置視頻流的總碼率為300kbps。在圖19中，我們列

30、出了平均突發(fā)丟包長度為1.5，包丟失概率為20%的網(wǎng)絡(luò)狀態(tài)下的模型結(jié)果和仿真結(jié)果，我們可以看到模型結(jié)果的曲線和仿真結(jié)果的曲線大體走勢類似，符合的相當(dāng)好。從圖19 b)中我們可以看出，對(duì)于News QCIF序列來說，當(dāng)?shù)头直媛拭枋龅拇a率為90kbps時(shí)，接收到的視頻的PSNR達(dá)到最大值，而對(duì)于Foreman QCIF序列來說，當(dāng)?shù)头直媛拭枋龅拇a率為75kbps時(shí)，接收到的視頻的PSNR達(dá)到最大值。而在節(jié)4.3中，我們的近似最優(yōu)的碼率分配模型得出的結(jié)論為：當(dāng)?shù)头直媛拭枋龅拇a率時(shí)，接收到的視頻的失真最?。ㄒ簿褪荘SNR最大），把包丟失概率代入該式，可以得到kbps時(shí)，接收到的失真最小。從以上論述可以

31、看出，我們的近似最優(yōu)的碼率分配模型得出的結(jié)果與仿真實(shí)驗(yàn)的結(jié)果匹配的非常好，這說明了我們提出的近似最優(yōu)碼率分配模型的有效性。 (a)模型結(jié)果 (b)仿真結(jié)果圖19 平均突發(fā)丟包長度為1.5，包丟失概率為20%且總碼率為300kbps的網(wǎng)絡(luò)狀態(tài)下的模型結(jié)果和仿真結(jié)果。最后，我們通過仿真實(shí)驗(yàn)來比較本文方案（P-UMDC）和其他兩種非平衡多描述編碼方案（I-UMDC和C-UMDC）在引入不同冗余度情況下的PSNR性能。在仿真實(shí)驗(yàn)里，HR描述的幀內(nèi)刷新周期設(shè)為50幀，碼率為100kbps，LR描述的幀內(nèi)刷新周期為10幀，LR的碼率為10kbps80kbps，Bad狀態(tài)的持續(xù)時(shí)間為100ms。圖20是三種

32、UMDC方案在引入不同冗余度下的PSNR比較，橫坐標(biāo)代表LR描述的碼率。從圖20可以看到引入的冗余度越小，P-UMDC的性能優(yōu)勢越大，這進(jìn)一步說明了我們提出的P-UMDC方案優(yōu)于其他兩種UMDC方案（I-UMDC和C-UMDC）。圖20 三種UMDC方案在引入不同冗余度下的PSNR對(duì)比（Foreman QCIF序列，平均Bad狀態(tài)持續(xù)時(shí)間為100ms）6 結(jié)論及展望本文提出了一種靈活魯棒的非平衡多描述編碼和傳輸方案，能夠有效地適用于存在包丟失狀況和嚴(yán)格傳輸時(shí)限要求的視頻流媒體應(yīng)用。文章詳細(xì)討論了編解碼器架構(gòu)，多路徑和單路徑傳輸技術(shù)的結(jié)合，以及單路徑傳輸時(shí)借助兩狀態(tài)馬爾可夫丟包模型和視頻的率失真

33、模型的不同描述之間碼率分配的模型。從文中敘述和實(shí)驗(yàn)結(jié)果可以看出，本文提出的非平衡多描述編碼與其他幾種常見的非平衡多描述編碼方法相比，能更快地從丟包錯(cuò)誤中恢復(fù)過來且保證更連續(xù)地播放，具有良好的魯棒性。同時(shí)本文提出的方案結(jié)合了多路徑傳輸和單路徑傳輸，而使用單路徑傳輸?shù)男阅芘c使用多路徑傳輸?shù)男阅懿町惒淮螅瑐鬏敻屿`活。盡管本文提出的非平衡多描述編碼技術(shù)容錯(cuò)性能良好，但它的編碼效率仍有待提高。同時(shí)雖然本文討論了非平衡多描述編碼技術(shù)與多路徑傳輸和單路徑傳輸技術(shù)的結(jié)合，但是如何在單路徑傳輸和多路徑傳輸之間自適應(yīng)切換尚未在本文中考慮。這些都將在后繼研究中加以解決。參 考 文 獻(xiàn)1 Rizzo L., Eff

34、ective erasure codes for reliable computer communication protocols, ACM Computer Communication Review, 1997, 27(2): 24-36.2 Begen A. C., Altunbasak Y., Ergun O., and Ammar M. H., Multi-path selection for multiple description video streaming over overlay networks, Signal Processing: Image Communicati

35、on, 2005, 20(1): 3960.3 Goyal V. K., Multiple description coding: compression meets the network, IEEE Signal Processing Magazine, 2001, 18(5): 7493.4 Fumagalli M., Lancini R., Stanzione A., Video transmission over IP by using polyphase downsampling multiple description coding, Proceedings of IEEE In

36、ternational Conference on Multimedia and Expo, 2001: 1095-1098.5 Vaishampayan V. A., Design of multiple description scalar quantizers, IEEE Transaction on Information Theory, 1993, 39: 821-834.6 Servetto S. D., Vaishampayan V. A., Sloane N. J. A., Multiple description lattice vector quantization, Pr

37、oceeding of IEEE Data Compression Conference, Snowbird, UT, 1999: 13-22.7 Wang Y., Orchard M. T., Vaishampayan V. A., Reibman A. R., Multiple description coding using pairwise correlating transform, IEEE Transaction on Image Processing, 2001, 10: 351-366.8 Apostolopoulos J. G. and Wee S. J., Unbalan

38、ced Multiple Description Video Communication Using Path Diversity, Proceedings of IEEE International Conference on Image Processing (ICIP01), Thessaloniki, Greece, 2001: 966-969.9 Comas D., Singh R. and Ortega A., Rate-Distortion Optimization in a Robust Video Transmission Based on Unbalanced Multip

39、le Description Coding, Proceedings of Workshop on Multimedia Signal Processing, Cannes, France, 2001: 581-586.10 Ekmekci S. and Sikora T., Unbalanced Quantized Multiple Description Video Transmission using Path Diversity, Proceedings of SPIE Image and Video Communications and Processing 2003, Santa

40、Clara, CA, 2003: 301-311.11 Fumagalli M., Lancini R., and Tubaro S., A Novel Error-Concealment Algorithm for an Unbalanced Multiple Description Coding Architecture, Proceedings of Packet Video 2004, Irvine, CA, 2004: 21-30.12 Apostolopoulos J., Reliable video communication over lossy packet networks

41、 using multiple state encoding and path diversity, Proceeding of Visual Communications Image Processing, 2001: 392409.13 Gogate N., Chung D., Panwar S. S., Wang Y., Supporting video/image applications in a mobile multihop radio environment using route diversity and multiple description coding, IEEE

42、Transaction on Circuits System for Video Technology, 2002, 12(9): 777792.14 Mao S., Lin S., Panwar S. S., Wang Y., Celebi E., Video transport over ad hoc networks: Multistream coding with multipath transport, IEEE Journal on Selected Areas in Communications, 2003, 21: 17211737.15 Begen A. C., Altunb

43、asak Y., Ergun O., Multi-path selection for multiple description encoded video streaming, Proceedings of IEEE International Conference on Communication, 2003, 3: 15831589.16 Chakareski J., Setton E., Liang Y., Girod B., Video streaming with diversity, Proceedings of IEEE International Conference on

44、Multimedia and Expo, 2003, 1: 912.17 Vilei A., Convertino G., Oliva S., and Cuppone R., A novel unbalanced multiple description scheme for video transmission over WLAN, Proceedings of the 3rd ACM international workshop on Wireless mobile applications and services on WLAN hotspots, 2005: 39-47.18 Lee

45、 Yen-Chi, Altunbasak Y., and Mersereau R. M., Optimal packet scheduling for multiple description coded video transmissions over lossy networks, Proceedings of IEEE GLOBECOM03, 2003, 6: 35693573.19 Begen A. C., Altunbasak Y., Ergun O., and Ammar M. H., Multi-path selection for multiple description vi

46、deo streaming over overlay networks, Signal Processing: Image Communication, 2005, 20(1): 3960.A Robust and Flexible Unbalanced Multiple Description Video Coding and Transmission SchemeLI Bin+, HUANG Feng, SUN Lifeng, YANG Shiqiang(Department of Computer Science and Technology, Tsinghua University,

47、Beijing 100084, China)Abstract: Video transmission over packet networks is generally hampered by packet losses. Since the video codecs commonly use predictive coding technology to efficiently reduce temporal redundancy, even a single packet loss may cause error propagation until an intra-coded frame

48、 is received. Thus packet losses will greatly degrade the received video quality. To address the issue, we propose a flexible and robust unbalanced multiple description coding and transmission scheme in this paper, which is capable of quickly recovering from packet losses and ensuring continuous pla

49、yback, and further adaptive to both multiple path and single path transmission. Furthermore, we investigate the problem of rate allocation between different descriptions when only single path transmission is available and propose an approximate while efficient rate allocation scheme with the help of

50、 two-state Markov link model and a representative rate-distortion model. The experimental results demonstrate the effectiveness of the proposed scheme.Key words: multiple description coding; unbalanced multiple description coding; rate allocation; video coding; transmission scheme李彬, 男, 1981年生, 博士生,

51、 主要研究領(lǐng)域?yàn)橐曨l壓縮和通信; LI Bin, born in 1981, PhD candidate. His research interests are mainly in the areas of video compression and communication黃峰, 男, 1979年生, 博士生, 主要研究領(lǐng)域?yàn)闊o線網(wǎng)絡(luò)下視頻編碼和傳輸;HUANG Feng, born in 1979, PhD candidate. His research interests are mainly in the areas of video coding and transmission

52、for wireless networks.孫立峰, 男, 1972年生, 博士, 副教授, 主要研究領(lǐng)域?yàn)榻换ザ嘁朁c(diǎn)視頻, 異構(gòu)網(wǎng)絡(luò)流媒體;SUN Lifeng, born in 1972, PhD, associate professor. His research interests are mainly in the areas of interactive multi-view video and media streaming.楊士強(qiáng), 男, 1952年生, 教授, 博士生導(dǎo)師, 主要研究領(lǐng)域?yàn)橐曨l分析和網(wǎng)絡(luò)多媒體YANG Shiqiang, born in 1952, profe

53、ssor and PhD supervisor. His research interests mainly include multimedia signal processing and video content analysis.BackgroundVideo transmission over networks is hampered by packet losses. Even a single packet loss may cause error propagation until an intra-coded frame is received. Indeed, packet

54、 losses greatly degrade the video quality. To address the issue, many methods are proposed. A general method to limit error propagation is to insert intra coding frames. However the high bitrate makes it particularly difficult to apply in many applications. Forward Error Correction (FEC) codes can also be deployed to increase the robustness of the coded bit-stream and thus reduc