多媒體信息處理技術(shù)

1、北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院1第第5章：多媒體信息傳輸中章：多媒體信息傳輸中的差錯控制技術(shù)的差錯控制技術(shù)盧燕飛盧燕飛北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院2第第1節(jié)：差錯控制概述節(jié)：差錯控制概述n多媒體應(yīng)用中錯誤的類型多媒體應(yīng)用中錯誤的類型ApplicationError CharacteristicsVideophone over PSTNFew bit errors and packet lossVideoconferencing over ISDNPractically error free (BER 10-8)Digital TelevisionAlmos

2、t error free (after FEC)Video streaming over the InternetPacket loss of 0-30%Wireless video (cell phone)BER up to 10-3, Burst errorsn(The above are very rough numbers. BER = bit error rate)北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院3 n目的:q克服由于分組交換網(wǎng)絡(luò)中丟包或者無線鏈路中突發(fā)錯誤對業(yè)務(wù)造成的影響n 差錯控制的方法:q重傳：Retransmissionq前向糾錯：Forward Error

3、Correction (FEC)q錯誤掩蓋：Error concealmentq容錯視頻編碼：Error-resilient video coding信道編碼信道編碼信源編碼信源編碼北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院41. 重傳重傳n要求：發(fā)端和收端之間必須有反饋信道n 方法：qReceiver tells sender which packets were received/lost and sender resends lost packetsn 優(yōu)點：q只重傳丟失的包，有效利用帶寬；q 容易適應(yīng)信道條件的變化；n 缺點：q對于實時業(yè)務(wù)有 容忍限制（Extra latency

4、） ，大致等于round-trip-time (RTT)q 對于沒有反饋信道的應(yīng)用不可用，比如e.g. broadcast, multicast；q 隨著RTT的增加，傳輸效率降低；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院5重傳（續(xù)）重傳（續(xù)）n其它特點:q重傳的延遲限制:p重傳的數(shù)據(jù)包必須及時達(dá)到；q基于優(yōu)先策略的重傳:p Retransmit important packets before unimportant packetspExamples of coded video data with different importance:p Different frame typ

5、es:n I-frame: Most importantn P-frame: Medium importancen B-frame: Minimum importance (can be discarded)p Different layers in a scalable coder:n Base layer: Most importantn Enhancement layer 1: Medium importancen Enhancement layer 2: Minimum importance北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院6重傳的時間限制重傳的時間限制重傳的數(shù)據(jù)包不能超

6、過此延時重傳的數(shù)據(jù)包不能超過此延時北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院72. Forward Error Correction (FEC)nFEC的目的:q 利用增加的冗余，來實現(xiàn)對錯誤的恢復(fù)。q常用的方法：各種差錯控制編碼n Reed-Solomon Code: RS(N, K) code with s-bit symbolsq Invented in 1960 at MIT Lincoln Labq Input: K s-bit symbolsq Output: N s-bit symbols (i.e., N-K s-bit parity symbols)q Error co

7、rrection capability:p If error locations are unknown: Up to (N-K) / 2 symbol errors.p If errors locations are known (erasure): Up to (N-K) symbol errors.n (One symbol error: One or more bits of a symbol have errors).q Very suitable for burst errors: storage (CD, DVD), satellite commq Example: RS(255

8、, 223) with 8-bit symbolsp N = 255, K = 223p N K = 32p Correction capability: up to 16 symbol errors or 32 erasure errors北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院8FEC技術(shù)的發(fā)展技術(shù)的發(fā)展n不等差錯防護：Unequal error protection (UEP):qMore (Less) protections for more (less) important data.北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院9FEC技術(shù)的特點技術(shù)的特點n優(yōu)點：q直接進

9、行糾錯nFEC的問題:qLoss of compression efficiencyqDelay:p解碼的時候：必須一次差錯編碼的所有數(shù)據(jù)包都到達(dá)后，才能開始使用；p 編碼時，必須完成一次完整的差錯控制編碼后，數(shù)據(jù)包才可以發(fā)送；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院103 . 錯誤掩蓋技術(shù)的實例錯誤掩蓋技術(shù)的實例有時也稱為：有時也稱為：0冗余技術(shù)冗余技術(shù)北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院114. 容錯視頻編碼技術(shù)容錯視頻編碼技術(shù)n目的： q設(shè)計相應(yīng)視頻壓縮算法和壓縮比特流，可以實現(xiàn)對錯誤適應(yīng)；q也就是在錯誤存在的情況下解碼，使得影響最?。籲壓縮視頻中易受差錯影響的主要是

10、以下兩方面：qVLCqPrediction北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院12第第2節(jié)：錯誤掩蓋技術(shù)（節(jié)：錯誤掩蓋技術(shù)（Error Concealment）n1.錯誤掩蓋技術(shù)的基本特征q目的：p對錯誤信息進行估計，一般掩蓋錯誤發(fā)生的事實；q錯誤掩蓋技術(shù)在Decoder上使用，不會降低系統(tǒng)有效性；q實現(xiàn)依據(jù)：p視頻的表現(xiàn)是其空間和時間特性的一個綜合體現(xiàn)；p人的視聽系統(tǒng)對某些錯誤不是很敏感；q實現(xiàn)方法：p利 用 正 確 接 受 到 的 數(shù) 據(jù) ， 進 行 一 些 時 間 / 空 間 上 的 內(nèi) 插（spatial/temporal interpolation） ，來對丟失數(shù)據(jù)進行估

11、計；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院132.錯誤掩蓋技術(shù)中的內(nèi)插技術(shù)錯誤掩蓋技術(shù)中的內(nèi)插技術(shù)n分析前提：q假設(shè)發(fā)生一個宏塊 (16x16 block of pixels)數(shù)據(jù)的 錯誤。n三 種 類 型 的 內(nèi) 插 技 術(shù) 來 實 現(xiàn) e r r o r concealment:q空間內(nèi)插：Spatial interpolationq時間內(nèi)插：Temporal interpolation (freeze frame)q基 于 運 動 補 償 的 時 間 內(nèi) 插 ： M o t i o n -compensated temporal interpolation北京交通大學(xué)電子信息學(xué)

12、院北京交通大學(xué)電子信息學(xué)院14空間內(nèi)插空間內(nèi)插:n根據(jù)周圍的像素值（正確）來推斷出錯誤的像素數(shù)據(jù)；n完全正確的估計很困難，但是可以正確的估計出它的平均值，這也是非常有幫助的。北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院15時間內(nèi)插時間內(nèi)插n把前幀圖像相同位置的像素拷貝過來作為恢復(fù)數(shù)據(jù)，也就是對幀的凍結(jié)；n當(dāng)這部分內(nèi)容不動時有效，當(dāng)運動時會出現(xiàn)一些問題；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院16加入運動估計的時間內(nèi)插加入運動估計的時間內(nèi)插n利用之前的幀采用運動估計的技術(shù)來估計出丟失的塊n運動估計的過程中可以利用 相鄰的MV，或者通過計算得到的新的MV北京交通大學(xué)電子信息學(xué)院北京交通

13、大學(xué)電子信息學(xué)院17討論討論n通常數(shù)據(jù)的丟失會超過一個macroblockq例如： lose a row of macroblocksor an entire framen通常的應(yīng)用會是一種綜合的應(yīng)用：空間/時間內(nèi)插同時使用；n基于MC的時間內(nèi)插技術(shù)可以獲得較好的效果，前提是有準(zhǔn)確的MVn有許多經(jīng)典的算法存在nError concealment技術(shù)用在 decoderq一些新的錯誤掩蓋算法可以作為與標(biāo)準(zhǔn)兼容的增強部分，加入到解碼器中；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院18第第3節(jié)：容錯視頻編碼技術(shù)節(jié)：容錯視頻編碼技術(shù)n1. 容錯編碼概述：n目標(biāo)：q設(shè)計一種視頻壓縮算法和壓縮后的比

14、特流結(jié)構(gòu)使得它具有更好的容錯特性。n原因：壓縮視頻容易受到錯誤的攻擊n舉例：qError in VLCqError in prediction 通過修改圖像文件數(shù)據(jù)實例說明容錯的概念通過修改圖像文件數(shù)據(jù)實例說明容錯的概念北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院19n針對容錯編碼技術(shù)的討論，主要從一下兩個方面展開：q錯誤導(dǎo)致的基本問題是什么？q解決這些問題的方法是什么？北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院202. 差錯導(dǎo)致的問題差錯導(dǎo)致的問題n前提：q對于傳統(tǒng)的MPEG-like視頻編碼系統(tǒng)使用MC-prediction, Block-DCT, runlength and H

15、uffman codingn兩種主要的問題：qLoss of bitstream synchronization：解碼器不知道比特對應(yīng)的什么參數(shù)p例如：error in Huffman codewordqIncorrect state and error propagation： Decoders state is different from encoders, leading to incorrect predictions and error propagationp例如：error in MC-prediction or DC-coefficient prediction北京交通大學(xué)電

16、子信息學(xué)院北京交通大學(xué)電子信息學(xué)院213. Basic Error-Induced Problems:Loss of Bitstream Synchronizationn失去比特流同步的錯誤：導(dǎo)致解碼器不能識別數(shù)據(jù)的對應(yīng)參數(shù)qExample: Error in Huffman codeword or other variable length code (VLC)pSingle bit error can lead to significant subsequent lossnNotes:q定長編碼(FLC)不會出現(xiàn)這樣的問題，因為碼字的開始和結(jié)束是已知的p數(shù)據(jù)的丟失只是限制在單個碼字；q但是

17、FLC不能提供好的壓縮性能；qVLC可以提供很好的熵編碼效果，廣泛使用；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院22方法方法1：加入重新同步標(biāo)記：加入重新同步標(biāo)記nBitstream 同步的問題n目的：建立一種可以恢復(fù)同步的機制n方法：Use resyncmarkersqa) 設(shè)計一個與其它碼字不同的標(biāo)記，用它把碼字串聯(lián)起來，而不引起混亂；qb)信息丟失后，遇到新標(biāo)記之后又可以恢復(fù)同步，重新解碼北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院23問題討論問題討論n同步標(biāo)記放在哪里？q1.放置在比特流的一些重要位置（strategic locations）例如：beginning of

18、frame, slice, etc. (MPEG-1/2, H.261/3)p標(biāo)記的位置針對與編碼塊相對固定，而相對與比特是可變的；p運動性強的區(qū)域出現(xiàn)錯誤的概率會增加；q2.周期性的放置resyncmarkers (MPEG-4)pResyncevery fixed # of bits, variable # of blockspAdvantages:n Active areas less likely to be corruptedn Simplifies search for resyncmarkersn Supports network packetization北京交通大學(xué)電子信息學(xué)

19、院北京交通大學(xué)電子信息學(xué)院24方法方法2：Reversible variable length codes (RVLC):n傳統(tǒng)的VLC解碼只能按照前向來完成；nRVLC這種方法可以從backward direction來實現(xiàn)解碼；n實現(xiàn)方法：q如果檢查到錯誤，跳到下一個resync標(biāo)記，然后開始反向解碼，這樣可以部分的恢復(fù)失步的數(shù)據(jù)（否則這部分?jǐn)?shù)據(jù)都將被遺棄）北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院25方法方法3：Data partitioningn依據(jù)依據(jù)：離resync標(biāo)記越近的比特的準(zhǔn)確度要比遠(yuǎn)離標(biāo)記的比特高n實現(xiàn)思路實現(xiàn)思路: 把重要的信息(MVs, shape info,

20、DC coeffs)緊跟在resync標(biāo)記之后，而重要性其次的信息(AC coeffs)放在后面n效果效果：與常規(guī)的方法相比，這時的數(shù)據(jù)以MB為基礎(chǔ)交織，有利于容錯；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院26總結(jié)：總結(jié)：Overcoming Loss of Bitstream Synchronizationn方法的種類：qResyncmarkers at strategic locationsqResyncmarkers at periodic locationsqReversible VLCs(RVLCs)qData partitioningn基本思路q隔離錯誤信息q實現(xiàn)快速的 r

21、esynchronization 北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院274. Incorrect State and Error Propagation n解碼器端的錯誤狀態(tài)和差錯擴散q錯誤會導(dǎo)致在解碼器端重構(gòu)的幀狀態(tài)錯誤；q由于解碼幀和編碼幀的差異，會導(dǎo)致不正確的預(yù)測，從而導(dǎo)致誤差的擴散；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院28主要解決方法主要解決方法n目的：限制誤差擴散的影響q例如：reinitialize prediction loopnApproaches:q全部采用 I-framep可以消除誤差擴散，但是壓縮效果大大降低q周期性的采用 I-frames, 比

22、如： MPEG GOP結(jié)構(gòu)p例如：: I-frame every 15 framesp可以把差錯擴散限制在1個 GOP范圍p會對視頻壓縮效率產(chǎn)生影響 (inappropriate for very low bit rate video, e.g. wireless video or video over the Internet)北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院29方法方法1：在幀中采用部分的：在幀中采用部分的intra-coding n部分的含義：在幀中某些單個的MB采用intra-codingn實現(xiàn)q1.Periodic intra-coding of all MBsp 1

23、/N of the MBs in each frame are intra-coded in a predefined order; after N frames all MBs have been intra-codedq2.Preemptive intra-coding based on estimated vulnerability to errorspOptimize intra/inter mode decisions based on a channel loss model北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院30n采用intra-coding方法的優(yōu)點：q有效的限制錯

24、誤的擴散q編碼器不增加復(fù)雜度，解碼器更簡單；n缺點：qintra coding 需要更高的比特率，限制了它的使用；q進一步優(yōu)化需要準(zhǔn)確地了解信道地特性；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院31方法方法2：Point-to-point with back-channeln應(yīng)用前提：Point-to-point communication with a back-channelq例如： video phone, video conferencingnDecoder 檢測到錯誤后通知編碼器:q重新初始預(yù)測 (使用 I-frame)p特點：簡單、直接p代價： intra coding需要更

25、高 bit rate q選擇一個合適的幀作為下次預(yù)測的參考pEncoder & decoder store multiple previously coded framespEncoder chooses which previously coded frame to use as reference for prediction (only use correctly received frames)pTwo basic modes of operations: ACK, NACK 北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院32ACK moden特點：Encoder 只使用ac

26、k確認(rèn)的幀作為預(yù)測參考幀q優(yōu)點：可以最小化差錯擴散；q缺點：可能會使用一些 “ o l d ” frames 導(dǎo)致不好的壓縮性能；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院33小結(jié)：小結(jié)：Point-to-point with back-channeln優(yōu)點：q利用反饋特性可以達(dá)到很好的容錯效果qNewPred in MPEG-4, Reference Picture Selection in H.263n缺點：需要有可靠的反饋信道，同時要求有更小的RTD (round trip delay )q隨著RTD時間的增加，效果會降低；q對于廣播、組播、沒有反向信道的點對點業(yè)務(wù)不適用；北京交通

27、大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院345.其他容錯編碼技術(shù)其他容錯編碼技術(shù)nScalable video coding:q視頻編碼分成： （a base layer）+ （one or more enhancement layers）pExamples: Temporal, spatial, SNR (quality) scalabilityq視頻數(shù)據(jù)具有了優(yōu)先級別；q不同的優(yōu)先級有利于實現(xiàn)可靠的視頻傳輸；例如：p unequal error protectionp prioritized retransmissionqScalable coding對于支持差異服務(wù)的網(wǎng)絡(luò)具有很好的適應(yīng)；

28、北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院35n伸縮編碼用于容錯的問題q目前的互聯(lián)網(wǎng)是 best-effort:p不支持 QoSp所有的包具有相同的丟失概率；q另外，base layer的重要性也限制了應(yīng)用的推廣p如果基本層出現(xiàn)錯誤，整個視頻都可能出現(xiàn)問題；伸縮編碼和 best-effort Internet的不匹配之處:伸縮編碼產(chǎn)生的多層比特流具有不同的重要性；Best-effort Internet 對這些比特流相同應(yīng)對；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院366. 多描述視頻編碼n多描述視頻編碼：Multiple description (MD) video codin

29、gqCode video into a number of descriptions, each of roughly equal importancenMD編碼的屬性:qReceiving either bitstream leads to good quality videoqReceiving both bitstreams leads to highest quality video北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院37傳統(tǒng)的單描述編碼和多描述編碼比較n當(dāng)多個錯誤出現(xiàn)時，MD屬性還是不夠；q只要不同描述不是同時出錯，狀態(tài)可以根據(jù)不同的描述進行恢復(fù)；北京交通大學(xué)電子信息學(xué)院北京交通大學(xué)電子信息學(xué)院38MD編碼的錯誤恢復(fù)編碼的錯誤恢復(fù)n特點：提高對錯誤的恢復(fù)能力q其他