視頻技術(shù)原理1.ppt

1、1,視音頻技術(shù)基本原理,深圳市迪威視訊技術(shù)有限公司,2,主要內(nèi)容,數(shù)字音頻基礎(chǔ)知識(shí) 數(shù)字視頻基礎(chǔ)知識(shí) 音頻編碼技術(shù) 視頻編碼技術(shù),3,一、數(shù)字音頻基礎(chǔ)知識(shí),4,音頻基本特性,音頻特性 音頻信號(hào)由許多頻率不同的聲波組成。音頻信號(hào)的兩個(gè)基本參數(shù)是頻率和幅度。 人發(fā)音器官聲音頻頻率范圍：803400Hz。 人耳感知音頻頻率范圍：2020000Hz。,5,音頻信號(hào)數(shù)字化,模擬信號(hào)與數(shù)字信號(hào)處理對(duì)比 時(shí)間上離散-采樣 幅度上離散-量化 語(yǔ)音質(zhì)量與采樣頻率 Nyquist原理 語(yǔ)音質(zhì)量與采樣精度 量化噪聲與量化比特?cái)?shù) 語(yǔ)音質(zhì)量與數(shù)據(jù)率,6,音頻信號(hào)數(shù)字化,采樣頻率(Khz) 采樣精度(bps) 數(shù)據(jù)率(

2、未壓縮KBps) 頻率范圍(hz) 普通電話 8 8 8 2003400 AM 11.025 8 11 2015000 FM 22.050 16 88.2 507000 CD 44.1 16 176.4 2020000 DAT 48 16 192.0 2020000,7,二、數(shù)字視頻基礎(chǔ)知識(shí),8,彩色電視制式,NTSC制式 PAL制式 SECAM制式 HDTV制式,9,彩色視頻信號(hào)類(lèi)型,復(fù)合視頻 分量視頻 RGB YIQ YUV S-Video,10,電視掃描與同步,逐行掃描與隔行掃描 場(chǎng)與幀 PAL制式的掃描特性 625行/幀，25幀/秒 寬高比43 隔行掃描,11,視頻數(shù)字化兩種方式,1、

3、 模擬全彩色信號(hào)-分量信號(hào) -三個(gè)A/D 2、 模擬全彩色信號(hào)-A/D轉(zhuǎn)換 -數(shù)字域進(jìn)行分量分離,12,行同步與場(chǎng)同步,13,HDTV簡(jiǎn)介,高清晰度電視（HDTV） 顯示器：169 幀頻： =100Hz 圖像格式：1280 x720p，1920 x1080i 碼率：=20Mbps 主要制式：8VSB（北美），COFDM（歐洲）,14,多媒體數(shù)據(jù)壓縮技術(shù),空間冗余 時(shí)間冗余 信息熵冗余 結(jié)構(gòu)冗余 知識(shí)冗余 視覺(jué)冗余 其他冗余,15,三、音頻編碼技術(shù),16,編碼器類(lèi)型,波形編碼器 脈沖編碼調(diào)制（PCM） 差分脈沖編碼調(diào)制（DPCM） 子帶編碼（Sub-Band Coding） 音源編碼器 混合編碼

4、器 碼激勵(lì)線性預(yù)測(cè)（Code Excited Linear Predictive）,17,音頻編碼標(biāo)準(zhǔn),G.711 G.721 G.722 G.728 G.729 G.723.1 MPEG-1 layer1/2/3 MPEG-2 AAC,18,聲音的遮蔽現(xiàn)象,19,音頻MUSICAM編碼,20,四、視頻編碼技術(shù),21,一、視頻編碼基礎(chǔ),1、數(shù)字電視系統(tǒng) 在電視信號(hào)的獲取、產(chǎn)生、處理、傳輸、接收和存儲(chǔ)的全過(guò)程中使用數(shù)字電視信號(hào)，稱(chēng)為數(shù)字電視系統(tǒng)。 數(shù)字電視系統(tǒng)可分為三大類(lèi)： (l)衛(wèi)星數(shù)字電視廣播系統(tǒng)； (2)有線數(shù)字電視廣播系統(tǒng)； (3)地面數(shù)字電視廣播系統(tǒng)。,22,2、視頻信號(hào)的數(shù)字化及表示

5、,取樣空間的離散化把時(shí)間、幅度連續(xù)的模擬信號(hào)轉(zhuǎn) 變?yōu)闀r(shí)間離散、幅度連續(xù)的信號(hào)，即時(shí)間離散 化；量化幅度的離散化把幅度連續(xù)信號(hào)轉(zhuǎn)換為幅度離散 信號(hào)，即幅度離散化；三基色原理：任何顏色均由紅（R）、綠（G）、蘭（B） 三種顏色分量組成； 在電視原理里，用亮度（Y）、藍(lán)色差（U）、紅色差（V）三個(gè)分量表示。兩種方法相互之間的轉(zhuǎn)換： Y = 0.3R + 0.59G + 0.11B U = B Y V = R Y R = Y + V G = Y 0.19U 0.51V B = Y + U,23,3、視頻壓縮的必要性 數(shù)據(jù)量太大，占用帶寬太寬 例：1秒鐘PAL圖像數(shù)據(jù) 720 x576x25x8x3=2

6、48，832，000bps,4、視頻壓縮的可能性 空間冗余性 相鄰像素之間具有很強(qiáng)的相關(guān)性 時(shí)間冗余性 相鄰幀之間具有很強(qiáng)的相關(guān)性 視覺(jué)冗余性 對(duì)亮度敏感，對(duì)色度不敏感 對(duì)低頻敏感，對(duì)高頻不敏感,24,圖像信號(hào)中存在的冗余,25,5、視頻壓縮的基本方法及關(guān)鍵技術(shù),正交變換 去掉空間冗余性，主要采用DCT 運(yùn)動(dòng)估計(jì)/補(bǔ)償 去掉時(shí)間冗余性 色度下采樣 去掉視覺(jué)冗余性,26,關(guān)鍵技術(shù)環(huán)節(jié)：,1、離散余弦變換DCT DCT是一種空間變換，在MPEG-2中DCT以8x8的像塊為單位進(jìn)行，生成的是8x8的DCT系數(shù)數(shù)據(jù)塊。DCT變換的最大特點(diǎn)是對(duì)于一般的圖像都能夠?qū)⑾駢K的能量集中于少數(shù)低頻DCT系數(shù)上，即

7、生成8x8DCT系數(shù)塊中，僅左上角的少量低頻系數(shù)數(shù)值較大，其余系數(shù)的數(shù)值很小，這樣就可能只編碼和傳輸少數(shù)系數(shù)而不嚴(yán)重影響圖像質(zhì)量。變換傾向于把能量集中到低頻系數(shù)上，而很多其它系數(shù)則接近于零。比特率的降低是依靠不傳送接近零值的系數(shù)，而像后面所說(shuō)的那樣對(duì)剩下的系數(shù)進(jìn)行量化和編碼。不均勻的系數(shù)分布是由于原圖像塊中存在的空間冗余度。 DCT不能直接對(duì)圖像產(chǎn)生壓縮作用，但對(duì)圖像的能量具有很好的集中效果，為壓縮打下了基礎(chǔ)。,27,離散余弦變換DCT,1 TV line (64us) 720 pixels,“Luminance”,700mV,0 mV,1 TV line (64us) 720 pixels,

8、“Luminance”,700 mV,0 mV,28,2、量化器,量化是針對(duì)DCT變換系數(shù)進(jìn)行的，量化過(guò)程就是以某 個(gè)量化步長(zhǎng)去除DCT系數(shù)。量化步長(zhǎng)的大小稱(chēng)為量化精度， 量化步長(zhǎng)越小，量化精度就越細(xì)，包含的信息越多，但 所需的傳輸頻帶越高。不同的DCT變換系數(shù)對(duì)人類(lèi)視覺(jué)感 應(yīng)的重要性是不同的，因此編碼器根據(jù)視覺(jué)感應(yīng)準(zhǔn)則， 對(duì)一個(gè)8x8的DCT變換塊中的64個(gè)DCT變換系數(shù)采用不同的 量化精度，以保證盡可能多地包含特定的DCT空間頻率信 息，又使量化精度不超過(guò)需要。DCT變換系數(shù)中，低頻系 數(shù)對(duì)視覺(jué)感應(yīng)的重要性較高，因此分配的量化精度較細(xì)； 高頻系數(shù)對(duì)視覺(jué)感應(yīng)的重要性較低，分配的量化精度較 粗

9、，通常情況下，一個(gè)DCT變換塊中的大多數(shù)高頻系數(shù)量 化后都會(huì)變?yōu)榱?。要注意編碼器所產(chǎn)生的量化噪波是不 能在解碼器中逆轉(zhuǎn)的，這就使編碼和解碼過(guò)程“有損”。,29,3.游程編碼與Z掃描 Z掃描 主要目的是將2維信號(hào)轉(zhuǎn)換成1維信號(hào)，便于游程編碼 游程編碼 一對(duì)碼字（N，L），第一個(gè)字節(jié)為非零值的電平前面的零的個(gè)數(shù)非零值的電平，第二個(gè)為非零值的電平，為熵編碼做好進(jìn)一步的準(zhǔn)備。,30,Z 字型掃描與游程編碼,31,4、熵編碼,量化僅生成了DCT系數(shù)的一種有效的離散表示，實(shí)際傳輸前，還須對(duì)其進(jìn)行比特流編碼，產(chǎn)生用于傳輸?shù)臄?shù)字比特流。簡(jiǎn)單的編碼方法是采用定長(zhǎng)碼，即每個(gè)量化值以同樣數(shù)目的比特表示，但這種方法的

10、效率較低。而采用熵編碼可以提高編碼效率。熵編碼是基于編碼信號(hào)的統(tǒng)計(jì)特性，使得平均比特率下降。游程和非零系數(shù)既可獨(dú)立的，也可聯(lián)合的作熵編碼。熵編碼中使用較多的一種是霍夫曼編碼，MPEG-2視頻壓縮系統(tǒng)中采用的就是霍夫曼編碼?；舴蚵幋a中，在確定了所有編碼信號(hào)的概率后生產(chǎn)一個(gè)碼表，對(duì)經(jīng)常發(fā)生的大概率信號(hào)分配較少的比特表示，對(duì)不常發(fā)生的小概率信號(hào)分配較多的比特表示，使得整個(gè)碼流的平均長(zhǎng)度趨于最短。為使解碼器能分辨在什么地方一個(gè)碼終止和下一個(gè)碼開(kāi)始，VLC有這樣一個(gè)特性：沒(méi)有一個(gè)完整的碼是任何其它的碼的前頭部分。,32,5、信道緩存,由于采用了熵編碼，產(chǎn)生的比特流的速率是變化的， 隨著視頻圖像的統(tǒng)計(jì)特

11、性變化。但大多數(shù)情況下傳輸系 統(tǒng)分配的頻帶都是恒定的，因此在編碼比特流進(jìn)入信道 前需設(shè)置信道緩存。信道緩存是一緩存器，以變比特率 從熵編碼器向里寫(xiě)入數(shù)據(jù)，以傳輸系統(tǒng)標(biāo)稱(chēng)的恒定比特 率向外讀出，送入信道。緩存器的大小，或稱(chēng)容量是設(shè) 定好的，但編碼器的瞬時(shí)輸出比特率常明顯高于或低于 傳輸系統(tǒng)的頻帶，這就有可能造成緩存器的上溢出或下 溢出。因此緩存器須帶有控制機(jī)制，通過(guò)反饋控制壓縮 算法，調(diào)整編碼器的比特率，使得緩存器的寫(xiě)入數(shù)據(jù)速 率與讀出數(shù)據(jù)速率趨于平衡。緩存器對(duì)壓縮算法的控制,33,是通過(guò)控制量化器的量化步長(zhǎng)實(shí)現(xiàn)的，當(dāng)編碼器的瞬時(shí)輸出速率過(guò)高，緩存器將要上溢時(shí)，就使量化步長(zhǎng)增大以降低編碼數(shù)據(jù)速率

12、，當(dāng)然也相應(yīng)增大了圖像的損失；當(dāng)編碼器的瞬時(shí)輸出速率過(guò)低，緩存器將要下溢出時(shí)，就使量化步長(zhǎng)減小以提高編碼數(shù)據(jù)速率。,34,6、運(yùn)動(dòng)估計(jì),運(yùn)動(dòng)估計(jì)使用于幀間編碼方式時(shí)，通過(guò)參考幀圖像產(chǎn)生對(duì)被壓縮圖像的估計(jì)。運(yùn)動(dòng)估計(jì)的準(zhǔn)確程度對(duì)幀間編碼的壓縮效果非常重要。如果估計(jì)作的好，那么被壓縮圖像與估計(jì)圖像相減后只留下很小的值用于傳輸。運(yùn)動(dòng)估計(jì)以宏塊為單位進(jìn)行，計(jì)算被壓縮圖像與參考圖像的對(duì)應(yīng)位置上的宏塊間的位置偏移。這種位置偏移是以運(yùn)動(dòng)矢量來(lái)描述的，一個(gè)運(yùn)動(dòng)矢量代表水平和垂直兩個(gè)方向上的位移。運(yùn)動(dòng)估計(jì)時(shí)，P幀和B幀圖像所使用的參考幀圖像是不同的。P幀圖像使用前面最近解碼的I幀或P幀作參考圖像，稱(chēng)為前向預(yù)測(cè)；而

13、B幀圖像使用兩幀圖像作為預(yù)測(cè)參考，稱(chēng)為雙向預(yù)測(cè)，其中一個(gè)參考幀在顯示順序上先于編碼幀(前向預(yù)測(cè))，另一幀在顯示順序上晚于編碼幀(后向預(yù)測(cè))，B幀的參考幀在任何情況下都是I幀或P幀。,35,此技術(shù)利用了時(shí)間冗余度，它試圖從前面的“參考”幀來(lái)預(yù)測(cè)要編碼的幀。預(yù)測(cè)不能以源圖像為基礎(chǔ)，因?yàn)檫@個(gè)預(yù)測(cè)要在解碼器中重復(fù)，而在解碼器中是沒(méi)有源圖像可用的（解碼圖像與源圖像不盡相同，因?yàn)榇a率壓縮過(guò)程在解碼圖像中引入了少量失真）。因此，編碼器含有一個(gè)本地解碼器，它能重建與解碼器中將重建的圖像完全相同的圖像，由此可進(jìn)行預(yù)測(cè)。 一種確定待編碼塊與參考幀之間所發(fā)生的運(yùn)動(dòng)的方法是“塊匹配”搜索，這種方法在編碼器中試驗(yàn)大量的試探偏置。根據(jù)待編碼塊與預(yù)測(cè)塊之間的最小誤差來(lái)選擇“最佳”偏置。,36,7、運(yùn)動(dòng)補(bǔ)償,利用運(yùn)動(dòng)估計(jì)算出的運(yùn)動(dòng)矢量，將