視頻技術(shù)原理

視頻技術(shù)原理第1頁，課件共40頁，創(chuàng)作于2023年2月2主要內(nèi)容數(shù)字音頻基礎(chǔ)知識數(shù)字視頻基礎(chǔ)知識音頻編碼技術(shù)視頻編碼技術(shù)第2頁，課件共40頁，創(chuàng)作于2023年2月3一、數(shù)字音頻基礎(chǔ)知識第3頁，課件共40頁，創(chuàng)作于2023年2月4音頻基本特性音頻特性 音頻信號由許多頻率不同的聲波組成。音頻信號的兩個基本參數(shù)是頻率和幅度。人發(fā)音器官聲音頻頻率范圍：80~3400Hz。人耳感知音頻頻率范圍：20~20000Hz。

第4頁，課件共40頁，創(chuàng)作于2023年2月5音頻信號數(shù)字化模擬信號與數(shù)字信號處理對比

時間上離散-采樣幅度上離散-量化語音質(zhì)量與采樣頻率

Nyquist原理語音質(zhì)量與采樣精度量化噪聲與量化比特數(shù)語音質(zhì)量與數(shù)據(jù)率第5頁，課件共40頁，創(chuàng)作于2023年2月6音頻信號數(shù)字化

采樣頻率(Khz)采樣精度(bps)數(shù)據(jù)率(未壓縮KBps)頻率范圍(hz)

普通電話888200~3400AM11.02581120~15000FM22.0501688.250~7000CD44.116176.420~20000DAT4816192.020~20000

第6頁，課件共40頁，創(chuàng)作于2023年2月7二、數(shù)字視頻基礎(chǔ)知識第7頁，課件共40頁，創(chuàng)作于2023年2月8彩色電視制式NTSC制式PAL制式SECAM制式HDTV制式第8頁，課件共40頁，創(chuàng)作于2023年2月9彩色視頻信號類型復(fù)合視頻分量視頻

RGBYIQYUVS-Video第9頁，課件共40頁，創(chuàng)作于2023年2月10電視掃描與同步逐行掃描與隔行掃描場與幀PAL制式的掃描特性

625行/幀，25幀/秒寬高比4∶3

隔行掃描第10頁，課件共40頁，創(chuàng)作于2023年2月11視頻數(shù)字化兩種方式1、模擬全彩色信號-----〉分量信號

------〉三個A/D2、模擬全彩色信號-----〉A(chǔ)/D轉(zhuǎn)換

------〉數(shù)字域進(jìn)行分量分離第11頁，課件共40頁，創(chuàng)作于2023年2月12行同步與場同步色度載波黑電平圖像行第12頁，課件共40頁，創(chuàng)作于2023年2月13HDTV簡介高清晰度電視（HDTV）顯示器：16∶9

幀頻：>=100Hz

圖像格式：1280x720p，1920x1080i

碼率：>=20Mbps

主要制式：8VSB（北美），COFDM（歐洲）第13頁，課件共40頁，創(chuàng)作于2023年2月14多媒體數(shù)據(jù)壓縮技術(shù)空間冗余時間冗余信息熵冗余結(jié)構(gòu)冗余知識冗余視覺冗余其他冗余第14頁，課件共40頁，創(chuàng)作于2023年2月15三、音頻編碼技術(shù)

第15頁，課件共40頁，創(chuàng)作于2023年2月16編碼器類型波形編碼器脈沖編碼調(diào)制（PCM）差分脈沖編碼調(diào)制（DPCM）子帶編碼（Sub-BandCoding）音源編碼器混合編碼器碼激勵線性預(yù)測（CodeExcitedLinearPredictive）第16頁，課件共40頁，創(chuàng)作于2023年2月17音頻編碼標(biāo)準(zhǔn)G.711G.721G.722G.728G.729G.723.1MPEG-1layer1/2/3MPEG-2AAC第17頁，課件共40頁，創(chuàng)作于2023年2月18聲音的遮蔽現(xiàn)象806040200-20SoundLevel(dB)20 50 100 200 500kHz1 2 5 10 20kHz FrequencyDominantSignalComponentsMaskingThresholds第18頁，課件共40頁，創(chuàng)作于2023年2月19音頻MUSICAM編碼分析濾波器組量化和編碼比特流的編碼數(shù)字音頻信號量化樣值已編碼的比特流知覺模型第19頁，課件共40頁，創(chuàng)作于2023年2月20四、視頻編碼技術(shù)第20頁，課件共40頁，創(chuàng)作于2023年2月21一、視頻編碼基礎(chǔ)

1、數(shù)字電視系統(tǒng)

在電視信號的獲取、產(chǎn)生、處理、傳輸、接收和存儲的全過程中使用數(shù)字電視信號，稱為數(shù)字電視系統(tǒng)。數(shù)字電視系統(tǒng)可分為三大類：

(l)衛(wèi)星數(shù)字電視廣播系統(tǒng)；

(2)有線數(shù)字電視廣播系統(tǒng)；

(3)地面數(shù)字電視廣播系統(tǒng)。

第21頁，課件共40頁，創(chuàng)作于2023年2月222、視頻信號的數(shù)字化及表示取樣——空間的離散化把時間、幅度連續(xù)的模擬信號轉(zhuǎn)變?yōu)闀r間離散、幅度連續(xù)的信號，即時間離散化；

量化——幅度的離散化把幅度連續(xù)信號轉(zhuǎn)換為幅度離散信號，即幅度離散化；

三基色原理：任何顏色均由紅（R）、綠（G）、蘭（B）三種顏色分量組成；在電視原理里，用亮度（Y）、藍(lán)色差（U）、紅色差（V）三個分量表示。兩種方法相互之間的轉(zhuǎn)換：Y=0.3R+0.59G+0.11BU=B–YV=R–YR=Y+VG=Y–0.19U–0.51VB=Y+U第22頁，課件共40頁，創(chuàng)作于2023年2月233、視頻壓縮的必要性

數(shù)據(jù)量太大，占用帶寬太寬

例：1秒鐘PAL圖像數(shù)據(jù)

720x576x25x8x3=248，832，000bps

4、視頻壓縮的可能性空間冗余性相鄰像素之間具有很強(qiáng)的相關(guān)性時間冗余性相鄰幀之間具有很強(qiáng)的相關(guān)性視覺冗余性對亮度敏感，對色度不敏感對低頻敏感，對高頻不敏感第23頁，課件共40頁，創(chuàng)作于2023年2月24圖像信號中存在的冗余

空間冗余Time時間冗余1sec2sec3sec4sec5sec6sec7sec第24頁，課件共40頁，創(chuàng)作于2023年2月255、視頻壓縮的基本方法及關(guān)鍵技術(shù)

正交變換去掉空間冗余性，主要采用DCT

運(yùn)動估計/補(bǔ)償去掉時間冗余性色度下采樣去掉視覺冗余性第25頁，課件共40頁，創(chuàng)作于2023年2月26關(guān)鍵技術(shù)環(huán)節(jié)：

1、離散余弦變換DCTDCT是一種空間變換，在MPEG-2中DCT以8x8的像塊為單位進(jìn)行，生成的是8x8的DCT系數(shù)數(shù)據(jù)塊。DCT變換的最大特點是對于一般的圖像都能夠?qū)⑾駢K的能量集中于少數(shù)低頻DCT系數(shù)上，即生成8x8DCT系數(shù)塊中，僅左上角的少量低頻系數(shù)數(shù)值較大，其余系數(shù)的數(shù)值很小，這樣就可能只編碼和傳輸少數(shù)系數(shù)而不嚴(yán)重影響圖像質(zhì)量。變換傾向于把能量集中到低頻系數(shù)上，而很多其它系數(shù)則接近于零。比特率的降低是依靠不傳送接近零值的系數(shù)，而像后面所說的那樣對剩下的系數(shù)進(jìn)行量化和編碼。不均勻的系數(shù)分布是由于原圖像塊中存在的空間冗余度。

DCT不能直接對圖像產(chǎn)生壓縮作用，但對圖像的能量具有很好的集中效果，為壓縮打下了基礎(chǔ)。第26頁，課件共40頁，創(chuàng)作于2023年2月27離散余弦變換DCT1TVline(64us)720pixels“Luminance”700mV0mVfrequency1TVline(64us)720pixels“Luminance”700mV0mVfrequency第27頁，課件共40頁，創(chuàng)作于2023年2月282、量化器

量化是針對DCT變換系數(shù)進(jìn)行的，量化過程就是以某個量化步長去除DCT系數(shù)。量化步長的大小稱為量化精度，量化步長越小，量化精度就越細(xì)，包含的信息越多，但所需的傳輸頻帶越高。不同的DCT變換系數(shù)對人類視覺感應(yīng)的重要性是不同的，因此編碼器根據(jù)視覺感應(yīng)準(zhǔn)則，對一個8x8的DCT變換塊中的64個DCT變換系數(shù)采用不同的量化精度，以保證盡可能多地包含特定的DCT空間頻率信息，又使量化精度不超過需要。DCT變換系數(shù)中，低頻系數(shù)對視覺感應(yīng)的重要性較高，因此分配的量化精度較細(xì)；高頻系數(shù)對視覺感應(yīng)的重要性較低，分配的量化精度較粗，通常情況下，一個DCT變換塊中的大多數(shù)高頻系數(shù)量化后都會變?yōu)榱恪Ｒ⒁饩幋a器所產(chǎn)生的量化噪波是不能在解碼器中逆轉(zhuǎn)的，這就使編碼和解碼過程“有損”。第28頁，課件共40頁，創(chuàng)作于2023年2月293.游程編碼與Z掃描Z掃描

主要目的是將2維信號轉(zhuǎn)換成1維信號，便于游程編碼游程編碼

一對碼字（N，L），第一個字節(jié)為非零值的電平前面的零的個數(shù)非零值的電平，第二個為非零值的電平，為熵編碼做好進(jìn)一步的準(zhǔn)備。第29頁，課件共40頁，創(chuàng)作于2023年2月30Z字型掃描與游程編碼第30頁，課件共40頁，創(chuàng)作于2023年2月31

4、熵編碼

量化僅生成了DCT系數(shù)的一種有效的離散表示，實際傳輸前，還須對其進(jìn)行比特流編碼，產(chǎn)生用于傳輸?shù)臄?shù)字比特流。簡單的編碼方法是采用定長碼，即每個量化值以同樣數(shù)目的比特表示，但這種方法的效率較低。而采用熵編碼可以提高編碼效率。熵編碼是基于編碼信號的統(tǒng)計特性，使得平均比特率下降。游程和非零系數(shù)既可獨立的，也可聯(lián)合的作熵編碼。熵編碼中使用較多的一種是霍夫曼編碼，MPEG-2視頻壓縮系統(tǒng)中采用的就是霍夫曼編碼?；舴蚵幋a中，在確定了所有編碼信號的概率后生產(chǎn)一個碼表，對經(jīng)常發(fā)生的大概率信號分配較少的比特表示，對不常發(fā)生的小概率信號分配較多的比特表示，使得整個碼流的平均長度趨于最短。為使解碼器能分辨在什么地方一個碼終止和下一個碼開始，VLC有這樣一個特性：沒有一個完整的碼是任何其它的碼的前頭部分。第31頁，課件共40頁，創(chuàng)作于2023年2月325、信道緩存

由于采用了熵編碼，產(chǎn)生的比特流的速率是變化的，隨著視頻圖像的統(tǒng)計特性變化。但大多數(shù)情況下傳輸系統(tǒng)分配的頻帶都是恒定的，因此在編碼比特流進(jìn)入信道前需設(shè)置信道緩存。信道緩存是一緩存器，以變比特率從熵編碼器向里寫入數(shù)據(jù)，以傳輸系統(tǒng)標(biāo)稱的恒定比特率向外讀出，送入信道。緩存器的大小，或稱容量是設(shè)定好的，但編碼器的瞬時輸出比特率常明顯高于或低于傳輸系統(tǒng)的頻帶，這就有可能造成緩存器的上溢出或下溢出。因此緩存器須帶有控制機(jī)制，通過反饋控制壓縮算法，調(diào)整編碼器的比特率，使得緩存器的寫入數(shù)據(jù)速率與讀出數(shù)據(jù)速率趨于平衡。緩存器對壓縮算法的控制

第32頁，課件共40頁，創(chuàng)作于2023年2月33

是通過控制量化器的量化步長實現(xiàn)的，當(dāng)編碼器的瞬時輸出速率過高，緩存器將要上溢時，就使量化步長增大以降低編碼數(shù)據(jù)速率，當(dāng)然也相應(yīng)增大了圖像的損失；當(dāng)編碼器的瞬時輸出速率過低，緩存器將要下溢出時，就使量化步長減小以提高編碼數(shù)據(jù)速率。第33頁，課件共40頁，創(chuàng)作于2023年2月34

6、運(yùn)動估計

運(yùn)動估計使用于幀間編碼方式時，通過參考幀圖像產(chǎn)生對被壓縮圖像的估計。運(yùn)動估計的準(zhǔn)確程度對幀間編碼的壓縮效果非常重要。如果估計作的好，那么被壓縮圖像與估計圖像相減后只留下很小的值用于傳輸。運(yùn)動估計以宏塊為單位進(jìn)行，計算被壓縮圖像與參考圖像的對應(yīng)位置上的宏塊間的位置偏移。這種位置偏移是以運(yùn)動矢量來描述的，一個運(yùn)動矢量代表水平和垂直兩個方向上的位移。運(yùn)動估計時，P幀和B幀圖像所使用的參考幀圖像是不同的。P幀圖像使用前面最近解碼的I幀或P幀作參考圖像，稱為前向預(yù)測；而B幀圖像使用兩幀圖像作為預(yù)測參考，稱為雙向預(yù)測，其中一個參考幀在顯示順序上先于編碼幀(前向預(yù)測)，另一幀在顯示順序上晚于編碼幀(后向預(yù)測)，B幀的參考幀在任何情況下都是I幀或P幀。

第34頁，課件共40頁，創(chuàng)作于2023年2月35

此技術(shù)利用了時間冗余度，它試圖從前面的“參考”幀來預(yù)測要編碼的幀。預(yù)測不能以源圖像為基礎(chǔ)，因為這個預(yù)測要在解碼器中重復(fù)，而在解碼器中是沒有源圖像可用的（解碼圖像與源圖像不盡相同，因為碼率壓縮過程在解碼圖像中引入了少量失真）。因此，編碼器含有一個本地解碼器，它能重建與解碼器中將重建的圖像完全相同的圖像，由此可進(jìn)行預(yù)測。一種確定待編碼塊與參考幀之間所發(fā)生的運(yùn)動的方法是“塊匹配”搜索，