第3章多媒體數(shù)據(jù)和數(shù)據(jù)壓縮技術(shù)

1、多媒體數(shù)據(jù)的分類和表示多媒體數(shù)據(jù)的分類和表示3.1音音 頻頻 數(shù)數(shù) 據(jù)據(jù)3.2靜態(tài)圖像文件靜態(tài)圖像文件 3.3動態(tài)圖像文件動態(tài)圖像文件 3.4多媒體數(shù)據(jù)壓縮技術(shù)多媒體數(shù)據(jù)壓縮技術(shù) 3.53.1.1 多媒體數(shù)據(jù)的分類和特點多媒體數(shù)據(jù)的分類和特點1數(shù)據(jù)量巨大數(shù)據(jù)量巨大2數(shù)據(jù)類型多數(shù)據(jù)類型多3數(shù)據(jù)類型之間差距大數(shù)據(jù)類型之間差距大4多媒體數(shù)據(jù)的輸入和輸出復(fù)雜多媒體數(shù)據(jù)的輸入和輸出復(fù)雜1文本的基本格式文本的基本格式非格式化文本文件：非格式化文本文件：格式化文本文件：格式化文本文件：3.1.2 多媒體數(shù)據(jù)的表示多媒體數(shù)據(jù)的表示 數(shù)字音頻（數(shù)字音頻（Audio）主要可分為語音、）主要可分為語音、音樂和音效音

2、樂和音效3種。種。2聲音文件的基本格式聲音文件的基本格式 圖形（圖形（Graphic）一般指用計算機(jī)繪制）一般指用計算機(jī)繪制的畫面，如直線、圓、圓弧、矩形、任意的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。曲線和圖表等。 圖像（圖像（Image）是指由輸入設(shè)備捕捉）是指由輸入設(shè)備捕捉的實際場景畫面，或以數(shù)字化形式存儲的的實際場景畫面，或以數(shù)字化形式存儲的任意畫面。任意畫面。3圖形圖像的基本格式圖形圖像的基本格式4動畫文件的基本格式動畫文件的基本格式 存儲動畫的文件格式有存儲動畫的文件格式有Gif、Fla、Swf等。等。5視頻文件的基本格式視頻文件的基本格式 視頻文件的存儲格式有視頻文件的存

3、儲格式有Avi、Mpeg、Mov、Dat等。等。3.2.1 聲音的基本特點及數(shù)字化聲音的基本特點及數(shù)字化周期振幅t基準(zhǔn)線圖圖3-1 3-1 聲波的振幅和頻率聲波的振幅和頻率（1）采樣頻率。）采樣頻率。（2）采樣的量化大小。）采樣的量化大小。（3）采樣的聲道數(shù)。）采樣的聲道數(shù)。1音頻文件的種類音頻文件的種類（1）WAV文件文件（2）MP3文件文件（3）WMA文件文件（4）VOC文件文件（5）MIDI文件文件3.2.2 音頻文件的種類及音頻文件的種類及MIDI音音頻頻（1）什么是）什么是MIDI MIDI是是Musical Instrument Digital Interface（樂器數(shù)字接口）的

4、縮寫。（樂器數(shù)字接口）的縮寫。MIDI是一種國際標(biāo)準(zhǔn)，是計算機(jī)和是一種國際標(biāo)準(zhǔn)，是計算機(jī)和MIDI設(shè)備之設(shè)備之間進(jìn)行信息交換的一整套規(guī)則，包括各種間進(jìn)行信息交換的一整套規(guī)則，包括各種電子樂器之間傳送數(shù)據(jù)的通信協(xié)議。電子樂器之間傳送數(shù)據(jù)的通信協(xié)議。（2）MIDI設(shè)備配置設(shè)備配置2MIDI音頻音頻 MIDI端口。端口。 MIDI鍵盤。鍵盤。 音序器（音序器（Sequencer）。）。 合成器。合成器。MIDI合成方式合成方式 目前被廣泛采用的目前被廣泛采用的MIDI合成方式主要合成方式主要有調(diào)頻合成（有調(diào)頻合成（FM）和波形表合成（）和波形表合成（Wave Table）兩種方式。）兩種方式。 波表

5、與波表與FM的最大區(qū)別就在于，的最大區(qū)別就在于，F(xiàn)M通通過對簡單正弦波的線性控制來模擬音樂樂過對簡單正弦波的線性控制來模擬音樂樂器、鼓和特殊效果，而波表采用真實的聲器、鼓和特殊效果，而波表采用真實的聲音樣本進(jìn)行回放，因此采用波表合成的音樣本進(jìn)行回放，因此采用波表合成的MIDI音樂聽上去更接近自然、更具真實感，音樂聽上去更接近自然、更具真實感，而而FM合成的合成的MIDI音樂則多帶有人工合成音樂則多帶有人工合成的色彩。的色彩。3MIDI文件的特點文件的特點3.3.1 圖像原理圖像原理1圖形與圖像圖形與圖像 計算機(jī)屏幕上顯示出來的畫面與文字，計算機(jī)屏幕上顯示出來的畫面與文字，通常有兩種描述方法：一

6、種方法稱為矢量通常有兩種描述方法：一種方法稱為矢量圖形或幾何圖形，簡稱圖形（圖形或幾何圖形，簡稱圖形（Graphics）；）；另一種叫做點陣圖像或位圖圖像，簡稱圖另一種叫做點陣圖像或位圖圖像，簡稱圖像（像（Image）。）。3.3 3.3 靜態(tài)圖像文件靜態(tài)圖像文件 圖形是用一個指令集合來描述的。這圖形是用一個指令集合來描述的。這些指令描述構(gòu)成一幅圖的所有直線、圓、些指令描述構(gòu)成一幅圖的所有直線、圓、圓弧、矩形、曲線等的位置、維數(shù)和大小、圓弧、矩形、曲線等的位置、維數(shù)和大小、形狀、顏色。形狀、顏色。 圖像是指在空間和亮度上已經(jīng)離散化圖像是指在空間和亮度上已經(jīng)離散化的圖像?？梢园岩环粓D圖像理解為

7、一個的圖像?？梢园岩环粓D圖像理解為一個矩形，矩形中的任一元素都對應(yīng)圖像上的矩形，矩形中的任一元素都對應(yīng)圖像上的一個點，在計算機(jī)中對應(yīng)于該點的值為它一個點，在計算機(jī)中對應(yīng)于該點的值為它的灰度或顏色等級。的灰度或顏色等級。 彩色空間是指彩色圖像所使用的彩色彩色空間是指彩色圖像所使用的彩色描述方法（也叫彩色模式）。常用的彩色描述方法（也叫彩色模式）。常用的彩色空間有空間有RGB（紅綠藍(lán)）空間、（紅綠藍(lán)）空間、CMYK（青（青橙黃黑）空間和橙黃黑）空間和YUV（亮度、色差）空間。（亮度、色差）空間。 2彩色空間與位平面彩色空間與位平面 位平面是指彩色圖像的各個彩色成分位平面是指彩色圖像的各個彩色成分

8、的所有像素構(gòu)成的一個集合。如的所有像素構(gòu)成的一個集合。如RGB空間空間中的彩色圖像有中的彩色圖像有3個位平面，即個位平面，即R、G、B平面。平面。 3分辨率分辨率（1）屏幕分辨率。）屏幕分辨率。（2）圖像分辨率。）圖像分辨率。（3）顯示器分辨率。）顯示器分辨率。（4）像素分辨率。）像素分辨率。 4圖像深度圖像深度1一些繪圖軟件創(chuàng)建數(shù)字圖像。一些繪圖軟件創(chuàng)建數(shù)字圖像。2從屏幕上抓取圖像，然后把它加從屏幕上抓取圖像，然后把它加到畫圖程序或應(yīng)用程序中。到畫圖程序或應(yīng)用程序中。3用數(shù)字設(shè)備獲取圖像。用數(shù)字設(shè)備獲取圖像。4用掃描儀及數(shù)字轉(zhuǎn)換設(shè)備獲取圖用掃描儀及數(shù)字轉(zhuǎn)換設(shè)備獲取圖像。像。5利用現(xiàn)成的圖像庫

9、。利用現(xiàn)成的圖像庫。3.3.2 靜態(tài)圖像的獲取靜態(tài)圖像的獲取1BMP格式格式2PCX格式格式3GIF格式格式4TIF格式格式5JPG和和PIC格式格式6PCD格式格式3.3.3 靜態(tài)圖像文件格式靜態(tài)圖像文件格式3.4.1 動態(tài)圖像動態(tài)圖像1動態(tài)圖像動態(tài)圖像 所謂動態(tài)圖像就是指連續(xù)地隨時間變所謂動態(tài)圖像就是指連續(xù)地隨時間變化的一組圖像，有時將它稱為視頻或運動化的一組圖像，有時將它稱為視頻或運動圖像。圖像。 典型的幀率是典型的幀率是24幀幀/秒、秒、25幀幀/秒和秒和30幀幀/秒，這樣的視頻圖像看起來才能達(dá)到順暢秒，這樣的視頻圖像看起來才能達(dá)到順暢和連續(xù)的效果。和連續(xù)的效果。（1）NTSC制式制式

10、（2）PAL制式制式（3）SECAM制式制式（4）HDTV2電視制式電視制式1視頻的數(shù)字化視頻的數(shù)字化2視頻卡視頻卡3.4.2 動態(tài)圖像的獲取動態(tài)圖像的獲取1AVI文件文件2MPEG文件文件3DAT文件文件4FLIC文件文件5MMM動畫文件動畫文件6MOV文件文件7DIR格式格式3.4.3 動態(tài)圖像文件格式動態(tài)圖像文件格式3.5.1 多媒體數(shù)據(jù)壓縮技術(shù)基礎(chǔ)多媒體數(shù)據(jù)壓縮技術(shù)基礎(chǔ)1多媒體數(shù)據(jù)壓縮的必要性多媒體數(shù)據(jù)壓縮的必要性 一幅分辨率為一幅分辨率為640 480的真彩色圖像的真彩色圖像（24B/像素），它的數(shù)據(jù)量約為像素），它的數(shù)據(jù)量約為7.37MB。若要達(dá)到每秒若要達(dá)到每秒25幀的全動態(tài)顯示

11、要求，每幀的全動態(tài)顯示要求，每秒所需的數(shù)據(jù)量為秒所需的數(shù)據(jù)量為184MB，而且要求系統(tǒng)，而且要求系統(tǒng)的數(shù)據(jù)傳輸率必須達(dá)到的數(shù)據(jù)傳輸率必須達(dá)到184MB/s。 對于數(shù)字化的聲音信號，若采樣精度對于數(shù)字化的聲音信號，若采樣精度為為16bit/s樣本，采樣頻率為樣本，采樣頻率為44.1kHz，則雙，則雙聲道立體聲聲音每秒將有聲道立體聲聲音每秒將有176KB的數(shù)據(jù)量。的數(shù)據(jù)量。 以上例子可見，數(shù)字化信息的數(shù)據(jù)量以上例子可見，數(shù)字化信息的數(shù)據(jù)量是非常大的，對數(shù)據(jù)的存儲、信息的傳輸是非常大的，對數(shù)據(jù)的存儲、信息的傳輸以及計算機(jī)的運行速度都增加了極大的壓以及計算機(jī)的運行速度都增加了極大的壓力。力。 （1）空

12、間冗余）空間冗余（2）時間冗余）時間冗余（3）信息熵冗余）信息熵冗余（4）結(jié)構(gòu)冗余）結(jié)構(gòu)冗余2多媒體數(shù)據(jù)的冗余類型多媒體數(shù)據(jù)的冗余類型（5）知識冗余）知識冗余（6）視覺冗余）視覺冗余（7）聽覺冗余）聽覺冗余（8）其他冗余）其他冗余 壓縮處理一般是由兩個過程組成：一壓縮處理一般是由兩個過程組成：一是編碼過程，即將原始數(shù)據(jù)經(jīng)過編碼進(jìn)行是編碼過程，即將原始數(shù)據(jù)經(jīng)過編碼進(jìn)行壓縮，以便存儲與傳輸；二是解碼過程，壓縮，以便存儲與傳輸；二是解碼過程，此過程對編碼數(shù)據(jù)進(jìn)行解碼，還原為可以此過程對編碼數(shù)據(jù)進(jìn)行解碼，還原為可以使用的數(shù)據(jù)。使用的數(shù)據(jù)。3.5.2 多媒體數(shù)據(jù)壓縮方法多媒體數(shù)據(jù)壓縮方法 衡量一種數(shù)據(jù)壓

13、縮技術(shù)的好壞有衡量一種數(shù)據(jù)壓縮技術(shù)的好壞有3個重個重要的指標(biāo)：一是壓縮比要大，即壓縮前后要的指標(biāo)：一是壓縮比要大，即壓縮前后所需的信息存儲量之比要大；二是實現(xiàn)壓所需的信息存儲量之比要大；二是實現(xiàn)壓縮的算法要簡單，壓縮、解壓縮速度快，縮的算法要簡單，壓縮、解壓縮速度快，盡可能地做到實時壓縮盡可能地做到實時壓縮/解壓縮；三是恢復(fù)解壓縮；三是恢復(fù)效果要好，要盡可能地恢復(fù)原始數(shù)據(jù)。效果要好，要盡可能地恢復(fù)原始數(shù)據(jù)。 數(shù)據(jù)壓縮可分為兩種類型，一種叫做數(shù)據(jù)壓縮可分為兩種類型，一種叫做無損壓縮，另一種叫做有損壓縮。無損壓縮，另一種叫做有損壓縮。 （1）行程編碼（）行程編碼（RLE） RLE編碼是將數(shù)據(jù)流中連

14、續(xù)出現(xiàn)的字編碼是將數(shù)據(jù)流中連續(xù)出現(xiàn)的字符用單一記號表示。符用單一記號表示。（2）Huffman編碼編碼 編碼步驟如下。編碼步驟如下。 概率統(tǒng)計（如對一幅圖像或概率統(tǒng)計（如對一幅圖像或n幅同種類幅同種類型圖像作灰度信號統(tǒng)計），得到型圖像作灰度信號統(tǒng)計），得到n個不同概個不同概率的信息符號。率的信息符號。1無損壓縮無損壓縮 將將n個信源符號按概率大小順序排列。個信源符號按概率大小順序排列。 將將n個概率中，最小的兩個概率相加，個概率中，最小的兩個概率相加，作為新符號的概率，這時概率數(shù)減為作為新符號的概率，這時概率數(shù)減為n1。 將將n1個概率，按大小重新排序。個概率，按大小重新排序。 重復(fù)重復(fù)、，直

15、到概率和等于，直到概率和等于1為止。為止。 在每次合并消息時，將被合并的消息賦在每次合并消息時，將被合并的消息賦予予1和和0或或0和和1。 尋找從概率為尋找從概率為1（碼樹的根）到每一信（碼樹的根）到每一信源符號（終結(jié)點）的路徑，記錄下路徑上源符號（終結(jié)點）的路徑，記錄下路徑上的的1和和0。 對每一個符號寫出從碼樹根到終結(jié)點的對每一個符號寫出從碼樹根到終結(jié)點的1、0序列。序列。 下面以一個具體例子說明下面以一個具體例子說明Huffman編編碼過程。例如：已知信源符號及其出現(xiàn)的碼過程。例如：已知信源符號及其出現(xiàn)的概率如下，求出各信源符號的概率如下，求出各信源符號的Huffman編編碼表及碼字平均

16、長度。碼表及碼字平均長度。 進(jìn)行進(jìn)行Huffman編碼的過程如圖編碼的過程如圖3-3所示。所示。圖圖3-3 Huffman編碼編碼 最終可得：最終可得：Huffman編碼表，編碼表，X1=01；X2=10；X3=11；X4=000；X5=0010；X6=0011。平均碼長：平均碼長：X1、X2、X3的碼長為的碼長為2，X4、X5和和X6的碼長為的碼長為3，所以平均碼長為，所以平均碼長為2.50。1234560.25 0.25 0.20 0.15 0.10 0.05XXXXXXX（3）算術(shù)編碼）算術(shù)編碼 編碼步驟如下。編碼步驟如下。 初始化。對二進(jìn)制編碼來說，信源符號初始化。對二進(jìn)制編碼來說，信

17、源符號只有兩個只有兩個0和和1。因此可預(yù)置兩個參數(shù)。因此可預(yù)置兩個參數(shù)Pe和和Qe。Pe代表大概率，代表大概率，Qe代表小概率，根據(jù)代表小概率，根據(jù)概率概率Pe和和Qe值，將區(qū)間值，將區(qū)間0，1分割成兩個分割成兩個子區(qū)間，如圖子區(qū)間，如圖3-4所示，所示，Qe從從0算起，則算起，則Pe=1Qe。 對被編碼位流符號進(jìn)行判斷。如果來的對被編碼位流符號進(jìn)行判斷。如果來的符號是符號是“0”其輸出碼字應(yīng)落在其輸出碼字應(yīng)落在0Q e子區(qū)子區(qū)間內(nèi)，接著把此區(qū)間內(nèi)的一個最短二進(jìn)制間內(nèi)，接著把此區(qū)間內(nèi)的一個最短二進(jìn)制碼作為輸出，作為新分子區(qū)間的邊界；如碼作為輸出，作為新分子區(qū)間的邊界；如果符號流中來的一個符號是

18、果符號流中來的一個符號是“1”，則其輸，則其輸出碼字應(yīng)落在出碼字應(yīng)落在Pe段，即段，即Qe1區(qū)間內(nèi)。區(qū)間內(nèi)。 利用最后得到的子區(qū)間的長度決定表示利用最后得到的子區(qū)間的長度決定表示該區(qū)域內(nèi)的某一個數(shù)所需的位數(shù)。該區(qū)域內(nèi)的某一個數(shù)所需的位數(shù)。（4）LZW編碼編碼 LZW（Lempel-Ziv-Welch）壓縮使用）壓縮使用字典庫查找方案。字典庫查找方案。 LZW壓縮法兼有效率高，實現(xiàn)簡單的壓縮法兼有效率高，實現(xiàn)簡單的優(yōu)點，許多商品壓縮軟件如優(yōu)點，許多商品壓縮軟件如ARJ、PKZIR、ZOO、LHA等都采用了此方法等都采用了此方法。 常用的有損壓縮方法有：常用的有損壓縮方法有：PCM（脈沖（脈沖編碼

19、調(diào)制）、預(yù)測編碼、變換編碼、插值編碼調(diào)制）、預(yù)測編碼、變換編碼、插值與外推等。新一代的數(shù)據(jù)壓縮方法，如矢與外推等。新一代的數(shù)據(jù)壓縮方法，如矢量量化和子帶編碼，基于模型的壓縮、分量量化和子帶編碼，基于模型的壓縮、分形壓縮及小波變換等已經(jīng)接近實用水平。形壓縮及小波變換等已經(jīng)接近實用水平。 2有損壓縮有損壓縮（1）預(yù)測編碼）預(yù)測編碼 差分脈沖編碼調(diào)制（差分脈沖編碼調(diào)制（DPCM） 自適應(yīng)差分脈沖編碼調(diào)制自適應(yīng)差分脈沖編碼調(diào)制 自適應(yīng)量化自適應(yīng)量化 自適應(yīng)預(yù)測自適應(yīng)預(yù)測（2）變換編碼）變換編碼3混合壓縮混合壓縮1音頻信號的編碼分類音頻信號的編碼分類 無損壓縮包括不引入任何數(shù)據(jù)失真的無損壓縮包括不引入任

20、何數(shù)據(jù)失真的各種熵編碼；有損壓縮法又可分為波形編各種熵編碼；有損壓縮法又可分為波形編碼、參數(shù)編碼和同時利用這兩種技術(shù)的混碼、參數(shù)編碼和同時利用這兩種技術(shù)的混合編碼方法。合編碼方法。3.5.3 音頻的壓縮技術(shù)音頻的壓縮技術(shù)（1）脈沖編碼調(diào)制）脈沖編碼調(diào)制PCM（Pulse Code Modulation）是一種把模擬信）是一種把模擬信號轉(zhuǎn)換成數(shù)字信號的最基本的編碼方號轉(zhuǎn)換成數(shù)字信號的最基本的編碼方法。法。 PCM方法可以按量化方式的不同，分方法可以按量化方式的不同，分為均勻量化為均勻量化PCM、瞬時壓擴(kuò)、瞬時壓擴(kuò)PCM和自適應(yīng)和自適應(yīng)量化量化PCM等。等。2常用的音頻編碼常用的音頻編碼 均勻量化

21、均勻量化PCM 瞬時壓擴(kuò)瞬時壓擴(kuò)PCM 自適應(yīng)量化自適應(yīng)量化PCM（2）其他音頻編碼）其他音頻編碼 MP3編碼。編碼。MP3利用利用MPEG Audio Layer 3的技術(shù)，是一種有損壓縮，它是將的技術(shù)，是一種有損壓縮，它是將音頻信息用音頻信息用1:10甚至甚至1:12的壓縮率，壓縮的壓縮率，壓縮成容量較小的數(shù)據(jù)文件。成容量較小的數(shù)據(jù)文件。 Real Audio編碼。編碼。Real Audio是是Real networks推出的一種音樂壓縮格式，它的推出的一種音樂壓縮格式，它的壓縮比可達(dá)壓縮比可達(dá)1:96，因此在網(wǎng)上比較流行。，因此在網(wǎng)上比較流行。1簡述簡述2無失真預(yù)測編碼無失真預(yù)測編碼3基于基于DCT的有失真壓縮編碼的有失真壓縮編碼3.5.4 靜態(tài)圖像靜態(tài)圖像JPEG壓縮編碼技壓縮編碼技術(shù)術(shù) 基于離散余弦變換（基于離散余弦變換（DCT）的壓縮法）的壓縮法有兩種不同層次的系統(tǒng)：基本