第2章 多媒體信息處理的必要性與可行性

1、多媒體通信技術 第2章 多媒體信息處理的必要性和可行性鄧曉衡中南大學信息科學與工程學院通信工程系2第2章 多媒體信息處理的必要性和可行性 n2.1 2.1 多媒體信息的特點多媒體信息的特點 n2.2 2.2 信息壓縮的必要性信息壓縮的必要性 n2.3 2.3 信息壓縮的可行性信息壓縮的可行性 n2.4 2.4 數(shù)據(jù)壓縮技術的性能指標數(shù)據(jù)壓縮技術的性能指標 n練習與思考題練習與思考題 32.1 多媒體信息的特點 n多媒體信息進行處理就必須了解多媒體信息的基本特征。 多媒體信息主要有三個特征： 1） 數(shù)據(jù)量龐大： 和文本信息相比， 語音、 圖像的信息量就顯得十分龐大。 例如， 用生動的語音表達和文

2、本文字相同的一段內(nèi)容， 語音所需要的數(shù)據(jù)量要比文本大10倍以上。 若要用圖像來大體表示同樣的意思， 則圖像所需要的數(shù)據(jù)量又不知道要大多少倍了。 4（2）碼率可變、 突發(fā)性強： 代表多媒體信息的數(shù)據(jù)流其碼率是隨著不同的信息內(nèi)容、 所處的不同時間而不斷變化的。 人們講話時的停頓、 所傳場景圖像中物體的運動等都會形成碼流速率的波動， 而且這種波動往往呈現(xiàn)出極強的突發(fā)性。 再加上采用了種種信息壓縮編碼的方法， 就更加劇了這種變化。 （3）復合性信息多， 同步性、 實時性要求高： 多媒體通信系統(tǒng)中傳輸?shù)耐莾煞N或兩種以上媒體的復合信息， 各類信息之間存在著很強的關聯(lián)， 因此， 對信息傳輸?shù)耐叫约皩崟r

3、性的要求也就相當高了。 52.2 信息壓縮的必要性 n多媒體信息的壓縮技術是多媒體通信領域中的關鍵技術之一n 不能對多媒體數(shù)據(jù)進行有效的壓縮， 就難以保證通信的順利進行 以一般彩色電視信號為例， 設代表光強、 色彩和色飽和度的YIQ空間中各分量的帶寬分別為4 MHz、 1.3 MHz和0.5 MHz。 根據(jù)采樣定理， 僅當采樣頻率大于或等于2倍的原始信號的頻率時， 才能保證采樣后的信號可被保真地恢復為原始信號。 6設各樣點均被數(shù)字化為8 bit， 從而1秒鐘的電視信號的數(shù)據(jù)量為（41.30.5） 2 8 bit = 92.8 Mbit因而一張640 MB容量的CDCD*2ROM能夠存放的原始電

4、視數(shù)據(jù)（每字節(jié)附有2位校驗位）為 640892.8(1+0.25)=44 s一張普通光盤只能存放44 s的原始數(shù)據(jù)。 7n電視信號數(shù)字化后直接保存的方法是難以令人接受的， 因而必須采取某些措施進行保存， 例如， 對圖像數(shù)據(jù)進行壓縮后再保存。 n語音信號的數(shù)據(jù)量， 人在正常說話時的音頻一般在200 Hz3.4 kHz， 即人類語音的帶寬為3.4 kHz。 n依據(jù)采樣定理， 并設數(shù)字化精度為8 bit， 則每秒的數(shù)據(jù)量為 3.4 kHz28=54.4 kbitn講一分鐘話的數(shù)據(jù)量約為400 kbit。 n表2.2-1列出了支持語音、 圖像、 視頻等多媒體信號高質(zhì)量存儲和傳輸所必需的未壓縮速率以及信

5、號特性。8表2.2-1 各種信號的特性和未壓縮速率 9n從以上兩個例子以及表2.2-1可以看出： 未進行任何形式編碼和壓縮的窄帶語音信號需要128 kb/s的速率， 即兩倍于普通電話的速率。 信號未被壓縮的寬帶話音需要256 kb/s的速率， 未壓縮的雙聲道立體聲CD音頻需要1.41 Mb/s的速率。 保持原始信號質(zhì)量n窄帶語音可以壓縮到4 kb/s（301的壓縮比）， n寬帶話音可以壓縮到約16 kb/s（151的壓縮比）n CD音頻可以壓縮到64 kb/s（221的壓縮比）。 10n 對于多媒體處理系統(tǒng)所要求的語音與音頻、 圖像、 視頻、 文本、 數(shù)據(jù)的結(jié)合， 信號進行有效的存儲和傳輸之前

6、， 必須進行處理n最關鍵的處理方法是進行數(shù)據(jù)壓縮。多媒體信息壓縮技術的對象主要是視頻、 音頻和文本信息這三大類。 例如， 現(xiàn)代數(shù)字壓縮技術可以對多數(shù)圖像實現(xiàn)大于1001的壓縮比， 而質(zhì)量沒有重大損失。 112.3 信息壓縮的可行性 n數(shù)據(jù)中通常包含很大的冗余， 數(shù)據(jù)的大小與所攜帶的信息量的關系由下式給出： I=D-r (2.3-1) I、 D、 r分別為信息量、 數(shù)據(jù)量與冗余量。 以存儲一本200萬字的中文百科全書為例， 每個漢字以2字節(jié)計算， 該書的數(shù)據(jù)量為4 MB。 若使用Huffman算法，可將大約2 MB左右的冗余數(shù)據(jù)尋找出來并壓縮掉，可節(jié)省出2 MB的存儲空間。 121 空間冗余n空

7、間冗余是在圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。 在任何一幅圖像中， 均有許多灰度或顏色都相同的鄰近像素組成的局部區(qū)域， 它們形成了一個性質(zhì)相同的集合塊， 即它們之間具有空間（或空域）上的強相關性， 在圖像中就表現(xiàn)為空間冗余。n 例如， 圖2.3-1是一張俯視圖， 圖中央的黑色是一塊表面均勻的積木塊， 在圖中， 黑色區(qū)域所有點的光強和色彩以及飽和度都是相同的， 因而黑色區(qū)域的數(shù)據(jù)表達有很大的冗余。 13n對空間冗余的壓縮方法就是把這種集合塊當作一個整體， 用極少的數(shù)據(jù)量來表示它， 從而節(jié)省了存儲空間。 這種壓縮方法叫空間壓縮或幀內(nèi)壓縮， 它的基本點就在于減少鄰近像素之間的空間（或空域）相關性。 圖2.

8、3-1 空間冗余 142 時間冗余n時間冗余是活動圖像和語音數(shù)據(jù)中經(jīng)常包含的冗余。 活動圖像中的兩幅相鄰的圖像有較大的相關性， 這反映為時間冗余。 n在語音中， 由于人在說話時其發(fā)出的音頻是一個連續(xù)和漸變的過程， 而不是一個完全的時間上獨立的過程, 因而存在著時間冗余。 n運動圖像，如圖2.3-2中F1幀中有一輛汽車和一個路標P， 在經(jīng)過時間T后的圖像F2仍包含以上兩個物體15n小車向前行駛了一段路程nF1和F2是時間相關的， 后一幅圖像F2在參照圖像F1的基礎上只需很少數(shù)據(jù)量即可表示出來， 從而減少了存儲空間， 實現(xiàn)了數(shù)據(jù)壓縮。n這種壓縮對運動圖像往往能得到很高的壓縮比， 這也稱為時間壓縮或

9、幀間壓縮。 16圖2.3-2 時間冗余 PTPF1F2173 信息熵冗余（編碼冗余）n信息熵， 是指數(shù)據(jù)所帶的信息量。 n信息量是指從N個相等可能事件中選出一個事件所需要的信息度量或含量， 即在N個事件中辨識一個特定事件的過程中需要提問“是”或“否”的最少次數(shù)。 n將信源所有可能事件的信息量進行平均， 就得到信息的“熵”（Entropy）。 熵就是平均信息量。 通常， 信息熵的數(shù)學表達式為iikiIbPPH10（2.3-2） 18n 式中， Pi為任意一個數(shù)i的概率， k為數(shù)據(jù)類數(shù)或碼元的個數(shù)。 設單位數(shù)據(jù)量d為)(10iikiybPd（2.3-3） 19 圖2.3-3 結(jié)構冗余示意圖 4.結(jié)

10、構冗余有些圖像從整體上看存在很強的紋理結(jié)構205 知識冗余n人們通過認識世界而得到某些圖像所具有的先驗知識和背景知識， 由此帶來的冗余稱為知識冗余。 n例如， 人臉的圖像有固定的結(jié)構， 嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于正臉圖像的中線上等等。 這類規(guī)律的結(jié)構可由先驗知識和背景知識得到， 因此這類信息對一般人來說是冗余信息。216 視覺冗余n在多媒體技術的應用領域中， 人的眼睛是圖像信息的接收端。 而人類的視覺系統(tǒng)并不能對圖像畫面的任何變化都能感覺到， 視覺系統(tǒng)對于圖像場的注意是非均勻和非線性的， 即注意主要部分質(zhì)量， 同時取畫面的整體效果， 不拘泥每一個細節(jié)。 n例如， 人的視覺對

11、于圖像邊緣的急劇變化不敏感， 對圖像的亮度信息敏感， 對顏色的分辨率較弱等。 因此， 如果圖像經(jīng)壓縮或量化發(fā)生的變化（或稱引入了噪聲）不能被視覺所感覺， 則認為圖像質(zhì)量是完好的或是夠好的， 即圖像壓縮并恢復后仍有滿意的主觀圖像質(zhì)量。 227 其他冗余n多媒體數(shù)據(jù)除了具有上面所說的各種冗余外， 還存在一些其他的冗余類型。 例如， 圖像的空間非定常特性所帶來的冗余等。 n空間冗余和時間冗余是將圖像信號看作為隨機信號時所反映出的統(tǒng)計特征把這兩種冗余稱為統(tǒng)計冗余。 是多媒體圖像數(shù)據(jù)處理中兩種最主要的數(shù)據(jù)冗余。 23n在數(shù)字圖像或語音信息中普遍存在著程度不同的冗余度， 在保證一定質(zhì)量的前提下， 盡可能地

12、除去這些冗余度， 這就是信息壓縮技術的目的。 例如， 在可視電話中將原本為36 Mb/s 的視頻和音頻信號壓縮到64 kb/s以下， 使它能在一個數(shù)字話路上傳輸。 n按照壓縮前后信息量的變化來分， 壓縮技術可分為信息保持型壓縮和信息非保持型壓縮兩大類。 信息保持型壓縮編碼（又稱為無失真編碼）是指解碼以后的信息量和原信息量嚴格相同； 信息非保持型壓縮的方法則會給解碼信息帶來一定的失真， 但一般來說壓縮比要遠遠大于保持型壓縮的壓縮比。 242.4 數(shù)據(jù)壓縮技術的性能指標1 壓縮比n壓縮性能常常用壓縮比來定義， 也就是壓縮過程中輸入數(shù)據(jù)量和輸出數(shù)據(jù)量之比。 壓縮比越大， 說明數(shù)據(jù)壓縮的程度越高。 在

13、實際應用中， 壓縮比可以定義為比特流中每個樣點所需要的比特數(shù)。 25 2 重現(xiàn)質(zhì)量n重現(xiàn)質(zhì)量是指比較重現(xiàn)時的圖像、 聲音信號與原始圖像、 聲音之間有多少失真， 這與壓縮的類型有關。 壓縮方法可以分為無損壓縮和有損壓縮。 無損壓縮是指壓縮和解壓縮過程中沒有損失原始圖像或聲音的信息， 所以對無損系統(tǒng)不必擔心重現(xiàn)質(zhì)量。 n有損壓縮雖然可獲得較大的壓縮比， 但壓縮比過高， 還原后的圖像、 聲音質(zhì)量就可能降低。 圖像和聲音質(zhì)量的評估常采用客觀評估和主觀評估兩種方法。 以圖像信息壓縮為例。 圖像的主觀評價采用5分制， 其分值在15分情況下的主觀評價如表2.4-1所示。 26表2.4-1 圖像主觀評價性能表

14、 主觀評價分 質(zhì)量尺度 妨礙觀看尺度 5 非常好 絲毫看不出圖像質(zhì)量變壞 4 好 能看出圖像質(zhì)量變化，但不妨礙觀看 3 一般 清楚地看出圖像質(zhì)量變壞，對觀看稍有妨礙 2 差 對觀看有妨礙 1 非常差 非常嚴重地妨礙觀看27n 而客觀尺度通常有以下幾種： 2)()(1ixixnEin均方誤差： 22lg10)(rxdBSNR為方差信噪比： 22maxlg10)(rxdBPSNRx峰值信噪比： 283 壓縮和解壓縮的速度n壓縮與解壓縮的速度是兩項單獨的性能度量。 壓縮與解壓縮都需要實時進行， 這稱為對稱壓縮， 如電視會議的圖像傳輸；壓縮可以用非實時壓縮， 而只要解壓縮是實時的， 這種壓縮稱為非對稱壓縮， 如多媒體CD-ROM的節(jié)目制作。 從目前開發(fā)的壓縮技術看， 一般壓縮的計算量比解壓縮要大。 在靜止圖像中， 壓縮速度沒有解壓縮速度要求嚴格。 29n動態(tài)視頻的壓縮與解壓縮， 速度問題是至關重要的 動態(tài)視頻為保證幀間動作變化的連貫要求， 必須有較高的幀速。 對于大多數(shù)情況來說動態(tài)視頻至少為15幀/s， 而全動態(tài)視頻則要求有25幀/s或30幀/s。 因此， 壓縮和解壓縮速度的快慢直接影響實時圖像通信的完成。 n 還要