北郵田寶玉信息論基礎(chǔ)第九章

1、第第9章章信息率失真函數(shù)信息率失真函數(shù) v本章首先在研究離散信息率失真函數(shù)的基礎(chǔ)上，介紹限失真信源編碼定理，然后研究離散與連續(xù)信源的率失真函數(shù)的計(jì)算，重點(diǎn)是二元信源和高斯信源，最后簡(jiǎn)單介紹有損數(shù)據(jù)壓縮技術(shù)。9.1 概概 述述v 對(duì)于有失真信源編碼，我們總希望在不大于一定編碼速率（即傳送每信源符號(hào)所需的平均的二進(jìn)數(shù)字?jǐn)?shù)）的條件下，使平均失真最小；或者在平均失真不大于某個(gè)值的條件下，使編碼速率最小。仙農(nóng)提出的信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎(chǔ)，該理論的核心是在保真度準(zhǔn)則下的信源編碼定理，也稱(chēng)仙農(nóng)第三定理，定理指出信源編碼的碼率大于R(D)是存在平均失真不大于D的信源編碼的充分與必要條件。對(duì)有損

2、壓縮編碼系統(tǒng)，確定失真測(cè)度是首要的工作，不同的失真測(cè)度會(huì)得到不同R(D)函數(shù)。9.1.1 系統(tǒng)模型v一個(gè)有損壓縮系統(tǒng)對(duì)信源發(fā)出的消息X進(jìn)行有失真信源編碼，經(jīng)理想無(wú)噪聲信道傳輸，到達(dá)信源譯碼器，輸出為Y。由于編碼有失真，所以Y不是X的精確復(fù)現(xiàn)。 信源信源譯碼器信宿信源編碼器 無(wú)噪信道試驗(yàn)信道限失真編碼通信系統(tǒng)模型 9.1.2 失真測(cè)度 1單符號(hào)失真測(cè)度單符號(hào)失真測(cè)度 試驗(yàn)信道的輸入試驗(yàn)信道的輸入x和輸出和輸出y之間的失真用之間的失真用 表示，其表示，其中中 。 定義失真矩陣定義失真矩陣 其中， 表示當(dāng)試驗(yàn)信道的輸入為a時(shí)，輸出為b所產(chǎn)生的失真。 ),(yxdYyXx,),(.),(.),(.),

3、(),(.),(1212111mnnmmbadbadbadbadbadbadd0),(jibad9.1.2 失真測(cè)度 如果規(guī)定 那么失真矩陣變?yōu)閖ijibadji10),(0111011110d 9.1.2 失真測(cè)度2序列失真測(cè)度序列失真測(cè)度 設(shè)序列 其中 取自符號(hào)集A； 其中 取自符號(hào)集B；序列失真測(cè)度定義為： 上式表明，序列的失真測(cè)度是所包含符號(hào)失真的算術(shù)平均。1(,.,)Nxxxix1(,.,)NyyyiyNiiiNyxdNd1),(1),(yx9.1.2 失真測(cè)度3平均失真平均失真 單符號(hào)平均失真定義為： 序列平均失真定義為：),()|()(),(,yxyxdxypxpyxdEDNii

4、iNNyxdENdED1),(1),(yx9.2 離散信源信息率失真函數(shù)離散信源信息率失真函數(shù) 下面進(jìn)行詳細(xì)講解9.2.1 信息率失真函數(shù) 定義信息率失真函數(shù)(rate-distortion function)為： 或);(min)()|(YXIDRDPxypyxxxypxpxypxypxpDRDPxyp,)|()()|(log)|()(min)()|(9.2.2 R(D)函數(shù)的性質(zhì)1、R(D)的定義域的定義域： 且maxmin0DDDxyyxdxpD),(min)(minxyyxdxpD),()(minmax9.2.2 R(D)函數(shù)的性質(zhì) 例9.2.1 設(shè)試驗(yàn)信道輸入符號(hào) ，概率分別為1/3

5、，1/3，1/3，失真矩陣如下所示，求Dmin和Dmax和相應(yīng)的試驗(yàn)信道的轉(zhuǎn)移概率矩陣。 123 ,a aa123312321)(ijd9.2.2 R(D)函數(shù)的性質(zhì)解 =1 令對(duì)應(yīng)最小 的 ，其它為0。可得對(duì)應(yīng)Dmin 的轉(zhuǎn)移概率矩陣為： xyyxdxpD),(min)(min) 1 , 2 , 3min()() 3 , 1 , 2min()() 3 , 2 , 1min()(321apapap）jibad,(1)|(ijabp1000100019.2.2 R(D)函數(shù)的性質(zhì)= 5/3 上式中第2項(xiàng)最小，所以令 ?？傻脤?duì)應(yīng)Dmax 的轉(zhuǎn)移概率矩陣為： xyyxdxpD),()(minmax3

6、)(2)(1)(min321apapap2)(1)(2)(321apapap1)(3)(3)(321apapap21p b（ ）130p bp b（ ） （ ）0100100109.2.2 R(D)函數(shù)的性質(zhì)2R(D) 是關(guān)于是關(guān)于D的下凸函數(shù)的下凸函數(shù) 設(shè)設(shè)D1,D2為任意兩個(gè)平均失真，為任意兩個(gè)平均失真， ，那么那么10)()1 ()()1 (2121DRDRDDR9.2.2 R(D)函數(shù)的性質(zhì)3、R(D)是是(Dmin,Dmax)區(qū)間的連續(xù)和嚴(yán)格遞區(qū)間的連續(xù)和嚴(yán)格遞減函數(shù)減函數(shù) 證：R(D)在定義域內(nèi)為凸函數(shù)，從而保證了連續(xù)性。下面證明在定義域內(nèi)也是非增函數(shù)。由 ，在較大范圍內(nèi)求極小值一

7、定不大于在所含小范圍內(nèi)求的極小值，所以 。由于在定義域內(nèi)R(D)不是常數(shù)，而又是非增下凸函數(shù)，從而推出R(D) 2121DDPPDD)()(21DRDR9.2.2 R(D)函數(shù)的性質(zhì)4關(guān)于信息率失真函數(shù)的幾點(diǎn)解釋關(guān)于信息率失真函數(shù)的幾點(diǎn)解釋?zhuān)?（1）通常我們總希望信息通過(guò)信道傳輸時(shí)輸入與輸出之間的互信息最大，是在信道給定情況下的要求。而這里是在信源給定而不是信道給定條件下的傳輸。信息率失真理論要解決的問(wèn)題就是計(jì)算滿足失真要求的傳輸所需要的最小信道容量或傳輸速率，以達(dá)到降低信道的復(fù)雜度和通信成本的目的。9.2.2 R(D)函數(shù)的性質(zhì) （2）根據(jù)R（D）為單調(diào)減函數(shù)的性質(zhì)，如果我們固定平均互信息，

8、選擇信道的轉(zhuǎn)移概率使平均失真最小，可以得到同樣的R（D）函數(shù)曲線，唯一的差別就是變量之間作用交換。這時(shí)就得到“失真率函數(shù)”（distortion-rate function）。 失真率函數(shù)定義為( / ): ( ( / )( )min( ( / )p y x I p y xRD Rd p y x9.3 限失真信源編碼定理 本節(jié)包括限失真信源編碼定理和限失真信源信道編碼定理。限失真信源編碼定理指出，當(dāng)給定一個(gè)平均失真D時(shí)，對(duì)信源碼率壓縮的最低限度為R（D），而限失真信源信道編碼定理指出，當(dāng)信道容量C大于R（D）時(shí)，信息能夠通過(guò)信道以不大于D的平均失真?zhèn)鬏敗?9.3.1碼率的壓縮 設(shè)信源X發(fā)出長(zhǎng)度

9、為N的序列，而碼字僅有M個(gè)，即僅對(duì)M個(gè)信源序列進(jìn)行編碼。設(shè)信源的熵為H，如果 ，那么當(dāng)N足夠長(zhǎng)時(shí)就存在無(wú)失真信源編碼。令 ，就有 。但如果 ，編碼就會(huì)產(chǎn)生失真。這就是限失真信源編碼要解決的問(wèn)題。由于壓縮了碼率，可以提高信息傳輸速率，從而減小了通信的成本。2NHM 2(log)/RMNRHRH9.3.1碼率的壓縮 圖中，信源發(fā)出的N長(zhǎng)符號(hào)序列u（符號(hào)集U）進(jìn)入編碼器，編碼器按照最小失真的原則搜索到一個(gè)碼字，設(shè)為vm（其中碼字集合為V）；設(shè)碼字?jǐn)?shù)為M，m為信源序列對(duì)應(yīng)碼字的序號(hào)；那么將vm的序號(hào)m發(fā)送到譯碼器，譯碼器根據(jù)接收的序號(hào)恢復(fù)原始碼字，輸出到用戶。 限失真信源編碼系統(tǒng) 9.3.1碼率的壓縮

10、 例例9.3.1 設(shè)信源X，符號(hào)集為a1,a2,a2n，等概分布pi=1/2n，i=1,2n，給定失真測(cè)度為 ，設(shè)計(jì) 一種單符號(hào)壓縮算法使得平均失真D=1/2并求壓縮后的碼率R.。jijidij019.3.1碼率的壓縮 解：失真測(cè)度為漢明測(cè)度，實(shí)際上要求誤碼率為1/2。設(shè)Y為X的壓縮編碼，符號(hào)集為b1,b2,bn，下面為壓縮算法和對(duì)應(yīng)的試驗(yàn)信道轉(zhuǎn)移概率矩陣：)2.(.) 1,.,1(nnjbanibaYXnjii，nnnnnbbbbaaaaa1212121.1.01.10.0010.0.0.0100.01.9.3.1碼率的壓縮 平均失真 算法滿足要求。 的概率分布為： 所以 2,111( )

11、( / ) ( , )1222nx ynnDp x p y x d x ynn1jb j (， ，n) 12/1.2/1nnnnn2/ ) 1( ， 12log212log21)(nnnnnnnYH1( )log2log(1)2nRH Ynnn 9.3.2 限失真信源編碼定理v定理9.3.1 任意給定 ，總存在一種信源編碼，使當(dāng) 時(shí)，平均失真 ；反之，如果RR(D)，就不可能存在使平均失真 的編碼。0()RR D DD9.3.3 限失真信源信道編碼定理v定理9.3.2 設(shè)離散無(wú)記憶信源的信息率失真函數(shù)為(比特/秒)，離散無(wú)記憶信道的容量為C（比特/秒），若滿足 則信源序列通過(guò)信道傳輸后的平均失

12、真；若，則信源序列通過(guò)信道傳輸后的平均失真大于D。()CR D9.4 離散信源信息率失真函數(shù)的計(jì)算v本節(jié)研究離散信源信息率失真函數(shù)的計(jì)算問(wèn)題，這歸結(jié)到求有約束的極值問(wèn)題。即使很簡(jiǎn)單的信源和簡(jiǎn)單的失真測(cè)度，求解的過(guò)程都比較復(fù)雜，而且只有特殊情況才有解析解，對(duì)于一般的計(jì)算需要借助于迭代算法。v設(shè)試驗(yàn)信道輸入X，符號(hào)集A=a1,an，對(duì)應(yīng)概率分布為p1,pn；信道輸出 Y，符號(hào)集B=b1,bm，對(duì)應(yīng)概率分布為q1,qm，失真矩陣為 （9. 4. 1） v試驗(yàn)信道轉(zhuǎn)移概率矩陣為 （9. 4. 2） v信道輸出概率分布 nmnnmmddddddddd.212222111211dnmnnmmppppppp

13、pp.212222111211Pijiijppq9.4.1 R(D)參量表示法求解v對(duì)于給定信源X，符號(hào)概率分布為p1,pn的已知，給定（9. 4. 1）確定的失真矩陣，求解R(D)，實(shí)際上是通過(guò)（9.4.3）所描述的有約束極值，確定實(shí)驗(yàn)信道轉(zhuǎn)移概率pij。 （9.4.3）jijnimjijijinimjjijijipnipDdppqpppDRij, 1, 1logmin)(11119.4.1 R(D)參量表示法求解v由于使R最小的pij總是在PD的邊界上，所以在求極值時(shí)，平均失真約束條件的不等式取等號(hào)，即 （9.4.4）v從（9.4.3）式可知，約束條件有n+1個(gè)，其中1個(gè)為平均失真約束，n

14、個(gè)條件概率歸一化約束，未知數(shù)pij有mn個(gè)。下面用拉格朗日乘子法求有約束極值。11nmiijijijp p dD9.4.1 R(D)參量表示法求解v設(shè)s, (i=1,n)為常數(shù)，求下式極值（以e為底）：ijijiiijijijijjjijijijiijpdppsqqppppJloglog)(0log) 1(logiijijjijiijiijdspqqpqppppJiijijppq0logiijijijidspqpp 9.4.1 R(D)參量表示法求解令 ，得其中iiip/0logiijjijsdqpijdiijdsijsjijeqeqp /ipiiee（9.4.5）9.4.1 R(D)參量表示

15、法求解所以當(dāng) 時(shí)jsjijijijdeqpijsjjideq1ijdsiiijijiiepqpp0jq1iijsiidep （9.4.6）（9.4.7） 9.4.1 R(D)參量表示法求解v結(jié)合（9.4.6）與（9.4.7）式，得v（9.4.8）式含m個(gè)方程，m個(gè)未知數(shù)qj(j=1,m)，而s為參量，一般能解。1ijijsjijsiddeqep， j=1,m （9.4.8） 9.4.1 R(D)參量表示法求解v將（9.4.5）代入（9.4.4）（9.4.3），分別得ijsijjijiiijijijidedqpdppsD)(,( )loglog()sijiijiijiiji jjijdpR sp

16、 pp peqiijjiiijijjiippsdpplog,iiipsDlog（9.4.10） （9.4.9）9.4.2 R(D)求解過(guò)程歸納v現(xiàn)將R(D)求解的過(guò)程歸納如下： （1）根據(jù)（9.4.7）式求，；（2）根據(jù)（9.4.6）式求，j=1,m；（3）根據(jù)（9.4.9）式求D(s)；（4）根據(jù)（9.4.10）式求R(s)。9.4.2 R(D)求解過(guò)程歸納設(shè)為列矢量，由（9.4.7）得寫(xiě)成矩陣形式為)()(ijsdijeaAiiipu1(,.,)Tnuuu(1.1)Tm11.1.22111212111nmnmmnnauauauauauau1uAT（9.4.11） 9.4.2 R(D)求解過(guò)

17、程歸納由（9.4.6），得寫(xiě)成矩陣形式為其中， nnmsmnsnsmsmssddddddeqeqeqeqeqeq/1./1.221111122111vAq （9.4.12） 112(,.,)1/,1/,.,1/TTmnqqqv，9.4.2 R(D)求解過(guò)程歸納當(dāng)m=n且A-1存在時(shí)，求解過(guò)程為：由 解得 由 解得 設(shè)矩陣為 ，有 1uAT1)(Au1Tiiiupv/vAq vAq1()sdijijedB9.4.2 R(D)求解過(guò)程歸納BquTDiiiiiiipupsDpsDDRloglog)(iiiupsDpHlog)(（9.4.14） （9.4.13）其中，H(p)為信源的熵。9.4.3 參

18、量s的意義v現(xiàn)求R(D)對(duì)D的導(dǎo)數(shù)，由（9.4.10）得 iiidDdRdDdssRDRdDdRiiiidDdpdDdsDsdDdsdsdpDsiiii)(（9.4.15） 9.4.3 參量s的意義v在（9.4.7）式的兩邊，對(duì)s求導(dǎo)，得v兩邊都乘以 ，得 v根據(jù)（9.4.6），得 v將（9.4.16）的結(jié)果代入（9.4.15），得()0sdsdiiiiijiijijdpepeddsjjq0sdijijiijdqp eDds iiiiDdsdp0（9.4.16） sdDdR（9.4.17） 9.4.3 參量s的意義v由此可得如下結(jié)論：(1)s是R(D)函數(shù)的斜率；(2)因?yàn)镽(D)在0DDma

19、x嚴(yán)格單調(diào)遞減，所以s0。9.4.3 參量s的意義v例9.4.1 一個(gè)二元信源，符號(hào)集A=0,1，概率為p(0)=p1=p，p(1)=p2=1-p，其中p1/2；試驗(yàn)信道輸出符號(hào)集B=0,1，失真測(cè)度函數(shù)為漢明失真，求R(D)函數(shù)。9.4.3 參量s的意義v解 （1）設(shè) ，所以 ()()sdijijAae11sseeA121111sTsseAAee)1/(1)1/(11111112ssssseeeeeu9.4.3 參量s的意義（2）由 得（3） 解得 iiiupv pevs)1 (1)1)(1 (2pevs)1/(1)1/(11111221ssssseeeeeqq)1 ()1 (11ppepe

20、pesss9.4.3 參量s的意義v （4） v v （9.4.18） v v （9.4.19）)1 ()1 (11001111ppepepeeeeDssssssssee1ssepepsDpHDR11log)1 (11log)()(sesDpH11log)(9.4.3 參量s的意義v由（9.4.18）得， 和 將這些結(jié)果代入（9.4.19），得 （9.4.20） 圖9.4.1 為二元信源在不同概率p條件下的R(D)函數(shù)曲線。可以看出，對(duì)于給定的失真測(cè)度D，信源分布越接近等概率，R（D）越大，也就是說(shuō)越難壓縮，反之，信源分布越不均勻，R（D）越小，越容易壓縮。log/(1)sDDDes1)1/(

21、1)1log(1log)()(DDDDpHDR)()(DHpH9.4.3 參量s的意義 v 圖9.4.1 二元信源的R(D)函數(shù)曲線 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5P = 0 .5P = 0 .3P = 0 .1P = 0 .21 .00 .20 .40 .60 .8R ( D )（ 比 特 / 符 號(hào) ）1 .20D9.5 連續(xù)信源信息率失真函數(shù)v在前面學(xué)習(xí)離散信源R(D)函數(shù)的基礎(chǔ)上，本節(jié)介紹離散時(shí)間連續(xù)信源的R(D)函數(shù)。首先介紹R(D)函數(shù)定義和性質(zhì)，然后推導(dǎo)R(D)函數(shù)的計(jì)算，特別是差值失真測(cè)度的R(D)函數(shù)。與離散情況相比，R(D)函數(shù)定義和性質(zhì)有類(lèi)似性

22、，但也有不同；而R(D)函數(shù)的計(jì)算需要求有約束的泛函極值，因此過(guò)程更為復(fù)雜。9.5.1 信息率失真函數(shù)與性質(zhì)v設(shè)時(shí)間離散連續(xù)信源X，概率密度為p(x)，試驗(yàn)信道轉(zhuǎn)移概率p(y|x)，輸出為q(y)。定義平均失真為 （9. 5. 1）dxdyyxdxypxpdxdyyxdyxpyxdED),()|()(),(),(),(9.5.1 信息率失真函數(shù)與性質(zhì)v對(duì)所有試驗(yàn)信道集合PD，在滿足失真度DD*時(shí)，信息率失真函數(shù)定義為： （9. 5.2）v其中 )|(min);(inf)(*)|()|(xypIYXIDRDDPxypPxyp* ( | ):DPp y xDD。 9.5.1 信息率失真函數(shù)與性質(zhì)v

23、與離散信源類(lèi)似，可以證明R(D)函數(shù)有以下性質(zhì)：（1）非負(fù)性；（2） 在區(qū)間是單調(diào)遞減函數(shù)；（3） 在區(qū)間是下凸函數(shù)；其中， 對(duì)應(yīng)著X，Y獨(dú)立時(shí)的最小平均失真，所以 （9. 5.3）max0DDmax0DDmaxDdxyxdxpDy),()(infmax9.5.1 信息率失真函數(shù)與性質(zhì)v與離散情況不同的是，在D=0時(shí)，R(D)并不連續(xù)。在D0時(shí)，R(D) ，趨近信源的絕對(duì)熵。對(duì)離散情況，H(X)是R(0)的上界；對(duì)連續(xù)情況，h(X)不是R(0)的上界，因?yàn)閔(X)還可能為負(fù)。9.5.2 R(D)函數(shù)的計(jì)算v在連續(xù)信源情況下用條件概率密度來(lái)描述試驗(yàn)信道，在滿足（9. 5. 1）約束條件下，求（9

24、. 5.2）R(D)函數(shù)的極小值確定試驗(yàn)信道的條件概率密度，歸結(jié)為求有約束泛函極值的問(wèn)題。即求 （9. 5. 4） dxdyyqxypxypxpYXI)()|(log)|()();(dxyxpyq),()(9.5.2 R(D)函數(shù)的計(jì)算v的極小值，滿足約束為 （9. 5. 5） 和 （9. 5. 6） 求泛函極值，等價(jià)于使下式的一階變分為0。 (9. 5. 7）dxdyyxdxypxpxypD),()|()()|(1)|(dyxypdxdyyqxypxypxpxypJ)()|(log)|()()|(dxdyyxdxypxpsdxdyxypx),()|()()|()(9.5.2 R(D)函數(shù)的計(jì)

25、算v令 ，有通過(guò)推導(dǎo)，得 (9. 5. 8）其中， 與離散情況相似，可得 (9. 5. 9） )(log)()(xrxpx dxdyyxsdyqxrxypxypxpxypJ),()()()|()log|()()|(),()()()|(yxsdeyqxxyp)()()(xfexrx 1),()()(dyeyqxyxsd9.5.2 R(D)函數(shù)的計(jì)算v當(dāng)時(shí) ，有 (9. 5. 10）v平均失真為 (9. 5.11） (9. 5. 12） 0)(yq1)()(),(dxexpxyxsddxdyyxdxypxpD),()|()(dxdyeyxdyqxxpyxsd),(),()()()()(log)|(

26、)()(),(yxsdexxypxpDRdxdyxxypxpsD)(log)/()(dxxxpsD)(log)(9.5.2 R(D)函數(shù)的計(jì)算v可以證明，s是R（D）函數(shù)的斜率。9.5.3 差值失真測(cè)度差值失真測(cè)度v 差值失真測(cè)度指的是平方誤差測(cè)度 和絕對(duì)值誤差測(cè)度 。在差值失真測(cè)度下， (9. 5. 10）式變?yōu)?(9. 5. 13）2)(),(yxyxd|),(yxyxd1)()()(dxexpxyxsd9.5.3 差值失真測(cè)度差值失真測(cè)度v(9. 5. 13）式表示 與 的卷積為1，所以 的頻譜與 的頻譜乘積為沖激。 而 在整個(gè)頻率域，所以 的頻譜為沖激，因此， （常數(shù)） (9. 5.

27、14） (9. 5. 15） (9. 5. 15）成立的條件是 。在差值失真測(cè)度下，(9. 5. 9）變?yōu)?()(xpx)(xsde)()(xpx)(xsde)(xsde)()(xpx)()()(skxpx1)()()(dzeskzsddzezsd)(9.5.3 差值失真測(cè)度差值失真測(cè)度v (9. 5. 16）由(9. 5. 14）、(9. 5. 16）和(9. 5. 15），得 (9. 5. 17） 可見(jiàn)，p(x)為q(x)與的卷積，其中 (9. 5. 18） dyeyqxyxsd)(1)()(dydzeeyqdyeyqskxpzsdyxsdyxsd)()()()()()()()()()()

28、()(xsdzsdxsdSeskdzeexg9.5.3 差值失真測(cè)度差值失真測(cè)度v設(shè)表示隨機(jī)變量 的概率密度，那么x= +y，或 = x-y，所以表示誤差的概率密度。sesese9.6 高斯信源的R(D)函數(shù) v本節(jié)就高斯信源和平方誤差測(cè)度 的情況下研究R(D)函數(shù)。這里僅研究離散時(shí)間無(wú)記憶高斯信源和獨(dú)立并聯(lián)信源兩種情況。2)(),(yxyxd961 離散時(shí)間無(wú)記憶高斯信源v 由(9. 5. 15），對(duì)于平方誤差測(cè)度有 (9. 6. 1）v根據(jù)(9. 5. 18），得 (9. 6. 2） 應(yīng)注意，(9. 6. 2）的結(jié)果僅與失真測(cè)度的選取有關(guān)，而與信源分布無(wú)關(guān)。 /1)(2sdzesksz2)

29、(xsSexgs961 離散時(shí)間無(wú)記憶高斯信源v設(shè) ， ， ， 這里表示傅氏變換關(guān)系。v對(duì)于均值為零、方差 為 的高斯信源X，概率密度為 ，那么 v ，同時(shí)還有 由 )()(Pxp)()(Qxq)()(SSGxg222221)(xexp2221)( eP211()22( )sSGe)()()(SGQP961 離散時(shí)間無(wú)記憶高斯信源v得知y也為高斯分布，且 (9. 6. 3）平均失真為 （與q(y)無(wú)關(guān)） (9. 6. 4）221122( )( )( )sSPQeGdxdyeskyxyqDyxs2)(2)()(dydxeyxyqyxss)()(2)(2sdysyq21)21)(961 離散時(shí)間無(wú)

30、記憶高斯信源v將(9. 6. 4）的結(jié)果代入(9. 6. 2），得 (9. 6. 5） (9. 6. 5）表明達(dá)到R（D）時(shí)，誤差是高斯分布，方差等于D。v將(9. 6. 4）的結(jié)果代入(9. 6. 3），得 (9. 6. 6）)2/(221)(DsxexgD2221)(DeQ961 離散時(shí)間無(wú)記憶高斯信源v(9. 6. 5）表明達(dá)到R（D）時(shí)，試驗(yàn)信道的輸出也是高斯分布，方差等于 ，并且與誤差獨(dú)立。v率失真函數(shù)為將(9. 6. 4）和(9. 6. 1）代入，得 D2)()(log)()(log)()(sskxhsDdxxpkxpsDDR)21111()log(2log2222R DeD D2

31、log21961 離散時(shí)間無(wú)記憶高斯信源v對(duì)以上結(jié)果，我們歸納為下面的定理：v定理9.6.1 一個(gè)無(wú)記憶任意均值、方差為的高斯信源，在平方誤差準(zhǔn)則下的信息率失真函數(shù)為： (9. 6. 7）其中, ,且222211log0()max(0,log)220DR DDDDmax0DD22max)(infdxyxxpD961 離散時(shí)間無(wú)記憶高斯信源v圖961為高斯信源的R（D）函數(shù)曲線。下面為高斯信源R（D）函數(shù)的注釋?zhuān)?61 離散時(shí)間無(wú)記憶高斯信源v圖961 高斯信源的R（D）函數(shù) 0 . 2 0 . 4 0 . 6 0 . 8 1 . 0 0 . 21 . 21 . 00 . 80 . 60 . 4

32、0 . 0R ( D )（比特/ 自由度）D/2961 離散時(shí)間無(wú)記憶高斯信源v（1）此R（D）函數(shù)是在均方準(zhǔn)則下推出的，不適用其他準(zhǔn)則；v（2）R（D）函數(shù)是高斯信源實(shí)現(xiàn)平均失真小于等于D的有損編碼可達(dá)到的最低速率。簡(jiǎn)單說(shuō)明如下：v設(shè)一個(gè)有失真編碼包含 個(gè)碼字，每個(gè)信源序列的長(zhǎng)度為n。所有信源序列都位于半徑為 的大球內(nèi)，且都應(yīng)該位于以某個(gè)碼字為中心，半徑為 的小球內(nèi)。 nR2M 2nnD961 離散時(shí)間無(wú)記憶高斯信源v因此為充滿大球所需最少的小球數(shù)目也就是最少的碼字?jǐn)?shù)為 (9. 6. 8） 因此，只要 ，就能使平均失真小于等于D。（3） 稱(chēng)為有損壓縮的信噪比；當(dāng)信源功率給定，平均失真越大，信

33、噪比越小，所需碼率也越小。2/ 2()2()2nRnnR DD()RR DD/2961 離散時(shí)間無(wú)記憶高斯信源v（4）當(dāng)D=0時(shí)，R（D）= ；當(dāng)D= 時(shí)， R（D）=0。這說(shuō)明，對(duì)于連續(xù)信源，當(dāng)平均失真為0時(shí)，所需要的信息率為無(wú)限大v5）高斯信源失真率函數(shù) (9. 6. 9）v上式通過(guò)求(9. 6. 7）的反函數(shù)得到，其中，R為編碼器的碼率，單位為比特/符號(hào)。D（R）表示，當(dāng)高斯信源有損壓縮的碼率為R時(shí)，可以達(dá)到的最小平均失真。所以對(duì)于任意碼率為R的高斯信源有損編碼器，其平均失真D，滿足 (9. 6. 10）2RRD222)(RD222961 離散時(shí)間無(wú)記憶高斯信源v例961 一個(gè)均值為零的

34、離散時(shí)間高斯信源作為限失真信源編碼器的輸入，該編碼器是一個(gè)量化器，輸出256個(gè)量化電平，輸出信噪比SNR用輸入信號(hào)的均方值與均方誤差的比來(lái)量度；（1）求編碼器的碼率；（2）SNR能否達(dá)到49dB？ 解 （1）編碼器的碼率： 比特/信源符號(hào)； 8256log2R961 離散時(shí)間無(wú)記憶高斯信源v（2）SNR不能達(dá)到49dB。解釋如下： 根據(jù) (9. 6. 10），有RDSNR222dBdB4916.483010. 01602lg1082 962 獨(dú)立并聯(lián)高斯信源v一個(gè)多維離散時(shí)間高斯信源 ，其中，X1、X2、XN是N個(gè)獨(dú)立零均值、方差為 的高斯隨機(jī)變量 ，稱(chēng)這種信源為獨(dú)立并聯(lián)高斯信源，其中各Xi為

35、子信源。 v設(shè)每個(gè)的失真測(cè)度為均方失真，即 ，i=1，N；獨(dú)立并聯(lián)高斯信源 的失真測(cè)度為 (9. 6. 8）12NNX XXX2i(iiidx y2- )NX1( , ) (1/ )(NNiiidNx yx y2- )962 獨(dú)立并聯(lián)高斯信源v設(shè)信源 的信息率失真函數(shù)為 ，各并聯(lián)信源的信息率失真函數(shù)為 ，i=1，N；那么 (9. 6. 9） (9. 6. 10）NX()R D()iiR D21( , )(1/)()NNNiiiDE dNE xyx y1(1/)NiiND(/)()(1/)min(;)DNNpPR DNIy xXY962 獨(dú)立并聯(lián)高斯信源v因?yàn)閄1、X2、 是獨(dú)立的，所以，僅當(dāng)各

36、信道獨(dú)立時(shí)等式成立，即時(shí)等式成立，所以 v僅當(dāng) 各信道獨(dú)立時(shí)等式成立，即 時(shí)等式成立，所以 (9. 6. 11）NX(;)(; )NNiiiII X YX Y(; )iiX Y( | )(|)iiipp yxy x(/)( )(1/)min(;)(1/)()iiDiiiiiip yxPR DNI X YN R D962 獨(dú)立并聯(lián)高斯信源v這樣，相當(dāng)于在 (9. 6. 9）的約束下，求 (9. 6. 11）的極小值，與求并聯(lián)高斯信道容量類(lèi)似，采用拉格朗日乘子法。由于各 的方差為 ，平均失真為 ，所以令 v 得 （常數(shù)），但由于對(duì)各子信源，最大的失真就是方差，所以當(dāng) 時(shí)， ；iX2iiD2()1/

37、(2)log(/)0iiiiiiiJ DNDDDDBDi2iB2iiD962 獨(dú)立并聯(lián)高斯信源v綜合起來(lái)，就有 (9. 6. 12）這是因?yàn)?，?duì)于每個(gè) ， 的最大值就是 。 222,iiiiBBDB()iiR DiD2i962 獨(dú)立并聯(lián)高斯信源v圖962為平均失真分配示意圖，與信道容量的注水解釋類(lèi)似，稱(chēng)為倒注水原理。假定水池中的總水量（圖中的陰影部分）表示總平均失真，并聯(lián)信源各子信源的方差表示倒置在水池中的容器底部的高度，達(dá)到R（D）時(shí)，底部高的未注滿水，且各個(gè)未注滿水部分的水面高度是相同的，B就是水面高度，也就是分配的平均失真；底部低的部分（相當(dāng)于方差小于B）已注滿水，水面高度與底部高度同，

38、分配的平均失真就是方差。962 獨(dú)立并聯(lián)高斯信源v從所需碼率的角度看，方差小于B的Xi的為0，即所需的碼率為零，發(fā)送端僅對(duì)方差不小于B的Xi進(jìn)行編碼并傳送，就能達(dá)到平均失真的要求。根據(jù)倒注水原理，有 (9. 6. 13） B可通過(guò)下式來(lái)確定 (9. 6. 14） ()iiR D222:iiiiBiBBN DKNDBBiii/)(2,2962 獨(dú)立并聯(lián)高斯信源v其中，K 為滿足 的子信源的個(gè)數(shù)，滿足此條件的稱(chēng)為被使用的子信源。v所求函數(shù)為 (9. 6. 15）Bi221( )1/(2)log(/)NiiiR DND22,1/(2)log(/)iiiBNB962 獨(dú)立并聯(lián)高斯信源v注：（1）如果對(duì)

39、總失真有要求，那么重點(diǎn)處理功率大的信號(hào)；（2）如果總失真允許較大，功率小的信號(hào)可以不予處理；（3）只有滿足 的子信源對(duì)R（D）有貢獻(xiàn)。 將每個(gè)子信源的方差按大小順序排序，得 (9. 6. 16）Bi222221iNii962 獨(dú)立并聯(lián)高斯信源v在平均失真從0逐漸增大的過(guò)程中，從對(duì)所有子信源的全部使用開(kāi)始，按(9. 6. 16）所表示的方差大小的順序，逐個(gè)從被使用的子信源集合中排除，直至所有子信源都不被使用，此時(shí)對(duì)應(yīng)最大的平均失真，為所有子信源方差的和，對(duì)應(yīng)的R（D）=0。962 獨(dú)立并聯(lián)高斯信源v圖962 平均失真分配的倒注水原理。 1 2 3 4 5 6B0信 源 序 號(hào)421262i232

40、2252962 獨(dú)立并聯(lián)高斯信源v例9.6.1 一個(gè)二維獨(dú)立高斯信源（X1X2），其中X1 、X2均值都為零，方差分別為2和4，采用均方失真測(cè)度，求該信源的R(D)函數(shù)。v如果 X1、X2都使用，根據(jù)(9. 6. 14）和 (9. 6. 12），有 和 ，得 ， 2/2DB 2B2DDDDDR22log214log412log41)(962 獨(dú)立并聯(lián)高斯信源v如果僅使用X2，有 和 ，得，由 和所求 R(D)函數(shù)22 DB42 B32 D12log21224log41)(DDDR6422maxD3maxD3032) 1/(2log)2/1 (20)/22log()2/1 ()(DDDDDDR

41、9.7 一般連續(xù)信源R(D)函數(shù)v對(duì)于一般的信源分布，難于得到簡(jiǎn)明的函數(shù)的表達(dá)式。下面的定理給出了一般連續(xù)信源的函數(shù)的界 9.7 一般連續(xù)信源R(D)函數(shù)v定理9.7.1 一均值為0，方差為 的連續(xù)信源X，熵為h(X)，定義失真函數(shù)為 ，則 (9. 7. 1）v僅當(dāng)X為高斯信源時(shí)，等式成立。2x2)(),(yxyxdDDReDXhx2log21)()2log(21)(9.7 一般連續(xù)信源R(D)函數(shù)v不等式的左邊是均方失真準(zhǔn)則下的仙農(nóng)低界（Shannon lower bound）。定理的結(jié)果表明，在均方失真準(zhǔn)則下，相同方差的信源要達(dá)到同樣的均方失真，高斯信源有最大的值。從數(shù)據(jù)壓縮的角度看，高斯

42、信源是最難壓縮的信源。 *9.8 有損數(shù)據(jù)壓縮技術(shù)簡(jiǎn)介 雖然信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎(chǔ)，但在相當(dāng)長(zhǎng)的時(shí)間內(nèi)將這種理論應(yīng)用于有損數(shù)據(jù)壓縮實(shí)踐的成效不大。原因是：v（1）這種理論需要研究信源的統(tǒng)計(jì)模型；v（2）對(duì)不同的信源，有效的失真測(cè)度難于確定；v（3）有效編碼的復(fù)雜度較大。 近十幾年來(lái)，信息率失真理論的研究和應(yīng)用得到很大發(fā)展，主要包括：開(kāi)發(fā)達(dá)到R(D)速率的信源編碼技術(shù)，尋找符合用戶需要的有意義的失真測(cè)度，尋求對(duì)重要信源的合理的統(tǒng)計(jì)模型。本節(jié)就有損編碼的主要方式：量化，預(yù)測(cè)編碼和變換編碼做簡(jiǎn)單介紹。 9. 8. 1 量化v1標(biāo)量量化 連續(xù)信源限失真編碼的主要方法是量化，就是把連續(xù)的

43、樣值離散化成若干離散值。設(shè)離散值的個(gè)數(shù)為n，那么這n個(gè)實(shí)數(shù)可用n個(gè)數(shù)字來(lái)表示。量化后的信號(hào)成為數(shù)字信號(hào)。由于這種數(shù)字化必然引入失真，所以在量化時(shí)必須使失真限制到最小。 對(duì)于一維連續(xù)信源輸出的量化稱(chēng)為標(biāo)量量化。最佳標(biāo)量量化就是使量化后的平均失真最小。量化后的信息率為R=log n，也就是表示量化后每個(gè)樣值所需的比特?cái)?shù)。 實(shí)際上，為使編譯碼簡(jiǎn)單可以采用均勻量化。在語(yǔ)音編碼中，先對(duì)信號(hào)進(jìn)行非線性壓縮，再進(jìn)行均勻量化。 標(biāo)量量化主要分為：均勻標(biāo)量量化和非均勻標(biāo)量量化9. 8. 1 量化v2矢量量化 矢量量化的基本原理就是將若干個(gè)標(biāo)量數(shù)據(jù)構(gòu)成一個(gè)矢量，然后在矢量空間中量化。為壓縮比特率，當(dāng)矢量被量化后，

44、傳送的是它的一個(gè)序號(hào)。 這樣，需要一個(gè)碼書(shū)儲(chǔ)存典型的數(shù)據(jù)矢量（碼矢量）和對(duì)應(yīng)的序號(hào)。當(dāng)編碼時(shí)，將輸入數(shù)據(jù)矢量和每個(gè)碼矢量比較，并將與輸入矢量最相似的碼矢量對(duì)應(yīng)的序號(hào)作為輸入數(shù)據(jù)的編碼來(lái)發(fā)送。在接收端則利用與發(fā)送端相同的碼書(shū)尋找與發(fā)送序號(hào)所對(duì)應(yīng)的碼矢量重建信源信號(hào)。矢量量化主要分為：均勻矢量量化和非均勻矢量量化。 9. 8. 2 預(yù)測(cè)編碼 v預(yù)測(cè)編碼是基于時(shí)域波形信源壓縮的技術(shù)，是語(yǔ)音編碼中使用的重要方法并在圖象編碼中得到應(yīng)用。預(yù)測(cè)編碼的基本思想是：由于量化器輸入為信號(hào)樣值和預(yù)測(cè)值的差，與原信號(hào)相比動(dòng)態(tài)范圍減小，從而使碼率減??；而且這個(gè)差值基本上不相關(guān)甚至獨(dú)立，因此可以用對(duì)無(wú)記憶信源的方法實(shí)現(xiàn)信

45、源編碼。雖然上面所述的最佳預(yù)測(cè)函數(shù)可使均方誤差最小，但為求預(yù)測(cè)函數(shù)必須知道r+1個(gè)隨機(jī)變量的聯(lián)合概率密度函數(shù)。在一般情況下，這是很困難的。對(duì)于聯(lián)合高斯分布的隨機(jī)變量，由條件期望所得的最佳預(yù)測(cè)函數(shù)就是線性函數(shù)，而對(duì)于其他分布，線性預(yù)測(cè)不是最佳預(yù)測(cè)。線性預(yù)測(cè)方法比求條件期望簡(jiǎn)單得多，所以常將線性預(yù)測(cè)用于所有的隨機(jī)過(guò)程。9. 8. 2 預(yù)測(cè)編碼v線性預(yù)測(cè)在語(yǔ)音編碼得到廣泛應(yīng)用。在語(yǔ)音波形編碼中，有調(diào)制、DPCM調(diào)制和 APC編碼（自適應(yīng)預(yù)測(cè)編碼）。在參量編碼中，有線性預(yù)測(cè)（LPC）聲碼器（ 利用線性預(yù)測(cè)技術(shù)對(duì)話音進(jìn)行分析合成的系統(tǒng)）。在經(jīng)典的LPC聲碼器中，發(fā)送端提取話音的線性預(yù)測(cè)系數(shù)、基音周期、清

46、/濁音判決信息以及增益參數(shù)，然后進(jìn)行量化編碼；在接收端則利用線性預(yù)測(cè)語(yǔ)音產(chǎn)生模型來(lái)恢復(fù)原始話音。由于預(yù)測(cè)模型所采用的激勵(lì)源不同，可分為三類(lèi)不同的LPC聲碼器：經(jīng)典LPC聲碼器、混合激勵(lì)LPC聲碼器和殘差激勵(lì)線性預(yù)測(cè)（RELP）聲碼器。 9. 8. 2 預(yù)測(cè)編碼v近十幾年來(lái)，參量編碼與波形編碼相結(jié)合的語(yǔ)音混合編碼技術(shù)得到很大發(fā)展，這種技術(shù)的特點(diǎn)是v（1）編碼器既利用聲碼器的特點(diǎn)（利用語(yǔ)音產(chǎn)生模型提取語(yǔ)音參數(shù)）又利用波形編碼的特點(diǎn)（優(yōu)化激勵(lì)信號(hào)使其達(dá)到與輸入語(yǔ)音波形的匹配）；v（2）利用感知加權(quán)最小均方誤差準(zhǔn)則使編碼器成為一個(gè)閉環(huán)優(yōu)化系統(tǒng)；v（3）在較低碼率上獲得較高的語(yǔ)音質(zhì)量。9. 8. 2 預(yù)測(cè)編碼v這類(lèi)編碼器包括：多脈沖激勵(lì)線性預(yù)測(cè)（MPLP或MPC）編碼，正規(guī)脈沖激勵(lì)（RPE）編碼和碼激勵(lì)線性預(yù)測(cè)（CELP）編碼CELP語(yǔ)音編碼器是最具有吸引力的語(yǔ)音壓縮編碼方式之一，它的特點(diǎn)是： 1）使用矢量量化的碼書(shū)對(duì)激勵(lì)序列進(jìn)行編碼； 2）采用包含感知加權(quán)濾波器和最小均方誤差準(zhǔn)則的閉環(huán)系統(tǒng)選擇碼矢量 當(dāng)前使用CELP算法的語(yǔ)音編碼標(biāo)準(zhǔn)有，低延遲碼激勵(lì)線性預(yù)測(cè)（LD-CELP）編碼器（16kbps語(yǔ)音編碼國(guó)際標(biāo)準(zhǔn)(G.728建議)）， 共軛結(jié)構(gòu)代數(shù)碼激勵(lì)線性預(yù)測(cè)（CS-ACELP）編碼器（8kbps語(yǔ)音編碼國(guó)