信息率失真函數(shù)

信息率失真函數(shù)普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著1第一頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著24.1平均失真和信息率失真函數(shù)

4.1.1失真函數(shù)4.1.2平均失真4.1.3信息率失真函數(shù)R(D)4.1.4信息率失真函數(shù)的性質(zhì)第二頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著34.1平均失真和信息率失真函數(shù)

在實際問題中，信號有一定的失真是可以容忍的。但是當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，甚至喪失其實用價值。要規(guī)定失真限度，必須先有一個定量的失真測度。為此可引入失真函數(shù)。第三頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著44.1.1失真函數(shù)X={xi}，xi{a1,…an}

信源編碼器

Y={yj}，yj{b1,…bm}失真函數(shù)d(xi，yj)第四頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著5失真矩陣

單個符號的失真度的全體構(gòu)成的矩陣，稱為失真矩陣第五頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著6均方失真：

相對失真：誤碼失真：絕對失真：前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。最常用的失真函數(shù)

第六頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著7序列編碼情況失真函數(shù)定義為：

其中d(xil，yjl)是信源輸出L長符號樣值xi中的第l個符號xil時，編碼輸出L長符號樣值yj中的第l個符號yjl的失真函數(shù)。

第七頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著84.1.2

平均失真失真函數(shù)的數(shù)學(xué)期望稱為平均失真，記為已知p(xi)和d(xi，yj)，平均失真只是符號轉(zhuǎn)移概率p(yj/xi)的函數(shù)。p(yj/xi

)在此實質(zhì)上代表編碼方式。信源編碼器

第八頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著9如：x1y1x2y2x1y1x2y1第九頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著10

對于連續(xù)隨機(jī)變量同樣可以定義平均失真對于L長序列編碼情況，平均失真為

第十頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著114.1.3信息率失真函數(shù)R(D)

信源編碼器的目的是使編碼后所需的信息傳輸率R盡量小，R給定失真的限制值D，使

D，找最小R，

R(D)，定義為信息率失真函數(shù)。第十一頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著124.1.3信息率失真函數(shù)R(D)信源編碼器XY假想信道將信源編碼器看作信道，信源編碼器輸出的信息率R對應(yīng)到信道，即為接收端Y需要獲得的有關(guān)X的信息量，也就是互信息I(X;Y)。p(yj/xi)信源符號編碼概率信道轉(zhuǎn)移概率第十二頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著13D允許試驗信道

若p(xi)和d(xi，yj)已定，則可給出滿足條件的所有轉(zhuǎn)移概率分布pij，它們構(gòu)成了一個信道集合PD

稱為D允許試驗信道。

第十三頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著14信息率失真函數(shù)R(D)

當(dāng)p(xi)一定時，互信息I是關(guān)于p(yj/xi)的U型凸函數(shù)，存在極小值(2.2節(jié)）。在上述允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經(jīng)過此信道傳輸后，互信息I(X；Y)達(dá)到最小。D=?p(yj/xi)=pij?R(D)=?I[p(xi)，p(yj/xi)]第十四頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著15對于離散無記憶信源，R(D)函數(shù)可寫成

p(ai)，i＝1，2，…，n

是信源符號概率分布；

p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m

是轉(zhuǎn)移概率分布；

p(bj)，j＝1，2，…，m是接收端收到符號概率分布。

第十五頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著16R(D)的物理意義無失真時：R=H(X)有失真時：R=R(D)=H(X)－H(X/Y)H(X)H(X/Y)：由于壓縮編碼損失的信息對于給定信源，在平均失真不超過失真限度D的條件下，信息率容許壓縮的最小值R(D)信源編碼器H(X)R第十六頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著17例

設(shè)信源的符號表為A＝{a1，a2，…，a2n}，概率分布為p(ai)＝1/2n，i＝1，2，…，2n，失真函數(shù)規(guī)定為

即符號不發(fā)生差錯時失真為0，一旦出錯，失真為1，試研究在一定編碼條件下信息壓縮的程度。H(X)H(X/Y)可壓縮的信息量第十七頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著184.1.4信息率失真函數(shù)的性質(zhì)

R(D)函數(shù)的定義域⑴Dmin和R(Dmin)Dmin＝0

對于連續(xù)信源

第十八頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著19討論何時Dmin=0?只有當(dāng)失真矩陣中每行至少有一個零元素。何時R(0)=H(X)?只有當(dāng)失真矩陣中每行至少有一個零，并每一列最多只有一個零。否則R(0)可以小于H(X)，表示這時信源符號集中有些符號可以壓縮、合并而不帶來任何失真。第十九頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著20

(2)Dmax和R(Dmax)R(Dmax)=0選擇所有滿足R(D)＝0中D的最小值，定義為R(D)定義域的上限D(zhuǎn)max，即因此可以得到R(D)的定義域為第二十頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著21Dmax=?R(D)＝0就是I(X;Y)＝0，這時試驗信道輸入與輸出是互相獨立的，所以條件概率p(yj/xi)與xi無關(guān)。即需滿足條件第二十一頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著22從上式觀察可得：在j=1，…，m中，可找到值最小的j，當(dāng)該j對應(yīng)的pj＝1，而其余pj為零時，上式右邊達(dá)到最小，這時上式可簡化成第二十二頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著23例4-3設(shè)輸入輸出符號表為X＝Y(jié){0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣為第二十三頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著24解：當(dāng)Dmin＝0時，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符號，這時信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為第二十四頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著25當(dāng)R(Dmax)＝0時

此時輸出符號概率p(b1)＝0，p(b2)＝1，

所以這時的編碼器的轉(zhuǎn)移概率為

第二十五頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著262、R(D)函數(shù)的下凸性和連續(xù)性

3、R(D)函數(shù)的單調(diào)遞減性

容許的失真度越大，所要求的信息率越小。反之亦然。

第二十六頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著27綜上所述，可以得出如下結(jié)論：R(D)是非負(fù)的實數(shù)，即R(D)0。其定義域為0～Dmax，其值為0～H(X)。當(dāng)D>Dmax時，R(D)0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。R(D)是關(guān)于D的嚴(yán)格遞減函數(shù)。容許的D越大，所要求的R越小。反之亦然。第二十七頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著28由以上三點結(jié)論，對一般信息率失真R(D)曲線的形態(tài)可以畫出來：

R(D)H(X)R(D)

0DDmaxDR(D)

0DmaxD

離散系統(tǒng)連續(xù)系統(tǒng)第二十八頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著29信道容量C率失真函數(shù)R(D)R(D)與C的比較研究對象信道信源給定條件信道轉(zhuǎn)移概率p(yj/xi)信源分布p(xi)選擇參數(shù)信源分布p(xi)信源編碼器編碼方法p(yj/xi)限制條件結(jié)論I(X;Y)=H(X)-H(X/Y)噪聲干擾消失的信息量H(X/Y)壓縮損失的信息量H(X/Y)第二十九頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著304.2離散信源和連續(xù)信源的R（D）計算某些特殊情況下R（D）的表示式為：

（1）當(dāng)d(x,y)=(x-y)2，時，第三十頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》曹雪虹等編著31(2)當(dāng)d(x,y)=|x-y|，時，(3)當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時，R(D)=H(p)－H(D)

第三十一頁，共三十四頁，編輯于2023年，星期六普通高等教育“十五”國家