第六章限失真信源編碼

1、第七章第七章 限失真信源編碼限失真信源編碼7.1 7.1 失真測(cè)度失真測(cè)度7.2 7.2 信息率失真函數(shù)信息率失真函數(shù) 7.3 7.3 信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算 7.4 7.4 限失真信源編碼定理和逆定理限失真信源編碼定理和逆定理 * * 7.5 7.5 熵壓縮編碼具體方法熵壓縮編碼具體方法信宿信源編碼器/信道YXR=I(X;Y)R(D) 概述概述失真測(cè)度失真測(cè)度7.1.1 7.1.1 失真函數(shù)失真函數(shù))()()(2121rrxpxpxpxxxPX)()()(2121ssypypypyyyPYsjriyxdji, 2 , 1, 2 , 1, 0),(失真測(cè)度失真測(cè)度),(),(

2、),(),(),(),(),(),(),(212221212111srrrssyxdyxdyxdyxdyxdyxdyxdyxdyxdD失真矩陣 sr7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度常用的失真函數(shù)有：（1） 漢明失真（2） 平方誤差失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)大小等人為規(guī)定的。 jijijiyxyxyxd10),(2)(),(jijiyxyxd7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度例7.1.1 設(shè)信道輸入 ，輸出 ，規(guī)定失真函數(shù) d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0

3、.5，求 D 。解： 1 , 0X2 , 1 , 0Y7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度例7.1.1 設(shè)信道輸入 ，輸出 ，規(guī)定失真函數(shù) d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0.5，求 D 。解： 1 , 0X2 , 1 , 0Y5 . 0015 . 010D7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度NkjijijijijjjiiijikkNNNNyxdyxdyxdyxdyyyxxxdd1),(),(),(),(),(),(22112121yx符號(hào)序列的失真函數(shù)NXXX21XNYYY21YrxxxX,

4、21syyyY,21Niiiixxx21xNjjjjyyy21y7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度例7.1.2 假設(shè)信源輸出序列 ，其中每個(gè)隨機(jī)變量均取值于 。經(jīng)信道傳輸(編碼）后的輸出為 ，其中每個(gè)隨機(jī)變量均取值于 。 定義失真函數(shù) d (0,0) =d (1,1) =0， d (0,1) =d (1,0) =1，求失真矩陣 D (N ）。 321XXXX 1 , 0X321YYYY 1 , 0Y7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度011212231021213212012312211032211223011221321021231212013221

5、2110)(ND7.1.1 7.1.1 失真函數(shù)失真函數(shù)失真測(cè)度失真測(cè)度7.1.2 7.1.2 平均失真平均失真 ),()|()(),()(),(1111jiijrisjijirisjjijiyxdxypxpyxdyxpyxdED11()(,)() (|) (,)NNijrsijiijijD NE dppdx yxyxx y失真測(cè)度失真測(cè)度11111()(,)() (|) (,)() (|)(,)NNNNkkijrsijiijijrsNijiijijkD NE dppdppd xyx yxyxx yxyx1()NkkD ND失真測(cè)度失真測(cè)度7.1.2 7.1.2 平均失真平均失真 )()(ii

6、xpxpk), 2 , 1()|()|(NkxypxypijijkkDDkDNND)(失真測(cè)度失真測(cè)度7.1.2 7.1.2 平均失真平均失真 7.2.1 D 允許信道 保真度準(zhǔn)則 DD NDND)(D失真允許信道 sjriDDxypBijD, 2 , 1;, 2 , 1: )|()(|):()1,2,;1,2,NND NjiBpD NNDirjsyx7.2 7.2 信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)7.2.2 信息率失真函數(shù)的定義 );(min)()|(YXIDRDijBxyp);(min)()|(YXxyIDRDijBpN)()(DNRDRN當(dāng)信源為離散無(wú)記憶平穩(wěn)信源

7、、信道為離散無(wú)記憶平穩(wěn)信道時(shí));();(YXNIIYX7.2 7.2 信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù));(max)(YXICixp是在信道固定前提下，選擇一種信源概率分布使信息傳輸率最大（求極大值）。它反映了信道傳輸信息的能力，是信道可靠傳輸?shù)淖畲笮畔鬏斅?。信道容量與信源無(wú)關(guān)，是反映信道特性的參量，不同的信道其信道容量不同。 7.2 7.2 信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù));(min)(: )|(YXIDRDDxypij是在信源固定，滿足保真度準(zhǔn)則的條件下的信息傳輸率的最小值。反映了滿足一定失真度的條件下信源可以壓縮的程度，也就是滿足失真要

8、求而再現(xiàn)信源消息所必須獲得的最少平均信息量。是信源特性的參量，一旦求到就與求極值過(guò)程中選擇的試驗(yàn)信道無(wú)關(guān)，不同的信源率失真函數(shù)不同。 7.2 7.2 信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù) 這兩個(gè)概念適用范圍是不一樣。研究信道容量C 是為了解決在已知信道中盡可能多地傳送信息的問題，是為了充分利用已給定的信道，使傳輸?shù)男畔⒘孔畲蠖e(cuò)誤概率任意小，以提高通信的可靠性，這是信道編碼的問題。 研究信息率失真函數(shù)是為了解決在已知信源和允許失真度條件下，使信源輸出的信息率盡可能小，也就是在允許一定失真度D 的條件下，使信源必須傳送給信宿的信息量最少，盡可能用最少的碼符號(hào)來(lái)傳送信源信息，使

9、信源的信息可以盡快地傳送出去，以提高通信的有效性，這是信源編碼問題。7.2 7.2 信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)信息率失真函數(shù)1.1. 的定義域的定義域 )(DR),(min)(),()|(min)(),()|()(minminjiijijjiijiijiijijiyxdxpyxdxypxpyxdxypxpD例7.3：刪除信道 ，求 21012110DminD信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)011011101D100100010P1.1. 的定義域的定義域 )(DR信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)例7.4 設(shè)信源 ,313131210)(XPX 1 , 0Y012

10、12110D，求minD1.1. 的定義域的定義域 )(DR信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)解： 610312131031minD1)|(0)|(1)|()|(0)|(1)|(323122211211xypxypxypxypxypxypminmin(|)1()( )6min(; )()jiDp y xBR DRI X YH X1.1. 的定義域的定義域 )(DR信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)),()()(min)(maxjijiijypyxdxpypDj),()(minjiiijyxdxp)()|(jijypxyp0)(DR11( ) (|) ( ,)rsijiijijDp

11、x p yx d x y1.1. 的定義域的定義域 )(DR信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)例： 二元信源 , 計(jì)算 。6 . 04 . 0)(21xxXPXmaxD00D1.1. 的定義域的定義域 )(DR信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)對(duì)于任意 和 有10max21,DDD)()1 ()()1 (2121DRDRDDR2. 2. 是關(guān)于是關(guān)于D D的下凸函數(shù)的下凸函數(shù) )(DR信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)的性質(zhì)201DDD)()(10DRDR21DD 12()()R DR D3. 3. 在定義域內(nèi)是嚴(yán)格遞減函數(shù)在定義域內(nèi)是嚴(yán)格遞減函數(shù))(DR信息率失真函數(shù)的性質(zhì)信息率

12、失真函數(shù)的性質(zhì)例7.6 二元信源的信息率失真函數(shù)信源輸出符號(hào)集為（0，1），失真函數(shù)定義為，求 。011,12XpPpp01,21ijijdi jij,)(DR7.3.1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算解：（1）由 計(jì)算 和 。 ( )1ijsdiiip xe121()ijsdjjip y e（2）由 計(jì)算 和 。)(1yp)(2yp（3）將求得的 ， 和 ， 代入得到平均失真度D(S)，并將S表示為D的函數(shù)。 12)(1yp)(2yp7.3.1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算（4） 將參量S代入得到率失真函數(shù)。 7.3.

13、1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算()( )()R DH pH D7.3.1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算等概信源的信息率失真函數(shù)。例7.7 信源輸出符號(hào)集 ，等概分布，輸出符號(hào)集 ，失真函數(shù)定義為 求 。rxxxX,21ryyyY,21rjijijiyxdji, 2 , 1,10),()(DR ( )loglog(1)()R DrDrH D7.3.1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算7.3.1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算 ( )loglog(1)

14、()R DrDrH D例7.8 設(shè)信源符號(hào)集 。概率分布為 ，失真函數(shù)選為求當(dāng)允許的失真度為1/2時(shí)信源的率失真函數(shù)。rxxxX221,rirxpi2 , 2 , 1,21)(jijijiyxyxyxd10),(7.3.1 應(yīng)用參量表示式計(jì)算)(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算例7.9 二元信源的信息率失真函數(shù)信源輸出符號(hào)集為（0，1），失真函數(shù)定義為漢明失真 ，求 。011,12XpPpp01,21ijijdi jij,)(DR7.3.2 二元信源和離散等概信源的 )(DR信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算解： 且滿足該最小失真的試驗(yàn)信道是一個(gè)無(wú)噪無(wú)損信道。 0minD10

15、01Pmin()(0)()( )R DRH XH pmaxmin( ) ( ,)min(1, )iijjDp x d x yp pp1010Pmax()( )0R DR p信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算7.3.2 二元信源和離散等概信源的 )(DRpDDmax0 ( ,)() ( ,)(0,1)(1,0)ijijijijEDE d x yp x y d x yP XYP XYP)|()()|()();(YXHpHYXHXHYXI)()()|(DHPHYXHE(; )( )()I X YH pH D當(dāng) 時(shí)，信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算7.3.2 二元信源和離散等概信源的 )(DR121()()1 21 21020()1jpDpDp yp yDDDpp y信息率失真函數(shù)的計(jì)算信息率失真函數(shù)的計(jì)算7.3.2 二元信源和離散等概信源的 )(DR ( ,)() ( ,)(1)()1 21 2ijijijijDE d x yp x y d x yDpDD pDDDD( )( ; )( )( | )( )( )R DI X YH XH X YH pH D定理7