第四章總結(jié)習(xí)題

1、第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-91q設(shè)離散無記憶信源為)(,),(),(,)(2121mmjypypypyyyypYY到接收端信源符號通過信道傳送)(,),(),(,)(2121nnixpxpxpxxxxpX)/()/()/()/()/()/()/()/()/()/(212222111211nmnnmmxypxypxypxypxypxypxypxypxypXYp信道的傳遞概率矩陣第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-92第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-93nimjjiijijijiyxdxypxpDyxdEDXYPYXyxd1

2、1),()/()(),()(),(由數(shù)學(xué)期望的定義中的統(tǒng)計平均值的聯(lián)合概率空間和在即，第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-94DD第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-95DD第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-96n常用的失真函數(shù)q第一種當(dāng)a=1時稱為漢明失真矩陣。q第二種/平方誤差失真矩陣：d(xi,yj)=(yjxi)20000000),(aaaaaaaaaaaaDjiaajiyxdji0111010111101111010),(Djijiyxdji第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-97);(min)()/(

3、YXIDRDijPxypDDDD 第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-98第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-99);(max)(YXICixp);(min)()/(YXIDRDiiPxyp第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-910第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-911DCD)( DCD)(第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-912第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-913111144440123( )UP u0111101111011110D第四章第四章 信息率失真函數(shù)

4、信息率失真函數(shù)2022-5-91411133334444()113max124( ) (/) ( ,)( )min ( ,)0min()() ( ,) , , , min(,)jnmijiijijniijjimnjjjjijp yjimDp u p vu d u vp ud u vp yDDp x d x yDD DDrminmax解答：四元對稱信源在漢明失真矩陣下，它的平均失真度根據(jù)最小允許失真度的定義：D根據(jù)最大允許失真度的定義：D由 元離322434log 4log 3()0()0DH DDR DD散對稱信源可得：第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-915111333

5、101( )UP u121121D第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-916131443314max123maxmin( )min ( ,)(1 1 1)1( ) ( ,) , min(,)11011101001 , 100101niijjinjiijimp ud u vDp u d u vDD DDDD min解答：根據(jù)最小允許失真度的定義：D根據(jù)最大允許失真度的定義：達(dá)到的信道為，達(dá)到的信道為11221001或( , )0I U V ( , )( )I U VH U11( ) (/) ( ,)nmijiijijDp x p yx d x y第四章第四章 信息率失真函數(shù)信

6、息率失真函數(shù)2022-5-91701()1/ 21/ 2XP X00aDa第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-918minmax22000,/2102()02log1log1DDDHDR DDDDDDDH解答：二元對稱信源，其失真矩陣為，可計算得：根據(jù)參量表達(dá)式可求得，這里，=-第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-91901()1/ 21/ 2XP X0210D第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-920minmax121112212202100,1/2()()1/2( ,)0, ( ,)2, (,)1, (,)0DDp xp xd x

7、 yd x yd xyd xy解答：二元對稱信源，其失真矩陣為，可計算得：根據(jù)參量表達(dá)式進(jìn)行求解第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-921第一步：求i，由式(4.2.12)有11211222(,)(,)1122(,)(,)11221221221233()()1()()10.50.510.50.512(1)2(1)11Sd x ySd xySd x ySd xySSSSSSp x ep x ep x ep x eeeeeee)12.2 .4(), 2 , 1, 0)( , 1)(1),(mjypexpjniyxSdiiji第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5

8、-922第二步：求p(yj)，由式(4.2.11)有11122122(,)1(,)(,)121(,)(,)12232123122221221()(4.2.11)1()()1()()1()()2(1)1()()2(1)1()()2(1)ijmSd x yijjSd x ySd x ySd xySd xySSSSSSSSSp y ep y ep y ep y ep y eep yp y eeep y ep yeeeep yp ye212(1)SSSee第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-923第三步：求p(yj/xi)，由式(4.2.10)有11211222(,)2113(,)

9、111112(,)1212(,)2121(,)2222(/)()1,2, ;1,2,(4.2.10)1(/)(1)(1)(/)()(/(/)()(/)()(/)()ijSd x yjijiSSSSSd x ySd xySd x ySd xyp yxp yein jmeep yxeep yxp yep yxp yxp yep yxp yep yxp ye3234322132223)(1)(/)(1)(1)1(/)(1)SSSSSSSSSSSSeeeeeeep yxeeeep yxe第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-924第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有

10、11211222(,)11(,)11111(,)21211(,)12122(,)222212( )( ) () ( ,)(4.2.14)( )() () ( ,)() () (,)() () ( ,)() () (,)21ijnmSd x yijijiijSd x ySd xySd x ySd xySSSSD Sp x p y d x yeD Sp x p y d x yep xp y d xyep x p y d x yep xp y d xyeeeee第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-925第五步：求R(S)，將上述結(jié)果代入式(4.2.15)有112222( )( )

11、( )ln(4.2.15)( )20.5ln0.5ln14(1)20.5ln11niiiSSSSSSSSSSSR SSD Sp xSeR SSeeeSeeSeeeee第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-92612( )0.50.5SssP s第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-927,tCttt解答：(1)信源的信息熵 H(S)=1 bit/symbol信源輸出的信息傳輸速率 R =2.66(symbol/s) H(s) =2.66bit/s將此信源輸出符號送入二元無噪無損信道進(jìn)行傳輸，此信道每秒只傳送二個符號，其最大信息傳輸速率 C =2bit/s 可

12、見，R根據(jù)信道編碼定理，不論進(jìn)行任何編碼此信源都不可能在該信道中實現(xiàn)無失真的傳輸。故信源在此信道中傳輸會引起錯誤和失真。第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-928Rttt(2)信源的失真度為漢明失真。其信息率失真函數(shù) R(D)=1-H(D) bit/symbol R (D)=2.66(D)bit/s若當(dāng)CR (D)，則此信源在此信道中傳輸時不會引起錯誤，也就是不會因信道而增加信源新的失真?？偟男旁吹氖д媸切旁磯嚎s編碼所造成的允許失真D。所以有 2=2.661-H(D) H(D) 0.2481 D0.0415故允許信源平均失真D0.0415時，此信源就可以在此信道中傳輸?shù)谒恼?/p>

13、第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-929 設(shè)信源 ，其失真度為漢明失真度，試問當(dāng)允許平均失真度 D=(1/2)p 時，每一信源符號平均最少需要幾個二進(jìn)制符號？211)(21pppxxxpXi第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-930解：失真矩陣 )1ln()1(ln)()21()(443.1)(1,2)21()(443.1log)()()21()(443.1)()21()()(12101102pppppHpHpHDRKLmpHpHmLKDRbitpHpHnatpHpHDRpDD這里時當(dāng)?shù)谒恼碌谒恼?信息率失真函數(shù)信息率失真函數(shù)2022-5-931123()1/3 1/3 1/3XxxxP X第四章第四章 信息率失真函數(shù)信息率失真函數(shù)2022-5-9321121min()1( ) (/) ( ,)( )min ( ,)0()()log 3100010001min()() (jnmijiijijniijjimjjjjip yjDp u p vu d u vp ud u vRH XD