信息論與編碼第3章365

1、 第三章 信道與信道容量（第七講）（2 1 2 3、1， 3、2。31 , ,Y y圖 31311 （1/36/312 1二進制離散信道模型由一個允許輸入值的集合 X 和可能輸出值的集合 32 pY 0/X 1) pY 1/ X 0) ppY 1/ X 1) pY 0/X 0)1 p100pp圖 32 211 n n ，x ，x 12n m m Y ，y 構(gòu)1 2m pY y /X x) p(y /x)，2，n；，2，mjiji npY y ,Y y ,L ,Y y / X x ,L ,X x ) pY y /X x )1122nn11nnkkkkk1p(y /x ) P ji“1” “0”

2、x i3 ，x ， x ，12n m G 中 G 2 ，2，n X Yi x 2i1p(y/x ) e2(yx )2 /2iiy（t）（tn（t）x（t y（t n（t 信 道 模 型 ： 見 3 1 圖 ， 圖 中 ， 輸 入 X x ,x ,x ,x ， 輸 出 Y 1 2iny ,y ,y ,y H(X)1 2H(X)jm I(X;Y)。R=I(X;Y)。 Y X I(X;Y)H(X)。I(X;Y) p(x ) p(y /x ) p(y /x )ij i j i I(X;Y) p(x ) p(x )ii38 I(X;Y)是 p(x )i布 p(x )CimaxR maxI(X;Y) 比特

3、/信道符號) / Cp(x )p(x )ii C t tC maxI(X;Y) 比特/)1ttp(x )i 1 :1 0 0 L 00 L 0 0 10 1 0 L 00 L 0 1 00 0 1 L 00 L 1 0 0M M MMMM M M0 0 0 L 11 L 0 0 0 “1”或“0”，X 和 Y X 后 Y H(Y/X； Y X I(X;YH(XH(Y)。H(X/Y:2p(y /x ) p(y /x ) p(y /x )0000000112131000p(y /x ) p(y /x ) p(y /x )402502602 000( / ) ( / )p y xp y x7383

4、“1”或“0”Y XH(X/Y，I(X;Y H(X)-H(X/Y H(X) 。 y x y 217 x 3 C maxI(X;Y)maxH(X)log n2p(x )p(x )iiH(X) H(Y)。31 0 01 0 0P 0 1 00 1 00 0 1 “0”即“1”1 x y H(Y/X。ij y x H(X/Y)0。jimaxI(X;Y)maxHY)log m C2p(x )p(x )ii C n m P ( )( ) mC mHY /x )m ppij1 40 31 P C1/3 1/3 1/6 1/6P1/6 1/6 1/3 1/31 1 1 1則C lb4H( , , , )bi

5、t/符號3 3 6 6 C pP p則C log2H(p,1 p)1H(p)323 P P 1214181814121818行具有對稱性，列不具有對稱性，但把矩陣的前兩列和后兩列分成互不相交的子集，構(gòu)成兩個子矩陣 12141818P P 1214121818兩個子矩陣都是對稱矩陣。324 （ p（x i :I（x ;YC, p（x 0 iiiI（x ;YC , p（x ） i ii對 Y 第三章 信道與信道容量（第八講）（2 1 233 X =X X X 在 L 1 2XLP(Y/X) Y X P(Y/X) Y的 L Y =Y Y Y 1 2LL L X X ( lLL a , n a (i,

6、n ) Y1 2ni由 L Y =Y Y Y Y 1 2Ll , 。1 2mXY（Y/X）XY(X ,X ,., X )Y,Y Y )12L12LX a a ,.,a Y b,b ,.,b )ll 2n12m 37， p/ p 0/0 p/(1 p)2 p p 0/0 p(1/0) p(1 p)42 )p p ) )p2ppp2p p) (1 p)pp(1 p)p(1 p)22P p p)p(1 p)22pp) p(1p) (1p) p22 C log4H(1 p), p(1 p), p(1 p), p )22234 341 p(y/x) X p(y/x) Y。 數(shù)p(y/x) C源 X p

7、(x)0。max I(X;Y) Cp(x) N X Y=X+NH (Y/X)H (N)。cc N X X p(x) H (N) C p(x) H (Y)cc C max H Y) H (N)。ccp(x) N 0 P p 2n2H (N log 。1 2c22 1C max H Y) H (Nmax H Y) log 2ccc22p(x)p(x) H (Y ) Y 0 2 PcY S P = Y P2N PSP p ，p 2 )， ：p ，x，nNY X H (Y)c max H Y) log e ) log eP2X21212c22Yp(x)因此，高斯加性信道的信道容量為C log P log 21212221S1S2 log () log (1 )2222220 2342 n =N(0, )l當每個單元時刻的高斯噪聲都是同分布時，即： 2 ,則有信道容量LSLC ) （/。22l1x =N(0,S)l X 2 l LLL X X P P22l 才lll1l1l144c343 tB， f m ( W,W)； 2W 2W 11*2PP WlW* log (1 )W* log (1bit/s)Clt22 *22222WllPSPW log )bit/s)2NP N P N W ，N N000 信噪比和帶寬上限值。下限值。