信息論與編碼理論1(B卷答案)

1、精品教育2011-2012 信息論與編碼理論 1B 卷答案單項(xiàng)選擇題 ( 每題 3分，總計(jì) 15分 )1. 當(dāng)?shù)诪?e 時，熵的單位為 (C) 。A 奈特B 哈特C 奈特 /符號D 哈特 /符號2. 下列關(guān)系式中 (B ) 正確。AI(X;Y)I(X)BH(X,Y)I(X;Y)CH(X |Y)H(Y|X)DI(X;Y)H(X;Y)3.下列 ( D )陳述是正確的。ASha nnon 編碼是最優(yōu)碼B LZ 編碼是異字頭碼C Huffman 編碼可以不需要知道信源的分布D典型序列的數(shù)目不一定比非典型的多4.下列數(shù)組中 (A ) 不滿足二個字母上的Kraft 不等式。A(1,1,1)B(2,2,2,

2、2)C(3,3,3)D(4,4,4)5. 下列 ( D ) 是只對輸出對稱的。1 21. 若二元離散無記憶中p(0)0.25 , p(1)0.75 ，則當(dāng)給出100 比特的信源序列，其中有 5 個 1, 則其自信息為 2005log 2 3 比特 ,整個序列的熵為 100(2-log 2 3)比特 /符號 .3340.50.250.252. 若某離散信道信道轉(zhuǎn)移概率矩陣為0.250.50.25 ，則其信道容量為log 23 1.5 比0.250.250.50.50.250.25特 /符號；轉(zhuǎn)移概率矩陣為0.250.250.5，則其信道容量為log 23 1.5 比特 /符號。0.250.50.

3、253.兩個相同的BSC 做級聯(lián)信道 ,其信道轉(zhuǎn)移矩陣分別為, 則級聯(lián)信道的1 2p2p22p 2p 20.50.5信道轉(zhuǎn)移矩陣為1 2p 2p 2，無窮多個級聯(lián)后的矩陣為0.5 。2p 2p 20.5111A362111o2630.20.40.4B 0.40.20.4C0.40.40.233210.20.20.433D0.40.20.4124. 若一個信道的輸入熵為H (X) 2.6 比特 /符號，輸出熵為H (Y) l(X;Y) 1.72.3 比特 /符號 ,比特 /符號，則 H(X,Y) 3.2 比特 /符號，散布度為0.6 比特 /符號。-可編輯 -、填空題 ( 每空 2 分，總計(jì) 2

4、0 分)精品教育5 ?在二元 LZ 編碼中，若信源有K 個，某段信源序列共有M 個字典，則碼長log 2 M log 2 K 。6 . 存在 D 元唯一可譯碼，其平均碼長必小于H（U 1。log D三、判斷題（每題 2 分，總計(jì)10 分）1?概率小的事件自信息大（V ）2.若一個碼字集合中的碼字長度滿足Kraft 不等式，則其必為逗點(diǎn)碼。（）3.若碼字都被配置在樹的葉子節(jié)點(diǎn)處，則這種碼一定是異字頭碼。（V ）4.平均互信息是下凸函數(shù)。（）5.算數(shù)編碼需要知道信源的分布。（V）四、計(jì)算題（ 55 分）1） （15 分）設(shè)隨機(jī)變量X,Y 的聯(lián)合概率分布如下：X101011441012Z XY 。分

5、別求 H(X), H(Y), H(X |Y), I (X;Z)。解：X 的分布率為X01P1122則 H（X） 1 比特 /符號Y 的分布率為Y01P1344則 H(Y) 23 log 2 3 比特 /符號 .401010-可編輯 -精品教育2-可編輯 -精品教育1012P( x 0|Y0) P( X 0，丫 0) =i,p( x 0|Y 1) P (XQY1) = 1P(Y 0)P(Y 1)3p(X 1 |Y 0)P( X 1,Y印=0, P( X1|Y 1)p(X 1,Y1)_ 2P(Y 0)1 =3P(Y 1)H(X |Y)p(0,0) log2 p(0|0)p(0,1) log2 p(

6、0|1)p(1,0) log2 p(1|0)p(1,1) log 2 p(1 |1)1111231= log 21 log 20 log 2 0 log 2= log 2 3 比特 / 符號 .Z01P1122p(X 0|Z0) 止 咚 9=1, p( x 0| Zp(X 0,z1) c1)=0P( z 0)P(Z 1)p( ；z1， Z0)0) =0，p( xP( x 1,Z1)p(X 1|Z 0)1|Z 1)P(Z 1)I(X ；Z)p(0|0)p(0|1)p(1 | 0)P( 1|1)P(0,0) log 2P(0,1) log 2P(1,0)log2 E p(1,1)log 2P(X

7、1)P(X 0)P(X 0)-可編輯 -精品教育=0 比特 /符號 .2）（ 20 分）若離散無記憶信源的概率分布為abedU0.1 0.2 0.3 0.4分別構(gòu)造二元，三元Huffman 編碼（要求碼長方差最小，但不需求出），Shannon編碼， Fano 編碼， Shannon-Fano-Elias 編碼。并求中二元Huffman 編碼的編碼效率。（只列出式子即可）-可編輯 -精品教育解:對信源按概率從大到小排序dcbaHuffman 編，U，建立碼樹則有二兀0.40.30.20.1碼：a 000, b 001, c 01, d 1要進(jìn)行三元 Hufman 編碼 ，則需要添加一個空信源 ，

8、成為 Ud c b a e建立碼樹則有三元 Huffman 編碼 ：a 00, b 01, c 1, d 20.4 0.3 0.2 0.10Shannon 編碼如下 :信源碼長累加概率碼字d2000c20.401b30.7101a40.91110 Fa no 編碼如下 ：第1次分組第2次分組第 3次分組碼字信源概率d0.400c0.31010b0.110110a0.11111 Shannon-Fano-Elias 編碼信源概率F(x)F(x)l(x)二元 F (x)碼字a0.10.10.0550.0000100001b0.20.30.240.0001000001c0.30.60.4530.01

9、1011d0.410.830.110110二元 Huffman 編碼的平均碼長為 i= 3 0.1 3 0.2 2 0.3 1 0.4=1.9編碼效率為H(UJ H(UH(0.1,0.2,0.3,0.4)R l log 21.9-可編輯 -精品教育1 13) ( 20 分) 若離散無記憶信道的信道轉(zhuǎn)移矩陣為2 2 ，用兩種方法求該信道容量。44方法一 ：0.50.50.250.750110.5 log 0.50.5log 0.50.25 log 0.2510.75 log 0.750.811281010.50.5132 11.3774380.250.750.811281 12 0.8112810.622562C log(2 02 1)log(0.384763 0.649773)log 1.034536 0.0345(w(0),w(1)(2 0 C ,2 1 C )(0.371918,0.628082)0.50.5(q(0),q(1)(w( 0),w(1)(0.3429795, 0.6570