信息論基礎及答案

1、信息論基礎試卷答案、填空題(共 25分，每空1分)1、連續(xù)信源的絕對嫡為無窮大。(或 p x lg p x dx lim 1g )2、離散無記憶信源在進行無失真變長信源編碼時，編碼效率最大可以達到1。3、無記憶信源是指信源先后發(fā)生的符號彼此統(tǒng)計獨立。4、離散無記憶信源在進行無失真變長編碼時，碼字長度是變化的。根據信源符號的統(tǒng)計特性，對概率大的符號用短 碼,對概率小的符號用長 碼,這樣平均碼長就可以降低，從而提高有效性(傳輸速率或編碼效率)。5、為了提高系統(tǒng)的有效性可以采用一信源編碼，為話系統(tǒng)的可靠性可以采用信道編碼。6、八進制信源的最小嫡為0,最大嫡為 3bit/符號。7、若連續(xù)信源輸出信號的

2、平均功率為1瓦特，則輸出信號幅度的概率密度函數為_21-高斯分布(或X： N 0,1或J=e 2 )時，信源具有最大嫡，其值為0.6155hart(或 1.625bit 或 11g 2 e)o8、即時碼是指任一碼字都不是其它碼字的前綴9、無失真信源編碼定理指出平均碼長的理論極限值為信源嫡(或Hr(S)或H-s-),此lg r時編碼效率為 編碼后的信息傳輸率為lgr bit/碼元 。10、一個事件發(fā)生的概率為0.125,則自信息量為 3bit/符號。11、信源的剩余度主要來自兩個方面，一是 信源符號間的相關性,二 是信源符號概率分布的不均勻性。12、m階馬爾可夫信源的記憶長度為m+1,信源可以有

3、qm 個不同的狀態(tài)。13、同時扔出一對均勻的骰子，當得知“兩骰子面朝上點數之和為 2”所獲得的信息量為 lg36=5.17 比特，當得知面朝上點數之和為8 ”所獲得的信息量為lg36/5=2.85比特。14.在下面空格中選擇填入的數學符號“=, , 或H(XY)=H(Y)+H(X I Y) W H(Y)+H(X)二、（5分）已知信源的概率密度函數為b a0 其他,計算信源的相對嫡。b1Hc x p x lgdx3 分a p xlg b a bit/自由度2 分三、（10分）一個平均功率受限的連續(xù)信道，信道帶寬為1MHz,信道噪聲為高斯白噪聲。已知信道上的信號與噪聲的平均功率比值為20，計算該信

4、道的信道容量。（2）如果信道上的信號與噪聲的平均功率比值降為10,要達到相同的信道容量，信道帶寬應為多少？（3）如果信道帶寬降為 0.5MHz ,要達到相同的信道容量，信道上的信號與噪聲的平均功 率比值應為多少？1) c 10lg 1 SNr -3分4.39 106 b/s-1 分2) 10clg 1SNR1.27 106 Hz-3 分c w3) SNR 21 =4403 分四、（16 分）已知信源共 7個符號消息，其概率空間為3536s70.150.100.013132s3s40.20.170.20.17試用霍夫曼編碼法編成二進制變長碼。并計算信源嫡、平均碼長、編碼后的信息傳輸率、編碼信息率

5、和編碼效率。要求寫出詳細的編碼過程和計算過程。01 S1 0.2-0.20.261 0.341 0.400 S3 0.2111 S2 0.1720.2- 0.170.20.2110 S4 0.17-0.170.17101 S5 0.15 0.150.17 1001 S60.100.11 -1000 S70.010.26 勺 0.210.2,0.340.260.4 log2 r0.9632.71 位-2 分7H sPilog 2 P 2.61bit/ 符號2 分i 1R log 2 r 2.71bit/碼字2 分H sR 0.963 bit/碼元2分五、（16分）設一個離散無記憶信源的概率空間為

6、Xa1a2P x 0.50.5它們通過干擾信道, 示。信道輸出端的接收符號集為Y =b1,b2,已知信源傳輸概率如下圖所X1 0.020.98Y10.2XZX2JY20.8試計算：(1)信源X中事件X1和X2分別含有的自信息量；(2分)(2)收到y(tǒng)j(j=1,2)后，獲得的關于xi的信息量；(2分)信源X的信息嫡；(2分)(4)條件嫡 H(YI xi), H(YI X2); (2 分)(5)共商H(XY)、信道疑義度 H(X I Y)和噪聲嫡H(YI X); (6分)(6)收到消息Y后獲得的關于信源 X的平均信息量。(2分)P(x,y)YiY2Xl0.44 0.01為0.1 0.4(1)I(x

7、1)=-log0.5=1bit1 分I(x2)=-log0.5=1bit1 分(2)I(x1；y1)=lg0.831/0.5(或=lg0.98/0.59)=0.7331 分I(x1；y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.381 分(3)H(x)=H(0.5,0.5)=1bit/ 符號2 分(4)H(y | x1)=H(0.98,0.02)=0.142bit/ 符號-1 分H(y | x2)=H(0.8,0.2)=0.722bit/ 符號-1分(5)H(y)=H(0.59,0.41)=0.977H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/

8、 二符號 2 分H(x | y)=H(xy)-H(y)=0.455bit/ 符號2分H(y | x)=H(xy)-H(x)=1.432-1=0.432bit/ 符號-2分(6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符號2分 六、(12分)設某信道的傳遞矩陣為(1)若輸入符號 Rx1)=P(x2)=1/4 , P(x3)=1/2 ,求 H(X I Y)和 I(X;Y)。(2)計算該信道的信道容量，并說明達到信道容量的最佳輸入概率分布。寫出公式2分p yiH(X | 丫尸p(xyj)log p Xi yj , I(X;Y尸H(X)-H(X | Y)p X p y1 X =

9、1/3 ,同理：p(y2)=7/24 , p(y3)=3/8X計算過程4分p Xixi yip yi xip yi同理：p(Xi I y2)=2/7 , p(Xi | y3)=i/9p(X2 Iyi)=i/8 ,p(X2Iy2)=3/7 ,p(X2Iy3)=2/3p(X3 |yi)=i/2 ,p(X3|y2)=2/7 ,p(X3|y3)=2/3H(X)=-2 x(i/4)log(i/4)-(i/2)log(i/2)=i.5 bit/symbol -最終答案2分H(X I Y)=p( X)p y X log p X y i.383bit/symbolX YI(X;Y)=H(X)-H(X I Y)

10、=0.ii7 bit/symbol(2)對稱離散信道C=logS-H(p的行矢量)-判斷公式3分=log3-H(i/2,i/3,i/6) = 0.i26bit/symbol-答案 i 分輸入等概時，達到信道容量。-說明2分0,i,初始概率大小為七、(i6分)有一個二元二階馬爾可夫信源，其信源符號集為P(0)=i/3 , P(i)=2/3。條件概率定為P(0 I 00)= P(i I ii)=0.8P(i I 00)= P(0 I ii)=0.2P(0 I 0i)= P(0 I i0)= P(i I 0i)= P(i I i0)=0.5(i)畫出該信源的狀態(tài)轉移圖。(2)計算達到穩(wěn)定狀態(tài)的極限概率。(3)該馬爾可夫信源的極限嫡H”。(4)計算達到穩(wěn)定后符號0和i的概率分布。解：0:0.81:0.84 分ur(2) p Ei. Ei0.80.200000.50.50.50.500000.2 0.8P(Ei)=0.8P(Ei)+0.5P(E3)P(E2)=0.2P(Ei)+0.5P(E3)P(E3)=0.5P(E2)+0.2P(E4)P(E4)=0.5P(E2)+0.8P(E