最新信息論測試題及答案

1、一、 設(shè)X、Y是兩個相互統(tǒng)計獨立的二元隨機變量，其取-1或1的概率相等。定義另一個二元隨機變量 Z,取Z=YX（般乘積）。試計算：1.H（ Y）、H（ Z）；2.H（ YZ）;3.I（ X;Y ）、I（ Y;Z）；二、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣1. 繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布；3.求極限熵；11jI*三、在干擾離散對稱信道上傳輸符號1 和 0，已知 P( 0)=1/4,P(1)=3/4, 試求:1.信道轉(zhuǎn)移概率矩陣P 2.信道疑義度3.信道容量以及其輸入概率分布四、某信道的轉(zhuǎn)移矩陣p = 0.60.30.1J0.3 0.600 ，求信道容量，最佳輸入概率

2、分布。0.1五、求下列各離散信道的容量（其條件概率P（Y/X）如下：）j. 11 3 3 6 6 丄丄丄 6 3 6 3六、求以下各信道矩陣代表的信道的容量答案一、設(shè)X、Y是兩個相互統(tǒng)計獨立的二元隨機變量，其取-1或1的概率相等。定義另個二元隨機變量 Z,取Z=YX（ 般乘積）。試計算：1. H（Y）、H（ Z）；2. H（XY）、H（ YZ）;3（X;Y ）、I（ Y;Z）；解：1.' P( yi) logP (y) = log 11 log - =1bit/ 符i 4IL22 22T Z=YX 而且X和Y相互獨立11111P(乙=1)二p(Y=1) P(X =1) P(Y - -1

3、) P(X - -1)=-2 2 2 2 211111P(Z2=-1)二P(Y=1) P(X - -1) P(Y - -1) P(X h)=-2 2 2 2 22故 H(Z)=-'、P(zi )log P(zi) =1bit/符號i =i2. 從上式可以看出:Y與X的聯(lián)合概率分布為p(ej=_32 *p(E2)= 7 P®)牛21121 11+ -H(1，,0)+2 H(-，,-)72274 24P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/ 符號3. yX與Y相互獨立，故 H(X|Y)=H(X)=1

4、bit/ 符號.I (X;Y) =H(X)-H(X|Y)=1-仁Obit/符號l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=O bit/符號、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣2.繪制狀態(tài)轉(zhuǎn)移圖；2.求該馬爾科夫信源的穩(wěn)態(tài)分布；3.求極限熵;解：1.狀態(tài)轉(zhuǎn)移圖如右圖32.由公式p（Ej）=» P（Ei） P（Ej|EJ，可得其三個狀態(tài)的穩(wěn)態(tài)概率為：i 41 1 1巴巳）=尹（巳）+尹叵）+/乍3）11p（E2）=?p（E2）+2P（E3）11p（E3）專 p（E1）+p（E3）P（EJ P（E2）P（E3）=13. 其極限熵:H:-=八 P( Ei

5、)H(X|Ei) = - H(-,0,丄)i =17223228=1+1+1.5= bit/ 符、在干擾離散對稱信道上傳輸符號1和0，已知P （ 0） =1/4,P（1）=3/4, 試求:2.信道轉(zhuǎn)移概率矩陣P 2.信道疑義度3.信道容量以及其輸入概率分布n0.9解：1.該轉(zhuǎn)移概率矩陣為P=2. 根據(jù)P（XY =P（Y|X） P（X），可得聯(lián)合概率P（ XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P( X|Y)=P(X|Y)/P(Y) 可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=-'、 P(Xiyj

6、)logP(Xi|yj) =0.09+0.12+0.15+0.035=0.4bit/ 符號i，j3.該信道是對稱信道，其容量為：C=logs-H=log2-H ( 0.9,0.1 )=1-0.469=0.531bit/ 符號這時，輸入符號服從等概率分布，即011 122 一四、某信道的轉(zhuǎn)移矩陣0.6 0.3 0.10.3 0.600 ，求信道容量，最佳輸入概率分布。0.1解：該信道是準(zhǔn)對稱信道，分解為兩個互不相交的子信道矩陣0.60.30. 1 00.30.6|0 0. 1N0.9 N=0.1這里M 1 = 0.9 M 2 = 0.1-C=logr-H(P的行矢量)2-' NK log

7、 MK =1-H(0.6, 0.3, 0.1)-0.9 log 0.9-0.1 log 0.1k 4=0.174bit/ 符號這時，輸入端符號服從等概率分布，即五、求下列各離散信道的容量(其條件概率P(Y/X)如下：)77匚Jin441丄丄13 3 6 611116 3 6 3C由公式宏艸如咖=2"=-p©小 Y= (I*；1+(17 戸由公式尸（兒）藝pOOp（”再）求p即r由方趕扯1咖=沖】）*肋Wr2）-血E）07）戸（工1=l-5-JJ1 + (1 7)尸d51"1pd1 + (17)護(hù)因為S輕條杵轉(zhuǎn)暮様率.所IUO<J<L -ri. （ipi

8、x.K p<x：0.保證了（？的有在。2>寸扌*信適可拆帶逋走-?？浦Q信ifl杷信ifl矩附升林Mi兩牛子卻階如下=(7 = max鞏冬巧=_瓦zn"01°氏五>J _兀kUPCVjJ-pJpCTj/xO + pCxJGi/xJ-Ji/2 + (1-)/2-(1-)/2屮5)=左3巾® a；)+衛(wèi)(孔23 /x2y=叩2+毛/2=p(y)=乏>6）叫SXyP亦 J=去5）；戸3> =（1 一“門耐12.<? = -£ 叫五5)5 “5 ) - 兀Jk-L+月繩*&）+（!&亠舟）綁應(yīng)一町一気H眄細(xì)歸+

9、S隔 jJ=弋-酣1唯+ （1-禺亠5?。海?一&亠$+業(yè)1©生4血symbol3）北對稱仃道這牛倍道墾個一隈信道，利用一般信道的計律方址-由公式2o卩和oeipo戶卜遲夙丹臨冏.求站J1111 I衛(wèi) 1”-10gi-+-10g3-A+-iL1 釘3 lfl 3fl-log,-+-log,- = -L+-1-3775/. =-0.6225由仝式（？ = lcg：c.曲侖式/?(】)=1" " 卓pO."p) - 2 -21W -Q.321)-2 - 2 -0.628d.由公式/丹）=三衛(wèi)OQpOJ斗），裁廬篤f由方程組*Jo372 = £

10、;pg + ”gog = »g+昶g= 0.4S8W=） = 0,512戸&必pg三6 保訐了 U的f在“（4）準(zhǔn)対稱信道把佶ifi矩除分解鍛三個于矩并如下rA/ =L1r61.A/;=_r71-趙二=T613,_I_<7 = max «工門=-瓦也?(>*) log 2) - LnPO1) pgF) + P(xz )P OM 毛)字 + + 9 舟扌)pCr2xi)Ay； p)= lxl+-lxl=-l4E=rXZj)=戸E1P0S m> +戸心)衛(wèi)例/孔)=卜”護(hù)+ = £Kx<> -g+pCyp3+二Xn,P3叫乏>5)FOj.ZX.VJjFS>*叫tn2pg三心)/>*5/1叫c= PCJlog：k-i“11111 ! lx FL1 1 ll 1 ll 141 432 362 6 L3 332 3&6=0 041 bit synboi六、求以下各信道矩陣代表的信道的容量0J00_0 10.20.3 0.4(3) Ep=00D0000 0O000000.30 70000<>D0.