信息論基礎考試期末A卷

1、 信息論基礎考試(期末A卷 1 / 9 作者： 日期： 2 / 9 2學期重慶郵電大學2007/2008學年 （半開卷）信息論基礎試卷（期末）（A卷） 10 一、填空題（本大題共小空，每小空1分，共20分） 1.按信源發(fā)出符號所對應的隨機變量之間的無統(tǒng)計依賴關系，可將離散信源分為有記憶信源和無記憶信源兩大類。 符號2.一個八進制信源的最大熵為3bit/ xxx?X312?111?；若對該信源進行十次擴展，則，其概率分布為，其信源剩余度為94.64%3.有一信源X?P?442? 15bit每十個符號的平均信息量是。若消息從放大器中輸出，則該4.若一連續(xù)消息通過放大器，該放大器輸出的最大瞬間電壓為

2、ab，最小瞬時電壓為?，則單位時間內(nèi)；其能在每個自由度熵的最大熵是自由度；若放大器的最高頻率為F（b-a信源的絕對熵是）bit/logbit/s. b-a）輸出的最大信息量是 2Flog（1?elog32；與其，其概率密度函數(shù)是高斯分布時，差熵的最大值為5. 若某一 信源X，其平均功率受限為16w216w? 熵相等的非高斯分布信源的功率為 6、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。 。7、無失真信源編碼的平均碼長最小理論極限制為信源熵（或H(S)/logr= H(S)）r ）時，信源與信道達到匹配。8、當R=C或（信道剩余度為0 、根據(jù)是否允許失真，信源編碼可分為無失

3、真信源編碼和限失真信源編碼。9?,?,?,? ”或“10、在下面空格中選擇填入數(shù)學符號“” XY）=H(X)+H(X/Y)。HX（1）當和Y相互獨立時，（H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X)。 表示，信道輸出用（2）假設信道輸入用XY表示。在無噪有損信道中， 二、擲兩粒骰子，各面出現(xiàn)的概率都是1/6，計算信息量： 1.當點數(shù)和為3時，該消息包含的信息量是多少？ 2.當點數(shù)和為7是，該消息包含的信息量是多少？ 3 / 9 的自信息是多少？3.兩個點數(shù)中沒有一個是1=1/36+1/36=1/18 ）（1,2=P（1,2）+ P）解：1.P（“點數(shù)和為3”=log18=4.17

4、bit ”）“點數(shù)和為3 則該消息包含的信息量是：I=-logP（?6=1/6 =1/36 + P（4,3）+ P1,6）+ P（6,1）（5,2）+ P（2,5）+ P（3,4）=P 2.P（“點數(shù)和為7”）（=log6=2.585bit ”）I=-logP（“點數(shù)和為7 則該消息包含的信息量是： “兩個點數(shù)中至少有一個是1”） 3.P（“兩個點數(shù)沒有一個是1”=1-P（ =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 =log25/36=0.53bit （“兩個點數(shù)中沒有一個是1”） 則該消息包含的信息量是：I=-logP （一般Z=YXZ，取三、

5、設X、Y是兩個相互統(tǒng)計獨立的二元隨機變量，其取-1或1的概率相等。定義另一個二元隨機變量 。試計算：乘積） ）；1.H（Y）、H（Z ；）2.H（XY、H（YZ） ）3.I（X;Y）、I（Y;Z；21111?log?（y）logP（H（Y）=-y）?logP 1. 解：=1bit/符號?ii2222?1i? 相互獨立Z=YX而且X和Y111P?1)1)?P(X=P(Y=1)?YP?(X?1)?P(?=1（Z）?2?2? = 1222?P(X?1)?P(Y?1)=-1P（Z）=P(Y=1)?P(X?1)= 2111?2?2? 2222?)(z(z)logP?P 故H(Z)= 符號=1bit/ii

6、1i? 2.從上式可以看出:Y與X的聯(lián)合概率分布為: 4 / 9 個人收集整理，勿做商業(yè)用途Y=-1Y=1P(Y,Z) H(YZ)=H(X)+H(Y)=1+1=2bit/符0.25Z=10.25 故立，Y相互獨3.X與 0.25 Z=-1 0.25 符號H(X|Y)=H(X)=1bit/? X;Y（）=H(X)-H(X|Y)=1-1=0bit/ 符號I I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符號 四、如圖所示為一個三狀態(tài)馬爾科夫信源的轉(zhuǎn)移概率矩陣11?0?22?11?0 P=?22?111?424? 繪制狀態(tài)轉(zhuǎn)移圖；1. 求該馬爾科夫信源的穩(wěn)態(tài)分布；

7、2. 3. 求極限熵； 解：1.狀態(tài)轉(zhuǎn)移圖如右圖3?)|(EEP(E)Pp(E)? 2.,可得其三個狀態(tài)的穩(wěn)態(tài)概率為：由公式ijji1i?111?)EP(P(E)?(E)?EP()?P3?2113?E)P(422?1?711?)EE)?P(PP(E)?(2?322?P(E)22? 27?11)E)P(E?P(?(PE)2?331?P(E)42?37?1)(?)(?)(PEPEPE?321 5 / 9 個人收集整理，勿做商業(yè)用途: 3.其極限熵 31121121131，）?H，H+?，0）+?H= -）P（EH（X|E）=H（，）i?i47422722721i? 8322符號1.5=bit/?=

8、1+?1+?7777 試求：P（0）=1/4,P(1)=3/4,0五、在干擾離散對稱信道上傳輸符號1和，已00000110 P 該信道的轉(zhuǎn)移概率矩陣1. 2. ）信道疑義度H（X|Y該信道的信道容量以及其輸入概率分布 3. 解：1.該轉(zhuǎn)移概率矩陣為 0.90.1? P=0.10.9?P（X）Y|X）=P（），可得聯(lián)合概率 XYP 2.根據(jù)（ XYY1/40X=09/40 6 / 9 個人收集整理，勿做商業(yè)用27/403/40X=128/4012/40P(Y=i) 可得）=P(X|Y)/P(Y)由P（X|Y=1P(X|Y)Y=01/283/4X=027/28X=11/4 ?Plog(xyx|y）

9、=0.09+0.12+0.15+0.035=0.4bit/符號)P（ H(X|Y)=- jiijji， 3.該信道是對稱信道，其容量為： ）=1-0.469=0.531bit/符號 C=logs-H=log2-H（0.9,0.110?X?11?這時，輸入符號服從等概率分布，即 ?)XP(?22?0.160.300.?P? 六、某信道的轉(zhuǎn)移矩陣1.06000.3? 試求：該信道的信道容量及其最佳輸入概率分布。 解：該信道是準對稱信道，分解為兩個互不相交的子信道矩陣 0.1?0.9 N?N0.100.60.3?21? 這里 0.10.9M00.1?M0.30.6?21?) 的行矢量C=logr-H

10、(P2?0.1loglog0.9-0.1?.1).3，0?0.9?0?MNlog?1H(0.6， -KK1k? 符號 =0.174bit/10?X?11? = 這時，輸入端符號服從等概率分布，即?)P(X?2?2。用赫夫曼編碼法編成二進制變長碼，有六種字母，概率為七、信源符號X0.32,0.22,0.18,0.16,0.08,0.047 / 9 個人收集整理，勿做商業(yè)用途 寫出編碼過程并計算其平均碼長、編碼后的信息傳輸率和編碼效率。 解0000000111100001000001 該信源在編碼之前的信源熵為：6?）xlog)P)H(S?（P(x=0.526+0.481+0.445+0.423+0.292+0.186 ii1?i =2.353bit/符號 編碼后的平均碼長：4?0.04)2?0.16?3?(0.08?0.22L?(0.32?0.18) 信源符號=2.4碼元/ 編碼后的信息傳輸率為：2.353)(HS0.98?R? 碼元bit/2.4L)SRH(?0.98? 編碼效率為：RrLlogmax 10 3KHz八、設在平均功率受限的高斯可加波形信道中，信道帶寬為，又設信噪比為 試計算該信道傳達的最大信息率（單位時間）1.；8 / 9 個人收集整理，勿做商業(yè)用途 ，要達到相同的最大信息傳輸率，信道帶寬是多少？若功率信噪