信息論與糾錯編碼題庫

1、第二章 信息的度量2.1 信源在何種分布時，熵值最大？又在何種分布時，熵值最?。看穑盒旁丛诘雀怕史植紩r熵值最大；信源有一個為1，其余為0時熵值最小。2.2 平均互信息量I(X;Y)與信源概率分布q(x)有何關(guān)系？與p(y|x)又是什么關(guān)系？答：若信道給定，I(X;Y)是q(x)的上凸形函數(shù)；若信源給定，I(X;Y)是q(y|x)的下凸形函數(shù)。2.4 設(shè)信道輸入符號集為x1,x2,xk，則平均每個信道輸入符號所能攜帶的最大信息量是多少？答：2.5 根據(jù)平均互信息量的鏈規(guī)則，寫出I(X;YZ)的表達式。答：2.6 互信息量I(x;y)有時候取負值，是由于信道存在干擾或噪聲的原因，這種說法對嗎？答：

2、互信息量，若互信息量取負值，即Q(xi|yj)<q(xi)，說明事件yi的出現(xiàn)告知的是xi出現(xiàn)的可能性更小了。從通信角度看，視xi為發(fā)送符號，yi為接收符號，Q(xi|yj)<q(xi)，說明收到y(tǒng)i后使發(fā)送是否為xi的不確定性更大，這是由于信道干擾所引起的。2.9（1）對于離散無記憶信源DMS，試證明：當(dāng)p=1/2時，H(X)達到最大值。（2） 對（1）中的DMS，考慮它的二次擴展信源，證明：證明：（1）函數(shù)中的變量p在0到1中取值，從函數(shù)的結(jié)構(gòu)上可以知道該函數(shù)在區(qū)間0,1上是關(guān)于p=1/2對稱的函數(shù)。在區(qū)間0，0.5上1-p>p,則（1-p）/p>1，所以，在此區(qū)間

3、上>0，H(x)單調(diào)遞增。又該函數(shù)是在區(qū)間0,1上是關(guān)于p=1/2對稱的函數(shù)，那么在區(qū)間0.5,1上單調(diào)遞減。所以，當(dāng)p=1/2時，H(X)達到最大值。(2)二次擴展后的矩陣：2.10 一副撲克牌（不用大小王），試問(1) 任意特定排列給出的信息量是多少？（2）從52張牌中抽取13張，所給出的點數(shù)都不相同時得到多少信息量？（3）從52張牌中任意抽取1張，然后放回，結(jié)果試為從DMS中取得樣本，這個DMS的熵為多少？（4）若（3）中不計顏色，熵又為多少？解：（1）I(xi)= =225.6（比特/符號）（2）I(x)= -(q)= -log()=log(i)(3)H(X)= N*H(x)=5

4、2*(-*log()=log52=2*log13=7.4(比特/符號)（4）H(x)= -log()=3.7(比特/符號)2.13已知平均每100個人中有2個患有某種病，為了查明病情進行某項指標(biāo)的化驗?；灲Y(jié)果對病人總是陽性，而對于健康人來說，這項指標(biāo)有一半可能為陽性，一半可能為陰性。問這項化驗對查明病情提供了多少信息量?解：病人：y1，健康人:y2 ; 2.14 一個8元編碼系統(tǒng)，碼長為4，每個碼字的第一個字符相同（用于同步），若每秒產(chǎn)生1000個碼字，求信息傳輸率Rt。答：信息傳輸率定義為Rt=H（x）/（t*n）其中，H（x）= -logq（xi）所以Rt=9*1000/4=2250（B

5、it/Sec）2.17 等概信源消息集：u0，u1，u7，編碼為u0=000，u1=001， u7=111，通過錯誤概率為的二進制對稱信道BSC傳輸，在接收u4=100的過程中，求： （1）1與u4之間的互信息量； （2）10與u4之間的互信息量； （3）100與u4之間的互信息量。答：（1）由I（1；u4）=log；又q(1)= p(1|ui)=4(1-p)+4p=推出I（1；u4）=log=log2(1-p) （2）同理，可得I（10；u4）=2log2(1-p) （3）同理，可得I（100；u4）=3log2(1-p)2.19 X,Y,Z為概率空間，證明下述關(guān)系式成立，并給出等號成立的條件。(1) H(YZ|X)<=H(Y|Z)+H(Z|X)(2) H(YZ|X)=H(Y|X)+H(Z|XY)(3) H(X|Z)<=H(X|Y)+H(Y|Z)證明：(1)H(Y|Z)+H(Z|X)= =；將其代入上式計算即可得原始成立；（2）：H(YZ|X)-(H(Y|Z)+H(Z|XY)=（3）：H(X|Z)-H(X|Y)-H(Y|Z)= <=02.24 信源信息集X=0,1，信宿信息集Y=0,1，信源等概分布，通過二進制信道傳輸，求：(1) 該系統(tǒng)的平均互信息量(2)