信息論第2章作業(yè)

1、19第2章作業(yè)1 同時扔一對均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或“面朝上點(diǎn)數(shù)之和為8”或“兩骰子面朝上點(diǎn)數(shù)是3和4”時，試問這三種情況分別獲得多少信息量？2 居住在某地區(qū)的女孩中有25%是大學(xué)生,在大學(xué)生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占總數(shù)一半.假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解： 信息量：比特3 設(shè)離散無記憶信源，其發(fā)出的消息為（202120130213001203210110321010021032011223210），求（1） 求每個符號的自信息量；（2） 若信源發(fā)出一消息符號序列為(202 120 130

2、213 001 203 210 110 321 010 021 032 011 223 210)，求該消息序列的自信息量及平均每個符號攜帶的信息量。4 有一信源輸出X0,1,2，其概率為p0=1/4，p1=1/4，p2=1/2。設(shè)計(jì)兩個獨(dú)立實(shí)驗(yàn)去觀察它，其結(jié)果為Y10,1和Y20,1。已知條件概率為P(Y1|X)01P(Y2|X)0101001010111021/21/2201求：1) I(X;Y1)和I(X;Y2)，并判斷哪一個實(shí)驗(yàn)好些。2) I(X;Y1,Y2)，并計(jì)算做Y1和Y2兩個實(shí)驗(yàn)比做Y1或Y2中的一個實(shí)驗(yàn)各可多得多少關(guān)于X的信息。3) I(X;Y1/Y2)和I(X;Y2/Y1)，

3、并解釋它們的含義。解：（1） 類似的 =0.5bit/sym I(X;Y1)= =0.5 bit/sym =0 bit/sym I(X;Y1)= =1bit/sym I(X;Y1)<I(X;Y2),故第二次試驗(yàn)更好，因?yàn)楂@得的信息量更多。（2）因?yàn)閅1和Y2相互獨(dú)立 類似地得出Y1和Y2的聯(lián)合概率分布由P(XY1Y2)=P(X)P(Y1Y2X)= P(X) P(Y1X) P(Y2X)，得出X和Y1Y2的聯(lián)合概率分布Y1Y2010 1XY1Y2 010010Y1和Y2的聯(lián)合概率分布2X和Y1Y2的聯(lián)合概率分布 =-4·log=2bit/sym =-4·log=2bit/

4、sym=H(,)=1.5bit/sym =1.5+2-2=1.5bit/sym- I(X;Y1)=1.5-0.5=1 bit/sym- I(X;Y2)=1.5-1=0.5 bit/sym故做Y1和Y2兩個實(shí)驗(yàn)比做Y1或Y2中的一個實(shí)驗(yàn)各可多得1 bit/sym和0.5 bit/sym。（3）= = =0.5 bit/sym同理，得出=1 bit/sym結(jié)果說明，在做完實(shí)驗(yàn)Y1或Y2的條件下再做第二個實(shí)驗(yàn)，并沒有獲得更多的信息，因?yàn)閅1和Y2相互獨(dú)立，沒有任何關(guān)聯(lián)。 5 為了傳輸一個由字母A、B、C、D組成的符號集，把每個字母編碼成兩個二元碼脈沖序列，以00代表A,01代表B,10代表C,11代

5、表D。每個二元碼脈沖寬度為5ms。（1） 不同字母等概率出現(xiàn)時，計(jì)算傳輸?shù)钠骄畔⑺俾?？?） 若每個字母出現(xiàn)的概率分別為pA=1/5，pB=1/4，pC=1/4，pD=3/10，試計(jì)算傳輸?shù)钠骄畔⑺俾剩?1) 因?yàn)锳,B,C,D四個字母,每個字母用兩個碼,每個碼為5ms, 所以每個字母用10ms 當(dāng)信源等概率分布時,信源熵為H(X)=log(4)=2 平均信息傳遞速率為=2bit/ms=200bit/s (2) 信源熵為 H(X)= 傳輸?shù)钠骄畔⑺俾蕿?=0.198bit/ms=198bit/s6 （1）為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶Ρ榷龋枰?×105個像素

6、和10個不同亮度電平，設(shè)每秒要傳送30幀圖像，所有像素是獨(dú)立變化的，且所有亮度電平等概率出現(xiàn)，求傳送此圖像所需的信息率（bit/s）。（2）設(shè)某彩電系統(tǒng)，除了滿足對于黑白電視系統(tǒng)的上述要求外，還必須有30個不同的色彩度，試證明傳輸這彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大約2.5倍。解：（1）需要5×105個像素和10個不同亮度電平，則可能出現(xiàn)的不同畫面為每個畫面等概率出現(xiàn)，P=1/每幀圖像的熵 H(X)= Log()=5×Log10=1.66×比特傳送此圖像所需的信息率： 30×H(X)=4.98×比特/秒（2）彩色系統(tǒng)，要求三十個不同色彩度，

7、則有可能出現(xiàn)的不同畫面為每個畫面等概率出現(xiàn)，P=1/每幀圖像的熵 H(X)= Log()=5×Log300 傳送此圖像所需的信息率： 30H(X)=1.234×比特/秒 故傳輸這彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大約2.5倍。7 設(shè)有一個信源，它產(chǎn)生0、1序列的消息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0)=0.4，P(1)=0.6概率發(fā)出符號。（1）試問這個信源是否平穩(wěn)的？（2）試計(jì)算H()，H(X3/ X1 X2)及HN(X)。（3）試計(jì)算H()并寫出信源中可能有的所有符號。解：(1) 這個信源是平穩(wěn)無記憶信源。因?yàn)橛羞@些詞語：“它在任意時間而且不論以前發(fā)

8、生過什么符號”(2) (3) 8 給定語聲樣值X的概率密度為求HC(X)，并證明它小于同樣方差的正態(tài)變量的微分熵。解： =（奈特/符號）同樣方差的正態(tài)變量的微分熵 H(X)= HC(X)< H(X),故證明HC(X)小于同樣方差的正態(tài)變量的微分熵9 設(shè)兩連續(xù)隨機(jī)變量X和Y，它們的聯(lián)合概率密度是均值為零，協(xié)方差矩陣為C的正態(tài)分布，在下列幾種情況下，計(jì)算I(X;Y)：（1）r1；（2）r0；（3）r1。10若有二個串接的離散信道，它們的信道矩陣都是設(shè)第一個信道的輸入符號Xa1,a2,a3,a4是等概率分布，輸出符號用Z表示。第二個信道輸出用Y表示。求I(X;Z)和I(X;Y)，并加以比較。解

9、：11有一個一階平穩(wěn)馬爾可夫鏈X1，X2,Xr，各Xr取值于集合A=a1,a2,a3。已知起始概率p(Xr)為p1=1/2，p2=p3=1/4，轉(zhuǎn)移概率如下。 ji12311/21/41/422/301/332/31/30（1）求(X1,X2,X3)的聯(lián)合熵和平均符號熵。（2）求這個鏈的極限平均符號熵。（3）求H0，H1，H2和它們所對應(yīng)的冗余度。 11設(shè)有一個馬爾可夫信源，它的狀態(tài)集為s1,s2,s3，符號集為a1,a2,a3，及在某狀態(tài)下發(fā)符號的概率為P(ak/ si)(i,k=1,2,3),如圖所示。 a3:1/2a2:1/2a1:1a3:1/4a2:1/4a1:1/2S1S2S3（1）

10、求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號的極限概率。（2）計(jì)算信源處在某一狀態(tài)下輸出符號的條件熵H(X/S=j)(j= s1,s2,s3)。（3）求出馬爾可夫信源熵。 12黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑,白，設(shè)黑色出現(xiàn)的概率P(黑)=0.3，白色出現(xiàn)的概率P(白)=0.7。 (1)設(shè)圖上黑白消息出現(xiàn)前后沒有聯(lián)系，求熵H(X)； (2)假設(shè)消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2； (3)分別求上述兩種信源的剩余度，并比較H(X)和H2的大小，并說明其物理意義。解:(1) (2) =0.553bit/symbol(3) 信源一的冗余度 R1=1-=1-= 信源二的冗余度 R2=1-=0 H(X)> H2 , 表示的物理含義是：無記