第三版信息論答案

1、第二章課后習(xí)題【2.1】設(shè)有 12 枚同值硬幣，其中有一枚為假幣。只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)用比較天平左右兩邊輕重的方法來測量。為了在天平上稱出哪 一枚是假幣，試問至少必須稱多少次？解：從信息論的角度看，“12 枚硬幣中，某一枚為假幣”該事件發(fā)生的概率為 P1 ；12“假幣的重量比真的輕，或重”該事件發(fā)生的概率為 P1 ；2為確定哪一枚是假幣，即要消除上述兩事件的聯(lián)合不確定性，由于二者是獨立的，因此有Ilog12log 2log 24 比特而用天平稱時，有三種可能性：重、輕、相等，三者是等概率的，均為 P1 ，因此天3平每一次消除的不確定性為 Ilog 3 比特

2、因此，必須稱的次數(shù)為I1log 24I 2log 32.9 次因此，至少需稱 3 次?！狙由臁咳绾螠y量？分 3 堆，每堆 4 枚，經(jīng)過 3 次測量能否測出哪一枚為假幣?！?.2】同時扔一對均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c數(shù)之和為 2”或“面朝上點數(shù)之 和為 8”或“兩骰子面朝上點數(shù)是 3 和 4”時，試問這三種情況分別獲得多少信息量？ 解：“兩骰子總點數(shù)之和為 2”有一種可能，即兩骰子的點數(shù)各為 1，由于二者是獨立的，因此該種情況發(fā)生的概率為 P11661 ，該事件的信息量為：36Ilog 365.17 比特“兩骰子總點數(shù)之和為 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和

3、3、6 和 2，概率為 P115665 ，因此該事件的信息量為：36Ilog 3652.85 比特“兩骰子面朝上點數(shù)是 3 和 4”的可能性有兩種：3 和 4、4 和 3，概率為 P因此該事件的信息量為：1121 ，6618Ilog184.17 比特【2.3】如果你在不知道今天是星期幾的情況下問你的朋友“明天星期幾？”則答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多 少信息量（假設(shè)已知星期一至星期日的順序）？解：如果不知今天星期幾時問的話，答案可能有七種可能性，每一種都是等概率的，均為P1 ，因此此時從答案中獲得的信息量為7Ilog 72.807 比特

4、而當(dāng)已知今天星期幾時問同樣的問題，其可能性只有一種，即發(fā)生的概率為 1，此時獲得的信息量為 0 比特?！?.4】居住某地區(qū)的女孩中有 25%是大學(xué)生，在女大學(xué)生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占總數(shù)一半。假如我們得知“身高 1.6 米以上的某女孩是大學(xué) 生”的消息，問獲得多少信息量？解：設(shè) A 表示女孩是大學(xué)生， P( A)0.25 ；B 表示女孩身高 1.6 米以上， P( B | A)0.75 ， P( B)0.5“身高 1.6 米以上的某女孩是大學(xué)生”的發(fā)生概率為P( A | B)P( AB)P( A) P(B | A)0.250.750.375P(

5、 B)P( B)0.5已知該事件所能獲得的信息量為Ilog10.3751.415 比特X【 2.5 】設(shè) 離 散無記 憶 信 源a10a21a32a43，其發(fā)出 的 消 息為 P( x)3 / 81/ 41 / 41/ 8（202120130213001203210110321010021032011223210），求（1） 此消息的自信息是多少？（2） 在此消息中平均每個符號攜帶的信息量是多少？ 解：信源是無記憶的，因此，發(fā)出的各消息之間是互相獨立的，此時發(fā)出的消息的自信息即為各消息的自信息之和。根據(jù)已知條件，發(fā)出各消息所包含的信息量分別為：I (a0I (a1I (a2I (a30)log

6、 831)log 42)log 43)log 81.415 比特2 比特2 比特3 比特在發(fā)出的消息中，共有 14 個“0”符號，13 個“1”符號，12 個“2”符號，6 個“3”符號，則得到消息的自信息為：I141.41513 21226 387.81 比特45 個符號共攜帶 87.81 比特的信息量，平均每個符號攜帶的信息量為I87.81451.95 比特/符號注意：消息中平均每個符號攜帶的信息量有別于離散平均無記憶信源平均每個符號攜帶的信息量，后者是信息熵，可計算得H ( X )P( x) log P( x)1.91比特/符號【2.6】如有 6 行 8 列的棋型方格，若有二個質(zhì)點 A

7、和 B，分別以等概率落入任一方格內(nèi)，且它們的坐標(biāo)分別為（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格內(nèi)。（1） 若僅有質(zhì)點 A，求 A 落入任一個格的平均自信息量是多少？（2） 若已知 A 已落入，求 B 落入的平均自信息量。（3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解：（1）求質(zhì)點 A 落入任一格的平均自信息量，即求信息熵，首先得出質(zhì)點 A 落入任一格的概率空間為：Xa1a2a3La481P4811L1484848平均自信息量為H ( A)log 485.58 比特/符號（2）已知質(zhì)點 A 已落入，求 B 落入的平均自信息量，即求 H ( B |

8、 A) 。1A 已落入，B 落入的格可能有 47 個，條件概率 P(b j | ai ) 均為47。平均自信息量為H ( B | A)48 47i 1 j 1P(ai )P(b j | ai ) log P(b j | ai )log 475.55 比特/符號（3）質(zhì)點 A 和 B 同時落入的平均自信息量為H ( AB)H ( A)H (B | A)11.13 比特/符號【2.7】從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為 7%，女性發(fā)病率為 0.5%，如果你問一位男同志：“你是否是紅綠色盲？”，他的回答可能是“是”，也可能是“否”，問這 兩個回答中各含有多少信息量？平均每個回答中含有多少信

9、息量？如果你問一位女同志， 則答案中含有的平均自信息量是多少？解：男同志紅綠色盲的概率空間為：Xa1a2P0.070.93問男同志回答“是”所獲昨的信息量為：Ilog10.073.836 比特/符號問男同志回答“否”所獲得的信息量為：Ilog10.930.105 比特/符號男同志平均每個回答中含有的信息量為H ( X )P( x) log P( x)0.366 比特/符號同樣，女同志紅綠色盲的概率空間為Yb1b2P0.0050.995問女同志回答“是”所獲昨的信息量為：Ilog10.0057.64 比特/符號問女同志回答“否”所獲昨的信息量為：Ilog10.9957.2310 3 比特/符號女

10、同志平均每個回答中含有的信息量為H (Y )P( x) log P( x)0.045 比特/符號【2.8】設(shè)信源XP( x)a10.2a20.19a30.18a40.17a50.16a60.17，求此信源的熵，并解釋為什么 H ( X )log 6 ，不滿足信源熵的極值性。解：H ( X )P( x) log P( x)2.65log 6原因是給定的信源空間不滿足概率空間的完備集這一特性，因此不滿足極值條件?！?2.9 】設(shè) 離散 無記 憶 信 源 S 其 符號集 Aa1 , a2 ,., aq ，知其 相 應(yīng) 的 概率 分別 為(P1 , P2 ,., Pq ) 。設(shè) 另 一 離 散 無記

11、憶 信 源 S ，其 符 號集 為 S 信 源符 號集 的兩 倍 ，Aai , i1,2,.,2q ，并且各符號的概率分布滿足Pi(1e ) Pii1,2,., qPiePiiq1, q2,.,2q試寫出信源 S 的信息熵與信源 S 的信息熵的關(guān)系。解：H (S )P( x) log P( x)(1 e ) Pi log(1e )PiePi log ePi(1 e )Pi log(1 e )(1 e )Pi log PiePi log eePi log Pi(1 e ) log(1 e )e log eH (S )H (S )H (e ,1 e )【2.10】設(shè)有一概率空間，其概率分布為 p1

12、 , p2 ,., pq ，并有 p1p2 。若取 p1p1e ，p2p2e ，其中 02ep1p2 ，而其他概率值不變。試證明由此所得新的概率空間的熵是增加的，并用熵的物理意義加以解釋。解：設(shè)新的信源為 X ，新信源的熵為：H ( X )pi log pi( p1e ) log( p1e )( p2e ) log( p2e )Lpq log pq原信源的熵H ( X )pi log pip1 log p1p2 log p2Lpq log pq因此有，H ( X )H ( X )( p1e ) log( p1e )( p2e ) log( p2e )p1 log p1p2 log p2令 f

13、( x)( p1x) log( p1x)( p2x) log( p2x) ， x0, p1p2，則2f ( x)log p2x0p1x即函數(shù) f ( x) 為減函數(shù)，因此有 f (0)f (e ) ，即( p1e ) log( p1e )( p2e ) log( p2e )p1 log p1p2 log p2因此 H ( X )H ( X) 成立。【解釋】當(dāng)信源符號的概率趨向等概率分布時，不確定性增加，即信息熵是增加的。L【2.11】試證明：若pii 1m1，q jpL ，則j 1H ( p , p,K, p, q , q,K, q )H ( p , p,K, pL, p )p H ( q1,

14、 q2 ,K, qm )12L 112m12L 1LpLpLpL并說明等式的物理意義。解：H ( p1 , p2 ,K, pL 1 , q1 , q2 ,K, qm )p1 log p1p1 log p1q1 log q1p2 log p2p2 log p2q2 log q2KpL 1 log pL 1KpL 1 log pL 1Kqm log qmq1 log q1pL log pLq2 log q2KpL log pLqm log qmp1 log p1q1 log q1p1 log p1p2 log p2q2 log q22p2 log p2KpL 1 log pL 1Kqm log q

15、mKpL 1 log pL 1pL log pLpL log pL(q1q2q3Lqm ) log pL1q log q1pLq log q2pLKqmlog qmpLp1 log p1p2 log p2KpL 1 log pL 1pL log pLpL (q1 log q1q2 log q2Kqm log qm )pLpLpLpLpLpLH ( p1 , p2,K, pL 1, pL )pL H m( q1, q2 ,K, qm )pLpLpL【意義】將原信源中某一信源符號進行分割，而分割后的符號概率之和等于被分割的原符號的 概率，則新信源的信息熵增加，熵所增加的一項就是由于分割而產(chǎn)生的不確

16、定性量?！?.12】（1）為了使電視圖像獲得良好的清晰度和規(guī)定的適當(dāng)?shù)膶Ρ榷?，需要?5×105 個像素和 10 個不同亮度電平，求傳遞此圖像所需的信息率（比特/秒）。并設(shè)每秒要傳送 30幀圖像，所有像素是獨立變化的，且所有亮度電平等概率出現(xiàn)。（2）設(shè)某彩電系統(tǒng)，除了滿足對于黑白電視系統(tǒng)的上述要求外，還必須有 30 個不同的色彩度，試證明傳輸這彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率約大 2.5 倍。 解：每個像素的電平取自 10 個不同的電平，每一個像素形成的概率空間為：Xa1a2La101P101L11010這樣，平均每個像素攜帶的信息量為：H ( X )log103.32 比特/像

17、素現(xiàn)在所有的像素點之間獨立變化的，因此，每幀圖像含有的信息量為：H ( X N )NH ( X )5 105log101.66106 比特/幀按每秒傳輸 30 幀計算，每秒需要傳輸?shù)谋忍財?shù)，即信息傳輸率為：30H ( X N )4.98107 比特/秒除滿足黑白電視系統(tǒng)的要求外，還需 30 個不同的色彩度，不妨設(shè)每個色彩度等概率出現(xiàn)，則其概率空間為：Yb1b2Lb301P301L13030其熵為 log 30 比特/符號，由于電平與色彩是互相獨立的，因此有H ( XY )H ( X )H (Y )log 300這樣，彩色電視系統(tǒng)的信息率與黑白電視系統(tǒng)信息率的比值為H ( XY )H ( X )

18、log 300 log102.5【2.13】每幀電視圖像可以認為是由 3×105 個像素組成，所以像素均是獨立變化，且每一像素又取 128 個不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。問每幀圖像含有多少信息量？ 若現(xiàn)有一廣播員在約 10000 個漢字的字匯中選 1000 個來口述此電視圖像，試問廣播員描 述此圖像所廣播的信息量是多少（假設(shè)漢字是等概率分布，并且彼此無依賴）？若要恰當(dāng) 地描述此圖像，廣播員在口述中至少需用多少漢字？解：每個像素的電平亮度形成了一個概率空間，如下：Xa1a2La1281P1281128L1128平均每個像素攜帶的信息量為：H ( X )log1287 比特/

19、像素每幀圖像由 3×105 個像素組成，且像素間是獨立的，因此每幀圖像含有的信息量為：H ( X N )NH ( X )2.1106 比特/幀如果用漢字來描述此圖像，平均每個漢字攜帶的信息量為 H (Y )log1000013.29 比特/漢字，選擇 1000 字來描述，攜帶的信息量為H (Y N )NH (Y )1.329104 比特如果要恰當(dāng)?shù)拿枋龃藞D像，即信息不丟失，在上述假設(shè)不變的前提下，需要的漢字個數(shù)為：H ( X N )2.11061.58105 字H (Y )13.29【2.14】為了傳輸一個由字母 A、B、C 和 D 組成的符號集，把每個字母編碼成兩個二元碼脈沖序列，

20、以 00 代表 A，01 代表 B，10 代表 C，11 代表 D。每個二元碼脈沖寬度為 5ms。（1） 不同字母等概率出現(xiàn)時，計算傳輸?shù)钠骄畔⑺俾?？?） 若每個字母出現(xiàn)的概率分別為 p A平均速率？ 解：1 ， p5B1 ， p4C1 ， p4D3 ，試計算傳輸?shù)?0假設(shè)不同字母等概率出現(xiàn)時，平均每個符號攜帶的信息量為H ( X )log 42 比特每個二元碼寬度為 5ms，每個字母需要 2 個二元碼，則其傳輸時間為 10ms，每秒傳送n100 個，因此信息傳輸速率為：RnH ( X )1002200 比特/秒當(dāng)不同字母概率不同時，平均傳輸每個字母攜帶的信息量為H ( X )1 log

21、51 log 41 log 43 log 101.985 比特/符號54此時傳輸?shù)钠骄畔⑺俣葹?103RnH ( X )1.985102 比特/秒【2.15】證明離散平穩(wěn)信源有 H ( X 3 | X 1 X 2 )H ( X 2 | X 1 ) ，試說明等式成立的條件。解：H ( X 3 | X 1 X 2 )P( x1 x2 x3 ) log P( x3 | x1 x2 )X 1 X 2X 1 X 2P( x1 x2 )X 3P( x1 x2 )X 3P( x3 | x1 x2 ) log P( x3 | x1 x2 )P( x3 | x1 x2 ) log P( x3 | x2 )H

22、( X 3 | X 2 )根據(jù)信源的平穩(wěn)性，有 H ( X 3 | X 2 )H ( X 2 | X 1 ) ，因此有 H ( X 3 | X 1 X 2 )H ( X 2 | X 1 ) 。等式成立的條件是 P( x3 | x1 x2 )P( x3 | x2 ) ?！?.16】證明離散信源有 H ( X 1 X 2 L X N )H ( X 1 )H ( X 2 )LH ( X N ) ，并說明等式成立的條件。證明：H ( X 1 X 2 L X N )H ( X 1 )H ( X 2 | X 1 )LH ( X N | X 1 X 2 L X N 1 )而H ( X N | X 1 X 2

23、 L X N 1 )LX1 X 2X NP( x1 x2 L x N ) log P( x N | x1 x2 L xN 1 )X1 X 2X1 X 2LX N 1LX N 1P( x1 x2 L x N 1 )X NP( x1 x2 L xN 1 )X NP( xN | x1 x2 L x N 1 ) logP( xN | x1 x2 L xN 1 )P( xN | x1 x2 L x N 1 ) logP( x N )H ( X N )即H ( X 2 | X 1 )H ( X 2 )代入上述不等式，有H ( X 3 | X 1 X 2 )H ( X 3 )H ( X 1 X 2 L X

24、N )H ( X 1 )H ( X 2 )LH ( X N )等號成立的條件是：P( x N | x1 x2 L xN 1 )P( x N )P( xN 1 | x1 x2 L x N 2 )P( xN 1 )P( x2 | x1 )P( x2 )即離散平穩(wěn)信源輸出的 N 長的隨機序列之間彼此統(tǒng)計無依賴時，等式成立?！?.17】設(shè)有一個信源，它產(chǎn)生 0、1 序列的消息。它在任意時間而且不論以前發(fā)生過什么符號，均按 P(0)0.4 ， P(1)0.6 的概率發(fā)出符號。（1） 試問這個信源是否是平穩(wěn)的？3（2） 試計算 H ( X 2 ) 、 H ( X| X 1 X 2) 及 lim H N N

25、( X ) 。（3） 試計算 H ( X 4 ) 并寫出 X 4 信源中可能有的所有符號。解：該信源任一時刻發(fā)出 0 和 1 的概率與時間無關(guān)，因此是平穩(wěn)的，即該信源是離散平穩(wěn)信源。其信息熵為H ( X )P( x) log P( x)0.971 比特/符號信源是平穩(wěn)無記憶信源，輸出的序列之間無依賴，所以H ( X 2 )2H ( X )1.942 比特/符號H ( X 3 | X 1 X 2 )H ( X )0.971 比特/符號lim H N N( X )limN1 H ( X XN12L X N )H ( X )0.971比特/符號H ( X 4 )4H ( X )3.884 比特/符號

26、X 4 信源中可能的符號是所有 4 位二進制數(shù)的排序，即從 00001111 共 16 種符號?！?.18】設(shè)有一信源，它在開始時以 P(a)10.6 ， P(b)0.3 ， P(c)0.1的概率發(fā)出 X 1 。如1果 X 1 為 a 時，則 X 2 為 a、b、c 的概率為 3 ；如果為 b 時，則 X 2 為 a、b、c 的概率為 3 ；如果 X 為 c 時，則 X 為 a、b 的概率為 1 ，為 c 的概率為 0。而且后面發(fā)出 X 的概率只與122iX i 1 有關(guān)，又當(dāng) i3 時， P( X i | X i 1 )P( X 2 | X 1 ) 。試用馬爾克夫信源的圖示法畫出狀態(tài)轉(zhuǎn)移圖，

27、并計算此信源的熵 H 。解：信源為一階馬爾克夫信源，其狀態(tài)轉(zhuǎn)換圖如下所示。a : 13a : 12c : 13a : 13b : 13b : 12c : 13b : 13根據(jù)上述狀態(tài)轉(zhuǎn)換圖，設(shè)狀態(tài)極限概率分別為 P(a) 、P(b) 和 P(c) ，根據(jù)切普曼柯爾莫哥洛夫方程有Q(a)Q(b)Q(c)1 Q(a)31 Q(a)31 Q(a)31 Q(b)31 Q(b)31 Q(b)31 Q(c)21 Q(c)2Q(a)Q(b)Q(c)1解得：Q(a)Q(b)3 ， Q(c)184得此一階馬爾克夫的信息熵為：HQ( Ei )H ( X | Ei )1.439 比特/符號p p2【2.19】一階馬

28、爾克夫信源的狀態(tài)圖如右圖所示，p0p1信源 X 的符號集為0,1,2 并定義 p1p 。2pp（1） 求 信 源 平 穩(wěn) 后 的 概率 分 布 P(0) 、 P(1) 和P(2) ；（2） 求此信源的熵 H ；p22p222p（3） 近似認為此信源為無記憶時，符號的概率分布等于平穩(wěn)分布。求近似信源的熵 H ( X )并與 H 進行比較；（4） 對一階馬爾克夫信源 p 取何值時， H 取最大值，又當(dāng) p0 和 p1 時結(jié)果如何？解：根據(jù)切普曼柯爾莫哥洛夫方程，可得P(0)P(1)P(2)pP(0)p P(0)2p P(0)2p P(1)2pP(1)p P(1)2p P(2)2p P(2)2pP(

29、2)P(0)P(1)P(2)1解得： P(0)P(1)P(2)13該一階馬爾克夫信源的信息熵為：HQ( Ei ) H ( X | Ei )p log pp log pp 比特/符號當(dāng)信源為無記憶信源，符號的概率分布等于平穩(wěn)分布，此時信源的概率空間為：012111333X P此時信源的信息熵為 H ( X )log 31.585 比特/符號由上述計算結(jié)果可知： H ( X )H ( ) 。求一階馬爾克夫信源熵 H 的最大值， Hp log pp log pp ，有dHlog 2(1p)dpp可得，當(dāng) p2 時， H 達到最大值，此時最大值為 log 331.585 比特/符號。當(dāng) p0 時， H

30、0 比特/符號； p1 時， H1比特/符號【2.20】黑白氣象傳真圖的消息只有黑色和白色兩種，即信源 X黑,白 ，設(shè)黑色出現(xiàn)的概率為 P(黑)0.3 ，白色出現(xiàn)的概率為 P(白)0.7 。（1） 假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵 H ( X ) ；（2） 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為 P(白|白)0.9 ，P(黑 |白)0.1 ，P(白| 黑)0.2 ，P(黑 | 黑)0.8 ，求此一階馬爾克夫信源的熵 H 2 。（3） 分別求上述兩種信源的冗余度，并比較 H ( X ) 和 H 2 的大小，并說明其物理意義。解：如果出現(xiàn)黑白消息前后沒有關(guān)聯(lián)，信息熵為：H ( X )pi log

31、pi0.881 比特/符號當(dāng)消息前后有關(guān)聯(lián)時，首先畫出其狀態(tài)轉(zhuǎn)移圖，如下所示。設(shè)黑白兩個狀態(tài)的極限概率為 Q(黑) 和 Q(白) ，根據(jù)切普曼柯爾莫哥洛夫方程可得：Q(黑)Q(白)0.8Q(黑)0.2Q(黑)0.1Q(白)0.9Q(白)解得：Q(黑)Q(白)1此信源的信息熵為：Q(黑)12， Q(白)33HQ( Ei ) H ( X | Ei )0.553 比特/符號兩信源的冗余度分別為：g 11H ( X )log 20.119g 11Hlog 20.447結(jié)果表明：當(dāng)信源的消息之間有依賴時，信源輸出消息的不確定性減弱。就本題而言，當(dāng)有依賴時前面已是白色消息，后面絕大多數(shù)可能是出現(xiàn)白色消息；

32、前面是黑色消息，后 面基本可猜測是黑色消息。這時信源的平均不確定性減弱，所以信源消息之間有依賴時信 源熵小于信源消息之間無依賴時的信源熵，這表明信源熵正是反映信源的平均不確定的大 小。而信源剩余度正是反映信源消息依賴關(guān)系的強弱，剩余度越大，信源消息之間的依賴 關(guān)系就越大。第三章課后習(xí)題【3.1】 設(shè)信源Xx1x2P( x)0.60.4通過一干擾信道，接收符號為 Y y1 , y2 ，信道傳遞概率如下圖所示，求（1）信源 X 中事件 x1 和 x2 分別含有的自信息；x1 5/6y11/6（2）收到消息 y j ( j息量；1,2) 后，獲得的關(guān)于 xi (i1,2) 的信3/4 x21/4y2

33、（3）信源 X 和信源 Y 的信息熵；（4）信道疑義度 H ( X | Y ) 和噪聲熵 H (Y | X ) ；（5）接收到消息 Y 后獲得的平均互信息。 解：（1）信源 X 中事件 x1 和 x2 分別含有的自信息分別為：I ( x1 )log1P( x1 )log 0.60.737 比特I ( x2 )log1P( x2 )log 0.41.32 比特（2）根據(jù)給定的信道以及輸入概率分布，可得P( y1 )P( y2 )P( xi ) P( y1 | xi )XP( xi ) P( y2 | xi )X0.80.2所求的互信息量分別為：11I ( x ; y )log P( y1 | x

34、1 )log 5 / 6log 250.059 比特P( y1 )0.824I ( x2; y1 )log P( y1 | x2 )P( y1 )log 3 / 40.8log 15160.093 比特I ( x1 ; y2 )log P( y 2 | x1 )P( y2 )log 1/ 60.2log 560.263 比特I ( x2; y2 )log P( y 2 | x2 )P( y2 )log 1 / 40.2log 540.322 比特（3）信源 X 以及 Y 的熵為：H ( X )H (Y )P( x) log P( x)XP( y) log P( y)Y0.6 log 0.60.

35、8 log 0.80.4 log 0.40.2 log 0.20.971比特/符號0.722 比特/符號（4）信道疑義度 H ( X | Y )P( x)P( x1 , y1 )P( y1 | x1 )P( x1 )0.55P( y1 )P( y1 )0.88XYP( y | x) log P( x | y)而相關(guān)條件概率 P( x | y) 計算如下：P( x1P( x2| y1 )3P( x1 , y2 )P( y2 | x1 ) P( x1 )0.6 / 61P( y2 )P( y2 )0.22| y1 )8P( x1| y2 )P( x21| y2 )2由此計算出信道疑義度為：H (

36、X | Y )0.65 log 51 log 10.43 log 31 log 10.9635 比特/符號68624842噪聲熵為：H (Y | X )P( x) P( y | x) log P( y | x)0.65 log 51 log 10.43 log 31 log 1666644440.7145比特 / 符號（5）接收到信息 Y 后獲得的平均互信息為：I ( X ;Y )H ( X )H ( X | Y )0.0075 比特/符號【3.2】 設(shè) 8 個等概率分布的消息通過傳遞概率為 p 的 BSC 進行傳送，8 個消息相應(yīng)編成下述碼字：M1=0000，M2=0101，M3=0110，

37、M4=0011M5=1001，M6=1010，M7=1100，M8=1111試問：（1）接收到第一個數(shù)字 0 與 M1 之間的互信息；（2）接收到第二個數(shù)字也是 0 時，得到多少關(guān)于 M1 的附加互信息；（3）接收到第三個數(shù)字仍為 0 時，又增加了多少關(guān)于 M1 的互信息；（4）接收到第四個數(shù)字還是 0 時，再增加了多少關(guān)于 M1 的互信息。 解：各個符號的先驗概率均為 18（1）根據(jù)已知條件，有P( y10 | M 1 )P( y10 | 0000)P( y10 | x10)pP( y10)P(M iM i1) P(0 | M i )2因此接收到第一個數(shù)字 0 與 M1 之間的互信息為：I

38、(M1 ; y10)log P( y1P( y10 | M 1 )0)logp1/ 21log p 比特（2）根據(jù)已知條件，有P( y1 y200 | M 1 )P( y1 y200 | 0000)p 2P( y1 y200)P(M iM i)P(00 | M i )1 2 p 284 pp2 p 214因此接收到第二個數(shù)字也是 0 時，得到多少關(guān)于 M1 的互信息為：I (M1 ; y1 y200)log P( y1 y200 | M 1 )log p22 log p 比特/符號2P( y1 y200)1/ 4得到的附加信息為：I (M 1 ; y1 y200)I (M 1 ; y10)1l

39、og p 比特/符號（3）根據(jù)已知條件，有P( y1 y2 y3000 | M 1 )P( y1 y2 y3000 | 000)p 3P( y1 y2 y3000)P(M iM i)P(000 | M i )1 p 3383 pp 23 p 2 pp 318因此接收到第三個數(shù)字也是 0 時，得到多少關(guān)于 M1 的互信息為：I (M ; y y y000)log P( y1 y2 y3000 | M 1 )log p33log p11 2 3P( y1 y2 y3000)1/ 8此時得到的附加信息為：I (M 1 ; y1 y2 y3000)I (M 1 ; y1 y200)1 log p 比特

40、/符號（4）根據(jù)已知條件，有P( y1 y2 y3 y40000 | M 1 )P( y1 y2 y3 y40000 | 0000)p 4P( y1 y2y3 y40000)P(M iM i)P(0000 | M i )1 p 486 p 2 p 2p 4因此接收到第四個符號為 0 時，得到的關(guān)于 M1 的互信息為I (M ; y y y0000)log P( y1 y2 y3 y40000 | M 1 )11 2 3logP( y1 y2 y3 y4p 40000)1 p 486 p 2 p 2p 434 log plog p 46 p 2 p 2p 4此時得到的附加信息為I (M 1 ;

41、y1 y2 y3 y4000)I (M 1 ; y1 y2 y3000)log plog p 46 p 2 p 2p 4【3.3】 設(shè)二元對稱信道的傳遞矩陣為21331233（1）若 P(0)=3/4，P(1)=1/4，求 H ( X ) ， H ( X | Y ) ， H (Y | X ) 和 I ( X ;Y ) ；（2）求該信道的信道容量及其達到信道容量時的輸入概率分布。 解：（1）根據(jù)已知條件，有H ( X )P( xi ) log P( xi )X3 log 31 log 144440.811比特 / 符號P( y0)P( y1)P( x) P( yXP( x) P( yX0 | x)32431 | x)512117431232P( xP( x0 | y0)1 | y0) P( x170) P( yP( y0 | x0)0) 4 367 /12731P( xP( x0 | y1)1 | y1) P( x250)P( yP( y1 | x0)1) 4 335 /125H