信息論課后題答案%28精品%29

1、本文格式為word版，下載可任意編輯信息論課后題答案%28精品%29 2.2 居住某地區(qū)的女孩子有 25%是高校生，在女高校生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占總數(shù)的一半。假如我們得知"身高 160 厘米以上的某女孩是高校生'的消息，問獲得多少信息量？ 解： 設(shè)隨機變量 x 代表女孩子學(xué)歷 x x 1 （是高校生） x 2 （不是高校p(x) 0.25 0.75 設(shè)隨機變量 y 代表女孩子身高 y y 1 （身高160cm） y 2 （身高160cm） p(y) 0.5 0.5 已知：在女高校生中有 75%是身高 160 厘米以上的

2、即： bit x y p 75 . 0 ) / (1 1= 求：身高 160 厘米以上的某女孩是高校生的信息量 即 ：b i ty px y p x py x p y x i 415 . 15 . 075 . 0 25 . 0log) () / ( ) (log ) / ( log ) / (11 1 11 1 1 1=´- = - = - = 2.4 設(shè)離散無記憶信源þýüîíì = = = =úûùêëé8 / 1 4 / 13 24 / 1 8 / 31 0)

3、 (4 3 2 1x x x xx px，其發(fā)出的信息為( 02120210213001203210110321010021032021223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符號攜帶的信息量是多少？ 解： (1) 此消息總共有 14 個 0、13 個 1、12 個 2、6 個3，因此此消息發(fā)出的概率是： 6 25 14814183÷øöçèæ´ ÷øöçèæ´ ÷øöçè

4、;æ= p 此消息的信息量是：bit p i 811 . 87 log = - = (2) 此 消 息 中 平 均 每 符 號 攜 帶 的 信 息 量 是 ：bit n i 951 . 1 45 / 811 . 87 / = = 2.9 設(shè)有一個信源，它產(chǎn)生 0，1 序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按p(0) = 0.4，p(1) = 0.6 的概率發(fā)出符號。 (1) 試問這個信源是否是平穩(wěn)的？ (2) 試計算 h(x2 ) , h(x3 /x 1 x 2 ) 及 h ； (3) 試計算 h(x4 ) 并寫出x4 信源中可能有的全部符號。 解： (1) 這個信源

5、是平穩(wěn)無記憶信源。由于有這些詞語："它在任意時間而且不論以前發(fā)生過什么符號' (2) symbol bit x h x x x x h hsymbol bit x p x p x h x x x hsymbol bit x h x hn n nnii i/ 971 . 0 ) ( ) . / ( lim/ 971 . 0 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( ) ( log ) ( ) ( ) / (/ 942 . 1 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( 2 ) ( 2 ) (1 2 13 2 1 32=

6、= = + - = - = = + ´ - = =-¥ > -¥å (3) 1111 1110 1101 11001011 1010 1001 10000111 0110 0101 01000011 0010 0001 0000的全部符號：/ 884 . 3 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( 4 ) ( 4 ) (44xsymbol bit x h x h = + ´ - = = 2.10 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源 x 的符號集為0, 1, 2。 (1) 求平穩(wěn)后信源的概率分布； (2

7、) 求信源的熵 h 。 20 1ppppp p 解： (1) ïîïíì=îíì= + += =ïïîïïíì× + × =× + × =× + × =ïîïíì+ =+ =+ =3 / 1 ) (3 / 1 ) (3 / 1 ) (1 ) ( ) ( ) () ( ) ( ) () ( ) ( ) () ( ) ( ) () ( ) (

8、 ) () / ( ) ( ) / ( ) ( ) () / ( ) ( ) / ( ) ( ) () / ( ) ( ) / ( ) ( ) (3213 2 13 2 11 3 33 2 22 1 11 3 1 3 3 3 33 2 3 2 2 2 22 1 2 1 1 1 1e pe pe pe p e p e pe p e p e pe p p e p p e pe p p e p p e pe p p e p p e pe e p e p e e p e p e pe e p e p e e p e p e pe e p e p e e p e p e p þý&#

9、252;îíì=úûùêëéïïîïïíì= + = × + × = + = + = × + × = + = + = × + × = + =3 / 123 / 113 / 10) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (3 / 1 3 /

10、 ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (1 3 1 3 1 3 3 3 33 2 3 2 3 2 2 2 22 1 2 1 2 1 1 1 1x pxp p e p p e p p e x p e p e x p e p x pp p e p p e p p e x p e p e x p e p x pp p e p p e p p e x p e p e x p e p x p (2) 2.12 同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為 1/6，求： (1) "3 和 5 同時消失'這大事的自信息； (2) "兩個 1 同

11、時消失'這大事的自信息； (3) 兩個點數(shù)的各種組合（無序）對的熵和平均信 息 量； (4) 兩個點數(shù)之和（即 2, 3, , 12 構(gòu)成的子集） 的熵； (5) 兩個點數(shù)中至少有一個是 1 的自信息量。 解： (1) bit x p x ix pi ii 170 . 4181log ) ( log ) (= - = - = ´ + ´ = (2) bit x p x ix pi ii 170 . 5361log ) ( log ) (3616161) (= - = - = ´ = (3) 兩個點數(shù)的排列如下： 11 12 13

12、 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 種組合： 其中 11，22，33，44，55，66 的概率是3616161= ´ 其他 15 個組合的概率是18161612 = ´ ´ symbol bit x p x p x hii i/ 337 . 4181log18115361log3616 ) ( log ) ( ) ( = ÷øöçèæ

13、;´ + ´ - = - =å (4) 參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下： symbol bitx p x p x hx pxii i/ 274 . 3 61log61365log365291log912121log1212181log1812361log3612 ) ( log ) ( ) (36112181111211091936586173656915121418133612) (=÷øöçèæ+ ´ + ´ + ´ + ´ + &

14、#180; - =- =ïþïýüïîïíì=úûùêëéå (5) bit x p x ix pi ii 710 . 13611log ) ( log ) (3611116161) (= - = - = ´ ´ = 3.1 設(shè)信源þýüîíì=úûùêëé4 . 0 6 . 0 ) (2

15、 1x xx px通過一干擾信道，接收符號為 y = y1, y2 ，信道轉(zhuǎn)移矩陣為，求：úúúûùêêêëé43416165 (1) 信源 x 中大事 x 1 和大事 x 2 分別包含的自信息量； (2) 收到消息 y j (j=1,2) 后，獲得的關(guān)于 x i (i=1,2)的信息量； (3) 信源 x 和信宿 y 的信息熵； (4) 信道疑義度 h(x/y) 和噪聲熵 h(y/x) ； (5) 接收到信息 y 后獲得的平均互信息量。 解： 1) bit x p x ibit x p x i

16、 322 . 1 4 . 0 log ) ( log ) ( 737 . 0 6 . 0 log ) ( log ) (2 2 2 22 1 2 1= - = - = - = - = 2) bity px y py x ibity px y py x ibity px y py x ibity px y py x ix y p x p x y p x p y px y p x p x y p x p y p 907 . 04 . 04 / 3log) () / (log ) ; ( 263 . 16 . 04 / 1log) () / (log ) ; ( 263 . 14 . 06 / 1l

17、og) () / (log ) ; ( 474 . 06 . 06 / 5log) () / (log ) ; (4 . 0434 . 0616 . 0 ) / ( ) ( ) / ( ) ( ) (6 . 0414 . 0656 . 0 ) / ( ) ( ) / ( ) ( ) (222 22 2 2212 12 1 2221 22 2 1211 12 1 12 2 2 1 2 1 22 1 2 1 1 1 1= = =- = = =- = = = = = ´ + ´ = + = ´ + ´ = + = 4) ( ) symbol bit p p p

18、 pp p p p p p p p p p p pe e p e e p e e p e e p e e p e e pe e p e e p e e p e e p e e p e e pe e p e e p e e p e e p e e p e e pe e p e e p e p hi ji j i j i/ log log log31log31log31log31log31log31 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31 ) / ( log ) / (31) / ( log ) / (31) / ( log ) /

19、(31 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31 ) / ( log ) / ( ) (3 3 3 3 3 2 3 2 3 1 3 12 3 2 3 2 2 2 2 2 1 2 11 3 1 3 1 2 1 2 1 1 1 13 3× + × - =úûùêëé× × + × × + × × + × × + × + × × - =ú&#

20、251;ù+ + + + +êëé+ + - =- = åå¥symbol bit y p y p y hsymbol bit x p x p x hjj jii i/ 971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) (/ 971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) (22= + - = - = + - = - =åå 5) symbol

21、bit y x h x h y x i / 256 . 0 5 . 0 971 . 0 ) / ( ) ( ) ; ( = - = - = 3.2 設(shè)二元對稱信道的傳遞矩陣為úúúûùêêêëé32313132 (1) 若 p(0) = 3/4, p(1) = 1/4，求 h(x), h(x/y), h(y/x) 和 i(x;y) ； (2) 求該信道的信道容量及其達到信道容量時的輸入概率分布； 解： 1) symbol bit y x h x h y x isymbol bit x y h y

22、 h x h y x hx y h y h y x h x h y x isymbol bit y p y hx y p x p x y p x p y x p y x p y px y p x p x y p x p y x p y x p y psymbol bitx y p x y p x p x y hsymbol bit x p x hjji ji j i j iii/ 062 . 0 749 . 0 811 . 0 ) / ( ) ( ) ; (/ 749 . 0 918 . 0 980 . 0 811 . 0 ) / ( ) ( ) ( ) / () / ( ) ( ) / (

23、) ( ) ; (/ 980 . 0 ) 4167 . 0 log 4167 . 0 5833 . 0 log 5833 . 0 ( ) ( ) (4167 . 032413143) / ( ) ( ) / ( ) ( ) ( ) ( ) (5833 . 031413243) / ( ) ( ) / ( ) ( ) ( ) ( ) (/ 918 . 0 10 log )32lg324131lg314131lg314332lg3243( ) / ( log ) / ( ) ( ) / (/ 811 . 0 )41log4143log43( ) ( ) (2 22 2 2 1 2 1 2 2 2

24、1 22 1 2 1 1 1 1 2 1 1 122 2= - = - = + - = + - =- = - = ´ + ´ - = - = ´ + ´ = + = + = ´ + ´ = + = + =´ ´ + ´ + ´ + ´ - =- = ´ + ´ - = - =åååå 2) 21) (/ 082 . 0 10 log )32lg3231lg31( 2 log log ) ; ( max2 2 2= ´

25、 + + = - = =imix psymbol bit h m y x i c 3.19 在 圖 片 傳 輸 中 ， 每 幀 約 有2.25Í106 個像素，為了能很好地重現(xiàn)圖像，能分 16 個亮度電平，并假設(shè)亮度電公平概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為 30db）。 解： s bitticbit nh isymbol bit n ht/ 10 1.56010 910 10 9 4 10 25 . 2/ 4 16 log log566 62 2´ =´= =´ = ´ ´ = = = = z 15049)

26、1000 1 ( log10 5 . 11 log1 log25hppcwppw cnxtnxt=+´=÷÷øöççèæ+=÷÷øöççèæ+ = 5.1 設(shè)信源 (1) 求信源熵 h(x) ； (2) 編二進制香農(nóng)碼； (3) 計算平均碼長和編碼效率。 解： (1) symbol bitx p x p x hii i/ 609 . 2) 01 . 0 log 01 . 0 1 . 0 log 1 . 0 15 . 0 log

27、 15 . 017 . 0 log 17 . 0 18 . 0 log 18 . 0 19 . 0 log 19 . 0 2 . 0 log 2 . 0 () ( log ) ( ) (2 2 22 2 2 2712=´ + ´ + ´ +´ + ´ + ´ + ´ - =- = å= (2) x i p(x i ) p a (x i ) k i 碼字 x 1 0.2 0 3 000 x 2 0.19 0.2 3 001 x 3 0.18 0.39 3 011 x 4 0.17 0.57 3 100 x 5 0.1

28、5 0.74 3 101 x 6 0.1 0.89 4 1110 x 7 0.01 0.99 7 1111110 (3) % 1 . 8314 . 3609 . 2 ) ( ) (14 . 301 . 0 7 1 . 0 4 15 . 0 3 17 . 0 3 18 . 0 3 19 . 0 3 2 . 0 3 ) (= = = =´ + ´ + ´ + ´ + ´ + ´ + ´ = = åkx hrx hx p k kii ih 5.2 對 信 源þýüîí&#

29、236;=úûùêëé01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xx px編二進制費諾碼，計算編碼效率。 解： x i p(xi編碼 碼k i x 1 0.2 0 0 00 2 x 2 0.19 1 0 013 x 3 0.18 1 01 3 þýüîíì=úûùêëé01 . 0 1 . 0 15 . 0 1

30、7 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xx pxsymbol bity h x y h x h y x hy x h y h x y h x hsymbol bitx y p x y p x p x y hi ji j i j i/ 715 . 0 971 . 0 715 . 0 971 . 0 ) ( ) / ( ) ( ) / () / ( ) ( ) / ( ) (/ 715 . 0 10 log )43log434 . 041log414 . 061log616 . 065log656 . 0 ( ) / ( log ) / ( ) ( ) / (2= - + =- + = + = +=´ ´ + ´ + ´ + ´ - =- = ååq x 4 0.17 1 0 10 2 x 5 0.15 1 0 113 x 6 0.1 1 0 114 x 7 0.01 1 114 % 2 . 9574 . 2609 . 2 ) ( ) (74 . 201 . 0 4 1 . 0 4 15 . 0 3 17 . 0 2 18 . 0 3 19 . 0 3 2 . 0 2 ) (= = = =´ + ´