信息論與編碼(第二版)曹雪虹(最全版本)答案

1、最新 料推薦信息論與編碼（第二版） 曹雪虹答案第二章2.1 一個馬爾可夫信源有3 個符號 uu ,u3，轉移概率為： p u |u11/ 2， p u| u1/ 2 ，1,2121p u3 |u1 0 ， p u1 | u 21/ 3 ， p u2 | u20 ， p u3 | u22/3 ， p u1 |u31/ 3 ， p u2 | u32/3 ，p u3 |u3 0 ，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。解：狀態(tài)圖如下1/21/2u1u21/31/32/3狀態(tài)轉移矩陣為：2/31/ 21/ 20p 1/ 302 / 3u31/ 32 / 30設狀態(tài) u1， u2，u3 穩(wěn)定后的概率分別為W

2、1，W2、W 311110W1W 2W3 W1233W1WP W1 W12W 3W25由2計算可得9W1 W 2 W 31得 23W 22 W 2W 32563W3W1 W 2 W 31252.2 由符號集 0，1組成的二階馬爾可夫鏈，其轉移概率為：p(0 | 00) =0.8， p(0 |11) =0.2，p(1| 00) =0.2， p(1|11) =0.8， p(0 | 01) =0.5， p(0 |10) =0.5， p(1| 01) =0.5， p(1|10) =0.5。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解： p(0 | 00)p(00 | 00)0.8p(0 | 01)p(10

3、| 01) 0.5p(0 |11)p(10 |11)0.2p(0 |10)p(00 |10)0.5p(1| 00)p(01| 00)0.2p(1| 01)p(11| 01)0.51最新 料推薦p(1|11)p(11|11) 0.8p(1|10) p(01|10)0.50.80.200于是可以列出 移概率矩 ：000.50.5p0.5000.5000.20.8狀 ：0.80.201000.50.50.50.50.210110.8 各狀 00，01，10，11 的 分布概率 W1,W 2,W 3,W 4 有5W10.8W 10.5W 3W 114WPW0.2W 10.5W 3W 21W 24得0.

4、5W 20.2W 4W3 算得到7i1W10.5W 20.8W 4W 4i 1W 3W1 W 2 W 3W 4175W 4142.3 同 出兩個正常的骰子，也就是各面呈 的概率都 1/6 ，求：(1) “3 和 5 同 出 ” 事件的自信息；(2) “兩個 1 同 出 ” 事件的自信息；(3) 兩個點數(shù)的各種 合（無序） 的 和平均信息量；(4) 兩個點數(shù)之和（即 2, 3, , 12 構成的子集）的 ；(5) 兩個點數(shù)中至少有一個是 1 的自信息量。p( xi )11111p( xi )1116666186636解： (1)(2)log 1log 1I ( xi )log p( xi)4.1

5、70 bitI (xi )log p(xi )5.170 bit1836(3)2最新 料推薦兩個點數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有 21 種組合：其中 11，22，33，44，55，66 的概率是 111其他 15 個組合的概率是 2 11166366618H ( X )p( xi ) log p( xi )61 log1151 log 14.337 bit / symboli36361818(4)參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下：XP(

6、 X )H ( X )23456789101112111151511113618129366369121836p( xi ) log p( xi)(5)i21 log121 log 121 log 12 1 log 125log 51 log 1363618181212993636663.274bit / symbolp(xi )1111116636I ( xi )log p( xi )log 111.710 bit362-43最新 料推薦2.5 居住某地區(qū)的女孩子有25%是大學生，在女大學生中有75%是身高 160 厘米以上的，而女孩子中身高160 厘米以上的占總數(shù)的一半。假如我們得知“身高

7、160 厘米以上的某女孩是大學生”的消息，問獲得多少信息量？解：設隨機變量 X 代表女孩子學歷X x1（是大學生） x2（不是大學生）P(X)0.250.75設隨機變量 Y 代表女孩子身高Yy1（身高 160cm）y2（身高 160cm）P(Y)0.50.5已知：在女大學生中有75% 是身高 160 厘米以上的即： p( y1 / x1)0.75 bit求：身高 160 厘米以上的某女孩是大學生的信息量即： I ( x1 / y1 )log p( x1/ y1 )log p( x1 ) p( y1 / x1)log 0.25 0.751.415 bitp( y1 )0.52.6 擲兩顆骰子，當

8、其向上的面的小圓點之和是3 時，該消息包含的信息量是多少？當4最新 料推薦小圓點之和是 7 時，該消息所包含的信息量又是多少？解：1）因圓點之和為3 的概率 p( x)p(1,2)p(2,1)118該消息自信息量 I ( x)log p( x)log184.170bit2）因圓點之和為7 的概率p(x) p(1,6) p(6,1)p(2,5) p(5,2)p(3,4) p(4,3)16該消息自信息量 I ( x)log p(x)log6 2.585bitXx10 x2 1 x32 x4 32.7 設有一離散無記憶信源，其概率空間為3/81/ 41/ 41/8P（1）求每個符號的自信息量（2）信

9、源發(fā)出一消息符號序列為202120130213001203210110321010021032011223210，求該序列的自信息量和平均每個符號攜帶的信息量解： I ( x1) log 21log 281.415bitp( x )31同理可以求得I (x2)2bit , I ( x3)2bit , I (x3)3bit因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和就有：I 14 I ( x )13I ( x)12I ( x )6I ( x ) 87.81bit123487.81平均每個符號攜帶的信息量為1.95 bit/符號452.8 試問四進制、八進制脈沖所含信息

10、量是二進制脈沖的多少倍？解：四進制脈沖可以表示4 個不同的消息，例如： 0, 1, 2, 3八進制脈沖可以表示8 個不同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7二進制脈沖可以表示2 個不同的消息，例如： 0, 1假設每個消息的發(fā)出都是等概率的，則：5最新 料推薦四 制 脈沖的 平均 信息 量 H ( X1 ) log nlog 42 bit / symbol八 制脈 沖的 平均信 息量H ( X2 )log n log 8 3 bit / symbol二 制脈沖的平均信息量H ( X 0 ) log nlog 2 1 bit / symbol所以：四 制、八 制脈沖所含信息

11、量分 是二 制脈沖信息量的2 倍和 3 倍。2-9“” 用三個脈沖“”用一個脈沖(1) I( )= Log (4) 2I( ) Log40.415(2) H=1 Log (4)3 Log40.81134432-10(2)P(黑/黑)=P(白 /黑 )=H(Y/ 黑)=(3) P(黑/白)=P(白 /白)=H(Y/ 白 )=(4)P(黑 )=P(白 )=H(Y)=2.11 有一個可以旋 的 ， 面上被均勻的分成38 份，用 1，38 的數(shù)字 示，其中有兩份涂 色， 18 份涂 色， 18 份涂黑色， 停 后， 面上的指 指向某一數(shù)字和 色。（1）如果 色感 趣， 算平均不確定度（2）如果 色和數(shù)

12、字感 趣， 算平均不確定度（3）如果 色已知 ， 算條件 解：令 X 表示指 指向某一數(shù)字， X=1,2, .,38Y 表示指 指向某一種 色， Y=l 色， 色，黑色 Y 是 X 的函數(shù)，由 意可知 p(xiyj )p( xi)312 log 3818 log 381.24 bit/符號（1） H (Y)p( yj ) log2j 1p( yj ) 3823818（2） H (X , Y)H ( X )log 2385.25bit/符號6最新 料推薦（3） H (X |Y ) H ( X ,Y ) H (Y)H ( X )H (Y)5.251.24 4.01 bit/ 符號2.12 兩個實驗

13、 X 和 Y，X=x 1x2x3,Y=y 1y2 y3,l 聯(lián)合概率 r xi , yjrij 為r 11r12r137 / 241/ 240r21r22r231/ 241/ 41/ 24r31r32r3301/ 247/ 24（1）如果有人告訴你 X 和 Y 的實驗結果，你得到的平均信息量是多少？（2）如果有人告訴你 Y 的實驗結果，你得到的平均信息量是多少？（3）在已知 Y 實驗結果的情況下， 告訴你 X 的實驗結果，你得到的平均信息量是多少？解：聯(lián)合概率p(xi, yj ) 為y1y2y3H ( X ,Y )p( x , y)log21ijijp(xi , yj )=2.3bit/符號Y

14、7 log 2241 log 224 1 log 2424X247244x17/241/240x21/241/41/24x301/247/24X 概率分布Xx1x2x3H (Y) 31 log 231.58 bit/符號3P8/248/248/24H ( X |Y )H ( X ,Y )H (Y) 2.3 1.58 Y 概 率 分 布 是=0.72bit/符號Yy1y2y3P8/248/248/242.13 有兩個二元隨機變量X 和 Y，它們的聯(lián)合概率為7最新 料推薦YX1=02xx =1y1=01/83/8y2=13/81/8并定義另一隨機變量Z = XY（一般乘積），試計算：(1)H(X)

15、, H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)；(3)I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y) 。解：(1)p(x1 )p(x1 y1 ) p( x1 y2 )131882p(x2 )p( x2 y1 ) p( x2 y2 )311882H ( X )p(xi ) log p( xi)1 bit / symbolip( y1 )p( x1 y1 ) p(

16、x2 y1 )131882p( y2 )p( x1 y2 ) p(x2 y2 )311882H (Y )p( y j ) log p( y j)1 bit / symboljZ = XY 的概率分布如下：Zz1 0z2 171P( Z )8827711H (Z )p( zk )8loglog0.544 bit / symbolk8888最新 料推薦p(x1 ) p(x1 z1 ) p( x1z2 )p(x1 z2 )0p(x1 z1 ) p(x1 ) 0.5p(z1)p(x1z1 ) p(x2 z1 )73p(x2 z1 ) p(z1 ) p( x1z1 )0.588p(z2 )p(x1z2

17、) p( x2 z2 )1p(x2 z2 ) p( z2 )8H ( XZ )ikp( y1 )p( y1 z1 )p( y1z2 )0p( y1z1)p( y1 )p(z1) p( y1z1)p( y2 z1)p(z1 )p(z2 )p(y1z2 )p( y2 z2 )p(z2 )p(xi zk ) log p( xi zk )p(y1z2 )0.5p( y2 z1)73p(y1z1 )0.588p( y2 z2 )18113311logloglog1.406 bit / symbolH (YZ)p( yj zk ) log p( y j zk )jk113311logloglog1.406

18、 bit / symbolp(x1 y1z2 ) 0p(x1 y2 z2 ) 0p(x2 y1z2 )0p(x1 y1z1 )p(x1 y1 z2 )p( x1 y1 )p(x1 y1z1 )p(x1 y1 )1/ 8p(x1 y2 z1 )p(x1 y1 z1 )p( x1 z1 )p(x1 y2 z1 )p(x1 z1 )113p(x1 y1 z1 )882p(x2 y1z1 )p(x2 y1 z2 )p( x2 y1 )p(x2 y1z1 )p(x2 y1 )38p(x2 y2 z1 )0p(x2 y2 z1 )p(x2 y2 z2 )p(x2 y2 )p(x2 y2 z2 )p( x2

19、 y2 )18H ( XYZ)ijkp(xi y j zk) log 2p( xi y j zk)1 log 13 log 33 log 31 log 11.811 bit / symbol888888889最新 料推薦(2)H ( XY)p(xiy j ) log 2 p( xi y j)1 log 13 log 33 log 31 log 11.811 bit / symbolij888 88 88 8H ( X / Y)H ( XY)H (Y)1.81110.811 bit / symbolH (Y / X )H ( XY)H ( X )1.81110.811 bit / symbolH

20、 ( X / Z )H ( XZ)H ( Z)1.4060.5440.862bit / symbolH (Z / X )H ( XZ)H ( X ) 1.406 10.406 bit / symbolH (Y / Z )H (YZ)H ( Z )1.4060.5440.862 bit / symbolH (Z / Y )H (YZ)H (Y )1.40610.406 bit / symbolH ( X / YZ)H ( XYZ)H (YZ)1.8111.4060.405 bit / symbolH (Y / XZ )H ( XYZ) H ( XZ )1.8111.4060.405 bit /

21、symbolH (Z / XY)H ( XYZ)H ( XY)1.8111.8110 bit / symbol(3)I ( X ;Y )H ( X )H ( X / Y)10.8110.189 bit / symbolI ( X ; Z )H ( X )H ( X / Z )10.8620.138 bit / symbolI (Y;Z )H (Y)H (Y / Z )10.8620.138 bit / symbolI ( X ;Y / Z )H ( X / Z )H ( X /YZ)0.8620.4050.457 bit / symbolI (Y;Z / X )H (Y / X )H (Y /

22、 XZ)0.8620.4050.457 bit / symbolI ( X ; Z / Y )H ( X /Y )H ( X / YZ)0.8110.4050.406 bit / symbol2-14(1)P(ij)=P(i/j)=(2) 方法 1:=方法 2:2-15P(j/i)=10最新 料推薦2.16 黑白傳真機的消息元只有黑色和白色兩種，即X= 黑，白 ，一般氣象圖上，黑色的出現(xiàn)概率 p(黑 ) 0.3，白色出現(xiàn)的概率p(白 )0.7。（1）假設黑白消息視為前后無關，求信源熵H(X) ，并畫出該信源的香農(nóng)線圖（2）實際上各個元素之間是有關聯(lián)的，其轉移概率為：P(白|白)0.9143，P

23、(黑|白)0.0857，P(白|黑)0.2，P(黑|黑 )0.8，求這個一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明原因。1010bit/符號解：（1） H ( X ) 0.3log 20.7log 20.881337P(黑|白)=P(黑 )0.7P(白|白)P(白)P(黑|黑)P(黑)P(白|黑)P(白)0.3黑白0.70.3（2）根據(jù)題意，此一階馬爾可夫鏈是平穩(wěn)的（P(白)0.7 不隨時間變化， P(黑)0.3 不隨時間變化）11最新 料推薦H (X )H ( X 2 | X 1)1p( xi , yj )log 2ijp( xi, yj)0.914

24、31110.7log 20.0857 0.7log 20.2 0.3log 20.91430.08570.20.8 0.3log120.8 0.512bit/符號2.17 每幀電視圖像可以認為是由3105 個像素組成的，所有像素均是獨立變化，且每像素又取 128 個不同的亮度電平， 并設亮度電平是等概出現(xiàn)， 問每幀圖像含有多少信息量？若有一個廣播員，在約10000 個漢字中選出 1000 個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設漢字字匯是等概率分布，并彼此無依賴）？若要恰當?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解： 1)H ( X )log 2 n log

25、 2 128 7bit / symbolH ( X N )NH ( X )310572.1 106bit / symbol2)H ( X )log 2 nlog 2 1000013.288bit / symbolH ( X N )NH ( X )100013.288 13288 bit / symbol3)NH ( X N )2.110 6158037H ( X )13.2882.20 給定語音信號樣值 X 的概率密度為 p( x)1 e x ,x,求 Hc(X) ，并證明它小于2同樣方差的正態(tài)變量的連續(xù)熵。解12最新 料推薦H( X )p (x)log p ( x)dx1exdxp ( x)

26、logcxxx21dxpx(x)(x )log edxpx(x)log2log 1log e1ex (x )dx22log 1log e01e x(x)dxlog1 ex (x)dx2202log 12log e12 xex dx202log 1log e(1x)ex02log 1log elog 2e2E( X )0, D ( X )22,1log 2e214 e2 elog2 e eH ( X )22log2logH ( X )2連續(xù)隨機變量 X 和 Y 的聯(lián)合概率密度為： p( x, y)1x2y2r22.24r 2，求 H(X), H(Y),0其他H(XYZ)和 I(X;Y) 。（提示

27、： 2 log 2 sin xdxlog 2 2 ）02解：13最新 料推薦r 2x2r 2x212 r2x2p(x)2x2 p( xy)dyr2x22dy( r x r )rrr2rH c ( X )rrrrrlogloglog 2其中：p(x) log p( x)dxp(x) log 2r 2x2dxr 2p(x) log2dxrp( x) log r2x2 dx2rrr2rr 2x 2 dxp( x) logr2r 2log r112log 2 e21r log 2 e bit / symbol2rr 2x2 dxp( x) logrr2r 2x2r2x2dxrr2log4rr2x2lo

28、gr 2x 2 dx20r令 xr cos40log r sind ( r cos )r 2r sin2402 sin 2log r sindrr 2242 sin 2log r sind042 sin 2log rd42 sin 2log sind004log r2 1cos2d4 2 1cos2log sin d020214最新 料推薦2log r2 d2log r2 cos2 d22 log sin d2 2 cos2 log sin d0000log r1 log r2 d sin 22 (log22)2 2 cos2log sin d020log r122 cos2log sin d

29、0log r11log 2 e2其中：22 cos2log sind012 log sind sin 201sin 2log sin22sin 2 d log sin0012 2 sincoscos log 2 e d0sin2 log 2e 2 cos2d02 log 2e 2 1cos2d021 log 2e 2 d1 log 2e 2 cos2 d001 log 2e1log 2 esin 2 02221 log 2 e215最新 料推薦r 2y 2r2y212r2y2p( y)r2y2p( xy)dxr2y2r2 dxr2( r y r )p( y) p(x)H C (Y )H C ( X )log21log2 ebit/symbolr2H c( XY)p( xy) log p( xy