信息論與編碼第二章復(fù)習(xí)資料

1、畫出狀態(tài)圖(o) D. a并求出各符號穩(wěn)態(tài)概率。解：由題可得狀態(tài)概率矩陣為:狀態(tài)轉(zhuǎn)換圖為:令各狀態(tài)的穩(wěn)態(tài)分布概率為，貝V：目勺勺呂回®目，回月兇勺目, 兇=勺兇穩(wěn)態(tài)分布概率為：u=£, a =目，勺=E2-2.由符號集0, 1組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為:P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|10)=0.5(1|01)=0.5(1|10)=0.5畫出狀態(tài)圖，并計(jì)算各符號穩(wěn)態(tài)概率。解：狀態(tài)轉(zhuǎn)移概率矩陣為：0. 80. 50. 30 2令各狀態(tài)的穩(wěn)態(tài)分布概率為、，利用（2-1-17 ）可得方程組。解方程

2、組得:2-3、同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都是丨，求：（1）、“3和5同時(shí)出現(xiàn)”事件的自信息量；（2）、“兩個(gè)1同時(shí)出現(xiàn)”事件的自信息量；（3）、兩個(gè)點(diǎn)數(shù)的各種組合的熵或平均信息量；（4）、兩個(gè)點(diǎn)數(shù)之和的熵；（5）、兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是 1的自信息量。解：（1） 3和5同時(shí)出現(xiàn)的概率為:（2）兩個(gè)1同時(shí)出現(xiàn)的概率為:（3 ）兩個(gè)點(diǎn)數(shù)的各種組合（無序?qū)Γ椋?1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3.4) ,(3,5),(3,6)(4.4) ,(4,5),(4,6)(5.5) ,(5,6)(

3、3,3),(6,6)其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)1/36，其余的概率均為1/18所以，的概率為事件(4)兩個(gè)點(diǎn)數(shù)之和概率分布為:信息為熵為:(5)兩個(gè)點(diǎn)數(shù)之中至少有一個(gè)是 1的概率為： _凹|2-4.設(shè)在一只布袋中裝有100個(gè)用手觸摸感覺完全相同的木球，每個(gè)球上涂有一種顏色100個(gè)球的顏色有下列三種情況:(1) 紅色球和白色球各 50個(gè);(2) 紅色球99個(gè)，白色球1個(gè)；(3) 紅、黃、藍(lán)、白色球各 25個(gè)。分別求出從布袋中隨意取出一個(gè)球時(shí)，猜測其顏色所需要的信息量。解：(1)設(shè)取出的紅色球?yàn)?，白色球?yàn)?；有栄| ， . _則有：|=1事

4、件(2) 亠【,J ；則有：:=0.081 (事件)(3) 設(shè)取出紅、黃、藍(lán)、白球各為、，有則有：二Y /事件2-5、居住某地區(qū)的女孩中有 25淀大學(xué)生，在女大學(xué)生中有75% 身高為1.6M以上，而女孩中身高1.6M以上的占總數(shù)一半。假如 得知“身高1.6M以上的某女孩是大學(xué)生”的消息，問獲得多少 信息量？解：設(shè)女孩是大學(xué)生為事件 A，女孩中身高1.6m以上為事件B,則 p(A)=1/4, p (B)=1/2，p ()=3/4，則P() x I BI () = ( 1() ) =1.422-6.擲兩顆，當(dāng)其向上的面的小圓點(diǎn)數(shù)之和是 3時(shí)，該消息所 包含的信息量是多少？當(dāng)小圓點(diǎn)數(shù)之和是 7時(shí)，該

5、消息所包含的信息量又是多少？解：(1 )小圓點(diǎn)數(shù)之和為3時(shí)有(1,2 )和(2,1 ),而總的組合數(shù)為36,即概率為，貝V(2)小園點(diǎn)數(shù)之和為7的情況有(1,6 ), (6,1 ) (2,5 ) (5,2 )(3,4 )( 4,3 ),則概率為 |：僉|,貝V有2-7、設(shè)有一離散無記憶信源，其概率空間為出現(xiàn)14次，出現(xiàn)13次，出(1) 、求每個(gè)符號的自信息量；(2) 、信源發(fā)出一消息符號序列為,求該消息序列的自信息量及平均每個(gè)符號攜帶的信息量解：(1) 的自信息量為：的自信息量為：的自信息量為：的自信息量為：(2)在該消息符號序列中， 現(xiàn)12, 出現(xiàn)6次，所以，該消息序列的自信息量為：I ()

6、 =14 I ( ) +13 I () +12 I () +6 1()平均每個(gè)符號攜帶的信息量為:2-8 .試問四進(jìn)制、八進(jìn)制脈沖所含的信息量是二進(jìn)制脈沖的多少倍？解；設(shè)二進(jìn)制、四進(jìn)制、八進(jìn)制脈沖的信息量為所以，四進(jìn)制、八進(jìn)制脈沖信息量分別是二進(jìn)制脈沖信息量的2倍、3倍。2-10在一個(gè)袋中放5個(gè)黑球、10個(gè)白球，以摸一個(gè)球?yàn)閷?shí)驗(yàn)， 摸出的球不再放進(jìn)去。求：（1）一次實(shí)驗(yàn)中包含的不確定度；（2）第一次實(shí)驗(yàn)X摸出是黑球，第二次實(shí)驗(yàn) Y給出的不確定 度;（3）第一次實(shí)驗(yàn)X摸出是白球，第二次實(shí)驗(yàn) Y給出的不確定 度;（4）第二次實(shí)驗(yàn)包含的不確定度。解：(1) 一次實(shí)驗(yàn)的結(jié)果可能摸到的是黑球或白球，它們

7、的概率分別是.訂，匚。所以一次實(shí)驗(yàn)的不確定度為(2)當(dāng)?shù)谝淮螌?shí)驗(yàn)摸出是黑球，則第二次實(shí)驗(yàn)Y的結(jié)果可能是摸到黑球或白球，它們的概率分別是 .二三|、.所以該事件的不確定度為°/符號(3) 當(dāng)?shù)谝淮螌?shí)驗(yàn)摸出是白球，則第二次實(shí)驗(yàn)Y的結(jié)果可能是摸到黑球耳或白球，它們的概率分別是| 、| |所以該事件的不確定度為/符號(4)二次實(shí)驗(yàn)B出現(xiàn)結(jié)果的概率分布是p()(黑，黑)=0，p()(黑，白)=0， p()(白，黑)=3， p()(白，白)=E 所以二次實(shí)驗(yàn)的不確定度為H(B)=0.91 符號2-11有一個(gè)可旋轉(zhuǎn)的圓盤，盤面上被均勻地分成38份，用1, 2,、38數(shù)字標(biāo)示，其中有2份涂綠色，18

8、份涂紅色，18份 涂黑色，圓盤停轉(zhuǎn)后，盤面上指針指向某一數(shù)字和顏色。(1) 若僅對顏色感興趣，則計(jì)算平均不確定度；(2) 若對顏色和數(shù)字都感興趣，則計(jì)算平均不確定度；(3) 如果顏色已知時(shí)，則計(jì)算條件熵。解：令X表示指針指向某一數(shù)字，則1,2, .,38Y 表示指針指向某一種顏色，則綠色，紅色，黑色Y 是X的函數(shù)，由題意可知 I(1) 僅對顏色感興趣，則H(c)= J 二一2耳 j I =0.2236+1.0213 =1.245(2) 對顏色和數(shù)字都感興趣，則H()(n)=38(- | )21=5.249如果顏色已知時(shí)，則H () ()(h)=5.249-1.245=4.0042-12、兩個(gè)實(shí)

9、驗(yàn) X和 Y, , ，聯(lián)合概率I為(1) 如果有人告訴你 X和Y的結(jié)果，你得到的平均信息量是多少？(2) 如果有人告訴你Y的結(jié)果，你得到的平均信息量是多少？(3) 在已知Y的實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少?解：（1）、(3)、2-13有兩個(gè)二元隨機(jī)變量 X和Y,它們的聯(lián)合概率如右圖所示并定義另一隨機(jī)變量（一般乘積）X01Z010X %7/1/1%-T/8試計(jì)算:解:（ 1）1）(1)，刁，乂|，ri，| = |0， ，J0，(3)L2SI，z = xr的概率分布如下*1 一 同理:(000)=1/8, (010)=3/8, (100)=3/8, P(111)=1

10、/8(110)(001)(101)(011)=0匚T(2)由于| ;所以:則，0上i 一 *(3) 到由于同理有：2.16黑白傳真機(jī)的消息元只有黑色和白色兩種，即黑，白,一般氣象圖上，黑色的出現(xiàn)概率p（黑）=0.3，白色出現(xiàn)的概率p（白）=0.7。（1） 假設(shè)黑白消息視為前后無關(guān)，求信源熵H（X），并畫出該信 源的香農(nóng)線圖（2） 實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P（白| 白）=0.9143 , P（黑 | 白）=0.0857 , P（白 | 黑）=0.2 , P（黑 | 黑） =0.8，求這個(gè)一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。（3）比較兩種信源熵的大小，并說明原因。

11、解：（1）1符號P（黑|白）（黑）P（白|白）=P（白）0.70.3黑白0.70.3”P（黑|黑）=P（黑）P（白|黑）=P（白）（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P（白）=0.7不隨時(shí)間變化，P（黑）=0.3不隨時(shí)間變化）=0.512符號2.20給定語音信號樣值X的概率密度為一 -I求（X），并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解:I x I2-23連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為求匚：， 7 , _1解：|EB1隨機(jī)變量X的概率密度分布為 _IJ，呈標(biāo)準(zhǔn)正態(tài)分布。其中數(shù)學(xué)期望為0,方差為S;隨機(jī)變量Y的概率密度分布為|，也呈標(biāo)準(zhǔn)正態(tài)分布。其中數(shù)學(xué)期望為0,方差為（）。解: （

12、 1）（2）（3）2-25某一無記憶信源的符號集為0,1，已知（1）求符號的平均熵。（2）由100個(gè)構(gòu)成的序列，求某一特定序列（例如有 m個(gè)0和100個(gè)1）的自由信息量的表達(dá)式。（3）計(jì)算（2）中的序列的熵2-26 一個(gè)信源發(fā)出二重符號序列消息（ 回，勺），其中第一個(gè)符號 可以是A, B, C中的任一個(gè)，第二個(gè)符號可以是D, E，F(xiàn)，G中的任一個(gè)。已知各個(gè)叵 為.址丨，敦.|,. 乂丨；各個(gè)值列成如下。求這個(gè)信源的熵（聯(lián)合熵）AEcD%茹XB%X%FXK%KXo胎解： -2.29有一個(gè)一階平穩(wěn)馬爾可夫鏈I ,各取值于集合列,已知起始概率P()為 一 ，轉(zhuǎn)移概率如 下圖所示ji12311/21/

13、41/422/301/332/31/30(1) 求bi的聯(lián)合熵和平均符號熵(2) 求這個(gè)鏈的極限平均符號熵(3) 求 F 和它們說對應(yīng)的冗余度 解: ( 1)1 = 112311/41/81/821/601/1231/61/120X，的聯(lián)合概率分布為12314/245/245/24X2的概率分布為那么=1.209符號沁的聯(lián)合概率分布為I 712317/247/487/4825/3605/1235/365/120那么=1.26符號I/符號所以平均符號爛|/符號(2)設(shè)ai23穩(wěn)定后的概率分布分別為W123，轉(zhuǎn)移概率距陣為又滿足不可約性和非周期性/符號/符號1-p1-p圖 2-132.32 一階馬爾可夫信源的狀態(tài)圖如圖2-13所示，信源X的符號集為(0, 1, 2)。(1)求信源平穩(wěn)后的概率分布P(0)(1) (2)