信息論與編碼答案

1、信息論與編碼（第二版）曹雪虹的回答第二章2.1馬爾可夫源有三個(gè)符號(hào)，轉(zhuǎn)變概率為：繪制狀態(tài)圖，求出各符號(hào)的穩(wěn)態(tài)概率。解：狀態(tài)圖如下所示狀態(tài)轉(zhuǎn)移矩陣如下所示將狀態(tài)u1、u2、u3穩(wěn)定的概率分別設(shè)為W1、W2、W3得到由得訂正算法由2.2代碼集 0，1 構(gòu)成的二次馬爾可夫鏈的轉(zhuǎn)變概率產(chǎn)生=0.8、=0.2、=0.2、=0.8、=0.5、=0.5、=0.5、=0.5、=0.5的狀態(tài)圖，并且校正每個(gè)狀態(tài)的穩(wěn)態(tài)概率。解：這樣，可以按如下方式列出轉(zhuǎn)變概率矩陣狀態(tài)圖如下所示設(shè)各狀態(tài)00、01、10、11的穩(wěn)態(tài)分布概率為W1、W2、W3、W4時(shí)必須加以修正2.3同時(shí)出現(xiàn)兩個(gè)正常的骰子，即各面出現(xiàn)的概率均為1/6

2、，求出(1) “3和5同時(shí)出現(xiàn)”事件的自我信息(2)“兩個(gè)一同時(shí)出現(xiàn)”事件的自我信息(3)兩個(gè)分?jǐn)?shù)的各種組合(無序)對(duì)的熵和熵量(4)兩個(gè)分?jǐn)?shù)之和(即，由2、3、12組成的子集)的熵(5)兩個(gè)分?jǐn)?shù)中至少有一個(gè)是1的自我信息量。解： (1) (2)(3)兩個(gè)點(diǎn)的排列如下111213141516212223242526313233343536414243444546515253545556616263646566有21個(gè)組合其中11、22、33、44、55、66的概率為其它15個(gè)的組合的概率(4)參考上述兩個(gè)分?jǐn)?shù)的排列，兩個(gè)分?jǐn)?shù)的合并概率分布如下(5)二-四2.5某地區(qū)25%的女孩是大學(xué)生，75%

3、的女大學(xué)生身高160厘米以上，女孩中身高160厘米以上占總數(shù)的一半。 如果知道“身高160厘米以上的女孩是大學(xué)生”的新聞，能得到多少信息量？解：設(shè)隨機(jī)變量x表示女孩的學(xué)歷xx1(大學(xué)生)x2(不是大學(xué)生)對(duì)號(hào)0.250.75設(shè)隨機(jī)變量y表示女孩的身高yy1(身高160厘米)y2(身高160厘米)p (空間)0.50.5眾所周知，75%的女大學(xué)生身高在160厘米以上即：求：身高160厘米以上的女孩是大學(xué)生的信息量即：2.6擲兩個(gè)骰子，上面的小點(diǎn)之和為3時(shí)，該信息中包含的信息量是多少？小點(diǎn)之和為7時(shí)，該信息中包含的信息量是多少？解：1 )點(diǎn)之和為3的概率這條信息從信息量2 )點(diǎn)之和為7的概率這條信

4、息從信息量2.7提供離散無記憶源，其概率空間為(1)求每個(gè)符號(hào)的自信息量(2)來自始發(fā)者的消息符號(hào)序列為 2021201302130012032103210021032011223210 ，并對(duì)該序列的自信息量和每個(gè)符號(hào)所具有的信息量進(jìn)行平均解：同樣可以求出由于信道源沒有存儲(chǔ)，因此消息序列的信息量等于該序列內(nèi)的每個(gè)符號(hào)的信息量的和有的每符號(hào)的便攜信息量是比特/符號(hào)2.8四進(jìn)制八進(jìn)制脈沖中包含的信息量是二進(jìn)制脈沖的幾倍？解：四進(jìn)制脈沖可以表示四個(gè)不同的消息。 可以表示八條不同的消息，例如0、1、2、3、4、5、6、7。二進(jìn)制脈沖可以表示兩個(gè)不同的消息，如 0，1 假設(shè)每條消息的發(fā)送是等概率的：四

5、進(jìn)制脈沖的熵信息量八進(jìn)制脈沖的熵信息量二進(jìn)制脈沖的熵因此，4進(jìn)制、8進(jìn)制脈沖中包含的信息量分別是2進(jìn)制脈沖信息量的2倍和3倍。2-9 “-”用3脈沖“”用1脈沖1) I()=I(-)=(2) H=2-10 (2) P (黑/黑)=P (白/黑)=H(Y/黑)=(3) P (黑/白)=P (白/白)=H(Y/白)=(4) P (黑)=P (白)=H(Y)=。2.11有可旋轉(zhuǎn)的圓盤，盤面上平均分為38份，用1，38的數(shù)字表示，其中2份涂綠色，18份涂紅色，18份涂黑色，圓盤停止后，盤面上的指針指的是某個(gè)數(shù)字和顏色。(1)如果只對(duì)顏色感興趣，則修正平均不確定度。(2)如果只對(duì)顏色和數(shù)字感興趣，則修正

6、平均不確定度(3)如果知道顏色，則校正條件熵解：如果指定x表中有指針的數(shù)字，則x= 1，2，2，38y表示指針指向某種顏色，Y=l綠、紅、黑y是x的函數(shù)，從題意上可以看出來(1)位/符號(hào)(2)位/符號(hào)(3)位/符號(hào)2.12兩個(gè)實(shí)驗(yàn)x和y、X=x1 x2 x3、Y=y1 y2 y3、l聯(lián)合概率為(1)如果有人告訴我x和y的實(shí)驗(yàn)結(jié)果，你得到的熵量是多少？(2)如果有人告訴我y的實(shí)驗(yàn)結(jié)果，你得到的熵量是多少？(3)如果知道y的實(shí)驗(yàn)結(jié)果，請(qǐng)告訴我x的實(shí)驗(yàn)結(jié)果，你得到的熵量是多少？解：聯(lián)合概率是多少？yxy1y2y3x1七月二十四日二十四分之一0x2二十四分之一四分之一二十四分之一x30二十四分之一七月

7、二十四日=2. 3比特/符號(hào)x概率分布xx1x2x3p型八月二十四日八月二十四日八月二十四日位/符號(hào)y概率分布=0. 72比特/符號(hào)yy1y2y3p型八月二十四日八月二十四日八月二十四日2.13有兩個(gè)二維隨機(jī)變量x和y，它們的聯(lián)合概率是y-x系列機(jī)動(dòng)戰(zhàn)士x1=0x2=1y1=0八分之一三分之八y2=1三分之八八分之一定義另一個(gè)隨機(jī)變量Z=XY (一般乘積)，并嘗試進(jìn)行修正運(yùn)算h (x )、H(Y )、H(Z )、H(XZ )、H(YZ )和H(XYZ )。H(X/Z )、H(Y/X )、H(X/Z )、H(Z/X )、H(Y/Z )、h(z/z )(3) I(X )； y )、I(X； z )

8、、I(Y )； z )、I(X； Y/Z )、I(Y； Z/X和I(X； Z/Y )。解：(1)Z=XY的概率分布如下。(2)(3)二一四(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15戰(zhàn)斗機(jī)P(j/i)=2.16黑白傳真的信息源只有黑白兩種，即X=黑，白，在一般氣象圖中，黑的出現(xiàn)概率p (黑)=0.3，白的出現(xiàn)概率p (白)=0.7。(1)將黑白信息視為前后無關(guān)，求出源熵H(X )，描繪該源的香農(nóng)線圖(2)實(shí)際上各要素之間存在關(guān)聯(lián)，其轉(zhuǎn)變概率為p (白|白)=0.9143、p (黑|白)=0.0857、p (白|黑)=0.2、p(3)比較兩種源熵的大小，說明原因。解： (1)

9、比特/符號(hào)p (黑|白)=P (黑)p (白|白)=P (白)p (黑|黑)=P (黑)p (白|黑)=P (白)根據(jù)(2)題意，這個(gè)一次馬爾可夫連鎖平穩(wěn)(p (白)=0.7不隨時(shí)間變化，p (黑)=0.3不隨時(shí)間變化之間的變化)=0. 512比特/符號(hào)2.17每幀的電視圖像可以認(rèn)為由3105個(gè)像素構(gòu)成，所有像素獨(dú)立變化，各像素又取128個(gè)不同的亮度等級(jí)，亮度等級(jí)設(shè)為等概出現(xiàn)，并詢問各幀的圖像中包含有多少信息量。 播音員從大約10000個(gè)漢字中選擇1000個(gè)漢字來口述電視圖像，并請(qǐng)播音員說明該圖像所播放的信息量是多少(假定漢字詞匯是等概率分布，彼此不依賴)。 為了正確地記述這張圖像，播音員在口

10、述時(shí)至少需要多少漢字解：1)二)三)2.20給定語(yǔ)音信號(hào)樣本值x的概率密度對(duì)Hc(X )求得并確保小于相同方差的正規(guī)變量的連續(xù)熵。解2.24連續(xù)隨機(jī)變量x和y的聯(lián)合概率密度是： H(X )，H(Y )，H(XYZ )和I(X； y )。(提示：)解：2.25個(gè)無存儲(chǔ)器源的碼元集合是 0，1 ，在其中已知P(0)=1/4，P(1)=3/4。(1)求符號(hào)的平均熵(2)有100個(gè)符號(hào)的序列，求某特定序列(例如有m個(gè)“0”和(100 )個(gè)“1”)的自信息量的公式(3)修正(2)中的系列的熵。解：(1)(2)(3)二二六P(i)=P(ij)=H(IJ)=2.29有一階平穩(wěn)馬爾可夫鏈，其中每個(gè)Xr取集合的

11、值，并且已知的開始概率P(Xr )的轉(zhuǎn)移概率如下圖所示日本職業(yè)足球聯(lián)賽123123二分之一三分之二三分之二四分之一0三分之一四分之一三分之一0(1)求出的聯(lián)合熵和平均符號(hào)熵(2)求出該鏈的極限平均碼熵(3)對(duì)它們進(jìn)行修訂，說明對(duì)應(yīng)的冗長(zhǎng)性解： (1)符號(hào)X1、X2的聯(lián)合概率分布1231四分之一八分之一八分之一2六分之一0十二分之一3六分之一十二分之一0123四月二十四日五月二十四日五月二十四日X2的概率分布那么=1. 209比特/符號(hào)X2X3的聯(lián)合概率分布1231七月二十四日七月四十八日七月四十八日2五月三十六日0五月十二日3五月三十六日五月十二日0那么=1. 26位/符號(hào)/符號(hào)所以平均碼熵/

12、碼(2)將a 1，a2，a3穩(wěn)定的概率分布分別設(shè)為W1，W2，W3，轉(zhuǎn)變概率設(shè)為距離矩陣從得到的修正算中得到滿足不可約性和非周期性/符號(hào)(3)/符號(hào)/符號(hào)/符號(hào)2-30 (1)穩(wěn)態(tài)概率P(j/i)=求解方程組(2)源熵為：二三一P(j/i)=解方程組為W1=、W2=、W3=2.32一次馬爾可夫源的狀態(tài)圖如圖213所示，其中，源x的符號(hào)集合是(0，1，2 )。(1)求發(fā)信源穩(wěn)定后的概率分布P(0)，P(1)，P(2)(2)求該源的熵(3)在近似地考慮該源無記憶的情況下，編碼的概率分布成為平滑的分布。 求近似源的熵H(X )，并將其與解：基于香農(nóng)圖列舉轉(zhuǎn)移概率的距離矩陣將使?fàn)顟B(tài)0、1、2平穩(wěn)后的概

13、率分布分別設(shè)為W1、W2、W3修正后得到可以通過一次掃描得到從最大熵定理可以看出符號(hào)存在極大值可替代地，也可以按照以下方式確定極大值：的存在所以當(dāng)p=2/3的時(shí)候0第二個(gè)實(shí)驗(yàn)比第一個(gè)實(shí)驗(yàn)好P(y1y2x )000110110四分之一000100四分之一020四分之一0四分之一(2)由于y 1和Y2相互獨(dú)立，P(y1y2|x )00011011010001001020二分之一0二分之一y1y200011011p型四分之一四分之一四分之一四分之一位/符號(hào)=1. 5比特/符號(hào)由此可知，進(jìn)行2個(gè)實(shí)驗(yàn)的情況與單獨(dú)進(jìn)行Y1相比，關(guān)于x的信息量多，與單獨(dú)進(jìn)行Y2相比，0.5比特的信息量多。(3)=1.5-1=0. 5比特/符號(hào)創(chuàng)建