信息論第二章答案

1、2.1 試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？解：四進制脈沖可以表示4個不同的消息，例如：0, 1, 2, 3八進制脈沖可以表示8個不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7二進制脈沖可以表示2個不同的消息，例如：0, 1假設(shè)每個消息的發(fā)出都是等概率的，則：四進制脈沖的平均信息量八進制脈沖的平均信息量二進制脈沖的平均信息量所以：四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。2.2 一副充分洗亂了的牌（含52張牌），試問(1) 任一特定排列所給出的信息量是多少？(2) 若從中抽取13張牌，所給出的點數(shù)都不相同能得到多少信息量？解：(1) 52

2、張牌共有52！種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的則所給出的信息量是：(2) 52張牌共有4種花色、13種點數(shù)，抽取13張點數(shù)不同的牌的概率如下：(a)p(xi)=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40=1.0568E-4(b)總樣本：C1352, 其中13點數(shù)不同的數(shù)量為4*4*4*4=413。所以，抽取13張點數(shù)不同的牌的概率：2.3 居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身

3、高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機變量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：2.4 設(shè)離散無記憶信源，其發(fā)出的信息為(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每

4、符號攜帶的信息量是多少？解：(1) 此消息總共有14個0、13個1、12個2、6個3，因此此消息發(fā)出的概率是：此消息的信息量是：(2) 此消息中平均每符號攜帶的信息量是：2.5 從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？解：男士：女士：2.6 設(shè)信源，求這個信源的熵，并解釋為什么H(X) > log6不滿足信源熵的極值性。解：不滿足極值性的原因是。2.7 同時擲出兩個正常的骰子，

5、也就是各面呈現(xiàn)的概率都為1/6，求：(1) “3和5同時出現(xiàn)”這事件的自信息；(2) “兩個1同時出現(xiàn)”這事件的自信息；(3) 兩個點數(shù)的各種組合（無序）對的熵和平均信息量；(4) 兩個點數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵；(5) 兩個點數(shù)中至少有一個是1的自信息量。解：(1)(2)(3)兩個點數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個組合的概率是(4)參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求

6、和的概率分布如下：(5)2.8證明：H(X1X2 。 Xn) H(X1) + H(X2) + + H(Xn)。證明：2.9 證明：H(X3/X1X2) H(X3/X1)，并說明當X1, X2, X3是馬氏鏈時等式成立。證明：2.10 對某城市進行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對頻度如下：若把這些頻度看作概率測度，求：(1) 忙閑的無條件熵；(2) 天氣狀態(tài)和氣溫狀態(tài)已知時忙閑的條件熵；(3) 從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。解：(1)根據(jù)忙閑的頻率，得到忙閑的概率分布如下： (2) 設(shè)忙閑為隨機變量X，天氣狀態(tài)為隨機變量Y，氣溫

7、狀態(tài)為隨機變量Z(3) 2.11 有兩個二元隨機變量X和Y，它們的聯(lián)合概率為Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機變量Z = XY（一般乘積），試計算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)2.12

8、有兩個隨機變量X和Y，其和為Z = X + Y（一般加法），若X和Y相互獨立，求證：H(X) H(Z), H(Y) H(Z)。證明：同理可得。2.13 設(shè)有一個信源，它產(chǎn)生0，1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0) = 0.4，P(1) = 0.6的概率發(fā)出符號。(1) 試問這個信源是否是平穩(wěn)的？(2) 試計算H(X2), H(X3/X1X2)及H；(3) 試計算H(X4)并寫出X4信源中可能有的所有符號。解：(1) 這個信源是平穩(wěn)無記憶信源。因為有這些詞語：“它在任意時間而且不論以前發(fā)生過什么符號”(2) (3) 2.14 設(shè)是平穩(wěn)離散有記憶信源，試證明：。證明：

9、2.15 某一無記憶信源的符號集為0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符號的平均熵；(2) 有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100 - m）個“1”）的自信息量的表達式；(3) 計算(2)中序列的熵。解：(1)(2) (3) 2.16 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號集為0, 1, 2。(1) 求平穩(wěn)后信源的概率分布；(2) 求信源的熵H。解：(1)(2)2.17黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑，白。設(shè)黑色出現(xiàn)的概率為P(黑) = 0.3，白色出現(xiàn)的概率為P(白) = 0.7。(1) 假設(shè)圖上黑白

10、消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H(X)；(2) 假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一階馬爾可夫信源的熵H2(X);(3) 分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說明其物理含義。解：(1)(2) (3)H(X) > H2(X)表示的物理含義是：無記憶信源的不確定度大于有記憶信源的不確定度，有記憶信源的結(jié)構(gòu)化信息較多，能夠進行較大程度的壓縮。2.18 每幀電視圖像可以認為是由3Í105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1)2)3)2.19 給定聲音樣值X的概率密度為拉普拉斯分布，求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。解：2.20 連續(xù)隨機變量X和Y的聯(lián)合概率密度為：，求H(X), H(Y), H(XYZ)和I(X;Y)。（提示：）解：2.21 設(shè)是N維高斯分布的連續(xù)信源，且X1, X2,