《信息論與編碼理論》(王育民 李暉 梁傳甲)課后習題答案 高等教育出版社

1、 信息論與編碼理論習題解第二章-信息量和熵2.1解: 平均每個符號長為:秒 每個符號的熵為比特/符號所以信息速率為比特/秒2.2 解: 同步信號均相同不含信息,其余認為等概,每個碼字的信息量為 3*2=6 比特；所以信息速率為比特/秒2.3 解:(a)一對骰子總點數(shù)為7的概率是 所以得到的信息量為 比特 (b) 一對骰子總點數(shù)為12的概率是 所以得到的信息量為 比特2.4 解: (a)任一特定排列的概率為,所以給出的信息量為 比特 (b) 從中任取13張牌,所給出的點數(shù)都不相同的概率為 所以得到的信息量為 比特.2.5 解:易證每次出現(xiàn)i點的概率為,所以2.6 解: 可能有的排列總數(shù)為沒有兩棵

2、梧桐樹相鄰的排列數(shù)可如下圖求得，Y X Y X Y X Y X Y X Y X Y X Y圖中X表示白楊或白樺，它有種排法，Y表示梧桐樹可以栽種的位置，它有種排法，所以共有*=1960種排法保證沒有兩棵梧桐樹相鄰，因此若告訴你沒有兩棵梧桐樹相鄰時，得到關于樹排列的信息為=3.822 比特2.7 解: X=0表示未錄取，X=1表示錄??； Y=0表示本市，Y=1表示外地； Z=0表示學過英語，Z=1表示未學過英語，由此得2.8 解:令，則2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2

3、.585比特 H(Y)= H(X2+X3)= = 3.2744比特H(Z)= H(X1+X2+X3)= = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特H(Z/X) = H(X2+X3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585=1.0143比特I(X;Z)=H

4、(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特I(XY Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:設系統(tǒng)輸出10個數(shù)字X等概,接收數(shù)字為Y,顯然H(Y)=log10所以I(X;Y)= 比特2.11 解:（a）接收前一個數(shù)字為0的概率 （b）同理 （c）同理 （d）同理 2.12 解:見2.92.13 解: (

5、b)(c)（由第二基本不等式）或（由第一基本不等式）所以(a) 等號成立的條件為,對所有,即在給定X條件下Y與Z相互獨立。2.14 解: (a) (b) 注：2.15 解: (a) (b) (c)2.16 解:(a) 又由互信息的非負性，即有，所以(b) (c) 當且僅當X和Y獨立時，I（X；Y）=0，所以當且僅當X和Y獨立時，。2.23 解:(a) (b) 令(c)令2.28 解:(a) 由已知，（b）(c)由可求得V的分布為再由及可求得V的條件分布為第三章 離散信源無失真編碼3.1解:長為n碼字的數(shù)目為Dn ,因此長為N的D元不等長碼至多有： 3.2 解: 3.3 解:3.4 解:3.5解

6、:（a）二元Huffman編碼（b）三元Huffman編碼注意：K=10為偶數(shù)，需要添一個概率為零的虛假符號3.6解:二元Huffman編碼（a）二元Huffman編碼（b）（c）3.10 傅P186【5.11】3.11 解:3.12 解:對3.13 解: (a)根據(jù)唯一可譯碼的判斷方法可知,輸出二元碼字為異字頭碼,所以它是唯一可譯碼。 比特(b)因為信源是二元無記憶信源，所以有 其中可計算每個中間數(shù)字相應的信源數(shù)字的平均長度 信源符號/中間數(shù)字(c) 根據(jù)表有可計算每個中間數(shù)字所對應的平均長度二元碼/中間數(shù)字由 二元碼/信源符號編碼效率為0.4756/0.469=98.6%精選題1.傅P19

7、1【5.15】2.傅P192【5.16】信道及其容量作業(yè)：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1解：(a) 對稱信道(b) 對稱信道(c) 和信道(課堂教學例題)!4.3解： (a): 可先假設一種分布,利用信道其容量的充要條件來計算(課堂教學例題) (b): 準對稱信道！4.5解：課堂教學例題4.8解：該題概率有誤，應把1/32改為1/64。每個符號的熵為采樣頻率Fs為Fs=2W=8000 Hz所以信息速率R為4.9解：每象點8電平量化認為各級出現(xiàn)的概率相等，即H(U)=3 bits所以信息速率R為4.10解：4.12解：高斯信道的信道容量為4.14解：第

8、五章 離散信道編碼定理習題5.1解：DMC信道有因為所以最大后驗概率譯碼為： 。譯碼錯誤概率為：若按最大似然譯碼準則譯碼為：譯碼錯誤概率為：可見,最大似然譯碼的譯碼錯誤概率大于最大后驗概率譯碼的譯碼錯誤概率。第七章 信道編碼1. 設(7,3)碼的生成矩陣為(1) 寫出該碼的一致校驗矩陣H；(2) 寫出該碼的所有許用碼字；(3) .寫出該碼的“譯碼表”-標準譯碼表或簡化(伴隨式)譯碼表；(4) 寫出接收矢量R=1000001的錯誤圖樣,并譯相應的許用碼字；(5) 寫出該碼在BSC(錯誤轉移概率為p)中傳輸?shù)?平均)正確譯碼概率pc的表達式；(6) 寫出該碼在BSC(錯誤轉移概率為p)中傳輸?shù)穆z

9、概率Pud(也稱不可檢測錯誤概率)的表達式.解: (1) G不為系統(tǒng)碼形式,我們通過初等行變換變?yōu)橄到y(tǒng)碼形式 因此(2) 由C=MG得該碼的許用碼字為0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111該碼的最小漢明距離為4。(3) 該碼的標準陣由16個陪集構成, 在BSC(錯誤轉移概率為p<1/2)應將重量最小的錯誤圖樣選作陪集首, 故該碼的標準譯碼表為許用碼字0000000(陪集首)0111001110101010100111011100110010101101100001111禁用碼字000000101110

10、001101011101001010111011100100011011100011100000010011101111010001010001101111011001110110100000110100001000111101110111010101111011000110000101100100001011000100001100011100010101101110101001101101011111000001110010000010100111110101000011100110011101010100110001111101000000011001100101011100111111

11、100100010100101100101111100000011110010101010001001100111000100101111011010011110000011011101011010011010000101111111001100110101000110000001010111100110111110101101011001110000001100110001010000100101100001100011101101010101011101100011111100001100010001010100011110111000010100110111101000100111001

12、111001000010011000100101111100101111101100010000101110101110100000111110000101011001001000111010100100111011110011101001000111000101000100011011001010001011011111110100011111100001001001001101001000110101100001010110001101111111譯碼規(guī)則為若接收矢量在第i列出現(xiàn),則譯碼輸出為對應列中的碼字,也就是陪集首為可糾正錯誤圖樣.伴隨式譯碼表為伴隨式陪集首0000000000001110000001110100000101011000010000010001000001000100000100010000010001000000101000000111100000010101100001001010100100010011010000111111000001100110010001110111000