《信息論與編碼理論》(王育民 李暉 梁傳甲)課后習(xí)題答案 高等教育出版社

1、精選文檔 信息論與編碼理論習(xí)題解其次章-信息量和熵2.1解: 平均每個(gè)符號(hào)長(zhǎng)為:秒 每個(gè)符號(hào)的熵為比特/符號(hào)所以信息速率為比特/秒2.2 解: 同步信號(hào)均相同不含信息,其余認(rèn)為等概,每個(gè)碼字的信息量為 3*2=6 比特；所以信息速率為比特/秒2.3 解:(a)一對(duì)骰子總點(diǎn)數(shù)為7的概率是 所以得到的信息量為 比特 (b) 一對(duì)骰子總點(diǎn)數(shù)為12的概率是 所以得到的信息量為 比特2.4 解: (a)任一特定排列的概率為,所以給出的信息量為 比特 (b) 從中任取13張牌,所給出的點(diǎn)數(shù)都不相同的概率為 所以得到的信息量為 比特.2.5 解:易證每次消滅i點(diǎn)的概率為,所以2.6 解: 可能有的排列總數(shù)為

2、沒(méi)有兩棵梧桐樹(shù)相鄰的排列數(shù)可如下圖求得，Y X Y X Y X Y X Y X Y X Y X Y圖中X表示白楊或白樺，它有種排法，Y表示梧桐樹(shù)可以栽種的位置，它有種排法，所以共有*=1960種排法保證沒(méi)有兩棵梧桐樹(shù)相鄰，因此若告知你沒(méi)有兩棵梧桐樹(shù)相鄰時(shí)，得到關(guān)于樹(shù)排列的信息為=3.822 比特2.7 解: X=0表示未錄用，X=1表示錄用； Y=0表示本市，Y=1表示外地； Z=0表示學(xué)過(guò)英語(yǔ)，Z=1表示未學(xué)過(guò)英語(yǔ)，由此得2.8 解:令，則2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2

3、.585比特 H(Y)= H(X2+X3)= = 3.2744比特H(Z)= H(X1+X2+X3)= = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特H(Z/X) = H(X2+X3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585=1.0143比特I(X;Z)=H

4、(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:設(shè)系統(tǒng)輸出10個(gè)數(shù)字X等概,接收數(shù)字為Y,明顯H(Y)=log10所以I(X;Y)= 比特2.11 解:（a）接收前一個(gè)數(shù)字為0的概率 （b）同理 （c）同理 （d）同理 2.12 解:見(jiàn)2.92.13 解: (b)(c)

5、（由其次基本不等式）或（由第一基本不等式）所以(a) 等號(hào)成立的條件為,對(duì)全部,即在給定X條件下Y與Z相互獨(dú)立。2.14 解: (a) (b) 注：2.15 解: (a) (b) (c)2.16 解:(a) 又由互信息的非負(fù)性，即有，所以(b) (c) 當(dāng)且僅當(dāng)X和Y獨(dú)立時(shí)，I（X；Y）=0，所以當(dāng)且僅當(dāng)X和Y獨(dú)立時(shí)，。2.23 解:(a) (b) 令(c)令2.28 解:(a) 由已知，（b）(c)由可求得V的分布為再由及可求得V的條件分布為第三章 離散信源無(wú)失真編碼3.1解:長(zhǎng)為n碼字的數(shù)目為Dn ,因此長(zhǎng)為N的D元不等長(zhǎng)碼至多有： 3.2 解: 3.3 解:3.4 解:3.5解:（a）二

6、元Huffman編碼（b）三元Huffman編碼留意：K=10為偶數(shù)，需要添一個(gè)概率為零的虛假符號(hào)3.6解:二元Huffman編碼（a）二元Huffman編碼（b）（c）3.10 傅P186【5.11】3.11 解:3.12 解:對(duì)3.13 解: (a)依據(jù)唯一可譯碼的推斷方法可知,輸出二元碼字為異字頭碼,所以它是唯一可譯碼。 比特(b)由于信源是二元無(wú)記憶信源，所以有 其中可計(jì)算每個(gè)中間數(shù)字相應(yīng)的信源數(shù)字的平均長(zhǎng)度 信源符號(hào)/中間數(shù)字(c) 依據(jù)表有可計(jì)算每個(gè)中間數(shù)字所對(duì)應(yīng)的平均長(zhǎng)度二元碼/中間數(shù)字由 二元碼/信源符號(hào)編碼效率為0.4756/0.469=98.6%精選題1.傅P191【5.1

7、5】2.傅P192【5.16】信道及其容量作業(yè)：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1解：(a) 對(duì)稱信道(b) 對(duì)稱信道(c) 和信道(課堂教學(xué)例題)!4.3解： (a): 可先假設(shè)一種分布,利用信道其容量的充要條件來(lái)計(jì)算(課堂教學(xué)例題) (b): 準(zhǔn)對(duì)稱信道！4.5解：課堂教學(xué)例題4.8解：該題概率有誤，應(yīng)把1/32改為1/64。每個(gè)符號(hào)的熵為采樣頻率Fs為Fs=2W=8000 Hz所以信息速率R為4.9解：每象點(diǎn)8電平量化認(rèn)為各級(jí)消滅的概率相等，即H(U)=3 bits所以信息速率R為4.10解：4.12解：高斯信道的信道容量為4.14解：第五章 離散

8、信道編碼定理習(xí)題5.1解：DMC信道有由于所以最大后驗(yàn)概率譯碼為： 。譯碼錯(cuò)誤概率為：若按最大似然譯碼準(zhǔn)則譯碼為：譯碼錯(cuò)誤概率為：可見(jiàn),最大似然譯碼的譯碼錯(cuò)誤概率大于最大后驗(yàn)概率譯碼的譯碼錯(cuò)誤概率。第七章 信道編碼1. 設(shè)(7,3)碼的生成矩陣為(1) 寫出該碼的全都校驗(yàn)矩陣H；(2) 寫出該碼的全部許用碼字；(3) .寫出該碼的“譯碼表”-標(biāo)準(zhǔn)譯碼表或簡(jiǎn)化(伴隨式)譯碼表；(4) 寫出接收矢量R=1000001的錯(cuò)誤圖樣,并譯相應(yīng)的許用碼字；(5) 寫出該碼在BSC(錯(cuò)誤轉(zhuǎn)移概率為p)中傳輸?shù)?平均)正確譯碼概率pc的表達(dá)式；(6) 寫出該碼在BSC(錯(cuò)誤轉(zhuǎn)移概率為p)中傳輸?shù)穆z概率Pud

9、(也稱不行檢測(cè)錯(cuò)誤概率)的表達(dá)式.解: (1) G不為系統(tǒng)碼形式,我們通過(guò)初等行變換變?yōu)橄到y(tǒng)碼形式 因此(2) 由C=MG得該碼的許用碼字為0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111該碼的最小漢明距離為4。(3) 該碼的標(biāo)準(zhǔn)陣由16個(gè)陪集構(gòu)成, 在BSC(錯(cuò)誤轉(zhuǎn)移概率為p1/2)應(yīng)將重量最小的錯(cuò)誤圖樣選作陪集首, 故該碼的標(biāo)準(zhǔn)譯碼表為許用碼字0000000(陪集首)0111001110101010100111011100110010101101100001111禁用碼字000000101110001101011

10、101001010111011100100011011100011100000010011101111010001010001101111011001110110100000110100001000111101110111010101111011000110000101100100001011000100001100011100010101101110101001101101011111000001110010000010100111110101000011100110011101010100110001111101000000011001100101011100111111100100010

11、100101100101111100000011110010101010001001100111000100101111011010011110000011011101011010011010000101111111001100110101000110000001010111100110111110101101011001110000001100110001010000100101100001100011101101010101011101100011111100001100010001010100011110111000010100110111101000100111001111001000

12、010011000100101111100101111101100010000101110101110100000111110000101011001001000111010100100111011110011101001000111000101000100011011001010001011011111110100011111100001001001001101001000110101100001010110001101111111譯碼規(guī)章為若接收矢量在第i列消滅,則譯碼輸出為對(duì)應(yīng)列中的碼字,也就是陪集首為可訂正錯(cuò)誤圖樣.伴隨式譯碼表為伴隨式陪集首00000000000011100000011101000001010110000100000100010000010001000001000100000100010000001010000001111000000101011000010010101001000100110100001111110000011001100100011101110000(4