信息論與編碼考試必備

1、注11表示二選一中的第一題,12表示二選一里第二題,以此類推.改正的地方，加上*號(hào)一.選擇題（是從我筆記上得到的信息）11.輸入輸出，無(wú)噪信道（結(jié)果應(yīng)該是D,內(nèi)容不記得了）12無(wú)用信道容量為021任何一個(gè)n,k,d具備的性質(zhì)：給定一個(gè)n,k,d線性分組碼，其生成矩陣可有多個(gè) 封閉性。任意兩個(gè)碼字的和還是它的碼字碼的最小距離等于非零碼的最小碼重。全0總是一個(gè)碼字題目是選不具備的性質(zhì)，其中有個(gè)選項(xiàng) ，最大似然距離等于最小漢明距離，（錯(cuò)誤）22 其中有個(gè)選項(xiàng),校驗(yàn)矩陣不等于生成矩陣(錯(cuò)誤) （21,22）都是關(guān)于n,k,d線性分組碼性質(zhì)的考察*31失真函數(shù)R(D) 不正確 *32.失真函數(shù)R(D)

2、.不正確的是,(錯(cuò)誤,R(D)函數(shù)是減函數(shù)) 41.下列離散信源計(jì)算中熵最大的是（選擇等概率輸入的就是最大的）42.下列關(guān)于信源熵不正確的是（H(XY)=H(X)+H(Y)錯(cuò)）51（題目關(guān)于信源信道有效性，可能不是這個(gè)題，看一下）為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是（ A ）。 A.壓縮信源的冗余度                 B.在信息比特中適當(dāng)加入冗余比特 C.研究

3、碼的生成矩陣                 D.對(duì)多組信息進(jìn)行交織處理52.ML最大似然譯碼等價(jià)于AMP最大后驗(yàn)概率譯碼的條件是（D）A.離散無(wú)記憶信道 B.采取Huffman編碼C.對(duì)稱信道 D.輸入等概率（以下的題都是從李佳捷錄音得到的信息）二.判斷題11.哈夫曼編碼中最長(zhǎng)的碼子是唯一的 (錯(cuò))12.對(duì)相同概率分布的信源符號(hào)得到的哈夫曼編碼是唯一的(錯(cuò))21馬氏信源序列hm是遞減的 （對(duì)）22. （對(duì)）31唯一可譯碼的充

4、分必要條件是所有后綴集中不含有碼子（對(duì)）32異字頭碼的碼長(zhǎng)必定滿足Kraft不等式 （對(duì)）41信源輸出序列中，非典型序列出現(xiàn)概率很小，其數(shù)目少 （錯(cuò)）42兩個(gè)典型序列組成的聯(lián)合序列必定是典型序列 （錯(cuò)）51兩個(gè)子信道的容量分別為c1,c2,串聯(lián)后 所得到新信道容量比c1,c2都小 （對(duì)）52兩個(gè)子信道的容量分別為c1,c2,并聯(lián)后 所得到新信道容量是c1,c2的和（對(duì)）61功率相同的高斯噪聲信道，容量最小 （對(duì)）62為了抵抗高斯噪聲的干擾，信源輸出要滿足高斯分布 （對(duì)）71連續(xù)信源在一一變換下，熵是不變的 （錯(cuò)）72連續(xù)信源熵有最大值 （錯(cuò)） 81設(shè)信源編碼碼率為R ，信源的熵為H，R>

5、=H的等價(jià)條件是存在著無(wú)失真 編碼 （對(duì)） 82信源編碼碼率為R ，信道容量C，R<=C的充分必要條件是存在著譯碼長(zhǎng)度任意小的信道編碼 （對(duì)）三填空題11均值為0，方差為的高斯分布在平方誤差失真下，【 0，】12均值為0，方差為的高斯分布【R(D)= ,0<=D<=】*21. fanno不等式為: 兩個(gè)在相同字符表0,1,2，k-1中取值的隨機(jī)變量滿足如下不等式【 】 (考慮在兩個(gè)相同字符表中取值的隨機(jī)變量,它們的聯(lián)合)分布為取值。如果把看成為對(duì)的估計(jì)，定義錯(cuò)誤概率為）（按老師給的符號(hào)給出相應(yīng)不等式）*22.Kraft不等式:存在長(zhǎng)度為n1,n2,nk的D元異字頭碼的充要條件

6、為【】（按老師給的符號(hào)給出相應(yīng)不等式）31.(n,k)循環(huán)碼,生成多項(xiàng)式的次數(shù)為【n-k】32.G(X)是二元循環(huán)碼的生成多項(xiàng)式，常數(shù)項(xiàng)為【1】41。Hamming碼最多能檢測(cè)【2】個(gè)錯(cuò)誤42一個(gè)（n,k）線性碼，生成矩陣為，則其校驗(yàn)矩陣為,r=n-k例子：二元(7,3)hamming碼的生成矩陣為G=，則校驗(yàn)矩陣為H=【】51.n為高斯信源，其協(xié)方差矩陣為，那么它的熵為【H】52.功率為的受限連續(xù)信源的熵最大為【H】61錯(cuò)誤率為的BSC信道n次級(jí)聯(lián)后容量為【C=】62錯(cuò)誤率為，n個(gè)BSC信道組成的和信道為C=【=】ci為每個(gè)bsc信道容量，有C1=c2=c3=.cn=1-H()71兩個(gè)長(zhǎng)為n

7、的碼子，u和v，則w(t)(u+v)=w(t)(u)+w(t)(v)-2w(t)(u.v)（注u.v即為對(duì)應(yīng)位置相乘）72.參數(shù)為（n,k,m）卷積碼的編碼速率為R=K/n四.大題(5*11=55)11. A 村有一半人說(shuō)真話，3/10人總說(shuō)假話，2/10人拒絕回答；B村有3/10人誠(chéng)實(shí)，一半人說(shuō)謊，2/10人拒絕回答。現(xiàn)隨機(jī)地從A村和B村抽取人，p 為抽到A村人的概率，1p 為抽到B村人的概率，問(wèn)通過(guò)測(cè)試某人說(shuō)話的狀態(tài)平均能獲得多少關(guān)于該人屬于哪個(gè)村的信息？通過(guò)改變p，求出該信息的最大值。解 用 X 表示隨機(jī)抽取人所屬的村別，Y 表示說(shuō)話的狀態(tài)，則X 和Y 之間的關(guān)系圖如下所示。12.（注意

8、這個(gè)題，想應(yīng)的代稱改變了，過(guò)程結(jié)果不變）在某中學(xué)有3/4學(xué)生通過(guò)了考試，1/4學(xué)生沒(méi)有通過(guò)。在通過(guò)考試的同學(xué)中10%有電腦，而沒(méi)有通過(guò)的學(xué)生中50%有電腦，所有有電腦的同學(xué)都加入了通宵CS聯(lián)盟，無(wú)電腦的同學(xué)中僅有40%加入通宵CS聯(lián)盟。a. 通過(guò)詢問(wèn)是否有電腦，能獲得多少關(guān)于學(xué)生考試成績(jī)的信息？b. 通過(guò)詢問(wèn)是否參加通宵CS聯(lián)盟，能獲得多少關(guān)于學(xué)生成績(jī)的信息？c. 如果把學(xué)生成績(jī)情況，電腦擁有情況和是否參加通宵CS聯(lián)盟用三位二進(jìn)數(shù)字傳輸，問(wèn)每位數(shù)字?jǐn)y帶多少信息？X 表示學(xué)生有無(wú)通過(guò)考試，Y 表示學(xué)生有無(wú)電腦，Z 表示學(xué)生有無(wú)參加通宵CS聯(lián)盟，X，Y，Z 之間的關(guān)系圖（a） I (X;Y) =

9、H(Y) - H(Y |X)= H(0.2,0.8) - 0.75H(0.1,0.9) - 0.25H(0.5,0.5)= 0.12 bit（b） I (X;Z) = H(Z) - H(Z |X )= H(0.52,0.48) - 0.75H(0.46,0.54) - 0.25H(0.7,0.3)= 0.03 bit（c）第一位數(shù)字?jǐn)y帶信息為 H(X) = H(0.75,0.25) = 0.811 bit在已知第一位數(shù)字下，第二位數(shù)字?jǐn)y帶信息為H(Y | X) = 0.75H(0.1,0.9) + 0.25H(0.5,0.5)=0.602 bit在已知前二位數(shù)字下，第三位數(shù)字?jǐn)y帶信息為：H(Z | X,Y) = H(Z | Y) （因?yàn)?XYZ）= 0.2H(1) + 0.8H(0.4,0.6)= 0.8H(0.6,0.4)=0.777 bit21.22. 因?yàn)镾7中元素在S1和S4中都出現(xiàn)過(guò)，所以S7以后的后綴分解集中不會(huì)出現(xiàn)S1 S7中沒(méi)有出現(xiàn)過(guò)的元素，所以從S1 S7可見(jiàn)后綴分解集中不含有碼字，所以編碼是唯一可譯的。313