信息論編碼模擬試題一及參考答案

1、模擬試題一一、概念簡答題（共 10 題，每題 5 分）1. 簡述離散信源和連續(xù)信源的最大熵定理。2. 什么是平均自信息（信息熵）？什么是平均互信息？比較一下兩個(gè)概念的異同之處。3. 解釋等長信源編碼定理和無失真變長信源編碼定理，說明對(duì)于等長碼和變長碼，最佳碼的每符號(hào)平均碼 長最小為多少？編碼效率最高可達(dá)多少？4. 解釋最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則和最小距離譯碼準(zhǔn)則，說明三者的關(guān)系。5. 設(shè)某二元碼字 C=111000 ， 001011， 010110， 101110 ， 假設(shè)碼字等概率分布，計(jì)算此碼的編碼效率？ 采用最小距離譯碼準(zhǔn)則，當(dāng)接收序列為110110時(shí)，應(yīng)譯成什么碼字？6.

2、一平穩(wěn)二元信源，它在任意時(shí)間，不論以前發(fā)出過什么符號(hào)，都按發(fā)出符號(hào)，求和平均符號(hào)熵7. 分別說明信源的概率分布和信道轉(zhuǎn)移概率對(duì)平均互信息的影響，說明平均互信息與信道容量的關(guān)系。求：8. 二元無記憶信源，有(1 )某一信源序列由100個(gè)二元符號(hào)組成，其中有 m個(gè)“ 1”，求其自信息量?( 2)求 100 個(gè)符號(hào)構(gòu)成的信源序列的熵。9. 求以下三個(gè)信道的信道容量：10. 已知一（ 3，1， 3）卷積碼編碼器，輸入輸出關(guān)系為：試給出其編碼原理框圖。二、綜合題（共 5 題，每題 10 分）1. 二元平穩(wěn)馬氏鏈，已知 P（ 0/0 ）=0.9 ， P（1/1 ） =0.8 ，求：（1）求該馬氏信源的符號(hào)

3、熵。（2）每三個(gè)符號(hào)合成一個(gè)來編二進(jìn)制Huffman碼,試建立新信源的模型，給出編碼結(jié)果。（ 3）求每符號(hào)對(duì)應(yīng)的平均碼長和編碼效率。，求：2. 設(shè)有一離散信道，其信道矩陣為1）最佳概率分布？2）當(dāng)時(shí)，求平均互信息信道疑義度3）輸入為等概率分布時(shí)，試寫出一譯碼規(guī)則，使平均譯碼錯(cuò)誤率最小，并求此,求：3. 設(shè)線性分組碼的生成矩陣為（1 ）此（n, k）碼的n=? k= ?，寫出此（n, k）碼的所有碼字。2）求其對(duì)應(yīng)的一致校驗(yàn)矩陣 H。3）確定最小碼距,問此碼能糾幾位錯(cuò)?列出其能糾錯(cuò)的所有錯(cuò)誤圖樣和對(duì)應(yīng)的伴隨式。,信道傳輸速度為4）若接收碼字為 000110,用伴隨式法求譯碼結(jié)果。4. 二元對(duì)稱信

4、道的信道矩陣為1500 二元符號(hào) / 秒,設(shè)信源為等概率分布,信源消息序列共有 13000 個(gè)二元符號(hào),問：（ 1 ）試計(jì)算能否在 10 秒內(nèi)將信源消息序列無失真?zhèn)魉屯?（2）若信源概率分布為 息序列至少需要多長時(shí)間？5. 已知（ 7， 4）循環(huán)碼的生成多項(xiàng)式，求無失真?zhèn)魉鸵陨闲旁聪?，求?）求該碼的編碼效率？2）求其對(duì)應(yīng)的一致校驗(yàn)多項(xiàng)式3）寫出該碼的生成矩陣，校驗(yàn)矩陣，求其碼字。4）若消息碼式為模擬試題一答案一、概念簡答題（共 10 題，每題 5 分）1. 答：離散無記憶信源，等概率分布時(shí)熵最大。連續(xù)信源，峰值功率受限時(shí)，均勻分布的熵最大。平均功率受限時(shí)，高斯分布的熵最大。均值受限時(shí)，指 數(shù)

5、分布的熵最大。2. 答：平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息為表示從 Y 獲得的關(guān)于每個(gè) X 的平均信息量，也表示發(fā) X 前后 Y 的平均不確定性減少的量，還表示通信前后 整個(gè)系統(tǒng)不確定性減少的量。3. 答：等長信源編碼定理：對(duì)于任意，只要，則當(dāng) L 足夠長時(shí)必可使譯碼差錯(cuò)，一定存在一種無失真編變長信源編碼定理：只要 碼。等長碼和變長碼的最小平均碼長均為 ，編碼效率最 高可達(dá) 100%。4. 答：最小錯(cuò)誤概率譯碼準(zhǔn)則下，將接收序列譯為后驗(yàn)概率最大時(shí)所對(duì)應(yīng)的碼字。最大似然譯碼準(zhǔn)則下，將接收序列譯為信道傳遞概率最大時(shí)所對(duì)應(yīng)的碼字。最小距離譯碼準(zhǔn)則下，

6、將接收序列譯為與其距離最小的碼字。三者關(guān)系為：輸入為等概率分布時(shí)，最大似然譯碼準(zhǔn)則等效于最小錯(cuò)誤概率譯碼準(zhǔn)則。在二元對(duì)稱無記憶 信道中，最小距離譯碼準(zhǔn)則等效于最大似然譯碼準(zhǔn)則。5. 答： 1)2)令接收序列為，則有，故接收序列應(yīng)譯為 0101106. 答：7. 答：平均互信息相對(duì)于信源概率分布為上凸函數(shù)，相對(duì)于信道傳遞概率分布為下凹函數(shù)。平均互信息的 最大值為信道容量。8. 答： 1)2)9.答：P1為一一對(duì)應(yīng)確定信道，因此有P2為具有歸并性能的信道，因此有P3為具有發(fā)散性能的信道，因此有10. 答：、綜合題（共 5 題，每題 10 分）1. 答： 1）由得極限概率：則符號(hào)熵為2 ）新信源共

7、8 個(gè)序列，各序列的概率為信源模型為一種編碼結(jié)果（依信源模型中的序列次序）為0，11，1001，1010，1011， 10000， 100010， 1000113)2. 答： 1）是準(zhǔn)對(duì)稱信道，因此其最佳輸入概率分布為2）當(dāng)時(shí)，有3)此時(shí)可用最大似然譯碼準(zhǔn)則，譯碼規(guī)則為且有3. 答：1) n=6, k=3，由C=mG得所有碼字為: 000000 ， 001011 ， 010110， 011101 ， 100101 ， 101110， 110011 ， 1110002）此碼是系統(tǒng)碼，由G知，則3）由H可知，其任意2列線性無關(guān)，而有 3列線性相關(guān)，故有，能糾一位錯(cuò)錯(cuò)誤圖樣 E伴隨式1000001010100001100010000110001001000000100100000010014）由知 E= 010000，則4. 答：