信息理論與編碼基礎(chǔ)一new

1、信息理論與編碼基礎(chǔ)（一）一、判斷題(每空1分，共10分)            1有記憶信源輸出符號之間是統(tǒng)計相關(guān)的。（   ）  2條件熵不大于無條件熵。（   ）  3離散信源的序列熵等于各個符號熵之和。 （   ）  4互信息量可為正值、負值或零 （   ） &#

2、160;5平均互信息I(X;Y)是輸入信源概率分布p(ai),i=1,2,.n的下凸函數(shù)。（    ）  6當(dāng)信源的符號數(shù)一定時，符號間的記憶長度越長，極值熵¥H越小，從而HH0就越大，這說明冗余度越大，意味著信源可壓縮的程度越大。 （   ）7在限失真信源編碼中，容許的失真度D越大，所要求的信息率R就越小。（   ） 8某信道輸入端的熵為H(X)，輸出端的熵為H(Y)，該信道為無噪有損信道，其容量為H(X)。（   

3、;） 9克拉夫特不等式可以判別唯一可譯碼的存在性，也可以用克拉夫特不等式來判別某碼組是否為唯一可譯碼。（   ） 10若要求糾正1個差錯，同時檢測2個差錯，則要求最小碼距dmin= 4。（   ）二  填空題(每空1分，共10分) 1加密編碼主要用于解決信息傳輸中的_(有效性、可靠性、安全性)。 2一信源有五種符號a,b,c,d,e，先驗概率分別為Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625，則符號“a”的自信息量為  

4、;        bit，此信源的熵為         bit/符號。 3對稱DMC信道的輸入符號數(shù)為n，輸出符號數(shù)為m，信道轉(zhuǎn)移概率矩陣為pij，則該信道的容量為          。 4采用m進制編碼的碼字長度為Ki，碼字個數(shù)為n，則克勞夫特不等式為    

5、0;    ，它是判斷         的充要條件。 5信源編碼的概率匹配原則是：概率大的信源符號用         ，概率小的信源符號用          。（短碼或長碼） 6某離散無記憶信源X，其符號個數(shù)為n，則當(dāng)信源符號呈  

6、0;      分布情況下，信源熵取最大值         。三、計算題 （本題共4小題；第 1小題10分，第2小題14分，第3小題14分，第4小題10分，共48分） 1從大量統(tǒng)計資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多

7、少？2已知二元信道的傳遞矩陣為 ，其中úû試求：（1）H(X)，H(X/Y)，H(Y/X) 和I(X；Y)；（8分） （2）求該信道的信道容量及其達到信道容量時的輸入概率分布。（6分） 3 有一個二元對稱信道，其信道矩陣為 。設(shè)該信源以1500bit/s的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二元符號，并設(shè)P(0) = P(1) = 1/2，問從消息傳輸?shù)慕嵌葋砜紤]，多少秒鐘內(nèi)能將這消息序列無失真的傳遞完？4 一個四元對稱信源þ ，接收符號Y = 0, 1

8、, 2, 3，其失真矩陣為úúúúû 求這信源的Dmin、Dmax。四、證明題（本題共2小題，每小題4分，共 8分）  1 證明：平均互信息量同信息熵之間滿足：I(X;Y)=H(X)+H(Y)-H(XY)。2 證明：有兩個隨機變量X和Y，其和為Z = X + Y（一般加法），若X和Y相互獨立，求證： H(Y)  H(Z)五、綜合題（共24分）  1設(shè)有一單符號離散無記憶信源X，其概率分布為： P（

9、X）=0.2，0.19，0.18，0.17，0.15，0.1，0.01，求： （1）編二進制香農(nóng)碼，并計算其平均碼長；（8） （2）用費諾編碼編成二元變長碼，并計算其平均碼長；（8分） （3）用哈夫曼編碼編成二元變長碼，并計算其平均碼長；（8）信息理論與編碼試卷答案B 一、判斷題（(對劃“”，錯劃“×”，本題共10 小題；每小題 1分，共10分） 1   2  3×  4  5×  6  7  8×  9×