信息論與編碼期末考試題樣題

1、3、把信息組原封不動(dòng)地搬到碼字前k位的(n,k)碼就叫一、判斷題共10小題，滿分20分.1 .當(dāng)隨機(jī)變量X和Y相互獨(dú)立時(shí)，條件嫡H(X|Y)等于信源嫡H(X).()2 .由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.()3 .一般情況下，用變長(zhǎng)編碼得到的平均碼長(zhǎng)比定長(zhǎng)編碼大得多.()4 .只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信.()5 .各碼字的長(zhǎng)度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件.()6 .連續(xù)信源和離散信源的嫡都具有非負(fù)性.()7 .信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到

2、消息后對(duì)信源存在的不確定性就越小，獲得的信息量就越小.8 .漢明碼是一種線性分組碼.()9 .率失真函數(shù)的最小值是0.()10 .必然事件和不可能事件的自信息量都是0.()二、填空題共6小題，滿分20分.1、碼的檢、糾錯(cuò)能力取決2、信源編碼的目的是;信道編碼的目的是.Word 資料做.4、香農(nóng)信息論中的三大極限定理是、.5、設(shè)信道的輸入與輸出隨機(jī)序列分別為X和Y,則I(XN,YN)NI(X,Y)成立的條件.6、對(duì)于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼,編碼方法惟一的是X017、某二元信源，其失真矩陣P(X)1/21/20aD,則該信源的Dmax=a0三、本題共4小題，滿分50分.1、

3、某信源發(fā)送端有 2 種符號(hào)x(i1,2),p(x1a;接收端有 3 種符號(hào)yi(j1,2,3),轉(zhuǎn)移概率矩陣為1/21/20P.1/21/41/4(1)計(jì)算接收端的平均不確定度H(Y);(2)計(jì)算由于噪聲產(chǎn)生的不確定度H(Y|X);(3)計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移(1)求信源平穩(wěn)后的概率分布；(2)求此信源的嫡；(3)近似地認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為穩(wěn)分布.求近似信源的嫡H(X)并與H進(jìn)行比較.4、設(shè)二元(7,4)線性分組碼的生成矩陣為信源X的符號(hào)集為0,1,2.圖如右圖所示,11010000110100G.11100101010001(1)給出該

4、碼的一致校驗(yàn)矩陣，寫出所有的陪集首和與之相對(duì)應(yīng)的伴隨式；(2)若接收矢量v(0001011),試計(jì)算出其對(duì)應(yīng)的伴隨式S并按照最小距離譯碼準(zhǔn)則試著對(duì)其譯碼.(1)用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；(6 分)(2)計(jì)算平均碼長(zhǎng) L；(4 分)(3)計(jì)算編碼信息率 R;(2 分)(4)計(jì)算編碼后信息傳輸率 R;(2 分)(5)計(jì)算編碼效率。(2 分)四、(10 分)某信源輸出 A、B、C、D、E 五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為 1/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為 0.5So 計(jì)算：(1)信息傳輸速率 Rt。(5 分)一、填空題(共15分，每空1分)1、信源編碼的

5、主要目的是，信道編碼的主要目的是 O2、信源的剩余度主要來(lái)自兩個(gè)方面，一是,五、(16 分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為21PSIS-,PS2|S1-,PG|S21,PS2IS20。33(1)畫出狀態(tài)轉(zhuǎn)移圖。(4 分)(2)計(jì)算穩(wěn)態(tài)概率。(4 分)(3)計(jì)算馬爾可夫信源的極限嫡。(4 分)(4)計(jì)算穩(wěn)態(tài)下H1,H2及其對(duì)應(yīng)的剩余度。(4 分)3、三進(jìn)制信源的最小嫡為,最大嫡為。4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為。5、當(dāng)時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為和。7、根據(jù)是否允許失真，信源編碼可分為和。8、若連續(xù)信源輸出信號(hào)的平均功率為2,則輸出信號(hào)幅度

6、六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。的概率密度是時(shí)，信源具有最大嫡，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“，”或(1)當(dāng) X 和丫相互獨(dú)立時(shí)，H(XY)H(X)+H(X/Y)H(Y)+H(X)。HX1X2HX1X2X3(2)H2XH3X23(3)假設(shè)信道輸入用 X 表示，信道輸出用 Y 表示。在無(wú)噪有損信道中，H(X/Y)0,H(Y/X)_0,I(X;Y)_H(X)O三、(16 分)已知信源SSiS2s3s4s5s6P0.20.20.20.20.10.1 七、(16 分)設(shè) X、Y 是兩個(gè)相互獨(dú)立的二元隨機(jī)變量， 其取0或1的概率相等。 定義另一個(gè)二元隨機(jī)變量Z

7、=XY(一般乘積)。試計(jì)算HX,HZ;(2)HXY,HXZ;HX|Y,HZ|X;(4)IX;Y,IX;Z;八、(10 分)設(shè)離散無(wú)記憶信源的概率空間為KX22,通過(guò)干擾信道，信道輸出端的接收符號(hào)0.80.2(1)當(dāng) X 和丫相互獨(dú)立時(shí)，H(XY)=H(X)+H(X/Y)=H(Y)+H(X)(2)H2XHX1X2口 vHX1X2X3H3X23集為Yyy2，信道傳輸概率如下圖所示。(3)假設(shè)信道輸入用 X 表示，信道輸出用 Y 表示。在無(wú)噪有損信道中，H(X/Y)0,H(Y/X)=0,I(X;Y)X3X4X5X6X7P（X）0.20.190.180.170.150.10.01，試分別構(gòu)造二元香農(nóng)碼

8、和二元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過(guò)程）。信源浦收號(hào)符綁軻）贏1極$Pr一帆盼長(zhǎng)度 L盼A0 02 20 0D D2 2. .3 32 23 30 0刑4( (U U9 91 1. .2 22 23 39 93 30 00 01 140 0J J8 80 0J J9 92 2. .4 47 73 30 01 11 1%0 0J J7 70 0. .5 57 71 15 56 631 10 0( (1 1&9( (U U5 50 0. .7 74 42 2. .7 74 43 31 10 01 1穌0 0J J0 0嫡1 13 32 24 41 11 11 10 0(1

9、k0 0J J1 10 0. .9 99 96 6. .6 64 4/山1 11 11 10 07L“a”，3.14RH(X)20.831i1L3.140.200.0.200.2020P P 況 0.350.35。的尸一耳0 01919019019AononAOA 0 03535/ /039039JJJJV*V*1 1wVswVsLULUI I0.180J80.180J80.170.170.170.170.150.150 05 5 彳UMU0.bUMU0.bv,v,0.190.19/ /0.200.20, ,0.260.26Qja1Qja10.190.19J J0,0,1717_J_J0.0.

10、信源符也 概率/ H?WjH?Wj碼長(zhǎng) L L0.0.0101& &(K20(K20 10102 2/ /0.190.19 11112 2L L-乙PlPl烏冉一&幾臼%(L18(L18 咖3 3碼元符號(hào)A0,170,17 0010013 30,150,15lit3 3%0J00J0011001104 4JkJkL2.722.72比特牌號(hào)Mlmil4a-2）（3 分）最大后驗(yàn)概率準(zhǔn)則下，有,八（10）.二元對(duì)稱信道如圖。31_土1)若p0-,p1一,求HX、HX|Y和IX;Y；解：1）共 6 分H 函。前 3珈/符號(hào)HX|Y0.749bit/符號(hào)IX-9Y-0,0e16

11、 歷符導(dǎo)2）,C=0.0S2 如f符號(hào)（3 分）此時(shí)輸入概率分布為等概率分布。（1 分）4）由 dHRT得S101,（2 分）該碼字在第 5 位發(fā)生錯(cuò)誤，（101001）糾正為（101011）,即譯碼為（101001）（1 分）九、（18）設(shè)一線性分組碼具有一致監(jiān)督矩陣000111H0110011010111）求此分組碼 n=?,k=?共有多少碼字?2）求此分組碼的生成矩陣 Go3）寫出此分組碼的所有碼字。4）若接收到碼字（101001）,求出伴隨式并給出翻譯結(jié)果。解：1）n=6,k=3,共有 8 個(gè)碼字。（3 分）2）設(shè)碼字CC5C4C3C2CIC0由HCT0TC2C1C4C3C5C3C1C

12、0C0C0（3分）令監(jiān)督位為C2CIC0,則有J.I生成矩陣為0C2GC0C5C5C4C3C4C3（3分）（2分）3）所有碼字為 000000,001101,010011,011110,100110,101011,110101,111000。（4 分）（六）一、概念簡(jiǎn)答題（每題 5 分，共 40 分）1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？2.簡(jiǎn)述最大離散嫡定理。對(duì)于一個(gè)有 m 個(gè)符號(hào)的離散信源，其最大嫡是多少？3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說(shuō)明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖

13、，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。5.寫出香農(nóng)公式，并說(shuō)明其物理意義。當(dāng)信道帶寬為 5000Hz,信噪比為 30dB 時(shí)求信道容量。6.解釋無(wú)失真變長(zhǎng)信源編碼定理。7.解釋有噪信道編碼定理。8.什么是保真度準(zhǔn)則？對(duì)二元信源011其失真矩陣 Lw,求 a0 時(shí)率失真函數(shù)的也和、綜合題（每題 10 分，共 60 分）1.黑白氣象傳真圖的消息只有黑色和白色兩種， 求:1）黑色出現(xiàn)的概率為 0.3,白色出現(xiàn)的概率為 0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源 X 的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求嫡,2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：峭面-09 哂面向，忸幣勘顏喝 3 求其嫡也;/=0

14、2.g=C2 .二元對(duì)稱信道如圖。叼=1型7!=1;1）若,世）=；求汽和式巴 72）求該信道的信道容量和最佳輸入分布。3 .信源空間為日上合/古4Hem=海最大婿值為血岷 8。平均互信息是信源概率分布的 n 型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。101g-so101g-sodB-WOO-WOO由料郎得肌爐，則c c= =50005000log,log,（1 1 十 1001000 0）= =4983649836而s1S2丹S4%S6%與0.40.20.10,10050.050050.05造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。rioooo1:11oiooninnJOWOOIU0001

15、00015.已知一（8,5）線性分組碼的生成矩陣為 151Mmi|。求：1）輸入為全 00011 和 10100 時(shí)該碼的碼字；2）最小碼距。答案一、概念簡(jiǎn)答題（每題 5 分，共 40 分）表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。/_6 .答：只要leg）那,當(dāng) N 足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。7 .答：當(dāng) RC 時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。8 .答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。Rtin=02）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè) 0,所以有,而鼻敢=叫口一回 H 改;O二、綜合題（每題 10 分，共 60 分）卜1=黑厘/白1 .答：1）信源模型為I。3表示從丫獲得的關(guān)于每個(gè) X 的平均信息量，也表示發(fā) X 前后丫的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2 .答：最大離散燧定理為：離散無(wú)記憶信源，等概率分布時(shí)燧最大。/-尸&*（勺氏）1 1 密網(wǎng)勺 0553305533 歷符號(hào)i-ljJ香農(nóng)公式為G G 晚。叩限丁 2 21Xbills,它是高5.答:斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。平均互信息2-1似曰）以西）2漢因一 2 2 尸1 1 泡?但：-o-o.阿施布號(hào) ULUL1