信息論與編碼期末考試題(全套)

《信息論基礎(chǔ)》參考答案一、填空題（共15分，每空1分）1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來(lái)自?xún)蓚€(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr=Hr(S)）。5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)>0,H(Y/X)=0,I(X;Y)<H(X)。二、（6分）若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說(shuō)明該信源的絕對(duì)熵為多少。=2bit/自由度該信源的絕對(duì)熵為無(wú)窮大。三、（16分）已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）（2）計(jì)算平均碼長(zhǎng);（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）（1）編碼結(jié)果為：（2）（3）（4）其中，（5）評(píng)分：其他正確的編碼方案：1，要求為即時(shí)碼2，平均碼長(zhǎng)最短四、（10分）某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（5分）（2）將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）解：（1）（2）五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1)畫(huà)出狀態(tài)轉(zhuǎn)移圖。(4分)(2)計(jì)算穩(wěn)態(tài)概率。(4分)(3)計(jì)算馬爾可夫信源的極限熵。(4分)(4)計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。(4分)解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對(duì)應(yīng)的剩余度為六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。解：信道傳輸矩陣如下可以看出這是一個(gè)對(duì)稱(chēng)信道，L=4,那么信道容量為七、(16分)設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1)(2)(3)(4);解：(1)Z01P(Z)3/41/4(2)(3)(4)八、(10分)設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。計(jì)算信源中事件包含的自信息量；計(jì)算信源的信息熵；計(jì)算信道疑義度；計(jì)算噪聲熵；計(jì)算收到消息后獲得的平均互信息量。解：(1)(2)(3)轉(zhuǎn)移概率：xyy1y2x15/61/6x23/41/4聯(lián)合分布：xyy1y2x12/312/154/5x13/201/201/549/6011/601/5(5)（五）一、（11’）填空題1948年，美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。必然事件的自信息是0。離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。對(duì)于離散無(wú)記憶信源，當(dāng)信源熵有最大值時(shí)，滿足條件為_(kāi)_信源符號(hào)等概分布_。對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法惟一的是香農(nóng)編碼。已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測(cè)出_2_______個(gè)碼元錯(cuò)誤，最多能糾正___1__個(gè)碼元錯(cuò)誤。設(shè)有一離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R__小于___C（大于、小于或者等于），則存在一種編碼，當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意小。平均錯(cuò)誤概率不僅與信道本身的統(tǒng)計(jì)特性有關(guān)，還與___譯碼規(guī)則____________和___編碼方法___有關(guān)二、（9）判斷題信息就是一種消息。（）信息論研究的主要問(wèn)題是在通信系統(tǒng)設(shè)計(jì)中如何實(shí)現(xiàn)信息傳輸、存儲(chǔ)和處理的有效性和可靠性。（）概率大的事件自信息量大。（）互信息量可正、可負(fù)亦可為零。（）信源剩余度用來(lái)衡量信源的相關(guān)性程度，信源剩余度大說(shuō)明信源符號(hào)間的依賴(lài)關(guān)系較小。（）對(duì)于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。（）非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。（）信源變長(zhǎng)編碼的核心問(wèn)題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。（）（9）信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù).()（5）居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？解：設(shè)A表示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件，則P(A)=0.25p(B)=0.5p(B|A)=0.75（2分）故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375（2分）I(A|B)=-log0.375=1.42bit（1分）五、（18’）.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為，，，，求其熵。3）分別求上述兩種信源的冗余度，比較它們的大小并說(shuō)明其物理意義。解：1）信源模型為（1分）（2分）2）由題意可知該信源為一階馬爾科夫信源。（2分）

由4分）得極限狀態(tài)概率（2分）3分）（1分）。說(shuō)明：當(dāng)信源的符號(hào)之間有依賴(lài)時(shí)，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號(hào)依賴(lài)關(guān)系的強(qiáng)弱，冗余度越大，依賴(lài)關(guān)系就越大。（2分）六、（18’）.信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過(guò)程）。七（6’）.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最大后驗(yàn)概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。1）（3分）最小似然譯碼準(zhǔn)則下，有，2）（3分）最大后驗(yàn)概率準(zhǔn)則下，有，八（10）.二元對(duì)稱(chēng)信道如圖。1）若，，求、和；

2）求該信道的信道容量。解：1）共6分

2），（3分）此時(shí)輸入概率分布為等概率分布。（1分）九、（18）設(shè)一線性分組碼具有一致監(jiān)督矩陣1）求此分組碼n=?,k=?共有多少碼字？2）求此分組碼的生成矩陣G。3）寫(xiě)出此分組碼的所有碼字。4）若接收到碼字（101001），求出伴隨式并給出翻譯結(jié)果。解：1）n=6,k=3,共有8個(gè)碼字。（3分）2）設(shè)碼字由得（3分）令監(jiān)督位為，則有（3分）生成矩陣為（2分）3）所有碼字為000000，001101，010011，011110，100110，101011，110101，111000。（4分）4）由得，（2分）該碼字在第5位發(fā)生錯(cuò)誤，（101001）糾正為（101011），即譯碼為（101001）（1分）（六）一、概念簡(jiǎn)答題（每題5分，共40分）1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？2.簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是多少？3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說(shuō)明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。5.寫(xiě)出香農(nóng)公式，并說(shuō)明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。6.解釋無(wú)失真變長(zhǎng)信源編碼定理。7.解釋有噪信道編碼定理。8.什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求a>0時(shí)率失真函數(shù)的和？二、綜合題（每題10分，共60分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為：，，，，求其熵；2.二元對(duì)稱(chēng)信道如圖。；1）若，，求和；

2）求該信道的信道容量和最佳輸入分布。3.信源空間為，試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。5.已知一（8，5）線性分組碼的生成矩陣為。

求：1）輸入為全00011和10100時(shí)該碼的碼字；2）最小碼距。設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s，在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜NO=5×10－6mw/Hz。試求：

（1）無(wú)差錯(cuò)傳輸需要的最小輸入功率是多少？

（2）此時(shí)輸入信號(hào)的最大連續(xù)熵是多少？寫(xiě)出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。答案概念簡(jiǎn)答題（每題5分，共40分）

1.答：平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2.答：最大離散熵定理為：離散無(wú)記憶信源，等概率分布時(shí)熵最大。最大熵值為。3.答：信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱(chēng)為最佳輸入概率分布。平均互信息是信源概率分布的∩型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。4.答：通信系統(tǒng)模型如下：

數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個(gè)馬爾可夫鏈，且有，。說(shuō)明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。5.答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。由得，則6.答：只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。7.答：當(dāng)R＜C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。8.答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有，而。二、綜合題（每題10分，共60分