信息論基礎(chǔ)模擬試卷.doc

信息論基礎(chǔ)模擬試卷題 號一二三四五六七八總 分得 分評卷人一、填空題（共15分，每空1分）1、信源編碼的主要目的是 ，信道編碼的主要目的是 。2、信源的剩余度主要來自兩個(gè)方面，一是 ，二是 。3、三進(jìn)制信源的最小熵為 ，最大熵為 。4、無失真信源編碼的平均碼長最小理論極限制為 。5、當(dāng) 時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為 和 。7、根據(jù)是否允許失真，信源編碼可分為 和 。8、若連續(xù)信源輸出信號的平均功率為，則輸出信號幅度的概率密度是 時(shí)，信源具有最大熵，其值為值 。9、在下面空格中選擇填入數(shù)學(xué)符號“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY） H(X)+H(X/Y) H(Y)+H(X)。（2） （3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（6分）若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號的概率密度是均勻分布時(shí)，計(jì)算該信源的相對熵，并說明該信源的絕對熵為多少。三、（16分）已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長碼；（6分）（2）計(jì)算平均碼長;（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）四、（10分）某信源輸出A、B、C、D、E五種符號，每一個(gè)符號獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（5分）（2）將這些數(shù)據(jù)通過一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1) 畫出狀態(tài)轉(zhuǎn)移圖。(4分)(2) 計(jì)算穩(wěn)態(tài)概率。(4分)(3) 計(jì)算馬爾可夫信源的極限熵。(4分)(4) 計(jì)算穩(wěn)態(tài)下,及其對應(yīng)的剩余度。(4分)六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。七、(16分)設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1) (2) (3) (4) ;八、(10分)設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如下圖所示。(1) 計(jì)算信源中事件包含的自信息量；(2) 計(jì)算信源的信息熵；(3) 計(jì)算信道疑義度；(4) 計(jì)算噪聲熵；(5) 計(jì)算收到消息后獲得的平均互信息量。信息論基礎(chǔ)參考答案一、填空題（共15分，每空1分）1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來自兩個(gè)方面，一是信源符號間的相關(guān)性，二是信源符號的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號。4、無失真信源編碼的平均碼長最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。8、若連續(xù)信源輸出信號的平均功率為，則輸出信號幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X)。二、（6分）若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號的概率密度是均勻分布時(shí)，計(jì)算該信源的相對熵，并說明該信源的絕對熵為多少。 =2bit/自由度該信源的絕對熵為無窮大。三、（16分）已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長碼；（6分）（2）計(jì)算平均碼長;（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）（1） 編碼結(jié)果為：（2）（3）（4）其中，（5）評分：其他正確的編碼方案：1，要求為即時(shí)碼 2，平均碼長最短四、（10分）某信源輸出A、B、C、D、E五種符號，每一個(gè)符號獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（5分）（2）將這些數(shù)據(jù)通過一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）解：（1） （2）五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1) 畫出狀態(tài)轉(zhuǎn)移圖。(4分)(2) 計(jì)算穩(wěn)態(tài)概率。(4分)(3) 計(jì)算馬爾可夫信源的極限熵。(4分)(4) 計(jì)算穩(wěn)態(tài)下,及其對應(yīng)的剩余度。(4分)解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對應(yīng)的剩余度為六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。解：信道傳輸矩陣如下可以看出這是一個(gè)對稱信道，L=4,那么信道容量為七、(16分)設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 八、(10分)設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如下圖所示。(6) 計(jì)算信源中事件包含的自信息量；(7) 計(jì)算信源的信息熵；(8) 計(jì)算信道疑義度；(9) 計(jì)算噪聲熵；(10) 計(jì)