信息論與編碼試題集與答案(2014)改

1、1、平均自信息為表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個X的平均信息量、發(fā)X前后Y的平均不確定性減少的量、通信前后整個系統(tǒng)不確定性減少的量。2、最大離散熵定理為：離散無記憶信源，等概率分布時熵最大,最大熵值為。3、香農(nóng)公式為為保證足夠大的信道容量，采用（1用頻帶換信噪比；（2用信噪比換頻帶。4、只要，當(dāng)N足夠長時，一定存在一種無失真編碼。5、當(dāng)RC時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概率無窮小。6、1948年，美國數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。7.研究信息論目的高效、可靠

2、、安全 地交換利用信息。8. 可度量性 建立信息論的基礎(chǔ)。9. 統(tǒng)計度量 信息度量最常用方法。10、單符號離散信源用隨機(jī)變量描述，多符用 隨機(jī)矢量。11、一隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為 其發(fā)生概率對數(shù)的負(fù)值 。12、自信息量單位比特、奈特、笛特 。13、必然事件的自信息 0 。14、不可能事件的自信息量是 。 15、兩相互獨立隨機(jī)變量的聯(lián)合自信息量等于 兩個自信息量之和 。16、數(shù)據(jù)處理定理：消息多級處理后，處理器數(shù)目增多，輸入消息與輸出之間的平均互信息量 趨于變小 。17、離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于X的熵的 N倍 。 18、離散平穩(wěn)有記憶信源的極限

3、熵。19、n元m階馬爾可夫信源，狀態(tài)空間有 nm 個不同狀態(tài)。20、一維連續(xù)隨即變量X在a，b內(nèi)均勻分布，信源熵log2（b-a） 。21、平均功率為P高斯分布連續(xù)信源，信源熵Hc（X）=。22、對限峰值功率的N維連續(xù)信源，當(dāng)概率密度 均勻分布 時連續(xù)信源熵最大值。23、對限平均功率的一維連續(xù)信源，當(dāng)概率密度 高斯分布 時 信源熵有最大值。24、 均值為0，平均功率受限連續(xù)信源，信源冗余度決定于平均功率限定值P和信源的熵功率 之比 。25、若一離散無記憶信源的信源熵H（X）等于2.5，對信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼長度至少為 3 。26、m元長度為ki，i=1，2，n的異前置碼存在的

4、充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為 log26 。28.熵 是香農(nóng)信息論最基本最重要的概念。29.事物的不確定度是用時間統(tǒng)計發(fā)生 概率的對數(shù) 來描述的。30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為 。31、根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù) 信道。32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為 無記憶 信道。33、具有一一對應(yīng)關(guān)系的無噪信道的信道容量C= log2n 。34、強(qiáng)對稱信道的信道容量C= log2n-Hni 。35、對稱信道的信道容量

5、C= log2m-Hmi 。36、對于離散無記憶信道和信源的N次擴(kuò)展，其信道容量CN= NC 。37 N個對立并聯(lián)信道，信道容量 CN = 。41、當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加時，此信道稱為 加性連續(xù)信道 。42、高斯加性信道的信道容量C=。43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是 信息率小于信道容量 。44、信道矩陣代表信道容量C= 1 。45、信道矩陣代表的信道信道容量C= 1 。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct= 9 kHz 。47、對于具有歸并性能的無燥信道，達(dá)到信道容量的

6、條件是 p（yj）=1/m） 。 48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息傳輸速率Ct= 10kHz 。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的 極小值 。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就 越大 ，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率 也越小 。53、單符號的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個符號xi，信宿再現(xiàn)yj所引起的 誤差或失真 。54、漢明失真函數(shù) d（xi，yj）= 。55、平方誤差失真函數(shù)d（xi，yj）

7、=（yj- xi）2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d（xi，yj）在X和Y的 聯(lián)合概率空間P（XY）中 的統(tǒng)計平均值。57、如果信源和失真度一定，則平均失真度是 信道統(tǒng)計特性 的函數(shù)。58、如果規(guī)定平均失真度不能超過某一限定的值D，即：。我們把稱為 保真度準(zhǔn)則 。59、離散無記憶N次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的平均失真度是單符號信源通過單符號信道的平均失真度N 倍。60、試驗信道的集合用PD來表示，則PD= 。61、信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的平均互信息量的 最小值 。62、平均失真度的下限取0的條件是失真矩陣的 每一行至少有一個零元素 。63、平

8、均失真度的上限D(zhuǎn)max取Dj：j=1，2，m中的 最小值 。64、率失真函數(shù)對允許的平均失真度是 單調(diào)遞減和連續(xù)的 。65、對于離散無記憶信源的率失真函數(shù)的最大值是 log2n 。66、當(dāng)失真度大于平均失真度的上限時Dmax時，率失真函數(shù)R（D）= 0 。69、保真度準(zhǔn)則下的信源編碼定理的條件是 信源的信息率R大于率失真函數(shù)R（D） 。70、某二元信源其失真矩陣D=，則該信源的Dmax= a/2 。71、某二元信源其失真矩陣D=，則該信源的Dmin= 0 。72、某二元信源其失真矩陣D=，則該信源的R（D）= 1-H（D/a） 。73、按照不同的編碼目的，編碼可以分為三類：分別是 信源編碼、信

9、道編碼和安全編碼 。74、信源編碼的目的是： 提高通信的有效性 。76、連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是 限失真信源編碼定理 。79、對具有8個消息的單符號離散無記憶信源進(jìn)行4進(jìn)制哈夫曼編碼時，為使平均碼長最短，應(yīng)增加 2 個概率為0的消息。80、對于香農(nóng)編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是 香農(nóng)編碼 。81、對于二元序列1，其相應(yīng)的游程序列是 。85、在實際的游程編碼過程中，對長碼一般采取 截斷 處理的方法。88、“冗余變換”即：將一個冗余序列轉(zhuǎn)換成一個二元序列和一個 縮短了的多元序列 。91、信道編碼的最終目的提高信號傳輸?shù)目煽啃?。92、狹義的信道編碼即：檢、糾錯編碼 。

10、93、BSC信道即：二進(jìn)制對稱信道 。94、n位重復(fù)碼的編碼效率是 1/n 。96、任意兩個碼字之間的最小漢明距離有稱為碼的最小距dmin，則dmin=。97、若糾錯碼的最小距離為dmin，則可以糾正任意小于等于t= 個差錯。98、若檢錯碼的最小距離為dmin，則可以檢測出任意小于等于 dmin-1 個差錯。99、線性分組碼是同時具有 分組特性和線性特性 的糾錯碼。100、循環(huán)碼即是采用 循環(huán)移位特性界定 的一類線性分組碼。1 信息的基本概念在于它的不確定性。2 按照信源發(fā)出的消息在時間和幅度上的分布情況，可將信源分成 離散信源和 連續(xù) 信源兩大類。3 按樹圖法構(gòu)成的碼一定滿足 即時碼 的定義

11、。4 有擾離散信道編碼定理稱為香農(nóng)第二極限定理。5 糾錯碼的檢、糾錯能力是指檢測、糾正錯誤碼元的數(shù)目。6 信道一般指傳輸信息的物理媒介，分為有線信道和無線信道。7取值受限于有限區(qū)間a,b，則X服從 均勻 分布時，其熵達(dá)到最大；如X均值為，方差受限為，則X服從 高斯 分布時，其熵達(dá)到最大。8根據(jù)碼字所含的碼元的個數(shù)，編碼可分為 定長 編碼和 變長 編碼。9. 在現(xiàn)代通信系統(tǒng)中，信源編碼主要用于解決信息傳輸中的 有效性 ，信道編碼主要用于解決信息傳輸中的 可靠性 ，加密編碼主要用于解決信息傳輸中的 安全性 。10. 對稱DMC信道的輸入符號數(shù)為n，輸出符號數(shù)為m，信道轉(zhuǎn)移概率矩陣為pij，則該信道

12、的容量為。11. 采用m進(jìn)制編碼的碼字長度為Ki，碼字個數(shù)為n，則克勞夫特不等式為， 它是判斷 唯一可譯碼存在 的充要條件。12. 差錯控制的基本方式大致可以分為 前向糾錯 、 反饋重發(fā) 和 混合糾錯 。13. 齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P，穩(wěn)態(tài)分布W，則W和P滿足的方程為 W=WP 。14. 設(shè)某信道輸入端的熵為H(X)，輸出端的熵為H(Y)，該信道為無噪有損信道，則該信道的容量為 MAX H（Y） 。15. 某離散無記憶信源X，其符號個數(shù)為n，則當(dāng)信源符號呈 等概_分布情況下，信源熵取最大值_log（n） 。由m個“0”和（100-m）個“1”構(gòu)成的序列，序列的自信息量為比特/符

13、號。16.如某線性分組碼的最小漢明距dmin=4，則該碼最多能檢測出_3_個隨機(jī)錯，最多能糾正_1_個隨機(jī)錯。17.克勞夫特不等式是唯一可譯碼_存在_的充要條件。18.平均互信息量I(X;Y)與信源熵和條件熵之間的關(guān)系是_I (X;Y)=H(X)-H(X/Y)_。19_信源_提高通信的有效性，_信道_目的是提高通信的可靠性，_加密_編碼的目的是保證通信的安全性。20.信源編碼的目的是提高通信的 有效性 ，信道編碼的目的是提高通信的 可靠性 ，加密編碼的目的是保證通信的 安全性 。21.設(shè)信源X包含8個不同離散消息，當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率為_1/8_時，信源熵達(dá)到最大值，為_3_。22.自信息量表征信源中各個符號的不確定度，信源符號的概率越大，其自信息量越_小_。23.信源的冗余度來自兩個方面，一是信源符號之間的_相關(guān)性_，二是信源符號分布的_不均勻性_。24.最大后驗概率譯碼指的是 譯碼器要在已知r的條件下找出可能性最大的發(fā)碼 作為譯碼估值 ，即令 =maxP( |r)_ _。25.常用的檢糾錯方法有_前向糾錯