信息論與編碼試題集與答案(2014)改

1、平均自信息為表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個X的平均信息量、發(fā)X前后Y的平均不確定性減少的量、通信前后整個系統(tǒng)不確定性減少的量。2、最大離散熵定理為：離散無記憶信源，等概率分布時熵最大,最大熵值為。3、香農(nóng)公式為為保證足夠大的信道容量，采用（1用頻帶換信噪比；（2用信噪比換頻帶。4、只要，當N足夠長時，一定存在一種無失真編碼。5、當R＜C時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概率無窮小。6、1948年，美國數(shù)學家香農(nóng)發(fā)表了題為“通信的數(shù)學理論”的長篇論文，從而創(chuàng)立了信息論。7.研究信息論目的高效、可靠、安全地交換利用信息。8.可度量性建立信息論的基礎(chǔ)。9.統(tǒng)計度量信息度量最常用方法。10、單符號離散信源用隨機變量描述，多符用隨機矢量。11、一隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對數(shù)的負值。12、自信息量單位比特、奈特、笛特。13、必然事件的自信息0。14、不可能事件的自信息量是∞。15、兩相互獨立隨機變量的聯(lián)合自信息量等于兩個自信息量之和。16、數(shù)據(jù)處理定理：消息多級處理后，處理器數(shù)目增多，輸入消息與輸出之間的平均互信息量趨于變小。17、離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于X的熵的N倍。18、離散平穩(wěn)有記憶信源的極限熵。19、n元m階馬爾可夫信源，狀態(tài)空間有nm個不同狀態(tài)。20、一維連續(xù)隨即變量X在[a，b]內(nèi)均勻分布，信源熵log2（b-a）。21、平均功率為P高斯分布連續(xù)信源，信源熵Hc（X）=。22、對限峰值功率的N維連續(xù)信源，當概率密度均勻分布時連續(xù)信源熵最大值。23、對限平均功率的一維連續(xù)信源，當概率密度高斯分布時信源熵有最大值。24、均值為0，平均功率受限連續(xù)信源，信源冗余度決定于平均功率限定值P和信源的熵功率之比。25、若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為3。26、m元長度為ki，i=1，2，···n的異前置碼存在的充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為log26。28.熵是香農(nóng)信息論最基本最重要的概念。29.事物的不確定度是用時間統(tǒng)計發(fā)生概率的對數(shù)來描述的。30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為。31、根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道。32、信道的輸出僅與信道當前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為無記憶信道。33、具有一一對應(yīng)關(guān)系的無噪信道的信道容量C=log2n。34、強對稱信道的信道容量C=log2n-Hni。35、對稱信道的信道容量C=log2m-Hmi。36、對于離散無記憶信道和信源的N次擴展，其信道容量CN=NC。37N個對立并聯(lián)信道，信道容量CN=。41、當信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加時，此信道稱為加性連續(xù)信道。42、高斯加性信道的信道容量C=。43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量。44、信道矩陣代表信道容量C=1。45、信道矩陣代表的信道信道容量C=1。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=9kHz。47、對于具有歸并性能的無燥信道，達到信道容量的條件是p（yj）=1/m）。48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息傳輸速率Ct=10kHz。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的極小值。51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。53、單符號的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個符號xi，信宿再現(xiàn)yj所引起的誤差或失真。54、漢明失真函數(shù)d（xi，yj）=。55、平方誤差失真函數(shù)d（xi，yj）=（yj-xi）2。56、平均失真度定義為失真函數(shù)的數(shù)學期望，即d（xi，yj）在X和Y的聯(lián)合概率空間P（XY）中的統(tǒng)計平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計特性的函數(shù)。58、如果規(guī)定平均失真度不能超過某一限定的值D，即：。我們把稱為保真度準則。59、離散無記憶N次擴展信源通過離散