信息論習(xí)題集

1、信息論習(xí)題集第一章、 判斷題1、信息論主要研究目的是找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃?、有效性、保密性和認證性，以達到信息傳輸系統(tǒng)的最優(yōu)化。（）2、同一信息，可以采用不同的信號形式來載荷；同一信號形式可以表達不同形式的信息。（）3、通信中的可靠性是指使信源發(fā)出的消息準確不失真地在信道中傳輸；（）4、有效性是指用盡量短的時間和盡量少的設(shè)備來傳送一定量的信息。（）5、保密性是指隱蔽和保護通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。（）6、認證性是指接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造的和被竄改的。（）7、在香農(nóng)信

2、息的定義中，信息的大小與事件發(fā)生的概率成正比，概率越大事件所包含的信息量越大。（×）第二章一、判斷題1、通信中獲得的信息量等于通信過程中不確定性的消除或者減少量。（）2、離散信道的信道容量與信源的概率分布有關(guān)，與信道的統(tǒng)計特性也有關(guān)。（×）3、連續(xù)信道的信道容量與信道帶寬成正比，帶寬越寬，信道容量越大。（×）4、信源熵是信號符號集合中，所有符號的自信息的算術(shù)平均值。（×）5、信源熵具有極值性，是信源概率分布P的下凸函數(shù)，當(dāng)信源概率分布為等概率分布時取得最大值。（×）6、離散無記憶信源的N次擴展信源，其熵值為擴展前信源熵值的N倍。（）7、互信息的

3、統(tǒng)計平均為平均互信息量，都具有非負性。（×）8、信源剩余度越大，通信效率越高，抗干擾能力越強。（×）9、信道剩余度越大，信道利用率越低，信道的信息傳輸速率越低。（×）10、信道輸入與輸出之間的平均互信息是輸入概率分布的下凸函數(shù)。（×）11、在信息處理過程中，熵是不會增加的。（）12、熵函數(shù)是嚴格上凸的。（）13、信道疑義度永遠是非負的。（）14、對于離散平穩(wěn)信源，其極限熵等于最小平均符號熵。（）2-1 同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都是l/6，求：    (1) “3和5同時出現(xiàn)”事

4、件的自信息量；    (2)“兩個1同時出現(xiàn)”事件的自信息量；(3)兩個點數(shù)的各種組合（無序?qū)Γ┑撵鼗蚱骄畔⒘浚?4) 兩個點數(shù)之和(即  2，3，12構(gòu)成的子集）的熵；    (5)兩個點數(shù)中至少有一個是1的自信息。2-2 居住某地區(qū)的女孩中有25是大學(xué)生，在女大學(xué)生中有75身高為1.6m以上，而女孩中身高1.6m以上的占總數(shù)一半。假如得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？、 2-3兩個實驗和，聯(lián)合概率為（1）如果有人告訴你和的實驗結(jié)

5、果，你得到的平均信息量是多少？（2）如果有人告訴你的實驗結(jié)果，你得到的平均信息量是多少？（3）在已知的實驗結(jié)果的情況下，告訴你的實驗結(jié)果，你得到的平均信息量是多少？  2-4某一無記憶信源的符號集為，已知，。（1）求信源符號的平均信息量；（2）由100個符號構(gòu)成的序列，求某一特定序列（例如有個0和個1）的信息量的表達（3）計算（2）中的序列熵。 2-5 有一個馬爾可夫信源，已知轉(zhuǎn)移概率為。試畫出狀態(tài)轉(zhuǎn)移圖，并求出信源熵。   2-6有一個一階馬爾可夫鏈各取值于集，已知起始概率為，其轉(zhuǎn)移概率如下： ji1231231

6、/22/32/31/401/31/41/30 （1）求的聯(lián)合熵和平均符號熵；（2）求這個鏈的極限平均符號熵；（3）求和它們對應(yīng)的冗余度。 2-7 一階馬爾可夫信源的狀態(tài)如圖所示，信源X的符號集為0,1,2。（1）求平穩(wěn)后的信源的概率分布；（2）求信源熵；（3）求當(dāng)和時信源的熵，并說明其理由。2-8設(shè)有一信源，它在開始時以的概率發(fā)出，如果為時，則為的概率為；如果為時，則為的概率為；如果為時，則為概率為，為的概率為0。而且后面發(fā)出的概率只與有關(guān)。有。試利用馬爾可夫信源的圖示法畫出狀態(tài)轉(zhuǎn)移圖，并且計算信源熵。 第三章一、判斷題1、信息論主要研究目的是找到信息傳

7、輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃浴⒂行?、保密性和認證性，以達到信息傳輸系統(tǒng)的最優(yōu)化。（）2、同一信息，可以采用不同的信號形式來載荷；同一信號形式可以表達不同形式的信息。（）3、通信中的可靠性是指使信源發(fā)出的消息準確不失真地在信道中傳輸；（）4、有效性是指用盡量短的時間和盡量少的設(shè)備來傳送一定量的信息。（）5、保密性是指隱蔽和保護通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。（）6、認證性是指接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造的和被竄改的。（）7、在香農(nóng)信息的定義中，信息的大小與事件發(fā)生的概率成正比，概率越大事件所包含的信息量

8、越大。（×）8、通信中獲得的信息量等于通信過程中不確定性的消除或者減少量。（）9、離散信道的信道容量與信源的概率分布有關(guān)，與信道的統(tǒng)計特性也有關(guān)。（×）10、連續(xù)信道的信道容量與信道帶寬成正比，帶寬越寬，信道容量越大。（×）11、信源熵是信號符號集合中，所有符號的自信息的算術(shù)平均值。（×）12、信源熵具有極值性，是信源概率分布P的下凸函數(shù)，當(dāng)信源概率分布為等概率分布時取得最大值。（×）13、離散無記憶信源的N次擴展信源，其熵值為擴展前信源熵值的N倍。（）14、互信息的統(tǒng)計平均為平均互信息量，都具有非負性。（×）15、信源剩余度越大，通

9、信效率越高，抗干擾能力越強。（×）16、信道剩余度越大，信道利用率越低，信道的信息傳輸速率越低。（×）17、信道輸入與輸出之間的平均互信息是輸入概率分布的下凸函數(shù)。（×）18、在信息處理過程中，熵是不會增加的。（）19、熵函數(shù)是嚴格上凸的。（）20、信道疑義度永遠是非負的。（）21、對于離散平穩(wěn)信源，其極限熵等于最小平均符號熵。（）22、對于離散無記憶信道，達到信道容量時其輸入概率分布是唯一的、特定的。（）23、噪聲功率相同的加性噪聲信道中以高斯噪聲信道的信道容量最大。（×）24、典型序列中，信源符號出現(xiàn)的頻率與它的概率接近。（）25、為有效抵抗加性高斯

10、噪聲干擾，信道輸入分布應(yīng)該是高斯分布。（）26、最大似然譯碼準則是使平均譯碼錯誤率最小的準則。（×）27、加性高斯噪聲信道的信道容量不大于相同平均功率的其他加性噪聲信道的信道容量。（）28、非奇異的定長碼是惟一可譯碼。（）29、AWGN的信道容量的大小與系統(tǒng)的帶寬成正比。（×）30、信源編碼可以提高信息傳輸?shù)挠行浴＃ǎ?1、連續(xù)信源和離散信源的平均互信息都具有非互性。（）32、當(dāng)信道輸入獨立等概率時，信道疑義度達到最大值。（×）33、必然事件和不可能事件的自信息量都是0。（×）34、事件所包含的信息量是與事件發(fā)生的概率成反比的。（×）二、選擇

11、題1  離散信源熵表示信源輸出一個消息所給出的（ B ）。A、實際信息量；B、統(tǒng)計平均信息量；C、最大信息量；D、最小信息量；2  平均互信息I(X,Y)等于（ C  ）。A 、H(Y)H(X/Y)； B、 H(X)H(Y/X)C 、H(Y)H(Y/X)； D、H(XY)H(X)；3  設(shè)連續(xù)信源輸出的信號譜寬度為W，平均功率為N（受限），則連續(xù)無噪信道的信道容量為（ A  ）。A、  

12、          Wlog(2eN)； B、2Wlog(2eN)； C、Wlog(2N)； D、2Wlog(2N)；4   對于無記憶離散信源X，其熵值為H(X)，由其生成的擴展信源XN的熵為H(XN)，H(X)與H(XN)之間的關(guān)系是（  B  ）。A、H(XN)=H(X)；        B、H(XN)=NH(X

13、)；  C、H(XN)= HN(X)；      D、H(XN)= H(X)/N；5、關(guān)于信源編碼和信道編碼，下面的說法錯誤的是（ B ）   A、信源編碼是為了減少冗余度，信道編碼則是有意增加冗余度；B、信源編碼提高了可靠性，降低了有效性；C、首先對信源編碼，到了信道的輸入端再對其進行信道編碼；D、信道編碼提高了可靠性，降低了有效性。6、以下關(guān)于離散平穩(wěn)信源的說法不正確的是（ C ）A、平穩(wěn)信源發(fā)出的符號序列的概率分布與時間起點無關(guān)；B、平均符

14、號熵隨信源關(guān)聯(lián)長度L的增加而減??；C、對于平穩(wěn)信源，一般情況下，齊次包括平穩(wěn)，平穩(wěn)不包括齊次；D、平穩(wěn)信源的概率分布特性具有時間推移不變性。7、將某六進制信源進行二進制編碼如下表示，則這些碼中是唯一可譯碼的是（ D ）符號概率c1c2c3c4c5c6u11/2000000101u21/4001011010000001u31/160100111101101010100u41/16011011111101100110101u51/1610001111111101001110110u61/161010111111111101111001111A、c1  c3&

15、#160;   c6         B、 c2  c3    c6         C、 c1  c2    c3       D、c1  c2 &

16、#160;  c3   c68、關(guān)于線性分組碼，下列說法正確的是（ B ）A、卷積碼是線性分組碼的一種；               B、最小碼距是除全零碼外的碼的最小重量；C、具有封閉性，碼字的組合未必是碼字；       D、不具有封閉性，碼字的組合未必是碼字。9、香農(nóng)公式是用在哪種信道中（ D

17、 ）   A、二進制離散信道；                         B、離散無記憶信道；C、離散輸入，連續(xù)輸出信道；               &

18、#160; D、波形信道。10、通信系統(tǒng)的性能指標為（  A  ）   A、有效性  可靠性   安全性   經(jīng)濟性         B、有效性 可行性  安全性   保密性C、保密性  可靠性   安全性   

19、;經(jīng)濟性       D、高效性  可行性   安全性  經(jīng)濟性11、信源存在冗余度的主要原因是（ C ）   A、信源符符號間的相關(guān)性                      B、信源符

20、號分布的不均勻性C、信源符號間的相關(guān)性及分布的不均勻性        D、以上都不對12、對于（n，k）線性分組碼，設(shè)dmin為最小漢明距離，則以下正確的是（ D ）   A、這組碼能糾正u個錯誤的充分必要條件是等dmin=2u+1；B、具有檢測L個錯誤的能力的充要條件是dmin=L+1;C、具有糾正t個錯誤，同時可以發(fā)現(xiàn)L(L>t)個錯誤的能力的充分條件是dmin=t+L+1;D、以上三個結(jié)論都不正確。三、填空題1、單符號離散信源一般用隨機變量描述，而多符號

21、信源一般用隨機矢量描述。2、離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的N倍。3、對于一階馬爾可夫信源，其狀態(tài)空間共有個不同的狀態(tài)。4、根據(jù)輸入輸出的信號特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)信道  。5、對于離散無記憶信道和信源的N次擴展，其信道容量=  NC 6、信道編碼論定理是一個理想編碼存在性理論，即：信道無失真?zhèn)鬟f信息的條件是 信息傳輸速率小于信道容量。7、信源編碼的目的是 提高通信的有效性  。8、對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼方法唯一的是 香農(nóng)

22、編碼  。9、在多符號的消息序列中，大量重復(fù)出現(xiàn)的，只起暫時作用的符號稱為 冗余位  。10、若糾錯碼的最小距離為d,則可以糾錯任意小于等于   個差錯。11、線性分組碼是同時具有 分組特性和線性特性  的糾錯碼。12、平均功率為P的高斯分布的連續(xù)信源，其信源熵為  13、當(dāng)連續(xù)信源和連續(xù)信道都是無記憶時，則  14、信源編碼與信道編碼之間的最大區(qū)別是，信源編碼需  減少  信源的剩余度，而信道編碼需

23、60; 增加 信源的剩余度。15、離散信源的熵值H(X)越小，說明該信源消息之間的平均不確定性  減弱  。16、信源符號間的相關(guān)程度越大，則信源的符號熵越小，信源剩余度越大。17、唯一可譯碼的碼長必須滿足Kraft不等式。18、R（D）是滿足D準則下平均傳送每個信源符號所需要的最少比特數(shù)，它是定義域上嚴格的遞減函數(shù)。19、AWGN信道下實現(xiàn)可靠通信的信噪比下界-1.59dB，此時對應(yīng)的頻帶利用率為0。20、對于含有n個信源符號的離散信源，其最大熵值為。對于連續(xù)信源，當(dāng)幅度受限時，均勻分布具有最大熵，當(dāng)平均功率受限時，高斯分布具有最大

24、熵。21、同時擲出兩個正常的骰子，骰子分六面，每一面出現(xiàn)的概率是1/6，則“兩個1同時出現(xiàn)”這一事件的自信息量為5.17比特。22、已知信源的各個符號分別為字母A、B、C、D，現(xiàn)用四進制碼元表示，每個碼元的寬度為10ms，如果每個符號出現(xiàn)的概率分別為1/5，1/4，1/4，3/10，則信源熵H(X)為1.985比特/符號，在無擾離散信道上的平均信息傳輸速率為198.5比特/秒。23、已知8個碼組，（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000）。則該碼組的最小碼距為3，若只用于檢錯可檢測2位錯碼，若只

25、用于糾錯可糾正1位錯碼。24、能獲得最佳碼的編碼方式主要有香農(nóng)編碼、費諾編碼、和霍夫曼編碼。25、八進制脈沖是二進制脈沖所含信息量的3倍。26、1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。27、對于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個不同的狀態(tài)。28、信道編碼的最終目的是為了提高信號傳輸?shù)目煽啃浴Ｋ?、簡答題）1、什么叫信息？答：信息是事物運動狀態(tài)或存在方式的不確定性的描述。2、信源冗余度：信源冗余度也就是信源剩余度，它是指信源所含信息量與符號所能攜帶的最大信息量之間差別的度量。3、線性分組碼：分組碼的信息碼元與監(jiān)督碼元之間的關(guān)系為線性關(guān)系時，這種分

26、組碼就稱為線性分組碼。而分組碼是一組固定長度的碼組，可表示為（n , k），通常它用于前向糾錯。在分組碼中，監(jiān)督位被加到信息位之后，形成新的碼。在編碼時，k個信息位被編為n位碼組長度，而n-k個監(jiān)督位的作用就是實現(xiàn)檢錯與糾錯。4、熵功率：若平均功率為P的非高斯分布的信源具有熵為h，稱熵也為h的高斯信源的平均功率為熵功率。5、什么是信源編碼，試述香農(nóng)第一編碼定理的物理意義？答：所謂信源編碼就是對信源的原始符號按一定的規(guī)則進行變換，以新的編碼符號代替原始信源符號，從而降低原始信源的冗余度。香農(nóng)第一編碼定理的物理意義：無失真信源編碼的實質(zhì)就是對離散信源進行適當(dāng)?shù)淖儞Q，使變換后新的碼符號信源（信道的輸

27、入信源）即可能等概分布，以使新信源的每個碼符號平均所含的信息量達到最大，從而使信道的信息傳輸率R達到信道容量C，實現(xiàn)信源與信道理想的統(tǒng)計匹配。6、若有一信源          每秒鐘發(fā)出2.66個信源符號。將此信源的輸出符號送入某一個二元信道中進行傳輸（假設(shè)信道是無噪無損失），而信道每秒鐘只傳遞2個二元符號。試問信源不經(jīng)過編碼能否直接與信道連接？通過適當(dāng)編碼能否與信道連接？采用何種編碼，為什么？答：因信源符號速率大于信道傳輸速率（2.66>2），所以不能直接連接因為  

28、所以，可以通過當(dāng)編碼在次信道中無失真的傳輸。可對信源的N詞擴展信源進行無失真信源編碼，只要N足夠大取適當(dāng)?shù)木幋a就能與信道匹配。7、香農(nóng)第二定理（信道編碼定理）指出了“高效率、高可靠性”的信道編碼存在性。則：（1）高效率、高可靠性的含義是什么？（2）存在這種信道編碼的條件是什么？（3）重復(fù)碼是否是否滿足“高效率、高可靠性”的條件，為什么？（4）當(dāng)前是否存在接近香農(nóng)信道容量界的信道編碼？答：（1）高效率是指信息傳輸速率接近信道容量，高可靠性是指譯碼錯誤概率任意小。（2）存在這種信道編碼的必要條件是信息傳輸速率小于信道容量。（3）重復(fù)碼不滿足“高效率、高可靠性”的條件，因為當(dāng)。（4）當(dāng)前存在接近香農(nóng)

29、信道容量界的信道編碼。五、計算題1、（10分）由符號集合0，1組成的二階馬氏鏈，轉(zhuǎn)移概率為：p(0/00)=0.8，p(0/11)=0.7，p(1/00)=0.2，p(1/11)=0.3，p(0/01)=0.5，p(0/10)=0.4，p(1/01)=0.5，p(1/10)=0.6。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解：由已知條件可知題目的狀態(tài)轉(zhuǎn)移高率矩陣如下：（3分）狀態(tài)轉(zhuǎn)移圖為（3分）由狀態(tài)轉(zhuǎn)移概率矩陣知道，設(shè)各狀態(tài)為S1 、S2 、S3 、S4 ，可知各狀態(tài)之間滿足關(guān)系：(4分)六、編碼題1、已知一信源包含8個符號，其概率分布分別為：P=0.1，

30、0.18，0.4，0.05，0.06，0.1，0.07，0.04。（1）該信源每秒發(fā)送一個信源符號，求該信源的熵及其信息傳輸速率；（2）對八個符號進行霍夫曼編碼，寫出相應(yīng)的碼字，并求出編碼效率。解：（1）信息傳輸速率（4分）（2）（4分）S10.40.40.40.40.40.40.6S20.180.180.180.190.230.370.4S30.10.10.130.180.190.23 S40.10.10.10.130.18  S50.070.090.10.1   S60.060.070.09   &#

31、160;S70.050.06     S80.04      編碼碼字分別為：1，001，011，0000，0100，0101，00010，00011平均碼字為：L=2.61 編碼效率為：  （2分）3.1 設(shè)二元對稱信道的傳遞矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達到信道容量時的輸入概率分布；  

32、;3-2某信源發(fā)送端有2個符號，i1，2；，每秒發(fā)出一個符號。接受端有3種符號，j1，2，3，轉(zhuǎn)移概率矩陣為。（1）       計算接受端的平均不確定度；（2）       計算由于噪聲產(chǎn)生的不確定度；（3）       計算信道容量。解： 3-3 設(shè)二進制對稱信道的概率轉(zhuǎn)移矩陣為,    (1)若,求H(X), H(X|Y)

33、, H(Y|X)和I(X;Y).    (2)求該信道的信道容量及其達到信道容量時的輸入概率分布.3-4   設(shè)某對稱離散信道的信道矩陣為求其信道容量。 3-5設(shè)有擾信道的傳輸情況分別如圖3.17所示。試求這種信道的信道容量。 3-6  求下列兩個信道的信道容量，并加以比較。（1）                 &#

34、160;   （2）其中。   一、名詞解釋（25道）1、“本體論”的信息    2、“認識論”信息      3、離散信源4、自信息量  5、離散平穩(wěn)無記憶信源    6、馬爾可夫信源  7、信源冗余度   8、連續(xù)信源   9、信道容量 10、強對稱信道  

35、0;  11、對稱信道   12、多符號離散信道13、連續(xù)信道       14、平均失真度    15、實驗信道16、率失真函數(shù)     17、信息價值率    18、游程序列19、游程變換       20、L-D編碼     

36、; 21、冗余變換22、BSC信道       23、碼的最小距離  24、線性分組碼25、循環(huán)碼    二、填空（100道）1、  在認識論層次上研究信息的時候，必須同時考慮到  形式、含義和效用 三個方面的因素。2、  1948年，美國數(shù)學(xué)家 香農(nóng)  發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。3、  按照信息的性質(zhì)，可

37、以把信息分成 語法信息、語義信息和語用信息 。4、  按照信息的地位，可以把信息分成 客觀信息和主觀信息 。5、  人們研究信息論的目的是為了 高效、可靠、安全 地交換和利用各種各樣的信息。6、  信息的 可度量性 是建立信息論的基礎(chǔ)。7、   統(tǒng)計度量 是信息度量最常用的方法。8、   熵 是香農(nóng)信息論最基本最重要的概念。9、  事物的不確定度是用時間統(tǒng)計

38、發(fā)生 概率的對數(shù) 來描述的。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用 隨機矢量 描述。11、一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為 其發(fā)生概率對數(shù)的負值 。12、自信息量的單位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0  。14、不可能事件的自信息量是   。  15、兩個相互獨立的隨機變量的聯(lián)合自信息量等于 兩個自信息量之和 。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過

39、多級處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量  趨于變小  。17、離散平穩(wěn)無記憶信源X的N次擴展信源的熵等于離散信源X的熵的 N倍  。 18、離散平穩(wěn)有記憶信源的極限熵，。19、對于n元m階馬爾可夫信源，其狀態(tài)空間共有 nm 個不同的狀態(tài)。20、一維連續(xù)隨即變量X在a，b區(qū)間內(nèi)均勻分布時，其信源熵為 log2（b-a）  。21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc（X）=。22、對于限峰值功率的N維連續(xù)信源，當(dāng)概率密度&#

40、160;均勻分布 時連續(xù)信源熵具有最大值。23、對于限平均功率的一維連續(xù)信源，當(dāng)概率密度 高斯分布 時，信源熵有最大值。24、對于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值P和信源的熵功率 之比 。25、若一離散無記憶信源的信源熵H（X）等于2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少為 3   。26、m元長度為ki，i=1，2，···n的異前置碼存在的充要條件是：。27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為 log2

41、6 。28、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時出現(xiàn)”這件事的自信息量是 log218（1+2 log23）。29、若一維隨即變量X的取值區(qū)間是0，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵。30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為   。 31、根據(jù)輸入輸出信號的特點，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù) 信道。32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為 無記憶 

42、信道。33、具有一一對應(yīng)關(guān)系的無噪信道的信道容量C=  log2n  。34、強對稱信道的信道容量C= log2n-Hni 。35、對稱信道的信道容量C= log2m-Hmi 。36、對于離散無記憶信道和信源的N次擴展，其信道容量CN=  NC  。37、對于N個對立并聯(lián)信道，其信道容量 CN =    。38*、多用戶信道的信道容量用 多維空間的一個區(qū)域的界限 來表示。39*、多用戶信道可以分成

43、幾種最基本的類型： 多址接入信道、廣播信道 和相關(guān)信源信道。40*、廣播信道是只有 一個輸入端和多個輸出端 的信道。41、當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時，此信道稱為 加性連續(xù)信道 。42、高斯加性信道的信道容量C=。43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真?zhèn)鬟f信息的條件是 信息率小于信道容量 。44、信道矩陣代表的信道的信道容量C= 1  。45、信道矩陣代表的信道的信道容量C= 1  。46、高斯加性噪聲信道

44、中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=  9 kHz  。47、對于具有歸并性能的無燥信道，達到信道容量的條件是  p（yj）=1/m）  。48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個符號，則該信道的最大信息傳輸速率Ct= 10kHz。49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和 數(shù)據(jù)壓縮 的理論基礎(chǔ)。50、求解率失真函數(shù)的問題，即：在給定失真度的情況下，求信息率的 極小值 。51、信源的消息通過信道傳輸后的誤差或失真越大

45、，信宿收到消息后對信源存在的不確定性就 越大 ，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率 也越小 。53、單符號的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個符號xi，信宿再現(xiàn)yj所引起的 誤差或失真 。54、漢明失真函數(shù) d（xi，yj）=    。55、平方誤差失真函數(shù)d（xi，yj）=（yj- xi）2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d（xi，yj）在X和Y的 聯(lián)合概率空間P（XY）中 的統(tǒng)計平

46、均值。57、如果信源和失真度一定，則平均失真度是 信道統(tǒng)計特性 的函數(shù)。58、如果規(guī)定平均失真度不能超過某一限定的值D，即：。我們把稱為 保真度準則 。59、離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的 N  倍。60、試驗信道的集合用PD來表示，則PD=   。61、信息率失真函數(shù)，簡稱為率失真函數(shù)，即：試驗信道中的平均互信息量的 最小值 。62、平均失真度的下限取0的條件是失真矩陣的 每一行至少有一個零元素 。63、平均失真度的上限D(zhuǎn)max取Dj：j=1，2，···，m中的 最小值 。64、率失真函數(shù)對允許的平均失真度是 單調(diào)遞減和連續(xù)的 。65、對于離散無記憶信源的率失真函數(shù)的最大值是  log2n  。66、當(dāng)失真度大于平均失真度的上限時Dmax時，率失真函數(shù)R（D）=  0 。67、連續(xù)信源X的率失真函數(shù)R（D）=   。68、當(dāng)時，高斯信源在均方差失真度下的信息率失真