現(xiàn)代通信原理：第二章 信息論初步

第2章

信息論初步2信息論的研究對象內(nèi)容涉及到信源編碼和信道容量

3內(nèi)容一、信息的度量

1.信息的概念2.消息的統(tǒng)計特性及描述方法

3.離散信源的信息量4.離散信源的熵(平均信息量)與互信息5.連續(xù)信源的信息量二、信道容量和香農(nóng)公式

1.信道的模型、分類及特性

2.信道容量(離散信道和連續(xù)信道)

3.香農(nóng)公式討論

4.信道編碼定理41.1信息的基本概念信息：是消息的內(nèi)容消息：是信息的形式

Hartley和香農(nóng)(C.E.Shannon)從消息的統(tǒng)計特性出發(fā)，從信息的不確定性和概率測度的角度定義了通信中信息量的概念，并給出了信息度量的方法。

51.2消息的統(tǒng)計特性

描述方法：隨機過程61.3.1離散信源的信息量

單一符號的信息量u1u2u3…uN，ui

{xj},j=1,…,k,概率為P(xj)Hartley定義單位：對數(shù)以2為底，單位為比特(bit)對數(shù)以e為底，單位為奈特(nit)對數(shù)以10為底，單位為哈特萊(Hartley)71.3.2隨機序列的信息量u1u2u3…uN，ui

{xj},j=1,…,k,概率為P(xj)，xj

出現(xiàn)的次數(shù)為nj總信息量為：

81.3.3多個信源與互信息兩個信源X和Y，它們所對應(yīng)的符號分別為xi和yi聯(lián)合信息量條件信息量91.3.4互信息互信息表示X與Y的統(tǒng)計關(guān)聯(lián)程度互信息量

先驗概率：P(xi)后驗概率：P(xi/yj)轉(zhuǎn)移概率：P(yj/xi)101.4.1離散信源的熵香農(nóng)熵：平均信息量香農(nóng)熵的性質(zhì)香農(nóng)熵是非負的，即H(x)

0香農(nóng)熵具有上凸性，即H(x)是P(x)的上凸函數(shù)。離散信源的最大香農(nóng)熵PH(x)111.4.2多個信源的熵聯(lián)合熵：條件熵：121.4.3互信息平均互信息互信息的性質(zhì)I(X,Y)≥0I(X,Y)＝I(Y,X)I(X,Y)≤H(X),I(X,Y)≤H(Y)I(X,Y)

是概率P(x)的上凸函數(shù)，是轉(zhuǎn)移概率Q(y/x)的下凸函數(shù)131.4.4熵的圖形表示H(Y/X)H(X/Y)I(X,Y)141.4.5信息論的基本概念香農(nóng)熵：信息的不確定性的量度互信息：兩個信源之間的相互關(guān)聯(lián)性的量度鑒別信息：不同概率分布之間的區(qū)別的量度151.5.1連續(xù)信源的熵方法：離散區(qū)間取極限微分熵161.5.2連續(xù)信源的最大熵峰值受限：(幅度受限)均方受限：(功率受限)171.5.3多個連續(xù)信源的熵聯(lián)合熵：條件熵：互信息182.1信道和信道容量通信中，分為編碼信道和調(diào)制信道信道特性：采用轉(zhuǎn)移概率分析192.2信道容量定義：信道容量為單位時間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘俊；バ畔ⅲ盒畔鬏斔俾剩盒诺廊萘?02.3有擾條件下連續(xù)信道的容量其中：n為AWGN轉(zhuǎn)移概率密度函數(shù)：信道的平均互信息量：信號帶寬：W信道容量：212.4香農(nóng)公式平均功率受限條件下香農(nóng)公式222.5香農(nóng)公式討論S/N(SNR)

，C

如果N

0,SNR

，C

。無干擾信道的信道容量無窮大。W

，C

，但趨于一個極限。因為W

，N=W*n0

，若C為常數(shù)，W與SNR可以互換。(擴頻通信)232.6歸一化信道容量---頻譜效率242.7信道編碼定理信道容量為C，信源的信息速率為R，如果R

C，則存在一種信道編碼方法實現(xiàn)無誤傳輸