信息論復(fù)習(xí)提綱

1、第一章1、信息的概念。信息是事物運動狀態(tài)或存在方式的不確定性的描述。2、信息論的研究對象、研究目的。對象：通信系統(tǒng)模型。目的：找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)最優(yōu)化。3、通信系統(tǒng)模型的組成，及各部分的功能（1）信息源：產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。隨機發(fā)生。（2）編碼器：信源編碼器：對信源輸出進行變換（消去冗余，壓縮） ，提高信息傳輸?shù)挠行孕诺谰幋a器：對信源編碼輸出變換（加入冗余），提高抗干擾能力，提高信息傳輸?shù)目煽啃裕?）信道：信號從發(fā)端傳到收端的介質(zhì)（4）譯碼器：譯碼就是把信道輸出（已疊加了干擾

2、）的編碼信號進行反變換。（5）信宿：信宿是消息傳送的對象，即接受消息的人或機器。（6）干擾源：系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要研究的是統(tǒng)計特性。4、消息，信號，信息三者之間的關(guān)系信息可以認(rèn)為是具體的物理信號、 數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、 消息描述的含義。信號一則是抽象信息在物理層表達(dá)的外延；消息一則是抽象信息在數(shù)學(xué)層表達(dá)的外延第二章1、信源的分類，著重單符號信源。信源的概率空間的構(gòu)成形式。單消息（符號）信源，離散信源，連續(xù)變量信源，平穩(wěn)信源，無/有記憶信源，馬爾可夫信源，隨機波形信源。單消息（符號）信源：單消息（符號）信源-離散信源單

3、消息（符號）信源-連續(xù)信源2、自信息的計算及物理含義，單位與底數(shù)的關(guān)系，含義。計算：,.1I ai logP(ai)含義：當(dāng)事件ai發(fā)生以前，表示事件 ai發(fā)生的不確定性當(dāng)事件ai發(fā)生以后表示事件 ai所含有（所提供）的信息量單位與底數(shù)的關(guān)系：通信與信息中最常用的是以2為底，這時單位為比特（bit）;理論推導(dǎo)中用以e為底較方便，這時單位為奈特（Nat）;工程上用以10為底較方便，這時單位為哈特（ Hart）。 它們之間可以引用對數(shù)換底公式進行互換。比如：1 bit = 0.693 Nat = 0.301 Hart2 / 73、互信息的計算。ex：設(shè)信源發(fā)出消息，通過信道后信宿收到，則互信息量的

4、表達(dá)式。(第三章)log1Ra n)4、離散單符號信源嫡的計算，注意單位，嫡的物理含義。計算：NH( Pi, P2,，Pn)Pn log Pnn 1單位：(Bit/符號)物理含義： 嫡是隨機變量的隨機性的描述。嫡是信源輸出消息前隨機變量平均不確定性的描述信源嫡H(X磔表示信源輸出后每個消息/符號所提供的平均信息量上凸性。5、信源嫡的性質(zhì)，著重非負(fù)性 (會證明)，對稱性，最大離散嫡定理，強可加性,非負(fù)性證明一：H( Pi, P2,Pn)而：0NPn log Pn n 1Pn故：10g Pn 0(取底數(shù)大于1時)所以：H(P)0證明二：1x0x1有：log x x 1或：log 11 xNPn(1

5、Pn)0n 1所以：NH(P)PnlogPnn 1(2)對稱性定義：當(dāng)變量P(x1)，P(x2),P(xn)順序任意互換時，嫡函數(shù)的值不變，即H P(x1),P(x2),P(xn)HP(xi1),P(xi2),P(xin),其中 i1,i2, in 1,2, n 含義：該性質(zhì)說明嫡只與隨機變量的總體結(jié)構(gòu)有關(guān)，與信源的總體統(tǒng)計特性有關(guān)。如果某些信源的統(tǒng)計特性相同(含有的符號數(shù)和概率分布相同)，那么這些信源的嫡就相同。(3)最大離散嫡定理定理：離散無記憶信源輸出N個不同的信息符號，當(dāng)且僅當(dāng)各個符號出現(xiàn)概率相等時(即P(xi)=1/N),嫡最大。HP(x1),P(x2),P(xN) w H(1/N,

6、1/N,，1/N)=log2N結(jié)論：出現(xiàn)任何一個符號的可能性相等時，信源的平均不確定性最大。(4)擴展性(5)確定性H(XY尸H(Y)+H(X/Y)(6)可加性H(XY尸H(X)+H(Y/X)H(XY)P(xiyj ) 10g 2 "yji ji jp(Xi)p(yj / Xi)10g2 p(XH1p( Xi yj ) 10g 2 -p(xi )p(yj /xi )P(xi yj )10g2 p(yj1/Xi)i 1 j 13 / 7p(Xi)1og2 p(Xi)p(yj / Xi)H(Y/ X)H(X)H(Y/ X)其中p(Xiyj)p(Xi )p(yj / Xi)p(yj / X

7、i)1上凸性設(shè)有一個多元矢量函數(shù)f(Xl,X2,Xn)=f(X)寸任一小于1的正數(shù)a (0C a< 1)及f的定義域中任意兩個矢量X ,Y若冗a X +( 1 )Y于a f(X )+(1 a )f(Y)則稱f為嚴(yán)格上凸函數(shù)。設(shè)P ,Q為兩組歸一的概率矢量：P =p(X1),p(X2),pQ=p(y1),p(y2),p(yn)0< p(Xi),句K p(yi) ,< 1有：HaP +(1a)Q > a H(P )+(1a)H(Q )6、什么是離散無記憶信源X的N次擴展信源？擴展信源的符號個數(shù)定義：一個離散無記憶信源X,其樣本空間為a1,a2,aq信源輸出的消息可以用一組組

8、長度為N的序列表示。此時信源X可等效成一個新信源XN= (X1,X2，,XN,其中的每個分量Xi都是隨機變量，都取于X,分量之間統(tǒng)計獨立，這樣的新信源就是離散無記憶信源X的N次擴展信源。結(jié)論：離散無記憶信源X的N次擴展信源的嫡等于離散信源X的嫡的N倍。H(Xn)NH(X)7、某一二維離散無記憶平穩(wěn)信源：q q什濟)Raa)logF(aa)i 1j 1110g1 4 110g1 110g1 71og724144418 18 3 3 36 36Xa1，a2,aqP(x)P(a1),P(a2), P(aq)聯(lián)合概率：Ra©)8、聯(lián)合嫡，條件嫡之間的關(guān)系:H(X1X2) = H(X1)+ H

9、(X2/X1)q qMX1X2)Raaj )10g P(aiaj)i 1 j 1H(X2 X1)q qP(aiaj )10g Raj I a)11og 17 log 73336362. 414ajai01209/111/8012/113/42/9201/87/9求聯(lián)合嫡H(XiX2) q q H(XiX2)Raaj)10g Raq)i 1 j 11 .11 .1log 4 log 441818求條件嫡 H(X2/X1)利用p(a)晅a2求條件概率jp(ai)q qMX2X1)P(qaj)10g P(aj a)i 1 j 10. 8729、剩余度與信源輸出的符號序列的依賴程度之間的關(guān)系。信源編碼

10、是通過減小剩余度來提 高有效性的。剩余度可以衡量信源輸出序列中符號間的依賴程度，也表明了信源可壓縮的程度。剩余度r越大，表示信源的實際嫡越小，即表明信源符號間的依賴關(guān)系越強。7 / 7第三章離散信道1、信道的分類，著重單符號信道，離散信道，無噪信道，N次擴展信道(1)根據(jù)輸入、輸出端用戶的個數(shù)單用戶信道輸入、輸端出均只有一個用戶多用戶信道輸入、輸出端至少有一端包含兩個以上用戶(2)根據(jù)輸入、輸出端的關(guān)聯(lián)無反饋信道輸出端無信號反饋到輸入端反饋信道輸出端的信號反饋到輸入端(3)根據(jù)信道的參數(shù)與時間的關(guān)系固定參數(shù)信道參數(shù)不隨時間變化而改變時變參數(shù)信道一一參數(shù)隨時間變化而變化(4)根據(jù)輸入、輸出隨機變

11、量的個數(shù)單符號信道輸入、輸出均用隨機變量表示多符號信道輸入、輸出用隨機矢量表示(5)根據(jù)輸入、輸出隨機信號特點離散信道輸入、輸出隨機序列均離散取值連續(xù)信道輸入、輸出隨機序列均連續(xù)取值半離散(連續(xù))信道為離散，另一為連續(xù)2、信道的三種數(shù)學(xué)模型：圖示法，信道矩陣法X 一二者共詢逑Y二維離散平穩(wěn)信源3、箕P領(lǐng)X)/沔的傳遞概率；二元對稱信道、二元刪除的數(shù)學(xué)模型，傳遞概 率萌陣的特:點。概率：P(yX) Ry bj |x a) Rb/a)特點：傳遞矩陣中每一行之和等于14、單符號離散信道的各概率關(guān)系Pg )Pa Pbj aPbj Pa bj輸出符號的概率：rRbj)Pai Pbj Ri 15、信道疑義

12、度的計算，平均互信息的計算，及平均互信息與各嫡之間的關(guān)系(數(shù) 學(xué)公式和圖示兩種描述)，平均互信息的物理含義信道疑義度H(XY)EMXbj)P(xy)logX,Y1Rxy)平均互信息的計算I(X;Y)P(y x)P( xy )log xyP( y)平均互信息與各嫡之間的關(guān)系I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y>H(Y/X)平均互信息的物理含義觀察者站在輸出端觀察者站在輸入端觀察者站在通信系統(tǒng)總體立場上6、無噪無損信道，全損信道的平均互信息的取值，信道的輸入輸出信源的嫡值 7、平均互信息的性質(zhì)對稱性I(XY)= I(Y;X)非負(fù)性即 I(X;Y)>0,當(dāng)且僅當(dāng)X和Y相互獨立，即p(xyj)= p(xi) p(yj) I (X; Y)=0極值性I (X; Y) < H(X)I (Y;X)<H(Y>凸函數(shù)性平均