第一章隨機(jī)變量的信息度量

2/6/20236:58PM1

信源是信息的來源，信源發(fā)出消息，經(jīng)過信道，到達(dá)信宿，信宿收到消息，獲得了信息，這個過程就稱作通信.

首先來研究通信的源頭---信源的特性。實(shí)際有用的信源應(yīng)該具有什么特性呢？它應(yīng)該具有不確定性。信源發(fā)出的消息對于接收者來說存在不確定性，即信源輸出的包含信息的消息（符號）具有隨機(jī)性.信源2/6/20236:58PM2

信源至少應(yīng)該包含兩種不同的消息,例如二元信源（包含0、1）,而信宿是知道信源發(fā)送（0、1）的，但是它就是不知道在具體的某一時(shí)刻，信源發(fā)送的是哪個消息.

這是顯然的，如果信宿知道，就不需要通信了！所以必須要經(jīng)過通信，然后信宿通過譯碼，確定信源發(fā)送的是哪個消息.

如果信道中不存在噪聲(干擾)，那么信宿一定譯碼正確，通信可以無差錯的進(jìn)行了.信源2/6/20236:58PM3

所謂不確定性就是說信宿對信源哪個時(shí)刻發(fā)送哪個消息不能肯定！而不是說信宿不知道信源有0、1這兩個消息.

反過來統(tǒng)計(jì)的講,發(fā)送某一個消息的概率是確定的。比如說發(fā)0的概率是0.4,發(fā)1的概率是0.6。但是下一時(shí)刻發(fā)送0，還是1，信宿不知道.信源2/6/20236:58PM4

基于以上信源與不確定性之間的關(guān)系，香農(nóng)信息論用隨機(jī)變量或隨機(jī)矢量來表示信源，運(yùn)用概率論和隨機(jī)過程的理論來研究信源發(fā)出的信息.信源的描述2/6/20236:58PM5

例某二元信源（含有兩個不同消息的信源）發(fā)送1的概率0.99,發(fā)送0的概率0.01，信宿僅憑猜測就可以簡單的認(rèn)為信源發(fā)出的消息始終都是1，即使錯誤,猜錯的概率僅為百分之一.

這說明在這種情況下,信源基本上在發(fā)送1,信源的不確定性很小。信源發(fā)送0的概率很小，所以不確定度和信源發(fā)送符號的概率是有關(guān)系的！信源2/6/20236:58PM6

例某二元信源發(fā)送1和0的概率相等，均為0.5，這時(shí)信宿不依賴通信僅憑猜測的話，猜錯的概率高達(dá)50%。說明在這種情況下，猜測信源發(fā)送什么消息就困難了，因?yàn)樾旁窗l(fā)送什么消息相當(dāng)不確定.

例如果信源具有更多的消息，例如發(fā)10個數(shù)字0,1,

…,9，而且假定消息是等概率分布的,均為0.1，這時(shí)信宿僅憑猜測的話，就更難猜了。因?yàn)樾旁窗l(fā)送什么消息更加不確定.信源2/6/20236:58PM7

繼續(xù)討論一種極端的情況，信源只發(fā)送一種消息，即永遠(yuǎn)只發(fā)送1或者只發(fā)送0，從這樣的信源中我們就不能從中獲取任何信息，也就是說信源的不確定性為0.

信源如果沒有不確定性，那么就沒有實(shí)用價(jià)值。不確定度和發(fā)送的消息數(shù)目和發(fā)送符號的概率有關(guān)。因此可以用隨機(jī)變量來描述信源輸出的消息，采用概率空間來描述信源.信源2/6/20236:58PM8

信源的特性：（1）信源的不確定程度與其概率空間的消息數(shù)和消息的概率分布有關(guān)系；（2）信源的消息為等概率分布時(shí)，不確定度最大；（3）信源的消息為等概率分布，且其消息數(shù)目越多，其不確定度越大；（4）只發(fā)送一個消息的信源，其不確定度為0，不發(fā)送任何信息.信源2/6/20236:58PM9信源的分類連續(xù)信源連續(xù)信源是指發(fā)出在時(shí)間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語言、圖像、圖形等都是連續(xù)消息.

離散信源離散信源是指發(fā)出在時(shí)間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號都是離散消息.

離散信源{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源2/6/20236:58PM10離散信源的先驗(yàn)概率及概率空間的形式

符號

的先驗(yàn)概率

一個離散信源發(fā)出的各個符號消息的集合為

，它們的概率分別為

為符號

的先驗(yàn)概率。通常把它們寫到一起稱為概率空間：

2/6/20236:58PM11□乘法公式：更一般地，對事件A1，A2，…An，若P(A1A2…An-1)>0，則有……

…2/6/20236:58PM12香農(nóng)注意到：收信者在收到消息之前是不知道消息的具體內(nèi)容的。通信系統(tǒng)消息的傳輸對收信者來說，是一個從不知到知的過程，或是從不確定到部分確定或全部確定的過程.因此，對于收信者來說，通信過程是消除事物狀態(tài)的不確定性的過程，不確定性的消除，就獲得了信息，原先的不確定性消除的越多，獲得的信息就越多；“信息”是事物運(yùn)動狀態(tài)或存在方式的不確定性的度量，這就是香農(nóng)關(guān)于信息的定義.信息的度量（自信息量）和不確定性消除的程度有關(guān)，消除了多少不確定性，就獲得了多少信息量.自信息2/6/20236:58PM13

當(dāng)信源發(fā)出某個信號后，它提供了多少信息？即要解決信息的度量問題，我們把它稱為的自信息，記為.1.

自信息（量）自信息是信號的不確定性的一種度量而信號的不確定性就是它發(fā)生的可能性用發(fā)生的概率來描述應(yīng)當(dāng)是的一個函數(shù)2/6/20236:58PM14自信息I(x)應(yīng)滿足的幾條公理非負(fù)性：

I(x)

≥0.

(2)如果p(x1)<p(x2)，則I(x1)>I(x2)，

I(xi

)是p(xi)的嚴(yán)格單調(diào)遞減函數(shù)；(3)如果p(xi)=0，則I(xi

)→∞;(4)如果p(xi)=1，則I(xi

)=0;(5)由兩個相對獨(dú)立的事件所提供的信息量，應(yīng)等于它們分別提供的信息量之和：

I(xi，

yj)=I(xi

)+I(yj)

自信息2/6/20236:58PM15定理若自信息滿足上述5個條件，則自信息其中c為常數(shù).要證明該定理，需要先證明以下引理.2/6/20236:58PM16自信息引理如果實(shí)函數(shù)滿足以下條件：則2/6/20236:58PM17

隨機(jī)事件的自信息為該事件發(fā)生概率的對數(shù)的負(fù)值關(guān)于對數(shù)底的選?。阂?為底，單位為比特(bit)以e為底，單位為奈特(nat)以10為底，單位為哈特(Hartley)自信息定義2/6/20236:58PM18一般都采用以2為底的對數(shù)，為了書寫簡潔，有時(shí)把底數(shù)2略去不寫.自信息I(xi)可以從兩個方面來理解：當(dāng)事件

xi發(fā)生以前，表示事件

xi發(fā)生的不確定性；當(dāng)事件

xi發(fā)生以后，表示事件

xi所提供的信息量.自信息2/6/20236:58PM19定義：兩個消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量

注意:

當(dāng)xi,yj相互獨(dú)立時(shí)，有

P(xiyj)=P(xi)P(yj)，I(xiyj)=I(xi)+I(yj).聯(lián)合自信息2/6/20236:58PM20定義：在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為，則它的條件自信息量定義為條件概率對數(shù)的負(fù)值：條件自信息2/6/20236:58PM21例一個以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為：

I(0)=I(1)=-log2(1/2)=log22=1bit

若是一個m位的二進(jìn)制數(shù)，因?yàn)樵摂?shù)的每一位可從0,1兩個數(shù)字中任取一個;

因此有2m個等概率的可能組合.

所以I=-log2(1/2m)=mbit，就是需要m比特的信息來指明這樣的二進(jìn)制數(shù).

自信息2/6/20236:58PM22例

在A袋放入

n

個不同阻值的電阻，隨意取出一個，求被告知“取出的電阻阻值為i”時(shí)所獲得的信息量.在B袋中放入m種不同功率的電阻，任意取出一個，求被告知“取出的電阻功率為j

”時(shí)獲得的信息量.在C袋中放入n

種不同阻值，而每種阻值又有m種不同功率的電阻,即共有

nm

個電阻,隨意選取一個，求被告知“取出的電阻阻值為i，功率為j

”時(shí)獲得的信息量.2/6/20236:58PM23解對應(yīng)A,B,C三袋，用xi代表取出電阻值為i，yj代表取出電阻功率為j，隨意取出一個電阻事件的概率分別為I(xi)=–

logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi,yj)=–logp(xi,yj)=log(n

m)

=I(xi)+I(yj)比特因此2/6/20236:58PM24

例

某住宅區(qū)共建有若干棟商品房，每棟有5個單元，每個單元住有

12戶，甲要到該住宅區(qū)找他的朋友乙，若：

1.甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？

2.甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？解：用xi代表單元數(shù)，yj代表戶號：（1）甲找到乙這一事件是二維聯(lián)合集XY上的等概分布，這一事件提供給甲的信息量為

I(xi,yj)=-log

p(xi,yj)

=

log60=5.907（比特）

（2）在二維聯(lián)合集XY上的條件分布概率為，這一事件提供給甲的信息量為條件自信息量

I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

2/6/20236:58PM25

熵、聯(lián)合熵、互信息。

自信息是指信源發(fā)出的某一具體消息所含有的信息量.不同的消息，所含有的信息量不同.對整個信源來說，其每個信號的平均信息量是多少？定義平均自信息量來表征整個信源的不確定度.

定義信源各個離散消息自信息量的數(shù)學(xué)期望(即概率加權(quán)的統(tǒng)計(jì)平均值)稱為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農(nóng)熵，有時(shí)稱為無條件熵或熵函數(shù)，簡稱熵.平均自信息2/6/20236:58PM26信息熵的意義信源熵是從整個信源的統(tǒng)計(jì)特性來考慮的.它是從平均意義上來表征信源的總體特性的.熵是平均不確定性的度量.對于某特定的信源，其信源熵只有一個.不同的信源因統(tǒng)計(jì)特性不同，其信源熵也不同.熵的單位也是與所取的對數(shù)底有關(guān)，可以是比特/符號（信符）、奈特/符號、哈特萊/符號,通常用比特/符號為單位.2/6/20236:58PM27

玻爾茲曼從分子運(yùn)動論的角度對熵的含義進(jìn)行了擴(kuò)展，認(rèn)為熵是分子運(yùn)動混亂程度(無序度)的一種測度，是系統(tǒng)無序程度的描述。玻爾茲曼同時(shí)給出了熵的計(jì)算公式：熵S與系統(tǒng)無序度Ω間有關(guān)系S＝KlnΩ，K即玻爾茲曼常數(shù)，ln為自然對數(shù)。由此看來:在一個系統(tǒng)中熵的大小與系統(tǒng)無序度成正比關(guān)系，系統(tǒng)熵越大則無序度越大；系統(tǒng)無序度越小，則系統(tǒng)的熵值越小.2/6/20236:58PM28例已知X:1p01-p(0≤p≤1)解：1.p=0.5時(shí),H(X)=-0.5log0.5+(-0.5log0.5)=1bit/信符2.p=0，1-p=1（或p=1，1-p=0）時(shí),H(X)=-0log0+(-1log1)=0bit/信符

3.對任意p,H(X)=-plogp-(1-p)log(1-p)

稱為二進(jìn)熵函數(shù)，以后的會經(jīng)常用到.計(jì)算X的信息熵.2/6/20236:58PM29例一信源有6種輸出符號，概率分別為P(A)=0.5，

P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，

P(F)=0.025.1)計(jì)算H(X);2)求符號序列ABABBA和FDDFDF的信息量.

2/6/20236:58PM30解

1）由信源熵定義，該信源輸出的信源熵為

2/6/20236:58PM31符號序列FDDFDF所含的信息量為

2）符號序列ABABBA所含的信息量為2/6/20236:58PM32設(shè)隨機(jī)變量X等概率取26個小寫英文字母和空格共27個符號，其信息熵是多少?

27·(-1/27)·log(1/27)=3log3信息熵什么時(shí)候取最小值?

在某個符號概率為1，其余符號概率為0時(shí)信息熵什么時(shí)候取最大值?

在所有符號出現(xiàn)概率相等時(shí)想一想2/6/20236:58PM33離散隨機(jī)變量X的概率空間為記pi=p(xi)，則

由于概率的完備性，即，所以實(shí)際上是元函數(shù).當(dāng)n=2

時(shí)，熵函數(shù)的性質(zhì)2/6/20236:58PM34熵函數(shù)的數(shù)學(xué)特性包括:(1)對稱性(2)確定性(3)非負(fù)性(4)擴(kuò)展性(5)連續(xù)性(6)遞增性(7)極值性(8)上凸性(9)可加性2/6/20236:58PM35當(dāng)概率矢量

中各分量的次序任意變更時(shí)，熵函數(shù)的值不變，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…

該性質(zhì)說明：熵中的和式滿足交換律；熵只與隨機(jī)變量(信源)的總體統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同.（1）對稱性熵函數(shù)的性質(zhì)2/6/20236:58PM36例三個信源分別為①

X與Y信源的差別：同一消息的概率不同；②X與Z信源的差別：具體消息其含義不同；③

但它們的信息熵是相同的.2/6/20236:58PM37

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空間中，只要有一個事件是必然事件，那么其它事件一定是不可能事件，因此信源沒有不確定性，熵必為0.此時(shí)，隨機(jī)變量X服從單點(diǎn)分布,也叫退化分布.（2）確定性熵函數(shù)的性質(zhì)2/6/20236:58PM38

注：離散信源的熵滿足非負(fù)性，而連續(xù)信源的熵可能為負(fù).（3）非負(fù)性熵函數(shù)的性質(zhì)2/6/20236:58PM39（4）擴(kuò)展性熵函數(shù)的性質(zhì)所以，上式成立.因?yàn)?/6/20236:58PM40擴(kuò)展性說明：增加一個概率接近于零的事件，信源熵保持不變.雖然小概率事件出現(xiàn)后，給予收信者較多的信息，但從總體來考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會出現(xiàn)，所以它對于離散集的熵的貢獻(xiàn)可以忽略不計(jì)。這也是熵的總體平均性的一種體現(xiàn).2/6/20236:58PM41（5）連續(xù)性（6）遞增性熵函數(shù)的性質(zhì)即信源概率空間中概率分量的微小波動，不會引起熵的變化.2/6/20236:58PM42遞增性該性質(zhì)表明，假如有一信源的n個元素的概率分布為，其中某個元素又被劃分成m個元素，這m個元素的概率之和等于元素的概率，這樣得到的新信源的熵增加，熵增加了一項(xiàng)是由于劃分產(chǎn)生的不確定性。2/6/20236:58PM43例

利用遞增性計(jì)算熵函數(shù)

H(1/3,1/3,1/6,1/6)的值.解bit/符號2/6/20236:58PM44例

利用遞增性計(jì)算熵函數(shù)

H(1/3,1/3,1/6,1/6)的值.解（二）bit/符號2/6/20236:58PM45（7）極值性（最大離散熵定理）

定理

離散無記憶信源輸出n個不同的信息符號，當(dāng)且僅當(dāng)各個符號出現(xiàn)概率相等時(shí)(即

),熵最大，即

定理說明：當(dāng)信源X中各個離散消息以等概率出現(xiàn)時(shí)，可得到最大的信源熵。最大熵的值取決于信源的消息個數(shù)，消息個數(shù)越多，熵越大.熵函數(shù)的性質(zhì)注：連續(xù)信源的最大熵則與約束條件有關(guān).2/6/20236:58PM46拉格朗日乘數(shù)法求解條件極值問題的一般步驟：(1)根據(jù)問題意義確定目標(biāo)函數(shù)與條件組.(2)作拉格朗日函數(shù)

其中的個數(shù)即為條件組的個數(shù).(3)求拉格朗日函數(shù)的穩(wěn)定點(diǎn),即通過令求出所有的穩(wěn)定點(diǎn),這些穩(wěn)定點(diǎn)就是可能的極值點(diǎn).2/6/20236:58PM472/6/20236:58PM48

例二進(jìn)制信源的概率空間為這時(shí)信息熵H(X)是p的函數(shù)，二進(jìn)熵函數(shù)h(p)的曲線如圖：二進(jìn)制信源的信息熵為2/6/20236:58PM49從圖中可以得出二進(jìn)熵函數(shù)的一些性質(zhì)：如果二進(jìn)制信源的輸出是確定的(p=0或p=1)，則該信源不提供任何信息；當(dāng)二進(jìn)制信源符號0和1等概率發(fā)生時(shí)，信源的熵達(dá)到最大值，等于1比特/符號;在等概率的二進(jìn)制信源輸出的二進(jìn)制數(shù)字序列中,每一個二元數(shù)字提供1比特的信息量。如果符號不是等概率分布，則每一個二元數(shù)字所提供的平均信息量小于1比特.2/6/20236:58PM502/6/20236:58PM51(7’)香農(nóng)輔助定理

其中上式體現(xiàn)了熵函數(shù)的極值性;要證明香農(nóng)輔助定理，首先介紹凸函數(shù)的定義及延森（Jensen）不等式.對于任意n及概率矢量有如下不等式成立2/6/20236:58PM52

凸函數(shù)的定義及延森（Jensen）不等式f稱為嚴(yán)格凸函數(shù)：當(dāng)?shù)忍杻H在λ=0或1時(shí)成立

.f(a)是凹的，則－f(a)是凸的.f1(a),…,fL(a)是R上的凹函數(shù)，c1,…,cL是正數(shù)，c1f1(a)+…+cLfL(a)也是凹函數(shù).若f有非負(fù)（正）的二階導(dǎo)數(shù)，則f為凸（嚴(yán)格凸）函數(shù).2/6/20236:58PM53凹函數(shù)的幾何意義

在凹函數(shù)的任兩點(diǎn)之間畫一條割線，函數(shù)總在割線的上方.凹函數(shù)在定義域內(nèi)的極值必為最大值，這對求最大熵很有用.f(x)

x1x2

f(x1)

f(x2)常用的有：嚴(yán)格凸函數(shù)(x≥0)：x2,ex,xlogx嚴(yán)格凹函數(shù)(x≥0)：logx2/6/20236:58PM54定理(延森不等式2)

設(shè)f(x)是凹函數(shù)，E為數(shù)學(xué)期望，則定理(延森不等式)

設(shè)f(x)是凸函數(shù)，E為數(shù)學(xué)期望，則2/6/20236:58PM55證明香農(nóng)輔助定理：

時(shí)等號成立.證明:其中2/6/20236:58PM56

上式表明，對任意概率分布pi，它對其他概率分布qi的自信息量-logqi取數(shù)學(xué)期望時(shí)，必不小于pi本身的熵.2/6/20236:58PM57可以被看做是一種新的概率分布.

是概率分布的嚴(yán)格上凸（凹）函數(shù)，即證（8）上凸性熵函數(shù)的性質(zhì)2/6/20236:58PM58（9）可加性

統(tǒng)計(jì)獨(dú)立信源的聯(lián)合信源的熵等于分別熵之和.

可加性是熵函數(shù)的一個重要特性，正因?yàn)榫哂锌杉有?，所以可以證明熵函數(shù)的形式是唯一的，不可能有其它形式存在.

熵函數(shù)的性質(zhì)2/6/20236:58PM59定義

隨機(jī)變量X和Y的聯(lián)合分布為p(xi,yj)，則這兩個隨機(jī)變量的聯(lián)合熵定義為

聯(lián)合熵表示二維隨機(jī)變量的平均不確定性，亦即X和Y同時(shí)發(fā)生的不確定度.聯(lián)合熵和條件熵2/6/20236:58PM60

條件信源熵在給定的條件下，的條件自信息量為，隨機(jī)事件X的條件熵為

它表示信源Y發(fā)出符號的前提下，信源X每發(fā)一個符號提供的平均信息量。2/6/20236:58PM61它表示信源Y每發(fā)一個符號的前提下，信源X再發(fā)一個符號所能提供的平均信息量，稱H(X|Y)為X的條件熵.2/6/20236:58PM62定義

隨機(jī)變量X和Y的條件熵條件熵表示：已知一個隨機(jī)變量時(shí)，對另一個隨機(jī)變量的平均不確定性.條件熵是一個確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度.

條件熵2/6/20236:58PM63

表示在已知的情況下,Y的平均不確定性。對于不同的，是變化的,因此，是一個隨機(jī)變量.2/6/20236:58PM64聯(lián)合熵大于等于獨(dú)立事件的熵，小于等于兩事件熵之和，即

H(X,Y)

H(X)+H(Y)特別

H(X,X)=H(X)

2/6/20236:58PM65鏈法則

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)=H(Y,X)H(X|Y)H(X)，H(Y|X)H(Y)H(X,Y)H(X)+H(Y)

若X與Y統(tǒng)計(jì)獨(dú)立，則H(X,Y)=H(X)+H(Y)

H(Y|X)=H(Y),H(X)=H(X|Y)

可推廣到多個隨機(jī)變量的情況：各種熵之間的關(guān)系2/6/20236:58PM66條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵.鏈法則

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)=H(Y,X)H(X|Y)H(X)，H(Y|X)H(Y)H(X,Y)H(X)+H(Y)

若X與Y統(tǒng)計(jì)獨(dú)立，則H(X,Y)=H(X)+H(Y)

H(Y|X)=H(Y),H(X)=H(X|Y)

2/6/20236:58PM672/6/20236:58PM68各種熵之間的關(guān)系2/6/20236:58PM69判斷題1）H(X)>0;2）若X與Y獨(dú)立，則H(X)=H(X|y);3)H(X|X)=0;4）若X與Y獨(dú)立，則H(X|Y)=H(Y|X).x只有—個可能的結(jié)果，H(X)＝0p(x)=p(x|y)H(X|Y=y)=H(X)FFTT該信源的熵H(X)>log6不滿足熵的極值性？2.652.582/6/20236:58PM70例有兩個同時(shí)輸出的信源X和Y，其中X的信源符號為{A，B，C}，Y的信源符號為{D，E，F(xiàn)，G}，已知P(X)和P(Y|X)，求聯(lián)合信源的聯(lián)合熵和條件熵.XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62/6/20236:58PM71解：信源X的熵為：P(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36p(x,y)=p(y|x)p(x)XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62/6/20236:58PM72信源XY輸出每一對消息的聯(lián)合概率為：P(X,Y)=P(Y|X)P(X)，結(jié)果如上表.聯(lián)合熵：

條件熵：

P(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62/6/20236:58PM73從上述結(jié)果可得：H(X,Y)=H(X)+H(Y|X)=1.461+1.956=3.417(bit/符號)當(dāng)兩個信源統(tǒng)計(jì)獨(dú)立時(shí)，H(X,Y)=H(X)+H(Y)為最大。對第二個信源Y，其熵H(Y)的計(jì)算。由全概率公式：2/6/20236:58PM74聯(lián)合熵的最大值為：由于信源相關(guān)，使聯(lián)合熵減小，其減小量為：因此：2/6/20236:58PM75例

已知聯(lián)合概率分布如下，求H(X,Y),H(X),H(Y),H(Y|X),

H(X|Y).2/6/20236:58PM761)H(X,Y)=2.665bit/symbol解H(X)=2.066bit/symbol2)3)H(Y)=1.856bit/symbol2/6/20236:58PM774)5)H(X|Y)=0.809bit/symbolH(Y|X)=0.600bit/symbol法二：鏈法則

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)p(y|x)=p(x,y)/p(x)p(x|y)=p(x,y)/p(y)2/6/20236:58PM78§1.3相對熵和互信息2/6/20236:58PM79

引入事件的重量，度量事件的重要性或主觀價(jià)值.

加權(quán)熵定義為

相對熵和互信息加權(quán)熵2/6/20236:58PM80不滿足對稱性，因此不是一個距離測度.相對熵2/6/20236:58PM822/6/20236:58PM83先驗(yàn)概率：信源發(fā)出消息的概率.后驗(yàn)概率：信宿收到消息

后推測信源發(fā)出

的概率，即條件概率.

互信息是一個隨機(jī)變量包含的關(guān)于另一個隨機(jī)變量的信息量的度量.互信息（量）2/6/20236:58PM84互信息可定義為互信息有兩方面的含義表示事件出現(xiàn)前后關(guān)于事件的不確定性減少的量；事件出現(xiàn)以后信宿獲得的關(guān)于事件的信息量.2/6/20236:58PM85注意:聯(lián)合自信息I(xi,yj)與互信息I(xi;yj)

兩者記法不同，意義不同，需要區(qū)分.互信息I(xi;yj)是后驗(yàn)概率與先驗(yàn)概率比值的信息量.互信息（量）2/6/20236:58PM86

在實(shí)際工作和生活中，當(dāng)我們不能夠直接得到某事件的信息時(shí)，往往通過其它事件獲得該事件的信息，這實(shí)質(zhì)上是互信息概念的應(yīng)用.

互信息量的引出，使信息流通問題進(jìn)入定量分析的范疇，為信息流通的定量測量打下了堅(jiān)實(shí)的基礎(chǔ)，把信息理論發(fā)展到了一個更深的層次，可以認(rèn)為是信息論發(fā)展的又一個里程碑.互信息（量）2/6/20236:58PM87xiyj觀察者站在輸出端

I(xi;yj)=logp(xi|yj)-logp(xi)=I(xi)–

I(xi|yj)

：對yj一無所知的情況下xi存在的不確定度；：收到y(tǒng)j

后xi

仍然存在的不確定度；互信息：收到y(tǒng)j

前和收到y(tǒng)j后不確定度被消除的部分.2/6/20236:58PM88觀察者站在輸入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差.xiyjI(yj;

xi)=I(xi;yj)?2/6/20236:58PM89觀察者站在通信系統(tǒng)總體立場上互信息等于通信前后不確定度的差值通信前：X和Y之間沒有任何關(guān)系，即X、Y統(tǒng)計(jì)獨(dú)立，

p(xi,yj)=p(xi)p(yj)通信后：p(xi,yj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)2/6/20236:58PM90

如果xi與yj相關(guān)的話，則xi的條件自信息量I(xi|yj)必然要比它的自信息量I(xi)有所下降，下降的信息量就是信道從信源傳到信宿的信息量，互信息量的大小實(shí)際上反映了一個信道的傳信能力?；バ畔⒘坎豢赡艽笥谧孕畔⒘浚诺郎蟼鬟f的信息量不可能超過信源所提供的信息量.

當(dāng)I(xi|yj)=0時(shí)，說明信宿收到y(tǒng)j后，信源符號xi已經(jīng)沒有任何信息量，或者說信道已經(jīng)將有關(guān)xi的全部內(nèi)容傳到了信宿，此時(shí)有I(xi;yj)=I(xi).I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

2/6/20236:58PM91(1)統(tǒng)計(jì)獨(dú)立

p(xi|yj)=p(xi)，I(xi|yj)=I(xi)，

I(xi;yj)=0；I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

當(dāng)xi與yj完全獨(dú)立時(shí)，即說明信宿收到的符號yj不含有任何有關(guān)xi的內(nèi)容(噪音),信道沒有傳遞任何有關(guān)xi的信息,I(xi|yj)=I(xi),或I(xi;yj)=0；信道傳遞的信息量為零.

(3)

p(xi|yj)=1，(2)

若p(xi)<p(xi|yj)，則I(xi;yj)>0；

若p(xi)>p(xi|yj)，則I(xi;yj)<0；互信息的幾種特殊情況2/6/20236:58PM921)互信息的對稱性2)互信息可為零3)互信息可為正值或負(fù)值4)任何兩個事件之間的互信息不可能大于其中任一事件的自信息互信息（量）的性質(zhì)2/6/20236:58PM93用公式表示為

互信息的對稱性表明從yj得到的關(guān)于xi的信息量

與從xi

得到的關(guān)于yj的信息量

是一樣的，只是觀察的角度不同而已。對信道兩端的隨機(jī)變量X和Y之間的信息流通的總體測度的兩種不同的表達(dá)形式而已.1)互信息的對稱性互信息（量）的性質(zhì)2/6/20236:58PM94當(dāng)xi和yj相互獨(dú)立,即后驗(yàn)概率與先驗(yàn)概率相等時(shí)，互信息為零.表明xi和yj之間不存在統(tǒng)計(jì)約束關(guān)系，從yj得不到關(guān)于的xi的任何信息，反之亦然.

2)互信息可為零互信息（量）的性質(zhì)2/6/20236:58PM95當(dāng)后驗(yàn)概率大于先驗(yàn)概率時(shí)，互信息為正.

說明事件yj的出現(xiàn)有助于消除事件xi的不確定度.當(dāng)后驗(yàn)概率小于先驗(yàn)概率時(shí)，互信息為負(fù).

說明收信者未收到y(tǒng)j以前，對消息xi是否出現(xiàn)的猜測難度較小，但由于噪聲的存在，接收到消息yj后對xi是否出現(xiàn)的猜測的難度增加了，也就是收信者接收到消息yj后對xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負(fù)值.3)互信息可正可負(fù)互信息（量）的性質(zhì)2/6/20236:58PM964)任何兩個事件之間的互信息小于等于其中任一事件的自信息互信息（量）的性質(zhì)2/6/20236:58PM97例

居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占總數(shù)一半。假如我們得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？

解

x=某女孩是大學(xué)生；y=某女孩身高1米6以上.則有

“身高1米6以上的某女孩是女大學(xué)生”為事件2/6/20236:58PM98例已知信源發(fā)出和兩種消息，且。此消息在二進(jìn)制對稱信道上傳輸，信道傳輸特性為

求互信息量和.解

2/6/20236:58PM992/6/20236:58PM100

互信息量不能從整體上作為信道中信息流通的測度。這種測度應(yīng)該是從整體的角度出發(fā),在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量.

為了客觀地測度信道中流通的信息，定義互信息量在聯(lián)合概率空間中的統(tǒng)計(jì)平均值為Y對X的平均互信息量，簡稱平均互信息，也稱為平均交互信息量或交互熵.平均互信息（量）2/6/20236:58PM101平均互信息（量）2/6/20236:58PM102平均互信息（量）2/6/20236:58PM1032/6/20236:58PM104I(X;Y)≤H(X),I(X;Y)≤H(Y)H(X|Y)≤H(X),I(X;Y)≤H(X)+H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)2/6/20236:58PM105對稱性：I(X;Y)=I(Y;X)非負(fù)性：

平均互信息量的非負(fù)性告訴我們：從整體和平均的意義上來說，信道每通過一條消息，總能傳遞一定的信息量，或者說接收端每收到一條消息，總能提取到信源X的信息量，等效于總能使信源的不確定度有所下降。也可以說從一個事件提取關(guān)于另一個事件的消息，最壞的情況是0，不會由于知道了一個事件，反而使另一個事件的不確定度增加.

平均互信息量不是從兩個具體消息出發(fā)，而是從隨機(jī)變量X和Y的整體角度出發(fā)，在平均意義上觀察問題，所以平均互信息不會出現(xiàn)負(fù)值.平均互信息的性質(zhì)2/6/20236:58PM106

3.極值性：

I(X;Y)min{H(X),H(Y)}

平均互信息量的極值性說明從一個事件提取關(guān)于另一個事件的信息量，至多是另一個事件的熵，不會超過另一個事件自身所含的信息量.

平均互信息的性質(zhì)2/6/20236:58PM1074.

平均互信息和各類熵的關(guān)系

I(X;Y)=H(X)

H(X|Y)