信源與信息熵

信源與信息熵1第一頁(yè)，共八十五頁(yè)，2022年，8月28日本章內(nèi)容信源的分類及基本的信源數(shù)學(xué)模型描述、自信息和信息熵的定義及性質(zhì)、互信息的概念及性質(zhì)、信源冗余度的描述等。本章重點(diǎn)理解信源不確定性的含義，熵函數(shù)H(X)的性質(zhì)、平均互信息量的定義、性質(zhì)，聯(lián)合信源的聯(lián)合熵、條件熵，離散平穩(wěn)信源的信源熵、極限熵等概念和計(jì)算方法。了解馬爾可夫信源的定義和計(jì)算方法。第二頁(yè)，共八十五頁(yè)，2022年，8月28日2.1信源的描述和分類第三頁(yè)，共八十五頁(yè)，2022年，8月28日一、香農(nóng)信息論的基本點(diǎn)用隨機(jī)變量或隨機(jī)矢量來表示信源用概率論和隨機(jī)過程的理論來研究信息常用的信息度量方法——統(tǒng)計(jì)度量。（另有結(jié)構(gòu)度量、語(yǔ)義度量、語(yǔ)用度量和模糊度量等方法。）2.1信源的描述和分類第四頁(yè)，共八十五頁(yè)，2022年，8月28日二、信源的分類 按照信源發(fā)出的消息在時(shí)間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類

{信源離散信源連續(xù)信源連續(xù)信源是指發(fā)出在時(shí)間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語(yǔ)言、圖像、圖形等都是連續(xù)消息。離散信源是指發(fā)出在時(shí)間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號(hào)都是離散消息。5第五頁(yè)，共八十五頁(yè)，2022年，8月28日離散信源{離散無記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無記憶信源發(fā)出符號(hào)序列的無記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源離散無記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。離散有記憶信源所發(fā)出的各個(gè)符號(hào)的概率是有關(guān)聯(lián)的。發(fā)出單個(gè)符號(hào)的信源是指信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息。發(fā)出符號(hào)序列的信源是指信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息。發(fā)出符號(hào)序列的有記憶信源是指用信源發(fā)出的一個(gè)符號(hào)序列的整體概率（即聯(lián)合概率）反映有記憶信源的特征。

發(fā)出符號(hào)序列的馬爾可夫信源是指某一個(gè)符號(hào)出現(xiàn)的概率只與前面一個(gè)或有限個(gè)符號(hào)有關(guān)，而不依賴更前面的那些符號(hào)，這樣的信源可以用信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的條件概率來反映記憶特征。6第六頁(yè)，共八十五頁(yè)，2022年，8月28日三、信源的描述單符號(hào)離散信源定義：一個(gè)離散無記憶信源是由n個(gè)符號(hào)消息組成的集合：X={x1，x2···xn}，這n個(gè)符號(hào)消息的概率分布為：稱為符號(hào)xi的先驗(yàn)概率，信源數(shù)學(xué)模型表示為：

稱為概率空間，其中7第七頁(yè)，共八十五頁(yè)，2022年，8月28日例如：對(duì)二進(jìn)制數(shù)字與數(shù)據(jù)信源8第八頁(yè)，共八十五頁(yè)，2022年，8月28日單個(gè)連續(xù)信源

pX(x)為隨機(jī)變量X的概率密度函數(shù)9第九頁(yè)，共八十五頁(yè)，2022年，8月28日概率論知識(shí)復(fù)習(xí)隨機(jī)變量X和Y分別取值于集合和 X發(fā)生xi和Y發(fā)生yj的概率為p(xi)和p(yj)，它們一定滿足0

p(xi),p(yj)1以及 和。如果考察X和Y同時(shí)發(fā)生xi和yj的概率，則二者構(gòu)成聯(lián)合隨機(jī)變量XY，取值于集合{xiyj|i=1,2,…,n,j=1,2,…,m}，元素xiyj發(fā)生的概率稱為聯(lián)合概率，用p(xiyj)表示。10第十頁(yè)，共八十五頁(yè)，2022年，8月28日概率論知識(shí)復(fù)習(xí)如X發(fā)生xi以后，Y又發(fā)生yj的條件概率為p(yj/xi)，代表xi已知的情況下，又出現(xiàn)yj的概率。當(dāng)xi不同時(shí)，即使發(fā)生同樣的yj

，其條件概率也不同，說明xi對(duì)yj的影響。而p(yj)則是對(duì)xi一無所知情況下，yj發(fā)生的概率，有時(shí)相應(yīng)地稱為p(yj)為yj的無條件概率。同理，yj

已知的條件下xi

的條件概率記為p(xi/yj)。相應(yīng)地，p(xi)稱為xi的無條件概率。11第十一頁(yè)，共八十五頁(yè)，2022年，8月28日概率論知識(shí)復(fù)習(xí)12第十二頁(yè)，共八十五頁(yè)，2022年，8月28日概率論知識(shí)復(fù)習(xí)

1）條件概率

2）聯(lián)合概率13第十三頁(yè)，共八十五頁(yè)，2022年，8月28日概率論知識(shí)復(fù)習(xí)

3)全概率：

4)Bayes公式:14第十四頁(yè)，共八十五頁(yè)，2022年，8月28日2.2離散信源熵和互信息15第十五頁(yè)，共八十五頁(yè)，2022年，8月28日2.2離散信源熵和互信息信源發(fā)出消息，經(jīng)過信道，到達(dá)信宿，信宿收到消息，獲得了信息，這個(gè)過程就稱作通信。我們現(xiàn)在來研究通信的源頭，也就是信源的特性。那么實(shí)際有用的信源應(yīng)該具有什么特性呢？我們認(rèn)為它應(yīng)該具有不確定性（不肯定性）。信源至少應(yīng)該包含兩種不同的消息，例如兩元信元（包含0、1），而信宿是知道信元發(fā)送（0、1）的，但是它就是不知道在具體的某一時(shí)刻，信源發(fā)送的是哪個(gè)消息。這是顯然的，如果它知道，就不需要通信了！

一、不確定性16第十六頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.1】某二元信源（含有兩個(gè)不同消息的信源）發(fā)送1的概率0.99，0的概率0.01，信宿僅憑猜測(cè)就可以簡(jiǎn)單的認(rèn)為信源發(fā)出的消息始終都是1，即使如此，猜錯(cuò)的概率僅為百分之一。這說明在這種情況下，信源基本上在發(fā)送1，信源的不確定性很小。

【例2.2】某二元信源發(fā)送1和0的概率相等，均為0.5，這時(shí)信宿不依賴通信僅憑猜測(cè)的話，猜錯(cuò)的概率高達(dá)50%。這說明在這種情況下，猜測(cè)信源發(fā)送什么消息就困難了，因?yàn)樾旁窗l(fā)送什么消息相當(dāng)不確定。17第十七頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.3】如果信源具有更多的消息，例如發(fā)10個(gè)數(shù)字0,1…..9(例如采用4位十進(jìn)制樹的中文電報(bào))，而且假定這是個(gè)消息是等概率分布的，均為0.1，這時(shí)信宿僅憑猜測(cè)的話，就更難猜了。因?yàn)樾旁窗l(fā)送什么消息更加不確定。

【例2.4】現(xiàn)在討論一種極端的情況，信源只發(fā)送一種消息，即永遠(yuǎn)只發(fā)送1或者只發(fā)送0，從這樣的信源中我們就不能從中獲取任何信息，也就是說信源的不確定性為0。18第十八頁(yè)，共八十五頁(yè)，2022年，8月28日信源如果沒有不確定性，那么就沒有實(shí)用價(jià)值。不確定度和發(fā)送的消息數(shù)目和發(fā)送符號(hào)的概率有關(guān)。為了確切的描述信源，我們采用概率空間來描述信源。

離散信源：若一類信源輸出的消息常常是以一個(gè)個(gè)符號(hào)的形式出現(xiàn)，例如文字、字母等，這些符號(hào)的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。比如（0、1）二元信元，它的消息是以一定的概率來出現(xiàn)的，所以可以采用概率空間來描述。若信源的輸出是隨機(jī)變量X，其出現(xiàn)概率為P(X)，則它們所構(gòu)成的集合，稱為信源的概率空間或簡(jiǎn)稱為信源空間。19第十九頁(yè)，共八十五頁(yè)，2022年，8月28日

1)定義：一個(gè)符號(hào)消息xi的自信息量為其發(fā)生概率的對(duì)數(shù)的負(fù)數(shù)，并記為I(xi)；

I(xi)=-logp(xi)

當(dāng)p(xi)=0，則I(xi)→∞；當(dāng)p(xi)=1，則I(xi)=0.2)自信息量的單位自信息量的單位與所用對(duì)數(shù)的底有關(guān)：

1o對(duì)數(shù)的底是2時(shí)，單位為比特

—bit(binaryunit)2o對(duì)數(shù)的底是e(自然對(duì)數(shù))時(shí)，單位為奈特

—nat(natureunit)二、自信息量20第二十頁(yè)，共八十五頁(yè)，2022年，8月28日

3o對(duì)數(shù)的底是10(常用對(duì)數(shù))時(shí)，單位為笛特或哈特

—det(decimalunit)orHart(Hartley)

三種信息量單位之間的換算：

1det=log210≈3.322bit1bit=ln2≈0.6931nat1bit=lg

2≈0.3010det1nat=log2e≈1.4427bit

在信息論中常用以2為底的對(duì)數(shù)，為了書寫方便，以后將log2書寫為log，因其單位為比特bit，不會(huì)產(chǎn)生混淆；注意有些文獻(xiàn)將log2書寫為lb。21第二十一頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.5】一個(gè)1,0等概的二進(jìn)制隨機(jī)序列，求任一碼元的自信息量。 解：任一碼元不是為0就是為1

因?yàn)镻(0)=P(1)=1/2

所以I(0)=I(1)=–lb(1/2)=1(bit)22第二十二頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.6】對(duì)于2n進(jìn)制的數(shù)字序列,假設(shè)每一符號(hào)的出現(xiàn)完全隨機(jī)且概率相等，求任一符號(hào)的自信息量。 解：設(shè)2n進(jìn)制數(shù)字序列任一碼元xi的出現(xiàn)概率為p(xi)，根據(jù)題意，

p(xi)=1/2n

I(xi)=–lb(1/2n)=n(bit)

事件的自信息量只與其概率有關(guān)，而與它的取值無關(guān)。23第二十三頁(yè)，共八十五頁(yè)，2022年，8月28日

3)自信息量的含義是隨機(jī)量、根據(jù)單個(gè)符號(hào)消息的先驗(yàn)概率確定其信息量和不確定度。是該符號(hào)出現(xiàn)后，提供給收信者的信息量。

4)隨機(jī)事件的不確定度：不確定度在數(shù)量，單位與自信息量相同，含義不同。具有某種概率的信源符號(hào)在發(fā)生之前，存在不確定度，不確定度表征該符號(hào)的特性。24第二十四頁(yè)，共八十五頁(yè)，2022年，8月28日

5)

自信息量I(xi)的特性

1o事件xi先驗(yàn)概率p(xi)=1（確定事件）,則不存在不確定性，同時(shí)不會(huì)帶來信息量；I(xi)=0。

2o事件xi先驗(yàn)概率p(xi)=0（不可能事件）,則存在不確定性應(yīng)為無窮大，同時(shí)會(huì)帶來無窮的信息量；I(xi)→∞3o非負(fù)性

4o單調(diào)性

若有兩個(gè)事件xi，xj

，其先驗(yàn)概率為p(xi)＜p(xj)，則事件xi

比事件xj有更大的不確定性，同時(shí)會(huì)帶來更多的信息量；I(xi)>I(xj

)5o可加性

兩個(gè)統(tǒng)計(jì)獨(dú)立事件的聯(lián)合自信息量應(yīng)等于它們各自信息量之和;則I(x

y

)=

I(x)＋I(xiàn)(y

)25第二十五頁(yè)，共八十五頁(yè)，2022年，8月28日

6)聯(lián)合自信息量與條件自信息量

1o

聯(lián)合自信息量定義：若有兩個(gè)消息xi

，

yj同時(shí)出現(xiàn)，用聯(lián)合概率p(xi

yj)

表示，聯(lián)合自信息量為：I(xi

yj)=－logp(xi

yj)

當(dāng)X和Y相互獨(dú)立時(shí)，p(xiyj)=p(xi)p(yj)，代入到前式就有：I(xiyj)=-log2p(xi)-log2p(yj)=I(xi)+I(yj)

說明兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的自信息量，等于這兩個(gè)隨機(jī)事件各自獨(dú)立發(fā)生得到的自信息量之和。26第二十六頁(yè)，共八十五頁(yè)，2022年，8月28日

2o

條件自信息量定義：在事件yj出現(xiàn)條件下，xi發(fā)生的條件概率為p(xi

|

yj)，則xi的條件自信息量為：

I(xi

|yj)=－logp(xi

|

yj)

由于隨機(jī)事件（消息）的概率在0~1范圍內(nèi)，所以聯(lián)合信息量和條件自信息量也滿足非負(fù)和單調(diào)遞減性。27第二十七頁(yè)，共八十五頁(yè)，2022年，8月28日聯(lián)合自信息、條件自信息與自信息間的關(guān)系

I(xiyj)=-log2p(xi)p(yj|xi)=I(xi)+I(yj|xi)=-log2p(yj)p(xi|yj)=I(yj)+I(xi|yj)28第二十八頁(yè)，共八十五頁(yè)，2022年，8月28日 作為信源總體信息測(cè)度的量應(yīng)是信源各個(gè)不同符號(hào)xi

(i=1,2,…,N)所包含的自信息量I(xi)(i=1,2,…,N)在信源空間

P(X)={p(x1),p(x2),…,p(xi),…,p(xN

)}中的統(tǒng)計(jì)平均值。三、離散信源熵29第二十九頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.7】一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球?yàn)榧t色，20球?yàn)榘咨?。若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所獲得的（自）信息量。解：隨機(jī)事件的概率空間為30第三十頁(yè)，共八十五頁(yè)，2022年，8月28日當(dāng)被告知摸出紅球的信息量是當(dāng)被告知摸出白球的信息量是如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取且如此摸取n次，那么紅球出現(xiàn)的次數(shù)為np(x1)，白球出現(xiàn)的次數(shù)為np(x2)。隨機(jī)摸取n次后總共所獲得的信息量為31第三十一頁(yè)，共八十五頁(yè)，2022年，8月28日而平均隨機(jī)摸取1次所獲得的信息量為32第三十二頁(yè)，共八十五頁(yè)，2022年，8月28日

1)定義信息源的平均不確定度為信源中各個(gè)符號(hào)不確定度的數(shù)學(xué)期望，記作H(X)

其中

H(X)又稱為信源X的信源熵。33第三十三頁(yè)，共八十五頁(yè)，2022年，8月28日

2)H(X)

的含義

1o表示的是信源的平均不確定度。

2o表示信源X發(fā)出一個(gè)符號(hào)提供的平均信息量。

3o是統(tǒng)計(jì)量、數(shù)學(xué)期望（統(tǒng)計(jì)平均）、各個(gè)符號(hào)平均不確定度和平均信息量。

3)

信源熵單位：二進(jìn)制:bit/信源符號(hào)，或bit/信源序列十進(jìn)制:det/信源符號(hào)，或det/信源序列

e進(jìn)制:nat/信源符號(hào)，或nat/信源序列34第三十四頁(yè)，共八十五頁(yè)，2022年，8月28日4)信源熵的三種特殊情況1o當(dāng)

p(xi)=0時(shí)（p(xi)→0），則p(xi)logp(xi)=02o信源X={x1，x2

·

··xn

}

，若其中xi

的概率p(xi)=1

則其余xj的p(xj)=0，因?yàn)閯tH(X)=0bit/信源符號(hào)3o當(dāng)信源中X所有n個(gè)符號(hào)均有相同的概率p(xi)=1/n，則H(X)=-(1/n)log(1/n)=lognbit/信源符號(hào)35第三十五頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.8】設(shè)信源符號(hào)集X={x1,x2,x3}，每個(gè)符號(hào)發(fā)生的概率分別為p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，則信源熵為即該信源中平均每符號(hào)所包含的信息量為1.5bit，也即為了表明和區(qū)分信源中的各個(gè)符號(hào)只需用1.5bit。36第三十六頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.10】二元符號(hào)信源{0，1}

符號(hào)0的概率p(0)=p

，則p(1)=1-p

H(X)=-[plogp+(1-p)log(1-p)]

p=0.5時(shí)H(X)有最大值，H(X)=1bit/信源符號(hào)37第三十七頁(yè)，共八十五頁(yè)，2022年，8月28日38第三十八頁(yè)，共八十五頁(yè)，2022年，8月28日

5)條件熵與聯(lián)合熵

1o條件熵在給定yj條件下，xi的條件自信息量為：

I(xi

|yj)=－logp(xi

|

yj)

集合X的條件熵為：

在給定Y（即各個(gè)yj）條件下，集合X的條件熵定義為：39第三十九頁(yè)，共八十五頁(yè)，2022年，8月28日2o聯(lián)合熵（共熵）

聯(lián)合熵是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xi

,

yj的自信息量的概率加權(quán)的統(tǒng)計(jì)平均值。40第四十頁(yè)，共八十五頁(yè)，2022年，8月28日3o條件熵與聯(lián)合熵的關(guān)系

I(xi

|yj)=－logp(xi

|

yj)

，I(xi

yj)=－logp(xi

yj)41第四十一頁(yè)，共八十五頁(yè)，2022年，8月28日所以H(XY)=H(X

)＋H(Y|X)同理H(XY)=H(Y)＋H(X|Y)當(dāng)X和Y相互獨(dú)立時(shí)，有42第四十二頁(yè)，共八十五頁(yè)，2022年，8月28日簡(jiǎn)單的通信模型若信源發(fā)出符號(hào)xi，由于信道存在干擾，收到的不是xi而是yi

，從yi中獲取有關(guān)xi的信息量稱為互信息量，用I(xi;yi)表示。信源X有干擾離散信道信宿Y干擾源四、互信息43第四十三頁(yè)，共八十五頁(yè)，2022年，8月28日1o

信源發(fā)送符號(hào)xi，同時(shí)信宿接收符號(hào)yj的聯(lián)合概率：

其中：p(xi)為信源符號(hào)xi的先驗(yàn)概率。

p(yj|xi)為信源符號(hào)xi已發(fā)送，信宿接收到y(tǒng)j的條件概率；稱為信道的傳遞概率或轉(zhuǎn)移概率或前向概率。注意：p(yi|xi)是在信源發(fā)送xi的情況下，信宿接收到y(tǒng)i的概率，該概率是可通過統(tǒng)計(jì)獲得的。

2o信宿接收符號(hào)yj的概率44第四十四頁(yè)，共八十五頁(yè)，2022年，8月28日

3o信宿接收yj后，推測(cè)信源發(fā)送的符號(hào)是xi的概率（后驗(yàn)概率）：p(xi|yi)45第四十五頁(yè)，共八十五頁(yè)，2022年，8月28日

4o互信息量定義：后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)稱為互信息量，記為I(xi；yj)

1.當(dāng)p(xi

|yj

)=1，則I(xi;yj)=I(xi)2.當(dāng)xi，yj互不相關(guān)，p(xi|

yj

)=p(xi)，則I(xi;yj)=0

3.互信息量單位bit46第四十六頁(yè)，共八十五頁(yè)，2022年，8月28日

I(xi;yj)=I(xi)-I(xi

|yj

)

互信息量等于自信息量減去條件自信息量。自信息量在數(shù)量上與隨機(jī)事件發(fā)出的xi不確定度相同，可以理解為對(duì)yj一無所知的情況下xi存在的不確定度。同理，條件自信息量在數(shù)量上等于已知yj的條件下，xi仍然存在的不確定度。兩個(gè)不確定度差，是不確定度被消除的部分，代表已經(jīng)確定的東西，實(shí)際是從yj得到的關(guān)于xi的信息量。47第四十七頁(yè)，共八十五頁(yè)，2022年，8月28日

5o互信息量的性質(zhì)

I(xi;yj)=I(yj;xi)I(xi;yj)=I(xi)-I(xi

|yj

)

I(xi;yj)=I(xi|

yj

)-I(yi)48第四十八頁(yè)，共八十五頁(yè)，2022年，8月28日

6o互信息量計(jì)算

已知:信源符號(hào)xi的概率p(xi)---先驗(yàn)概率,

信源xi

發(fā)送的條件下，信宿接收到y(tǒng)j的概率p(yj

|xi)

互信息量計(jì)算即如何求p(xi|yj)/p(xi)1.聯(lián)合概率

2.全概率

3.后驗(yàn)概率與先驗(yàn)概率之比49第四十九頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.11】某二元通信系統(tǒng)x0=0，x1=1，信源發(fā)送x0和x1的概率分別為p(0)=1/2，p(1)=1/2;信宿y0=0,y1=1

由于信道中有干擾，當(dāng)信源發(fā)送0時(shí)，信宿接收為0的概率p(y0|x0)=p(0|0)=3/4

信宿接收為1的概率p(y1|x0)=p(1|0)=1/4

當(dāng)信源發(fā)送1時(shí)，信宿接收為0的概率p(y0|x1)=p(0|1)=1/5

信宿接收為1的概率p(y1|x1)=p(1|1)=4/5

求互信息量

I(x0;y0),I(x0;y1),I(x1;y0),I(x1;y1)50第五十頁(yè)，共八十五頁(yè)，2022年，8月28日

x0=0

p(0|0)=3/4y0=0

p(0|1)=1/5p(1|0)=1/4

x1=1p(1|1)=4/5y1=11.聯(lián)合概率

p(x0y0)=p(x0)p(y0|x0)=1/2×3/4=3/8

p(x0y1)=p(x0)p(y1|x0)=1/2×1/4=1/8

p(x1y0)=p(x1)p(y0|x1)=1/2×1/5=1/10p(x1y1)=p(x1)p(y1|x1)=1/2×4/5=4/1051第五十一頁(yè)，共八十五頁(yè)，2022年，8月28日2.全概率

p(y0)=p(x0y0)+p(x1y0)=3/8+1/10=19/40

p(y1)=p(x0y1)+p(x1y1)=1/8+4/10=21/403.后驗(yàn)概率與先驗(yàn)概率之比

p(x0|y0)/p(x0)=p(y0|x0)/p(y0)=3/4÷19/40=30/19p(x0|y1)/p(x0)=p(y1|

x0)/p(y1)=1/4÷21/40=10/21p(x1|y0)/p(x1)=p(y0|

x1)/p(y0)=1/5÷19/40=8/19p(x1|y1)/p(x1)=p(y1|

x1)/p(y1)=4/5÷21/40=32/21

4.互信息量

I(x0;y0)=log(30/19)bitI(x0;y1)

=log(10/21)bitI(x1;y0)=log(8/19)bitI(x1;y1)=log(32/21)bit52第五十二頁(yè)，共八十五頁(yè)，2022年，8月28日2)條件互信息量假設(shè)XYZ空間的事件xi、yj、zk，那么事件yjzk出現(xiàn)后，從yjzk中獲取關(guān)于xi的信息量是多少呢？如果把yjzk看作一個(gè)事件，則有53第五十三頁(yè)，共八十五頁(yè)，2022年，8月28日

將上式分子分母同乘以P(xi|zk)，得

上式第一項(xiàng)是xi與zk之間的互信息量；第二項(xiàng)定義為在zk條件下xi與yj之間的互信息量，簡(jiǎn)稱為條件互信息量。54第五十四頁(yè)，共八十五頁(yè)，2022年，8月28日互信息量、聯(lián)合事件互信息量、條件互信息量三者都是隨機(jī)變量，其值隨著變量xi

、yj、zk的變化而變化。三者之間有如下的關(guān)系式：55第五十五頁(yè)，共八十五頁(yè)，2022年，8月28日

3)平均互信息量定義互信息量I(xi;yj)在聯(lián)合概率空間P(XY)上的統(tǒng)計(jì)平均值稱平均互信息量,用I(X;Y)表示平均互信息量單位

bit/消息56第五十六頁(yè)，共八十五頁(yè)，2022年，8月28日當(dāng)信宿收到某一具體符號(hào)yj后，從yj中獲取關(guān)于輸入符號(hào)的平均信息量，顯然應(yīng)該是在條件概率空間中的統(tǒng)計(jì)平均，可用I(X；yj)表示，有再對(duì)其在集合Y中取統(tǒng)計(jì)平均，得57第五十七頁(yè)，共八十五頁(yè)，2022年，8月28日平均互信息的三種不同的形式表達(dá)式58第五十八頁(yè)，共八十五頁(yè)，2022年，8月28日4)平均互信息量的性質(zhì)

1o對(duì)稱性

I(X;Y)=I(Y;X)59第五十九頁(yè)，共八十五頁(yè)，2022年，8月28日

2o非負(fù)性

I(X;Y)≥0

平均互信息量的非負(fù)性告訴我們：從整體和平均的意義上來說，信道每通過一條消息，總能傳遞一定的信息量，或者說接收端每收到一條消息，總能提取到關(guān)于信源X的信息量，等效于總能使信源的不確定度有所下降。也可以說從一個(gè)事件提取關(guān)于另一個(gè)事件的信息，最壞的情況是0，不會(huì)由于知道了一個(gè)事件，反而使另一個(gè)事件的不確定度增加。60第六十頁(yè)，共八十五頁(yè)，2022年，8月28日

3o極值性I(X;Y)H(X)I(Y;X)H(Y)

因此I(X;Y)=H(X)－H(X|Y)

當(dāng)X與Y無關(guān)時(shí)，H(X|Y)=H(X)，則I(X;Y)=0；表示無法從Y中獲取X的信息。61第六十一頁(yè)，共八十五頁(yè)，2022年，8月28日

4o凸函數(shù)性由平均互信息量的定義顯然平均互信息量是信源概率分布p(xi)和表示輸入輸出之間關(guān)系的條件概率或稱信道傳遞概率分布p(yj|xi)的函數(shù)，即62第六十二頁(yè)，共八十五頁(yè)，2022年，8月28日

若固定信道，調(diào)整信源，則平均互信息量是信源概率分布p(xi)的函數(shù)反之若固定信源，調(diào)整信道，則平均互信息量是信道傳遞概率或稱信道轉(zhuǎn)移概率分布p(yj|xi)的函數(shù)

f[p(xi)]和f[p(yj|xi)]具有不同的數(shù)學(xué)特性63第六十三頁(yè)，共八十五頁(yè)，2022年，8月28日平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函數(shù)平均互信息量I(X;Y)是信道轉(zhuǎn)移概率p(yj|xi)的下凸函數(shù)64第六十四頁(yè)，共八十五頁(yè)，2022年，8月28日

5)平均互信息量的物理意義

I(X;Y)=H(X)－H(X|Y)

1oH(X)是符號(hào)集合X的熵或不確定度

2oH(X|Y)是當(dāng)信宿已收到Y(jié)時(shí)，X的條件熵或不確定度（仍有疑義），表示通信過程中信息在信道中的損失量，稱為信道疑義度或疑義度；

3oI(X;Y)表示信宿獲得的凈信息量；

4o平均互信息量I(X;Y)考慮全部消息，根據(jù)統(tǒng)計(jì)平均的計(jì)算得出一個(gè)確定的量，是信道中流通的信息量的整體測(cè)度。65第六十五頁(yè)，共八十五頁(yè)，2022年，8月28日

I(Y;X)=H(Y)–H(Y/X)

說明平均互信息量也可以用接收端（信宿）的熵為參考，且等于信宿熵減掉一個(gè)條件熵同樣表征接收端平均每收到一個(gè)符號(hào)所獲得的信息量。如果信道上沒有任何干擾或噪聲，則平均每收到一個(gè)符號(hào)所獲得的信息量即是信宿熵，即I(X;Y)=H(Y)；但是，如果信道上存在著干擾或噪聲，則平均每收到一個(gè)符號(hào)所獲得的信息量，它比起信宿熵小了一個(gè)條件熵，這個(gè)條件熵H(Y/X)是由于信道的干擾或噪聲給出的，因此它是唯一地確定信道噪聲和干擾所需的平均信息量，故稱之為噪聲熵，也稱為散布度。66第六十六頁(yè)，共八十五頁(yè)，2022年，8月28日

I(X;Y)=H(X)+H(Y)–H(XY)

根據(jù)各種熵的定義，從該式可以清楚看出平均互信息量是一個(gè)表征信息流通的量，其物理意義就是信源端的信息通過信道后傳輸?shù)叫潘薅说钠骄畔⒘俊?7第六十七頁(yè)，共八十五頁(yè)，2022年，8月28日

【例2.12】已知信源空間

信道特性如圖所示，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)，疑義度H(X|Y)，噪聲熵H(Y|X)和共熵H(XY)。68第六十八頁(yè)，共八十五頁(yè)，2022年，8月28日解（1）根據(jù)P(xiyj)=P(xi)P(yj

|xi)，求各聯(lián)合概率，得

P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40

（2）根據(jù)，求Y集合中各符號(hào)的概率，得

P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.4169第六十九頁(yè)，共八十五頁(yè)，2022年，8月28日（3）根據(jù)P(xi|yj)=P(xiyj)/P(yj)，求各后驗(yàn)概率，得

P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024 P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97670第七十頁(yè)，共八十五頁(yè)，2022年，8月28日

（4）求各種熵，有

I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符

H(X|Y)=H(X)–I(X;Y)=1–0.55=0.45比特/信符

H(Y|X)=H(Y)–I(X;Y)=0.98–0.55=0.43比特/信符71第七十一頁(yè)，共八十五頁(yè)，2022年，8月28日

2.2.4數(shù)據(jù)處理中信息的變化在一些實(shí)際的通信系統(tǒng)中，常常出現(xiàn)串聯(lián)信道的情況。另外，對(duì)于信宿收到的信號(hào)或數(shù)據(jù)，常常需要進(jìn)行適當(dāng)?shù)奶幚?，以使輸出消息變換成更有用的形式。這種處理稱為數(shù)據(jù)處理。數(shù)據(jù)處理系統(tǒng)一般可看成是一種信道，它與前面?zhèn)鬏敂?shù)據(jù)的信道構(gòu)成串聯(lián)的關(guān)系。P(Y|X)P(Z|Y)XYZ72第七十二頁(yè)，共八十五頁(yè)，2022年，8月28日假設(shè)Y下X和Z相互獨(dú)立，則有數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。數(shù)據(jù)處理定理的數(shù)學(xué)表示式為

I(X;Z)

I(X;Y)I(X;Z)

I(Y;Z)73第七十三頁(yè)，共八十五頁(yè)，2022年，8月28日證明：對(duì)互信息量和條件互信息量求數(shù)學(xué)期望得到