《信息論與編碼》課件1第3章

第3章離散無記憶信道與互信息

3.1單符號離散無記憶信道及其轉(zhuǎn)移概率3.2信道疑義度3.3范諾不等式3.4互信息的定義3.5平均互信息的基本性質(zhì)3.6平均互信息的凸性3.7信息系統(tǒng)的可靠性和有效性問題3.8連續(xù)信道的平均互信息習(xí)題33.1單符號離散無記憶信道及其轉(zhuǎn)移概率前面我們已經(jīng)從信源輸出隨機變量X的不確定性出發(fā)，討論了信源的平均信息量，即信源的信息熵。在實際的信息傳遞過程中，信源輸出的信息總是需要通過信道的傳輸來完成，即人們獲取信源輸出的信息是通過對信道的輸出進行觀測而實現(xiàn)的。因此在前面的討論中，事實上我們做了一個假定，即信道中沒有隨機性干擾，通過信道的傳輸，接收端收到的符號與信源的輸出完全一致。然而，在一般的通信系統(tǒng)（見圖3-1）中，信道中是存在隨機性干擾的。由于信道干擾的影響，其輸出隨機變量Y與輸入隨機變量X（信源的輸出）并非總是一樣。因此對于信息傳輸過程的考察，不僅需要了解關(guān)于信源X的不確定性，而且需要分析經(jīng)過系統(tǒng)的信息傳遞，在接收端觀測到Y(jié)之后對X仍然存在的不確定性。為了便于討論和建立相應(yīng)的概念，此處首先建立一個最簡單的信道模型——單符號離散無記憶信道。圖3-1一般的通信系統(tǒng)

1.單符號離散無記憶信道圖3-2給出了一個單符號離散無記憶信道，其輸入和輸出分別為離散隨機變量X和Y。圖3-2單符號離散無記憶信道單符號離散無記憶信道有如下兩個基本特性。（1）輸入和輸出隨機變量的取值都是離散的，即X∈{a1,a2,…,ar}Y∈{b1,b2,…,bs}

信道的輸入、輸出構(gòu)成了一個離散的隨機變量對(X,Y)，可以借助二維隨機變量加以描述。

(2)某一時刻信道的輸出Y僅取決于即時信道的輸入X，與前面時刻信道的輸入和輸出無關(guān)。

2.單符號離散無記憶信道的轉(zhuǎn)移概率分布由于信道中存在著隨機性干擾，信道的輸出Y統(tǒng)計依賴于信道的輸入X。因此，當(dāng)信道的輸入X=ai時，輸出Y=bj發(fā)生的概率為條件概率，即P(Y=bj|X=ai)=P(bj|ai)i=1,2,…,r;j=1,2,…,s(3.1)這組條件概率P(bj|ai)反映了信道輸入X與輸出Y之間的統(tǒng)計依賴關(guān)系，被稱為信道的轉(zhuǎn)移概率。信道轉(zhuǎn)移概率滿足：(3.2)對于有r種輸入和s種輸出的單符號離散無記憶信道，反映其輸入X與輸出Y之間的統(tǒng)計依賴關(guān)系的條件概率共有r×s個。這樣的r×s個條件概率可以排成一個r行s列的矩陣這個矩陣被稱為信道的轉(zhuǎn)移概率矩陣或簡稱為信道矩陣。3.2信道疑義度信道中存在隨機性的干擾。信源輸出的符號經(jīng)信道傳遞，在這種隨機性干擾的影響下，輸出Y成為輸入X的一個“干擾”變形。因此，在接收端觀測信道的輸出Y之后，收信者仍然不能夠確定信源輸出的是哪一個符號，對于信源X，將仍然存在一定程度的不確定性。由第2章的討論可知，在不借助于對信道輸出Y的觀測的條件下，關(guān)于信源X的先驗不確定性由信息熵H（X）來度量。因此，信源的信息熵H（X）也稱做先驗熵。那么，在接收端觀測到信道的輸出Y之后，仍然存在的關(guān)于輸入X的不確定性應(yīng)該怎樣度量呢？首先，假設(shè)在信道的輸出端觀測到Y(jié)=bj（j固定）的情況。由信道的轉(zhuǎn)移概率分布可知，當(dāng)Y=bj時，信源輸出X=ai的概率為條件概率:P(bj|ai)i=1,2,…,r因此，在接收到Y(jié)=bj之后，我們關(guān)于X的后驗不確定性為

H(X|Y=bj)表示了接收到Y(jié)=bj時關(guān)于X的不確定性，稱為接收到Y(jié)=bj時關(guān)于信源X的后驗熵。(3.3)由于j=1,2,…,s，H(X|Y=bj)是一個伴隨著隨機變量Y=bj的發(fā)生而發(fā)生，并且與Y=bj有相同概率分布P(bj)的隨機變量,因此我們需要一個確定的量，能夠從總體上來度量在接收端觀測到消息集合Y時關(guān)于信源X的平均后驗不確定性。為此，定義H(X|Y=bj)的數(shù)學(xué)期望為條件熵H(X|Y)：(3.4)由于信道中存在隨機性干擾，因此在對信道輸出Y進行觀測后，我們對信道的輸入X仍具有某種程度的不確定性。條件熵H（X|Y）反映了觀測到Y(jié)之后對X仍然保留的不確定性。由于經(jīng)過信息傳遞仍然存在的這種不確定性是信道中存在的隨機性干擾，因此條件熵H（X|Y）被稱為信道疑義度。如果信道中不存在隨機性噪聲，即Y與X有一一對應(yīng)的確定關(guān)系，則在信道的輸出端接收到符號集Y之后，便可以完全消除關(guān)于符號集X的不確定性，故信道疑義度H（X|Y）=0。如果信道中存在隨機性干擾，則在信道的輸出端接收到符號集Y之后，不能夠完全消除關(guān)于信源X的不確定性，即仍然存在一定程度的剩余不確定性。但是，由第2章給出的條件熵的基本性質(zhì)：H(X|Y)≤H(X)可以知道，觀測信道的輸出Y之后，信道疑義度必小于等于信源的信息熵。因此，在統(tǒng)計平均意義下，對信道輸出Y的觀測對于減小關(guān)于信源X的不確定性總會有所幫助。由下面例子，我們可以更加明確地了解信道疑義度H(X|Y)滿足的關(guān)系。

【例3.1】圖3-3為一個二進制可抹信道。已知輸入隨機變量X的概率空間為，輸出隨機變量Y∈{0,?,1}。計算：H(X|Y=0)、H(X|Y=?)、H(X|Y=1)和H(X|Y)。解：給定二進制可抹信道的轉(zhuǎn)移概率P(y|x)可以列表表示（見表3-1）。圖3-3二進制可抹信道表3-1P(y|x)信源的先驗熵為

比特/符號

依概率關(guān)系：

可以求出隨機變量對(X,Y)的聯(lián)合概率分布P(x,y)和反向信道參數(shù)P(x|y)（見表3-2和表3-3）。表3-2P(x,y)表3-3P(x|y)于是有：

比特/符號

比特/符號

比特/符號計算結(jié)果表明，通過觀測信道的輸出了解信源的輸出時，如果得到Y(jié)=0或Y=1，則對于信源X將不再具有不確定性；當(dāng)觀測到Y(jié)=？時，對于X的后驗不確定性H（X|Y=？）比其先驗不確定性H（X）更大，即由先驗不確定性0.9183比特/符號增大為1比特/符號。由此可知，在接收到某一具體符號Y=bj時，可能對于消除關(guān)于信源X的不確定性有幫助，也可能不僅無幫助，反而會使這種不確定性進一步增大。但是應(yīng)當(dāng)明確，條件熵H(X|Y=bj)伴隨著Y=bj的發(fā)生而發(fā)生，是一個與Y=bj同分布的隨機變量。對于一個通信系統(tǒng)，其傳輸信息的能力需要從總體上進行考察和度量。條件熵小于等于其無條件熵，即H(X|Y)≤H(X)的基本關(guān)系表明，在統(tǒng)計平均意義下，對信道輸出Y進行觀測對于減小或消除關(guān)于信源X的平均不確定性總會有所幫助。在此例中，信道疑義度（后驗熵）為

比特/符號而關(guān)于信源X的先驗平均不確定（先驗熵）為

H（X）=0.9183比特/符號

可見，觀測信道的輸出Y之后，仍然存在的關(guān)于信源X的平均不確定性減小了。3.3范諾不等式信道疑義度H(X|Y)度量了觀測信道輸出Y之后對信源X仍然保留的平均不確定性。范諾（Fano）不等式描述了信道疑義度與信息系統(tǒng)的錯誤概率之間的關(guān)系，是反映通信過程中信道疑義度的產(chǎn)生原因和取值大小的一個重要性質(zhì)。為了推出范諾不等式，先給出下面的引理。

引理3.1

設(shè)X、Y、Z為隨機變量，對Z的每一取值z，定義

則有：

H(X|Y)≤H(Z)+E［logA(z)］(3.6)(3.5)證明：由A（z）的定義可知，A(z)、logA(z)都只與隨機變量Z有關(guān)，故A(z)、logA(z)與Z有相同的概率分布，即概率分布均為P(z)?？疾煊^測信道的輸出Y之后，關(guān)于信源X的平均不確定性即條件熵為對于三維隨機變量(X,Y,Z)，(X,Y)發(fā)生的邊緣概率分布可以由三維隨機變量(X,Y,Z)的聯(lián)合概率分布P(x,y,z)得到，即(3.7)因此(3.8)已知對數(shù)函數(shù)是上凸函數(shù)，并且是一組概率分布，對內(nèi)和式應(yīng)用Jensen不等式，便有：(3.9)因此(3.10)

定理3.1（范諾不等式）

設(shè)X和Y是隨機變量，X和Y均取值于離散集合{a1,a2,…,ar}。令pe=p(X≠Y)為錯誤概率，那么H(X|Y)≤H2(pe)+pelog(r－1)

(3.11)證明：在X和Y有同樣符號取值集合的通信系統(tǒng)中，我們感興趣的是在接收端接收到的符號是否與信源輸出的符號一致。為此，在接收到Y(jié)之后，我們定義隨機變量Z：

由定理中給出的條件得到隨機變量Z的概率分布為(3.12)(3.13)根據(jù)前面的引理，對于隨機變量Z的每一取值z，定義隨機變量Z的函數(shù):

并依據(jù)定理中的條件計算隨機變量的函數(shù)A(z)和logA(z)的取值。當(dāng)Z=0時：(3.14)以y作為參變量，遍取x時：

式(3.14)中的內(nèi)和式：(3.15)(3.16)故有：

和logA(0)=log1=0

當(dāng)Z=1時：(3.17)(3.18)以y作為參變量，遍取x時：

在固定y，改變x時，滿足x≠y的X的取值有r－1個，有：(3.19)(3.20)故有：

和

logA(1)=log(r－1)(3.21)由于A(z)、logA(z)是與Z同分布的隨機變量，因此可以寫出它們的概率空間為因而可以求出：(3.22)

(3.23)將式(3.22)和式(3.23)的結(jié)果代入引理的結(jié)論中，便有：H(X|Y)≤H(Z)+E［logA(z)］=H2(pe)+pelog(r－1)

范諾不等式是反映信道疑義度H(X|Y)取值大小關(guān)系的一個重要定理，在信息系統(tǒng)分析中有明確意義和作用。此時信道的輸入和輸出有相同的符號集合，即X,Y∈(a1,a2,…,ar)，而系統(tǒng)中的錯誤概率為：pe=P(X≠Y)。范諾不等式所指出的關(guān)系表明，在觀測信道的輸出Y之后，關(guān)于隨機變量X仍然存在的不確定性由兩部分組成。

(1)首先，需要判斷X是否與Y相同。在范諾不等式的證明中，定義了隨機變量:

因此，判斷X是否與Y相同等效于確定隨機變量Z為0還是為1，即信息傳輸過程中是否發(fā)生了錯誤。由于已知信道中發(fā)生傳輸錯誤的概率為pe，因此由輸出“對”或“錯”所構(gòu)成的信源的熵為H（Z）=H2(pe)，即關(guān)于判斷“X是否與Y相同”的平均不確定性為H2(pe)。若可判斷得出X=Y，則由Y可知X，消除了關(guān)于X的不確定性。

(2)若已知X與Y不相同，則需要確定X究竟取何種符號。如果由第一步判斷已得知X≠Y，則由于X仍有r-1種可能的取值，因此，接收者對于信源X究竟輸出了哪一種符號仍然具有不確定性。但是，由熵的極值性可以知道，在已知X≠Y的條件下，關(guān)于X究竟取哪一種符號的不確定性不會超過log(r－1)。同時，由于X≠Y發(fā)生的概率為pe，因此“在X≠Y時，X究竟取何種符號”的平均不確定性不會超過pelog(r－1)?？梢?范諾不等式的確指出了信息系統(tǒng)中信道疑義度H(X|Y)取值的上限,即滿足：H(X|Y)≤H2(pe)+pelog(r－1)3.4互信息的定義在一般的信息傳輸過程中，收信者獲取信源X輸出的信息，是通過信源輸出的符號在信道中傳遞，觀測信道的輸出來實現(xiàn)的（見圖3-4）。圖3-4一般的通信系統(tǒng)由前面的討論我們已經(jīng)知道，在收到信源輸出消息前對信源X的輸出具有不確定性。H（X）表示關(guān)于信源X的先驗不確定性，而H（X|Y）則表示對信道輸出Y觀測后關(guān)于X的后驗不確定性。因為H(X|Y)≤H(X)，所以通過信息的傳遞和對Y的觀測，接收者對X的不確定性由H(X)減小為H(X|Y)，表明通過信息系統(tǒng)的信息傳遞，接收者由Y獲得了一些關(guān)于信源X的信息。在對各類信息系統(tǒng)進行分析和設(shè)計中，需要對信源X的表示、傳輸信息的能力等方面進行定量的分析和計算。本節(jié)我們將從信息的傳遞使得關(guān)于X的不確定性減小入手，建立對一般通信系統(tǒng)中信息傳遞現(xiàn)象定量描述的基礎(chǔ)，引出互信息的定義并深入討論互信息所具有的性質(zhì)。3.4.1符號間的互信息

設(shè)有離散無記憶信源：

經(jīng)離散無記憶信道傳輸，信道輸出符號集為Y∈{b1,b2,…,bs}首先考察接收到單個符號Y=bj時對了解信源符號X=ai的幫助,即分析信息系統(tǒng)中單個符號之間的信息傳遞關(guān)系。如果信道無噪無損，則X與Y一一對應(yīng)。由于Y與X有確定的對應(yīng)關(guān)系，因此如果接收者收到Y(jié)=bj，則可以確定信源的輸出符號為X=ai，即由Y=bj獲得了信源輸出X=ai的信息對于某一信源符號X=ai,我們具有先驗不確定性，即單信源符號的自信息。已知X=ai發(fā)生的概率P(ai)對符號ai的先驗不確定性為符號ai的自信息，即(3.24)然而，一般的信道中存在著隨機性干擾。在隨機干擾的作用下，信道的輸出符號Y=bj成為信源輸出符號X=ai的一個干擾變型。因此，接收到Y(jié)=bj之后，對X=ai仍然存在不確定性。已知Y=bj時，X=ai發(fā)生的概率為后驗概率P(ai|bj)。接收到Y(jié)=bj后，接收者關(guān)于X=ai的不確定性為P(ai|bj)的函數(shù)，即

i=1,2,…,r;j=1,2,…,s可見，接收到Y(jié)=bj后，雖然對X=ai仍然具有不確定性，但是，通過對Y的觀測，關(guān)于X=ai的不確定性發(fā)生了變化。這種變化表明接收者從接收到Y(jié)=bj這一事件中得到了關(guān)于X=ai的某些信息。于是，我們給出符號間互信息的定義:

X=ai的先驗不確定性與其后驗不確定性之差為符號ai、bj之間的互信息，記做I(ai;bj)。

互信息I(ai;bj)代表了由接收到的符號Y=bj獲得的關(guān)于X=ai的信息量。

符號間的互信息I(ai;bj)有下面的基本關(guān)系。(3.25)

1．對稱性I(ai;bj)=I(bj;ai)

(3.26)證明：對稱性表明，由Y=bj提供的關(guān)于X=ai的信息量等于由X=ai提供的關(guān)于Y=bj的信息量。

I(ai;bj)與I(bj;ai)的這種對稱性也稱為交互性，因此I(ai;bj)被稱為互信息量。

2．符號間的互信息量的取值關(guān)系對于信源符號X=ai，其先驗不確定性取決于先驗（已知）概率分布P(ai)。觀測到Y(jié)=bj之后，關(guān)于X=ai的后驗不確定性則取決于信道的統(tǒng)計特性，即后驗概率P(ai|bj)。由于X=ai、Y=bj之間的互信息是關(guān)于X=ai的先驗不確定性和后驗不確定性之差，因此實際上此互信息量的取值也取決于信道的特性，即X=ai的后驗概率。在不同的信道中，因其統(tǒng)計特性即后驗概率P(ai|bj)不同，故X=ai與Y=bj之間的互信息的取值將有不同的特點。

(1)對于無噪無損信道，X=ai與Y=bj之間為一一對應(yīng)關(guān)系，即P(ai|bj)=1。此時可由Y=bj唯一地確定信源輸出X=ai，獲得ai的自信息量I(ai)。

(2)對于X=ai與Y=bj統(tǒng)計獨立的信道，因為P(ai,bj)

=P(ai)P(bj)，所以有

可見，由信道的輸出Y=bj不能夠獲得關(guān)于X=ai的任何信息，I(ai;bj)=0。(3.27)

(3)對于一般的信道，后驗概率P(ai|bj)滿足:0≤P(ai|bj)≤1i=1,2,…,r;j=1,2,…,s此時互信息的取值大小顯然取決于P(ai|bj)與P(ai)的關(guān)系。當(dāng)P(ai)≤P(ai|bj)<1時，通過對信道輸出bj的觀測，接收者對X=ai的不確定性減小了，即由bj中獲得了關(guān)于ai的一些信息，此時I(ai;bj)≥0。如果0<P(ai|bj)<P(ai)，則表明觀測到Y(jié)=bj后，對信源是否發(fā)出X=ai的不確定性不僅沒有減小，反而增大了，即觀測系統(tǒng)的輸出后，由Y=bj消除的關(guān)于X=ai的不確定性為一負值，有I(ai;bj)<0。因此，在已知某信源符號X=ai的概率關(guān)系（先驗概率）時，通過觀測Y=bj所獲得的互信息I(ai;bj)的取值可正可負。

3．任何兩個事件之間的互信息量不大于其中任一事件的自信息量

(3.28)

證明：

由于P(ai|bj)≤1i=1,2,…,r;j=1,2,…,s因此同理由P(bj|ai)≤1i=1,2,…,r;j=1,2,…,s得出

證畢。

【例3.2】

圖3-5所示為二進制可抹信道。計算符號之間的互信息I(x=0;y=0)和I(x=0;y=?)。圖3-5二進制可抹信道解：由例3.1已知，已求出給定二進制可抹信道的信道疑義度。根據(jù)符號間的互信息的定義，可以求得：

比特因為y=0與x=0具有確定的概率轉(zhuǎn)移關(guān)系，所以接收到y(tǒng)=0后便可以消除信源發(fā)出x=0的不確定性。因此，由y=0所獲得x=0的信息量為x=0的自信息I(x=0),而

比特可見，由于信道中存在干擾，因此在接收到y(tǒng)=?時關(guān)于x=0的不確定性更大,即由y=?所獲得的關(guān)于x=0的信息量為負值。由二進制可抹信道的后驗概率可知，P(x=0|y=1)=0，如果觀測到y(tǒng)=1，則信源不可能發(fā)出0。因此無需考慮y=1與x=0之間的互信息。3.4.2平均互信息

符號間的互信息I(ai;bj)描述了在對通信系統(tǒng)的輸出進行觀測時，由Y=bj得到的關(guān)于X=ai的信息量。這一符號間的互信息以單個符號的不確定性的變化（改變量）給出了一種信息的度量方法。但是由于X=ai和Y=bj均為隨機變量，因此由Y=bj所獲得的關(guān)于X=ai的互信息I(ai;bj)i=1,2,…,r;j=1,2,…,s是一個伴隨著X=ai與Y=bj同時發(fā)生而發(fā)生的隨機量，且發(fā)生的概率為X=ai和Y=bj構(gòu)成的聯(lián)合事件發(fā)生的聯(lián)合概率:P(ai,bj)i=1,2,…,r;j=1,2,…,s

顯然，使用這樣的按照一定概率而發(fā)生的隨機變量來度量一個信息系統(tǒng)傳輸信息的能力具有明顯的局限性。對于通信系統(tǒng)總體而言，其傳輸信息的特性和能力應(yīng)當(dāng)從系統(tǒng)的總體上加以度量，即關(guān)于信息量的描述和度量不應(yīng)當(dāng)是一個隨機變量，而應(yīng)當(dāng)是能夠從信息系統(tǒng)總體進行描述的一個確定的量。因此，關(guān)于信息的描述與度量只能在統(tǒng)計平均的意義下進行測度。

定義3.1

在聯(lián)合集X，Y上，X=ai與Y=bj之間的互信息I(ai;bj)在聯(lián)合概率空間:P(ai,bj)i=1,2,…,r;j=1,2,…,s中的統(tǒng)計平均值（期望值）稱為平均互信息，記做I(X;Y)。即I(X;Y)=H(X)－H(X|Y)此式表明，“Y已知”這一事件使我們關(guān)于X的不確定性減少了I(X;Y)，即通過通信系統(tǒng)的傳輸，接收到符號集Y后平均每個符號獲得關(guān)于X的信息量為I(X;Y)。因此，I(X;Y)稱為X與Y之間的平均互信息，簡稱為互信息。在下面的討論中，有時將平均互信息表示為

此時，x和y分別表示隨機變量X和Y的一個取值符號，而表示對隨機變量X和Y的全空間求和。

【例3.3】接續(xù)例3.1計算所給信源和二進制可抹信道構(gòu)成的系統(tǒng)中，由Y所得到的關(guān)于X的平均互信息。解：前面已求出各種概率的關(guān)系,如表3-4和表3-5所示。H(X)=0.9138比特/符號比特/符號表3-4P(x,y),P(x)表3-5P(x|y)比特/符號亦可：

I(X;Y)=H(X)－H(X|Y)

=0.9183-0.3333≈0.585比特/符號由前面的計算結(jié)果知道，如果在接收端觀測到y(tǒng)=?，則由y=?獲得的關(guān)于x=1的互信息為負值。此處的計算表明，對于整個系統(tǒng)而言，所得的平均互信息是大于0的，即對符號集Y的觀測總會使我們對X的了解有所幫助。3.5平均互信息的基本性質(zhì)

平均互信息具有下面一些基本性質(zhì)。

1．對稱性I(X;Y)=I(Y;X)

(3.29)證明：

因為具有對稱性，所以在下面的討論中我們主要考慮I（X;Y）。

2．非負性

I(X;Y)≥0

(3.30)當(dāng)且僅當(dāng)X、Y統(tǒng)計獨立時等式成立。證明：由定義式：

當(dāng)X、Y統(tǒng)計獨立時:故有:

（等式成立條件）

當(dāng)X、Y非統(tǒng)計獨立時，有因為對數(shù)函數(shù)是上凸函數(shù)，所以應(yīng)用顏森不等式，有

所以，I(X；Y)≥0當(dāng)且僅當(dāng)X、Y統(tǒng)計獨立時等式成立。證畢。由關(guān)于符號間的互信息I(ai;bj)的討論我們知道，I(ai;bj)的取值可正可負,即由于信道中干擾的影響，由某一符號Y=bj獲得的關(guān)于X=ai的信息有可能是負數(shù)。然而,在對全空間(X,Y)作統(tǒng)計平均后，由一個通信系統(tǒng)的輸出Y獲得的關(guān)于X的平均互信息不會為負值。這就是說，從統(tǒng)計平均的意義上講，觀測信道的輸出Y總會對消除關(guān)于信源X的不確定性有幫助，即由Y總會獲得一些關(guān)于X的信息，而不會損失信息。只有當(dāng)信道的輸入X和輸出Y是統(tǒng)計獨立時，由信道的輸出Y才不能得到關(guān)于信源X的任何信息。

3．極值性I(X;Y)≤H(X)

(3.31)因為H(X|Y)≥0，所以有I(X;Y)=H(X)－H(X|Y)≤H(X)。只有在無損信道中，即H(X|Y)=0時，I(X;Y)才能達到其最大值H(X)（等式成立條件）。

4．平均互信息和各類熵的關(guān)系平均互信息I(X;Y)和條件熵H(X|Y)、H(Y|X)、聯(lián)合熵H(X,Y)有如下關(guān)系：I(X;Y)=H(X)－H(X|Y)

=H(Y)－H(Y|X)

=H(X)+H(Y)－H(X,Y)

這些關(guān)系的證明可直接由I（X；Y）的定義式得到。例如：平均互信息和各類熵之間的關(guān)系可以由圖3-6所示的文氏圖表示出來。在圖3-6中，以X為中心的圓的面積表示關(guān)于X的不確定性即熵H(X);以Y為中心的圓的面積表示關(guān)于Y的不確定性即熵H(Y);兩圓所包圍的關(guān)于聯(lián)合事件X、Y的不確定性即X、Y的聯(lián)合熵H（X，Y）；兩圓未重疊的部分分別表示在已知某一隨機變量時的不確定性，即條件熵H(X|Y)和H(Y|X);這兩個圓相互重疊的陰影區(qū)則表示出了由一個隨機變量所獲得的關(guān)于另一個隨機變量的信息，即互信息。文氏圖不僅從幾何關(guān)系上形象地表示出了熵、條件熵、聯(lián)合熵和互信息之間的關(guān)系，也有助于我們對這些概念及它們之間的關(guān)系的物理意義的理解。圖3-6文氏圖3.6平均互信息的凸性

由前面的討論可知，通過信息傳遞，我們由信道的輸出Y獲得的關(guān)于信源輸出X的信息為平均互信息I(X;Y)。在圖3-7所示的通信系統(tǒng)中，如果改變信源（即改變P(x)），則由Y所得到的關(guān)于X的互信息I(X;Y)也將隨之改變。同理，如果改變信道（改變P(y|x)），那么由Y所得到的關(guān)于X的平均互信息I(X;Y)也將隨之改變。圖3-7簡單的通信系統(tǒng)由平均互信息I(X;Y)的定義式可以明顯地看到這一結(jié)論。由于

其中，，因此當(dāng)信源的概率分布P(x)改變時，或者是信道的轉(zhuǎn)移概率改變時，平均互信息I(X;Y)將隨之改變,即平均互信息I(X;Y)是信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)的函數(shù)。這種函數(shù)關(guān)系可以記做：I（X;Y）=I［P(x);P(y|x)］(3.32)由于信源和信道是構(gòu)成通信系統(tǒng)的主要部分，因此在研究通信系統(tǒng)中的信息傳遞現(xiàn)象時，深入分析平均互信息I(X;Y)與信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)的依賴關(guān)系是十分有意義的。為此，我們給出平均互信息I(X;Y)與信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)之間的函數(shù)關(guān)系所具有的兩個重要性質(zhì)。

定理3.2

平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。證明：此處我們考察的是互信息I(X;Y)隨信源概率分布P(x)改變時的函數(shù)特性。為了使分析較簡明，我們假設(shè)給定一個信道（即信道的轉(zhuǎn)移概率P(y|x)固定不變），而信源的概率分布P(x)是可變的。此時相當(dāng)于將一個可變信源發(fā)出的符號通過一個固定信道進行傳輸（如圖3-8所示的物理模型）。圖3-8信源可變、信道固定的通信系統(tǒng)此時，平均互信息僅與信源概率分布P(x)呈函數(shù)關(guān)系：I（X;Y）=I［P(x)］(3.33)為了證明此時平均互信息函數(shù)與信源概率分布P(x)的上凸性關(guān)系，我們首先假設(shè)已給定兩種不同的信源概率分布P1(x)和P2(x)，并使用給定信道分別傳輸兩種不同信源的輸出符號。在這兩種不同的信源概率分布下，可以分別得到聯(lián)合事件X、Y的聯(lián)合概率分布和信道輸出Y的邊緣概率分布：它們均滿足概率分布率的條件，即對應(yīng)于兩種信源概率分布P1(x)和P2(x)，可以計算得到相應(yīng)的平均互信息I(X;Y),即為了分析平均互信息I(X;Y)與P(x)的凸性關(guān)系，由兩種已知的信源概率P1(x)和P2(x)，通過線性組合構(gòu)造第三種信源概率分布P(x)。令0≤α,β≤1，α+β=1，組合得到：P(x)=αP1(x)+βP2(x)

已知P1(x)、P2(x)是概率分布，它們滿足概率分布率：則有：0≤αP1(x)+βP2(x)≤1和可知,對于由P1(x)和P2(x)的線性組合構(gòu)造的第三種信源P(x)確為一組概率分布。使用給定信道傳輸?shù)谌N信源（組合信源）輸出的符號，可以求出此時聯(lián)合事件X、Y的聯(lián)合概率分布：

P(x,y)=P(x)P(y|x)

=αP1(x)P(y|x)+βP2(x)P(y|x)=αP1(x,y)+βP2(x,y)和隨機變量Y的邊緣概率分布：

顯然，P(x,y)和P(y)滿足：因此，使用給定信道（P(y|x)固定）傳輸?shù)谌N信源（概率分布P(x)）輸出的符號時，系統(tǒng)中的平均互信息I(X;Y)為如果可以證明上述平均互信息之間滿足:

便可知平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。因為（3.34）已知對數(shù)函數(shù)是上凸函數(shù)，應(yīng)用顏森不等式，則因此式（3.34）所表示的互信息之間的關(guān)系成立,即對于0≤α,β≤1,α+β=1滿足αI［P1(x)］+βI［P2(x)］≤I［αP1(x)+βP2(x)］所以，平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。證畢。由平均互信息I(X;Y)的定義知道，平均互信息I(X;Y)是信源概率分布P(x)的函數(shù)。當(dāng)使用某一固定信道（給定信道轉(zhuǎn)移概率分布P(y|x)）傳輸不同信源（信源概率分布P(x)不同）輸出的符號時，在系統(tǒng)的輸出端獲得的平均信息量是不同的。定理3.2指出平均互信息I(X;Y)與信源概率分布P(x)之間的函數(shù)呈上凸性關(guān)系。這一反映平均互信息I(X;Y)與信源概率分布P(x)之間關(guān)系的重要性質(zhì)表明，對于每一個給定的信道，一定存在一種信源，使得在信道的輸出端獲得的關(guān)于信源的信息量I(X;Y)達到其最大值。

定理3.3

平均互信息I(X;Y)是信道轉(zhuǎn)移概率P(y|x)的下凸函數(shù)。證明：此處考察的是平均互信息I(X;Y)隨信道轉(zhuǎn)移概率分布P(y|x)改變時的函數(shù)特性。為此，假設(shè)給定一個信源（即信源的概率分布P(x)固定不變）和一個轉(zhuǎn)移概率分布P(y|x)可變的實驗信道。將給定信源（P(x)固定）的輸出符號通過P(y|x)可變的實驗信道傳輸。圖3-9給出了此時的信息系統(tǒng)模型。圖3-9信源固定、信道可變的通信系統(tǒng)由于P(x)是固定不變的，因此此時系統(tǒng)中的平均互信息I(X;Y)僅與信道轉(zhuǎn)移概率分布P(y|x)呈函數(shù)關(guān)系，即可簡單記做：I(X;Y)=I［P(y|x)］(3.35)設(shè)給定概率分布為P(x)的信源X。首先給定轉(zhuǎn)移概率分布分別為P1(y|x)和P2(y|x)的兩種已知信道。它們的信道參數(shù)分別滿足概率分布率的條件，即將給定信源X輸出的符號經(jīng)這兩種不同的信道構(gòu)成信息傳輸系統(tǒng)。對應(yīng)于兩種不同的信息傳輸系統(tǒng)，輸入、輸出隨機變量X、Y所構(gòu)成的聯(lián)合事件(X,Y)的聯(lián)合概率分布分別為相應(yīng)的邊緣概率分布為

條件概率分布為對應(yīng)于兩種不同的信道P1(y|x)和P2(y|x)，可以計算得到相應(yīng)的平均互信息I［P1(y|x)］和I［P2(y|x)］,即為了分析平均互信息I(X;Y)與信道轉(zhuǎn)移概率P(y|x)的凸性關(guān)系，由兩種已知信道P1(y|x)和P2(y|x)通過線性組合構(gòu)造第三種信道。設(shè)0≤α,β≤1，α+β=1，第三種信道的轉(zhuǎn)移概率分布為P(y|x)=αP1(y|x)+βP2(y|x)

因為P1(y|x)和P2(y|x)滿足概率分布率的條件，所以可推知P(y|x)滿足：0≤αP1(y|x)+βP2(y|x)≤1和

顯然，線性組合得到的第三種信道的轉(zhuǎn)移概率分布率P(y|x)是一組概率分布。將給定信源X輸出的符號經(jīng)組合信道傳輸構(gòu)成信息傳輸系統(tǒng)時，輸入、輸出隨機變量X、Y的聯(lián)合概率分布為

P(x,y)=P(x)P(y|x)=αP(x)P1(y|x)+βP(x)P2(y|x)

=αP1(x,y)+βp2(x,y)進一步可以求出此時的邊緣概率分布為

條件概率分布為

進而得到經(jīng)組合信道傳輸給定信源的輸出符號時的平均互信息I(X;Y)為考察互信息之間的關(guān)系：

因為對數(shù)函數(shù)是上凸函數(shù)，所以應(yīng)用顏森不等式得：

因此，對于0≤α,β≤1,α+β=1，滿足：

所以，平均互信息I（X;Y）是信道轉(zhuǎn)移概率分布P(y|x)的下凸函數(shù)。證畢。由平均互信息I(X;Y)的定義知道，I(X;Y)是信道轉(zhuǎn)移概率分布P(y|x)的函數(shù)。如果使用不同的信道（信道轉(zhuǎn)移概率分布P(y|x)可變）傳輸給定信源（信源概率分布P(x)固定）輸出的符號，則在系統(tǒng)的輸出端獲得的平均信息量是不同的。定理3.3指出平均互信息I(X;Y)與信道轉(zhuǎn)移概率分布P(y|x)之間的函數(shù)關(guān)系呈下凸性關(guān)系。這一平均互信息I(X;Y)的重要性質(zhì)表明，對于每一個給定的信源（P(x)固定），一定存在一種信道（轉(zhuǎn)移概率分布為P(y|x)），使得傳輸該信源符號時的平均互信息I(X;Y)達到其最小值。3.7信息系統(tǒng)的可靠性和有效性問題

對于一個廣義的通信系統(tǒng)模型，信息傳輸?shù)幕灸康氖窃诮邮斩藴?zhǔn)確地或近似地再現(xiàn)從信源輸出的信息，如何有效地表示信源輸出的信息，如何充分利用信道的信息傳輸能力實現(xiàn)信息的可靠傳輸，是信息系統(tǒng)的設(shè)計所追求的基本目標(biāo)。因此，信息系統(tǒng)的有效性和可靠性是系統(tǒng)最優(yōu)化技術(shù)研究中的基本問題。圖3-10簡單通信系統(tǒng)在圖3-10所示的簡單通信系統(tǒng)的信息傳輸過程中，信源X發(fā)出的符號經(jīng)信道傳遞，收信者通過觀測信道的輸出Y獲得信源信息。平均而言，由每一個信道輸出Y所得到的信源X的信息量被稱為系統(tǒng)的信息傳輸率R。由于平均互信息I(X;Y)即為在信道的輸出端接收到符號集Y后，平均由每一個輸出符號中獲得的關(guān)于信源X的信息量,因此，信息傳輸系統(tǒng)的信息傳輸率即為平均互信息，即R=I(X;Y)比特/符號由于平均互信息I(X;Y)是信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)的函數(shù),即I(X;Y)=I［P(x);P(y|x)］因此對于一個信息傳輸系統(tǒng)，如果信源不同（P(x)不同）或者信道不同（P(y|x)不同），則該系統(tǒng)的信息傳輸率R不同。由此可知，作為描述信息系統(tǒng)傳輸信息的特性和能力的一個基本物理量，平均互信息I(X;Y)的凸性對于研究信息傳輸與處理系統(tǒng)的可靠性和有效性問題，有重要的理論指導(dǎo)意義和實用價值。下面我們分別討論平均互信息的凸性所具有的物理意義以及針對信息系統(tǒng)最優(yōu)化中所反映的基本問題，分析平均互信息的凸性所具有的理論指導(dǎo)意義。

1．互信息I(X;Y)是信源概率分布的上凸函數(shù)的物理意義由于信道中存在的隨機性干擾可能使得信息傳輸發(fā)生錯誤，因此為了提高信息傳輸?shù)目煽啃裕枰ㄟ^信道編碼實現(xiàn)無差錯的信息傳輸。對于一個給定信道，在充分利用其信息傳輸能力的條件下的無差錯信息傳輸成為各類信道編碼方法研究的目標(biāo)。因此，給定有噪信道所具有的最大信息傳輸率R是信息系統(tǒng)可靠性研究中的一個基本的理論問題。由于平均互信息I（X;Y）是P(x)的上凸函數(shù)，因此對于每一種給定的信道（P(y|x)固定），存在一個平均互信息（信息傳輸率）的最大值，即αI［P1(x)］+βI［P2(x)］≤I［αP1(x)+βP2(x)］平均互信息是信源概率分布P（x）的上凸函數(shù)表明，使用給定信道傳輸不同信源輸出的信息時，系統(tǒng)的信息傳輸率不同。對于每一種給定信道（P(y|x)固定），一定存在一種信源概率分布P(x)，能夠使得系統(tǒng)的平均互信息達到其最大值。此最大平均互信息本質(zhì)上依賴于給定信道的轉(zhuǎn)移概率分布P(y|x)，它由給定信道本身的特性所決定，反映的是給定信道傳輸信息的能力，即給定信道的最大信息傳輸率。平均互信息I(X;Y)的上凸性所指出的信息傳輸率的上界表明，對于一種給定的信道，一定存在一個最大的信息傳輸率R。如果系統(tǒng)的信息傳輸率不超過此上界值，則總可以找到一種編碼方法，實現(xiàn)信息的可靠傳輸。在信息系統(tǒng)工程應(yīng)用中，平均互信息的上凸性所反映的最大的信息傳輸率指出了實現(xiàn)信息可靠傳輸?shù)睦碚摌O限，對于信息系統(tǒng)的可靠性分析和信道編碼原理研究具有重要的理論意義，在有噪信道的無差錯編碼技術(shù)研究中有明顯的指導(dǎo)意義。

2．I(X;Y)是信道轉(zhuǎn)移概率分布P(y|x)的下凸函數(shù)的物理意義對于一個信息系統(tǒng)，通過信源編碼可以以較少的數(shù)據(jù)表示信源輸出的信息（實際應(yīng)用中常要求滿足一定失真限度），構(gòu)成一個具有較高有效性的信息系統(tǒng)。因此，對于一個給定的信源，傳輸其輸出信息時必須有的最小信息率R是信息系統(tǒng)有效性研究中的一個基本的理論問題。平均互信息I(X;Y)是P(y|x)的下凸函數(shù)，即I［αP1(y|x)+βP2(y|x)］≤αI［P1(y|x)］+βI［P2(y|x)］互信息的下凸性表明：使用不同信道傳輸給定信源輸出的信息時，系統(tǒng)的信息傳輸率不同。對于每一種給定信源，一定存在一種信道，使得信宿獲得的關(guān)于此信源的平均信息率為最小。此最小值取決于給定信源的概率分布P(y|x)，反映的是給定信源輸出信息的特性。下凸性所指出的平均互信息I(X;Y)的取值下界給出了傳輸該信源輸出信息時，系統(tǒng)必須有的最小信息傳輸率R。同時，平均互信息的下凸性也表明，如果系統(tǒng)的信息傳輸率R小于I(X;Y)下界所指出的最小信息率，則該信源輸出的信息將產(chǎn)生失真。如果將不同信道看做不同的信源編碼方法，那么對于一種給定的信源，在滿足失真要求的條件下，若某種信源編碼方法能夠以接近I(X;Y)下界所指出的最小信息率表示該源輸出的信息，則該編碼方法的有效性較高。因此，平均互信息I(X;Y)的取值下界指出了在滿足一定失真度的要求下，傳輸該信源輸出信息時信息系統(tǒng)必須有的最小信息傳輸率R。可見，平均互信息I(X;Y)的下凸性對于信息系統(tǒng)的有效性分析和高效信源編碼原理具有重要理論意義，在圖像、視頻、音頻、文本等各類信源編碼和數(shù)據(jù)壓縮的應(yīng)用技術(shù)領(lǐng)域有明顯的指導(dǎo)意義。圖3-11二進制對稱信道

【例3.4】設(shè)離散無記憶信源:

通過圖3-11所示的二進制對稱信道傳輸。計算此時的平均互信息I(X;Y),討論平均互信息I(X;Y)隨信源、信道的變化關(guān)系。解：已知信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)，可以求出此輸入隨機變量X和輸出隨機變量Y的聯(lián)合概率分布，以及隨機變量Y的邊緣概率分布P(y)。此通信系統(tǒng)中的各種概率關(guān)系如表3-6和表3-7所示。表3-6P(x,y),P(y)表3-7P(x,y),P(y)可以求出：于是得到：

當(dāng)固定信道參數(shù)p和信源參數(shù)ε時，分別考察I(X;Y)的函數(shù)變化關(guān)系。

(1)如果信道給定（信道的參數(shù)p固定），而信源可變（信源概率分布可變，即ε為變量），則平均互信息I(X;Y)隨著ε的改變而改變。當(dāng)ε=0和ε=1時：I(X;Y)=H(p,1－p)－H(p,1－p)=0

(3.37)

I(X;Y)是信源概率分布的上凸函數(shù)。隨著ε在［0,1］范圍內(nèi)改變，I(X;Y)在其極值點處取得最大值。于是，對平均互信息I(X;Y)求偏導(dǎo)，得到I(X;Y)隨ε改變的極值點概率分布和平均互信息I(X;Y)的最大值。

令上式為0，有由此可知，為使得平均互信息I(X;Y)取得極大值的信源概率分布。可以進一步求出此時信道的輸出Y的邊緣概率分布為

即當(dāng)信源概率分布時，平均互信息I(X;Y)取得最大值，且此最大值為

maxI(X;Y)=max{H(Y)－H(Y|X)}

=1－H(p,1－p)比特/符號比特/符號由此可以做出互信息I（X；Y）隨機信源概率分布P(x)改變時的函數(shù)曲線（如圖3-12所示）。函數(shù)曲線表明，對于給定信道，在信源概率分布不同時，由信道的每一輸出符號平均獲得的信源輸出的信息量不同。當(dāng)信源概率為等概分布時，由此信道輸出端獲得的平均互信息最大。這個最大的平均互信息為maxI(X;Y)=1－H(p,1－p)取決于信道參數(shù)p，反映了給定信道傳輸信息的能力。圖3-12互信息I(X;Y)隨機信源概率分布p(x)改變時的函數(shù)曲線（2）如果使用不同的信道（p為變量）傳輸給定信源（ε固定）輸出的符號，則在接收端獲得的平均互信息I(X;Y)將隨著p的改變而改變。當(dāng)p=0或p=1時：

I(X;Y)=H(ε,1－ε)－H(0,1)

=H(ε,1－ε)=H(X)比特/符號

I(X;Y)是信道轉(zhuǎn)移概率分布的下凸函數(shù)。隨著p在［0,1］的范圍內(nèi)變化，平均互信息I(X;Y)的函數(shù)關(guān)系是下凸的，在其極值點處I(X;Y)取得最小值。可以求出，當(dāng)時信道中的平均互信息I(X;Y)達到最小值。由式（3.36）可知，此最小的平均互信息為這個最小值表明，在圖3-11所示的二進制對稱信道中，當(dāng)信道參數(shù)（信源參數(shù)ε為0~1之間的一個定值）時，信道中的干擾非常嚴(yán)重，以至于由信道的輸出Y無法得到關(guān)于信源X輸出的信息，I(X;Y)=0。由關(guān)于平均互信息I(X;Y)凸性的討論和例題分析可以看出，平均互信息I(X;Y)的凸性是反映信息系統(tǒng)最優(yōu)化的一個具有對偶性的基本問題。

I(X;Y)是信源概率分布P(x)的上凸函數(shù)，指出了給定信道的最大信息傳輸率。由于這一最大的信息傳輸率度量了給定信道傳輸信息的能力，因此I(X;Y)的上凸性函數(shù)關(guān)系反映了信息系統(tǒng)的可靠性問題，指出了信道編碼研究中的基本關(guān)系和追求目標(biāo)。

I(X;Y)是信源概率分布P(y|x)的下凸函數(shù),指出了傳輸給定信源必須有的最小信息傳輸率。由于這一最小的信息傳輸率度量了給定信源輸出信息的特性，因此I（X;Y）的下凸性函數(shù)關(guān)系反映了信息系統(tǒng)的有效性問題，指出了信源編碼方法研究中需要滿足的基本關(guān)系和追求目標(biāo)。作為信息理論中的兩個最基本的概念，信源的信息熵H(X)和平均互信息I(X;Y)在信息理論的學(xué)習(xí)和信息系統(tǒng)設(shè)計中有重要的意義和作用。3.8連續(xù)信道的平均互信息

本節(jié)將首先討論單符號連續(xù)信道的平均互信息，然后得到波形信道的信息傳輸率，而后給出連續(xù)信道平均互信息的一些基本性質(zhì)。3.8.1單符號連續(xù)信道的平均互信息單符號連續(xù)信道的數(shù)學(xué)模型為［X,p(y|x),Y］，如圖3-13所示。圖3-13基本連續(xù)信道其輸入信源X為

輸入信源Y為而信道的傳遞概率密度函數(shù)為p(y|x)。其中，。與2.5節(jié)討論的連續(xù)信源信息熵的問題一樣，我們也可以對連續(xù)信道輸入和輸出隨機變量的取值進行量化，將其轉(zhuǎn)換成離散信道，求得此離散信道的平均互信息，然后將量化間隔Δ趨于零，就成為連續(xù)信道的平均互信息。因此，單符號連續(xù)信道輸入X和輸出Y之間的平均互信息為(3.38)(3.39)(3.40)對于連續(xù)信道的平均互信息來說，不但這些關(guān)系式和離散信道下平均互信息的關(guān)系式完全類似，而且它保留了離散信道的平均互信息的所有含義和性質(zhì)，只是表達式中用連續(xù)信源的差熵替代了離散信源的熵。由此可看出，將差熵定義為連續(xù)信源的熵是有重要的實際意義的。單符號連續(xù)信道的信息傳輸率為R=I(X;Y)比特/自由度(3.41)3.8.2連續(xù)信道平均互信息的性質(zhì)

兩連續(xù)型隨機變量之間的平均互信息的表達式與兩離散隨機變量之間的平均互信息的表達式不但類似，而且具有相同的性質(zhì)。下面我們給出兩連續(xù)型隨機變量之間的平均互信息的特性。

1．非負性I(X;Y)≥0

(3.42)證明：其中:

因為－logX是下凸函數(shù)，根據(jù)顏森不等式得：上式運用和求得。從證明過程中可知，等式成立的條件是p(x)=p(x|y)，即連續(xù)隨機變量X和Y統(tǒng)計獨立。證畢。上述證明方法與離散變量的證明方法是一致的，只是在公式中把求和號換成積分號，把概率分布換成概率密度函數(shù)。因此，在離散變量中所得的有關(guān)結(jié)論均可推廣到連續(xù)變量中。2．對稱性(交互性)因為p(xy)=p(yx)，所以當(dāng)X和Y統(tǒng)計獨立時:p(x|y)=p(x)I(X;Y)=I(Y;X)=0此時不可能從一個隨機變量獲得關(guān)于另一個隨機變量的信息。

3．凸?fàn)钚赃B續(xù)變量之間的平均互信息I(X;Y)是輸入連續(xù)變量X的概率密度函數(shù)p(x)的上凸函數(shù),I(X;Y)又是連續(xù)信道傳遞概率密度函數(shù)p(y|x)的下凸函數(shù)。凸?fàn)钚缘淖C明方法類似于離散情況中的證明，此處從略。

4．信息不增性設(shè)連續(xù)信道輸入變量為X，輸出變量為Y。若對連續(xù)隨機變量Y再進行處理而成為另一連續(xù)隨機變量Z，一般總會丟失信息，最多保持原獲得的信息不變，而所獲得的信息不會增加。這也就是數(shù)據(jù)處理定理，即I（X;Z）≤I(X;Y)

(3.43)其中,z=f(y)，當(dāng)且僅當(dāng)該函數(shù)是一一對應(yīng)時式(3.43)中的等式成立。證明：設(shè)X、Y、Z三連續(xù)隨機變量之間形成兩個連續(xù)信道的串接，如圖3-14所示。因為圖3-14兩串接連續(xù)信道而

其中，因為所以得到:

其中，E［·］為對X、Y、Z三個連續(xù)概率空間求平均。運用顏森不等式，可得其中，因為所以

由此證得:I(XY;Z)≥I(Y;Z)(3.44)當(dāng)且僅當(dāng)對所有x、y、z都有p(z|xy)=p(z|y)，即X、Y、Z是馬氏鏈時，式(3.44)中的等式成立。同理可證得：I（XY;Z）≥I(X;Z)

(3.45)當(dāng)且僅當(dāng)對所有x、y、z都有