《信息論、編碼及應(yīng)用》課件第3章

第3章離散信道及其信道容量3.1單符號(hào)離散信道的數(shù)學(xué)模型3.2單符號(hào)的互信息量3.3后驗(yàn)概率與單符號(hào)互信息量關(guān)系的進(jìn)一步討論3.4平均互信息、損失熵(疑義度)和噪聲熵3.5平均互信息的特性3.6單符號(hào)離散信道的信道容量3.7多符號(hào)離散信道的數(shù)學(xué)模型3.8單符號(hào)離散無(wú)記憶的N次擴(kuò)展信道3.9擴(kuò)展信道的信息傳輸特性3.10平均互信息量的不增性與數(shù)據(jù)處理定理3.11信源與信道的匹配

3.1單符號(hào)離散信道的數(shù)學(xué)模型

單符號(hào)離散信道是最簡(jiǎn)單的離散信道。這種信道容許輸入一個(gè)離散隨機(jī)變量X，相應(yīng)輸出一個(gè)離散隨機(jī)變量Y，如圖3-1所示。圖3-1單符號(hào)離散信道的數(shù)學(xué)模型離散信道數(shù)學(xué)模型的建立主要有以下三個(gè)方面：

(1)輸入隨機(jī)變量X的符號(hào)集為X：{a1，a2，…，ar}，即X可取r種不同的符號(hào)。

(2)輸出隨機(jī)變量Y的符號(hào)集為Y：{b1，b2，…，bs}，即Y可取s種不同的符號(hào)。

(3)信道的傳遞作用集中體現(xiàn)為隨機(jī)噪聲的干擾作用。

如果上述三個(gè)方面確定，則信道也就確定了，反之亦然。當(dāng)P(bj|ai)=0時(shí)，表示在輸入符號(hào)ai的前提下，輸出端不可能出現(xiàn)符號(hào)bj。當(dāng)P(bj|ai)=1時(shí)，表示在輸入符號(hào)ai的前提下，輸出端出現(xiàn)符號(hào)bj是一個(gè)必然事件。一般情況下，由于信道中隨機(jī)噪聲的干擾，當(dāng)信道輸入某一符號(hào)ai時(shí)，輸出端出現(xiàn)哪個(gè)符號(hào)是不確定的。但有一點(diǎn)是可以肯定的，即一定輸出Y：{b1，b2，…，bs}中的某個(gè)符號(hào)，而不是出現(xiàn)其它符號(hào)，亦即

(3-1)成立。對(duì)于給定信道，將測(cè)定的r×s個(gè)不同的條件概率P(bj|ai)(i=1，2，…，r；j=1，2，…，s)按輸入和輸出的對(duì)應(yīng)關(guān)系，排成一個(gè)矩陣:(3-2)稱矩陣[P(Y|X)]為前向信道矩陣。又因?yàn)榫仃囍械脑鼐鶠楦怕?，表示信道隨機(jī)噪聲的干擾作用，所以有時(shí)也稱之為隨機(jī)矩陣。我們還可以用圖示法直觀形象地表示信道的數(shù)學(xué)模型，如圖3-2所示，圖中箭頭旁邊的P(bj|ai)表示輸入符號(hào)ai的前提下輸出符號(hào)bj的條件概率。圖3-2前向信道的圖示在解決了描述信道的數(shù)學(xué)模型之后，還要進(jìn)一步討論在信道的輸入隨機(jī)變量X的統(tǒng)計(jì)特性已知的情況下，對(duì)于給定信道來(lái)說(shuō)，輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間的統(tǒng)計(jì)關(guān)系。設(shè)信源空間為而信道矩陣仍如式(3-2)所示，下面作進(jìn)一步的分析和討論。

(1)輸入符號(hào)ai和輸出符號(hào)bj的聯(lián)合概率為式中:i=1，2，…，r；j=1，2，…，s。在式(3-4)中，P(bj|ai)是信道的傳遞概率，它表示在信道輸入符號(hào)ai的前提下，通過(guò)信道傳輸，信道輸出符號(hào)bj的概率，常稱之為前向概率，故[P(Y|X)]稱為前向信道矩陣。而條件概率P(ai|bj)則是已知信道輸出符號(hào)bj的前提下，信道輸入符號(hào)ai的概率，有時(shí)稱它為后向概率。P(ai)是信道輸入符號(hào)ai的概率，稱它為符號(hào)ai的先驗(yàn)概率，相應(yīng)地，將P(ai|bj)稱為輸入符號(hào)ai的后驗(yàn)概率。

在已知信道輸入隨機(jī)變量X的先驗(yàn)概率分布P(ai)和信道矩陣[P(Y|X)]的情況下，可進(jìn)一步求得聯(lián)合概率P(aibj)。

(2)根據(jù)P(ai)和P(bj|ai)，得輸出符號(hào)bj的概率P{Y=bi}=P(bj)為(3-5)得信宿空間為(3-6)

(3)信道輸出符號(hào)bj后，推測(cè)輸入符號(hào)ai的后驗(yàn)概率P{X=ai|Y=

bi}=P(ai|bj)為

(3-7)式中:i=1，2，…，r；j=1，2，…，s。當(dāng)求得所有的P(ai|bj)后，得信道矩陣為

[P(X|Y)]=(3-8)稱矩陣[P(X|Y)]為后向信道矩陣，并且滿足(3-9)即式(3-8)中的任一行之和等于1。這一結(jié)果說(shuō)明了當(dāng)信道輸出任一符號(hào)bj時(shí)，一定是符號(hào)集X：{a1，a2，…，ar}中的某一個(gè)符號(hào)輸入到信道中，而不是其它符號(hào)。后向信道的圖示如圖3-3所示。圖3-3后向信道的圖示

(4)后向信道矩陣與前向信道矩陣的關(guān)系。將前向信道矩陣轉(zhuǎn)置，并按式(3-7)計(jì)算轉(zhuǎn)置后矩陣中的每一個(gè)元素P(ai|bj),便得到了后向矩陣，如下式所示:(3-10)式中:i=1，2，…，

r;j=1，2，…，s。

3.2單符號(hào)的互信息量

信息流通的根本問題，是定量計(jì)算信宿收到信道輸出的某一符號(hào)bj后，從bj中獲取關(guān)于信源某一符號(hào)ai的信息量，如圖3-4所示。圖3-4從bj中獲取關(guān)于ai的信息量要解決這一問題，我們要重申并繼續(xù)遵循信息理論的一個(gè)基本假設(shè)如下：首先，我們站在信道輸出端的立場(chǎng)上來(lái)考察問題。假設(shè)信道是無(wú)噪信道。這時(shí)，信宿必能確切無(wú)誤地收到符號(hào)ai，并且完全消除對(duì)ai的不確定度，所獲取的信息量就是ai的不確定度I(ai),即ai本身含有的全部信息量:(3-11)一般情況下，信道中總是存在著噪聲的隨機(jī)干擾。信源發(fā)出符號(hào)ai，在信道的輸出端只能收到由于干擾作用引起的ai的某種變型bj。這時(shí)信宿收到bj后，推測(cè)信源發(fā)出符號(hào)ai的概率，由先驗(yàn)概率P(ai)變?yōu)楹篁?yàn)概率P(ai|bj)。對(duì)于信宿來(lái)說(shuō)，在收到bj前，對(duì)發(fā)ai的不定度是先驗(yàn)不定度I(ai);收到bj后，對(duì)發(fā)ai的不定度就轉(zhuǎn)變?yōu)楹篁?yàn)不定度:(3-12)這樣，信宿收到bj前后對(duì)發(fā)ai不定度的消除，就是從bj中獲取關(guān)于ai的信息量:(3-13)其次，我們站在信道輸入端的立場(chǎng)上來(lái)考察問題。對(duì)式(3-13)作恒等變換，得(3-14)式(3-14)給出這樣的啟示，如果我們站在信道的輸入端觀察問題，在輸入端出現(xiàn)符號(hào)ai以前，輸出端出現(xiàn)符號(hào)bj的先驗(yàn)概率P(bj)可由式(3-6)計(jì)算而得;當(dāng)?shù)弥斎攵顺霈F(xiàn)符號(hào)ai后，計(jì)算輸出端出現(xiàn)符號(hào)bj的概率就由先驗(yàn)概率P(bj)轉(zhuǎn)變?yōu)楹篁?yàn)概率P(bj|ai)。這樣，觀察者在得知輸入端出現(xiàn)符號(hào)ai以前，對(duì)輸出端出現(xiàn)符號(hào)bj的先驗(yàn)不定度為(3-15)當(dāng)觀察者得知輸入端出現(xiàn)符號(hào)ai后，對(duì)輸出端出現(xiàn)bj仍然存在的后驗(yàn)不定度為(3-16)同理得(3-17)從式(3-13)和式(3-17)中可得出這樣一個(gè)結(jié)論：從bj中可獲取關(guān)于ai的信息量I(ai；bj)，也可從ai中獲取關(guān)于bj的信息量I(bj；ai)，并且兩者相等，即

I(ai；bj)=I(bj；ai)

(3-18)它們兩者是“你中有我，我中有你”的相互關(guān)系，是同一個(gè)物理量，只因觀察者的立場(chǎng)不同以不同的形式表達(dá)而已。為了充分表達(dá)這個(gè)特性，我們稱I(ai；bj)和I(bj；ai)為互信息量。最后，我們可以既不站在信道的輸入端，也不站在信道的輸出端，而是站在通信系統(tǒng)的總體立場(chǎng)上來(lái)考察問題。這時(shí)，在通信前，我們可認(rèn)為輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間統(tǒng)計(jì)獨(dú)立，它們之間不存在任何聯(lián)系，輸入符號(hào)ai和輸出符號(hào)bj出現(xiàn)的先驗(yàn)概率滿足(3-19)先驗(yàn)不定度為(3-20)在通信后，輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間由信道的統(tǒng)計(jì)特性相聯(lián)系，即它們之間不再統(tǒng)計(jì)獨(dú)立，兩者變得相關(guān)了，其聯(lián)合概率變?yōu)镻(aibj)=P(ai)P(bj|ai)=P(bj)P(ai|bj)(3-21)后驗(yàn)不定度為(3-22)這樣，通信后所獲得的信息量就等于通信前后不定度之差:(3-23)另一方面，因?yàn)镻(aibj)、P(bj)和P(ai|bj)均可由已知的信源統(tǒng)計(jì)特性P(ai)和信道的傳遞特性P(bj|ai)決定，故得I(ai；bj)或I(bj；ai)由P(ai)和P(bj|ai)直接表示如下:(3-24)例3-1

假設(shè)有一條電線上串聯(lián)了8個(gè)燈泡x1，x2，x3，…，x8。這8個(gè)燈泡損壞的可能性是等概率的，現(xiàn)假設(shè)這8個(gè)燈泡中有一個(gè)也只有一個(gè)燈泡已損壞，從而導(dǎo)致了串聯(lián)燈泡都不能點(diǎn)亮。在未檢查之前，我們不知道哪個(gè)燈泡xi(i=1，2，…，8)已損壞，是不知的和不確定的。我們只有通過(guò)檢查，用萬(wàn)用表去測(cè)量電路的斷路情況，獲得了足夠的信息量之后，才能獲得和確定是哪個(gè)燈泡已損壞。試從互信息的角度來(lái)分析這一原理。解第一次用萬(wàn)用表測(cè)量電路的起始至中間一段的電阻值。若電路通則表示損壞的燈泡在后端，若不通則表示損壞的燈泡處在前端。通過(guò)第一次測(cè)量可消除一些不確定性，獲得一定的信息量。第一次測(cè)量獲得了多少信息量呢？在未測(cè)量前(亦即相當(dāng)于“通信前”)，我們不知道到底是哪一個(gè)燈泡損壞。這時(shí)8個(gè)燈泡中有一個(gè)損壞的先驗(yàn)概率為P先驗(yàn)=1/8，從而得知測(cè)量前(通信前)的先驗(yàn)不定度為

I先驗(yàn)=log(1|P先驗(yàn))=log8=3比特

當(dāng)進(jìn)行了第一次測(cè)量后(相當(dāng)于“通信后”)，可知其中的4個(gè)是好的，而另外4個(gè)中有一個(gè)是壞的，變成了猜測(cè)4個(gè)中的哪一個(gè)損壞的情況了。這時(shí)，4個(gè)燈泡中有一個(gè)損壞的后驗(yàn)概率為

P后驗(yàn)=1/4。這樣，通過(guò)第一次測(cè)量，我們所獲得的互信息量為

I1=log(P后驗(yàn)|P先驗(yàn))=log2=1比特

同理，當(dāng)進(jìn)行第二次測(cè)量之前，4個(gè)中有一個(gè)損壞的先驗(yàn)概率為P先驗(yàn)=1/4，后驗(yàn)概率變成了猜測(cè)2個(gè)中的哪一個(gè)損壞的情況了，故后驗(yàn)概率為P后驗(yàn)=1/2。這樣，通過(guò)第二次測(cè)量，我們所獲得的互信息量為

I2=log(P后驗(yàn)|P先驗(yàn))=log2=1比特

當(dāng)進(jìn)行第三次測(cè)量之前，2個(gè)中有一個(gè)損壞的先驗(yàn)概率為P先驗(yàn)=1/2。當(dāng)進(jìn)行了第三次測(cè)量后，我們可肯定得知是哪一個(gè)燈泡損壞了，則后驗(yàn)概率為P后驗(yàn)=1。這樣，通過(guò)第三次測(cè)量，我們所獲得的互信息量為

I3=log(P后驗(yàn)|P先驗(yàn))=log2=1比特通過(guò)三次測(cè)量，我們可以肯定是其中的哪個(gè)燈泡壞了，完全消除了不確定性。獲得的互信息量應(yīng)等于測(cè)量前的先驗(yàn)不定度，即

I先驗(yàn)=I=I1+I2+I3=3比特3.3后驗(yàn)概率與單符號(hào)互信息量關(guān)系的進(jìn)一步討論

通過(guò)上一節(jié)的討論可知，計(jì)算公式(3-13)、(3-17)和(3-23)的共同特征是互信息量等于后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)，即在信息理論中，我們總是認(rèn)為先驗(yàn)概率是先驗(yàn)已知或事先測(cè)定的。所以，式(3-13)表明互信息量實(shí)際上取決于信道統(tǒng)計(jì)特性決定的后驗(yàn)概率。后驗(yàn)概率P(ai|bj)具有概率的一般特性：下面分析和討論當(dāng)后驗(yàn)概率P(ai|bj)取不同值時(shí)對(duì)互信息量的不同影響。

(1)若P(ai|bj)=1，由式(3-13)，得

(2)若P(ai)<P(ai|bj)<1，后驗(yàn)概率P(ai|bj)大于先驗(yàn)概率P(ai)，由式(3-13)，得

(3)若P(ai)=P(ai|bj)，則(3-28)

(4)若P(ai|bj)<P(ai)<1，則(3-29)這表明收到bj后對(duì)信源發(fā)ai的不定度反而大于收到bj前對(duì)信源發(fā)ai的不定度。符號(hào)bj的接收，非但沒有減少對(duì)信源發(fā)ai的不定度，反而增加了這種不定度，使得互信息量小于零。

3.4平均互信息、損失熵(疑義度)和噪聲熵

若對(duì)式(3-13)求統(tǒng)計(jì)平均，得平均互信息I(X；Y)的結(jié)果如下：若對(duì)式(3-17)求統(tǒng)計(jì)平均，得平均互信息I(Y；X)的結(jié)果如下:式中，H(Y|X)稱為噪聲熵。它是由信道噪聲所引起的，故稱之為噪聲熵。(3-31)若對(duì)式(3-23)求統(tǒng)計(jì)平均，得平均互信息的結(jié)果如下:(3-32)根據(jù)式(3-30)、式(3-31)和式(3-32)，得(3-33)由式(3-33)中的第一式和第三式，得

H(XY)=H(Y)+H(X|Y)

(3-34)

式(3-34)就是我們熟知的熵的可加性的一個(gè)計(jì)算公式。

同理，由式(3-33)中的第二式和第三式，得

H(XY)=H(X)+H(Y/X)

(3-35)

式(3-35)也是我們熟知的熵的可加性的另一個(gè)計(jì)算公式。

根據(jù)式(3-30)，得損失熵的數(shù)學(xué)表達(dá)式為(3-36)同理，根據(jù)式(3-31)，得噪聲熵的數(shù)學(xué)表達(dá)式為(3-37)下面分兩種極限信道的情況來(lái)進(jìn)行分析和討論。

(1)第一種極限信道情況為無(wú)噪無(wú)損的一一對(duì)應(yīng)的理想信道。無(wú)噪無(wú)損信道如圖3-5所示，滿足(3-38)式中:i=1,2,…,r;j=1，2，…，s;r=s。對(duì)應(yīng)的前向信道矩陣為

再根據(jù)公式即已知P(bj|ai)(盡管P(ai)不知，但在這情況下，分子和分母的P(ai)相互抵消)，可計(jì)算P(ai|bj)，得對(duì)應(yīng)的后向信道矩陣為

上述計(jì)算表明，前向信道矩陣[P(Y|X)]和后向信道矩陣[P(X|Y)]中的所有元素均為0或1。根據(jù)高等數(shù)學(xué)中的羅必塔法則，得故得損失熵H(X|Y)=0和噪聲熵H(Y|X)=0，因此I(X；Y)=I(Y；X)=H(X)=H(Y)

(3-39)式(3-39)表明，在無(wú)噪無(wú)損的信道傳輸信息時(shí)，能獲得信源所具有的全部信息量。圖3-5無(wú)噪無(wú)損信道圖示

(2)第二種極限信道情況為輸入端X和輸出端Y完全統(tǒng)計(jì)獨(dú)立，滿足H(X|Y)=H(X)和H(Y|X)=H(Y)，從而有(3-40)

在一般情況下，實(shí)際信道既不是無(wú)噪無(wú)損信道，也不是輸入端和輸出端完全統(tǒng)計(jì)獨(dú)立的信道，接收端所獲得的信息量為

例3-2

已知某一通信系統(tǒng)，其信源空間為其前向信道矩陣[P(Y|X)]為試求該系統(tǒng)傳輸?shù)钠骄畔⒘縄(X；Y)。

解已知信源空間和前向信道矩陣，可進(jìn)一步求得其聯(lián)合概率矩陣為由聯(lián)合概率矩陣求得P(b1)=0.125，P(b2)=0.125，P(b3)=0.25，P(b4)=0.5。最后得I(X；Y)=H(Y)－H(Y|X)=1.5比特/符號(hào)

3.5平均互信息的特性

3.5.1平均互信息的非負(fù)性

根據(jù)式(3-30)和式(3-31)，得因H(X)≥H(X|Y)，H(Y)≥H(Y|X)故I(X；Y)≥0，

I(Y；X)≥0

另一方面，可利用凸函數(shù)的不等式來(lái)加以證明。根據(jù)式(3-30)對(duì)上式兩邊取負(fù)號(hào)(如果不取負(fù)號(hào)，則無(wú)法用詹森不等式證明所需的結(jié)果)，得根據(jù)凸函數(shù)不等式(詹森不等式)選取f(xi)=logxi，令xi=P(ai)/P(ai|bj)，Pi=P(aibj)，得(3-42)從而有I(X；Y)≥0。

同樣可根據(jù)式(3-31)或式(3-32)，證明其非負(fù)性。例如，根據(jù)式(3-32)，得選取xi=P(ai)P(bj)/P(aibj)，Pi=P(aibj)，得從而有I(X；Y)≥0。3.5.2平均互信息的極值性

平均互信息的極值性為

I(X；Y)≤min[H(X)，H(Y)]

(3-43)

事實(shí)上，由于

I(X；Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)

并且H(X|Y)≥0，H(Y|X)≥0，故下式成立：

I(X；Y)≤H(X)，I(X；Y)≤H(Y)

因此有

I(X；Y)≤min[H(X)，H(Y)]3.5.3平均互信息的對(duì)稱性(交互性)

I(X；Y)=I(Y；X)，亦即將X和Y互換，平均互信息的大小保持不變。這說(shuō)明，無(wú)論我們是站在輸出端的立場(chǎng)，還是站在輸入端的立場(chǎng)，或者是站在通信系統(tǒng)的總體立場(chǎng)上來(lái)考察信息獲取的問題，所得到的結(jié)果都是一致的。

3.5.4平均互信息的凸函數(shù)性

平均互信息的一般形式為(3-44)這說(shuō)明平均互信息I是信源概率分布P(ai)和信道傳遞概率P(bj|ai)的函數(shù)。

(1)若固定信道不變，變動(dòng)信源，那么，平均互信息I就只是信源概率分布P(ai)的函數(shù)，即

I(X；Y)=I[P(ai)]

(3-45)

設(shè)信源概率分布P(ai)滿足

P(ai)=αP1(ai)+βP2(ai)

(3-46)

式中，0<α，β<1，α+β=1。定理3-1

在固定信道的情況下，平均互信息I(X；Y)是信源概率分布P(ai)的∩型凸函數(shù)，即存在信源概率分布P(ai)，使I(X；Y)達(dá)到最大。

在固定信道的前提下，可以證明不等式成立，因此，I(X；Y)是信源概率分布P(ai)的∩型凸函數(shù)。證明見附錄3-1。定理3-1說(shuō)明，既然I(X；Y)是信源概率分布P(ai)的∩型凸函數(shù)，那么，在固定信道的情況下，我們一定可以找到一種概率分布為P(X)：{P(ai)；i=1，2，…，r}的信源X，這個(gè)信源為該信道的最佳匹配信源，能使平均互信息量達(dá)到最大。

(2)若固定信源不變，變動(dòng)信道，那么，平均互信息I就只是信道傳遞概率P(bj|ai)的函數(shù)，即

I(X；Y)=I[P(bj|ai)]

(3-48)

設(shè)信道傳遞概率P(bj|ai)滿足

P(bj|ai)=αP(bj|ai)+βP(bj|ai)

(3-49)

式中，0<α，β<1，α+β=1。

定理3-2

在固定信源的情況下，平均互信息I(X；Y)是信道傳遞概率P(bj|ai)的∪型凸函數(shù)，即存在信道傳遞概率P(bj|ai)，使I(X；Y)達(dá)到最小。

在固定信源的前提下，可以證明不等式(3-50)成立。因此，I(X；Y)是信道傳遞概率P(bj|ai)的∪型凸函數(shù)。證明見附錄3-2。

定理3-2說(shuō)明，既然I(X；Y)是信道傳遞概率P(bj|ai)的∪型凸函數(shù)，那么，在固定信源的情況下，我們一定可以找到一種傳遞概率為

P(Y|X)：{P(bj|ai)；i=1，2，…，r；j=1，2，…，s}

的信道，該信道對(duì)于傳輸信息來(lái)說(shuō)最為不利，能使平均互信息量達(dá)到最小。

例3-3

已知某二進(jìn)制對(duì)稱信道，其信源空間為式中，，

。對(duì)應(yīng)的前向信道矩陣為解首先求得其聯(lián)合概率矩陣為進(jìn)一步求得從而有

最后得當(dāng)信道固定時(shí)，即固定p時(shí)，可得I(X；

Y)是信源分布ω的上凸函數(shù)。當(dāng)ω=1/2時(shí)，得

達(dá)到最大，從而使得I(X;Y)達(dá)到最大，如圖3-6所示。圖3-6I(X；Y)是信源分布ω的上凸函數(shù)畫圖所用的MATLAB程序如下：

p=0.2；

w=0：0.001：1；

H_Y=－((1－p).*w+p.*(1－w)).*log2((1－p).*w+p.*(1－w))－(p.*w+(1－p).*(1－w)).*log2(p.*w+(1－p).*(1－w))；

H_Y_X=－(1－p).*log2(1－p)－p.*log2(p)；

I_X_Y=H_Y－H_Y_X；

figure(1)

plot(w，I_X_Y)；

Xlabel(′＼omega′，′fontsiZe′，20，′fontname′，′timesnewroman′，′FontAngle′，′italic′)；

Ylabel(′I(X；Y)′，′fontsiZe′，20，′fontname′，′timesnew

roman′，′FontAngle′，′italic′)；

holdon

p=0.9；

H_Y=－((1－p).*w+p.*(1－w)).*log2((1－p).*w+p.*(1－w))－(p.*w+(1－p).*(1－w)).*log2(p.*w+(1－p).*(1－w))；

H_Y_X=－(1－p).*log2(1－p)－p.*log2(p)；

I_X_Y=H_Y－H_

Y_X；

figure(1)

plot(w，I_X_Y)；

holdoff當(dāng)信源ω固定時(shí)，I(X；Y)是信道傳遞概率p的下凸函數(shù)，如圖3-7所示。

(1)當(dāng)p=0時(shí)，I(X；Y)=H(Y)－H(Y|X)=H(ω，)－H(0，1)=H(ω，);

(2)當(dāng)p=1時(shí)，I(X；Y)=H(Y)－H(Y|X)=H(，ω)－H(1，0)=H(，ω);

(3)當(dāng)p=0.5時(shí)，I(X；

Y)=H(Y)－H(Y|X)=H(0.5，0.5)－H(0.5，0.5)=0。圖3-7I(X；Y)是信道分布p的下凸函數(shù)畫圖所用的MATLAB程序如下：

w=0.2；

p=0：0.001：1；

H_Y=－((1－p).*w+p.*(1－w)).*log2((1－p).*w+p.*(1－w))－(p.*w+(1－p).*(1－w)).*log2(p.*w+(1－p).*(1－w))；

H_Y_X=－(1－p).*log2(1－p)－p.*log2(p)；

I_X_Y=H_Y－H_Y_X；

figure(1)

plot(p，I_X_Y)；

Xlabel(′p′，′fontsiZe′，20，′fontname′，′timesnewroman′，′FontAngle′，′italic′)；

Ylabel(′I(X；Y)′，′fontsiZe′，20，′fontname′，′timesnewroman′，′FontAngle′，′italic′)；

holdon

w=0.9；

H_Y=－((1－p).*w+p.*(1－w)).*log2((1－p).*w+p.*(1－w))－(p.*w+(1－p).*(1－w)).*log2(p.*w+(1－p).*(1－w))；

H_Y_X=－(1－p).*log2(1－p)－p.*log2(p)；

I_X_Y=H_Y－H_Y_X；

figure(1)

plot(p，I_X_Y)；

holdoff

3.6單符號(hào)離散信道的信道容量

3.6.1信道容量的定義

我們知道，平均互信息量I(X；Y)就是從平均的意義上來(lái)說(shuō)，信道傳遞一個(gè)符號(hào)流經(jīng)信道的平均信息量。從這個(gè)意義上講，我們也可稱平均互信息為信道的信息傳輸率R，即

R=I(X；Y)(比特/信道符號(hào))(3-51)

有時(shí)，我們所關(guān)心的是信道在單位時(shí)間(一般以秒為單位)內(nèi)能傳輸多少信息量。若信道平均傳輸一個(gè)符號(hào)需要t秒，則信道平均每秒傳輸?shù)男畔⒘?即信道的信息傳輸速率可表示為(3-52)(比特/秒)由前面的討論我們知道，平均互信息量I(X；Y)是信源X的概率分布P(ai)(i=1，2，…，r)和信道傳遞概率P(bj|ai)(i=1，2，…，r；j=1，2，…，s)的函數(shù)，即滿足

R=I(X；Y)=I[P(ai)，P(bj|ai)]

(3-53)

根據(jù)上面關(guān)于平均互信息是信源概率分布P(ai)的∩型凸函數(shù)的討論，我們總可以找到概率分布為P(X)：{P(ai)；i=1，2，…，r}的信源，使得平均互信息I(Y；X)達(dá)到最大值。我們定義這個(gè)最大值為該信道的信道容量(3-54)(比特/信道符號(hào))由式(3-54)可知，信道容量C同時(shí)也是信道的最大信息傳輸率R。若信道傳輸一個(gè)符號(hào)平均需要t秒，則定義信道的最大傳輸速率為信道容量Ct，即(3-55)(比特/秒)3.6.2信道容量的一般計(jì)算方法

由信道容量的定義可知，信道容量就是在固定信道的條件下，對(duì)所有可能的輸入概率分布求平均互信息的極大值。由于信源概率分布P(X)：{P(ai)；i=1，2，…，r}滿足因此，信道容量C就是在上述約束條件

下，平均互信息量I(X；Y)對(duì)信源概率分布P(X)：{P(ai)；i=1，2，…，r}的條件極大值。根據(jù)高等數(shù)學(xué)中求解多元函數(shù)條件極值的方法，作輔助函數(shù)(3-56)其中λ為待定常數(shù)。用輔助函數(shù)F對(duì)P(ai)(i=1，2，…，r)求偏導(dǎo)，并令其等于零，得r個(gè)方程并且與約束方程聯(lián)立，得聯(lián)立方程組如下:定理3-3

對(duì)于一個(gè)信道的前向信道矩陣[P(Y|X)]來(lái)說(shuō)，當(dāng)且僅當(dāng)[P(Y|X)]中所有的元素都為0或1時(shí)，該信道的噪聲熵H(Y|X)=0。

證明根據(jù)噪聲熵的數(shù)學(xué)表達(dá)式，得上式表明，如果一個(gè)信道的前向信道矩陣[P(Y|X)]中所有的元素都為0或1，則有P(bj|ai)logP(bj|ai)=0故H(Y|X)=0成立。否則有P(bj|ai)logP(bj|ai)≠0，故H(Y|X)≠0。定理3-4

對(duì)于一個(gè)信道的后向信道矩陣[P(X|Y)]來(lái)說(shuō)，當(dāng)且僅當(dāng)[P(X|Y)]中所有的元素都為0或1時(shí)，該信道的損失熵H(X|Y)=0。

證明根據(jù)損失熵的數(shù)學(xué)表達(dá)式，得上式表明，如果一個(gè)信道的后向信道矩陣[P(X|Y)]中所有的元素都為0或1，則有P(ai|bj)logP(ai|bj)=0故H(X|Y)=0成立。否則有P(ai|bj)logP(ai|bj)≠0，故H(X|Y)≠0。在下面的分析中，還要注意到這樣一個(gè)重要結(jié)論：前向信道矩陣[P(Y|X)]和后向信道矩陣[P(X|Y)]中任何一行的所有元素之和等于1，即滿足3.6.3無(wú)噪無(wú)損離散信道及其信道容量

無(wú)噪無(wú)損信道的特點(diǎn)是，前向信道的輸入符號(hào)X與輸出符號(hào)Y是一一對(duì)應(yīng)的關(guān)系，同時(shí)，輸出符號(hào)Y與輸入符號(hào)X也是一一對(duì)應(yīng)的關(guān)系，從而使得X中的符號(hào)數(shù)r與Y中的符號(hào)數(shù)s一定相等，即滿足r=s。因此，該信道對(duì)應(yīng)的前向信道矩陣[P(Y|X)]中的所有元素都為0或1，后向信道矩陣[P(X|Y)]中的所有元素也都為0或1。根據(jù)定理3-3和定理3-4，得噪聲熵H(Y|X)和損失熵H(X|Y)均同時(shí)為零，因此，該信道一定是無(wú)噪無(wú)損信道。

例如，圖3-8所示信道的輸入符號(hào)與輸出符號(hào)是一一對(duì)應(yīng)的，因此，該信道一定是無(wú)噪無(wú)損信道。圖3-8無(wú)噪無(wú)損前向信道根據(jù)圖3-8，得其前向信道矩陣[P(Y|X)]為可見，前向信道矩陣[P(Y|X)]中的所有元素均為0或1，噪聲熵H(Y|X)=0，故該信道是無(wú)噪信道。另一方面，根據(jù)公式得對(duì)應(yīng)的后向信道矩陣中的各個(gè)元素如下:

從而后向信道矩陣[P(X|Y)]為(3-59)從這個(gè)例子可知，對(duì)于無(wú)噪無(wú)損信道，滿足[P(Y|X)]T=[P(X|Y)]。對(duì)應(yīng)的后向信道如圖3-9所示。因后向信道矩陣[P(X|Y)]中所有元素也均為0或1，損失熵H(X|Y)=0，故該信道同時(shí)也是無(wú)損信道。

根據(jù)信道容量的計(jì)算公式，得無(wú)噪無(wú)損信道的容量為(3-60)圖3-9無(wú)噪無(wú)損后向信道3.6.4有噪無(wú)損離散信道及其信道容量

有噪無(wú)損信道的特點(diǎn)是，前向信道的輸出符號(hào)Y與輸入符號(hào)X是一一對(duì)應(yīng)的關(guān)系，但前向信道的輸入符號(hào)X與輸出符號(hào)Y不是一一對(duì)應(yīng)的關(guān)系。因此，該信道對(duì)應(yīng)的前向信道矩陣[P(Y|X)]中的所有元素不可能都為0或1，故噪聲熵H(Y|X)≠0。但由于后向信道矩陣[P(X|Y)]中的所有元素都能滿足為0或1，根據(jù)定理3-4，得損失熵H(X|Y)=0，可知該信道一定是有噪無(wú)損信道。

例如，圖3-10所示的前向信道，輸出符號(hào)Y與輸入符號(hào)X是一一對(duì)應(yīng)的關(guān)系，得其前向信道矩陣[P(Y|X)]為(3-61)由于[P(Y|X)]不滿足所有元素均為0或1，故H(Y|X)≠0，因而是有噪信道。圖3-10有噪無(wú)損前向信道另一方面，根據(jù)公式得其后向信道矩陣[P(X|Y)]為(3-62)上述計(jì)算結(jié)果表明，對(duì)于任何一個(gè)有噪無(wú)損信道來(lái)說(shuō)，在已知前向信道的情況下，只需將前向信道中的所有箭頭反轉(zhuǎn)，并將對(duì)應(yīng)的條件概率全部都置為1，便得到了對(duì)應(yīng)的后向信道，如圖3-11所示。

另一方面，根據(jù)式(3-61)和式(3-62)，只需將前向信道矩陣[P(Y|X)]轉(zhuǎn)置后，并將轉(zhuǎn)置后的矩陣中所有的不為0的那些元素全部置為1即可。

根據(jù)信道容量的計(jì)算公式，得有噪無(wú)損信道的容量為(3-63)圖3-11有噪無(wú)損后向信道3.6.5無(wú)噪有損離散信道及其信道容量

無(wú)噪有損信道的特點(diǎn)是，前向信道的輸入符號(hào)X與輸出符號(hào)Y是一一對(duì)應(yīng)的關(guān)系，但前向信道的輸出符號(hào)Y與輸入符號(hào)X不是一一對(duì)應(yīng)的關(guān)系。因此，該信道對(duì)應(yīng)的前向信道矩陣[P(Y|X)]中的所有元素都為0或1，根據(jù)定理3-3，得噪聲熵H(Y|X)=0，但后向信道矩陣[P(X|Y)]中的所有元素不可能滿足為0或1,故損失熵H(X|Y)≠0,可知該信道一定是無(wú)噪有損信道。

例如，圖3-12所示的前向信道，輸入符號(hào)X與輸出符號(hào)Y是一一對(duì)應(yīng)的關(guān)系，得其前向信道矩陣[P(Y|X)]為(3-64)圖3-12無(wú)噪有損前向信道另一方面，根據(jù)公式得其后向信道矩陣[P(X|Y)]為(3-65)上述計(jì)算結(jié)果表明，對(duì)于任何一個(gè)無(wú)噪有損信道來(lái)說(shuō)，在已知前向信道的情況下，只需將前向信道中的所有箭頭反轉(zhuǎn)，并將對(duì)應(yīng)的條件概率由原來(lái)的1全部置為Pij(0<Pij≤1)，其中i=1，2，…，s且j=1，2，…，r，便得到了對(duì)應(yīng)的后向信道，如圖3-13所示。

另一方面，根據(jù)式(3-64)和式(3-65)，只需將前向信道矩陣[P(Y|X)]轉(zhuǎn)置后，并將轉(zhuǎn)置后矩陣中所有為1的那些元素全部置為Pij(0<Pij≤1)，滿足任何一行之和均等于1即可。

根據(jù)信道容量的計(jì)算公式，得無(wú)噪有損信道的容量為(3-66)圖3-13無(wú)噪有損后向信道3.6.6對(duì)稱離散信道及其信道容量

離散信道中有一類特殊的信道，其特點(diǎn)是信道矩陣具有很強(qiáng)的對(duì)稱性。這里所謂的對(duì)稱性，就是指信道矩陣中每一行都是由同一個(gè)集合{β1，β2，…，βs}中的各個(gè)元素的不同排列所組成的，并且每一列也是由同一個(gè)集合{η1,η2,…，ηr}中的各個(gè)元素的不同排列所組成的。例如，信道矩陣滿足上述這種對(duì)稱性，故[P1(Y|X)]和[P2(Y|X)]是對(duì)稱離散信道矩陣。但是信道矩陣中的列不滿足上述這種對(duì)稱性，故[P3(Y|X)]和[P4(Y|X)]不是對(duì)稱離散信道矩陣。另一種對(duì)稱矩陣具有更強(qiáng)的對(duì)稱性，即所有的行和列均是由同一個(gè)集合{β1，β2，…，βr}中的各個(gè)不同的元素排列所組成的，并且是r(=s)階方陣，滿足[P(Y|X)]T=[P(Y|X)]，故稱之為強(qiáng)對(duì)稱矩陣，它顯然是對(duì)稱矩陣的一個(gè)特例。例如，M進(jìn)制數(shù)字信道對(duì)稱矩陣

其中，

+p=1，則[P5(Y|X)]是強(qiáng)對(duì)稱矩陣，也稱為均勻信道。特別是當(dāng)M=2時(shí)，上述矩陣就是我們熟知的二進(jìn)制強(qiáng)對(duì)稱信道矩陣，即根據(jù)噪聲熵的定義

(3-67)式中(3-68)表示信道矩陣[P(Y|X)]中任意一行的自熵。由于[P(Y|X)]為對(duì)稱矩陣，任意一行均由同一集合中的各個(gè)不同的元素排列而成，因此，對(duì)于任何一行來(lái)說(shuō)，它們的自熵H(Y|X=ai)都是相等的，是一個(gè)不隨行號(hào)“i”而變化的常量。故可進(jìn)一步將式(3-68)所表示的自熵寫成如下標(biāo)準(zhǔn)的熵函數(shù)形式:

(3-69)將式(3-69)代入式(3-67)，得(3-70)從而得對(duì)稱離散信道的信道容量為(3-71)式(3-71)將求信道容量的問題變換為求一種輸入分布P(X)使H(Y)取最大值的問題了?，F(xiàn)已知輸出Y的符號(hào)共有s個(gè)符號(hào)，則H(Y)≤logs。只有當(dāng)P(bj)=1/s，即為等概分布時(shí)，才能滿足在一般情況下，不存在輸入符號(hào)為等概分布P(X)時(shí)，使得但對(duì)于對(duì)稱離散信道，其信道矩陣中的每一列都是由同一集合{η1，η2，…，ηr}中的各個(gè)元素的不同排列所組成的，所以保證了當(dāng)輸入符號(hào)是等概分布，即滿足P(ai)=1/r時(shí)，輸出符號(hào)Y一定也是等概分布。下面的分析證實(shí)了這一點(diǎn)。事實(shí)上，根據(jù)當(dāng)P(X)為等概分布，即滿足P(ai)=1/r時(shí)，由上式得(3-72)由于是對(duì)稱信道矩陣，故任一列的元素之和都是相同的，因此，根據(jù)式(3-72)，可以看出P(bj)(j=1，2，…，s)是一個(gè)不因標(biāo)號(hào)“j”的變化而變化的常數(shù)。因P(bj)(j=1，2，…，s)是常數(shù)，我們有(3-73)這就證明了，在對(duì)稱信道的條件下，當(dāng)輸入X為等概分布時(shí)，輸出Y也為等概分布。再根據(jù)式(3-71)，得對(duì)稱離散信道的信道容量為

(3-74)例3-4

已知對(duì)稱信道矩陣根據(jù)式(3-74)，求得其信道容量為例3-5

已知對(duì)稱信道矩陣根據(jù)式(3-74)，求得其信道容量為例3-6

已知M進(jìn)制強(qiáng)對(duì)稱信道矩陣根據(jù)式(3-74)，求得其信道容量為例3-7

已知二進(jìn)制強(qiáng)對(duì)稱信道矩陣根據(jù)式(3-74)，求得其信道容量為3.6.7準(zhǔn)對(duì)稱離散信道及其信道容量

若信道矩陣[P]的列可以劃分成若干個(gè)互不相交的子集{[Pk]}(k=1，2，…，n)，即滿足且每一個(gè)[Pk](k=1，2，…，n)都是對(duì)稱矩陣，則稱信道矩陣[P]為準(zhǔn)對(duì)稱信道。例如，在3.6.6節(jié)提及的兩個(gè)矩陣(3-76)(3-77)如果將式(3-76)按列來(lái)劃分為三個(gè)矩陣，即顯然滿足并且[P1]、[P2]和[P3]都是對(duì)稱矩陣，故式(3-76)所表示的矩陣是準(zhǔn)對(duì)稱矩陣。同理，如果將式(3-77)按列來(lái)劃分為兩個(gè)矩陣，即

顯然滿足并且[P1]和[P2]都是對(duì)稱矩陣，故式(3-77)所表示的矩陣也是準(zhǔn)對(duì)稱矩陣?？梢宰C明，準(zhǔn)對(duì)稱離散信道的信道容量為例3-8

已知式(3-76)表示的準(zhǔn)對(duì)稱信道矩陣，得其三個(gè)子矩陣如下:根據(jù)式(3-78)，求得其信道容量為例3-9

已知式(3-77)表示的準(zhǔn)對(duì)稱信道矩陣，得其兩個(gè)子矩陣如下:根據(jù)式(3-78)，求得其信道容量為3.6.8一般離散信道的信道容量迭代計(jì)算方法

上面幾節(jié)中討論了幾種特殊信道的信道容量計(jì)算方法，由于這些信道的特殊性，使得信道容量的計(jì)算得到了很大程度的簡(jiǎn)化。但對(duì)于一般離散信道來(lái)說(shuō)，信道容量的計(jì)算非常復(fù)雜。為解決這個(gè)問題，本節(jié)將在建立算法的基礎(chǔ)上，通過(guò)編寫迭代計(jì)算程序，可采用數(shù)值計(jì)算方法，從而獲得一般離散信道容量的數(shù)值計(jì)算結(jié)果。根據(jù)信道容量的定義可知，求信道容量C實(shí)際上就是求平均互信息I(X；Y)的最大值。在前面討論平均互信息的凸函數(shù)特性時(shí)，我們知道，平均互信息可看做信源概率分布P(ai)和信道傳遞概率P(bj|ai)的函數(shù)，即I[P(ai)，P(bj|ai)]，而定理3-1和定理3-2指出互信息是P(ai)的上凸函數(shù)，是P(bj|ai)的下凸函數(shù)。

如果在給定信道的情況下求對(duì)應(yīng)的信道容量，這就意味著P(bj|ai)已給定并且保持不變。在這種情況下，可以將互信息看做P(ai)和P(ai|bj)的函數(shù)，即I[P(ai)，P(ai|bj)]。這樣考慮的一個(gè)好處是，這種情況下，可以證明I[P(ai)，P(ai|bj)]既是P(ai)的上凸函數(shù)，同時(shí)也是P(ai|bj)的上凸函數(shù)。因此，我們可以通過(guò)同時(shí)尋找最佳分布P(ai)和P(ai|bj)，從而使I[P(ai)，P(ai|bj)]達(dá)到最大值，這個(gè)最大值就是信道容量。但問題在于P(ai)和P(ai|bj)之間并不是獨(dú)立的，其中一個(gè)物理量的變化影響著另一個(gè)物理量，由一個(gè)可決定另一個(gè)，反之亦然，亦即兩個(gè)物理量中只有一個(gè)是獨(dú)立的。其中在P(bj|ai)為固定值的情況下，從下面的公式中可明顯地看出這一點(diǎn):在這種情況下，我們可以通過(guò)采用逐次迭代和逼近的方法來(lái)求得I[P(ai)，P(ai|bj)]的最大值。這種方法的具體算法和思路如下：

(1)求互信息的計(jì)算公式為(3-79)當(dāng)信道P(bj|ai)固定后，互信息是P(ai)和P(ai|bj)的函數(shù)，即I(Y；X)=I[P(ai)，P(ai|bj)]。

(2)我們將P(ai|bj)當(dāng)作自變量，P(ai)暫且保持不變，并在約束條件的限制下，通過(guò)求解條件極值的方法求得I[P(ai)，P(ai|bj)]的最大值。由于I[P(ai)，P(ai|bj)]是P(ai|bj)的上凸函數(shù)，因此，作助函數(shù)(3-80)根據(jù)求解多元函數(shù)條件極值方法，求得當(dāng)I[P(ai)，P(ai|bj)]為最大時(shí)的極值點(diǎn)P*(ai|bj)，即(3-81)可以證明，當(dāng)I[P(ai)，P(ai|bj)]達(dá)到最大值時(shí)的極值點(diǎn)P*(ai|bj)為(見附錄3-3)(3-82)(3-83)這說(shuō)明，當(dāng)P(ai)已給定時(shí)，P*(ai|bj)使I[P(ai)，P(ai|bj)]達(dá)到最大值，即

(3)將P(ai)看做自變量，P(ai|bj)暫時(shí)保持不變。又由于I[P(ai),P(ai|bj)]是P(ai)的上凸函數(shù)，因此可在約束條件的限制下，求I[P(ai)，P(ai|bj)]達(dá)到最大值時(shí)的極值點(diǎn)P*(ai)。為此，作輔助函數(shù)(3-84)根據(jù)求解多元函數(shù)條件極值的方法，求得當(dāng)I[P(ai)，P(ai|bj)]為最大時(shí)的極值點(diǎn)P*(ai)，即(3-85)可以證明，當(dāng)I[P(ai)，P(ai|bj)]達(dá)到最大值時(shí)的極值點(diǎn)P*(ai)為(見附錄3-4)

(3-86)用這個(gè)P*(ai)就可求得當(dāng)P(ai|bj)固定時(shí)，I[P(ai)，P(ai|bj)]的最大值，即(3-87)

(4)在具體算法中，我們可先假定一組P(ai)(i=1，2，…，r)作為初始值P(ai)(1)。最合理的初始值為等概分布，即P(ai)(1)=1/r(i=1，2，…，r)，并把P(ai)(1)作為固定值，變動(dòng)P(ai|bj)。根據(jù)式(3-82)，得(3-88)這時(shí)，根據(jù)式(3-83)得平均互信息的最大值為(3-89)再把P(ai|bj)(1)作為固定值，變動(dòng)P(ai)，由式(3-86)，得(3-90)由式(3-87)，得平均互信息的最大值為(3-91)

(5)這樣依此類推地計(jì)算下去，得其迭代計(jì)算公式為(3-92)可以證明，當(dāng)?shù)螖?shù)n→∞時(shí)，C(n，n)=C(n+1，n)=C。

(6)在實(shí)際算法中，在每一次迭代之前，可先逐次比較P(ai)(n+1)和P(ai)(n)的誤差以及P(ai|bj)(n+1)和P(ai|bj)(n)的誤差，并首先設(shè)定這兩個(gè)誤差絕對(duì)值的大小，當(dāng)兩個(gè)實(shí)際誤差絕對(duì)值小于這兩個(gè)設(shè)定的誤差絕對(duì)值時(shí)，亦即誤差已經(jīng)處于容許的范圍內(nèi)時(shí)，最后停止迭代，這時(shí)所得到的C(n，n)=C(n+1，n)=C就認(rèn)為是所需的信道容量。

3.7多符號(hào)離散信道的數(shù)學(xué)模型

設(shè)單符號(hào)離散信道的輸入符號(hào)集為X：{a1，a2，…，ar}，輸出符號(hào)集為Y：{b1，b2，…，bs}，信道的傳遞概率為

P(Y|X)：{P(bj|ai)；i=1，2，…，r；j=1，2，…，s}

在多符號(hào)的情況下，設(shè)信道輸入的多符號(hào)隨機(jī)序列為

X=X1X2…XN

(3-93)

其中在每一個(gè)時(shí)刻的隨機(jī)變量為Xi(i=1，2，…，N)∈{a1，a2

，…，ar}，則X共有rN個(gè)不同的符號(hào)αi(i=1，2，…，rN)，其中任一符號(hào)為(3-94)與信道輸入的多符號(hào)隨機(jī)序列X=X1X2…XN相對(duì)應(yīng)，信道輸出的多符號(hào)隨機(jī)序列為

Y=Y1Y2…YN

(3-95)

其中在每一個(gè)時(shí)刻的隨機(jī)變量為Yi(i=1，2，…，N)∈{b1，b2，…，bs}，則Y共有sN個(gè)不同的符號(hào)βj(j=1，2，…，sN)，其中任一符號(hào)為(3-96)與多符號(hào)輸入隨機(jī)序列X=X1X2…XN和多符號(hào)輸出隨機(jī)序列Y=Y1Y2…YN相對(duì)應(yīng)，得多符號(hào)離散信道的傳遞概率為圖3-14多符號(hào)離散信道的數(shù)學(xué)模型(3-97)根據(jù)式(3-93)~式(3-97)，得對(duì)應(yīng)的數(shù)學(xué)模型如圖3-14所示。圖中[P(Y|X)]為式中矩陣中的任何一行之和滿足(3-99)其中:i=1，2，…，rN;i1，i2，…，iN=1，2，…，r。

3.8單符號(hào)離散無(wú)記憶的N次擴(kuò)展信道

在式(3-97)中，若前向概率滿足式(3-100)的另一種形式為前向概率P(βi|αi)滿足(3-101)(3-100)則稱之為單符號(hào)離散無(wú)記憶的N次擴(kuò)展信道。其主要特點(diǎn)體現(xiàn)在以下兩個(gè)方面。

(1)具有“無(wú)記憶”性:體現(xiàn)在N時(shí)刻的輸出隨機(jī)變量YN

只與N時(shí)刻的輸入隨機(jī)變量XN有關(guān)，而N時(shí)刻之前的輸入隨機(jī)變量X1X2…XN－1和輸出隨機(jī)變量Y1Y2…YN－1無(wú)關(guān)，即滿足(3-102)

(2)具有“無(wú)預(yù)感”性:體現(xiàn)在當(dāng)輸入N個(gè)符號(hào)(ai1ai2…aiN)時(shí)，前N－1個(gè)輸出符號(hào)(bj1bj2…bjN－1)與第N個(gè)時(shí)刻的輸入符號(hào)aiN無(wú)關(guān)，即滿足(3-1023)證明在證明這兩個(gè)性質(zhì)之前，先給出一個(gè)將要用到的概率關(guān)系式如下:

由上式得以及(3-104)(3-105)

(1)證明在滿足式(3-101)的條件下式(3-102)成立。事實(shí)上，由式(3-104)中的第一式和式(3-105)，得再將式(3-101)代入上式，得從而證明了“無(wú)記憶性”的結(jié)論成立。

(2)證明無(wú)預(yù)感性。結(jié)合式(3-101)和式(3-104)中的第二式以及無(wú)記憶性的結(jié)論，得從而證明了“無(wú)預(yù)感性”的結(jié)論成立。

(3)由“無(wú)記憶性”和“無(wú)預(yù)感性”可以證得式(3-101)成立。事實(shí)上，我們根據(jù)上面給出的式(3-104)中的第一式，得

從而由“無(wú)記憶性”和“無(wú)預(yù)感性”證得了式(3-101)成立。例3-10

已知圖3-15所示的二進(jìn)制對(duì)稱無(wú)記憶信道，求對(duì)應(yīng)的二次擴(kuò)展信道。圖3-15二進(jìn)制對(duì)稱無(wú)記憶信道解對(duì)應(yīng)的二次擴(kuò)展信道{X：X1X2

P(Y|X)

Y：Y1Y2}輸入符號(hào)集共有22=4種不同的符號(hào)，其符號(hào)集為

X=X1X2：{a1a1,a1a2,a2a1,a2a2}=X1X2：{α1,α2,α3,α4}

二次擴(kuò)展信道的輸出符號(hào)集共有22=4種不同的符號(hào)，其符號(hào)集為

Y=Y1Y2：{b1b1,b1b2,b2b1,b2b2}=Y1Y2：{β1,β2,β3,β4}

根據(jù)式(3-101)，得

最后得二次擴(kuò)展信道矩陣為對(duì)應(yīng)的二次擴(kuò)展信道如圖3-16所示。圖3-16二進(jìn)制對(duì)稱無(wú)記憶信道的二次擴(kuò)展信道

3.9擴(kuò)展信道的信息傳輸特性

在上述基礎(chǔ)上，進(jìn)一步需要研究的問題是，已知多符號(hào)離散信道的平均互信息為I(X；Y)，而各個(gè)時(shí)刻輸入隨機(jī)變量Xi通過(guò)單符號(hào)離散信道P(Y|X)后，輸出隨機(jī)變量Yi的平均互信息I(Xi；Yi)(i=1，2，…，N)之和，可等效于N個(gè)單符號(hào)離散信道并聯(lián)后的輸出試研究I(X;Y)與(Xi;Yi)之間有什么關(guān)系？下面討論這個(gè)問題。定理3-5

對(duì)于多符號(hào)離散擴(kuò)展信道，I(X；Y)與

(Xi；Yi)之間的關(guān)系為若信源無(wú)記憶，即P(αi)=P(ai1)P(ai2)…P(aiN)，則若信道無(wú)記憶，即P(bj1bj2…bjN|ai1ai2…aiN)=P(bj1|ai1)P(bj2|ai2)…P(bjN|aiN)，則若信道和信源均無(wú)記憶，則證明下面從五個(gè)方面來(lái)證明該定理(其物理意義的解釋見附錄3-5)。(1)多符號(hào)離散信道的平均互信息I(X；Y)可表示為以下兩種形式:(3-106)

(2)單符號(hào)平均互信息之和也有對(duì)應(yīng)的兩種形式:(3-107)

(3)假設(shè)信源無(wú)記憶，即滿足P(αi)=P(ai1)P(ai2)…P(aiN)。根據(jù)式(3-106)的第一式及式(3-107)的第一式，并比較這兩者的大小，得(3-108)根據(jù)詹森不等式，得因此得(3-109)

(4)假設(shè)信道無(wú)記憶，即滿足根據(jù)式(3-106)的第二式及式(3-107)的第二式，并比較這兩者的大小，得(3-110)根據(jù)詹森不等式，得因此得(3-111)

(5)假設(shè)信道與信源均無(wú)記憶，則(3-112)將式(3-112)代入式(3-110)中，得(3-113)特別是X=X1X2…XN和Y=Y1Y2…YN不但取自于同一個(gè)符號(hào)集，并且具有同一種概率分布，通過(guò)相同的信道傳送，從而滿足I(X1；Y1)=I(X2；Y2)=…=I(XN；YN)=I(X；Y)，則有如下結(jié)論成立：若信源無(wú)記憶，則I(X；Y)≥NI(X；Y)若信道無(wú)記憶，則I(X；Y)≤NI(X；Y)圖3-17N個(gè)獨(dú)立的單符號(hào)離散信道的并聯(lián)若信道和信源均無(wú)記憶，則

I(X；Y)=NI(X；Y)

上式說(shuō)明，在信道與信源均無(wú)記憶的條件下，N次擴(kuò)展信道的平均互信息等于原來(lái)無(wú)擴(kuò)展信道平均互信息的N倍，并且對(duì)應(yīng)的信道容量為也為無(wú)擴(kuò)展信道容量的N倍，即(3-114)在信道與信源均無(wú)記憶的情況下，離散無(wú)記憶的N次擴(kuò)展信道可以用N個(gè)獨(dú)立的單符號(hào)離散信道的并聯(lián)來(lái)等效，如圖3-17所示。

3.10平均互信息量的不增性與數(shù)據(jù)處理定理

假設(shè)有一單符號(hào)離散信道Ⅰ，其輸入隨機(jī)變量為X，符號(hào)集為X：{a1，a2，…，ar}，其輸出變量為Y，符號(hào)集為Y：{b1，b2，…，bs}。設(shè)另有一單符號(hào)離散信道Ⅱ，其輸入隨機(jī)變量為Y，輸出隨機(jī)變量為Z，符號(hào)集為Z：{c1，c2，…，cl}?，F(xiàn)將這兩個(gè)信道串聯(lián)起來(lái)，如圖3-18所示。這兩個(gè)信道的輸入和輸出符號(hào)集都是完備集。信道Ⅰ的傳遞概率為信道Ⅱ的傳遞概率一般與前面的隨機(jī)變量X和Y都有關(guān)，所以記為圖3-18兩個(gè)信道的串聯(lián)對(duì)于這兩個(gè)信道的串聯(lián)情況，如以Z為觀測(cè)點(diǎn)，平均互信息量I(XY；Z)表示聯(lián)合隨機(jī)變量XY與隨機(jī)變量Z之間的平均互信息量，也就是收到Z之后，從Z中獲得關(guān)于聯(lián)合隨機(jī)變量XY的平均信息量，平均互信息量I(Y；Z)表示隨機(jī)變量Y與隨機(jī)變量Z之間的平均互信息量；平均互信息量I(X；Z)表示隨機(jī)變量X與隨機(jī)變量Z之間的平均互信息量，亦即收到隨機(jī)變量Z后，從隨機(jī)變量Z中獲得關(guān)于隨機(jī)變量X的平均互信息量。如以X為觀測(cè)點(diǎn)，平均互信息量I(Y；X)或I(Z；X)分別表示隨機(jī)變量X與Y之間的平均互信息量或X與Z之間的平均互信息量，也就是收到X之后，從X中獲得關(guān)于Y或從X中獲得關(guān)于Z的平均互信息量。我們可從以下幾個(gè)方面來(lái)討論這些平均互信息量之間的關(guān)系。定義3-1

隨機(jī)變量(XYZ)是馬氏鏈，是指對(duì)一切i，j，k，等式

P(ck|aibj)=P(ck|bj)

(3-115)

恒成立，從而滿足P(Z|XY)=P(Z|Y)，即隨機(jī)變量Z僅依賴于隨機(jī)變量Y，與隨機(jī)變量X無(wú)直接聯(lián)系。

引理3-1

若(XYZ)是馬氏鏈，則(ZYX)也是馬氏鏈。

證明根據(jù)定義3-1，當(dāng)以Z為觀測(cè)點(diǎn)時(shí)，(XYZ)是馬氏鏈?，F(xiàn)以X為觀測(cè)點(diǎn)，馬氏鏈的方向剛好相反。從平均互信息的交互性和對(duì)稱性的角度來(lái)看，當(dāng)(XYZ)為馬氏鏈時(shí)，可以得出(ZYX)也是馬氏鏈。事實(shí)上，因(XYZ)是馬氏鏈，則有由此證明了當(dāng)(XYZ)是馬氏鏈時(shí)，(ZYX)也是馬氏鏈。有關(guān)馬氏鏈的兩點(diǎn)說(shuō)明如下：

(1)根據(jù)平均互信息的對(duì)稱性，馬氏鏈的所有變量的方向都全部反向的情況下仍然是馬氏鏈，但如果只是其中的一部分變量的方向反向，則不一定是馬氏鏈。例如，若(XYZ)是馬氏鏈，則(YXZ)不一定是馬氏鏈，其余情況依此類推。

(2)若(XYZW)是馬氏鏈，則在不改變前后順序的前提下，它們當(dāng)中的任何三個(gè)隨機(jī)變量均構(gòu)成馬氏子鏈。例如，因(XYZW)是馬氏鏈，則(XZW)、(XYW)、(XYZ)、(YZW)等都是馬氏子鏈。定理3-6

對(duì)于圖3-18所示隨機(jī)變量(XYZ)構(gòu)成的兩個(gè)信道的串聯(lián)，有

I(XY；Z)≥I(Y；Z)

(3-116)

當(dāng)且僅當(dāng)(XYZ)是馬氏鏈時(shí)，才能使等式成立。

證明根據(jù)平均互信息的定義，有根據(jù)上式，得

故I(XY；Z)≥I(Y；Z)成立，當(dāng)且僅當(dāng)(XYZ)是馬氏鏈時(shí)，才能使等式成立。定理3-7

對(duì)于圖3-18所示隨機(jī)變量(XYZ)構(gòu)成的兩個(gè)信道的串聯(lián)，有

I(XY；Z)≥I(X；Z)

(3-117)