信息論與編碼原理第三章

信息論與編碼原理第三章第一頁(yè)，共一百五十頁(yè)，2022年，8月28日

本章主要內(nèi)容3.1信道的基本概念3.2離散單符號(hào)信道及容量數(shù)學(xué)模型信道容量3.3離散序列符號(hào)信道及容量3.4信源與信道的匹配3.5*連續(xù)信道及其容量第二頁(yè)，共一百五十頁(yè)，2022年，8月28日

本次課內(nèi)容3.1信道的基本概念3.2離散單符號(hào)信道及容量 3.2.1數(shù)學(xué)模型 3.2.2信道容量第三頁(yè)，共一百五十頁(yè)，2022年，8月28日信道(informationchannels)：是信號(hào)的傳輸媒質(zhì)。信道的作用：把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。它的最重要特征參數(shù)是信息傳遞能力，即信道容量問(wèn)題。相關(guān)知識(shí)復(fù)習(xí)第四頁(yè)，共一百五十頁(yè)，2022年，8月28日

在高斯信道下，信道的信息通過(guò)能力與信道的頻帶寬度、信道的工作時(shí)間、信道的噪聲功率密度有關(guān)。

頻帶越寬，工作時(shí)間越長(zhǎng)，信號(hào)、噪聲功率比越大，信道的通過(guò)能力就越強(qiáng)，信道容量越大。相關(guān)知識(shí)復(fù)習(xí)第五頁(yè)，共一百五十頁(yè)，2022年，8月28日

本章主要討論離散信道的統(tǒng)計(jì)特性和數(shù)學(xué)模型，定量的研究信道傳輸?shù)钠骄バ畔⒓捌渲匾再|(zhì)，導(dǎo)出信道容量的概念和幾種比較典型的信道的信道容量計(jì)算方法。本章重點(diǎn)在于研究一個(gè)輸入端和一個(gè)輸出端的信道，即單用戶(hù)信道。以無(wú)記憶、無(wú)反饋、固定參數(shù)的離散信道為重點(diǎn)內(nèi)容討論。

相關(guān)知識(shí)復(fù)習(xí)第六頁(yè)，共一百五十頁(yè)，2022年，8月28日X={X0,X1,X2…Xr-1}含r個(gè)元素的輸入符號(hào)集Y={y0,y1,y2…ys-1}含S個(gè)元素的輸出符號(hào)r與s的值不同信道模型不同

3.1信道分類(lèi)第七頁(yè)，共一百五十頁(yè)，2022年，8月28日5.1信道分類(lèi)第八頁(yè)，共一百五十頁(yè)，2022年，8月28日信道分類(lèi)：1.有線(xiàn)信道和無(wú)線(xiàn)信道

有線(xiàn)信道：明線(xiàn)、對(duì)稱(chēng)電纜、同軸電纜及光纜等。

無(wú)線(xiàn)信道：地波傳播、短波電離層反射、超短波或微波視距中繼、人造衛(wèi)星中繼以及各種散射信道等。3.1信道分類(lèi)第九頁(yè)，共一百五十頁(yè)，2022年，8月28日2．恒參信道和隨參信道恒參信道：信道的統(tǒng)計(jì)特性不隨時(shí)間而變化。如明線(xiàn)、對(duì)稱(chēng)電纜、同軸電纜、光纜、衛(wèi)星中繼信道一般被視為恒參信道。隨參信道：信道的統(tǒng)計(jì)特性隨時(shí)間而變化。大多數(shù)的信道都是隨參信道，統(tǒng)計(jì)特性隨著環(huán)境、溫度、濕度而變化。如短波電離層反射信道、對(duì)流層散射信道等。3.1信道分類(lèi)第十頁(yè)，共一百五十頁(yè)，2022年，8月28日

3．單用戶(hù)信道和多用戶(hù)信道單用戶(hù)信道：信道只有一個(gè)輸入端和一個(gè)輸出端，且只能進(jìn)行單方向的通信。多用戶(hù)信道：又稱(chēng)多端信道，輸入端或者輸出端至少有一端具有兩個(gè)或者兩個(gè)以上用戶(hù)，并且可以實(shí)現(xiàn)雙向通信，目前大多數(shù)信道都是多端信道。

3.1信道分類(lèi)第十一頁(yè)，共一百五十頁(yè)，2022年，8月28日4．離散信道、連續(xù)信道、半離散半連續(xù)信道和波形信道離散信道：又稱(chēng)數(shù)字信道，該類(lèi)信道中輸入空間、輸出空間均為離散時(shí)間集合，集合中事件的數(shù)量是有限的，或者無(wú)限的，隨機(jī)變量取值都是離散的。波形信道：也稱(chēng)為時(shí)間連續(xù)信道，信道輸入、輸出都是時(shí)間的函數(shù)，而且隨機(jī)變量的取值都取自連續(xù)集合，且在時(shí)間上的取值是連續(xù)的。3.1信道分類(lèi)第十二頁(yè)，共一百五十頁(yè)，2022年，8月28日連續(xù)信道：又稱(chēng)為模擬信道，輸入空間、輸出空間均為連續(xù)事件集合，集合中事件的數(shù)量是無(wú)限的、不可數(shù)的，即隨機(jī)變量的取值數(shù)量是無(wú)限的，或者不可數(shù)的。半離散半連續(xù)信道：輸入空間、輸出空間一個(gè)為離散事件集合，而另一個(gè)則為連續(xù)事件集合，即輸入、輸出隨機(jī)變量一個(gè)是離散的，另一個(gè)是連續(xù)的。3.1信道分類(lèi)第十三頁(yè)，共一百五十頁(yè)，2022年，8月28日

5．隨機(jī)差錯(cuò)信道和突發(fā)差錯(cuò)信道。

隨機(jī)差錯(cuò)信道：信道中傳輸碼元所遭受的噪聲是隨機(jī)的、獨(dú)立的，這種噪聲相互之間不具有關(guān)聯(lián)性，碼元錯(cuò)誤不會(huì)成串出現(xiàn)。

如：高斯白噪聲信道。突發(fā)差錯(cuò)信道：信道中噪聲或干擾對(duì)傳輸碼元的影響具有關(guān)聯(lián)性，相互之間不獨(dú)立，使碼元錯(cuò)誤成串出現(xiàn)。如：衰落信道、碼間干擾信道。移動(dòng)通信的信道、光盤(pán)存儲(chǔ)屬于該類(lèi)信道。3.1信道分類(lèi)第十四頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2離散單符號(hào)信道及容量

3.2.1數(shù)學(xué)模型

若信道的輸入符號(hào)之間、輸出符號(hào)之間都不存在關(guān)聯(lián)性，信道的分析可簡(jiǎn)化為對(duì)單個(gè)符號(hào)的信道分析，此時(shí)輸入、輸出可以看做是單符號(hào)的，稱(chēng)這類(lèi)信道為單符號(hào)信道。如果信道的輸入、輸出隨機(jī)變量又都是離散的，該信道則為單符號(hào)離散無(wú)記憶信道。3.2離散單符號(hào)信道及容量第十五頁(yè)，共一百五十頁(yè)，2022年，8月28日

設(shè)離散信道的輸入變量為X，輸出變量為Y，對(duì)應(yīng)的概率空間分別為

輸入符號(hào)集合的元素個(gè)數(shù)為r，輸出符號(hào)集合的元素個(gè)數(shù)為s3.2.1數(shù)學(xué)模型第十六頁(yè)，共一百五十頁(yè)，2022年，8月28日

i=1，2，…，r，j=1，2，…，s。

表明：在輸入x的情況下，信道輸出y的取值只能是其中的一個(gè)，不可能還有其他的取值。該類(lèi)信道的特性可用條件轉(zhuǎn)移概率進(jìn)行描述。輸入

，輸出

時(shí)對(duì)應(yīng)的條件轉(zhuǎn)移概率為

3.2.1數(shù)學(xué)模型第十七頁(yè)，共一百五十頁(yè)，2022年，8月28日稱(chēng)該矩陣為：條件轉(zhuǎn)移矩陣或者信道轉(zhuǎn)移矩陣。

用矩陣表示信道輸入輸出符號(hào)之間的條件轉(zhuǎn)移關(guān)系3.2.1數(shù)學(xué)模型第十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

由于信道中存在干擾或者噪聲，信道輸入符號(hào)與輸出符號(hào)之間并不是一一對(duì)應(yīng)關(guān)系，不能使用確定性函數(shù)描述輸入、輸出之間的關(guān)系。故信道的分析用統(tǒng)計(jì)方法。用條件轉(zhuǎn)移概率

可以表示輸出為bj的各種可能性輸入:傳輸?shù)倪^(guò)程中出現(xiàn)錯(cuò)誤3.2.1數(shù)學(xué)模型第十九頁(yè)，共一百五十頁(yè)，2022年，8月28日信道輸入、輸出符號(hào)之間的聯(lián)合分布為前向概率，表示在輸入為x=ai

時(shí)，通過(guò)信道后接收為bj

的概率，描述了信道噪聲的特性。P(ai)為先驗(yàn)概率。聯(lián)合分布還可以表示為后驗(yàn)概率,表示當(dāng)接收符號(hào)為bj時(shí),信道輸入為ai的概率。3.2.1數(shù)學(xué)模型第二十頁(yè)，共一百五十頁(yè)，2022年，8月28日可以得到后驗(yàn)概率為=PT(Y︱X)由前向概率和先驗(yàn)概率可計(jì)算出信道輸出符號(hào)概率矩陣表示形式3.2.1數(shù)學(xué)模型第二十一頁(yè)，共一百五十頁(yè)，2022年，8月28日二進(jìn)制離散信道（r=s=2）

由輸入值集合X={0,1},輸出值Y={0,1},一組表示輸入、輸出關(guān)系的條件概率(轉(zhuǎn)移概率)組成。

P(yj/xi)

X{0,1}Y{0,1}3.2.1數(shù)學(xué)模型第二十二頁(yè)，共一百五十頁(yè)，2022年，8月28日

若信道存在干擾，導(dǎo)致二進(jìn)制序列發(fā)生統(tǒng)計(jì)獨(dú)立的差錯(cuò)，且條件概率對(duì)稱(chēng).

P(Y=1/X=1)=P(Y=0/X=0)=1-P即P(Y=0/X=1)=P(Y=1/X=0)=P輸入是1或0輸出為0或1P=

01

這種對(duì)稱(chēng)二進(jìn)二出的信道叫做二進(jìn)制對(duì)稱(chēng)信道,簡(jiǎn)稱(chēng)BSC信道.3.2.1數(shù)學(xué)模型第二十三頁(yè)，共一百五十頁(yè)，2022年，8月28日信道模型:011-PPP1-P10

這種信道的輸出符號(hào)僅與對(duì)應(yīng)時(shí)刻輸入符號(hào)有關(guān),與以前輸入無(wú)關(guān)，故稱(chēng)此信道是無(wú)記憶信道的.3.2.1數(shù)學(xué)模型第二十四頁(yè)，共一百五十頁(yè)，2022年，8月28日2.離散無(wú)記憶信道則P(Y=yi/X=xi)=P(yi/xi)稱(chēng)為離散無(wú)記憶信道若輸入值的集合X={X0,X1…Xr-1}輸出Y={y0,y1…ys-1}且信道和調(diào)制過(guò)程是無(wú)記憶的離散無(wú)記憶信道(DMC)3.2.1數(shù)學(xué)模型第二十五頁(yè)，共一百五十頁(yè)，2022年，8月28日決定DMC特點(diǎn)的條件概率P(yj/xi)可寫(xiě)成矩陣形式

P(Y1=V1，Y2=V2…Yn=Vn/X=U1…X=Un)

=若DMC信道的輸入、輸出是由n個(gè)符號(hào)組成的序列,其中ui∈X,vi∈Y，i=12,3,4…n,則聯(lián)合條件概率為:3.2.1數(shù)學(xué)模型第二十六頁(yè)，共一百五十頁(yè)，2022年，8月28日轉(zhuǎn)移概率矩陣3.2.1數(shù)學(xué)模型第二十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

若信道中有干擾,信道輸出不是一個(gè)固定值,是概率各異的一組值,稱(chēng)有擾離散信道.輸入Xi時(shí),各可能輸出值yj的概率之和必得1,即:3.2.1數(shù)學(xué)模型第二十八頁(yè)，共一百五十頁(yè)，2022年，8月28日3.離散輸入連續(xù)輸出信道

設(shè)信道輸入符號(hào)是有限、離散的,其輸入字符集信道輸出

稱(chēng)離散輸入,連續(xù)輸出信道.即

又稱(chēng)半離散或半連續(xù)信道。

3.2.1數(shù)學(xué)模型第二十九頁(yè)，共一百五十頁(yè)，2022年，8月28日4.波形信道

若輸入是模擬波形，輸出也是模擬波形則為波形信道.若分析性能的理論極限多選用離散輸入,連續(xù)輸出的信道模型。

選擇何種模型取決于我們目的.從工程上講,最常用的DMC信道或BSC信道.3.2.1數(shù)學(xué)模型第三十頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2.2信道容量

在單符號(hào)離散信道中，平均每個(gè)符號(hào)傳送的信息量定義為信道的信息傳輸率

。從統(tǒng)計(jì)角度而言，信道的噪聲總是有限的，總有部分信息能夠準(zhǔn)確傳輸，所以信道的信息傳輸率為3.2.2信道容量第三十一頁(yè)，共一百五十頁(yè)，2022年，8月28日

互信息量

是輸入符號(hào)X

概率分布的凸函數(shù)。對(duì)于一個(gè)給定的信道，總是存在某種概率分布

，使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，這個(gè)最大信息傳輸速率定義為信道容量。

什么是信道容量？3.2.2信道容量第三十二頁(yè)，共一百五十頁(yè)，2022年，8月28日定義3-1

設(shè)某信道的平均互信息量為

，信道輸入符號(hào)的先驗(yàn)概率為

，該信道的信道容量C

定義為

比特/符號(hào)

先驗(yàn)概率分布

應(yīng)當(dāng)滿(mǎn)足下列條件3.2.2信道容量第三十三頁(yè)，共一百五十頁(yè)，2022年，8月28日

對(duì)于給定信道，條件轉(zhuǎn)移概率p(bj︱ai)是一定的，所以信道容量就是在信道的前向概率一定的情況下，尋找某種先驗(yàn)概率分布p(x)，使得平均互信息量最大,這種先驗(yàn)分布概率為最佳分布。3.2.2信道容量第三十四頁(yè)，共一百五十頁(yè)，2022年，8月28日

如果信道輸入滿(mǎn)足最佳分布，信息傳輸率最大，即達(dá)到信息容量C；如果信道輸入的先驗(yàn)分布不是最佳分布，那么信息傳輸率不能夠達(dá)到信息容量C。信道傳輸?shù)男畔⒘縍必須小于信道容量C,否則傳輸過(guò)程中會(huì)造成信息損失，出現(xiàn)錯(cuò)誤；反之，如果R＜C成立，可以通過(guò)信道編碼方法保證信息能夠幾乎無(wú)失真地傳送到接收端。3.2.2信道容量第三十五頁(yè)，共一百五十頁(yè)，2022年，8月28日1.無(wú)干擾離散信道

這類(lèi)信道是理想信道。輸入、輸出符號(hào)之間是確定性關(guān)系，可以根據(jù)輸入或者輸出劃分為互不相交的集合。這類(lèi)信道在實(shí)際通信系統(tǒng)中較少，在數(shù)據(jù)壓縮系統(tǒng)中，可以使用這類(lèi)模型進(jìn)行研究。根據(jù)信道輸入符號(hào)X與信道輸出符號(hào)Y之間的關(guān)系，可以分為下了幾種信道。3.2.2信道容量第三十六頁(yè)，共一百五十頁(yè)，2022年，8月28日

無(wú)噪無(wú)損信道

該信道的輸入、輸出集合符號(hào)數(shù)量相等，輸入X與輸出Y之間是一一對(duì)應(yīng)。對(duì)于給定ai,由于p(bj︱ai)只有一個(gè)為1，其余都為0，所以H(X︱Y)=0,則

(a)無(wú)噪無(wú)損信道模型

XY

1

1

1

1

3.2.2信道容量第三十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

根據(jù)信道容量的定義，信道容量就是平均互信息量的最大值，根據(jù)極大熵定理可知，當(dāng)輸入符號(hào)的先驗(yàn)概率為等概率分布時(shí)，H(X)取得最大值

,信道容量為

比特∕符號(hào)

所以當(dāng)輸入信源滿(mǎn)足等概率分布時(shí)，信息傳輸率最大，達(dá)到信道容量。這類(lèi)信道的前向概率矩陣和后驗(yàn)概率矩陣是相等的，都是r×r單位矩陣，3.2.2信道容量第三十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

無(wú)噪有損信道

信道輸出符號(hào)Y

集合的數(shù)量小于信道輸入符號(hào)X集合的數(shù)量，即r＞s，形成多對(duì)一的映射.

XY

1

1

1

1

(b)無(wú)噪有損信道

3.2.2信道容量第三十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

這類(lèi)信道的特點(diǎn)是，信道概率轉(zhuǎn)移矩陣中每行只有一個(gè)非零元素.

接收到符號(hào)Y后,不能確定信道輸入X

，即不能夠完全消除X的不確定性，所以H(X︱Y)＞0，且H(X)＞H(Y),I(X;Y)=H(Y).信道容量為3.2.2信道容量第四十頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2.2信道容量XY

1

1

1

1

(b)無(wú)噪有損信道

第四十一頁(yè)，共一百五十頁(yè)，2022年，8月28日有噪無(wú)損信道

信道輸出符號(hào)Y集合的數(shù)量大于信道符號(hào)X集合的數(shù)量,即r＜s,形成一對(duì)多的映射關(guān).由于一對(duì)多的映射關(guān)系,不能由輸入完全確定信道的輸出,H(X︱Y)＞0，H(X)＜H(Y),I(X;Y)=H(X).

XY

0.4

0.6

0.7

0.3

(c)有噪無(wú)損信道

信道的容量為3.2.2信道容量第四十二頁(yè)，共一百五十頁(yè)，2022年，8月28日

當(dāng)信道輸入為等概率輸入時(shí)，I(X;Y)=H(X)才能取得最大值，所以先驗(yàn)概率的最佳分布就是使得p(aj)=1/r的分布。這類(lèi)信道的特點(diǎn)是，信道概率轉(zhuǎn)移矩陣中每列只有一個(gè)非零元素.P(Y∣X)3.2.2信道容量第四十三頁(yè)，共一百五十頁(yè)，2022年，8月28日2.對(duì)稱(chēng)離散信道的信道容量

對(duì)稱(chēng)離散無(wú)記憶信道是最簡(jiǎn)單的信道之一，1）輸入對(duì)稱(chēng)信道容量

定義3-2:

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，則稱(chēng)信道關(guān)于輸入是對(duì)稱(chēng)的，這種信道稱(chēng)為輸入對(duì)稱(chēng)離散信道。

例如，信道轉(zhuǎn)移矩陣為3.2離散單符號(hào)信道及容量第四十四頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2離散單符號(hào)信道及容量又比如信道轉(zhuǎn)移矩陣∣∣即條件熵H(Y|X)與信道輸入的符號(hào)無(wú)關(guān)。第四十五頁(yè)，共一百五十頁(yè)，2022年，8月28日因此，輸入對(duì)稱(chēng)信道的容量為3.2離散單符號(hào)信道及容量為了表示方便起見(jiàn)，假設(shè)轉(zhuǎn)移矩陣首行元素為則有由于所以輸入對(duì)稱(chēng)信道的容量就是找到一種分布，使得信道輸出的熵最大。第四十六頁(yè)，共一百五十頁(yè)，2022年，8月28日【例3.2-1】信道的轉(zhuǎn)移矩陣為

求該信道的容量

。

解

設(shè)信道輸入的概率空間為

3.2離散單符號(hào)信道及容量第四十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

信道輸出的概率分布為

取得極值的條件為第四十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

解上述方程可以得到取極值的條件為P=0.5，即當(dāng)信道輸入為等概率分布時(shí)，H(Y)取得最大值，所以

3.2離散單符號(hào)信道及容量該信道的容量為

第四十九頁(yè)，共一百五十頁(yè)，2022年，8月28日而應(yīng)當(dāng)首先假設(shè)信道輸入分布，然后解決極值問(wèn)題3.2離散單符號(hào)信道及容量此時(shí)信道輸出的概率分布為

所以，當(dāng)信道只是輸入對(duì)稱(chēng)時(shí)，信道容量不能簡(jiǎn)單認(rèn)為是第五十頁(yè)，共一百五十頁(yè)，2022年，8月28日上次課內(nèi)容3.1信道分類(lèi)3.2離散單符號(hào)信道及容量數(shù)學(xué)模型信道容量1.無(wú)干擾離散信道2.對(duì)稱(chēng)離散信道的信道容量

1)輸入對(duì)稱(chēng)信道第五十一頁(yè)，共一百五十頁(yè)，2022年，8月28日1、信道的作用：把攜有信息的信號(hào)從它的輸入端傳遞到輸出端。信道最重要特征參數(shù)是信息傳遞能力，即信道容量.2、什么是信道容量？互信息量I(X,Y)是輸入符號(hào)X

概率分布的凸函數(shù)對(duì)于一個(gè)給定的信道，總是存在某種概率分布p(xi),使得傳輸每個(gè)符號(hào)平均獲得的信息量最大，即對(duì)于每個(gè)固定的信道總是存在一個(gè)最大的信息傳輸速率，這個(gè)最大信息傳輸速率定義為信道容量。

復(fù)習(xí)第五十二頁(yè)，共一百五十頁(yè)，2022年，8月28日1.無(wú)干擾離散信道無(wú)噪無(wú)損信道無(wú)噪有損信道有噪無(wú)損信道

XY

0.4

0.6

0.7

0.3

復(fù)習(xí)第五十三頁(yè)，共一百五十頁(yè)，2022年，8月28日2、對(duì)稱(chēng)離散信道的信道容量1）輸入對(duì)稱(chēng)信道容量

如果信道轉(zhuǎn)移概率矩陣中所有行矢量都是第一行的某種置換，這種信道稱(chēng)為輸入對(duì)稱(chēng)離散信道。復(fù)習(xí)第五十四頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2.2信道容量2）輸出對(duì)稱(chēng)信道容量3）準(zhǔn)對(duì)稱(chēng)信道容量4）對(duì)稱(chēng)DMC信道容量5）一般離散信道的容量3.3離散序列符號(hào)信道及容量3.4信源與信道的匹配3.5*連續(xù)信道及其容量本次課內(nèi)容第五十五頁(yè)，共一百五十頁(yè)，2022年，8月28日

2）輸出對(duì)稱(chēng)信道容量

定義：如果信道轉(zhuǎn)移概率矩陣中所有列矢量都是第一列的某種置換，則稱(chēng)信道是關(guān)于輸出對(duì)稱(chēng)離散信道。

3.2離散單符號(hào)信道及容量例如：信道轉(zhuǎn)移矩陣

都是輸出對(duì)稱(chēng)信道。和第五十六頁(yè)，共一百五十頁(yè)，2022年，8月28日輸出對(duì)稱(chēng)信道容量：

若信道輸出對(duì)稱(chēng)，則當(dāng)信道輸入符號(hào)等概率分布時(shí),信道輸出也是等概率分布的。信道輸出符號(hào)的熵為3.2離散單符號(hào)信道及容量第五十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

由于信道轉(zhuǎn)移矩陣是已知的，H(Y∣X)可以使用下列公式3.2離散單符號(hào)信道及容量只要能夠求出使得上式取得最小值的信道輸入概率分布，即可求出信道容量第五十八頁(yè)，共一百五十頁(yè)，2022年，8月28日4）對(duì)稱(chēng)信道容量若轉(zhuǎn)移概率矩陣

每一行都是第一行的轉(zhuǎn)置,

稱(chēng)矩陣是輸入對(duì)稱(chēng).若每一列都是第一列的轉(zhuǎn)置,稱(chēng)矩陣是輸出對(duì)稱(chēng).若輸入輸出都對(duì)稱(chēng),稱(chēng)對(duì)稱(chēng)DMC信道。例

和

對(duì)稱(chēng)信道3.2離散單符號(hào)信道及容量第五十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

和

不對(duì)稱(chēng)

3.2離散單符號(hào)信道及容量第六十頁(yè)，共一百五十頁(yè)，2022年，8月28日對(duì)稱(chēng)信道的容量:由于對(duì)稱(chēng)信道是關(guān)于輸入對(duì)稱(chēng)，而輸入對(duì)稱(chēng)信道的容量為3.2離散單符號(hào)信道及容量且滿(mǎn)足

與信道輸入的分布無(wú)關(guān)，只與條件概率分布有關(guān).第六十一頁(yè)，共一百五十頁(yè)，2022年，8月28日為了討論問(wèn)題方便起見(jiàn)，假設(shè)信道轉(zhuǎn)移矩陣第一行中，各元素對(duì)應(yīng)的條件概率分別為(p1,p2…..ps)，有:

對(duì)稱(chēng)信道輸出也是對(duì)稱(chēng)的，當(dāng)信道輸入是等概率分布時(shí)，信道輸出也是等概率分布,取得最大值3.2離散單符號(hào)信道及容量則對(duì)稱(chēng)信道容量對(duì)稱(chēng)信道的信道容量只與信道的轉(zhuǎn)移矩陣中的行矢量和輸出符號(hào)集合的數(shù)量有關(guān)。如果希望信息傳輸率達(dá)到信道容量，信道輸入應(yīng)當(dāng)滿(mǎn)足等概率分布。第六十二頁(yè)，共一百五十頁(yè)，2022年，8月28日

【例3.2-2】設(shè)某信道轉(zhuǎn)移矩陣為

求信道容量

解：由信道轉(zhuǎn)移矩陣可知，矩陣的第二行是第一行的置換，每一列都是第一列的置換，所以信道是對(duì)稱(chēng)的，所以信道容量為3.2離散單符號(hào)信道及容量第六十三頁(yè)，共一百五十頁(yè)，2022年，8月28日

【例3-3】假設(shè)信道的輸入、輸出符號(hào)數(shù)相等，都等于r,且信道條件轉(zhuǎn)移矩陣為

求:信道容量

。

解:顯然該信道是對(duì)稱(chēng)的，信道容量為3.2離散單符號(hào)信道及容量第六十四頁(yè)，共一百五十頁(yè)，2022年，8月28日

上述信道稱(chēng)為強(qiáng)對(duì)稱(chēng)信道或者是均勻信道，是對(duì)稱(chēng)信道的一個(gè)特例。一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。3.2離散單符號(hào)信道及容量當(dāng)r=2時(shí)，信道容量為第六十五頁(yè)，共一百五十頁(yè)，2022年，8月28日3）準(zhǔn)對(duì)稱(chēng)信道容量

定義3-4：

如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的子集，每個(gè)子矩陣滿(mǎn)足下列性質(zhì)：

(1)每行都是第一行的某種置換；(2)每列都是第一列的某種置換。稱(chēng)該信道為準(zhǔn)對(duì)稱(chēng)信道。3.2離散單符號(hào)信道及容量第六十六頁(yè)，共一百五十頁(yè)，2022年，8月28日或者說(shuō)：每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但可按著信道矩陣的列將信道矩陣劃分成若干個(gè)子矩陣。稱(chēng)這類(lèi)信道為準(zhǔn)對(duì)稱(chēng)信道。例：可劃分成兩個(gè)對(duì)稱(chēng)矩陣準(zhǔn)對(duì)稱(chēng)矩陣3.2離散單符號(hào)信道及容量第六十七頁(yè)，共一百五十頁(yè)，2022年，8月28日準(zhǔn)對(duì)稱(chēng)信道是關(guān)于輸入對(duì)稱(chēng)的，可以使用輸入對(duì)稱(chēng)信道的方法直接求解.輸入對(duì)稱(chēng)信道的容量為：

準(zhǔn)對(duì)稱(chēng)信道的容量:由于信道輸入不一定存在一種分布使得信道輸出滿(mǎn)足等概率分布,所以準(zhǔn)對(duì)稱(chēng)信道的信道容量滿(mǎn)足下列關(guān)系第六十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

可以證明，準(zhǔn)對(duì)稱(chēng)信道信道輸入的最佳分布是等概率分布，信道容量為3.2離散單符號(hào)信道及容量其中p1,p2,……ps為準(zhǔn)對(duì)稱(chēng)信道轉(zhuǎn)移矩陣中的一行元素,n為劃分的子集數(shù)量,Nk為第k個(gè)子矩陣的行元素之和,Mk為第k個(gè)子矩陣的列元素之和。第六十九頁(yè)，共一百五十頁(yè)，2022年，8月28日定理3-1：準(zhǔn)對(duì)稱(chēng)離散信道的信道容量是在

信道輸入為等概率分布時(shí)達(dá)到的。3.2離散單符號(hào)信道及容量

上式為準(zhǔn)對(duì)稱(chēng)信道容量計(jì)算公式，而到達(dá)信道容量的信道輸入最佳概率分布由下列定理確定。第七十頁(yè)，共一百五十頁(yè)，2022年，8月28日【例5.2-4】設(shè)某信道的轉(zhuǎn)移矩陣為求：信道容量

。解：從該信道轉(zhuǎn)移矩陣可以看出，該信道是一個(gè)準(zhǔn)對(duì)稱(chēng)信道，可以分解為

3.2離散單符號(hào)信道及容量是兩個(gè)互不相交的子集，而每個(gè)子集都是對(duì)稱(chēng)信道形式，對(duì)應(yīng)參數(shù)分別為N1為第1個(gè)子矩陣的行元素之和M1為第1個(gè)子矩陣的列元素之和第七十一頁(yè)，共一百五十頁(yè)，2022年，8月28日

由準(zhǔn)對(duì)稱(chēng)離散信道的信道容量計(jì)算公式3.2離散單符號(hào)信道及容量

qqqqpqqpH2log)1log()1(),,1(2log-------=

qqqpqppp--+----+=12log)1()1log()1(log

如果p=0，則第七十二頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2離散單符號(hào)信道及容量

1-q

a1

b1

q

b2

q

a2

b3

1-q

圖3-4二元純對(duì)稱(chēng)刪除信道

稱(chēng)該信道為二元純對(duì)稱(chēng)刪除信道，其信道容量為qqqpqppp--+----+=12log)1()1log()1(log第七十三頁(yè)，共一百五十頁(yè)，2022年，8月28日

【例3.2-5】信道轉(zhuǎn)移矩陣為

求：信道容量

。

解：該信道是準(zhǔn)對(duì)稱(chēng)信道，可以分解為三個(gè)互不相交的子集，分別為3.2離散單符號(hào)信道及容量第七十四頁(yè)，共一百五十頁(yè)，2022年，8月28日對(duì)應(yīng)的參數(shù)分別為3.2離散單符號(hào)信道及容量信道容量為61,31,216131321===+=NNN

316161,323131,216131321=+==+==+=MMM

31log6132log3121log21)61,61,31,31(2log----=H

=0.041比特/符號(hào)第七十五頁(yè)，共一百五十頁(yè)，2022年，8月28日3.一般離散信道的容量

從信道容量的定義知，信道容量是在信道給定的情況下，即信道轉(zhuǎn)移矩陣一定條件下，從信道所有可能輸入概率分布中尋找一種最佳分布，使得信道輸入、輸出之間的平均互信息量最大，即，使得信道的輸入概率分布與信道匹配。3.2離散單符號(hào)信道及容量第七十六頁(yè)，共一百五十頁(yè)，2022年，8月28日對(duì)于一般離散信道，首先假設(shè)信道的輸入概率分布，根據(jù)信道容量的定義和輸入概率分布的約束條件，直接求解極值,即可得到最佳分布；然后根據(jù)最佳分布計(jì)算信道輸入、輸出之間的平均互信息量，既得到信息容量。

如果信道輸入、輸出符號(hào)數(shù)量較少，這種方法是可行的。3.2離散單符號(hào)信道及容量第七十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

【例3-6】信道轉(zhuǎn)移矩陣為

3.2離散單符號(hào)信道及容量求:信道輸入最佳分布和信道容量

。解:由信道轉(zhuǎn)移矩陣知,信道不對(duì)稱(chēng)的,信道的輸入、輸出符號(hào)數(shù)量都為2.設(shè)輸入符號(hào)的概率為p,1-p。

先求出信道輸出概率分布p(bj).由公式第七十八頁(yè)，共一百五十頁(yè)，2022年，8月28日3.2離散單符號(hào)信道及容量第七十九頁(yè)，共一百五十頁(yè)，2022年，8月28日將相關(guān)參數(shù)帶入上述計(jì)算公式，得到；3.2離散單符號(hào)信道及容量第八十頁(yè)，共一百五十頁(yè)，2022年，8月28日對(duì)p求導(dǎo)，得到最佳分布3.2離散單符號(hào)信道及容量比特∕符號(hào)得到,p=0.532，所以信道容量為

第八十一頁(yè)，共一百五十頁(yè)，2022年，8月28日

從上例可以看出，即使是簡(jiǎn)單的非對(duì)稱(chēng)二元信道，其最佳分布的求解也十分復(fù)雜，不借用計(jì)算機(jī)很難求出最佳分布，所以一般離散信道的信道容量的求解要通過(guò)計(jì)算機(jī)來(lái)進(jìn)行。下面討論一般離散信道的解法。

3.2離散單符號(hào)信道及容量第八十二頁(yè)，共一百五十頁(yè)，2022年，8月28日一般離散信道容量的計(jì)算由于的上凸函數(shù)，故極大值存在。并且要滿(mǎn)足非負(fù)且歸一化的條件，因此，求信道容量歸結(jié)為求有約束極值的問(wèn)題。為了書(shū)寫(xiě)方便，記

?，F(xiàn)求

在約束

下的極值。利用拉格朗日乘子法，求函數(shù)的極值。計(jì)算并使其為0，

第八十三頁(yè)，共一百五十頁(yè)，2022年，8月28日由：且得：

第八十四頁(yè)，共一百五十頁(yè)，2022年，8月28日第八十五頁(yè)，共一百五十頁(yè)，2022年，8月28日第八十六頁(yè)，共一百五十頁(yè)，2022年，8月28日第八十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

定理3-2

設(shè)有一般離散信道,它有r個(gè)輸入個(gè)符號(hào)，s個(gè)輸出符號(hào)，其平均互信息I(X,Y)達(dá)到極大值（即等于信道容量）的充要條件是輸入概率分布p(ai)滿(mǎn)足

常數(shù)C就是所求的信息容量。

其中CYaIi=);(

對(duì)所有0)>(iap的ia

);(YaIi＜C

對(duì)所有0)(=iap的ia

第八十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

上述定理只是給出了達(dá)到容量時(shí)，信道輸入符號(hào)分布的充要條件，并不能給出信道的最佳概率分布，即,沒(méi)有給出信道容量的計(jì)算公式。另，達(dá)到信道容量的最佳分布一般不是唯一的，只要輸入分布滿(mǎn)足概率的約束條件，并且使得I(X,Y)達(dá)到最大值即可。所以一般情況下，根據(jù)上述定理求解信道容量和信道輸入的最佳概率分布還是十分復(fù)雜的。對(duì)于某些特殊信道，可以使用上述定理求解信道容量。3.2離散單符號(hào)信道及容量第八十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

【例3-7】設(shè)某信道的轉(zhuǎn)移矩陣為3.2離散單符號(hào)信道及容量求;該信道容量和信道輸入的最佳概率分布。第九十頁(yè)，共一百五十頁(yè)，2022年，8月28日解:

該信道不能直接使用對(duì)稱(chēng)信道計(jì)算其信道容量若信道輸入符號(hào)的概率p(a2)=0,該信道就是一個(gè)二元純對(duì)稱(chēng)刪除信道。就可以假設(shè)

p(a1)=p(a3)=1/2,然后檢查是否滿(mǎn)足定理3-2的條件,如果滿(mǎn)足就可以計(jì)算出信道容量3.2離散單符號(hào)信道及容量第九十一頁(yè)，共一百五十頁(yè)，2022年，8月28日首先求出p(bj)3.2離散單符號(hào)信道及容量p(a1)=p(a3)=1/2,p(a2)=0第九十二頁(yè)，共一百五十頁(yè)，2022年，8月28日計(jì)算互信息量

該輸入概率分布滿(mǎn)足定理3-2的條件,信道容量為C=0.9,對(duì)應(yīng)的信道輸入最佳概率分布為(0.5,0,0.5)CYaIi=);(

對(duì)所有0)>(iap的ia

);(YaIi＜C

對(duì)所有0)(=iap的ia

第九十三頁(yè)，共一百五十頁(yè)，2022年，8月28日3.3離散序列符號(hào)信道及容量

前面討論了輸入和輸出都是單個(gè)隨機(jī)變量的信道及其容量，分析了對(duì)稱(chēng)信道、準(zhǔn)對(duì)稱(chēng)信道、一般離散信道的信道容量和信道最佳概率分布的計(jì)算方法。實(shí)際中，信道輸入、輸出常常是離散隨機(jī)序列。離散序列信道的一般模型見(jiàn)圖3.3離散序列符號(hào)信道及容量圖3-5離散序列信道模型第九十四頁(yè)，共一百五十頁(yè)，2022年，8月28日

對(duì)于無(wú)記憶離散序列信道，設(shè)序列長(zhǎng)度為N，則信道轉(zhuǎn)移概率可以簡(jiǎn)化為

如果信道是平穩(wěn)的，則信道轉(zhuǎn)移概率可以進(jìn)一步簡(jiǎn)化為

p(Y︱X)=

3.3離散序列符號(hào)信道及容量第九十五頁(yè)，共一百五十頁(yè)，2022年，8月28日

討論無(wú)記憶離散信道：設(shè)信道輸入符號(hào)取自于符號(hào)集

信道輸出符號(hào)取自于符號(hào)集

信道轉(zhuǎn)移矩陣為

3.3離散序列符號(hào)信道及容量第九十六頁(yè)，共一百五十頁(yè)，2022年，8月28日設(shè)序列長(zhǎng)度為N，信道輸入序列記作

αi=(ai1,ai2,….air)i=1，2，…，rN，信道輸出序列記作βj=(bj1,bj2….bjs)j=1，2，…，sN，由于信道輸入共有rN種可能取值,信道輸出有sN種可能取值,所以N次擴(kuò)展信道的轉(zhuǎn)移概率矩陣為rN×sN的矩陣，可以表示為3.3離散序列符號(hào)信道及容量第九十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

對(duì)于無(wú)記憶信道,上述的轉(zhuǎn)移概率可以簡(jiǎn)化為

其中，m=1，2，…，rN，n=1，2，…，sN

長(zhǎng)度為N的離散序列平均互信息量為

I(X;Y)=H(XN)-H(XN︱YN)=H(YN)-H(YN︱XN)3.3離散序列符號(hào)信道及容量第九十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

定理3-3

設(shè)離散信道的輸入序列為X=(X1,X2,…,XN),信道輸出序列為Y=(Y1,Y2,…,YN),信道的轉(zhuǎn)移概率為

，有

(1)如果信道本身是無(wú)記憶的，則(2)如果信道的輸入序列是無(wú)記憶的，幾個(gè)分量相互獨(dú)立，則

3.3離散序列符號(hào)信道及容量第九十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

(3)如果輸入序列和信道都是無(wú)記憶的，則其中,Xi和Yi分別表示隨機(jī)序列X和Y中第i個(gè)隨機(jī)變量

該定理描述了離散信道中隨機(jī)序列的平均互信息量I(X;Y)與信道輸入和輸出中各個(gè)隨機(jī)變量的平均互信息量之和之間的關(guān)系。特別是當(dāng)信道輸入序列和信道都是無(wú)記憶時(shí)，兩者相等。如果構(gòu)成信道輸入、輸出隨機(jī)序列的各個(gè)隨機(jī)變量來(lái)自于同一符號(hào)集，都服從同一分布，而且信道也是平穩(wěn)的.

3.3離散序列符號(hào)信道及容量第一百頁(yè)，共一百五十頁(yè)，2022年，8月28日單符號(hào)無(wú)記憶信源的N次擴(kuò)展信道：可以看作是一種特殊的多符號(hào)信道，而多符號(hào)信道是各個(gè)輸入信源Xi都取自同一集合X，并聯(lián)的各個(gè)輸出信宿Yj都取自同一集合Y,這樣的N個(gè)信道的并聯(lián)。第一百零一頁(yè)，共一百五十頁(yè)，2022年，8月28日

各互信息量滿(mǎn)足下列關(guān)系：

I(X;Y)=I(Xi,Yi)，i=1，2，…，N于是可以得出結(jié)論由于信道輸入隨機(jī)序列的各個(gè)變量都在同一信道中傳輸，所以有Ci=C3.3離散序列符號(hào)信道及容量其中，i=1，2，…，N，即具有相同的信道容量。于是，可以得到離散無(wú)記憶N次擴(kuò)展信道的容量為CN=NC此式表明,離散無(wú)記憶N次擴(kuò)展信道的信道容量等于構(gòu)成單個(gè)離散信道的信道容量的N倍,而信道輸入序列的最佳分布是構(gòu)成序列的每個(gè)隨機(jī)變量都達(dá)到各自的最佳概率分布。第一百零二頁(yè)，共一百五十頁(yè)，2022年，8月28日

對(duì)于一般的離散無(wú)記憶信道的N次擴(kuò)展信道，如果信道輸入隨機(jī)變量是無(wú)記憶的，且信道是非平穩(wěn)的則有

3.3離散序列符號(hào)信道及容量有記憶的離散序列信道的分析比無(wú)記憶的離散序列信道的分析要復(fù)雜得多，特殊情況下可以通過(guò)狀態(tài)變量來(lái)分析，這里不進(jìn)行討論。

第一百零三頁(yè)，共一百五十頁(yè)，2022年，8月28日【例3.3-1】某二元離散無(wú)記憶信道的轉(zhuǎn)移矩陣為

3.3離散序列符號(hào)信道及容量求信道容量C。對(duì)信道進(jìn)行二次擴(kuò)展，擴(kuò)展后的信道轉(zhuǎn)移矩陣為第一百零四頁(yè)，共一百五十頁(yè)，2022年，8月28日解：由擴(kuò)展信道的轉(zhuǎn)移矩陣知，二次擴(kuò)展信道是對(duì)稱(chēng)信道，當(dāng)輸入序列等概率分布時(shí)可以達(dá)到信息容量C2，將擴(kuò)展后的每種序列排列認(rèn)為是一個(gè)符號(hào)，二次擴(kuò)展信道就等價(jià)于四元信道，四元對(duì)稱(chēng)信道的信道容量為3.3離散序列符號(hào)信道及容量第一百零五頁(yè)，共一百五十頁(yè)，2022年，8月28日3.3離散序列符號(hào)信道及容量在實(shí)際中經(jīng)常有信道的并聯(lián)和串聯(lián)，下面簡(jiǎn)單介紹。1.串聯(lián)信道。假設(shè)信道1的轉(zhuǎn)移矩陣為P1,信道2的轉(zhuǎn)移矩陣為P2，串聯(lián)信道總的概率轉(zhuǎn)移矩陣為P=P1P2兩個(gè)信道的串聯(lián)型式第一百零六頁(yè)，共一百五十頁(yè)，2022年，8月28日平均互信息量滿(mǎn)足I(X；Z)≤I(X；Y)I(X；Z)≤I(Y；Z)總的信道容量不會(huì)大于各組成信道的信道容量，即C≤min{C1，C2}可以將該結(jié)論擴(kuò)展到m級(jí)串聯(lián)，得到總的轉(zhuǎn)移矩陣為

3.3離散序列符號(hào)信道及容量根據(jù)總得轉(zhuǎn)移矩陣即可求出串聯(lián)信道的容量為其中，X和Z分別表示串聯(lián)信道的輸入和輸出符號(hào)。而且滿(mǎn)足C≤min{C1，C2，…，Cm}第一百零七頁(yè)，共一百五十頁(yè)，2022年，8月28日

2.并聯(lián)信道

將m個(gè)相互獨(dú)立的信道并聯(lián)，如圖所示，3.3離散序列符號(hào)信道及容量

每個(gè)信道輸出Yi只與本信道輸入Xi有關(guān)(i=1,2,…,m),

假設(shè)各個(gè)信道的轉(zhuǎn)移概率分別為

，那么序列的轉(zhuǎn)移概率為第一百零八頁(yè)，共一百五十頁(yè)，2022年，8月28日如果每個(gè)信道都是無(wú)記憶的，總的信道也是無(wú)記憶的，則滿(mǎn)足

獨(dú)立并聯(lián)信道的容量為

3.3離散序列符號(hào)信道及容量當(dāng)輸入隨機(jī)變量Xi相互獨(dú)立，且有p(X1,X2…Xm)

達(dá)到最佳分布時(shí)容量最大(為各自信道容量之和)。第一百零九頁(yè)，共一百五十頁(yè)，2022年，8月28日

3.4信源與信道的匹配

實(shí)際通信中，經(jīng)常使用離散信道分析信息傳輸問(wèn)題。對(duì)于給定離散信道，其容量是存在的，而且是一個(gè)確定量，只有信源輸入滿(mǎn)足最佳分布時(shí)，信息的傳輸才能夠達(dá)到信道容量，即只有特殊分布的信源才能夠使信息傳輸速率最大。

3.4信源與信道的匹配第一百一十頁(yè)，共一百五十頁(yè)，2022年，8月28日

一般信源與信道連接時(shí),信息傳輸速率R等于信源與信宿之間的平均互信息量R=I(X,Y)。信源的分布并不總是滿(mǎn)足信道輸入的最佳概率分布，所以信息傳輸速率總是小于信道的容量的。當(dāng)信息傳輸速率達(dá)到信道容量時(shí)，稱(chēng)為信源與信道達(dá)到匹配，否則信道有冗余。3.4信源與信道的匹配第一百一十一頁(yè)，共一百五十頁(yè)，2022年，8月28日

定義3-5

設(shè)信道的信息傳輸速率為R=I(X,Y)，信道容量為C，信道的剩余度定義為

信道冗余度=C-I(X,Y)

相對(duì)剩余度定義為

3.4信源與信道的匹配第一百一十二頁(yè)，共一百五十頁(yè)，2022年，8月28日

一般情況下，信源輸出符號(hào)之間總是存在較強(qiáng)的相關(guān)性，而且信源的分布與信道難以匹配。當(dāng)離散信道是對(duì)稱(chēng)的或者接近對(duì)稱(chēng)時(shí)，為了實(shí)現(xiàn)有效的信息傳輸，要求信源輸出符號(hào)分布盡可能接近信道要求的等概率分布，為此可以采用信源編碼技術(shù)去除信源符號(hào)之間的相關(guān)性，并且經(jīng)過(guò)適當(dāng)?shù)淖儞Q后，信源編碼輸出符號(hào)分布盡可能接近等概率分布，就可使信道傳輸速率R達(dá)到或者接近信道容量，實(shí)現(xiàn)信源與信道的匹配。

3.4信源與信道的匹配第一百一十三頁(yè)，共一百五十頁(yè)，2022年，8月28日如果信道的傳輸速率R小于信道容量C,可以對(duì)信源輸出進(jìn)行適當(dāng)?shù)男诺谰幋a,實(shí)現(xiàn)無(wú)誤差的信息傳輸；如果信道的信息傳輸速率R大于信道容量C，實(shí)現(xiàn)無(wú)差錯(cuò)信息傳輸是不可能的。3.4信源與信道的匹配第一百一十四頁(yè)，共一百五十頁(yè)，2022年，8月28日5.5連續(xù)信道及其容量

對(duì)于連續(xù)信源，互信息量具有與離散信源相同的形式，即互信息量為信源的熵與條件熵之差，而連續(xù)信道的容量同樣定義為互信息量的最大值，在形式上，連續(xù)信道的信道容量與離散信道的信道容量是相同的。

離散信道的輸入、輸出符號(hào)都是離散的，所以用概率轉(zhuǎn)移矩陣加以描述；而連續(xù)信道的輸入、輸出符號(hào)都是連續(xù)變量，所以使用條件概率密度函數(shù)描述信道輸入、輸出變量之間的關(guān)系。5.5連續(xù)信道及其容量第一百一十五頁(yè)，共一百五十頁(yè)，2022年，8月28日5.5.1連續(xù)單符號(hào)加性信道

連續(xù)單符號(hào)加性信道是最簡(jiǎn)單的單符號(hào)信道，信道的輸入和輸出都是連續(xù)隨機(jī)變量，如圖5-8所示。

圖5-8連續(xù)單符號(hào)信道

5.5連續(xù)信道及其容量第一百一十六頁(yè)，共一百五十頁(yè)，2022年，8月28日

首先假設(shè)信道引入的噪聲是均值為0，方差為

的高斯白噪聲，即

～

，該噪聲的連續(xù)熵為(5.5-1)

根據(jù)熵之間的關(guān)系可知，單符號(hào)連續(xù)信道的平均互信息量可以表示為5.5連續(xù)信道及其容量第一百一十七頁(yè)，共一百五十頁(yè)，2022年，8月28日信道容量定義為(5.5-2)對(duì)于加性噪聲信道而言，條件熵

為

證明略。

5.5連續(xù)信道及其容量第一百一十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

綜合起來(lái)，連續(xù)單符號(hào)加性噪聲信道的信道容量為(5.5-3)

如果噪聲為高斯白噪聲，則有(5.5-4)

根據(jù)限平均功率最大熵定理，只有當(dāng)信道輸出

為高斯分布時(shí)，

取得最大值，即

～

，其中，

表示

的平均功率限制值。

信道輸入

與信道的噪聲之間相互獨(dú)立，而變量

可以表示為

5.5連續(xù)信道及其容量第一百一十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

根據(jù)高斯分布性質(zhì)：兩個(gè)高斯分布的加、減仍然服從高斯分布，假設(shè)

～

，則有

所以

又

5.5連續(xù)信道及其容量第一百二十頁(yè)，共一百五十頁(yè)，2022年，8月28日

于是可以得出結(jié)論：當(dāng)信道輸入服從高斯分布，假設(shè)

～

時(shí)，達(dá)到信道容量

，信道容量為

(5.5-5)

其中，∕稱(chēng)為信噪比。5.5連續(xù)信道及其容量第一百二十一頁(yè)，共一百五十頁(yè)，2022年，8月28日

要注意的是，這里沒(méi)有考慮信道對(duì)輸入信號(hào)的衰減，即認(rèn)為

是經(jīng)過(guò)信道衰減后的功率。實(shí)際中，信道的噪聲不一定服從高斯分布，根據(jù)上文討論可知，只要噪聲是加性的，就可以進(jìn)行計(jì)算，下面不加證明地給出均值為0，方差為

的加性噪聲信道容量的界5.5連續(xù)信道及其容量第一百二十二頁(yè)，共一百五十頁(yè)，2022年，8月28日

上述不等式的意義在于：對(duì)于給定的加性噪聲信道，如果信道的輸入能夠使得信道輸出為高斯分布，則信道容量到達(dá)上限

，而一般情況下，信道容量是小于該上限的。高斯信道是所有加性信道中最差的信道，任何其他類(lèi)型加性噪聲信道的容量都大于其信道容量。

所以實(shí)際中，在平均功率受限的條件下，經(jīng)常假設(shè)噪聲服從高斯分布，除了高斯噪聲的分析比較方便之外，還因?yàn)楦咚剐诺赖男诺廊萘渴亲钚〉?，?duì)信道的干擾最大。5.5連續(xù)信道及其容量第一百二十三頁(yè)，共一百五十頁(yè)，2022年，8月28日5.5.2多維無(wú)記憶加性連續(xù)信道

設(shè)信道輸入隨機(jī)序列

，信道輸出的隨機(jī)序列為

，由于高斯噪聲具有代表性，這里只討論高斯信道。設(shè)

是均值為零的高斯噪聲序列，由于信道無(wú)記憶，則有

又因是加性信道，所以得

5.5連續(xù)信道及其容量第一百二十四頁(yè)，共一百五十頁(yè)，2022年，8月28日

即噪聲序列中各分量是統(tǒng)計(jì)獨(dú)立的。噪聲

是高斯噪聲，又各分量統(tǒng)計(jì)獨(dú)立，所以各分量

是均值為零、方差為

的高斯變量。這樣，多維無(wú)記憶高斯加性信道可等價(jià)成

個(gè)獨(dú)立的并聯(lián)高斯加性信道。

由于

則有(5.5-6)5.5連續(xù)信道及其容量第一百二十五頁(yè)，共一百五十頁(yè)，2022年，8月28日

從上式可知，各時(shí)刻

上的噪聲是均值為零、方差為不同的

高斯噪聲，于是，當(dāng)且僅當(dāng)輸入隨機(jī)矢量

中各分量統(tǒng)計(jì)獨(dú)立，并且也是均值為零、方差為不同的

的高斯變量時(shí)，才能達(dá)到此信道容量。

可見(jiàn)，上式是多維無(wú)記憶高斯加性連續(xù)信道的信道容量，也是

個(gè)獨(dú)立的、并聯(lián)組合的、高斯加性信道的信道容量。5.5連續(xù)信道及其容量第一百二十六頁(yè)，共一百五十頁(yè)，2022年，8月28日

（1）

如果各個(gè)時(shí)刻

上的噪聲都是均值為零、方差為

的高斯噪聲，則信道容量

為

比特∕個(gè)自由度

當(dāng)且僅當(dāng)輸入信號(hào)

的各分量統(tǒng)計(jì)獨(dú)立，并且都是均值為零、方差為

的高斯變量時(shí)，信息傳輸概率達(dá)到最大值。（2）如果各個(gè)時(shí)刻

上的噪聲都是均值為零、方差為

的高斯噪聲，但輸入信號(hào)的總平均功率受限，則該約束條件為

5.5連續(xù)信道及其容量第一百二十七頁(yè)，共一百五十頁(yè)，2022年，8月28日

那么，此時(shí)各時(shí)刻的信號(hào)平均功率

應(yīng)如何分配？其信道容量應(yīng)等于多少？

由于

≤

其中，

，所以約束條件為

。只有當(dāng)

中各分量是均值為零、方差為

的統(tǒng)計(jì)獨(dú)立的高斯變量時(shí)，上式的等式才成立。5.5連續(xù)信道及其容量第一百二十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

極限問(wèn)題

，就是計(jì)算在約束條件

的情況下，使

達(dá)到最大。這是一個(gè)標(biāo)準(zhǔn)的求極大值的問(wèn)題，可以用拉格朗日乘法來(lái)計(jì)算。

構(gòu)造輔助函數(shù)為

對(duì)變量求偏導(dǎo)數(shù)，并令其為0，即

5.5連續(xù)信道及其容量第一百二十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

整理后可以得到下列方程

上式計(jì)算得到的

可能會(huì)出現(xiàn)負(fù)數(shù)，這表明獨(dú)立并聯(lián)信道中，某一信道的噪聲平均功率

大于該信道分配得到信號(hào)平均功率，所以該信道就無(wú)法利用，只有令

，即選取

，其中

符號(hào)表示

的正數(shù)，即5.5連續(xù)信道及其容量第一百三十頁(yè)，共一百五十頁(yè)，2022年，8月28日而常數(shù)

的選擇由約束條件求得于是，可得信道容量5.5連續(xù)信道及其容量第一百三十一頁(yè)，共一百五十頁(yè)，2022年，8月28日

上述結(jié)論說(shuō)明，在

個(gè)獨(dú)立信道并聯(lián)構(gòu)成的高斯加性通道中，當(dāng)各分信道的噪聲平均功率不相等（或多維無(wú)記憶高斯加性信道，各時(shí)刻噪聲分量的平均功率不相等）時(shí)，為達(dá)到最大的信息傳輸率，要對(duì)輸入信號(hào)的總能量進(jìn)行適當(dāng)?shù)姆峙?，其分配按下式進(jìn)行

5.5連續(xù)信道及其容量第一百三十二頁(yè)，共一百五十頁(yè)，2022年，8月28日

即當(dāng)常數(shù)

＜

時(shí)，此信道（或此時(shí)刻信號(hào)分量）不分配能量，不傳輸任何信息；當(dāng)

＞

時(shí)，在這些信道（或此時(shí)刻信號(hào)分量）中分配能量，并使?jié)M足

加上

等于常數(shù)

。這樣得到的信道容量最大，即噪聲大的信道少傳甚至不傳送信息，而在噪聲小的信道多傳輸些信息，從而有利于信息傳輸。5.5連續(xù)信道及其容量第一百三十三頁(yè)，共一百五十頁(yè)，2022年，8月28日5.5.3加性高斯白噪聲波形信道

上面討論的連續(xù)信道中，信道的輸入、輸出變量的幅度取值是連續(xù)變化的，而在時(shí)間上是離散的。而實(shí)際中的物理信道都是波形信道，信道的輸入和輸出在幅度上都是連續(xù)變化的。對(duì)于這樣的信道應(yīng)當(dāng)適用隨機(jī)過(guò)程對(duì)其進(jìn)行研究，首先對(duì)加性高斯白噪聲波形信道進(jìn)行介紹。

假設(shè)信道的輸入、輸出都是平穩(wěn)隨機(jī)過(guò)程，在限頻

、限時(shí)

條件下將波形信道轉(zhuǎn)換為多維連續(xù)信道進(jìn)行分析。設(shè)在時(shí)間

內(nèi)，將信道5.5連續(xù)信道及其容量第一百三十四頁(yè)，共一百五十頁(yè)，2022年，8月28日

輸入、輸出隨機(jī)過(guò)程在時(shí)間上離散為維數(shù)為

的隨機(jī)序列

和

，從而可以得到波形信道的平均互信息為

對(duì)于波形信道而言，一般討論單位時(shí)間內(nèi)信息傳輸率

，定義為

比特∕秒

5.5連續(xù)信道及其容量第一百三十五頁(yè)，共一百五十頁(yè)，2022年，8月28日

信道容量

定義為

(5.5-7)

通常情況下，假設(shè)波形信道中的噪聲是均值為0、雙邊功率譜密度為∕2的高斯白噪聲隨機(jī)過(guò)程。同樣可以將波形信道中的噪聲在時(shí)間上離散化，在時(shí)間

內(nèi)使用

維隨機(jī)序列表示，由于信道帶寬總是受限的，設(shè)帶寬為

，在時(shí)間

內(nèi)，隨機(jī)序列長(zhǎng)度取為5.5連續(xù)信道及其容量第一百三十六頁(yè)，共一百五十頁(yè)，2022年，8月28日

這樣就將波形信道變換為多維無(wú)記憶高斯加性信道，所以得出下列結(jié)論：(5.5-8)

其中，

為每個(gè)噪聲分量的功率

，即雙邊功率譜密度，

為每個(gè)信號(hào)樣本值的平均功率，當(dāng)信號(hào)受限于功率

時(shí)，滿(mǎn)足

5.5連續(xù)信道及其容量第一百三十七頁(yè)，共一百五十頁(yè)，2022年，8月28日為信號(hào)帶寬，于是得到信道容量為

(5.5-9)所以波形信道的信道容量為(5.5-10)5.5連續(xù)信道及其容量第一百三十八頁(yè)，共一百五十頁(yè)，2022年，8月28日

其中，

為信號(hào)的平均功率，

為高斯白噪聲在帶寬為

內(nèi)的平均功率。信道的容量是帶寬和信噪功率比的函數(shù)。這就是著名的香農(nóng)公式。當(dāng)信道輸入是平均功率受限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才能達(dá)到該信道容量。

然而實(shí)際中信道一般為非高斯噪聲波形信道，由于噪聲熵小于高斯噪聲的噪聲熵，所以信道容量以高斯加性信道的信道容量為下限。5.5連續(xù)信道及其容量第一百三十九頁(yè)，共一百五十頁(yè)，2022年，8月28日

根據(jù)香農(nóng)公式，可以得出下列結(jié)論：

（1）當(dāng)帶寬

一定時(shí)，信噪比與

信道容量

成對(duì)數(shù)關(guān)系。若

增大，

就增大，但增大到一定程度后就趨于緩慢。這說(shuō)明增加輸入信號(hào)功率有助于容量的增大