第3章：信道容量

信息論與編碼西安工業(yè)大學(xué)電子信息工程學(xué)院

趙黎第三章信道容量信道的功能：以信號(hào)形式傳輸和存儲(chǔ)信息。信道傳輸信息的速率：與物理信道本身的特性、載荷信息的信號(hào)形式和信源輸出信號(hào)的統(tǒng)計(jì)特性有關(guān)。信道容量研究?jī)?nèi)容：在什么條件下，通過(guò)信道的信息量最大。信道定義：傳輸信息的媒介或通道。信道也可以看作一種變換，把輸入變換成輸出。信道的隨機(jī)性：由于干擾和噪聲的存在，變換是隨機(jī)（概率）的。信道的描述：用條件轉(zhuǎn)移概率表示。本章內(nèi)容信道的數(shù)學(xué)模型及分類單符號(hào)離散信道的信道容量3.1信道的數(shù)學(xué)模型及分類一般信道的數(shù)學(xué)模型信道的分類實(shí)際的信道(1)一般信道的數(shù)學(xué)模型信息論對(duì)信道的研究：對(duì)具體物理信道抽象，建立與各種通信系統(tǒng)相適應(yīng)的信道模型，研究信息在這些模型信道上傳輸?shù)钠毡橐?guī)律，指導(dǎo)通信系統(tǒng)的設(shè)計(jì)。信道模型：不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程，把信道模型看作黑匣子。數(shù)學(xué)模型的數(shù)學(xué)符號(hào)表示：

{X

P(Y/X)Y}(2)信道的分類①根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類②根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類③根據(jù)輸入輸出個(gè)數(shù)分類④根據(jù)信道上有無(wú)干擾分類⑤根據(jù)信道有無(wú)記憶特性分類①根據(jù)輸入輸出隨機(jī)信號(hào)的特點(diǎn)分類離散信道：輸入和輸出的隨機(jī)序列的取值都是離散的信道。連續(xù)信道：輸入和輸出的隨機(jī)序列的取值都是連續(xù)的信道。半離散／半連續(xù)信道：輸入變量取離散值而輸出變量取連續(xù)值，或反之.②根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少分類單符號(hào)信道：輸入和輸出端都只用一個(gè)隨機(jī)變量來(lái)表示。離散無(wú)記憶擴(kuò)展信道（多符號(hào)信道）：輸入和輸出端用隨機(jī)變量序列（隨機(jī)矢量）來(lái)表示。③根據(jù)輸入輸出個(gè)數(shù)分類單用戶信道：只有一個(gè)輸入和一個(gè)輸出的信道。多用戶信道：有多個(gè)輸入和多個(gè)輸出的信道。(多元接入信道和廣播信道)

④根據(jù)信道上有無(wú)干擾分類有干擾信道：存在干擾或噪聲或兩者都有的信道。實(shí)際信道一般都是有干擾信道。無(wú)干擾信道：不存在干擾或噪聲，或干擾和噪聲可忽略不計(jì)的信道。計(jì)算機(jī)和外存設(shè)備之間的信道可看作是無(wú)干擾信道。⑤根據(jù)信道有無(wú)記憶特性分類無(wú)記憶信道：輸出僅與當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道。有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過(guò)去輸入和（或）過(guò)去輸出有關(guān)。(3)實(shí)際的信道實(shí)際信道的帶寬總是有限的，所以輸入和輸出信號(hào)總可以分解成隨機(jī)序列來(lái)研究。隨機(jī)序列中每個(gè)隨機(jī)變量的取值可以是可數(shù)的離散值，也可以是不可數(shù)的連續(xù)值。一個(gè)實(shí)際信道可同時(shí)具有多種屬性。

最簡(jiǎn)單的信道是單符號(hào)離散信道。3.2單符號(hào)離散信道的信道容量信道容量定義幾種特殊離散信道的信道容量離散信道容量的一般計(jì)算方法(1)信道容量的定義①單符號(hào)離散信道的數(shù)學(xué)模型②信道的信息傳輸率③信道容量①單符號(hào)離散信道的數(shù)學(xué)模型a信道模型b信道統(tǒng)計(jì)特性a信道模型設(shè)輸入：X∈{x1,x2,…,xi,…,xn}

輸出：Y∈{y1,y2,…,yj,…,ym}其信道模型：a信道模型用線圖描述：b信道統(tǒng)計(jì)特性信道統(tǒng)計(jì)特性：由信道轉(zhuǎn)移概率描述。信道轉(zhuǎn)移概率（信道傳遞概率）：條件概率p(yj/xi)。信道特性表示：用信道轉(zhuǎn)移概率矩陣，簡(jiǎn)稱信道矩陣。反信道矩陣：由條件概率p(xi/yj)

表示。②信道的信息傳輸率②信道的信息傳輸率研究信道的目的：討論信道中平均每個(gè)符號(hào)傳送的信息量（信道的信息傳輸率）。信道的信息傳輸率：就是平均互信息：

R=I(X;Y)＝H(X)－H(X/Y)（比特/符號(hào)）平均互信息I(X;Y)就是接收到符號(hào)Y

后平均每個(gè)符號(hào)獲得的關(guān)于X

的信息量②

信道的信息傳輸率如果信源熵為H(X)，希望在信道輸出端接收的信息量就是H(X)，由于干擾的存在，一般只能接收到I(X;Y)。輸出端Y

往往只能獲得關(guān)于輸入X

的部分信息，這是由于平均互信息性質(zhì)決定的：I(X;Y)≤H(X)。I(X;Y)

是信源無(wú)條件概率p(xi)

和信道轉(zhuǎn)移概率p(yj/xi)

的二元函數(shù)：③信道容量當(dāng)信道特性p(yj/xi)

固定后，I(X;Y)隨信源概率分布p(xi)

的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)

是p(xi)

的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。③信道容量信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號(hào)。單位時(shí)間的信道容量Ct：若信道平均傳輸一個(gè)符號(hào)需要

t秒鐘，則單位時(shí)間的信道容量為：

Ct

實(shí)際是信道的最大信息傳輸速率。結(jié)論C和

Ct都是求平均互信息I(X;Y)

的條件極大值問題，當(dāng)輸入信源概率分布p(xi)

調(diào)整好以后，

C

和Ct

已與p(xi)

無(wú)關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。(2)幾種特殊離散信道的信道容量①離散無(wú)噪聲信道的信道容量②強(qiáng)對(duì)稱離散信道的信道容量③對(duì)稱離散信道的信道容量④準(zhǔn)對(duì)稱離散信道的信道容量

①

離散無(wú)噪信道的信道容量a具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道b具有擴(kuò)展性能的無(wú)噪信道c具有歸并性能的無(wú)噪信道a具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）信道線圖a具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）信道矩陣a具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道（無(wú)噪無(wú)損信道）因?yàn)樾诺谰仃囍兴性鼐恰?”或“0”，X

和Y

有確定的對(duì)應(yīng)關(guān)系：已知X

后Y

沒有不確定性，收到Y(jié)后，X

也不存在不確定性，I(X;Y)=H(X)=H(Y)。當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)確定關(guān)系的無(wú)噪信道達(dá)到信道容量（信源X的最大熵）噪聲熵：H(Y/X)=0損失熵/信道疑義度：H(X/Y)=0b具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）n<m，輸入X

的符號(hào)集個(gè)數(shù)小于輸出Y的符號(hào)集個(gè)數(shù)。噪聲熵：H(Y/X)>0損失熵/信道疑義度：H(X/Y)=0b具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）其信道矩陣為：雖然信道矩陣中的元素不全是“1”或“0”，但由于每列中只有一個(gè)非零元素：已知Y

后，X

不再有任何不確定度，

信道容量為：此時(shí)輸入端符號(hào)熵小于輸出端符號(hào)熵，H(X)<H(Y)。噪聲熵：H(Y/X)>0損失熵/信道疑義度：H(X/Y)=0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)b具有擴(kuò)展性能的無(wú)噪信道（有噪無(wú)損信道）熵之間的關(guān)系：c具有歸并性能的無(wú)噪信道（無(wú)噪有損信道）n>m，輸入X

的符號(hào)集個(gè)數(shù)大于輸出Y的符號(hào)集個(gè)數(shù)：噪聲熵：H(Y/X)=0損失熵/信道疑義度：H(X/Y)>0信道矩陣中的元素非“0”即“1”，每行僅有一個(gè)非零元素，但每列的非零元素個(gè)數(shù)大于1：已知某一個(gè)

xi后，對(duì)應(yīng)的

yj完全確定，收到某一個(gè)yj后，對(duì)應(yīng)的xi不完全確定，信道疑義度H(X/Y)≠0。

信道容量為：這種信道的輸入端符號(hào)熵大于輸出端符號(hào)熵，H(X)>H(Y)。噪聲熵：H(Y/X)=0損失熵/信道疑義度：H(X/Y)>0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(Y)注意：在求信道容量時(shí)，調(diào)整的始終是輸入端的概率分布p(xi)

，盡管信道容量式子中平均互信息I(X;Y)

等于輸出端符號(hào)熵H(Y)，但是在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布p(xi)

，而不能用輸出端的概率分布p(yj)

來(lái)代替。熵之間的關(guān)系：[舉例]：圖3.2.4a的信道容量是log23=1.585(比特/信道符號(hào))，求要達(dá)到這一信道容量對(duì)應(yīng)的信源概率分布。由信道矩陣得

p(y1)=p(x1)×1+p(x2)×1

p(y2)=p(x3)×1+p(x4)×1

p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)

達(dá)到最大值，即達(dá)到信道容量C。[舉例]：此時(shí)使p(y1)=p(y2)=p(y3)=(1/3)

的信源概率分布{p(xi)},i=1,2,3,4,5

存在，但不是惟一的。這種信道的輸入符號(hào)熵大于輸出符號(hào)熵，即H(X)>H(Y)。結(jié)論無(wú)損信道的信道容量

C

只決定于信道的輸入符號(hào)數(shù)n，與信源無(wú)關(guān)。無(wú)噪信道的信道容量

C

只決定于信道的輸出符號(hào)數(shù)m，與信源無(wú)關(guān)。②強(qiáng)對(duì)稱離散信道的信道容量a什么是強(qiáng)對(duì)稱離散信道b強(qiáng)對(duì)稱信道矩陣特點(diǎn)c強(qiáng)對(duì)稱離散信道的信道容量d輸入是什么概率分布時(shí)達(dá)到信道容量e二進(jìn)制均勻信道a什么是強(qiáng)對(duì)稱離散信道單符號(hào)離散信道的X

和Y

取值均由

n

個(gè)不同符號(hào)組成，即X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}每信道矩陣為：a什么是強(qiáng)對(duì)稱離散信道這種信道稱為強(qiáng)對(duì)稱（均勻）信道。這類信道中：總的錯(cuò)誤概率是

p，對(duì)稱平均地分配給(n－1)個(gè)輸出符號(hào).信道矩陣中每行之和等于1，每列之和也等于1。一般信道矩陣中，每列之和不一定等于1。b強(qiáng)對(duì)稱信道矩陣特點(diǎn)強(qiáng)對(duì)稱信道矩陣，它的每一行和每一列都是同一集合各個(gè)元素的不同排列。由平均互信息定義：b強(qiáng)對(duì)稱信道矩陣特點(diǎn)Hni的意義：是固定X=xi

時(shí)對(duì)Y

求和，相當(dāng)于在信道矩陣中選定了某一行，對(duì)該行上各列元素的自信息求加權(quán)和。由于信道的對(duì)稱性，每一行都是同一集合的不同排列，所以：當(dāng)

xi不同時(shí)，Hni只是求和順序不同，求和結(jié)果完全一樣。所以Hni

與X無(wú)關(guān)，是一個(gè)常數(shù)。b強(qiáng)對(duì)稱信道矩陣特點(diǎn)因此：c強(qiáng)對(duì)稱離散信道的信道容量

如何達(dá)到信道容量：求一種輸入分布使H(Y)

取最大值?，F(xiàn)已知輸出符號(hào)集Y

共有

n個(gè)符號(hào)，則H(Y)≤log2n。根據(jù)最大離散熵定理，只有當(dāng)p(yj)=(1/n)，即輸出端呈等概率分布時(shí)，

H(Y)

才達(dá)到最大值log2n

。要獲得這一最大值，可通過(guò)下面公式尋找相應(yīng)的輸入概率分布；現(xiàn)一般情況下不一定存在一種輸入符號(hào)的概率，使輸出符號(hào)達(dá)到等概率分布。但強(qiáng)對(duì)稱離散信道存在。d輸入是什么概率分布時(shí)達(dá)到信道容量強(qiáng)對(duì)稱離散信道的輸入和輸出之間概率關(guān)系可用矩陣表示為：d輸入是什么概率分布時(shí)達(dá)到信道容量信道矩陣中的每一行都是由同一集合中的諸元素的不同排列組成，所以保證了當(dāng)輸入符號(hào)X是等概率分布，即p(xi)=(1/n)時(shí)，輸出符號(hào)Y一定是等概率分布，這時(shí)H(Y)=log2n。相應(yīng)的信道容量為：d輸入是什么概率分布時(shí)達(dá)到信道容量結(jié)論：當(dāng)信道輸入呈等概率分布時(shí)，強(qiáng)對(duì)稱離散信道能夠傳輸最大的平均信息量，即達(dá)到信道容量。這個(gè)信道容量只與信道的輸出符號(hào)數(shù)n和相應(yīng)信道矩陣中的任一行矢量有關(guān)。e二進(jìn)制均勻信道當(dāng)n=2時(shí)的強(qiáng)對(duì)稱離散信道就是二進(jìn)制均勻信道。二進(jìn)制均勻信道的信道容量為：二進(jìn)制均勻信道容量曲線如圖3.2.6所示。③對(duì)稱離散信道的信道容量a可排列性b對(duì)稱離散信道定義c對(duì)稱離散信道的信道容量a可排列性行可排列：一個(gè)矩陣的每一行都是同一集合Q{q1,q2,…,qm}

中諸元素的不同排列。列可排列：一個(gè)矩陣的每一列都是同一集合P{p1,p2,…,pn}

中諸元素的不同排列。矩陣可排列（具有可排列性）：一個(gè)矩陣的行和列都是可排列的。b對(duì)稱離散信道定義對(duì)稱離散信道：信道矩陣具有可排列性。對(duì)稱離散信道行、列集合的特點(diǎn)：當(dāng)

m<n時(shí)，Q

是P

的子集。當(dāng)m>n

時(shí)，P

是Q

的子集。當(dāng)m=n

時(shí)，Q

和

P中的所有元素重合，Q

和

P

是同一集合。b對(duì)稱離散信道定義舉例：b對(duì)稱離散信道定義舉例：c對(duì)稱離散信道的信道容量c對(duì)稱離散信道的信道容量對(duì)稱離散信道的信道容量與強(qiáng)對(duì)稱的形式相同，只是這里m≠n。由于對(duì)稱信道的特點(diǎn)，其信道矩陣中每一列都是由同一集合中的諸元素的不同排列組成，所以保證了當(dāng)X等概率分布時(shí)，Y也是等概率分布，從而使Y

的熵達(dá)到最大值log2m，即信道容量。④準(zhǔn)對(duì)稱離散信道的信道容量

準(zhǔn)對(duì)稱離散信道定義：一個(gè)n行m

列單符號(hào)離散信道矩陣[P]

的行可排列，列不可排列。但是矩陣中的m

列可分成

S

個(gè)不相交的子集，各子集分別有m1,m2,…,ms個(gè)元素(m1+m2+…+ms=m)，由n

行mk(k=1,2,…,s)

列組成的子矩陣[P]k

具有可排列性。舉例兩個(gè)子矩陣均是可排列的，故信道[P]

是準(zhǔn)對(duì)稱信道。準(zhǔn)對(duì)稱離散信道容量為：可以證明：實(shí)現(xiàn)離散準(zhǔn)對(duì)稱無(wú)記憶信道信道容量的輸入符號(hào)集的分布為等概率分布。舉例已知準(zhǔn)對(duì)稱信道矩陣，求其信道容量

(3)離散信道容量的一般計(jì)算方法

①

如何計(jì)算離散信道容量②用拉格朗日乘子法求信道容量

③

一般離散信道容量計(jì)算步驟①如何計(jì)算離散信道容量由于I(X;Y)

是輸入概率分布p(xi)

的上凸函數(shù)，所以極大值一定存在。因?yàn)镮(X;Y)

是n

個(gè)變量{p(x1),p(x2),…,p(xn)}

的多元函數(shù)，并滿足，所以可用拉各朗日乘子法計(jì)算這個(gè)條件極值。對(duì)一般離散信道求信道容量，就是在固定信道條件下，對(duì)所有可能的輸入概率分布p(xi)

，求平均互信息的極大值。②用拉各朗日乘子法求信道容量引進(jìn)一個(gè)新函數(shù)

其中λ為拉各朗日乘子，解方程組：

可得一般信道容量C。將I(X;Y)

的表達(dá)式代入(3.2.21)得：整理得：上式左邊為平均互信息的極大值，即：③一般離散信道容量計(jì)算步驟一般離散信道容量的計(jì)算步驟總結(jié)如下：注意：在第②步信道容量C

被求出后，計(jì)算并沒有結(jié)束，必須解出相應(yīng)的p(xi)

，并確認(rèn)所有的p(xi)≥0

時(shí)，所求的C才存在。在對(duì)I(X;Y