第3章信道與信道容量

第3章信道與信道容量信道的基本概念離散單個(gè)符號(hào)信道及其容量離散序列信道及其容量連續(xù)信道及其容量多輸入多輸出信道及其容量信源與信道的匹配1普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道分類用戶數(shù)量：?jiǎn)斡脩?、多用戶輸入端和輸出端關(guān)系：無反饋、有反饋信道參數(shù)與時(shí)間的關(guān)系：固參、時(shí)變參噪聲種類：隨機(jī)差錯(cuò)、突發(fā)差錯(cuò)輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、 波形信道2普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道參數(shù)信道種類無干擾信道有干擾無記憶信道有干擾有記憶信道3普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著無干擾（無噪聲）信道信道參數(shù)4普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著有干擾無記憶信道二進(jìn)制對(duì)稱信道（BSC）信道參數(shù)p(Y=0|X=1)=p(Y=1|X=0)=pp(Y=1|X=1)=p(Y=0|X=0)=1-p

5普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道參數(shù)有干擾無記憶信道離散無記憶信道6普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道參數(shù)有干擾無記憶信道離散輸入、連續(xù)輸出信道Y＝X＋G

加性高斯白噪聲(AWGN)信道：7普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道參數(shù)有干擾無記憶信道波形信道噪聲與信號(hào)通常相互獨(dú)立，波形信道轉(zhuǎn)化成多維連續(xù)信道，條件熵HC(Y/X)是由于噪聲引起的，它等于噪聲信源的熵HC(n)，所以稱條件熵為噪聲熵

8普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道容量的定義信息傳輸率：信道中平均每個(gè)符號(hào)所能傳送的信息量，R=I(X;Y)=H(X)－H(X/Y)比特/符號(hào)信息傳輸速率：信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘浚琑t=I(X;Y)/t比特/秒信道容量：信道所能傳送的最大信息量。比特/符號(hào)（bits/symbol或bits/channeluse）

9普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著對(duì)于固定信道參數(shù)的信道，信道容量是個(gè)定值，但在傳輸信息時(shí)信道能否提供其最大傳輸能力，則取決于輸入端的概率分布。對(duì)于時(shí)變信道參數(shù)的信道，由于其信道參數(shù)隨時(shí)間變化，不能用固定值表示，其信道容量也不再是一個(gè)固定的量，而是一個(gè)隨機(jī)變量。此時(shí)用另外兩個(gè)量來表征信道性能。信道容量的定義10普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著平均容量：也稱遍歷容量（ErgodicCapacity），它是對(duì)隨機(jī)信道容量的所有可能的值進(jìn)行平均的結(jié)果，即，一般用其來衡量系統(tǒng)整體意義上的信道容量性能；中斷容量：指信道瞬時(shí)容量值小于某個(gè)指定容量值的概率等于某一給定中斷概率Poutage時(shí)，該給定的信道容量稱為對(duì)應(yīng)于該中斷概率的中斷容量Coutage，即11普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量無干擾離散信道的信道容量X、Y一一對(duì)應(yīng)C＝logn多個(gè)輸入變成一個(gè)輸出C＝maxH(Y)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出C＝maxH(X)12普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量對(duì)稱DMC信道定義輸入對(duì)稱如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對(duì)稱輸出對(duì)稱如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對(duì)稱對(duì)稱的DMC信道如果輸入、輸出都對(duì)稱13普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量對(duì)稱DMC信道例子14普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量輸入對(duì)稱輸出對(duì)稱15普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量對(duì)稱信道容量16普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量Eg.求信道容量17普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量Eg.求信道容量信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1－，錯(cuò)誤概率被對(duì)稱地均分給n-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例18普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量二進(jìn)制對(duì)稱信道容量C＝1－H（）19普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量串聯(lián)信道C(1,2)=maxI(X;Z)C(1,2,3)=maxI(X;W)…

串接的信道越多，其信道容量可能會(huì)越小，當(dāng)串接信道數(shù)無限大時(shí)，信道容量就有可能趨于零。

20普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量Eg.設(shè)有兩個(gè)離散BSC信道串接，兩個(gè)BSC信道的轉(zhuǎn)移矩陣如下，求信道容量21普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]22普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量準(zhǔn)對(duì)稱DMC信道如果轉(zhuǎn)移概率矩陣P是輸入對(duì)稱而輸出不對(duì)稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準(zhǔn)對(duì)稱DMC信道23普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量準(zhǔn)對(duì)稱DMC信道容量當(dāng)輸入分布為等概分布時(shí)，互信息達(dá)到最大值，即為信道容量。24普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量Eg.求信道容量方法一：信道的輸入符號(hào)有兩個(gè)，可設(shè)p(a1)＝，p(a2)＝1－，信道的輸出符號(hào)有三個(gè)，用b1、b2、b3表示，25普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量方法二當(dāng)p(a1)＝p(a2)＝1/2時(shí)，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符號(hào)方法三將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱的子集n為輸入符號(hào)集個(gè)數(shù)；p1’，p2’，…ps’是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和，r是互不相交的子集個(gè)數(shù)26普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量方法三27普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量Eg.求信道容量28普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.2離散單個(gè)符號(hào)信道及其容量一般DMC信道

一般地說，為使I(X;Y)最大化以便求取DMC容量，輸入符號(hào)概率集{p(ai)}必須滿足的充分和必要條件是：I(ai;Y)=C對(duì)于所有滿足p(ai)>0條件的II(ai;Y)

C對(duì)于所有滿足p(ai)=0條件的I

當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號(hào)概率集{p(ai)}中每一個(gè)符號(hào)ai對(duì)輸出端Y提供相同的互信息，只是概率為零的符號(hào)除外。29普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.3離散序列信道及其容量

離散序列信道

信道

p(Y/X)

Y

X

X=(X1X2…XL)Xl{a1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}30普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.3離散序列信道及其容量

離散無記憶序列信道

11111進(jìn)一步信道是平穩(wěn)的

31普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.3離散序列信道及其容量

離散無記憶序列信道

11111如果信道無記憶如果輸入矢量X中的各個(gè)分量相互獨(dú)立當(dāng)信道平穩(wěn)時(shí)CL=LC1，一般情況下，I(X;Y)LC132普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.3離散序列信道及其容量

擴(kuò)展信道如果對(duì)離散單符號(hào)信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道

11111BSC的二次擴(kuò)展信道

X{00,01,10,11}，Y{00,01,10,11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2001011010001101133普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.3離散序列信道及其容量

擴(kuò)展信道1111若p＝0.1，則C2＝2－0.938＝1.062比特/序列

34普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.3離散序列信道及其容量

獨(dú)立并聯(lián)信道序列的轉(zhuǎn)移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL)1111X1

p(Y1/X1)Y1X2

p(Y2/X2)Y2

……XL

p(YL/XL)YL

35普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

連續(xù)單符號(hào)加性信道

x(xR)

p(y/x)y(yR)n平均互信息為I(X;Y)＝HC(X)－HC(X/Y)＝HC(Y)－HC(Y/X)＝HC(X)＋HC(Y)－HC(XY)

信道容量y=x+n36普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

連續(xù)單符號(hào)加性信道

若噪聲是均值為零、方差為2的加性高斯噪聲，Hc(n)最大，信道容量就小。這是信道危害最大的情況，所以在處理實(shí)際問題時(shí)，通常采用計(jì)算高斯噪聲信道容量的方法保守地估計(jì)容量，且高斯噪聲信道容量容易計(jì)算。37普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

連續(xù)單符號(hào)加性信道

pY(y)＝N(0,P)，pn(n)＝N(0,2)，y=x+n，所以pX(x)＝N(0,S)

C＝1/2log(1+SNR)

信道輸入X是均值為零、方差為S的高斯分布隨機(jī)變量時(shí)，信息傳輸率達(dá)到最大值

若是加性的，可以求出信道容量的上下界

38普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

多維無記憶加性連續(xù)信道

信道輸入隨機(jī)序列X＝X1X2…XL，輸出隨機(jī)序列Y＝Y(jié)1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL是均值為零的高斯噪聲

39普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

連續(xù)單符多維無記憶高斯加性信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道號(hào)加性信道

比特/L維自由度

因此當(dāng)且僅當(dāng)輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為零、方差為Pl的高斯變量時(shí)，才能達(dá)到此信道容量

40普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

討論均值為零、方差相同

均值為零、方差不同，總平均功率受限

41普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

討論各個(gè)時(shí)刻的信道輸出功率相等設(shè)為常數(shù)

42普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

eg有一并聯(lián)高斯加性信道，各子信道噪聲方差為＝0.1，＝0.2，＝0.3，＝0.4，＝0.5，＝0.6，＝0.7，＝0.8，＝0.9，＝1.0

43普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

限時(shí)限頻限功率加性高斯白噪聲信道波形信道中，在限時(shí)tB、限頻fm條件下可轉(zhuǎn)化成多維連續(xù)信道，將輸入隨機(jī)過程{x(t)}、輸出隨機(jī)過程{y(t)}轉(zhuǎn)化成L維隨機(jī)序列X＝(X1,X2,…,XL)和Y＝(Y1,Y2,…,YL)，波形信道的平均互信息為

信道容量為

44普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

限時(shí)限頻限功率加性高斯白噪聲信道信道的容量

單位時(shí)間的信道容量香農(nóng)公式

Ct＝Wlog(1+SNR)比特/秒輸入信號(hào){x(t)}滿足均值為零、平均功率Ps的高斯白噪聲的特性45普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

討論帶寬W一定時(shí)，信噪比SNR與信道容量Ct成對(duì)數(shù)關(guān)系，SNR增大，Ct就增大，但增大到一定程度后就趨于緩慢。增加輸入信號(hào)功率有助于容量的增大，但該方法是有限的；降低噪聲功率也是有用的，當(dāng)時(shí)，，即無噪聲信道的容量為無窮大。Ct

SNR信道容量與信噪比的關(guān)系Ct＝Wlog(1+SNR)比特/秒46普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

討論當(dāng)輸入信號(hào)功率PS一定，增加信道帶寬，可以增加容量ln(1+x)

x

PS/N0＝ln2＝-1.6dB，即當(dāng)帶寬不受限制時(shí)，傳送1比特信息，信噪比最低只需-1.6dB（香農(nóng)限）

47普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

討論Ct/W＝log(1+SNR)比特/秒/Hz，單位頻帶的信息傳輸速率－－頻帶利用率，該值越大，信道就利用得越充分。Ct/W(bit/s/Hz)不可實(shí)現(xiàn)區(qū)域1可實(shí)現(xiàn)區(qū)域

-1.60SNR(dB)48普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著Ct＝Wlog(1+SNR)比特/秒Ct一定時(shí)，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號(hào)功率不變的情況下，可容許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中的擴(kuò)頻系統(tǒng)就是利用了這個(gè)原理，將所需傳送的信號(hào)擴(kuò)頻，使之遠(yuǎn)遠(yuǎn)大于原始信號(hào)帶寬，以增強(qiáng)抗干擾的能力。

3.4 連續(xù)信道及其容量49普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.4 連續(xù)信道及其容量

Eg電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝100，求信道的容量。50普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.5.1MIMO系統(tǒng)信道模型3.5.2MIMO信道的容量3.5MIMO信道及其容量51普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.5.1MIMO系統(tǒng)模型點(diǎn)到點(diǎn)MIMO系統(tǒng)由M根發(fā)送天線和N根接收天線組成。圖3-19MIMO信道模型x1x2xMn1n2nNy1y2yN52普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著53普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.5.1MIMO系統(tǒng)模型發(fā)送信號(hào)：第j根天線發(fā)送xj為零均值i.i.d高斯變量，發(fā)送信號(hào)的協(xié)方差矩陣為：總的發(fā)送功率約束為若每根天線發(fā)送相等的信號(hào)功率PT/MT，54普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著信道矩陣：H為復(fù)矩陣，hij表示第j根發(fā)送天線至第i根接收天線的信道衰落系數(shù)。歸一化約束：每一根天線的接收功率均等于總的發(fā)送功率3.5.1MIMO系統(tǒng)模型55普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著接收端的噪聲：各分量為獨(dú)立的零均值高斯變量，具有獨(dú)立的和相等方差的實(shí)部和虛部。噪聲協(xié)方差矩陣若n的分量間不相關(guān)，每根接收天線具有相等的噪聲功率2。每根接收天線輸出端的信號(hào)功率為PT，故接收功率信噪比為3.5.1MIMO系統(tǒng)模型56普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著3.5.2MIMO信道的容量接收端已知信道轉(zhuǎn)移矩陣H，其值固定，等功率發(fā)送時(shí)接收端已知信道狀態(tài)信息，H是復(fù)隨機(jī)變量，滿足循環(huán)對(duì)稱性質(zhì)時(shí)，平均信道容量（遍歷容量）為57普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著當(dāng)M很大時(shí)，在相同的發(fā)射功率和帶寬條件下，M根發(fā)送天線、N根接收天線的MIMO信道容量近似于min(N,M)倍單收單發(fā)(SISO)天線系統(tǒng)的信道容量： 58普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材《信息論基礎(chǔ)》曹雪虹編著采用空間分集技術(shù)的MIMO系統(tǒng)是對(duì)抗無線衰落、提高傳輸信道容量的一種行之有效的方法。在相同發(fā)射功率和傳輸帶寬下，MIMO系統(tǒng)較單天線系統(tǒng)的信道容量大大提高，有時(shí)甚至高達(dá)幾十倍。這些增加的信道容量既可用來提高信息傳輸速率，也可不提高信息速率而通過增加信息冗余度提高通信系統(tǒng)的性能，或者在兩者之間取得折中。3.5