信息論與編碼第3章信道與信道容量

1、普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著1第3章信道與信道容量q信道的基本概念q離散單個符號信道及其容量q離散序列信道及其容量q連續(xù)信道及其容量q信源與信道的匹配普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2n信道分類 用戶數(shù)量：單用戶、多用戶 輸入端和輸出端關系：無反饋、有反饋 信道參數(shù)與時間的關系：固參、時變參 噪聲種類： 隨機差錯、突發(fā)差錯 輸入輸出特點：離散、連續(xù)、半離散半連續(xù)、波形信道普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著3n信道參數(shù)號之間統(tǒng)計的依賴關系來描述信道輸入輸出信條件概率輸出矢量為輸入矢量為設信道)(,),(,),(

2、121121Y/XYXpbbXYY，YaaXXXXmjjnii信道種類無干擾信道有干擾無記憶信道有干擾有記憶信道普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著4n無干擾（無噪聲）信道)(, 0)(, 1)/(xyxyXYffp信道參數(shù)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著5n有干擾無記憶信道 二進制對稱信道（BSC）pppp11P 1-p 1-p p p 0 1 1 0 信道參數(shù)p(Y=0|X=1) = p(Y=1|X=0) = pp(Y=1|X=1) = p(Y=0|X=0) = 1- p 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著6信道

3、參數(shù)n有干擾無記憶信道 離散無記憶信道nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 niabpmjij, 2 , 1, 1)|(1普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著7信道參數(shù)n有干擾無記憶信道 離散輸入、連續(xù)輸出信道222/)(21)/(iayiYeayp + X Y G YXG 加性高斯白噪聲 (AWGN) 信道：普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著8信道參數(shù)n有干擾無記憶信道 波形信道 + x(t) y(t) n(t) 11( / )(,/,)LLppyyxxYYy x,( , )( , )(

4、 / )( )( )( )X YX nYnXXpx ypx npy xp npxpx噪聲與信號通常相互獨立， (/)( )ccH YXHn波形信道轉(zhuǎn)化成多維連續(xù)信道， 條件熵HC(Y/X)是由于噪聲引起的，它等于噪聲信源的熵HC(n)，所以稱條件熵為噪聲熵噪聲熵 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著9信道容量的定義n信息傳輸率：信道中平均每個符號所能傳送的信息量， R=I(X;Y)=H(X)H(X/Y) 比特/符號n信息傳輸速率：信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?，Rt=I(X;Y)/t 比特/秒n信道容量：信道所能傳送的最大信息量。 比特/符號（bits/symbol或

5、bits/channel use） );(max)(YXICiap普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著103.2離散單個符號信道及其容量n無干擾離散信道的信道容量X、Y一一對應Clog n多個輸入變成一個輸出CmaxH(Y)一個輸入對應多個輸出CmaxH(X)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著113.2離散單個符號信道及其容量n對稱DMC信道定義輸入對稱 如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對稱輸出對稱 如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對稱對稱對稱的的DMC信信道道

6、 如果輸入、輸出都對稱普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著123.2離散單個符號信道及其容量n對稱DMC信道例子3131616161613131216131312161613121普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著133.2離散單個符號信道及其容量輸入對稱輸出對稱無關與iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYHiijiijijabpnabpapbp)/(1)/()()(普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著

7、143.2離散單個符號信道及其容量n對稱信道容量)/()(max)|()(max);(max)()()(XYHYHXYHYHYXICiiiapapapmjijijippmaYHmC1loglog)|(log普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著153.2離散單個符號信道及其容量nEg. 求信道容量3131616161613131P符號/082. 0)61,61,31,31(4log2bitHC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著163.2離散單個符號信道及其容量nEg. 求信道容量111111111nnnnnnP 信道輸入符號和輸出符號的個數(shù)相同，

8、都為n，且正確的傳輸概率為1，錯誤概率被對稱地均分給n-1個輸出符號，此信道稱為強對稱信道或均勻信道，是對稱離散信道的一個特例)1,1,1 (lognnHnC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著173.2離散單個符號信道及其容量n二進制對稱信道容量 C1H（）00.20.40.60.8100.20.40.60.81普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著183.2離散單個符號信道及其容量n串聯(lián)信道 C(1,2)=maxI(X;Z) C(1,2,3)=maxI(X;W) 串接的信道越多，其信道容量可能會越小，當串接信道數(shù)無限大時，信道容量就有可能趨于零

9、。 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著193.2離散單個符號信道及其容量nEg.設有兩個離散BSC信道串接，兩個BSC信道的轉(zhuǎn)移矩陣如下，求信道容量1121PP222221)1 ()1 (2)1 (2)1 (1111PPP普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著203.2離散單個符號信道及其容量n信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-)00 .5100 .20 .40 .60 .81m = 1 m = 2 m = 3 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著213.2離散單個符號信道及其容量n準對稱D

10、MC信道 如果轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準對稱準對稱DMC信道3/16/13/16/16/16/13/13/11P7 . 01 . 02 . 02 . 01 . 07 . 02P普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著223.2離散單個符號信道及其容量n準對稱DMC信道容量()()max (; )max( )( /)iip ap aCI X YH YH YX()()()max( )max ()max ()iiijip ap ap aH Yf p bf p a()() (/)jijiip b

11、p a p ba 當輸入分布為等概分布時，互信息達到最大值，即為信道容量。普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著233.2離散單個符號信道及其容量nEg. 求信道容量2 . 05 . 03 . 02 . 03 . 05 . 0P 方法一： 信道的輸入符號有兩個，可設p(a1)，p(a2)1， 信道的輸出符號有三個，用b1、b2、b3表示，2 . 0)1 (2 . 02 . 0)(2 . 05 . 0)1 (5 . 03 . 0)(2 . 03 . 0)1 (3 . 05 . 0)(321bpbpbp0);(YXI符號/036. 0);(maxbitYXIC()() (/)

12、jijiip bp a p ba jjijijijijI( X;Y )H(Y )H(Y / X )p(b )ln p(b )p(a )p(b / a )ln p(b / a ) 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著243.2離散單個符號信道及其容量n方法二 當p(a1)p(a2)1/2時，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符號n方法三 將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱的子集rkkksMNpppHnC121log) , , (log n為輸入符號集個數(shù)；p1，p2，ps是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p

13、1，p2，ps)H(Y/ai)；Nk是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和，r是互不相交的子集個數(shù)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著253.2離散單個符號信道及其容量n方法三2 . 05 . 03 . 02 . 03 . 05 . 0P2 . 02 . 0,5 . 03 . 03 . 05 . 0符號/036. 04 . 0log2 . 08 . 0log8 . 0) 2 . 0 , 3 . 0 , 5 . 0(2log222bitHC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著263.2離散單個符號信道及其容量nEg. 求信道容量

14、3/16/13/16/16/16/13/13/11P符號/041. 0)6/16/1 (log6/1)3/13/1 (log3/1)6/13/1 (log)6/13/1 ()6/1 , 6/1 , 3/1 , 3/1 (2log2222bitHC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著273.2離散單個符號信道及其容量n一般DMC信道 一般地說，為使I(X;Y) 最大化以便求取DMC容量，輸入符號概率集p(ai)必須滿足的充分和必要條件是： I(ai;Y) = C 對于所有滿足p(ai ) 0條件的I I(ai;Y) C 對于所有滿足p(ai ) = 0條件的I當信道平均互

15、信息達到信道容量時，輸入符號概率集p(ai)中每一個符號ai對輸出端Y提供相同的互信息，只是概率為零的符號除外。普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著283.3離散序列信道及其容量 n離散序列信道 信道 p(Y/X) Y X X=(X1X2XL) Xla1,a2,an Y=(Y1Y2YL)Yl b1,b2,bm普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著293.3離散序列信道及其容量 n離散無記憶序列信道 LlllLLXYpXXYYpp111)/()/()/(XY1 1 1 1 1進一步信道是平穩(wěn)的 )/()/(xyppLXY)()/(log)()/()(

16、)()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著303.3離散序列信道及其容量 n離散無記憶序列信道 1 1 1 1 1如果信道無記憶 如果輸入矢量X X中的各個分量相互獨立 LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLlllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX當信道平穩(wěn)時CL=LC1，一般情況下，I(X X;Y Y) LC1普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著313.

17、3離散序列信道及其容量 n擴展信道 如果對離散單符號信道進行L次擴展，就形成了L次離散無記憶序列信道 1 1 1 1 1BSC的二次擴展信道 X X00,01,10,11，Y Y00,01,10,11，二次擴展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著323.3離散序列信道及其容量 n擴展信道1 1 1

18、 122222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (ppppppppppppppppppppppppP),1 (),1 (,)1(4log2222ppppppHC若p0.1，則C220.9381.062比特/序列 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著333.3離散序列信道及其容量 n獨立并聯(lián)信道 序列的轉(zhuǎn)移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL) 1 1 1 1X1 p(Y1/X1) Y1X2 p(Y2/X2) Y2 XL p(YL/XL) YL LlllYXI

19、I1);();(YXLllLCIC112);(maxYX普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著343.4 連續(xù)信道及其容量 n連續(xù)單符號加性信道 x (xR) p(y/x) y (yR) n平均互信息為I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY) 信道容量)/()(max);(max)()(XYHYHYXICCCxpxp( )max( )( )CCp xCHYHny=x+n普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著353.4 連續(xù)信道及其容量 n連續(xù)單符號加性信道 若噪聲是均值為零、方差為2的加性高斯噪聲，

20、Hc(n)最大，信道容量就小。這是信道危害最大的情況，所以在處理實際問題時，通常采用計算高斯噪聲信道容量的方法保守地估計容量，且高斯噪聲信道容量容易計算。2( )1max( )log22Cp xCHYe ( )max( )( )CCp xCHYHn普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著363.4 連續(xù)信道及其容量 n連續(xù)單符號加性信道 pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以pX(x)N(0,S) )1log(21log212log212log21222SPeePCC1/2 log(1+SNR) 信道輸入X是均值為零、方差為S的高斯分布隨機變量時

21、，信息傳輸率達到最大值 若是加性的，可以求出信道容量的上下界 )(2log21)1log(212nHePCSC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著373.4 連續(xù)信道及其容量 n多維無記憶加性連續(xù)信道 信道輸入隨機序列XX1X2XL，輸出隨機序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值為零的高斯噪聲 加性信道 輸入序列 x 輸出序列 y 高斯噪聲 n XX1X2XL YY1Y2YL n=n1n2nL + X1 Y1=X1+n1 X1 + X2 Y2=X2+n2 + XL YL=XL+nL 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等

22、編著383.4 連續(xù)信道及其容量 連續(xù)單符多維無記憶高斯加性信道就可等價成L個獨立的并聯(lián)高斯加性信道號加性信道 LlllLlLLPYXII121)1log(21);();(YXLlllpPIC12)()1log(21);(maxYXx比特/L維自由度 因此當且僅當輸入隨機矢量X中各分量統(tǒng)計獨立，且是均值為零、方差為Pl的高斯變量時，才能達到此信道容量 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著393.4 連續(xù)信道及其容量 n討論均值為零、方差相同 )1log(22SLC均值為零、方差不同，總平均功率受限 LllLiiLPC1212log21普通高等教育“十五”國家級規(guī)劃教材信

23、息論與編碼 曹雪虹等編著403.4 連續(xù)信道及其容量 n討論PPXEXELllLllLll11212LllLlllLPPPPPf11221)1log(21),(LlPPPPflL, 2 , 1, 0),(21LlPll, 2 , 1, 01212LlPll, 2 , 1,212各個時刻的信道輸出功率相等設為常數(shù) LPll22122lLiillLPP普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著413.4 連續(xù)信道及其容量 neg有一并聯(lián)高斯加性信道，各子信道噪聲方差為 0.1， 0.2， 0.3， 0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0 2122232

24、42526272829210普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著423.4 連續(xù)信道及其容量 n限時限頻限功率加性高斯白噪聲信道 波形信道中，在限時tB、限頻fm條件下可轉(zhuǎn)化成多維連續(xù)信道，將輸入隨機過程x(t)、輸出隨機過程y(t)轉(zhuǎn)化成L維隨機序列XX1 X2 XL 和YY1 Y2 YL，波形信道的平均互信息為 ( ); ( )lim (;)LI x ty tIX Y信道容量為 sbitItCBtptB/);(1limmax)(YXx普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著433.4 連續(xù)信道及其容量 n限時限頻限功率加性高斯白噪聲信道 000l

25、og(1/)log(1)log(1)2222SSSBPNPPLLCWtWN WN W信道的容量 0limlog(1)/BSttBPCCWbit stN W單位時間的信道容量 香農(nóng)公式香農(nóng)公式 Ct W log(1+SNR) 比特/秒 輸入信號x(t)滿足均值為零、平均功率Ps的高斯白噪聲的特性 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著443.4 連續(xù)信道及其容量 討論n帶寬W一定時，信噪比SNR與信道容量Ct 成對數(shù)關系，SNR增大，Ct 就增大，但增大到一定程度后就趨于緩慢。n增加輸入信號功率有助于容量的增大，但該方法是有限的；n降低噪聲功率也是有用的，當 時， ，即無噪

26、聲信道的容量為無窮大。Ct SNR信道容量與信噪比的關系00NtCCt W log(1+SNR) 比特/秒普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著453.4 連續(xù)信道及其容量 n討論當輸入信號功率PS一定，增加信道帶寬，可以增加容量xSWSSSWtWxNPWNPPWNNPCC/10000)1log(lim)1log(limlim秒/2ln)1ln(2lnlim0/10bitNPxNPSxSWln(1+x) x PS/N0ln 2-1.6dB，即當帶寬不受限制時，傳送1比特信息，信噪比最低只需-1.6dB （香農(nóng)限）香農(nóng)限） sbitC/1普通高等教育“十五”國家級規(guī)劃教材信

27、息論與編碼 曹雪虹等編著463.4 連續(xù)信道及其容量 n討論 Ct/Wlog(1+SNR)比特/秒/Hz，單位頻帶的信息傳輸速率頻帶利用率，該值越大，信道就利用得越充分。Ct/W (bit/s/Hz) 不可實現(xiàn)區(qū)域 1 可實現(xiàn)區(qū)域 -1.6 0 SNR(dB)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著47Ct W log(1+SNR) 比特/秒Ct一定時，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號功率不變的情況下，可容許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中的擴頻系統(tǒng)就是利用了這個原理，將所需傳送的信號擴頻，使之遠遠大于原始信號帶寬，以增強抗干擾的能力。 3.4 連續(xù)信道及其容量 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著483.4 連續(xù)信道及其容量 nEg電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR100，求信道的容量。skbSNRWCt/22)1001log(3 . 3)1log(普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著