第3章信道與信道容量

1、普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著1第3章信道與信道容量q信道的基本概念q離散單個符號信道及其容量q離散序列信道及其容量q連續(xù)信道及其容量q多輸入多輸出信道及其容量q信源與信道的匹配普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著2n3.1.1 信道的分類 用戶數(shù)量：單用戶、多用戶 輸入端和輸出端關(guān)系：無反饋、有反饋 信道參數(shù)與時間的關(guān)系：固參、時變參 噪聲種類： 隨機差錯、突發(fā)差錯 輸入輸出特點：離散、連續(xù)、半離散半連續(xù)、波形信道n3.1.2 信道的數(shù)學(xué)模型 信道輸入 信道輸出 條件概率p(Y/X)來描述信道輸入、輸出信號之間統(tǒng)計的依賴關(guān)系。 12112

2、1(,),( ,),iinjjmXXXXaaY YYYbbXY 信道 X YX+N N 轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣 nmnjn2n1imiji2i12m2i22211m1i1211ijpppppppppppppppppPij=P(yj/xi), i=1,2,n; j=1,2,m信道參數(shù)n無干擾（無噪聲）信道n有干擾無記憶信道 每個輸出信號只與當前輸入信號之間有轉(zhuǎn)移概率關(guān)系，只要分析單個符號的轉(zhuǎn)移概率 n有干擾有記憶信道將轉(zhuǎn)移概率p(Y/X)看成馬爾可夫鏈的形式，記憶有限)(, 0)(, 1)/(xyxyXYffp11(/)(/)(/)LLpp yxp yxYX普通高等教育“十五”國家級規(guī)劃教材信

3、息論與編碼 曹雪虹等編著6n有干擾無記憶信道 二進制對稱信道（BSC）pppp11P 1-p 1-p p p 0 1 1 0 信道參數(shù)p(Y=0|X=1) = p(Y=1|X=0) = pp(Y=1|X=1) = p(Y=0|X=0) = 1- p 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著7信道參數(shù)n有干擾無記憶信道 離散無記憶信道（DMC)nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 niabpmjij, 2 , 1, 1)|(1普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著8信道參數(shù)n有干擾無記憶信道 離散輸

4、入、連續(xù)輸出信道222/)(21)/(iayiYeayp + X Y N YXN 加性高斯白噪聲 (AWGN) 信道：普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著9信道參數(shù)n有干擾無記憶信道 波形信道 + x(t) y(t) n(t) 11( / )(,/,)LLppyyxxYYy x,( , )( , )( / )( )( )( )X YX nYnXXpx ypx npy xp npxpx噪聲與信號通常相互獨立， (/)( )ccH YXHn波形信道轉(zhuǎn)化成多維連續(xù)信道， 條件熵HC(Y/X)是由于噪聲引起的，它等于噪聲信源的熵HC(n)，所以稱條件熵為噪聲熵噪聲熵 n信息傳輸

5、率：信道中平均每個符號所能傳送的信息量，R=I(X;Y)=H(X)H(X/Y) 比特/符號n信息傳輸速率：信道在單位時間內(nèi)平均傳輸?shù)男畔⒘?，Rt=I(X;Y)/t 比特/秒n信道容量：信道所能傳送的最大信息量。比特/符號（bits/symbol或bits/channel use） 在在p(y/x)給定時，給定時，I(X;Y)是關(guān)于是關(guān)于p(x)的上凸函數(shù)。的上凸函數(shù)。n信道容量要解決的問題：C=? p(xi)=? );(max)(YXICixp3.1.3 信道容量的定義(; )(), (/)ijiI X YIp xp yxn對于時變信道參數(shù)的信道，由于其信道參數(shù)隨時間變化，不能用固定值表示，其

6、信道容量也不再是一個固定的量，而是一個隨機變量。n遍歷容量遍歷容量(Ergodic Capacity)：對隨機信道容量的所有可能的值進行平均的結(jié)果，即11( )avgHCEC n中斷容量中斷容量（Outage Capacity）：當信道瞬時容量Cinst小于用戶要求的速率時，信道就會發(fā)生中斷事件，這個事件的概率稱為中斷概率Poutage。這個用戶要求的速率就定義為對應(yīng)于該中斷概率Poutage的中斷容量Coutage，即()instoutageoutageP CCPoutageoutagePC 12普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著133.2離散單個符號信道及其容量3

7、.2.1 無干擾離散信道X、Y一一對應(yīng)Clog n多個輸入變成一個輸出CmaxH(Y)一個輸入對應(yīng)多個輸出CmaxH(X)普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著143.2.2 對稱DMC信道輸入對稱 如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對稱輸出對稱 如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對稱對稱對稱的的DMC信信道道 如果輸入、輸出都對稱普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著15n對稱DMC信道例子3131616161613131216131312161613121普通高等教育

8、“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著16輸入對稱無關(guān)與iabpabpjijij)/(log)/()/()/(log)/()/(log)/()()/(ijijijjijijiixYHabpabpabpabpapXYH普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著17n對稱DMC的信道容量()()()max (; )max( )(|)max( )( /)iiip ap ap aCI X YH YH Y XH YH Y XmjijijippmaYHmC1loglog)|(log普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著18 如果信道輸入符號等概分布p(ai

9、)1/n 當轉(zhuǎn)移概率矩陣列對稱時，信道輸出符號p(bj)等概分布輸出對稱iijiijijabpnabpapbp)/(1)/()()()max( )?log()?iip aH Ymp a普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著19n例1. 求信道容量3131616161613131P符號/082. 0)61,61,31,31(4log2bitHC p(a1)p(a2)1/2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著20nEg. 求信道容量111111111nnnnnnP 信道輸入符號和輸出符號的個數(shù)相同，都為n，且正確的傳輸概率為1，錯誤概率被對稱地均分給n

10、-1個輸出符號，此信道稱為強對稱信道或均勻信道，是對稱離散信道的一個特例)1,1,1 (lognnHnC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著21n例2. 二進制對稱信道容量 C1-p log p-(1-p)log(1-p)=1-H(p)00.20.40.60.8100.20.40.60.81 1-p 1-p p p 0 1 1 0 p(x=0)=p(x=1)=1/2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著22n串聯(lián)信道 C(1,2)=maxI(X;Z) C(1,2,3)=maxI(X;W) 串接的信道越多，其信道容量可能會越小，當串接信道數(shù)無限大時，

11、信道容量就有可能趨于零。 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著23nEg.設(shè)有兩個離散BSC信道串接，兩個BSC信道的轉(zhuǎn)移矩陣如下，求信道容量1121PP222221)1 ()1 (2)1 (2)1 (1111PPP普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著24n信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-)00 .5100 .20 .40 .60 .81m = 1 m = 2 m = 3 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著253.2離散單個符號信道及其容量n3.2.3 準對稱DMC信道 如果轉(zhuǎn)移概率矩陣

12、P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準對稱準對稱DMC信道3/16/13/16/16/16/13/13/11P7 . 01 . 02 . 02 . 01 . 07 . 02P()()max (; )max( )( /)iiip ap aCI X YH YH Y x()()max( )max ()iijp ap aH Yf p b()( ) (/)jijiip bp a p ba 3.2.3 準對稱DMC信道()max ( )iip af p a輸入對稱26普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著27nEg. 求

13、信道容量2 . 05 . 03 . 02 . 03 . 05 . 0P 方法一： 信道的輸入符號有兩個，可設(shè)p(a1)，p(a2)1， 信道的輸出符號有三個，用b1、b2、b3表示，2 . 0)1 (2 . 02 . 0)(2 . 05 . 0)1 (5 . 03 . 0)(2 . 03 . 0)1 (3 . 05 . 0)(321bpbpbp0);(YXI符號/036. 0);(maxbitYXIC()() (/)jijiip bp a p ba jjijijijijI( X;Y )H(Y )H(Y / X )p(b )ln p(b )p(a )p(b / a )ln p(b / a ) p

14、(a1)p(a2)1/2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著28n方法二 當p(a1)p(a2)1/2時，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符號n方法三 將轉(zhuǎn)移概率矩陣劃分成若干個互不相交的對稱的子集rkkksMNpppHnC121log) , , (log n為輸入符號集個數(shù)；p1，p2，ps是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和，r是互不相交的子集個數(shù)。普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著29

15、n方法三2 . 05 . 03 . 02 . 03 . 05 . 0P2 . 02 . 0,5 . 03 . 03 . 05 . 0符號/036. 04 . 0log2 . 08 . 0log8 . 0) 2 . 0 , 3 . 0 , 5 . 0(2log222bitHC p(a1)p(a2)1/2普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著30nEg. 求信道容量3/16/13/16/16/16/13/13/11P符號/041. 0)6/16/1 (log6/1)3/13/1 (log3/1)6/13/1 (log)6/13/1 ()6/1 , 6/1 , 3/1 , 3/

16、1 (2log2222bitHC普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著313.2.4 一般DMC信道n一般地說，為使I(X;Y) 最大化以便求取DMC容量，輸入符號概率集p(ai)必須滿足的充分和必要條件是： I(ai;Y) = C 對于所有滿足p(ai ) 0條件的I I(ai;Y) C 對于所有滿足p(ai ) = 0條件的I當信道平均互信息達到信道容量時，輸入符號概率集p(ai)中每一個符號ai對輸出端Y提供相同的互信息，只是概率為零的符號除外。iiiYaIapYXI);()();(/)( ; )(/)log( )ijijijip abI a Yp bap a);(

17、max)(YXICiap32 上述結(jié)論只給出了達到信道容量上述結(jié)論只給出了達到信道容量C時輸時輸入符號概率入符號概率p(ai)分布的充要條件，并未給出分布的充要條件，并未給出具體值，所以具體值，所以C沒有具體可求的公式。一般沒有具體可求的公式。一般情況下，最佳分布不一定是唯一的，只須滿情況下，最佳分布不一定是唯一的，只須滿足該結(jié)論，并使互信息最大即可。足該結(jié)論，并使互信息最大即可。 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著333.3離散序列信道及其容量 n離散序列信道 信道 p(Y/X) Y X X=(X1X2XL) Xla1,a2,an Y=(Y1Y2YL)Yl b1,b

18、2,bm普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著343.3離散序列信道及其容量 n離散無記憶序列信道 LlllLLXYpXXYYpp111)/()/()/(XY1 1 1 1 1進一步信道是平穩(wěn)的 )/()/(xyppLXY)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL 如果信道無記憶 如果輸入矢量X中的各個分量相互獨立 當信源、信道均無記憶時 當信道平穩(wěn)時CL=LC1，一般情況下，I(X;Y) LC1LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPL

19、lllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX 35普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著36n擴展信道 如果對離散單符號信道進行L次擴展，就形成了L次離散無記憶序列信道 1 1 1 1 1BSC的二次擴展信道 X X00,01,10,11，Y Y00,01,10,11，二次擴展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p200101

20、10100011011普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著37n擴展信道1 1 1 122222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (ppppppppppppppppppppppppP),1 (),1 (,)1(4log2222ppppppHC若p0.1，則C220.9381.062比特/序列 序列的轉(zhuǎn)移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL) 1111X1 p(Y1/X1) Y1X2 p(Y2/X2) Y2XL p(YL/XL) YL 1(;)(;)LlllI

21、I X Y X Y121max (;)LLllCIC X Y相當于無記憶擴展信道相當于無記憶擴展信道只有當輸入相互獨立時取等號。只有當輸入相互獨立時取等號。獨立并聯(lián)信道383.4 連續(xù)信道及其容量 3.4.1 3.4.1 連續(xù)單符號加性信道連續(xù)單符號加性信道 x (xR) p(y/x) y (yR) ny=x+npn(n)N(0, 2) 平均互信息為I(X;Y)HC(Y)HC(Y/X)信道容量( )( )max (; )max( )( /)XXCCpxpxCI X YHYHY X( )2( )max( )( )1max( )log22XXCCpxCpxCHYHnHYe 噪聲是均值為零、方噪聲是

22、均值為零、方差為差為 2的加性高斯噪聲的加性高斯噪聲 39pn(n)N(0, 2)，當 pY(y)N(0,Po)時取得maxHC(Y)， pX(x)N(0,Ps)，Po=Ps+ 22221111log2log2loglog(1)2222osoPPCePe C1/2 log(1+SNR) 信道輸入信道輸入X是均值為零、方是均值為零、方差為差為P PS S的高斯分布隨機變量時，的高斯分布隨機變量時，信息傳輸率達到最大值信息傳輸率達到最大值。若是加性的，可以求出信道容量的上下界若是加性的，可以求出信道容量的上下界 211log(1)log2( )22soCPCePHn40考慮信道衰減時： y=Hx+

23、n輸出端的功率|H|2PS+ 2C1/2 log(1+|H|2 SNR) 413.4.2 3.4.2 多維無記憶加性連續(xù)信道多維無記憶加性連續(xù)信道 信道輸入隨機序列XX1X2XL，輸出隨機序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值為零的高斯噪聲 加 性 信 道 輸 入 序 列x 輸 出 序 列y 高 斯 噪 聲n X X1X2 XL Y Y1Y2 YL n=n1n2 nL + X1 Y1=X1+n1 n1 + X2 Y2=X2+n2 + XL YL=XL+nLL 42 連續(xù)單符多維無記憶高斯加性信道就可等連續(xù)單符多維無記憶高斯加性信道就可等價成價成L L個獨立的并聯(lián)

24、高斯加性信道。個獨立的并聯(lián)高斯加性信道。 2111(; )(;)log(1)2lLLslllllPII X YX Y2( )11max (; )log(1)2lLspllPCIxX Y比特比特/L維自由度維自由度 因此當且僅當輸入隨機矢量因此當且僅當輸入隨機矢量X中各分量統(tǒng)中各分量統(tǒng)計獨立，且是均值為零、方差為計獨立，且是均值為零、方差為Psl的高斯變的高斯變量時，才能達到此信道容量。量時，才能達到此信道容量。 3.4.2 多維無記憶加性連續(xù)信道433.4.2 多維無記憶加性連續(xù)信道n討論討論噪聲均值為零、方差相同 2log(1)2sLPC均值為零、方差不同，總平均功率受限P，功率合理分配。

25、?44n討論討論22111lLLLllSlllEXE XPP122111(,)log(1)2lLlLLSSSSSlllPf P PPPP12(,)0,1,2,LlSSSSf PPPlLP2110,1,2,2lSllLP21,1,2,2lSlPlL 各個時刻的信道輸出功率相等設(shè)為常數(shù)各個時刻的信道輸出功率相等設(shè)為常數(shù) LPll22221lLiiSllPPL45n討論討論均值為零、方差不同，總平均功率受限P，功率合理分配。 LllLiiLPC1212log212221lLiiSllPPL46注水法(water-filling)功率分配功率 PS3=0 PS1 PS2 PS4 PS5 l 1 2 3

26、 4 521log(1),02lllSSSlllPCPPP12 22 32 42 5247n例例 有一并聯(lián)高斯加性信道，各子信道噪聲方差為 0.1， 0.2， 0.3， 0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0 212223242526272829210(1)P=521.05llPL 各子信道分配的功率分別是：0.95，0.85，0.75，0.65，0.55，0.45，0.35，0.25，0.15，0.05?？偟男诺廊萘緾6.1比特/10維自由度。 (2)P=3 ?483.4.3 3.4.3 限時限頻限功率加性高斯白噪聲信道限時限頻限功率加性高斯白噪聲信道 波形信道的

27、平均互信息為 ( ); ( )lim (; )LI x ty tIX Y信道容量為 ( )1max lim( ;)/BttpBCIbit stXxX Y49限時限頻(W)高斯白噪聲過程可分解L2WtB維統(tǒng)計獨立的隨機序列 其中：211log(1)2lLSllPC22/002NWttWNPBBnl/22lSSS BBPPP tWtW3.4.3 限時限頻限功率加性高斯白噪聲信道50000log(1/)log(1)log(1)2222SSSBLPNLPPCWtWN WN W信道的容量 0limlog(1)/log(1)BSttBPCCWbit stN WWSNR單位時間的信道容量 香農(nóng)公式香農(nóng)公式

28、3.4.3 限時限頻限功率加性高斯白噪聲信道51 輸入信號x(t)滿足均值為零、平均功率Ps的高斯白噪聲的特性 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著52討論n帶寬W一定時，信噪比SNR與信道容量Ct 成對數(shù)關(guān)系，SNR增大，Ct 就增大，但增大到一定程度后就趨于緩慢。n增加輸入信號功率有助于容量的增大，但該方法是有限的；n降低噪聲功率也是有用的，當 時， ，即無噪聲信道的容量為無窮大。Ct SNR信道容量與信噪比的關(guān)系00NtCCt W log(1+SNR) 比特/秒普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著53n討論當輸入信號功率PS一定，增加信道帶

29、寬，可以增加容量xSWSSSWtWxNPWNPPWNNPCC/10000)1log(lim)1log(limlim秒/2ln)1ln(2lnlim0/10bitNPxNPSxSWln(1+x) x PS/N0ln 2-1.6dB，即當帶寬不受限制時，傳送1比特信息，信噪比最低只需-1.6dB （香農(nóng)限）香農(nóng)限） sbitC/1普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著54nCt/Wlog(1+SNR)比特/秒/Hz，單位頻帶的信息傳輸速率頻帶利用率，該值越大，信道就利用得越充分。Ct/W (bit/s/Hz) 不可實現(xiàn)區(qū)域 1 可實現(xiàn)區(qū)域 -1.6 0 SNR(dB)討論普通

30、高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著55Ct W log(1+SNR) 比特/秒Ct一定時，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號功率不變的情況下，可容許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中的擴頻系統(tǒng)就是利用了這個原理，將所需傳送的信號擴頻，使之遠遠大于原始信號帶寬，以增強抗干擾的能力。 普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著56nEg電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR100，求信道的容量。skbSNRWCt/22)1001log(3 . 3)1log(3.5.1 MI

31、MO信道模型3.5.2 MIMO信道容量3.5 MIMO信道及其容量573.5.1 MIMO信道模型信道模型 點到點點到點MIMO系統(tǒng)由系統(tǒng)由MT根發(fā)送天線和根發(fā)送天線和MR根接根接收天線以及相應(yīng)的空收天線以及相應(yīng)的空-時編碼器和空時編碼器和空-時譯碼器組成時譯碼器組成 。5821111111 (0,)TRRRTTRMijMMM MMMhhyxnhyhhxnN y Hx nnI，59n信道矩陣信道矩陣：H為復(fù)矩陣，hij表示第j根發(fā)送天線至第i根接收天線的信道衰落系數(shù)。n歸一化約束：每一根天線的接收功率均等于總的發(fā)送功率21 , 1,2,TMijTRjhMiM3.5.1 MIMO信道模型603

32、.5.1 MIMO信道模型n發(fā)送信號發(fā)送信號：第j根天線發(fā)送xj為零均值i.i.d高斯變量，發(fā)送信號的協(xié)方差矩陣為：n總的發(fā)送功率約束為n若每根天線發(fā)送相等的信號功率PT/MT， HxxRE xx()TxxPtr RTTxxMTPRIM61n接收端的噪聲噪聲：各分量為獨立的零均值高斯變量，具有獨立的和相等方差的實部和虛部。n噪聲協(xié)方差矩陣n若n的分量間不相關(guān)，n每根接收天線具有相等的噪聲功率2。n每根接收天線輸出端的信號功率為PT，故接收功率信噪比為3.5.1 MIMO信道模型HnnRE nn2RnnMRI2TP62n接收端已知信道轉(zhuǎn)移矩陣H，其值固定。 如果發(fā)送端未知信道狀態(tài)信息（CSI），最優(yōu)方案是等功率發(fā)送： 如果發(fā)送端已知信道狀態(tài)信息，則可以運用注水法將總發(fā)送功率分配到各個發(fā)送天線，然后利用容量公式計算。3.5.2 MIMO信道容量63logdetNCMIHHn接收端已知信道狀態(tài)信息，但信道轉(zhuǎn)移矩陣H是復(fù)隨機變量， 2logdet() logdet()RRHTHMTHHMTPCEIHHMEIHHM64n當M很大時，可利用大數(shù)定理65MNM HHIlog 1CNNMN H HIlog 1NCMM普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著663.6 信