信道容量PPT精品文檔

1、1第三章第三章 信道容量信道容量胡君紅2本章內(nèi)容本章內(nèi)容概述3.1 信道的數(shù)學模型和分類3.2 單符號離散信道的信道容量3.3 多符號離散信道3.4 多用戶信道3.5 連續(xù)信道3.6 信道編碼定理3概述概述n信息論對信道研究的內(nèi)容n什么是信道？n信道的作用n研究信道的目的n本章學習達到的目的4概述概述n信息論對信道研究的內(nèi)容：信息論對信道研究的內(nèi)容：n信道的建模：用恰當?shù)妮斎?輸出兩個隨機過程來描述n信道容量n不同條件下充分利用信道容量的各種辦法5概述概述n什么是信道什么是信道？n信道是傳送信息的載體信號所通過的通道。n信息是抽象的，信道則是具體的。比如：二人對話，二人間的空氣就是信道；打電話

2、，電話線就是信道；聽收音機，收、發(fā)間的空間就是信道。n信道的作用信道的作用n在信息系統(tǒng)中信道主要用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。6概述概述n研究信道的目的研究信道的目的n實現(xiàn)信息傳輸?shù)挠行院涂煽啃詎有效性：充分利用信道容量n可靠性：通過信道編碼降低誤碼率n在通信系統(tǒng)中研究信道，主要是為了描述、度量、分析不同類型信道，計算其容量，即極限傳輸能力，并分析其特性。n通信技術(shù)研究信號在信道中傳輸?shù)倪^程所遵循的物理規(guī)律，即傳輸特性n信息論研究信息的傳輸問題（假定傳輸特性已知）7概述概述n本章達到的目的本章達到的目的n了解信息論研究信道的目的、內(nèi)容n了解信道的基本分類并掌握信道的基本描

3、述方法n掌握信道容量的概念，以及與互信息、信道輸入概率分布、信道轉(zhuǎn)移函數(shù)的關(guān)系n能夠計算簡單信道的信道容量（對稱離散信道、無記憶加性高斯噪聲信道）n了解信道容量在研究通信系統(tǒng)中的作用n理解無噪信道編碼的物理意義n進一步從信息論的角度理解香農(nóng)公式及其用途83.1信道的數(shù)學模型和分類信道的數(shù)學模型和分類n信道分類信道分類n從工程物理背景傳輸媒介類型；n從數(shù)學描述方式信號與干擾描述方式；n從信道本身的參數(shù)類型恒參與變參；n從用戶類型單用戶與多用戶；9離散無記憶連續(xù)信號類型半離散有記憶半連續(xù)無干擾：干擾少到可忽略；無源熱噪聲信號與干擾類型線性疊加干擾 有源散彈噪聲脈沖噪聲干擾類型有干擾交調(diào)乘性干擾 衰

4、落碼間干擾信道的數(shù)學模型和分類信道的數(shù)學模型和分類10恒參信道（時不變信道）信道參量類型變參信道（時變信道）信道的數(shù)學模型和分類信道的數(shù)學模型和分類二用戶信道（點對點通信）用戶類型多用戶信道（通信網(wǎng)）11 信道的數(shù)學模型和分類信道的數(shù)學模型和分類其中： c1為連續(xù)信道，調(diào)制信道； c2為離散信道，編碼信道； c3為半離散、半連續(xù)信道； c4為半連續(xù)、半離散信道。信源編碼媒介譯碼信宿干擾C1C2C3C4AB信信道道劃劃分分是是人人為為的的！12信道的數(shù)學模型和分類信道的數(shù)學模型和分類n信道描述信道描述n信道可以引用三組變量來描述：信道輸入概率空間：信道輸出概率空間：信道概率轉(zhuǎn)移矩陣：即： ， ，

5、 ，它可簡化為： 。, ( )X p x , ( )Y p y( /)P Y X, ( )X p x( /)P Y X , ( )Y p y, (), X PY13信道的數(shù)學模型和分類信道的數(shù)學模型和分類其中： 1111( )()()()( )( )nmnmxxyyXYp xp xp yp yp xp y入出信道ixX1,2, injyY1,2, jm1111()()()()mnmnP yxP yxPP yxP yx143.2 單符號離散信道的信道容量單符號離散信道的信道容量n信道容量的定義n幾種特殊離散信道的信道容量n離散信道容量的一般計算方法15信道容量的定義信道容量的定義n互信息與信道輸

6、入概率分布的關(guān)系性質(zhì)1 ：I(X;Y)是信道輸入概率分布p(x)的上凸函數(shù).n信息量與信道轉(zhuǎn)移概率分布的關(guān)系 性質(zhì)2 ： I(X;Y)是信道轉(zhuǎn)移概率分布p(y/x)的下凸函數(shù).n信道容量的定義：n單位時間的信道容量：()max (; )ip xCI X Y()1max (; )()itp xCI X Yt比特/秒單符號離散信道的信道容量16幾種特殊離散信道的信道容量幾種特殊離散信道的信道容量n離散無噪信道的信道容量n強對稱離散信道的信道容量n對稱信道的信道容量n準對稱信道的信道容量單符號離散信道的信道容量17離散無噪信道的信道容量離散無噪信道的信道容量n具有擴展性能的無噪信道無損信道n矩陣中每

7、一列僅有一個非零元素nH（X/Y）=0；H（Y/X）0nI（X；Y）= H （X） H （Y）n信道容量：x1y1y2x2y3y4x3y5y61/21/23/53/101/1011/21/20000P= 003/53/101/100000001()()C=max (; )max()logiip xp xI X YH Xn單符號離散信道的信道容量18離散無噪信道的信道容量離散無噪信道的信道容量n具有并歸性能的無噪信道確定信道n矩陣中每一行僅有一個非零元素nH（Y/X） =0； H （X/Y） 0nI（X；Y）= H （Y） H （X）n信道容量：100100010P=0100100011y1x1

8、x2y2x3x4y3x5x611111()()C=max (; )max( )logiip xp xI X YH Ym單符號離散信道的信道容量19離散無噪信道的信道容量離散無噪信道的信道容量n具有一一對應關(guān)系的無噪信道既無損又確定n矩陣中每一行每一列僅有一個非零元素nH（Y/X） =0； H （X/Y） =0nI（X；Y）= H （Y）= H （X）n信道容量：100P= 010001y1x1x2y2x3y3111()()C=max (; )max()logiip xp xI X YH Xn單符號離散信道的信道容量20強對稱離散信道的信道容量強對稱離散信道的信道容量單符號離散信道的信道容量11

9、1111n npppnnpppPnnpppnnn強對稱信道或均勻信道n矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性）n錯誤分布是均勻的，為p/(n-1)n信道輸入與輸出符號數(shù)相等21強對稱離散信道的信道容量強對稱離散信道的信道容量單符號離散信道的信道容量(; )( )( /)I X YH YH Y Xn強對稱信道的信道容量1111( /)( ) (/)log(/)( )( /)( /)( )( /)log(1)log11loglog1nnijijiijnniiiiiiiH YXp x p yxp yxp x H Y xH Y xp xH Y xppppnnnppppn

10、 對稱性()()(; )( )(loglog)1maxmaxiip xp xpCI X YH Ypppn 22強對稱離散信道的信道容量強對稱離散信道的信道容量單符號離散信道的信道容量1( )log()( )jH Ynp yH Yn，當時達到最大值n強對稱信道的信道容量1( ) (/),1,2,njijiip yp x p yxjn要獲得這一最大值，通過公式尋找相應的輸入概率分布()由于矩陣的對稱性，當輸入符號等概分布時，輸出符號一定是等概分布的。C=logloglog()1pnpppn比特/信道符號當輸入等概分布時，強對稱離散信道達到信道容量23對稱離散信道的信道容量對稱離散信道的信道容量單符

11、號離散信道的信道容量n對稱信道的信道容量n矩陣中每一行都是第一行的重排列，矩陣中每一列都是第一列的重排列（對稱性）2(; )( )( /)( )( ,)imI X YH YH YXH YH q qq2()max (; )log( ,)iimp xCI X YmH q qq當輸入等概分布時，對稱離散信道達到信道容量24準對稱離散信道的信道容量準對稱離散信道的信道容量單符號離散信道的信道容量n準對稱信道的信道容量n矩陣的每一行是第一行的重排列n信道矩陣P不滿足對稱條件，但P=（ P1 Pr Ps）且所有Pr滿足對稱性條件1111248811114288P 12()?12C = max( )( ,)

12、log( ,)imp xmH YH q qqmH q qq25準對稱離散信道的信道容量準對稱離散信道的信道容量單符號離散信道的信道容量 將H(Y)中的m項分成s個子集M1, M2, Ms,各子集分別有m 1, m 2, m s個元素（ m 1+ m 2+ m s= m ）,則111()()()( )()log ()()log()()log()()log()jkjjsmsjjjjjkp yMjjjjp yMp yMH Yp yp yp yp yp yp yp yp y ()()(),1,2,jkjp yMkkp ykp yksm令第 個集合的概率平均值26準對稱離散信道的信道容量準對稱離散信道的

13、信道容量單符號離散信道的信道容量()()()()()()ln()1(ln1(0)()()()()0jkjkjkkkjjp yMp yMjjkkjp yMp yp yp yp yxxxp yp ym p yp y1( )()log ()skkkkH Ym p yp y ()()()log()()log()()log()jkjkjjjkp yMp yMkkkp yp yp yp ym p yp y 121()log ()(,)skkkmkCm p yp yH q qq ： 。準對稱信道的信道容量為當信道輸入等概分布時達到信道容量27準對稱離散信道的信道容量準對稱離散信道的信道容量(補充補充)121

14、()log ()(,)skkkmkCm p yp yH q qq 1()( ) (/)(/)(X)(jijijiXXp yp x p yxp yxrPjrr ）為等概分布中第 列元素之和/為輸入符號數(shù)()()()()jkjkjp yMp yMkkkkkkkkkp yPjrp ymmmMPrMPmMPCrr （）中第列元素之和/對應的 中列元素之和對應的 中元素對稱對應的 中列元素之和28準對稱離散信道的信道容量準對稱離散信道的信道容量(補充補充)12112112111211()log ()( ,)log( ,)loglog( ,)loglog( ,)loglogskkkmkskkkmksskk

15、kkkmkkskkmkskkkCm p yp yH q qqCCmH q qqrrCCmCmrH q qqrrMPPCrH q qqrrMPC 行對應 中元素之和中元素之和對應 中元素之和12121( ,)loglog( ,)mskkmkrH q qqrRCH q qq（）=行對稱29求信道的信道容量準對稱離散信道的信道容量準對稱離散信道的信道容量單符號離散信道的信道容量1111248811114288P 11111 11 11 1 1 1log2 ()log() ()log()( , , , )24248 88 82 4 8 833 11111111log2loglogloglog2log4

16、4442244880.0612()CH 比特/信道符號30離散信道容量的一般計算方法離散信道容量的一般計算方法單符號離散信道的信道容量I(X;Y)是p(x)的上凸函數(shù)，故極大值一定存在，約束條件：1)(iixp引進一個新函數(shù)(;)()1iXIXYpx其中為拉格朗日乘子（待定常數(shù)）解方程組(;)()10()()()1iXiiiXIXYpxpxpxpx 可先求解出達到極值的概率分布和的值，然后再求解出信道容量31離散信道容量的一般計算方法離散信道容量的一般計算方法單符號離散信道的信道容量ijjijijiypxypxypxpYXI)()/(log)/()();(iijijxypxpyp)/()()(

17、eypxypeypxpypxpjijjijilog)()/(log)(ln)()(log)(; )( )(/)(/)(/)log() (/)log()()(/)(/)loglog()ijijijikjkjkjjjjijijjI X Yp xp yxp yxp yxp xp yxep yp yp yxp yxep y32方程組變?yōu)椋篿ijjijijxpeypxypxyp1)(log)()/(log)/( 設解得使I(X;Y)達到極值的輸入概率分布為p1,p2,.,pr.方程組第一個式子中的前r個方程式兩邊同乘以pi，并求和得ijjijijieypxypxypplog)()/(log)/(即：eC

18、log離散信道容量的一般計算方法離散信道容量的一般計算方法單符號離散信道的信道容量33(/)(/)loglog()jijijjp yxp yxeCp y 令可求解出 ，繼而求得信道容量：21log2jmjC離散信道容量的一般計算方法離散信道容量的一般計算方法單符號離散信道的信道容量11(/)log(/)(/) log()mmjijijijjjp yxp yxp yxp yC2log()jjp yC 有211(/)(/)log(/)mmjijjijijjp yxp yxp yxj34 注意：在第（2）步求出C后，必須解出相應的 ，并確認所有的 ，所求的C才存在。離散信道容量的一般計算方法離散信道

19、容量的一般計算方法單符號離散信道的信道容量211(/)(/)log(/)mmjijjijijjp yxp yxp yx（1）由，求 ；j（2）由21log2jmjC，求C ；（3）由()2jCjp y，求 ；()jp y（4）由1()( ) (/)njijiip yp x p yx( )ip x，求 ；( )ip x( )0ip x35離散信道容量的一般計算方法離散信道容量的一般計算方法求信道容量C。單符號離散信道的信道容量101P121101 log10 log 000 1212(1)log(1)log(1)loglog(1)log (1)1 （1 1）122log2log1 (1)jmjC

20、 （2 2）111()21()221(1)jjCCCp yp y （3 3）2111(1)()1()1 (1)p yp y 1111212( )( ) (/)( ) (/)p yp x p yxp x p yx（4 4）2121222()( ) (/)() (/)p yp x p yxp x p yx11222()( )()()(1) ()p yp xp xp yp x11111211()1(1)()1(1)p xp x 1201( ), ()0,p xp xC 即所求的 存在383.3 多符號離散信道多符號離散信道n多符號離散信道的數(shù)學模型n離散無記憶信道和獨立并聯(lián)信道的信道容量39多符號離

21、散信道的數(shù)學模型多符號離散信道的數(shù)學模型多符號離散信道1212NNX XXY YYXY()PXY XY1212nmKKxxxy yyXY12iNiiiax xx12,1,2,Ni iin1, 2,Nin12jNjjjbyyy1, 2 ,Njm12,1,2,Njjjm40多符號離散信道的數(shù)學模型多符號離散信道的數(shù)學模型多符號離散信道()PXY XY112111212222()()()()()()()()()NNNNNNmmnnmnp b ap b ap bap b ap b ap bap b ap b ap ba41離散無記憶信道和獨立并聯(lián)信道的信道容量離散無記憶信道和獨立并聯(lián)信道的信道容量多符

22、號離散信道無記憶：YK僅與XK有關(guān)121211221( /)(/)(/) (/)(/)(/)NNNNNkkkp YXp Y YYX XXP YX P YXP YXP YX42(;)( )(/)IHHX YYYX11112222(/)(/)(/)NNNNXP YXYXP YXYXP YXYXY離散無記憶信道和獨立并聯(lián)信道的信道容量離散無記憶信道和獨立并聯(lián)信道的信道容量多符號離散信道43離散無記憶信道和獨立并聯(lián)信道的信道容量離散無記憶信道和獨立并聯(lián)信道的信道容量多符號離散信道1211111111112111111111111111111( /)() ()log ()() ()()log(). ()

23、( ) (NNNNNNNNNNNNNNnnmmiiijjiijjiiiijjnnmmiiijijijijiiijjnmijiijHp x xxp yyxxp yyxxp x xxp yxp yxp yxp yxp x p yx Y X112222211221111221)log ()( ) ()log ()() ()log ()(/)(/) .(/)(/)NNNNNNNnmjiijijiijnmijijiijNKKKKKp yxp x p yxp yxp xp yxp yxH Y XH YXH YXH YX 44離散無記憶信道和獨立并聯(lián)信道的信道容量離散無記憶信道和獨立并聯(lián)信道的信道容量多符號

24、離散信道1211121111(;)()(/)()(/)(.)()(;)()(/)(;)(;)NNKKNKKKKNNKKNNKKKKKNKKKIHH YXH Y YYH YXH Y YYH YIH YH YXII XYX YYX YX Y(a)121 2 N . ( ) X X . (;)(; )KKY YYaXINI X YCNC，相互獨立等號成立要求也是無記憶的X Y45離散無記憶信道和獨立并聯(lián)信道的信道容量離散無記憶信道和獨立并聯(lián)信道的信道容量多符號離散信道1 2121122(/)(/) (/)(/)NNNNp YYYX XXp YXp YXp YX11112222(/)(/)(/)NNN

25、NXP YXYXP YXYXP YXY46離散無記憶信道和獨立并聯(lián)信道的信道容量離散無記憶信道和獨立并聯(lián)信道的信道容量多符號離散信道121()()NNkkH Y YYH Y1212121(;)()(/)NNNNkkkI X XXY YYH Y YYH YX12121(;)(;)NNNkkkI X XXYYYI XY121211(;)()(/)NNNNkkkkkI X XXYYYH YH YX1NNkkCC473.4 多用戶信道多用戶信道n屬于網(wǎng)絡信息論，研究的主要問題：n網(wǎng)絡信道的信道容量，用多維空間中的一個區(qū)域來表示n網(wǎng)絡信道編碼定理n實現(xiàn)編碼定理的碼結(jié)構(gòu)問題，包括信源編碼和信道編碼n多址接

26、入信道n多個輸入端1個輸出端n在理論上討論比較完善，但具有反饋的多元接入信道的容量問題尚沒有解決n廣播信道n1個輸入端多個輸出端n對退化廣播信道的研究較深入，解決了一些特殊情況下的容量問題，一般廣播信道的容量問題尚未解決n相關(guān)信源的多用戶信道問題n多個輸入多個輸出48多址接入信道多址接入信道多用戶信道多入單出信道多入單出信道信道信道信源信源1 1譯碼譯碼信源信源2 2編碼器編碼器1 1編碼器編碼器2 21u2u1X2XY1 u2 u12C二址接入信道模型二址接入信道模型49多址接入信道多址接入信道多用戶信道111211 1.nXxxx212222 2.nXxxx12mYy yy11uu11CR

27、 11(; )RI X Y)/;(max21)()(121XYXICXpXp條件信道容量條件信道容量50多址接入信道多址接入信道多用戶信道22CR )/;(max12)()(221XYXICXpXp);(max21)()(1221YXXICXpXp1221CRR211221),max(CCCCC51多址接入信道多址接入信道多用戶信道R2C20C1C12C1+C2R1容量區(qū)52廣播信道廣播信道多用戶信道單入多出信道，退化廣播信道（串聯(lián)）12121(/ )(/ ) (/)p y yxp yx p yy編碼編碼信道信道1 1u1u2xy1信道信道2 2y2)/;(211uYXIR )/;(122uY

28、XIR );(121YXIRR53相關(guān)信源的多用戶信道問題相關(guān)信源的多用戶信道問題多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2x1x21X2X模型1RE1E2C1C2D1D2x1x21X2X)/(211XXHR )/(122XXHR )(2121XXHRR54相關(guān)信源的多用戶信道問題相關(guān)信源的多用戶信道問題多用戶信道C2)(21XXH)(21XXH)/(21XXH)(1XH)(2XH)/(12XXHC155相關(guān)信源的多用戶信道問題相關(guān)信源的多用戶信道問題多用戶信道E1C1D1x1x21x)/(21XXH邊信息RE1E2C1C2D1D2x1x21x2xE0C0w模型256);(21

29、0WXXIR W:公信息)/(11WXHR )/(22WXHR 要求R0盡可能小，并且在W條件下，X1X2無關(guān));(min21WXXIW相關(guān)信源的多用戶信道問題相關(guān)信源的多用戶信道問題多用戶信道573.5 連續(xù)信道連續(xù)信道)/(YXYPXP(Y/X),baX ),(R,baY R),( )max(; )Cp xIIX Y加性連續(xù)信道Np(y/x)=p (n)XY=X+N583.5 連續(xù)信道連續(xù)信道nx、n、y之間有如下變換函數(shù)關(guān)系：其坐標變換的雅可比行列式的絕對值( , )( , )x x yxn x yyx( , )( , )x x nxy x nxn10()111xxxyxnJnnxyxy

30、593.5 連續(xù)信道連續(xù)信道根據(jù)坐標變換理論對于加性信道()()()()xnp xyp xn Jp xnxy()( ) ( )p xnp x p n()( ) ( / )( ) ( )p xyp x p y xp x p n( / )( )p y xp n603.5 連續(xù)信道連續(xù)信道( /)( ) ( / )log( / )cXYH YXp x p y xp y x dxdy ( ) ( )log( )XNp x p np n dxdy ( )log( )()Ncp np n dnHN ( )( )max (; )max( )()cccp xp xCIX YHyHN613.5 連續(xù)信道連續(xù)信道

31、若N為均值為0，方差為NP2高斯變量，則稱這種加性信道為高斯加性信道22222211()( / )( )expexp2222nyxp y xp n高斯加性信道的容量：21( /)()log(2)2ccH YXHNe 2( )1max( )log(2)2cp xCHye 623.5 連續(xù)信道連續(xù)信道設X的平均功率限定為xxP2YXN則Y的也是平均功率受限的隨機變量由最大相對熵定理知，平均功率受限的連續(xù)信源，當其是一個均值為0的高斯變量時，相對熵達到最大值由概率論相關(guān)知識，兩個統(tǒng)計獨立的高斯隨機變量的和變量也是一個高斯變量。故當加性高斯信道的輸入信源是0均值的高斯隨機變量時，其輸出也是0均值的高斯

32、隨機變量，輸出隨機變量的熵最大。633.5 連續(xù)信道連續(xù)信道NxyPPP2y高斯加性信道的容量：2( )1max( )log(2)2cp xCHye )1log(21log21NxNxNPPPPP0log(1)log(1)xxtNPPCWWPWN香農(nóng)公式限時T、限頻W的高斯白噪聲加性信道的容量：log(1)xNPCWTP643.5 連續(xù)信道連續(xù)信道0log(1)log(1)xxtNPPCWWPWN令0 xPxWN1log(1)log(1)WxWxxx1001log(1)log(1)xxxPPWxxN W xN10ln(1)1limxxx200/log/limxxtWPPCnat sebit s

33、NN當W時，x0W(/ )tC bit s0/xPN0/xPNnShannon公式的物理意義公式的物理意義n它給出了決定信道容量它給出了決定信道容量C的是三個信號物理參量：的是三個信號物理參量： W、T、 之間的辯證關(guān)系。之間的辯證關(guān)系。n三者的乘積是一個三者的乘積是一個“可塑可塑”性體積（三維）。性體積（三維）。n三者間可以互換。三者間可以互換。)log(21S 2S)1log(2STtWf)1log(2SWTC66連續(xù)信道連續(xù)信道Shannon公式的用途一公式的用途一 用頻帶換取信噪比：擴頻通信原理。用頻帶換取信噪比：擴頻通信原理。n雷達信號設計中的線性調(diào)頻脈沖，模擬通信中，調(diào)雷達信號設計

34、中的線性調(diào)頻脈沖，模擬通信中，調(diào)頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強。頻優(yōu)于調(diào)幅，且頻帶越寬，抗干擾性就越強。n數(shù)字通信中，偽碼數(shù)字通信中，偽碼(PN)直擴與時頻編碼等，帶寬越直擴與時頻編碼等，帶寬越寬，擴頻增益越大，抗干擾性就越強。寬，擴頻增益越大，抗干擾性就越強。 注意：有極限注意：有極限67連續(xù)信道連續(xù)信道Shannon公式的用途二公式的用途二 用信噪比換取頻帶用信噪比換取頻帶多進制多電平多維星座調(diào)制方式的基本原理 衛(wèi)星、數(shù)字微波中常采用的有：衛(wèi)星、數(shù)字微波中常采用的有： 多電平調(diào)制、多相調(diào)制、高維星座調(diào)制(M-QAM)等 等，它利用高質(zhì)量信道中富裕的信噪比換取頻帶，以提高傳輸有效性。

35、68連續(xù)信道連續(xù)信道nShannon公式的用途三公式的用途三 用時間換取信噪比用時間換取信噪比 重傳、弱信號累積接收基于這一原理。 t=T0 為分界線。 信號功率S有規(guī)律隨時間線性增長，噪聲功率2無規(guī)律，隨時間呈均方根增長。Tt0S2S2t=0S2Pt69連續(xù)信道連續(xù)信道nShannon公式的用途四公式的用途四 用時間換取頻帶或用頻帶換取時間用時間換取頻帶或用頻帶換取時間 擴頻縮短時間：通信電子對抗、潛艇通信擴頻縮短時間：通信電子對抗、潛艇通信 窄帶增加時間：電話線路傳準活動圖象窄帶增加時間：電話線路傳準活動圖象n例：在圖片傳輸中，每幀約為2.25106個像素，為了能很好地重現(xiàn)圖像，需分16個

36、亮度電平，并假設亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬(信噪功率比為30dB)。 解：高斯白噪聲加性信道單位時間的信道容量： (比特/秒） 要求的信息傳輸率為： Ct= 2.25106log1630=2.7108（bit/s) =Wlog(1+S/N) 而：10lg(S/N)=30dBS/N=103 W=(2.7108 )/log(1+103) 2.7107 (Hz )log(1)sNPtPCW713.6 信道編碼定理信道編碼定理n信道編碼概述n錯誤概率與譯碼規(guī)則、編碼方法n信道編碼定理72信道編碼概述信道編碼概述互信息能告訴我們什么？隨機變量X,Y統(tǒng)計意義上的依存程度可

37、以獲得的信息量不能：所得信息能否可靠地確定信道輸入？實際通信中人們對傳輸要求什么？傳輸信息量大傳輸可靠提出的與信道傳輸有關(guān)的問題：如何能使信息傳輸后發(fā)生的錯誤最少？錯誤概率與那些因素有關(guān)？有無辦法控制？能控制到什么程度？無誤傳輸可達的最大信息率是多少？73信道編碼概述信道編碼概述舉例說明：設有一個二元數(shù)字序列000110101100（1）每兩位分成一組，共有224種可能的碼組（或碼字）：00、01、10、11。不可能發(fā)現(xiàn)錯誤，也不可能糾正。（2）對原碼字稍加以改造：加上一位數(shù)字，四個碼字變成00001 01010 10100 11111。可以發(fā)現(xiàn)奇數(shù)個錯誤，但無法糾正。（3）對原碼字繼續(xù)改造：

38、0000110 0101101 1010011 1111000。當收到碼字00111時，采用最大似然法則，將00111糾正成為00110。結(jié)論：碼組（字）間差別越大，碼的檢測和糾錯能力越強。對于第一種情況，碼組間最少相差一個碼元，則一旦有錯誤，就會變成另一個許用碼字，因而不能發(fā)現(xiàn)錯誤；對于第二種情況，碼組間最少相差二位碼元，錯一位就會變成禁用碼字，因而能發(fā)現(xiàn)錯誤，即具有檢錯能力；對于第三種情況，碼組間最少相差三位碼元，錯一位就變成禁用碼字，但仍與某許用碼字相似，利用最大似然法則可以糾錯，即具有糾一位錯誤的能力。74錯誤概率與譯碼規(guī)則、編碼方法錯誤概率與譯碼規(guī)則、編碼方法錯誤概率與譯碼規(guī)則錯誤概

39、率PE與什么有關(guān)信道的統(tǒng)計特性譯碼規(guī)則譯碼規(guī)則的選擇依據(jù)最大后驗概率準則理想最大似然準則實用75錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則例： 12121:d0011正確概率錯誤概率(0/0)1/3p(1/1)1/3p(1/0)2/3p(0/1)2/3p2:d0110(1/0)2/3p(0/1)2/3p(0/0)1/3p(1/1)1/3p76錯誤概率與譯碼準則、編碼方法錯誤概率與譯碼準則、編碼方法n問題：n在輸入和信道特性給定的條件下，差錯概率將取決于接收矢量空間按什么樣的劃分準則進行劃分n劃分接收矢量空間的準則譯碼器的譯碼準則77信道譯碼信道譯碼An1243w4w3w1w2xxxnAn 是接收空間

40、nw1, w2, 是發(fā)送的碼字n圍繞每個碼字有一個譯碼域in如果接收的碼字在 i中 ，就認為發(fā)送的是碼字wi 發(fā)生錯誤發(fā)生錯誤n一般, An中存在一些不屬于任何 i的區(qū)域 n有時接收碼字會被映射到錯誤的i ，進而被譯成錯誤的 wi 正確譯碼不知如何譯碼譯碼錯誤78錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則譯碼規(guī)則：設信道輸入為X=x1,x2,xn，輸出為Y=y1,y2,ym，則Y到X的單值映射為d:d(yj)=xi(i=1,2,n；j=1,2,m)，則d為一 個譯碼規(guī)則。錯誤概率：若譯碼規(guī)則為d(yj)=xi條件錯誤概率：p(e/yj) (收到的是yj，而發(fā)出的不是xi)條件正確概率：1p(e/yj)平均錯誤概率：PE=p(yj)p(e/yj)最佳譯碼規(guī)則：使平均錯誤概率PE最小的譯碼規(guī)則79錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則欲使最小PE=p(yj)p(e/yj)，