單符號離散信道的信道容量ppt課件

1、第3章 信道容量本章主要內(nèi)容n3.1信道的數(shù)學模型與分類信道的數(shù)學模型與分類n3.2單符號離散信道的信道容量單符號離散信道的信道容量n3.3 多符號離散信道的信道容量多符號離散信道的信道容量n3.4延續(xù)信道及其容量延續(xù)信道及其容量n3.6信道編碼定理信道編碼定理3.2 單符號離散信道n單符號離散信道的信道模型 n設輸入端信源符號集合為：n輸出端信宿符號集合為：n信道轉移概率為：令 n信道模型如下圖n Def：輸入輸出都取值于離散符號集合，且都用一個符號表示一條音訊的信道。n Xxxxn),(21),(21nxxxX),(21myyyYijijpxyp)/(Yyyym),(21)/(ijxyp單

2、符號離散信道的數(shù)學模型n單符號離散信道的信道統(tǒng)計特性用轉移概率矩陣單符號離散信道的信道統(tǒng)計特性用轉移概率矩陣表示：表示：n信道容量：傳輸信息不失真的條件下的最大平均信道容量：傳輸信息不失真的條件下的最大平均信息量或最大信息速率信息量或最大信息速率Rmaxn信道上傳輸?shù)淖畲笃骄畔⒘浚盒诺郎蟼鬏數(shù)淖畲笃骄畔⒘浚篊=I(X;Y)maxbit/符號符號 n信道上傳輸?shù)淖畲笮畔⑺俾剩盒诺郎蟼鬏數(shù)淖畲笮畔⑺俾剩篟maxmnnmnnmmnmnmmpppppppppxypxypxypxypxypxypxypxypxypP2122221112111212222111211)/()/()/()/()/()/(

3、)/()/()/(信道統(tǒng)計特性n信道容量的計算信道容量的計算sbitYXIttCRCt/);(1maxmax其中：t:傳輸一個符號需求的時間YXjijijiypxypxypxpYXI,)()/(log)/()();(所以當信道特性所以當信道特性p(yj/xi)p(yj/xi)確定以后，信道的容量只和信源確定以后，信道的容量只和信源概率分布概率分布p(xi)p(xi)有關。有關。bit/bit/符號符號s/s/符號符號幾種特殊離散信道的容量n具有一一對應關系的無噪信道：n輸出集合和輸入集合的每個符號一一對應n=m，見圖3.3(a)。n信道轉移概率矩陣為單位陣。n由于輸入輸出一一對應：所以此時信道

4、容量：此時信道容量：C=I(X;Y)max=H(X)max= H(Y)max =log2n bit/C=I(X;Y)max=H(X)max= H(Y)max =log2n bit/符號符號1.0.0.100.01)/()/()/()/()/()/()/()/()/(1212222111211mnnmnmmxypxypxypxypxypxypxypxypxypP111幾種特殊離散信道的容量n具有擴展性能的無噪信道：n一對多nm見圖3.3(b),給定一個輸出，必能找到對應的獨一輸入，即信道疑義度H(X/Y)=0。n信道轉移概率矩陣：每列有且只需一個非零元素。nC=I(X;Y)maxn =H(X)-

5、H(X/Y) max由于H(X/Y)=0=H(X)maxn 所以=H(X)maxn =log2n bit/符號時間mnnmnmmxypxypxypxypxypxypxypxypxypP)/()/()/()/()/()/()/()/()/(1212222111211n:行數(shù)行數(shù)幾種特殊離散信道的容量n具有歸并性能的無噪信道：n多對一nm，見圖3.3(c)，給定一個輸入，必能找到對應的獨一輸出，即噪聲熵H(Y/X)=0。n信道轉移概率矩陣：每行有且只需一個非零元素。nC=I(X;Y)max=H(Y)-H(Y/X) max由于H(Y/X)=0n 所以=H(Y)maxn =log2m bit/符號時間

6、mnnmnmmxypxypxypxypxypxypxypxypxypP)/()/()/()/()/()/()/()/()/(1212222111211m:m:列數(shù)列數(shù)對稱離散無記憶信道的信道容量n對稱離散無記憶信道對稱離散無記憶信道DMCDiscrete Memoryless Channel：矩陣的每：矩陣的每一行都是同一集合一行都是同一集合Q =(q1,q2,qm)中各元素的中各元素的不同陳列，每一列都是關于同一集合不同陳列，每一列都是關于同一集合P =(p1,p2,pn)中各元素的不同陳列，那么稱為中各元素的不同陳列，那么稱為對稱信道。對稱信道。2/16/13/13/12/16/16/13

7、/12/13/13/16/16/16/16/13/13/121PP7 . 01 . 02 . 01 . 02 . 07 . 03/16/13/16/16/16/13/13/143PP不是對稱信道不是對稱信道 每行的元素都取自同一每行的元素都取自同一集合集合Q=1/6, 1/6,1/3 Q=1/6, 1/6,1/3 ,1/3,1/3每列的元素也都取自同一每列的元素也都取自同一集合集合P=1/6,1/3P=1/6,1/3對稱信道對稱信道 對稱信道對稱信道 n定理：對于對稱DMC，有H(Y|X)= Hmin證明：miXimiiXmiiXYijijiYXijijiYXijjiHxpHixYHHxpxy

8、pxypxpxypxypxpxypyxpXYH)()|()( )|(log)|()()|(log)|()()|(log)()|(,無關與對稱矩陣的2/16/13/13/12/16/16/13/12/12P信道轉移概率矩陣恣意信道轉移概率矩陣恣意一行的熵一行的熵對稱：那么對稱：那么H HY/XY/X=Hmi=Hmi=H(1/2,1/3,1/6)=H(1/2,1/3,1/6)YijijmxypxypqqqH)|(log)|(),.,(21n對稱對稱DMCDMC信道的容量公式：信道的容量公式：nC=I(X;Y)maxC=I(X;Y)maxn =H(Y)-H(Y|X)max =H(Y)-H(Y|X)m

9、axn =H(Y)-Hmimax =H(Y)-Hmimaxn =H(Y)max-H(q1,q2,qm) =H(Y)max-H(q1,q2,qm) n設信源為單符號音訊，符號數(shù)為設信源為單符號音訊，符號數(shù)為n,n,等概分布，經(jīng)過等概分布，經(jīng)過一個對稱的一個對稱的DMCDMC信道，那么信宿也等概分布設符信道，那么信宿也等概分布設符號數(shù)為號數(shù)為m m, , 此時信道容量為：此時信道容量為：),.,(loglog2122mmiqqqHmHmC對稱對稱DMCDMC信道信道的信道容量的信道容量n證明：假設信源等概分布時，假設經(jīng)過對稱信道，那么得到的信宿也等概分布： mmxypxypxypxypxypxyp

10、nnYPmnnmnmm11)/()/()/()/()/()/(11)(1221111即信源等概分布又)(),.,()(,.),()/()/()/()/()/()/()(,),()/()()(1112211111mimiiimnnmnmmnypypyxpyxpxypxypxypxypxypxypxpxpXYPXPYP即n例：求例：求P1P1的信道容量。的信道容量。n解：對稱解：對稱DMC,DMC,所以所以符號/082. 061log6161log6131log3131log314log)61,61,31,31(log)(22maxbitHmHYHCmi4213/13/16/16/16/16/13

11、/13/1P強對稱離散信道的信道容量 n強對稱離散信道強對稱離散信道def:def:道或均勻信道。該信道被稱為強對稱信概率為個輸出符號，正確傳輸分給被對稱的均勻的信道的錯誤傳輸概率為,1,pnpnnpnpnpnpnpnppnpnpnpnppp111111111易看出，該信道是一個特殊的對稱信道。易看出，該信道是一個特殊的對稱信道。求該信道的信道容量。求該信道的信道容量。 易知轉移概率矩陣為：易知轉移概率矩陣為：ppp1np2yny1y2xnx1xn解：由于是對稱DMC信道，所以符號符號/1logloglog1log) 1(1loglog/)1,1,1,(log)(2222222maxbitnp

12、pppnnpnnpppnbitnpnpnppHnHYHCminnpnpnpnpnpnppnpnpnpnppp111111111假設取假設取n=2,n=2,那么那么 ppppP那么均勻信道變成那么均勻信道變成BSCBSC信道，那么其容量為信道，那么其容量為 )(1),(1/loglog2logpHppHpbitpppC符號準對稱DMC的信道容量 n準對稱準對稱DMCDMC關于行對稱或者關于列對稱關于行對稱或者關于列對稱n二元對稱刪除信道二元對稱刪除信道2112212111p1212122111p或或 2x1x2y3y1y2112212111p2111221112分析信道轉移矩陣分析信道轉移矩陣p

13、， 兩行三列，闡明兩行三列，闡明信道有兩個輸入音訊信道有兩個輸入音訊(設為設為 )，三，三個輸出音訊個輸出音訊(設為設為 ) 21,xx321,yyy準對稱DMC的信道容量 n例：知例：知 ，求此二元對稱刪除，求此二元對稱刪除n 矩陣的信道容量矩陣的信道容量C C。5 . 03 . 02 . 02 . 03 . 05 . 0p3 . 05 . 0 , 3 . 0 ,3 . 02 . 05 . 03 . 02 . 02 . 03 . 05 . 01 ,)/()/()/()/()/()/()(),()()()(1)(2322211312112132132121xypxypxypxypxypxypx

14、pxpyPypypyyyYxxXpX，則，輸出，設輸入：miHYHCmax)(準對稱解解需求需求H(Y)H(Y)Y Y的概率分布的概率分布2 . 0log2 . 03 . 0log3 . 05 . 0log5 . 0)2 . 0 , 3 . 0 , 5 . 0(HHmimimiHHYHC )3 . 05 . 0log()3 . 05 . 0(3 . 0log3 . 0)3 . 02 . 0log(3 . 02 . 0)(max）（代入5 . 03 . 02 . 02 . 03 . 05 . 0pmiH符號代入得，求得，令的極值，要求/036. 02/10bitCcC闡明準對稱信道到達容量極值時

15、，信闡明準對稱信道到達容量極值時，信源等概分布源等概分布n令上題令上題 ，那么，那么 ，叫做二元純，叫做二元純刪刪n 除信道，信道轉移分布圖為：除信道，信道轉移分布圖為： 0211111001p闡明：輸入符號闡明：輸入符號都以都以11的錯誤概率傳至收端，的錯誤概率傳至收端，錯判為符號錯判為符號E E準對稱DMC信道容量的求解步驟n歸納求解準對稱歸納求解準對稱DMCDMC信道容量的步驟：信道容量的步驟：n1 1、將轉移概率矩陣劃分成假設干個互不相交的子、將轉移概率矩陣劃分成假設干個互不相交的子集集n2 2、令信源等概分布、令信源等概分布n3 3、n其中其中: :nn n為信源符號個數(shù)，即信道轉移

16、矩陣的行數(shù)為信源符號個數(shù)，即信道轉移矩陣的行數(shù)nHmiHmi：轉移概率矩陣第：轉移概率矩陣第i i行的熵行的熵nNkNk：第：第k k個子矩陣行元素之和個子矩陣行元素之和nMkMk：第：第k k個子矩陣列元素之和個子矩陣列元素之和n注：假設準對稱信道是關于列對稱，可以先進展注：假設準對稱信道是關于列對稱，可以先進展轉置，使其變成關于行對稱轉置，使其變成關于行對稱rkkkmiMNHnC1loglogn例：求轉移概率為圖示例：求轉移概率為圖示P P的信道容量。的信道容量。n解：解： 由于由于P P是關于行對稱的準對稱矩陣，將是關于行對稱的準對稱矩陣，將P P分解：分解：n ，那么，那么n n =l

17、og2-H(1/2,1/4,1/8,1/8) - =log2-H(1/2,1/4,1/8,1/8) - n (1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)(1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)n =0.061bit/ =0.061bit/符號符號8181214181814121P兩個對稱的子矩陣，8/18/18/18/12/14/14/12/121PPrkkkmiMNHnC1loglog矩陣的矩陣的行數(shù)行數(shù)矩陣任一行的矩陣任一行的元素熵元素熵n例：求轉移概率為圖示例：求轉移概率為圖示P P的信道容量。的信道容量。n解：解： 由于由于P P是關于行對稱的準對稱矩陣，將是關于行對稱的準對稱矩陣，將P P分解：分解：n ，那么，那么n n =log2-H(1/3,1/3,1/6,1/6) - =log2-H(1/3,1/