信息理論與編碼參考答案

1、一副充分洗亂的牌(含52張)，試問(wèn)：(1)任一特定排列所給出的不確定性是多少(2)隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不相同時(shí)的不確定性是多少解：(1)52張撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)，為P522528.0661067因?yàn)閾淇伺瞥浞窒磥y，任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)生概率為168PA1.241052可得，該排列發(fā)生所給出的信息量為IAlog2PAlog252225.58bit67.91dit(2)設(shè)事件B為從中抽取13張牌，所給出的點(diǎn)數(shù)互不相同。撲克牌52張中抽取13張，不考慮排列順序，共有C53種可能的組合。13張牌點(diǎn)數(shù)413。

2、因?yàn)槊糠N組合都是等互不相同意味著點(diǎn)數(shù)包括A,2,，K,而每一種點(diǎn)數(shù)有4種不同的花色意味著每個(gè)點(diǎn)數(shù)可以取4中花色。所以13張牌中所有的點(diǎn)數(shù)都不相同的組合數(shù)為概率發(fā)生的，所以413C52413 1339521.0568 10 4則發(fā)生事件B所得到的信息量為IBlogPB10g2113.208bitC523.976dit設(shè)在一只布袋中裝有100只對(duì)人手的感覺(jué)完全相同的木球，每只上涂有1種顏色。100只球的顏色有下列三種情況：(1)紅色球和白色球各50只；(2)紅色球99只，白色球1只;紅，黃，藍(lán)，白色各25只。求從布袋中隨意取出一只球時(shí)，猜測(cè)其顏色所需要的信息量。解：猜測(cè)木球顏色所需要的信息量等于木

3、球顏色的不確定性。令R“取到的是紅球”，W“取到的是白球”Y“取到的是黃球”，B“取到的是藍(lán)球”(1)若布袋中有紅色球和白色球各50只，即PR P WI R I W501100 2110g2 2 血21 bit(2)若布袋中紅色球99只，白色球1只，即2.657 bit/symbolP Xi log 2Px log 2 6 2.585991PR0.99PW0.01100100IRlog2PR1og20.990.0145bitIW1og2PW1og20.016.644bit(3)若布袋中有紅，黃，藍(lán)，白色各25只，即251PRPYPBPW10041IRIYIBIWlog2-2bit設(shè)信源為XX2

4、X3X4PX0.2 0.19 0.18 0.17X5X60.16 0.176求 P Xi log 2 P Xi ,井解釋為什么log 2log 2 6 ,不滿(mǎn)足信源嫡的極值性。解:6P Xilog 2 P Xi0.2log20.20.1910g20.190.1810g20.180.1710g20.170.1610g20.160.1710g20.17不滿(mǎn)足極值性的原因是P xi 1.07 1 ,不滿(mǎn)足概率的完備性。大量統(tǒng)計(jì)表明，男性紅綠色盲的發(fā)病率為7%女性發(fā)病率為如果你問(wèn)一位男同志是否為紅綠色盲，他回答“是"或“否”(1)這二個(gè)回答中各含多少信息量(2)平均每個(gè)回答中含有多少信息量(

5、3)如果你問(wèn)一位女同志，則答案中含有的平均信息量是多少解：對(duì)于男性，是紅綠色盲的概率記作P ai7% ,不是紅綠色盲的概率記作Pa293%,這兩種情況各含的信息量為I a1log 2 1 P a1I a2log 2 1 P a2100log2 3.83 bit100log20.105 bit93平均每個(gè)回答中含有的信息量為HAPa1I(a1)Pa2I(a2)7933.830.1051001000.366bit/回答對(duì)于女性，是紅綠色盲的概率記作p。0.5% ,不是紅綠色盲的記作Pb299.5%,則平均每個(gè)回答中含有的信息量為HBPhI(h)Pb2I(b2)5,1000995,1000log2l

6、og21000510009950.045bit/回答HAHB聯(lián)合嫡和條件嫡任意三個(gè)離散隨機(jī)變量X、Y和Z,求證:H(XYZ)H(XY)H(XZ)H(X)。H Z,X H X成立，等證明：方法一：要證明不等式HX,Y,ZHX,Y價(jià)證明下式成立：H X,Y,ZH X,Y H X,Z H X 0根據(jù)嫡函數(shù)的定義HX,Y,ZHX,YHX,ZHXp XiyjZk 10gp XiyjZkX Y ZP XyjZk logp XiyjX Y Zp Xi yjZk logp XiZkX Y ZP XiyjZk logp xX Y Zp xyjZk p Xip XiyjZk logx y zp xyj p XiZ

7、kp Xiyj p XZklog ep XiyjZk X Y zp XiyjZk p x(信息論不等式)log ep Xyj p XiZk p xyjZkX Y Zp XiX Y Zlog ep yj | Xi p XiZkX Y Zp xyjZkX Y Zloge110所以HX,Y,ZHX,YHX,Z等號(hào)成立的條件為pxiyjpXZkpXipxyjZk得證方法二：因?yàn)镠(XYZ)H(XY)H(Z|XY)H(XZ)H(X)H(Z|X)所以，求證不等式等價(jià)于H(Z|XY)H(Z|X)因?yàn)闂l件多的嫡不大于條件少的嫡，上式成立，原式得證。設(shè)隨機(jī)變量Xxi,X20,1和Yyi,y20,1的聯(lián)合概率空間

8、為XY(X1,y1)(X1,y2)(X2,y1)誨小)Ry18383818定義一個(gè)新隨機(jī)變量ZXY(普通乘積)。(1)計(jì)算嫡H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ);(2)計(jì)算條件嫡H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；(3)計(jì)算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y);解(1)0,ypx0,y可得Z由p(xz)p(x0,zp(x0,zP(x1,zP(x1,zPxilogPxibit/symbolP(zP(z

9、0)1)0,yPx1,yP(xy1P(zXY的概率空間如下00)0)P(xyP(Z)logPV01)P(xybit/symbol10)2H(Z)p(Zk)KP(x)P(zx)得0)1)0)1)P(xp(xp(xp(x0)P(z0)P(z1)P(z1)P(z810g0)1)1)1.1、log-)880.544bit/symbolp(xp(x1)p(y1)p(y0x1)p(x1,y1x1)p(x1,y0)1)3818H(XZ)P(XZk)113311logloglog2288881.406bit/symbol由對(duì)稱(chēng)性可得H(YZ)1.406bt/symbol由p(xyz)p(xy)p(zxy),又

10、p(zxy)或者等于1,或者等于0.p(x 0, y 0,z 0)1P(x0,y0)P(z0x0,y0)P(x0,y0)18P(x0,y0,z1)p(xP(x0,y1,z0)p(xP(x0,y1,z1)p(xP(x1,y0,z0)p(xP(x1,y0,z1)p(xP(x1,y1,z0)p(xP(x1,y1,z1)p(x0,y0)p(z1x0,y0,y1)p(z0x0,y0,y1)p(z1x0,y1,y0)p(z0x1,y1,y0)p(z1x1,y1,y1)p(z0x1,y1,y1)p(z1x1,y10)-00831)P(x0,y1)1-31)-00830)P(x1,y0)1-30)-00811

11、)-00811)P(x1,y1)1-H(XYZ)P(xyjzk)log2P(xyjzjijk1133log log 88 883311log log 一88881.811 bit / symbol(2)HXY1log1 310g3 310g388 88 881.1Tog 一1.811bit /symbolH X /Y =H XY -H Y1.811 1 0.811bit/symbol根據(jù)對(duì)稱(chēng)性,HY/X=HX|Y0.811bit/symbolH X/Z =h XZ -h Z1.4060.5440.862bit/symolHZ/X=HXZ-HX1.40610.406bit/symol根據(jù)對(duì)稱(chēng)性,

12、HY/Z=HX/Z0.862bit/symbolH Z/Y =H Z/X0.406bit / symolH X/YZ =H XYZ -H YZ 1.8111.4060.405bit / symol根據(jù)對(duì)稱(chēng)性，把X和丫互換得H Z /XY=H XYZ-HH Y/XZ =HXY 1.811X/YZ1.8110.405bit / symbolObit / symolI X;YX/Y0.8110.189bit / symbolI X;ZX /Z0.8620.138bit / symbol根據(jù)對(duì)稱(chēng)性,I X;Y/ZX/ZI Y;Z/XY/XY；ZI X;Z0.138bit / symbolH X /YZ

13、 0.862H Y/XZ 0.8110.405 0.457bit / symbol0.405 0.406bit / symbol根據(jù)對(duì)稱(chēng)性得I X;Z/Y I Y;Z/X0.406bit / symbol設(shè)信源發(fā)出二次擴(kuò)展消息Xiyi,其中第一個(gè)符號(hào)為A、RC三種消息，第二個(gè)符號(hào)為DE、F、G四種消息，概率P（Xi）和PlyJxi）如下:p(x)ABC1/21/31/6D1/43/101/6p(y/xi)E1/41/51/2F1/41/51/6G1/43/101/6求二次擴(kuò)展信源的聯(lián)合嫡H(X，Y)O解：聯(lián)合概率為P(Xi,yj)p(yj|x”p(xi)可得X,Y的聯(lián)合概率分布如下：P(xiy

14、i)ABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以H(X,Y)p(xiyi)logp(xyi)3.415比特/擴(kuò)展消息XY設(shè)某離散平穩(wěn)信源X，概率空間為X012P11364914并設(shè)信源發(fā)出的符號(hào)只與前一個(gè)相鄰符號(hào)有關(guān)，其聯(lián)合概率為p(ai,aj)如下表所示:P(ai,aj)ai01201/41/180aj11/181/31/18201/187/36求信源的信息嫡、條件嫡與聯(lián)合嫡，并比較信息嫡與條件嫡的大小。解：邊緣分布為p(a)PHaj)條件概率maj/a)p(aiaj)/p如下表:p(aj/a)ai012aj09/111/8012

15、/113/42/9201/87/9所以信源嫡為1141H(X)p(ai)logp(a)H(,-,-)1.542bit/symbolii3694條件嫡：33H(X2Xi)p(aiaj)logp(aj/ai)i1j1H(Xi)H(X2.Xi)0.87bit.symol可知H(X2.X1)H(X)因?yàn)闊o(wú)條件嫡不小于條件嫡，也可以得出如上結(jié)論。聯(lián)合嫡：33H(Xi,X2)p(aiaj)logp(aiaj)i1j1H(Xi)H(X2.Xi)2.41bit/二個(gè)符號(hào)說(shuō)明：(1)符號(hào)之間的相互依賴(lài)性造成了信源的條件嫡H(X2/Xi)比信源嫡H(X)少。(2)聯(lián)合嫡H(Xi，X2)表示平均每?jī)蓚€(gè)信源符號(hào)所攜帶

16、的信息量。平均每一個(gè)信源符號(hào)所攜帶的信息量近似為1.一H2(X)=-H(X1,X2)1.205bit/符號(hào)H(X)原因在于H2(X)考慮了符號(hào)間的統(tǒng)計(jì)相關(guān)性，平均每個(gè)符號(hào)的不確定度就會(huì)小于不考慮符號(hào)相關(guān)性的不確定度。黑白氣象傳真圖的消息只有黑色(B)和白色(W兩種，即信源XB,V,設(shè)黑色出現(xiàn)的概率為P(B)0.3,白色的出現(xiàn)概率為P(W0.7。(1)假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求嫡H(X)(2)假設(shè)圖上黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為P(W|W0.9,P(B|V)0,1,P(W|B)0,2,P(B|E)0.8,求此一階馬爾可夫信源的嫡H2(X)。(3)分別求上述兩種信源的剩余度，并比

17、較H(X)和H2(X)的大小，試說(shuō)明其物理意義。DMS則信源概率空間為1XB WP(x)03 07P(x)x解：(1)假設(shè)傳真圖上黑白消息沒(méi)有關(guān)聯(lián)，則等效于一個(gè)信源嫡為2H(X)p(a)logp(aj)i1H(0.3,0.7)0.7log0.70.3log0.30.881bitsymbol(2)該一階馬爾可夫信源的狀態(tài)空間集為SW,B根據(jù)題意可得狀態(tài)的一步轉(zhuǎn)移矩陣WBW0.90.1B0.20.8狀態(tài)極限概率p(W),p(B)滿(mǎn)足P(Sj)p(Sj)P(Si|Sj),p(Si)1SjSSiS即p(W)p(W|W)p(W)p(W|B)p(B)0.9p(W)0.2p(B)p(B)p(B|W)p(W)

18、p(B|B)p(B)0.1p(W)0.8p(B)p(W)p(B)1可以解得21p(W)p(B)-33該一階馬爾可夫信源的嫡為H2p(Sj)H(X|Sj)Sjp(B)-0.2log0.20.8log0.812H(0.2,0.8)-H(0.9,0.1)33120.7720.4690.55333p(W -0.9log0.9 0.1log0.1bit/symbol1=1H(X)log 20.881log 20.119(3)黑白消息信源的剩余度為一階馬爾可夫信源的剩余度為H2log 20.553log 20.447由前兩小題中計(jì)算的H(X)和H2比較可知H(X)H2即該結(jié)果說(shuō)明：當(dāng)信源的消息(符號(hào))之間

19、有依賴(lài)時(shí)，信源輸出消息的不確定性降低。所以，信源消息之間有依賴(lài)時(shí)信源嫡小于信源消息之間無(wú)依賴(lài)時(shí)信源嫡。這表明信源嫡反映了信源的平均不確定性的大小。而信源剩余度反映了信源消息依賴(lài)關(guān)系的強(qiáng)弱，剩余度越大，信源消息之間依賴(lài)關(guān)系就越大。設(shè)信源為XPxX234試求:(1)信源的嫡、信息含量效率以及冗余度；(2)求二次和三次擴(kuò)展信源的概率空間和嫡。解：(1)134H(X)-log4log0.811bit/符節(jié)4430.811 log 281.1%1-0.189(2)假設(shè)X為DMS則P(XiX2)P(Xi)P(X2)P(xix2x3)P(xi)P(x2)P(x3)可得二次擴(kuò)展信源的概率空間X2x1x1x2x

20、1x2x1x2x2PX2%6%6%62次擴(kuò)展信源的嫡為H(X2)2H(X)1.622bit/2元符號(hào)三次擴(kuò)展信源的概率空間及嫡為X3xi、xiggxixx2x2x2、xix2、x2x2x?xi*2x2x2PX3X1643643649649649642764H(X3)3H(X)2.433bit/3元符號(hào)設(shè)有一個(gè)信源，它產(chǎn)生0,i符號(hào)的信息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)均按p(0)0.4,p(i)0.6的概率發(fā)出符號(hào)(i)試問(wèn)這個(gè)信源是否是平穩(wěn)的(2)試計(jì)算H(X2),H(Xs/XiX?)及H;(3)試計(jì)算H(X4)并寫(xiě)出X4信源中可能有的所有符號(hào)。解：(i)該信源在任何時(shí)刻發(fā)出的符號(hào)概

21、率都是相同的，即信源發(fā)出符號(hào)概率分布與時(shí)間起點(diǎn)無(wú)關(guān)，因此這個(gè)信源是平穩(wěn)信源。又因?yàn)樾旁窗l(fā)出的符號(hào)之間彼此獨(dú)立。所以該信源也是離散無(wú)記憶信源。2H(X2)2H(X)2H(0.4,0.6)2(0.4log0.40.6log0.6)i.942bit,symbolH(X3/XiX2)H(X3)(信源無(wú)記憶)p(Xi)logp(x)(0.4log0.40.6log0.6)0.971bit.symbolHlimH(XnX1X2LXn1)H(Xn)0.971bitsymbol(3)H(X4)4H(X)(信源無(wú)記憶)4(0.4log0.40.6log0.6)3.884bit/4元符號(hào)X4的所有符號(hào)：00000

22、00100100011010001010110011110001001101010111100110111101111設(shè)信源為Xx1X2iPx=1434試求：(1)信源的嫡、信息含量效率以及冗余度；(2)求二次和三次擴(kuò)展信源的概率空間和嫡。解：(1)134一一H(X)-log4-log-0.811bit/符號(hào)4430.811 log 281.1%1-0.189(2)假設(shè)X為DMS則P(x1x2)P(x1)P(x2)P(x1x2x3)P(x1)P(x2)P(x3)可得二次擴(kuò)展信源的概率空間X2Px2X1X1x2x1X2X|x2x2%6%6316%62次擴(kuò)展信源的嫡為2H(X)2H(X)1.622

23、bit/2兀符號(hào)三次擴(kuò)展信源的概率空間及嫡為X3x1x1x1x1x1x2x1x2x1x1x2x2x2x1x1x2x1x2x2x2x1x2x2x2PX316436436496436496496427643H(X)3H(X)2.433bit/3兀符號(hào)設(shè)連續(xù)隨機(jī)變量X的概率密度函數(shù)為bbx20&x<afX(x)=0其他(1)求X的嫡；(2)求Y=X+A(A>0)的嫡；(3)求Y=2X的嫡。解：(1)ah(X)-0fx(x)logfx(x)dxa2-0fxxlogbxdxaa2-logb°fX(x)dx-2b°xlogxdxa2,-logb-2bloge

24、6;xlnxdx2ba32ba3loge-loga-logb93因?yàn)閍a2ofX(x)dx°bxdx1所以310g a2.h(X)-loge-21oga-1og32.，c，-loge-1og3loga(2)首先求得Y的分布函數(shù)FYyFXAyFXyAyafx(x)dx1,yAaya0fx(x)dx,AyAa0,yAY的概率密度為fY(y)dF dy2b(yA)2,AyAa0,其它Y的微分嫡為Aah(Y)AfY(y)dyAAaccAb(yA)logb(yA)dyAa22(令tyA)0bt2logbt2dtS)h(X)2.-loge-log3loga因?yàn)橐阎猉,關(guān)于Y沒(méi)有不確定，常數(shù)A不會(huì)

25、增加不確定度，所以從嫡的概念上也可判斷此h(Y) h(X)(3)首先求得丫的分布函數(shù)FYyF2XyFXy/2y/2fx(x)dx1,y2ay/20fx(x)dx,0y2a0,y0Y的概率密度為fY(y)dF dy12by,0y2a80,其它Y的微分嫡為2ah(Y)0fY(y)dy2a1212,08bylog8bydya.2,.2a,.21(令ty/2)btlogbtdtbtlog-dtl;002h(X)log22 3一loge-log-loga3 2信道線(xiàn)圖如下，試確定該信道的轉(zhuǎn)移概率矩陣ab00900400090.0010.150.30.30.10.30.200010.30.2009cdef

26、gh解：按照轉(zhuǎn)移矩陣的排列原則：行對(duì)應(yīng)輸入符號(hào)，列對(duì)應(yīng)輸出符號(hào)£0.20.30.30.15 0.040.009 0.00090001 0.00090.0090.04 0.150.30.30.00010.2DMC的轉(zhuǎn)移矩陣如下PYix0.6 0.3 0.10.3 0.1 0.6(1)畫(huà)出信道線(xiàn)圖；(2)若輸入概率為 PX0.5 0.5 ,求聯(lián)合概率、輸出概率以及后驗(yàn)概率。解:(1)0.6(2)(一)乘以Py|x的第1行，P(a2)乘以%x的第2行，得聯(lián)合概率矩陣Ry：Pxy0.3 0.15 0.050.15 0.05 0.3PXY的各列元素相加得對(duì)應(yīng)的輸出概率，寫(xiě)成矩陣形式:R0.45

27、0.200.35PXY的各列元素除以對(duì)應(yīng)的輸出概率，得后驗(yàn)概率矩陣:Pxy2/3 3/4 1/71/3 1/4 6/7設(shè)離散無(wú)記憶信源X通過(guò)離散無(wú)記憶信道X,PY|X,Y傳送信息，設(shè)信源的概率分布和信道的線(xiàn)圖分別為ai0.8bi試求:(1)(2)(3)(4)(5)解:(2)0.0.ai0.6a?0.4a20.9b2信源的符號(hào)ai和a2分別含有的自信息;從輸出符號(hào)bj(j1,2)所獲得的關(guān)于輸入符號(hào)信源X和信道輸出Y的嫡;信道疑義度H(X|Y)和噪聲嫡H(Y|X);從信道輸出Y中獲得的平均互信息量。I(aJI(a2)PYI(ai；bi)I(aig)I(a2；bi)INd)ai(i1,2)的信息量

28、;log%.60.7370log%.41.3220PxI(bi)IM)I(bi)I(b2)(3)H(X)0.6H(Y)0.52(4)、(5)bit/符號(hào)bit/符號(hào)PYx0.80.60.40.1I(bi.ai)=0.94340.32190.20.90.62150.520.48bit/符號(hào)I(b2；b)=1.05892.32201.2631bit/符號(hào)I(bi.a2)=0.94343.3222.3786bit/符號(hào)I92,3)=1.05890.15200.9609bit/符號(hào)0.73700.9434H(Y.a1)H(0.8,0.2)H(Ya2)H(0.1,0.9)0.41.32200.481.0

29、5890.80.32190.971bit/符號(hào)0.9988bit/符號(hào)0.22.32200.7219bit/符號(hào)0.13.3220.90.1520.469bit/符號(hào)H(Y/X)0.60.72190.40.4690.6207bit/符號(hào)I(X;Y)H(Y)H(Y/X)0.99880.62070.3781bit/符號(hào)又根據(jù)IX;YH(X)H(XY)H(X./Y)H(X)I(X;Y)=0.9710.37810.5929bit/符號(hào)舉出下列信道的實(shí)例，給出線(xiàn)圖和轉(zhuǎn)移矩陣。(1)無(wú)損的，但不是確定的，也不是對(duì)稱(chēng)的；(2)準(zhǔn)對(duì)稱(chēng)且無(wú)損，但不是確定的；(3)無(wú)損的確定信道。解：(1)滿(mǎn)足H(X/Y)0(無(wú)

30、損)，H(Y/X)0(不確定)，不具有行列排列性,a11,b2PY Z線(xiàn)圖和轉(zhuǎn)移矩陣如下10000.50.5(2)無(wú)損要求H (X/Y)0;不確定要求H(Y/X)0,具有行排列性，線(xiàn)圖和轉(zhuǎn)移矩陣如下:PY Z0.4 0.600000.6 0.4(3)無(wú)損、確定信道的線(xiàn)圖和轉(zhuǎn)移矩陣如下ai1bia21b210PYX01求下列兩個(gè)信道的信道容量和最佳輸入分布，并加以比較。其中pP1O解:(1)方法一：利用一般DMC言道容量解的充要條件，計(jì)算各偏互信息，并使之均等于信道容量C,再結(jié)合輸出概率的完備性，可以解出信道容量，最后利用全概率公式得出最佳輸入分布。該方法通用，但過(guò)程繁瑣。方法觀察發(fā)現(xiàn)此信道是準(zhǔn)

31、對(duì)稱(chēng)信道。信道矩陣中Y可劃分為二個(gè)互不相交的子集，如下:nC Skk 1H(P1, P2,L , Ps)其中 n=2, r 2, M1 142, S2 1,所以一一1 2 .1 2.4.4.一一C12-log -1-log H (p2222，c ,2八，八一，一1 2 log 2 log 2 p log p1 21 2 log p log p P1 2P ,2 )p log plog p2 log 2輸入等概率分布時(shí)達(dá)到信道容量。(2)此信道也是準(zhǔn)對(duì)稱(chēng)信道，現(xiàn)采用準(zhǔn)對(duì)稱(chēng)信道的信道容量公式進(jìn)行計(jì)算。此信道矩陣中Y可劃分成兩個(gè)互不相交的子集為而這兩個(gè)子矩陣滿(mǎn)足對(duì)稱(chēng)性，因此，可直接利用準(zhǔn)對(duì)稱(chēng)信道的信

32、道容量公式進(jìn)行計(jì)算。Mk.Mk一log一rrp,P20P,P02這兩矩陣為對(duì)稱(chēng)矩陣。Mi 1 2 , M22,5S2 2 ,所以C2nSk1板 log MArrH (Pi, P2,L , Ps)_12.1 2_ 2 ,22 log - 2 log - H ( P22222_1 2 log 2 log p log p1 21 2 log p log p p1 2C1 2 log 2,P ,2 )p log P 2 log 2log P 2 log 2輸入等概率分布(P(a1)P(a2)1 一一， 一-)時(shí)達(dá)到此信道容量。兩個(gè)信道的噪聲嫡相等但第二 2個(gè)信道的輸出符號(hào)個(gè)數(shù)較多，輸出嫡較大，故信道容量也較大。求下列二個(gè)信道的信道容量及其最佳的輸入概率分布。解：圖中2個(gè)信道的信道矩陣為1111363600.980.02P211110.020.986363矩陣為行列排列陣，其滿(mǎn)足對(duì)稱(chēng)性，所以這兩信道是對(duì)稱(chēng)離散信道。由對(duì)稱(chēng)離散信道的信道容量公式得C1log 4 H10,0817比特/符號(hào)6C2 log2 H0.02,0.980.858特/符號(hào)最佳輸入分布是輸入為等概率分布。*1設(shè)信道轉(zhuǎn)移矩陣為100PYix01pp0