信息論練習答案

一、填空題對于香農(nóng)編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是香農(nóng)編碼。連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。信源編碼的目的是：提高誦.信的有效性。BSC信道即：無記.憶二講.制對稱信道。信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就越大，獲得的信息量就越小。6、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為_1q&￡。7、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也越小。8、單符號的失真度或失真函數(shù)d(%，y.)表示信源發(fā)出一個符號％，信宿再現(xiàn)y.所引起的上9、連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。10、對于二元序列0011110000001111100111100111其相應(yīng)的游程序列是24652423。二、設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來測量(因無砝碼)。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？解答：在12枚同值硬幣中，哪一枚是假幣，假幣的重量是比真幣的重量重還是輕，都是“無知”、“不確定的乙而用天平比較左右兩邊輕重的測量方法，每測一次，能獲得一定的信息量，能消除部分不確定性，則就能確定出其中一枚假幣及其重量。因此，設(shè)“在12枚同值硬幣中，某一枚為假幣”這事件為a，其出現(xiàn)的概率為p(a)=1/12;又設(shè)“假幣的重量比真幣的重量是重或輕”這事件為B，其出現(xiàn)的概率為工蟲)=1/2;I(a)=-logp(a)=log12事件a的不確定性為一、°2八、2「I(b)=-logp(b)=log2事件b的不確定性為22要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量就是要消除這兩個事件的不確定性。因為這兩個事件是統(tǒng)計獨立事件，所以需要獲得的信息量為I1=I(a)+I(b)=log212+log22=log224=4.585bit而在天平上稱一次能判斷出三種情況：重、輕和相等，這事件為C。這三種情況是等概率的。其概率為p(c)=1/3。所以，天平測一次能獲得的信息量(即消除的不確定性)為12=10823則至少必須稱的次數(shù)為I1/I2=1og224/1og23=2.912因此至少必須稱三次。三、(1)為了使電視圖像獲得良好的清晰度和規(guī)定的適當?shù)膶Ρ榷?，需要?X105個象素和10個不同亮度電平，求傳遞此圖像所需的信息率(比特渺)。并設(shè)每秒要傳送30幀圖像，所有象素是獨立變化的，且所有亮度電平等概率出現(xiàn)？(2)設(shè)某彩色電視系統(tǒng)，除了滿足對于黑白電視系統(tǒng)的上述要求外，還必須有30個不同的色彩度，試證明傳輸該彩色系統(tǒng)的信息率要比黑白系統(tǒng)的信息率約大2.5倍？解答?(1)每個象素亮度信源的概率空間為aa121/101/10每個象素亮度含有的信息量p(a)…a10…1/10寸0p(a)=1ii=1

H(X)=log10=3.32bit/pixel每幀圖像信源就是離散亮度信源的無記憶N次擴展信源，可得每幀圖像含有的信息量為H(Xn)=NH(X)=5x105log210n1.66x106bit/frame每秒30幀，則傳遞此圖像所需的信息率為R=30xH(Xn)n4.98x10aa121/101/10每個象素亮度含有的信息量p(a)…a10…1/10寸0p(a)=1ii=1(2)色彩度信源的概率空間為-Y一bb…b30—1230￡p(b)—1p(b)1/301/30…1/30jLjJ—―j=1每個色彩度含有的信息量H(Y)=log230n4.91bit/pixel亮度和色彩度是獨立同時出現(xiàn)的，每個象素含有的信息量為H(XY)=H(X)+H(Y)n8.23bit/pixel在每幀所用象素數(shù)和每秒傳送幀數(shù)相同時，信息率之比為RH(XY)log300=2——2?匕.0R.H(X)log210四、設(shè)有離散無記憶信源X：⑴求[X2px2]⑵當p=1/2時，計算H(X2)uuuuu—1234P1/21/4四、設(shè)有離散無記憶信源X：⑴求[X2px2]⑵當p=1/2時，計算H(X2)uuuuu—1234P1/21/41/81/8LU」1——1解:(1)由于離散無記憶信源X的符號集為｛x1,x2｝，故可得二次擴展信源的符號表如下:EX2={x1遇2}x{x1遇2}={(x1,x1),(x1x2),(x2,x1),(x2x2)}由于信源無記憶，所以有p(x1,x1)=p(x1)p(x1)=p2p(x1,x2)=p(x1)p(x2)=p(1力)P(x2,x1)=p(x2)p(x1)=(1-p)p=p(1-p)p(x2,x2)=p(x2)p(x2)=(1-p)2故二次擴展信源的概率空間為：x2P21-X婦(氣,氣)p2(X,X)(X,X)(X,X)12x2P21-X婦(氣,氣)p2p(1-p)p(1-p)p2⑵由于信源是等概率分布，故由離散熵的極值性有H(X2)=log4=2bit/二元符號也可根據(jù)H(X2)=2H(X)求得：

H(X2)=2H(X)=2[-p(x1)logp(x1)力(x2)logp(x2)]=2[-1/2log(1/2)-1/2log(1/2)]=2bit/二元符號五、（天氣預(yù)報問題）如果明日有雨僅與今日天氣（是否有雨）有關(guān)，而與過去的天氣無關(guān)，并設(shè)今日有雨，明日有雨的概率為a；今日無雨，明日有雨的概率是。。又假定把有雨稱為0狀態(tài)天氣，把無雨稱為1狀態(tài)天氣，則該過程是一有兩個狀態(tài)的馬爾可夫鏈，它的一步轉(zhuǎn)移概率為:Poo011LPoo011La1—aP1—P設(shè)a=0.7,P=0.4，求今日有雨且第五日仍有雨的概率。解：步轉(zhuǎn)移概率矩陣為:P=ppa1—a0001解：步轉(zhuǎn)移概率矩陣為:P=ppa1—a0001=p10p11_P1—P_于是，二步轉(zhuǎn)移概率矩陣為：P（2）=P2=四步轉(zhuǎn)移概率矩陣為：「0.61P(4)=P4=P2P2=0.520.70.40.39]「0.610.48」|_0.520.70.30.40.60.3一「0.70.3一0.6_0.40.6_0.390.480.610.390.520.480.57490.42510.56680.4332~U一PLU」uuuuuuuu六、對離散無記憶信源：=1112131415161718進行費諾編碼，并求編碼效率。l_448816161616_解:符號ui概率p(ui)第一次分組第二次分組第三次分組第四次分組碼字碼長u11/400002u21/41012u31/81001003u41/811013u51/1610011004u61/16111014u71/161011104u81/16111114_u-=u11_u-=u11u22[d]=u1L1021PuL10LU」L33」2—1求Dmax。vv解：Dx0]}平均碼長：l=￡p(u)l=2.75碼元/符號i=1信源熵：H(U)=—￡p(u)logp(u)=2.75bit/符號ii編碼效率：i=1H(U)2.75門===100%cllogr2.75log2七、設(shè)信源口={“1,“2}的概率分布和失真矩陣如下，=min￡p(v)￡p(u)d(u,v)TOC\o"1-5"\h\zj=1i=1=min￡p(v)￡p(u)d(u,v)j=1i=1=min{p(v『x0+七1]+p(v)['