信息論復習題

1、(3 2設S個率分布的消息通過傳遞般字為p的BSC進行傳送，8個消息相應編成下述碼中：M 1=00001 M2=0101, M3=0110. M4=00UM51001t M61010, M7-H00. MS-1111MR：(1)投收到第一個敏宇0RM1之間的互信息；(2)檢收到第二個數(shù)學也是。時.號典多少關于Ml的附演互信息；(3)控收到第三個教學仍為。時.又增加了多少關于Ml的互信息；(4)接收到第四個敕中還是0時,再增加了多少關于Ml的互信息.桂各個檸號的電膾微率均為1/3(】)椎據(jù)巳知條件,W F字。與Ml之帆的五信息為：W字也是。時.懵到多少關于AU的互信息為二田的懵收到結一個敗 M：

2、 0)-1尸仇=0必)-1“三 I. N5比恃 (2)慢揖巳知條件./(凡1，： = 00 M )工四川” 00 0000) 土聲因此懵收到第二個教I r、 I號典的時歸值患為：力-00)_“M；71 O)T + b”mvn k7(3)根 18巳0令A1 V %- s 001 V 5-田田收到第三”以打-3手號 此時潺蚪的附加值息為：出此柳收到站ED個檸號為。時.再列的關于M1的互信息為比W將到的附加信息為仍二。00co =, = 0000%一A r= OOOG.l=*097777-；-QOO- IosP-IoMa *Opp- )= 3-4log”kl尸 6p2p2 * p* I(3 3)設二

3、元燈林信道的傳遞矩陣為(1)著PI0W3/4,求HIX), H(X | Y). H(Y I X PC;Y);(2)求餒信道的信道客重及其達到信道g色時的輸入傕率分布解：(1)銀綣已知條件，W a A 小 HQg-oOlA。) ； 1 6H、X0811比樂中；P(v-l)-vp(4 -1 x)-，1-s右w-i(3 51普工 Y faz是三個應機史玳證明：I XYZ) , 1MY) I心 | 1 I |X;2) *1 (X;Y | Z)I (X;Y | Z| = 1 X | 2| = H(X | Z) - H(X | YZ)I (X;Y | Z) 3 0當且依當(X, Z,Y)是馬氏恬酎尊式成立

4、. 證明：/(X:K?) y P(x.v.z)log.rjTz-k P(y.y.z)lo| ZJTz-p(F 尸)PCX)I g E” 3) |= Pl v.y.z)kg .rjTz等，、FfDJog 空*2P(xlX) Zri尸(x)K理，/（.v：rz）=|z）Z)工Jog工小二）xriP(x z)尸(X戶)= log 工X?2HD立當且僅當船n“：）= PU X2）,即 IKZ，是馬氏陋, 61-51; - (3I-2I-CI a 0 J 1517 1-31- 6 1-01 J 1 31-6 一 一-J. ： 丁t- 2d 4.2 二。2 i Eff. sxlogcosxifx = (o

5、ejhi Jl 必xdQ x* siii m )* ln(lv 十 %m vW向 x - -logr h)( 1 -向 Yrfsin xJhU 向 x/、in |= (1 * in x)ki(l * siii x) 一 J ；二:：diux=-1 、沁 x) ln( 1 -x-sfal X . a %1 x-sin x:hi( 1 - %h； x ci sui x= JliK 1 - so. i il 1 - sin )-21112-2因此有(417)在日片傳鋪中,W1.1510個像案.為了能很好地工現(xiàn)國像.得分16個充度電手,并假律光虔電平尊慨率分布試計算母秒鐘傳送30幢13片所得 信道的常

6、N I倍功率比為30dB) 解：每杪傳傳粕的信息黛為：225 .1030. bgl 17.10*比的筆4信道的信噪比為3O3B,即10k)Z 旦=30,即2= 1000：, N設(信ArPy& Fy /ATT*， t. 5 .1 .(1)試計算博信道傳送的最大信息率(單位時間);(2)苦功率信*比降為5dB.要達蚪相同的景大信息傳楠率，信道格言應為多少？解：(1)根據(jù)己知條件有.因噴.9 C =嚴附卡= 3xl05logl0= 9.96xlOJ即最大信息率為9.96： I JN(2)如果功率值曝比降為5dB,即10】叫。勺：勺*3印安生三廂田比“外C =卬1/1 +營=W lo2 Vio= 4

7、1oglO一為達到以前的信息傳輸率，因此帶竟應為原來的二倍，即 = 6xlO3Hz（1）濟信”辦勃M，二加.）如總，。川比林號號自（?2的力M即（T 卬卜/伊=fcgy 4-c.sir =cri5伸-叫，幅IM#W至/可鈾，e-0.0,，?！?h$ :顰Rit坐乩*005J08取小791. e理9中6j+f；n際PF 6J個敵gf直位Bl為：2人【必吁- v Ge| v0.01 21 v IldJI v(52有一信源,它有六個可能的輸出，其敏率分布頓下衰所示，衰中給出了 對應的碼 A、B、C、D. E 10F.(1)求這蛉碼中稀些是Mi一可譯碼：(2)求啾四碼是非暹長錯(即時請);3)求對所有

8、惟一可詳請求出其平均碼長L 解:(1)上逑碼中中,A為長碼，且為非奇異碼，田色碼A為惟一可譯碼； 碼B中,根揖惟一可訐碼的利研方法,可求得其是的后續(xù)集合為 1,11,111,1111,11111). R其中任何后理均不為胃中，田此碼B是惟一可訐碼.碼 C為退點碼,田此碼C為悔一町評碼；RD不是惟一可訐碼,03為其尾地后微 隼白中包含0,而。又是碼字；碼E的尾功后嫂集合為空里.田此碼E是慢一可 訐碼；犯F不是慢一可訐碼.田為其尾泊后緞集臺中包含0.而。又是碼中.B 此F不是悒一町譯碼(2)碼A、C、E是印時碼(非越長嗎)(3)碼A的平均碼長為3;詢B的平均碼長為2.125;碼C的平均碼長為2 )

9、25;碼F的平均碼長為2.【5.3】巡明電遵5.6,著存在一個周長為11,12, g的悒一可訐碼則一定存在具有相周碼長的即時碼.如果存在碼長為,7的惟一可訐碼.則乜八 必定滿足和下不一武而如果碼長,滿足上述不一式，橇據(jù)Kraft不售式構造即時碼的方法，可以構透出碼長為-“，,+的即時碼,具體構透過程時，參照課本相關定理35】若有一信源 LJ-lo.s 0,2J母樸神發(fā)出2a5個情源符號.將此信源的輸出忤號送入莘一個二元信道中進行 傳何(假諜信道是元“兀幅的)，而情道母種件只作建兩個二元府號.試問信源 不通過厘碼M否宣棣與信道建WT甘通過道通厘碼能否中在信道中進行無失文性愉？苫能造搐，嫉說明包何

10、編碼并說明隙田解：如果不通過編碼.即信道的兩個碼符號方立兩個信源符號，而信道償熟碼得 號的便受小千信規(guī)走出信源符號的境度，田此養(yǎng)必至遺成信源將號的堆枳，因此 不通過編碼是元法將信源與信道宜搜建懵陸源平均年杪發(fā)出的信息直為前核信道的信道容直為1比將符號，工6CMS)-一2.X.PCf)Io*R，)-1.921 ttn 秒田此通過編碼可以實現(xiàn)二者的違椅.苦耍連檢，需xnr值源的信源符號進行編碼.目的是傳送入信道的信息 色小干信道每秒能檢收的最大信息重(戌他俘杪神金碼后送入信道的碼符號個教0零小于信道所能懵受的最大碼折號個敝)，具體編碼方法得在第八t進行【5.6】設*t記憶二元信源.*(1)0,1

11、lp-P- . (0)090p-P-.采用下述滯程0碼方案:第一步.根據(jù)0的滸線長度Q成S個碼學,第二步，將s個碼學支帙成二尢變+:碼.如下太所示.(1)試問最后的二元型長碼是否是否是他(2)試求中間碼XT應的信潭片列的平均長(3)試求中間用方它的二元史長碼碼中的(4)計界比值口& .解開它的哀義，并信源行號序列中間當二元碼字一可詳錯；度區(qū);平均長度區(qū);計靠這種/桂編碼的靖瑪?shù)穆?! 01 001000100000000010000001 00000001 0000000031 54 曲 $6 XT 工10001001101010111100110111101111044, 豪H*諫Kp*:i

12、y0_msAI&AIs”ld 宗 mss 八三0二2.0)呈 R*弟s69roM I 08。二016036.0- H (S)工 卡亞四下中fcKisG射翻時卡中案虎KU右左7 Hkllz孤fKKs*鎏中影等四fr 國 V 11* S察 ttr * ac8888888 。.凝寸一14 muZJ二U眼基金計叟紫中案悵田田半身善限寓您3*r 一農(nóng)更8*熨右國IlT.dm-Ev-d+w 二 dvlABca K9fc田 :祭(S3設信懵號集(1)求H(S)和信朦冗余度；(2)伐碼符號為乂乂0,13編出S的行致碼,并求S的彳砂碼的平均碼長匚K(3)杷信演的N次無圮憶擴展信源S,編成才致碼域求出N?7234

13、1時 的平均碼長:;(4)計算上述23,4這四樣碼的編碼效率和碼冗余度.蛛 (1)信源編為 H(S)yF(x)kgP(xT?0 48|t博轉號田線博信源冗余次為/” 署 7”】(2)耳其進行票致碼5內(nèi)三彳博竦色號一個編碼為0, 一個埼碼為1, B此平均碼長為1碼符號/信源符號；S* 1 -jjjf S“，2】P（a,）rlooi oo； 0-09 高也仃卬1皿3 0冷，用外于如下：平均碼長為：L =0.81*0.18 + 0.27*0.03 = 1.29Wz 3 死74 死，$，】0,29 OOSI 0091 0/0 9 OOtl 0.10.9 0 P0 9 0 I1 J對原信源進行三次擴展.

14、再曠展信廉空間為 ittry Hutfaimn ffis,靜中如下:八： Yll：!l烏,誓0夕皆憎*9* X，擴展信潭的平均弼長為：I. = 0.729-0.0S 1*9+0.009M5*0.005 = 1.59$?。為的符號m當丫 一 丁時.平均碼長為/(5) 0碼短率為：4=工=下因此有不進行信源”收呷：01雙刁：=罕1=0469進療一次1T展時.燃碼牧率為：0409進行二次獷展時.0碼較本為：n一等-083-6 當“1，時，0碼笠率超向干1.因此，從本典維論可。出.耳干空長家致鑄,擴展信源的次數(shù)不得馥大時就 可以達蚪博農(nóng)的無失女編鑄.這一點與尊長碼有攝大的不同.(84信源空同為碼符號為

15、X?0,l2,試構選一點三元的票數(shù)碼：原信源有S個信源將號，為了有效利用空鑄,帚對原信源進療擴展.杰加】 個微率為0的陸源符號.使其濡足9=2*36成立.編碼過程如下：(0 5集/軟員銀杏氣象狀態(tài)，有皿仲可能的消且：晴、去、W!W.普每個消息是悔率的.蜃么發(fā)送各個消息最少M得的二元脈沖數(shù)是多少？工苦叫個清息出觀的畿率分別為1/4 1/S 1/801/2,同在此情況下消息刖得的二元脈沖數(shù)是多少？如何編錯？解：平均年個清息攜帶的信息色為2比,因此發(fā)送俸個消息最少將要的二元脈沖數(shù)為2.如果皿個消息非尊假率分布，采用緊致碼嫡瑪.可使IW I.*(l 1K得所需要的二元就沖數(shù)最少，編碼過程加下:甘J碼長

16、為：了二工人況、”二元碼 即在此情況下滿所任的二【3.9現(xiàn)有一悒巳離散色化 中里中為相應像素上的灰灰 另有一無指大噪二元信道.(1)現(xiàn)杵日像通過給定的 耍多長時間才能傳完這幫臼 (2)若考慮口像的統(tǒng)計特性(不考成田 府海情H(S),并7T鐵皮飯進斤大,景僮 用多少二元馬特號豪衰示？這時需多少(3)從理論上他要說明這QC3像汪可以壓韁，而且平均每個像素所得的二元碼檸號/信源檸號元林冷數(shù)為1.75個.后的13像，口像的灰江化分成3級.也下衰.衰ffi.單住時間(杪)內(nèi)停輸100個二元符號.信道傳輸.不多成E3像的任何統(tǒng)計杵性，并乘用二元長碼.問需 像？像的像素之間的依侯性).求此口像的 二元娟碼.

17、問平均俘個像素備 時間才能停送完這1日像？怦號數(shù)可以小于H(卬比將.解：(1)乘用二元尊長碼，不與廢信同符號的燒計抄性.平均俸個灰度需要3 位二進制衰爾，在10T0的日像上.共借300位二進制衰木，以年外停熱100住計算.頭得3杪特傳線(2)統(tǒng)計臼像中各友魔妖的出現(xiàn)次數(shù)： tfl果號寶信海符號的統(tǒng)計濘性.可上述 號加下升學：1、34s67840r10J0.655次座貨進行g碼，如下田所示.1:J4,s81*010Tsf0181010Kll11001101li0ini1ft4444441。6Il3 ITIIuxjg二造片去示.以和府 ”。任計u.父英二舊:p(3.10有一個含有3個消息的無記憶信

18、溟,其微率各自為0.2, 0.15.0.1，0.1, 0.1, O.1.0.1,0.I.試9成同三元非處長嗎,使它們的平均碼長相同值具有不周的 碼長的方叁,并計算平均鑄長和方叁,說明一*鑄更實用些：進行三元熔酒,樗帽補一個假車為。的信源符號，兩加3碼方法如下所示(0 15 TT鞘入敗揖漉。劑用LZ-77算法、LZ-73實用一號算法，LZW算法、KY算總進行娟碼，井計算各種方法的壓縉率.解：乘用LZ77縝碼.所得的編瑪”列為：(0A0Ml,3,lH0.0tl)l2,2,l)(6,3,lM5,3,0|(13,3,0|(9.3.1M14.3,eof)riu in、l9IOIr crtlr t8toolrtrloo11OOOlOl4lllQogOOIa、tio&r019ttoSrOOOt-ioocf or i3 4才 *:0第R=凄4*tt4tttotVootooootttoottotoooo ：T電6* 二期MZI*K丫算法：令DjO, D;l,生停人4個.0000,前后相等.由此H時3碼D.D?其中 D