第二章信源與信息度量習(xí)題解答

第二章信源與信息度量習(xí)題解答第二章信源與信息度量習(xí)題解答1.某大學(xué)設(shè)置五個(gè)學(xué)院,每個(gè)學(xué)院的學(xué)生數(shù)分別為學(xué)院:數(shù)學(xué)「X](xx同理計(jì)算其它學(xué)院學(xué)生概率后,得信源的概率空間為:“學(xué)生王某就是外語(yǔ)學(xué)院學(xué)生”這一消息提供的信息量:3x3x4x)卜(1)事件“2與5同時(shí)呈現(xiàn)”的自信息量;(2)事件“兩個(gè)4同時(shí)呈現(xiàn)”的自信息量;(3)事件“至少呈現(xiàn)一個(gè)1”的自信息量。解:(1)事件“2與5同時(shí)呈現(xiàn)”的概率:p(A)=,該事件的自信息量:(2)事件“兩個(gè)4同時(shí)呈現(xiàn)”的概率:p(B)=,該事件的自信息量:6(3)事件“至少呈現(xiàn)一個(gè)1”的概率:p(C)=,該事件的自信息量:6解:(1)字母“e”的自信息量:(2)字母“c”的自信息量:(3)字母“x”的自信息量:第二章信源與信息度量習(xí)題解答以及消息提供的信息量與其出現(xiàn)概率倒數(shù)的對(duì)數(shù)成正比,所以I>I,即“現(xiàn)在完成一臺(tái)儀器B”BCC的信息量。規(guī)律:。(2)概率小的消息出現(xiàn)時(shí)提供的信息量大于概率大的消息出現(xiàn)時(shí)提供的信息量。量。解:根據(jù)題意,35%的女孩上大學(xué),一個(gè)女孩身高超過(guò)1、6米的概率就是50%,得兩個(gè)信源概率空「X](xx)「Y](yy)1111p(y)0.51該消息的信息量:1116.試求:(1)在一付標(biāo)準(zhǔn)的撲克牌中抽出一張(每張牌均認(rèn)為就是不同的)的平均信息量。(2)若撲克牌僅按它的等級(jí)鑒定而不問(wèn)它的花色(大、小王屬同一等級(jí)),重復(fù)上述計(jì)算。42(2)A,1,2,...K出現(xiàn)的概率為:王出現(xiàn)的概率為「X](|x1x24x34x44x54x64x74x84x94x4xJ4xQ4xK4王|x王|第二章信源與信息度量習(xí)題解答預(yù)測(cè)只能做到:晴(占7/8),雨(占1/8)。試求兩者對(duì)天氣預(yù)報(bào)各自提供的平均信息量,并說(shuō)明從中得到的「X](|x晴x多云x雨x雪x冰雹)|88888888Xxx8888天氣預(yù)報(bào)給出更詳細(xì)的消息及其概率分布,消息數(shù)更多,平均信息量更大?！竂](x=08.某離散無(wú)記憶平穩(wěn)信源的概率空間為:|Lp(X)」|=〈l/823x=3)1/8J,1/8J,(1)該消息的自信息量;(2)該消息平均每個(gè)符號(hào)攜帶的信息量。解:(1)根據(jù)信源概率空間,計(jì)算得到每個(gè)符號(hào)的自信息量:4該消息序列各符號(hào)相互獨(dú)立,其自信息量等于各符號(hào)自信息量之與:1234(2)該消息平均每個(gè)符號(hào)攜帶的信息量:8844448888444488第二章信源與信息度量習(xí)題解答該特定的消息符號(hào)序列平均每個(gè)符號(hào)攜帶的信息量?jī)H僅就是近似于離散信源熵,而不等同于信源熵,因?yàn)槠涿總€(gè)消息出現(xiàn)的概率并不等同于信源概率空間各符號(hào)的概率分布。平,并設(shè)亮度電平等概率出現(xiàn)。(1)問(wèn)每幀圖像含有多少信息量？(2)若現(xiàn)有一廣播員在約10,000個(gè)漢字的字匯中選1,000個(gè)字來(lái)口述此電視圖像,問(wèn)廣播員描)(3)若要恰當(dāng)?shù)孛枋龀龃藞D像的所有信息量,廣播員在口述中至少需要多少漢字？(2)廣播員描述此圖像所播出的信息量:廣播員描述此圖像所需的漢字?jǐn)?shù):6,并與以前發(fā)出的符號(hào)無(wú)關(guān),(1)問(wèn)該信源就是否就是平穩(wěn)信源？ (2)計(jì)算H(X2),H(X/XX)與limH(X);12N(3)計(jì)算H(X4),并寫(xiě)出X4信源中所有可能的符號(hào)序列。解:(1)信源發(fā)出各符號(hào)的概率與時(shí)間無(wú)關(guān),因此為平穩(wěn)信源。因?yàn)榫褪菬o(wú)記憶信源,前后符號(hào)無(wú)相關(guān)性,因此:H(X/XX)=H(X)=H(X)=0.971比特符號(hào)31231limH(X)=limH(XXX)=limlimH(X)=limH(XXNNNN12NNN(1)如無(wú)相關(guān)性冗余度冗余度第二章信源與信息度量習(xí)題解答(1)計(jì)算此系統(tǒng)的信源熵與其冗余度。(2)為了可靠地傳輸消息,對(duì)每個(gè)符號(hào)重復(fù)傳輸3次,試求其冗余度為多少;如果采用重復(fù)傳輸4「X](|01)|33334444二元信源的最大熵H(X)=lb2=1比特/消息maxHXHX811=0.270比特/消息1333H(X)0.270H(X)1HXHX1=0.203比特/消息1444(1)假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有相關(guān)性,求熵H(X);(2)假設(shè)消息前后有相關(guān)性,其依賴(lài)關(guān)系為2出其狀態(tài)轉(zhuǎn)移圖;(3)分別求上述兩種信源的剩余度,比較H(X)與H(X)的大小,并說(shuō)明其物理意義。2「X](BW)ppp2p第二章信源與信息度量習(xí)題解答(2)如有相關(guān)性根據(jù)已知條件可寫(xiě)出:于就是可以畫(huà)出如下的狀態(tài)轉(zhuǎn)移圖:根據(jù)狀態(tài)轉(zhuǎn)移圖列方程組:1212得計(jì)算馬爾可夫信源熵:H1+133息1HEE13.馬爾可夫信源的消息符號(hào)集為{0,1,2},其狀態(tài)轉(zhuǎn)移圖如右(1)求穩(wěn)定后信源符號(hào)的概率分布;(2)求此馬爾可夫信源熵;lplpzylpzxylpz/xy)=0第二章信源與信息度量習(xí)題解答(3)當(dāng)p=0或p=1時(shí),求此馬爾可夫信源熵。解:(1)根據(jù)狀態(tài)轉(zhuǎn)移圖:33當(dāng)p=0,或p=1時(shí),表示信源從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)一定不發(fā)生或一定發(fā)生,即就是確定事件,信源輸出的狀態(tài)序列確定,信源輸出的符號(hào)序列也確定,信源不存在不確定性,信源的信息熵為零。生中有10%來(lái)自本市。所有本市的考生都學(xué)過(guò)英語(yǔ)。而外地落榜考生以及被錄取的外地考生中都有(1)當(dāng)已知考生來(lái)自本市時(shí),給出多少關(guān)于考生就是否被錄取的信息。(2)當(dāng)已知考生學(xué)過(guò)英語(yǔ)時(shí),給出多少關(guān)于考生就是否被錄取的信息。z3p(x)=，p(x)31424(p(y/x)=0.521(p(y/x)=0.1(p(z/y)=1(p(z/x21211221(p(z/xy)=0.4lp(z/xylp(z/xy)=0.6222(p(z/xy)=0.4lpzxlpzxy=0.6212可計(jì)算得:33p(xy)=p(y/x)p(x)=0.5人=,p(xy)=p(y/x)p(x)=0.133111114821122440122114822222440111215212225第二章信源與信息度量習(xí)題解答13p(x/y)=p(y1/x1)p(x1)=0.54=5，p(x/y)=p(y1/x2)p(x2)=0.14=311p(y)1/5821p(y)1/5813p(x/y)=p(y2/x1)p(x1)=0.54=5，p(x/y)=p(y2/x2)p(x2)=0.94=2712p(y)4/53222p(y)4/532222y112112121212122122y221222122222x11111440211224200x12211440222224200111212521222253p(x/z)=p(z1/x1)p(x1)=0.74=35，p(x/z)=p(z1/x2)p(x2)=0.464=6911p(z)13/2510421p(z)13/2510413p(x/z)=p(z2/x1)p(x1)=0.34=15，p(x/z)=p(z2/x2)p(x2)=0.544=8112p(z)12/25