信息論基礎(chǔ)B卷及答案

《信息論基礎(chǔ)》（《信息論基礎(chǔ)》（B卷），第2頁，共6頁《信息論基礎(chǔ)》（《信息論基礎(chǔ)》（B卷），第#頁，共6頁《信息論基礎(chǔ)》《信息論基礎(chǔ)》（B卷），第5頁，共6頁:號座:fe教te考解：(1)編碼過程如下圖碼字：a。：ool,J：010,a2：on，3：100,作：10b《：11a“：oooo,①：oooio67⑵平均碼長'=5x0.1x3+0.4x2+2x0.05x4=2.7碼兀/信源符號:級班:級班3.某信道的轉(zhuǎn)移矩陣戶=

‘1/31/31/61/6、J/61/31/61/3丿試求：該信道的信道容量及達(dá)到容量時的輸出概率。解：設(shè)輸出概率為該信道是準(zhǔn)對稱信道，當(dāng)輸入等概率時達(dá)到信道容量，可計算相應(yīng)的輸出概率為Q——(1/3+1/6)=1/4,q=—(1/3+1/3)=1/3,1222%=—(1/6+1/6)=1/6,——(1/6+1/3)=1/4o所以信道容量為C二—H(1/3,1/3,1/6,1/6)二H(l/4,l/3,l/6,l/4)—H(l/3,l/3,l/6,l/6)線=2x(-l/41ogl/4)-l/31ogl/3-l/61ogl/6+2xl/31ogl/3+2xl/61ogl/6:二1+l/31og1/3+l/61ogl/6(比特/符號).4.設(shè)一離散無記憶信道的轉(zhuǎn)移概率矩陣為‘0.50.30.2、P=0.20.30.5、0.20.40.4丿其中輸入符號集A={a,a,a},輸出符號集B={b,b,b},且P(a)=1/2,1231231P(a)=P(a)=l/4,利用MAP準(zhǔn)則求最佳判決函數(shù)和平均錯誤率。23業(yè)專、級年:名姓:號學(xué)解：由〃（廠）二|力可得聯(lián)合概率矩陣:號座<0.250.150.100.050.0750.125少050.100.10丿:fe教te考根據(jù)MAP準(zhǔn)則，最佳判決函數(shù)為:g(y=b)=a,11g(y=b)=a,21g(y=b)=a32.平均錯誤率：p=1-p(a,b)_p(a,b)-p(a,b)EXY11XY12XY23=1-0.25-0.15-0.125=0.475.:級班、業(yè)專、級年:名姓5.二元對稱信源/0]、J/21/2丿解：根據(jù)對稱性，設(shè)信道轉(zhuǎn)移概率矩陣為（〃?）=IJ3、。丿1一。\令D=E[d(x,y)]=ppd=3(1—6?)=Z),可得ci=1—D/3,iijijij由于輸入是等概率，且信道是強對稱信道，所以輸出也等概率，即9]=%=〃2,所以可得R(D)=H(Y)-H(Y\X)二H(l/2,l/2)—2x1/2H(a,l—a)=log2—H(l—D/3Q/3).得分評卷人五、綜合應(yīng)用題（本大題共1小題，共12分）:號學(xué):號學(xué)1.在某城市，下雨和晴天的時間各占一半，而天氣預(yù)報無論在雨天還是在晴天都有2/3的準(zhǔn)確率。甲先生每天上班這樣處理帶傘問題：如果預(yù)報有雨，他就帶傘上班;如果預(yù)報無雨，他也有1/3的時間帶傘上班。仃）求事件“在雨天條件下甲先生未帶傘”所含的信息量;求“甲先生帶傘條件下沒有下雨”的信息量；求天氣預(yù)報所得到的關(guān)于天氣情況的信息量；求通過觀察甲先生是否帶傘所得到的關(guān)于天氣情況的信息量。解：設(shè)天氣情況：X={0(有雨),1(無雨)}；天氣預(yù)報：丫={0(有雨)，1(無雨)}；帶傘情況：Z={0(帶傘),1(未帶傘)}。根據(jù)題意有"2/31/3、J/32/3丿62/31/3"2/31/3、J/32/3丿62/31/3、J/32/3丿X-Y的條件概率矩陣為X-z的條件概率矩陣為x(1J/32/3,丫―Z的條件概率矩陣為/10、J/32/3丿‘7/92/9、Q/94/9丿(1)由于〃(z=lx=0)=2/9,所以事件“在雨天條件下甲先生未帶傘”所含的信息量為/(z=1x=0)=-log2/9bit.⑵由于(工=]比=0)=#(兀=1)處=0卜=1)#(兀=1)處=0卜=1)p(z=0)p(x=0)#(z=0|x=0)+p(x=l)p(z=0|x=1)0.5x5/95_0.5x7/9+0.5x5/9_12'所以“甲先生帶傘條件下沒有下雨”的信息量為/(%=l|z=0)=Tog5/12bit.<2/31/3、⑶處=0)；7(y=l)]=(0.50.5)x沖2/3=(0.50.5),I丿所以天氣預(yù)報所得到的關(guān)于天氣情況的信息量為I(X;Y)=H(Y)-H(Y\x)=H(Q.5,0.5)-2x0.57/(273,1/3)(比特/消息符號).[p(z=0)火=1)]=(0.50.5)<7/9[p(z=0)火=1)]=(0.50.5)<7/95/92/9]4/9=(2/3