信息論與編碼姜丹第三版答案

1、2002 Copyright EE Lab508信息論與編碼習(xí)題參考答案第一章 單符號(hào)離散信源信息論與編碼作業(yè)是74頁(yè)，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14還有證明熵函數(shù)的連續(xù)性、擴(kuò)展性、可加性1.1同時(shí)擲一對(duì)均勻的子，試求：(1)“2和6同時(shí)出現(xiàn)”這一事件的自信息量；(2)“兩個(gè)5同時(shí)出現(xiàn)”這一事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合的熵；(4)兩個(gè)點(diǎn)數(shù)之和的熵； (5)“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”的自信息量。解： (3)信源空間：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2

2、,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空間：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5) 1.2如有6行、8列的棋型方格，若有兩個(gè)質(zhì)點(diǎn)A和B，分別以等概落入任一方格內(nèi)，且它們的坐標(biāo)分別為（Xa，Ya）, （Xb，Yb）,但A，B不能同時(shí)落入同一方

3、格內(nèi)。（1） 若僅有質(zhì)點(diǎn)A，求A落入任一方格的平均信息量；（2） 若已知A已落入，求B落入的平均信息量；（3） 若A，B是可辨認(rèn)的，求A，B落入的平均信息量。解：1.3從大量統(tǒng)計(jì)資料知道,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%.如果你問(wèn)一位男士：“你是否是紅綠色盲？”他的回答可能是：“是”，也可能“不是”。問(wèn)這兩個(gè)回答中各含有多少信息量？平均每個(gè)回答中各含有多少信息量？如果你問(wèn)一位女士，則她的答案中含有多少平均信息量？解：1.4某一無(wú)記憶信源的符號(hào)集為0，1，已知（1） 求符號(hào)的平均信息量；（2） 由1000個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”,（1000-m）個(gè)“1

4、”）的自信量的表達(dá)式；（3） 計(jì)算（2）中序列的熵。解：1.5設(shè)信源X的信源空間為：求信源熵，并解釋為什么H(X)>log6，不滿足信源熵的極值性。解：1.6為了使電視圖象獲得良好的清晰度和規(guī)定的對(duì)比度，需要用5×105個(gè)像素和10個(gè)不同的亮度電平，并設(shè)每秒要傳送30幀圖象，所有的像素是獨(dú)立的，且所有亮度電平等概出現(xiàn)。求傳輸此圖象所需要的信息率（bit/s）。解：1.7設(shè)某彩電系統(tǒng)，除了滿足對(duì)于黑白電視系統(tǒng)的上述要求外，還必須有30個(gè)不同的色彩度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大2.5倍左右。證:1.8每幀電視圖像可以認(rèn)為是由3×105個(gè)像素組成，

5、所以像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)。問(wèn)每幀圖像含有多少信息量？若現(xiàn)在有一個(gè)廣播員，在約10000個(gè)漢字中選1000個(gè)字來(lái)口述這一電視圖像，試問(wèn)若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需要多少漢字？解:1.9給定一個(gè)概率分布和一個(gè)整數(shù)m，。定義，證明：。并說(shuō)明等式何時(shí)成立？證：1.10找出兩種特殊分布:p1p2p3pn，p1p2p3pm,使H(p1,p2,p3,pn)=H(p1,p2,p3,pm)。解：1.15兩個(gè)離散隨機(jī)變量X和Y，其和為ZXY，若X和Y統(tǒng)計(jì)獨(dú)立，求證：(1) H(X)H(Z), H(Y)H(Z)(2) H(XY)H(Z)證明：第二

6、章 單符號(hào)離散信道2.1設(shè)信源通過(guò)一信道，信道的輸出隨機(jī)變量Y的符號(hào)集,信道的矩陣：試求：(1) 信源X中的符號(hào)a1和a2分別含有的自信息量；(2) 收到消息Yb1，Yb2后，獲得關(guān)于a1、a2的互交信息量：I(a1;b1)、I(a1;b2)、I(a2;b1)、I(a2;b2)；(3) 信源X和信宿Y的信息熵；(4) 信道疑義度H(X/Y)和噪聲熵H(Y/X)；(5) 接收到消息Y后獲得的平均互交信息量I(X;Y)。解:2.2某二進(jìn)制對(duì)稱信道，其信道矩陣是：設(shè)該信道以1500個(gè)二進(jìn)制符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二進(jìn)制符號(hào)，并設(shè)在這消息中p(0)= p(1)=0.5

7、。問(wèn)從消息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真的傳送完。解:2.3有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為PX=0,Y=0=1/8，PX=0,Y=1=3/8，PX=1,Y=1=1/8，PX=1,Y=0=3/8。定義另一隨機(jī)變量Z=XY，試計(jì)算：(1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);(3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解:2.4已知信源X

8、的信源空間為某信道的信道矩陣為： b1 b2 b3 b4試求：(1)“輸入a3，輸出b2的概率”；(2)“輸出b4的概率”；(3)“收到b3條件下推測(cè)輸入a2”的概率。解：2.5已知從符號(hào)B中獲取關(guān)于符號(hào)A的信息量是1比特，當(dāng)符號(hào)A的先驗(yàn)概率P(A)為下列各值時(shí)，分別計(jì)算收到B后測(cè)A的后驗(yàn)概率應(yīng)是多少。(1) P(A)=10-2；(2) P(A)=1/32；(3) P(A)=0.5。解：2.6某信源發(fā)出8種消息，它們的先驗(yàn)概率以及相應(yīng)的碼字如下表所列。以a4為例，試求：消息a1a2a3a4a5a6a7a8概率1/41/41/81/81/161/161/161/16碼字0000010100111

9、00101110111(1) 在W4011中，接到第一個(gè)碼字“0”后獲得關(guān)于a4的信息量I(a4;0)；(2) 在收到“0”的前提下，從第二個(gè)碼字符號(hào)“1”中獲取關(guān)于a4的信息量I(a4;1/0)；(3) 在收到“01”的前提下，從第三個(gè)碼字符號(hào)“1”中獲取關(guān)于a4的信息量I(a4;1/01)；(4) 從碼字W4011中獲取關(guān)于a4的信息量I(a4;011)。解：2.13把n個(gè)二進(jìn)制對(duì)稱信道串接起來(lái)，每個(gè)二進(jìn)制對(duì)稱信道的錯(cuò)誤傳輸概率為p(0<p<1)，試證明：整個(gè)串接信道的錯(cuò)誤傳輸概率pn=0.51-(1-2p)n。再證明：n時(shí)，limI(X0;Xn)=0。信道串接如下圖所示：X0

10、X1XnX2BSCIIBSCNBSCI解：2.18試求下列各信道矩陣代表的信道的信道容量：(1)(2)(3)解：2.19設(shè)二進(jìn)制對(duì)稱信道的信道矩陣為：(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；(2) 求該信道的信道容量及其達(dá)到的輸入概率分布。解：2.20設(shè)某信道的信道矩陣為試求：(1) 該信道的信道容量C；(2) I(a3;Y)；(3) I(a2;Y)。解:2.21設(shè)某信道的信道矩陣為試求：(1)該信道的信道容量C；(2)I(a1;Y)；(3)I(a2;Y)。解:2.22設(shè)某信道的信道矩陣為試該信道的信道容量C；解:2.23求下列二個(gè)信

11、道的信道容量，并加以比較(其中0<p,q<1,p+q=1)(1)(2)解:2.27設(shè)某信道的信道矩陣為其中P1,P2，PN是N個(gè)離散信道的信道矩陣。令C1，C2，CN表示N個(gè)離散信道的容量。試證明，該信道的容量比特/符號(hào)，且當(dāng)每個(gè)信道i的利用率pi2Ci-C(i1,2,N)時(shí)達(dá)其容量C。證明:第三章 多符號(hào)離散信源與信道3.1設(shè)XX1X2XN是平穩(wěn)離散有記憶信源，試證明：H(X1X2XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+H(XN / X1 X2XN-1)。(證明詳見(jiàn)p161-p162)3.2試證明：logrH(X) H(X2/ X1) H(X3/ X1

12、 X2) H(XN / X1 X2XN-1)。證明:3.3試證明離散平穩(wěn)信源的極限熵：(證明詳見(jiàn)p165-p167)3.4設(shè)隨機(jī)變量序列(XYZ)是馬氏鏈，且X：a1, a 2, a r，Y：b1,b2, ,bs,Z:c1,c2, ,cL。又設(shè)X與Y之間的轉(zhuǎn)移概率為p(bj/ai)(i=1,2, ,r;j=1,2, ,s)；Y與Z之間的轉(zhuǎn)移概率為p(ck/bj)(k=1,2,L;j=1,2, ,s)。試證明：X與Z之間的轉(zhuǎn)移概率：證明:3.5試證明：對(duì)于有限齊次馬氏鏈，如果存在一個(gè)正整數(shù)n01，對(duì)于一切i，j1，2，r，都有pij(n0)>0，則對(duì)每個(gè)j1，2，r都存在狀態(tài)極限概率：(證

13、明詳見(jiàn):p171175)3.6設(shè)某齊次馬氏鏈的第一步轉(zhuǎn)移概率矩陣為：試求：(1) 該馬氏鏈的二步轉(zhuǎn)移概率矩陣；(2) 平穩(wěn)后狀態(tài)“0”、“1”、“2”的極限概率。解：3.7設(shè)某信源在開(kāi)始時(shí)的概率分布為PX0=0=0.6;P X0=1=0.3; P X0=2=0.1。第一個(gè)單位時(shí)間的條件概率分布分別是：P X1=0/ X0=0=1/3; PX1=1/ X0=0=1/3; P X1=2/ X0=0=1/3;P X1=0/ X0=1=1/3; P X1=1/ X0=1=1/3; P X1=2/ X0=1=1/3;PX1=0/ X0=2=1/2; P X1=1/ X0=2=1/2; P X1=2/ X

14、0=2=0.后面發(fā)出的Xi概率只與Xi-1有關(guān)，有P(Xi/Xi-1)=P(X1/ X0)(i2)試畫(huà)出該信源的香農(nóng)線圖，并計(jì)算信源的極限熵H。解：香農(nóng)線圖如下：2011/21/21/31/31/31/31/31/33.8某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號(hào)集為X：0,1,2，并定義012p/2p/2p/2p/2p/2p/2(1) 試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2) 求信源的極限熵H；(3) p取何值時(shí)H取得最大值。解：3.9某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號(hào)集為X：0,1,2。試求：(1)試求信源平穩(wěn)后狀態(tài)“0”、

15、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的極限熵H；(3)求當(dāng)p=0,p=1時(shí)的信息熵，并作出解釋。ppp012解:3.10設(shè)某馬爾柯夫信源的狀態(tài)集合S：S1S2S3，符號(hào)集X：123。在某狀態(tài)Si(i=1,2,3)下發(fā)發(fā)符號(hào)k(k=1,2,3)的概率p(k/Si) (i=1,2,3; k=1,2,3)標(biāo)在相應(yīng)的線段旁,如下圖所示.(1) 求狀態(tài)極限概率并找出符號(hào)的極限概率;(2) 計(jì)算信源處在Sj(j=1,2,3)狀態(tài)下輸出符號(hào)的條件熵H(X/Sj);(3) 信源的極限熵H.2:1/4S1S2S33:1/22:1/21:11:1/23:1/4解:3.12下圖所示的二

16、進(jìn)制對(duì)稱信道是無(wú)記憶信道,其中,試寫(xiě)出N=3次擴(kuò)展無(wú)記憶信道的信道矩陣P.0 0 p X Y p1 1 解:第五章 多維連續(xù)信源與信道5.8設(shè)X()是時(shí)間函數(shù)x(t)的頻譜,而函數(shù)在T1<t<T2區(qū)間以為的值均為零.試證:(頻域抽樣定理,證明詳見(jiàn)p263-p265)5.9設(shè)隨機(jī)過(guò)程x(t)通過(guò)傳遞函數(shù)為K()的線性網(wǎng)絡(luò),如下圖所示.若網(wǎng)絡(luò)的頻寬為F,觀察時(shí)間為T(mén).試證明:輸入隨機(jī)過(guò)程的熵h(X)和輸出隨機(jī)過(guò)程的熵h(Y)之間的關(guān)系為:網(wǎng)絡(luò)K()x(t)y(t)(證明詳見(jiàn)p283-p287)5.11證明:加性高斯白噪聲信道的信道容量: 信息單位/N維其中N=2FT,2X是信號(hào)的方差(

17、均值為零), 2N是噪聲的方差(均值為零).再證:單位時(shí)間的最大信息傳輸速率 信息單位/秒(證明詳見(jiàn)p293-p297)5.12設(shè)加性高斯白噪聲信道中,信道帶寬3kHz,又設(shè)(信號(hào)功率+噪聲功率)/噪聲功率=10dB.試計(jì)算改信道的最大信息傳輸速率Ct.解:5.13在圖片傳輸中,每幀約有2.25×106個(gè)像素,為了能很好的重現(xiàn)圖像,需分16個(gè)量度電平,并假設(shè)量度電平等概率分布,試計(jì)算每分鐘傳輸一幀圖片所需信道的帶寬(信噪功率比為30dB).解:5.14設(shè)電話信號(hào)的信息率為5.6×104比特/秒.在一個(gè)噪聲功率譜為N0=5×10-6mW/Hz,限頻F、限輸入功率P的

18、高斯信道中傳送,若F=4kHz,問(wèn)無(wú)差錯(cuò)傳輸所需的最小功率P是多少W?若F則P是多少W?解:5.15已知一個(gè)高斯信道,輸入信噪功率比為3dB,頻帶為3kHz,求最大可能傳送的信息率是多少?若信噪比提高到15dB,求理論上傳送同樣的信息率所需的頻帶.解:5.17設(shè)某加性高斯白噪聲信道的通頻帶足夠?qū)?F),輸入信號(hào)的平均功率Ps=1W,噪聲功率譜密度N0=10-4W/Hz,若信源輸出信息速率Rt=1.5×104比特/秒.試問(wèn)單位時(shí)間內(nèi)信源輸出的信息量是否全部通過(guò)信道?為什么?解:第六章 無(wú)失真信源編碼6.3設(shè)平穩(wěn)離散有記憶信源XX1X2XN,如果用r進(jìn)制符號(hào)集進(jìn)行無(wú)失真信源編碼.試證明當(dāng)

19、N時(shí),平均碼長(zhǎng)(每信源X的符號(hào)需要的碼符號(hào)數(shù))的極限值:其中,Hr表示r進(jìn)制極限熵.證明:6.4設(shè)某信源S:s1,s2,s3,s4,s5,s6,其概率分布如下表所示,表中也給出了對(duì)應(yīng)的碼1,2,3,4,5,6.(1)試問(wèn)表中哪些碼是單義可譯碼?(2)試問(wèn)表中哪些碼是非延長(zhǎng)碼?(3)求出表中單義可譯碼的平均碼長(zhǎng).sipiW(1)W(2)W(3)W(4)W(5)W(6)s11/200000000s21/400101100110100s31/8010011110001110101s41/160110111111000011110110s41/321000111111110000011011111s6

20、1/321010111111111100000011101011解:(1)W(1)是定長(zhǎng)非奇異碼,單義可譯,W(2)是延長(zhǎng)碼,單義可譯, W(3)是即時(shí)碼,單義可譯;(2) W(1)、W(3)是非延長(zhǎng)碼;(3)6.5某信源S的信源空間為:(1) 若用U:0,1進(jìn)行無(wú)失真信源編碼,試計(jì)算平均碼長(zhǎng)的下限值;(2) 把信源S的N次無(wú)記憶擴(kuò)展信源SN編成有效碼,試求N=2,3,4時(shí)的平均碼長(zhǎng);(3) 計(jì)算上述N=1,2,3,4,這四種碼的信息率. 解:對(duì)其進(jìn)行Huffman編碼:碼長(zhǎng)編碼信符010101信符概率10S220.64210S210.163110S120.163111S110.08碼長(zhǎng)編碼信

21、符信符概率010101010110S2220.5123100S2210.1283111S2120.1283110S1220.128511100S112010.032511101S1210.032511110S211010.032511111S1110.008碼長(zhǎng)編碼信符信符概率0.59040.38560.18080.08840.20480.20480.10240.05120.05120.01280.05120.014410S22220101010101010101010101010101010.40963100S22210.10243101S22120.102441100S21220.1024

22、41101S12220.10246111000S21120.02566111001S21210.02566111010S22110.02566111010S12210.02566111100S12120.02566111101S11220.025671111100S11120.006471111101S11210.006471111110S12110.0064811111110S21110.0064811111111S11110.00016(3)6.6設(shè)信源S的信源空間為符號(hào)集U:0,1,2,試編出有效碼,并計(jì)算其平均碼長(zhǎng).解:進(jìn)行Huffman編碼:r=3,q=8,因?yàn)?q-r)mod(r-

23、1)=5mod2=10,所以插入m=(r-1)- (q-r)mod(r-1)=2-1=1個(gè)虛假符號(hào),令其為S9,則:碼長(zhǎng)編碼信符信符概率10S30120120120120.311S10.2220S40.2221S20.13220S50.053221S60.0542220S70.0542221S80.0542222S9（不使用）06.7設(shè)信源S的N次擴(kuò)展信源SN,用霍夫曼編碼法對(duì)它編碼,而碼符號(hào)U: 1,2,r ,編碼后所得的碼符號(hào)可以看作一個(gè)新的信源試證明:當(dāng)N時(shí),.證明:6.8設(shè)某企業(yè)有四種可能出現(xiàn)的狀態(tài)盈利、虧本、發(fā)展、倒閉,若這四種狀態(tài)是等概率的,那么發(fā)送每個(gè)狀態(tài)的消息量最少需要的二進(jìn)制

24、脈沖數(shù)是多少?又若四種狀態(tài)出現(xiàn)的概率分別是:1/2,1/8,1/4,1/8,問(wèn)在此情況下每消息所需的最少脈沖數(shù)是多少?應(yīng)如何編碼?解:設(shè)S:S1=“盈利”,S2=“虧本”,S3=“發(fā)展”,S4=“倒閉”,(1)若四種情況等概率出現(xiàn)時(shí),即p(S1)=p(S2)=p(S3)=p(S4)=0.25時(shí),用脈沖來(lái)表示各信息可視為對(duì)信源S進(jìn)行編碼,由平均碼長(zhǎng)界限定理知:所以發(fā)送每個(gè)狀態(tài)的信息最少需要2個(gè)二進(jìn)制脈沖.(2) p(S1)=1/2,p(S2)=1/8,p(S3)=1/4,p(S4)=1/8時(shí),由平均碼長(zhǎng)界限定理:所以此情況下每消息所需的最少脈沖數(shù)是1.75個(gè).達(dá)到此下限時(shí)要求各消息對(duì)應(yīng)碼長(zhǎng)ni與

25、出現(xiàn)概率p(Si)關(guān)系為:p(Si)=2-ni,則n1=1,n2=3,n3=2,n4=3.對(duì)信源進(jìn)行Huffman編碼:碼長(zhǎng)編碼信符信符概率10S11/21/2011/2210S3011/4011/41/23100S21/81/43101S21/8可見(jiàn)上面編碼符號(hào)最小碼長(zhǎng)條件,可使發(fā)送每信息的脈沖數(shù)最少.6.9設(shè)某信源的信源空間為:試用U:0,1作碼符號(hào)集,采取香農(nóng)編碼方法進(jìn)行編碼,并計(jì)算其平均碼長(zhǎng).解:碼長(zhǎng)編碼信符信符概率10s11/21/21/21/21/2011/2210s21/41/41/4011/4011/41/23110s31/81/81/81/81/441110s41/16011

26、/16011/161/8511110s5011/321/321/166111110s61/641/326111111s71/64第七章抗干擾信道編碼7.4設(shè)有一離散信道，其信道矩陣為：(1) 當(dāng)信源X的概率分布為(a1)2/3，(a2)(a3)1/6時(shí)，按最大后驗(yàn)概率準(zhǔn)則選擇譯碼函數(shù)，并計(jì)算其平均錯(cuò)誤譯碼概率Pemin(2) 當(dāng)信源是等概信源時(shí)，按最大似然譯碼準(zhǔn)則選擇譯碼函數(shù)，并計(jì)算其平均錯(cuò)誤譯碼概率Pemin解：7.5某信道的輸入符號(hào)集X：0，1/2，1，輸出符號(hào)集Y：0，1，信道矩陣為：現(xiàn)有四個(gè)消息的信源通過(guò)這信道，設(shè)信息等概出現(xiàn)。若對(duì)信源進(jìn)行編碼，我們選這樣一種碼：C:(x1,x2,1/

27、2,1/2)，xi=0,1(i=1,2)其碼長(zhǎng)n=4，并選取這樣的譯碼原則：(y1,y2,y3,y4)=(y1,y2,1/2,1/2)(1) 這樣的編碼后信息傳輸效率等于多少？(2) 證明在選用的編碼規(guī)則下，對(duì)所有碼字有Pe0。解：7.6考慮一個(gè)碼長(zhǎng)為4的二進(jìn)制碼，其碼字為w1=0000；w2=0011；w3=1100；w4=1111。若碼字送入一個(gè)二進(jìn)制對(duì)稱信道（其單符號(hào)的誤傳概率為p，p<0.01），而碼字的輸入是不等概率的，其概率為：p(w1)=1/2，p(w2)=1/8，p(w3)=1/8，p(w4)=1/4試找出一種譯碼規(guī)則使平均錯(cuò)誤概率Pemin=Pe。解：由于信道為二進(jìn)制對(duì)

28、稱信道，所以先驗(yàn)概率等于后驗(yàn)概率，且p<0.01，故可以根據(jù)信道輸出的24個(gè)碼字的最大后驗(yàn)概率選擇譯碼規(guī)則，即可使平均錯(cuò)誤概率Pemin=Pe。 發(fā)送概率收到碼字w1=0000w2=0011w3=1100w4=1111譯碼規(guī)則0000F(0000)=00000001F(0001)=00000010F(0010)=00000011F(0011)=00110100F(0100)=00000101F(0101)=00000110F(0110)=00000111F(0111)=11111000F(1000)=00001001F(1001)=00001010F(1010)=00001011F(10

29、11)=11111100F(1100)=11001101F(1101)=11111110F(1110)=11111111F(1111)=11117.7設(shè)一離散無(wú)記憶信道，其信道矩陣為：(1) 計(jì)算信道容量C；(2) 找出一個(gè)長(zhǎng)度為二的碼，其信息傳輸率為0.5log5（即五個(gè)字符），如果按最大似然譯碼準(zhǔn)則設(shè)計(jì)譯碼器，求譯碼器輸出端平均錯(cuò)誤譯碼的概率Pe（輸入字符等概）；(3) 有無(wú)可能存在一個(gè)長(zhǎng)度為2的碼而使每個(gè)碼字的平均誤譯概率Pe(i)0（i=1,2,3,4,5），也即使平均錯(cuò)譯概率Pe0？如存在的話請(qǐng)找出來(lái)。解：7.8設(shè)有二個(gè)等概信息A和B，對(duì)它們進(jìn)行信道編碼，分別以w1=000，w2=1

30、11表示。若二進(jìn)制對(duì)稱信道的正確傳遞概率p>>錯(cuò)誤傳遞概率p。試選擇譯碼函數(shù)，并使平均錯(cuò)誤概率Pe=Pemin，寫(xiě)出Pemin的表達(dá)式。解： 000 001 010 100 011 101 110 111因?yàn)檎_傳遞概率p>>錯(cuò)誤傳遞概率p，所以選擇譯碼函數(shù)如下：F(000)=F(010)=F(100) =F(001)=000F(111)=F(011)=F(101) =F(110)=F(111)=1117.9設(shè)離散無(wú)記憶信道的輸入符號(hào)集X：0，1，輸出符號(hào)集Y：0，1，2，信道矩陣為：若某信源輸出兩個(gè)等概消息s1和s2，現(xiàn)在用信道輸入符號(hào)集中的符號(hào)對(duì)s1和s2進(jìn)行信道編

31、碼，以w1=00代表s1，w2=11代表s2。試寫(xiě)出能使平均錯(cuò)誤譯碼概率Pe=Pemin的譯碼規(guī)則，并計(jì)算Pemin。解：7.10設(shè)某信道的信道矩陣為：其輸入符號(hào)等概分布，在最大似然譯碼準(zhǔn)則下，有三種不同的譯碼規(guī)則，試求之，并計(jì)算出它們對(duì)應(yīng)的平均錯(cuò)誤概率。解：輸入符號(hào)等概分布，在最大似然譯碼準(zhǔn)則下，有三種不同的譯碼規(guī)則:(1) F(b1)=a1，F(xiàn)(b2)=a1，F(xiàn)(b3)=a2(2) F(b1)=a1，F(xiàn)(b2)=a2，F(xiàn)(b3)=a2(3) F(b1)=a1，F(xiàn)(b2)=a3，F(xiàn)(b3)=a2第八章 限失真信源編碼8.1設(shè)信源X的概率分布P(X):p(a1), p(a2), ,p(ar) ,失真度為d (ai, bj)0,其中(i=1,2,r;j=1,2,s).試證明:并寫(xiě)出取得的試驗(yàn)信道的傳輸概率選取的原則,其中(證明詳見(jiàn):p468-p