答案~信息論與編碼練習

1、1、有一個二元對稱信道，其信道矩陣如下圖所示。設(shè)該信道以1500 個二元符號 / 秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000 個二元符號，并設(shè)在這消息中P(0)=P(1)=1/2 。問從信息傳輸?shù)慕嵌葋砜紤]，10 秒鐘內(nèi)能否將這消息序列無失真地傳送完？00.9800.020.0210.981解答 ：消息是 一個二元序列，且為等 概率分布，即 P(0)=P(1)=1/2，故信源的熵為H(X)=1(bit/symbol)。則該消息序列含有的信息量14000(bit/symbol)。下面計算該二元對稱信道能傳輸?shù)淖畲蟮男畔鬏斔俾剩盒诺纻鬟f矩陣為：0.980.02P0.020.98信道容量（

2、最大信息傳輸率）為：C=1-H(P)=1-H(0.98) 0.8586bit/symbol得最大信息傳輸速率為：Rt 1500 符號 / 秒× 0.8586比特/符號1287.9比特/秒1.288 ×103 比特 / 秒此信道10 秒鐘內(nèi)能無失真?zhèn)鬏數(shù)米畲笮畔⒘?0× Rt 1.288 × 104 比特可見，此信道 10秒內(nèi)能無失真?zhèn)鬏數(shù)米畲笮畔⒘啃∮谶@消息序列所含有的信息量，故從信息傳輸?shù)慕嵌葋砜紤]，不可能在10 秒鐘內(nèi)將這消息無失真的傳送完。2、若已知信道輸入分布為等概率分布，且有如下兩個信道，其轉(zhuǎn)移概率矩陣分別為：11001100000022220

3、11000110000P22P221111100200000022221001000000112222試求這兩個信道的信道容量，并問這兩個信道是否有噪聲？解答：(1) 由信道 1 的信道矩陣可知為對稱信道故 C1log 2 4H (110 0)1bit / symbol22H(X)log 2 42 bit / symbolC 1有熵損失，有噪聲。(2) 為對稱信道，輸入為等概率分布時達到信道容量C 2 log28 H(110 0 0 0 0 0) 2 bit / symbol22H (X )C2,無噪聲3 、已知隨即變量X 和 Y 的聯(lián)合分布如下所示：Y01X01/83/813/81/8試計算

4、： H（ X）、 H（Y）、 H（XY）、 H（X/Y ）、 H（Y/X ）、 I （ X； Y）解：(1)H( X)1 H(Y)1(2)(3) H（ X/Y ） = H（ XY） - H （Y） =1.811-1=0.811(4) H（ Y/X ） = H（ XY） - H （X） =1.811-1=0.811(5)4、 有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38 份，用 1,2,3 ， ， 38 數(shù)字標示，其中有 2 份涂綠色， 18 份涂黑色，圓盤停轉(zhuǎn)后，盤面上指針指向某一數(shù)字和顏色。（ 1）若僅對顏色感興趣，計算平均不確定度；（ 2）若對顏色和數(shù)字都感興趣，計算平均不確定度；（ 3）

5、如果顏色已知，計算條件熵。解： (1) H(色 )=(2) P(色數(shù) )=H( 色數(shù) )=(3) H(數(shù)/ 色)= H( 色數(shù) )- H(色)=5、 在一個二進制信道中，信源消息集X=0,1 ，且道傳輸概率P（ 1/2 ） =1/4, P(0/1)=1/8。求：（1）在接收端收到y(tǒng)=0 后，所提供的關(guān)于傳輸消息(2)該情況所能提供的平均互信息量I(X;Y).P(0)=P(1),信宿的消息集X 的平均條件互信息量I(XY=0,1, ； y=0).信解： (1)P(ij)=P(i/j)=(2)方法1:=6 某一無記憶信源的符號集為0,1 ，已知 p0=1/4, p1=3/4(1) 求符號的平均熵（

6、2）由 100 個符號構(gòu)成的序列，求某一特定序列（例如有的自信息量的表達式。（3）計算（ 2）中的序列的熵。m個“ 0”和（100-m）個“ 1”）解：(1) H(X)=(2)=(3)7、 一階馬氏鏈信源有三個符號u1,u2,u3,轉(zhuǎn)移概率為：P(u1/u2)=1/2,P(u2/u2)=1/2,P(u3/u1)=0,P(u1/u2)=1/3,P(u2/u2)=0,P(u3/u2)=2/3,P(u1/u3)=1/3,P(u2/u3)=2/3,P(u3/u3)=0,畫出狀態(tài)圖并求出各符號穩(wěn)定概率。解：P(j/i)=解方程組求得 W=1/2S11/31/21/32/3S2S32/38、 設(shè)有一信源，

7、 它在開始時以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率發(fā)出X1，如果 X1 為 a時則 X2 為 a,b,c的概率為1/3; 如果 X1 為 b 時則 X2 為 a,b,c的概率為1/3; 如果 X1 為 c 時則 X2 為 a,b 的概率為1/2 ，而為 c 的概率是0; 而且后面發(fā)出Xi 的概率只與Xi-1 有關(guān)。又 p(X i /Xi-1 )=p(X2/ X1),i 3。試利用馬兒可夫信源的圖示法畫出狀態(tài)轉(zhuǎn)移圖，并求出狀態(tài)轉(zhuǎn)移矩陣和信源熵HP(j/i)=解方程組得到 W1=, W2=, W3=9某 信 源 符 號 有8個 符 號 u1,u8,概 率 分 別 是1/2 ，

8、 1/4 ， 1/8.， 1/16 ，1/32,1/64,1/128,1/128，編成這樣的碼：000,001,010,011,100,101,110,111。求（ 1）信源的符號熵 H(U)(2) 出現(xiàn)一個“ 1”或一個“ 0”的概率；（ 3）這樣碼的編碼效率；（ 4）相應(yīng)的香農(nóng)碼和費諾瑪；（ 5）該碼的編碼效率？解：(1)1 1 1111112 4 8 1632 64 128128H(U)=1 Log ( 2)1 Log ( 4)1Log (8)1 Log (16)1 Log (32)1 Log( 64)1 Log (128)1 Log ( 128) 1.98424816326412812

9、8(2) 每個信源使用 3 個二進制符號 , 出現(xiàn) 0 的次數(shù)為出現(xiàn) 1 的次數(shù)為P(0)=P(1)=(3)(4) 相應(yīng)的香農(nóng)編碼信源符號符號概率累加概率-Logp(xi)碼長 Ki碼字xipiPix11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110相應(yīng)的費諾碼信源符號概第一第二第三第四第五第六第七二元碼符 號 率 pi次分次分次分次分次分次分次分xi組組組組組組組x11/200x21

10、/4010x31/80110x41/1601110x51/3211011110x61/64101111101x71/128101111110x81/1281111111101（ 5）香農(nóng)碼和費諾碼相同平均碼長為編碼效率為：10已 知 符 號 集 x1,x2,x3, 為 無 限 離 散 集 合 ， 他 們 出 現(xiàn) 的 概 率 分 別 是i ,p(x1)=1/2,p(x2)=1/4,p(x3)=1/8,p(xi)=1/2（1）用香農(nóng)編碼方法寫出各個符號的碼字；（ 2）計算碼字的平均信息傳輸率。（ 3）計算信源編碼效率。 3解：（ 1） p i =累加概率為 Pi =累加概率分別為符號x1x1x2x

11、3x4x5x6x7概率1/21/41/81/161/321/641/1281/256累加00.50.750.8750.9380.9690.9840.992概率碼長12345678二010110111011110111110111111011111110元碼（ 2）信源的信息量為平均碼長為：碼字的平均信息傳輸率為Rbit/碼（ 3）編碼效率R1002 / 31/ 3，11 該二進制對稱信道的概率轉(zhuǎn)移矩陣為2 / 31/ 3（1）若 p(x0)=3/4,p(x1)=1/4,求 H(X),H(X/Y),H(Y/X)和 I(X;Y) 。（2）求該信道的信道容量及其達到信道容量時的輸入概率分布。12、某

12、信源發(fā)送端有2 個符號， xi,i=1,2,p(xi)=a,每秒發(fā)出一個符號。接收端有3 種符號yj,j=1,2,3,轉(zhuǎn)移概率矩陣如下：1/ 21/ 20p1/ 41 / 41/ 2（ 1）計算接收端的平均不確定度；（ 2）計算由于噪聲產(chǎn)生的不確定度H(Y/X);(3) 計算信道容量解：(1)接收端的不確定度為:(2)H(Y/X)=(3)=0得到得13 發(fā)送端有3 種等概率符號（x1,x2,x3 ） ,p(xi)=1/3,接收端收到3 種符號（ y1,y2,y3） ,信道轉(zhuǎn)移概率矩陣如下：（ 1）求接收端收到一個符號后得到的信息量H(Y);(2) 計算噪聲熵 H(Y/X);(3) 計算當接收到

13、端收到一個符號y2 的錯誤率；（ 4）計算從接收端看的平均錯誤率；（ 5）計算從發(fā)送端看的平均錯誤率；（ 6）從轉(zhuǎn)移矩陣中你能看出信道的好壞嗎：（7）計算發(fā)送端的H(X) 和 H(X/Y) 。解：(1)條件概率，聯(lián)合概率，后驗概率p(y0 )1， p(y1 )1， p(y2)1326（ 2）H(Y/X)=（ 3）當接收為y2，發(fā)為 x1時正確，如果發(fā)的是x1 和 x3 為錯誤，各自的概率為：P(x1/y2)=113， P(x2/y2)=， P(x3/y2)=555其中錯誤概率為：Pe=P(x1/y2)+P(x3/y2)=1350.85（ 4）平均錯誤概率為（ 5）仍為 0.733（ 6）此信道不好原因是信源等概率分布，從轉(zhuǎn)移信道來看正確發(fā)送的概率 x1-y1 的概率 0.5 有一半失真x2-y2的概率 0.3 有失真嚴重x3-y3的概率 0完全失真（ 7）H(X/Y)=1115251151356Log ( 2)Log (5)Log15LogLog (5)Log3Log (10)Log1.30110152210103010314、 設(shè)離散