信息論與編碼技術(shù)預習報告

1、信息論與編碼技術(shù)預習報告信息學院10通信A 班級第 批第 組姓名同組成員實驗名稱實驗一、離散信道及其信道容量實驗設(shè)備（1）PC計算機（2） MATLAB件實驗目的掌握信源的熵、信道容量的物理意義，概念；熟練掌握離散信源熵、離散信道容 量的計算方法步驟；利用Matlab編寫離散信源熵、離散信道容量的計算程序；驗證程序的正確性。實驗內(nèi)容（1） 根據(jù)熵，信道容量計算的方法步驟，用Matlab編寫離散信源熵、離散信道 容量的計算程序；（2）用習題2.16和習題3.6驗證程序的正確性。預習報告要求1、了解信源熵的物理意義，信道傳輸概率的狀態(tài)圖和信道轉(zhuǎn)移概率矩陣特點。2、 說明題2.16兩種信源熵的物理意

2、義和題3.6信道的特點。3、說明什么是信源熵、二維平穩(wěn)離散信源平均符號熵、信道容量和最佳輸入概率分布。4、列出計算信源熵、二維平穩(wěn)離散信源平均符號熵、信道容量和平均互信息的計算步驟。5、 實驗預習報告在實驗前一天交到實驗室，一律用16開大小的紙寫，以此單為封面，裝 訂成冊，每人應準備坐標方格紙，實驗波形圖一律在坐標方格紙上由繪圖尺完成。完成時間：201 年 月 日2、 題2.16中熵H (X )表示信源符號前后沒有關(guān)聯(lián)的信源熵，H2(X)是信源符號前后有關(guān)聯(lián)的信源熵。信源前后沒有關(guān)聯(lián)，則信源表示的平均不確定性大；信源前后有關(guān)聯(lián)， 則消息前后的依賴性就大，消息的不確定性被削弱，信源表示的平均不確

3、定性就小。題3.6信道特點：3、信源熵：信源各個符號的平均不確定性。二維平穩(wěn)離散信源平均符號熵 H2(X):信源平均沒發(fā)一個符號提供的信息量。信道容量：信道能無錯誤傳送的最大信息率。最佳輸入概率分布：對于固定的信道，總存在一種信源(某種輸入概率分布)，使信道平均傳輸一個符號接收端獲得的信息量最大，也就是說對于每個固定信道都有一個最大的信息傳輸率，這個最大的信息傳輸率即為信道容量，而相應的輸入概率分布稱為最佳輸入概率分布 。4、計算信源熵H(X):1、列出每個信源符號的概率 p(x)2、根據(jù) H(X) - 八 p(x) log p(Xi)i計算二維平穩(wěn)離散信源平均符號熵H2(X):1、列出每個信

4、源符號的概率 p(Xi)2、 根據(jù)p(XiXj) =p(Xj |Xi)p(Xi)，求出符號序列 X/2的聯(lián)合概率p(XiXj)3、根據(jù)日以梯2)-八7 p(XjXj)log p(XjXj)解得聯(lián)合熵H(X!X2)i j4、H2(X)二H (X,X2)/2計算信道容量：1、求平均互信息 l(X;Y)二 H(X)-H(X/Y)2、根據(jù)信道容量定義求 C二max % (X; Y)p(X)計算平均互信息：1、平均互信息 I (X;Y) =H(X) -H (X/Y) =H (Y) -H (Y/X)Matlab 程序： 題 2.16(1)求信源熵 H(X)i=0:1;P=0.3*(1-i)+0.7*i;%

5、 先驗概率I=log2(P);% 各符號自信息量h=-P*I解得 h=0.8813(2) 求平穩(wěn)離散信源的熵 (或平均符號熵 )H2(X)i=0:1;xian=0.3*(1-i)+0.7*i; % 先驗概率tiao=0.8 0.1;0.2 0.9; % 條件概率lian=0.8*xian(1) 0.1*xian(2);0.2*xian(1) 0.9*xian(2); %聯(lián)合概率I=log2(lian); h1=-(lian(1)*I(1)+lian(2)*I(2)+lian(3)*I(3)+lian(4)*I(4); % 聯(lián)合熵 H(X1X2) h=0.5*h1 % 平均符號熵 H2(X)解得

6、 H2(X)=0.7131(3)熵H(X)表示信源符號前后沒有關(guān)聯(lián)的信源熵，H 2(X)是信源符號前后有關(guān)聯(lián)的信源熵。信源前后沒有關(guān)聯(lián)，則信源表示的平均不確定性大；信源前后有關(guān)聯(lián)，則消息前后 的依賴性就大，消息的不確定性被削弱，信源表示的平均不確定性就小。題 3.6(1)求 H(X),H(X|Y),H(Y|X) 和 I(X;Y)i=0:1;px=0.75*(1-i)+0.25*i; % 已知的先驗概率 P(X)I1=log2(px); % 信源符號自信息h1=-px*I1; % 信源熵 H(X) ，解得 H(X)=0.8813P=2/3 1/3;1/3 2/3; % 信道轉(zhuǎn)移矩陣lian=2/

7、3*px(1) 1/3*px(2);1/3*px(1) 2/3*px(2); % 聯(lián)合概率 P(XY)I2=log2(P); % 轉(zhuǎn)移概率分布的符號自信息I3=log2(lian); % 聯(lián)合概率分布的符號自信息 h2=-1*(lian(1)*I2(1)+lian(2)*I2(2)+lian(3)*I2(3)+lian(4)*I2(4); %噪聲熵 H(Y|X), 解得%H(Y|X)=0.9183h3=-1*(lian(1)*I3(1)+lian(2)*I3(2)+lian(3)*I3(3)+lian(4)*I3(4); %聯(lián)合熵 H(XY)=1.7296py=(P(1)*px(1)+P(3)

8、*px(2) (P(2)*px(1)+P(4)*px(2); % 接收端的符號概率 P(Y) I4=log2(py); % 接收端符號自信息h4=-py*I4; % 接收端的平均不確定性 H(Y)h5=h3-h4; % 條件熵 H(X|Y)=H(XY)-H(Y)=0.7497I5=h4-h2 % 平均互信息 I(X;Y)=H(Y)-H(Y|X)=0.0616(2)求信道容量和達到信道容量時的輸入概率分布w=0.01:0.01:0.99;p=1/3;px=w 1-w; % 已知的先驗概率P(X)P=1-p p；p 1-p； %信道轉(zhuǎn)移矩陣a仁 w*(1-p)+(1-w)*p;a2=w*p+(1-w)*(1-p);=1*(