信息論與編碼技術(shù)預(yù)習(xí)報(bào)告

1、信息論與編碼技術(shù)預(yù)習(xí)報(bào)告信息學(xué)院10通信A 班級(jí)第 批第 組姓名同組成員實(shí)驗(yàn)名稱(chēng)實(shí)驗(yàn)一、離散信道及其信道容量實(shí)驗(yàn)設(shè)備（1）PC計(jì)算機(jī)（2） MATLAB件實(shí)驗(yàn)?zāi)康恼莆招旁吹撵亍⑿诺廊萘康奈锢硪饬x，概念；熟練掌握離散信源熵、離散信道容 量的計(jì)算方法步驟；利用Matlab編寫(xiě)離散信源熵、離散信道容量的計(jì)算程序；驗(yàn)證程序的正確性。實(shí)驗(yàn)內(nèi)容（1） 根據(jù)熵，信道容量計(jì)算的方法步驟，用Matlab編寫(xiě)離散信源熵、離散信道 容量的計(jì)算程序；（2）用習(xí)題2.16和習(xí)題3.6驗(yàn)證程序的正確性。預(yù)習(xí)報(bào)告要求1、了解信源熵的物理意義，信道傳輸概率的狀態(tài)圖和信道轉(zhuǎn)移概率矩陣特點(diǎn)。2、 說(shuō)明題2.16兩種信源熵的物理意

2、義和題3.6信道的特點(diǎn)。3、說(shuō)明什么是信源熵、二維平穩(wěn)離散信源平均符號(hào)熵、信道容量和最佳輸入概率分布。4、列出計(jì)算信源熵、二維平穩(wěn)離散信源平均符號(hào)熵、信道容量和平均互信息的計(jì)算步驟。5、 實(shí)驗(yàn)預(yù)習(xí)報(bào)告在實(shí)驗(yàn)前一天交到實(shí)驗(yàn)室，一律用16開(kāi)大小的紙寫(xiě)，以此單為封面，裝 訂成冊(cè)，每人應(yīng)準(zhǔn)備坐標(biāo)方格紙，實(shí)驗(yàn)波形圖一律在坐標(biāo)方格紙上由繪圖尺完成。完成時(shí)間：201 年 月 日2、 題2.16中熵H (X )表示信源符號(hào)前后沒(méi)有關(guān)聯(lián)的信源熵，H2(X)是信源符號(hào)前后有關(guān)聯(lián)的信源熵。信源前后沒(méi)有關(guān)聯(lián)，則信源表示的平均不確定性大；信源前后有關(guān)聯(lián)， 則消息前后的依賴(lài)性就大，消息的不確定性被削弱，信源表示的平均不確

3、定性就小。題3.6信道特點(diǎn)：3、信源熵：信源各個(gè)符號(hào)的平均不確定性。二維平穩(wěn)離散信源平均符號(hào)熵 H2(X):信源平均沒(méi)發(fā)一個(gè)符號(hào)提供的信息量。信道容量：信道能無(wú)錯(cuò)誤傳送的最大信息率。最佳輸入概率分布：對(duì)于固定的信道，總存在一種信源(某種輸入概率分布)，使信道平均傳輸一個(gè)符號(hào)接收端獲得的信息量最大，也就是說(shuō)對(duì)于每個(gè)固定信道都有一個(gè)最大的信息傳輸率，這個(gè)最大的信息傳輸率即為信道容量，而相應(yīng)的輸入概率分布稱(chēng)為最佳輸入概率分布 。4、計(jì)算信源熵H(X):1、列出每個(gè)信源符號(hào)的概率 p(x)2、根據(jù) H(X) - 八 p(x) log p(Xi)i計(jì)算二維平穩(wěn)離散信源平均符號(hào)熵H2(X):1、列出每個(gè)信

4、源符號(hào)的概率 p(Xi)2、 根據(jù)p(XiXj) =p(Xj |Xi)p(Xi)，求出符號(hào)序列 X/2的聯(lián)合概率p(XiXj)3、根據(jù)日以梯2)-八7 p(XjXj)log p(XjXj)解得聯(lián)合熵H(X!X2)i j4、H2(X)二H (X,X2)/2計(jì)算信道容量：1、求平均互信息 l(X;Y)二 H(X)-H(X/Y)2、根據(jù)信道容量定義求 C二max % (X; Y)p(X)計(jì)算平均互信息：1、平均互信息 I (X;Y) =H(X) -H (X/Y) =H (Y) -H (Y/X)Matlab 程序： 題 2.16(1)求信源熵 H(X)i=0:1;P=0.3*(1-i)+0.7*i;%

5、 先驗(yàn)概率I=log2(P);% 各符號(hào)自信息量h=-P*I解得 h=0.8813(2) 求平穩(wěn)離散信源的熵 (或平均符號(hào)熵 )H2(X)i=0:1;xian=0.3*(1-i)+0.7*i; % 先驗(yàn)概率tiao=0.8 0.1;0.2 0.9; % 條件概率lian=0.8*xian(1) 0.1*xian(2);0.2*xian(1) 0.9*xian(2); %聯(lián)合概率I=log2(lian); h1=-(lian(1)*I(1)+lian(2)*I(2)+lian(3)*I(3)+lian(4)*I(4); % 聯(lián)合熵 H(X1X2) h=0.5*h1 % 平均符號(hào)熵 H2(X)解得

6、 H2(X)=0.7131(3)熵H(X)表示信源符號(hào)前后沒(méi)有關(guān)聯(lián)的信源熵，H 2(X)是信源符號(hào)前后有關(guān)聯(lián)的信源熵。信源前后沒(méi)有關(guān)聯(lián)，則信源表示的平均不確定性大；信源前后有關(guān)聯(lián)，則消息前后 的依賴(lài)性就大，消息的不確定性被削弱，信源表示的平均不確定性就小。題 3.6(1)求 H(X),H(X|Y),H(Y|X) 和 I(X;Y)i=0:1;px=0.75*(1-i)+0.25*i; % 已知的先驗(yàn)概率 P(X)I1=log2(px); % 信源符號(hào)自信息h1=-px*I1; % 信源熵 H(X) ，解得 H(X)=0.8813P=2/3 1/3;1/3 2/3; % 信道轉(zhuǎn)移矩陣lian=2/

7、3*px(1) 1/3*px(2);1/3*px(1) 2/3*px(2); % 聯(lián)合概率 P(XY)I2=log2(P); % 轉(zhuǎn)移概率分布的符號(hào)自信息I3=log2(lian); % 聯(lián)合概率分布的符號(hào)自信息 h2=-1*(lian(1)*I2(1)+lian(2)*I2(2)+lian(3)*I2(3)+lian(4)*I2(4); %噪聲熵 H(Y|X), 解得%H(Y|X)=0.9183h3=-1*(lian(1)*I3(1)+lian(2)*I3(2)+lian(3)*I3(3)+lian(4)*I3(4); %聯(lián)合熵 H(XY)=1.7296py=(P(1)*px(1)+P(3)

8、*px(2) (P(2)*px(1)+P(4)*px(2); % 接收端的符號(hào)概率 P(Y) I4=log2(py); % 接收端符號(hào)自信息h4=-py*I4; % 接收端的平均不確定性 H(Y)h5=h3-h4; % 條件熵 H(X|Y)=H(XY)-H(Y)=0.7497I5=h4-h2 % 平均互信息 I(X;Y)=H(Y)-H(Y|X)=0.0616(2)求信道容量和達(dá)到信道容量時(shí)的輸入概率分布w=0.01:0.01:0.99;p=1/3;px=w 1-w; % 已知的先驗(yàn)概率P(X)P=1-p p；p 1-p； %信道轉(zhuǎn)移矩陣a仁 w*(1-p)+(1-w)*p;a2=w*p+(1-w)*(1-p);=1*(