信息論實(shí)驗(yàn)指導(dǎo)書(shū)

1、可編輯信息理論與編碼實(shí)驗(yàn)指導(dǎo)書(shū)電子與電氣工程學(xué)院羅曉琴 編實(shí)驗(yàn)要求1、實(shí)驗(yàn)前認(rèn)真閱讀實(shí)驗(yàn)指導(dǎo)書(shū)的內(nèi)容，并完成預(yù)習(xí)任務(wù)。2、復(fù)習(xí)Matlab的相關(guān)知識(shí)，完成仿真。3、要熟悉本次實(shí)驗(yàn)的任務(wù)。4、實(shí)驗(yàn)過(guò)程中要認(rèn)真記錄實(shí)驗(yàn)結(jié)果，仿真結(jié)果需經(jīng)指導(dǎo)教師審閱。5、實(shí)驗(yàn)后每位同學(xué)要獨(dú)立完成實(shí)驗(yàn)報(bào)告的內(nèi)容。目錄實(shí)驗(yàn)一 離散信源的自信息量和熵3實(shí)驗(yàn)二 最大離散熵定理6實(shí)驗(yàn)三 費(fèi)諾編碼9實(shí)驗(yàn)四 霍夫曼編碼13實(shí)驗(yàn)五 香農(nóng)編碼16實(shí)驗(yàn)一：計(jì)算離散信源的自信息量和熵一、實(shí)驗(yàn)?zāi)康?1、熟悉離散信源的特點(diǎn)。 2、學(xué)習(xí)Matlab仿真離散信源的方法。 3、學(xué)習(xí)離散信源自信息量和信源熵的計(jì)算方法。 4、熟悉 Matlab 編程

2、。二、實(shí)驗(yàn)設(shè)備1、計(jì)算機(jī)2、軟件：Matlab三、實(shí)驗(yàn)原理本實(shí)驗(yàn)主要完成信源概率分布的自信息量以及信源熵的計(jì)算。計(jì)算公式如下：一個(gè)字符它所攜帶的信息量是和該字符出現(xiàn)的概率有關(guān)，概率可以表征自信息量的大小自信息的計(jì)算公式為： 自信息量有兩個(gè)含義： 第一、當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性；第二、當(dāng)事件發(fā)生后，標(biāo)是該事件所提供的信息量 自信息量的單位取決于對(duì)數(shù)所取的底，若以2為底，單位為比特，以e為底，單位為奈特，以10為底，單位為哈特。 在通信系統(tǒng)中，通常取比特為單位，底數(shù)2略去不寫(xiě)。由于自信息I(a)是一個(gè)隨機(jī)變量，不能用來(lái)表征整個(gè)信源的不確定度。所以我們用平均自信息量來(lái)表征整個(gè)信源的不確

3、定度。平均自信息量就是信源輸出所有消息的自信息的數(shù)學(xué)期望，又稱(chēng)為信息熵、信源熵，簡(jiǎn)稱(chēng)熵。熵（平均自信息）的計(jì)算公式為： 信息熵H（x）是對(duì)信源的平均不確定性的描述。它從平均意義上來(lái)表征信源的總體信息測(cè)度。對(duì)于某特定的信源，其信息熵是一個(gè)確定的數(shù)值。信息熵具有如下三種物理意義。第一，信息熵H（x）是表示信源輸出后，每個(gè)消息或符號(hào)所提供的平均信息量。第二，信息熵H（x）是表示信源輸出前，信源的平均不確定性。第三，信息熵H（x）可表征變量X的隨機(jī)性。由此可以看出，自信息量與信息熵的含義是不同的：（1）信息熵是表征信源本身統(tǒng)計(jì)特性的一個(gè)物理量，它表示信源的平均不確定性，是信源輸出的每一個(gè)消息所能提供的

4、平均信息量；自信息量表示的是每一個(gè)消息的信息量度。（2）信息熵是針對(duì)信源的，是信源輸出的信息量，表示信源輸出前的平均不確定性；自信息量是針對(duì)信宿的，是接收者在消除了信源不確定性后所獲得的信息的度量。（3）若信道無(wú)干擾，接收者獲得的信息量在數(shù)量上等于信源的熵，若有干擾時(shí)，則兩者不相等。四、實(shí)驗(yàn)內(nèi)容 1、已知信源概率分布為：p=1/2,1/4,1/8,1/8,編寫(xiě)出計(jì)算自信息量的Matlab 程序。程序：function I = deal(p)n=4;for i =1: n I(i)=-log2(p(i) ; end打開(kāi)空白的M文件編輯器，將上述程序輸入。保存。通過(guò)M文件調(diào)用的形式完成仿真。步驟：

5、在command window中輸入p=1/2,1/4,1/8,1/8調(diào)用deal.M文件輸入I=deal(1/2,1/4,1/8,1/8)，仿真實(shí)現(xiàn)。 2、寫(xiě)出信源概率分布為：p=1/2,1/4,1/8,1/8離散信源熵的Matlab 程序。 程序：function H = deal(p)n =4;H =0;for i =1: n I(i)=-log2(p(i) ; H = H + p(i)*I(i);end打開(kāi)空白的M文件編輯器，將上述程序輸入。保存。通過(guò)M文件調(diào)用的形式完成仿真。步驟：在command window中輸入p=1/2,1/4,1/8,1/8調(diào)用deal.M文件輸入H=dea

6、l(1/2,1/4,1/8,1/8)，仿真實(shí)現(xiàn)。3、寫(xiě)出信源概率分布為：p=1/2,1/4,1/8,1/8的離散信源自信息量和信源熵的Matlab程序。function I H = deal(p)n = length(p);H = 0;for i =1: n I(i)=-log2(p(i) ; H = H + p(i)*I(i);end步驟：在command window中輸入p=1/2,1/4,1/8,1/8調(diào)用deal.M文件輸入I H=deal(1/2,1/4,1/8,1/8)，仿真實(shí)現(xiàn)。4、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性并完成思考題的程序設(shè)計(jì)。五、思考題1、說(shuō)明離散信源自信

7、息量和信息熵的不同含義。2、甲地天氣預(yù)報(bào)構(gòu)成的信源空間為：X晴云大雨小雨 乙地信源空間為：Y晴小雨 求此兩個(gè)信源的熵。求各種天氣的自信息量。六、實(shí)驗(yàn)報(bào)告要求總結(jié)離散信源的特點(diǎn)及離散信源平均信息量的計(jì)算,寫(xiě)出實(shí)驗(yàn)內(nèi)容中的仿真程序及結(jié)果，完成思考題中MATLAB實(shí)現(xiàn)語(yǔ)句,并附上仿真實(shí)現(xiàn)的結(jié)果。實(shí)驗(yàn)二 最大離散熵定理一、實(shí)驗(yàn)?zāi)康?1、熟悉熵函數(shù)的基本性質(zhì)。 2、掌握最大熵定理。3、學(xué)習(xí)Matlab仿真二維曲線(xiàn)圖的方法。 4、熟悉 Matlab 編程。二、實(shí)驗(yàn)設(shè)備1、計(jì)算機(jī)2、軟件：Matlab三、實(shí)驗(yàn)原理信息熵H（x）是隨機(jī)變量X的概率分布p（x）的函數(shù)，它有如下性質(zhì)：1、對(duì)稱(chēng)性H(P)=H(p1,

8、p2,p3,，pn)= H(p2,p3,，pn p1)=H(pn,p1,p2,p3,，pn-1) 概率分布的順序是可以任意互換的，互換后的概率分布表示的是相同的隨機(jī)變量，隨機(jī)變量的總體結(jié)構(gòu)沒(méi)有變化，則可證明對(duì)應(yīng)的熵函數(shù)的值也不會(huì)變。該性質(zhì)表明熵函數(shù)只與信源的總體統(tǒng)計(jì)特性有關(guān)。這也說(shuō)明，信息熵只抽取了信源信息輸出的統(tǒng)計(jì)特征，而沒(méi)有考慮信息的具體含義和效用。也就是說(shuō)，信息熵有它的局限性，它不能描述時(shí)間本身的具體含義和主觀價(jià)值等。2、確定性H(1,0)=0在概率矢量P=（p1,p2,p3,，pn）中，只要有一個(gè)分量為1，其它分量必為0，這由概率分布的完備性可以得到。也就是說(shuō)信源的平均不確定度為0。3

9、、非負(fù)性H(P)=H(p1,p2,p3,，pn)0因?yàn)镻=(p1,p2,p3,，pn)是概率分布，0pi1，-logpi0，故上式成立。需要注意的是，只有離散信源熵才有非負(fù)性，連續(xù)信源的相對(duì)熵將可能出現(xiàn)負(fù)值。4、擴(kuò)展性(p1,p2,p3,，pn-，)=Hn(p1,p2,p3,，pn)這個(gè)性質(zhì)的含義是：增加一個(gè)基本不會(huì)出現(xiàn)的小概率事件，信源的熵保持不變。雖然小概率事件的出現(xiàn)給予接收者的信息量很大，但在熵的計(jì)算中，它占的比重很小，可以忽略不計(jì)，這也是熵的總體平均性的體現(xiàn)。5、連續(xù)性(p1,p2,p3,，pn-1-，pq+)= Hn(p1,p2,p3,，pn)即信源概率空間中的概率分量的微小波動(dòng)，不

10、會(huì)引起熵的變化。6、遞增性H(p1,p2,p3,，pn-1，q1，q2，q3，qm）=H(p1,p2,p3,，pn)+ pn H(q1/ pn ，q2/ pn，q3/ pn，qm/ pn）q1+q2+q3，+qm =pn 這個(gè)性質(zhì)表明，假如有一個(gè)信源的n個(gè)元素的概率分布為(p1,p2,p3,，pn)，其中某個(gè)元素pn又被劃分為m個(gè)元素，這某個(gè)元素的概率之和等于pn，這樣得到的新信源的熵增加了一項(xiàng)，增加的一項(xiàng)是由于劃分產(chǎn)生的不確定性。7、極值性H(p1,p2,p3,，pn) H(1/n,1/n,，1/n)=logn上式中，當(dāng)且僅當(dāng)n個(gè)離散消息等概率出現(xiàn)時(shí)等式成立。這一性質(zhì)說(shuō)明，對(duì)不同概率分布p（

11、xi）所構(gòu)成的熵，只有當(dāng)?shù)雀怕史植紩r(shí)，信源的不確定性最大，熵達(dá)到極大值。8、上凸性熵函數(shù)H(p)是概率矢量P=(p1,p2,p3,，pn)的嚴(yán)格上凸函數(shù)，正因?yàn)殪睾瘮?shù)具有上凸性，所以熵函數(shù)具有極值，熵函數(shù)的最大值存在。9、唯一性四、實(shí)驗(yàn)內(nèi)容1、已知二元信源概率空間為p（x）=x 1-x，對(duì)應(yīng)的二元信源的熵可表示為：H(x)=-xlog2(x)-(1-x)log2(1-x)。通過(guò)Matlab軟件畫(huà)出概率分布函數(shù)p（x）與熵函數(shù)之間的二維曲線(xiàn)圖，編寫(xiě)出程序。仿真結(jié)果如下圖所示：編程過(guò)程中要注意的地方：x的步長(zhǎng)設(shè)置為0.001，H(x)的運(yùn)算為矩陣運(yùn)算，必須用點(diǎn)乘：“.*”。2、 用同樣的方法畫(huà)出三

12、元信源空間的熵函數(shù)與概率分布的三維曲線(xiàn)圖。仿真結(jié)果如下所示。 五、思考題1、熵函數(shù)的基本性質(zhì)有哪些？2、最大熵定理的結(jié)論是什么？六、實(shí)驗(yàn)報(bào)告要求寫(xiě)出用Matlab軟件畫(huà)出概率分布函數(shù)p（x）與熵函數(shù)之間的二維、三維曲線(xiàn)圖的程序，并附上仿真結(jié)果圖。并對(duì)本實(shí)驗(yàn)進(jìn)行總結(jié)、分析。實(shí)驗(yàn)三 費(fèi)諾編碼一、實(shí)驗(yàn)?zāi)康?1、掌握費(fèi)諾編碼的編碼原理 2、熟悉 Matlab 編程。3、通過(guò)Matlab仿真費(fèi)諾編碼的過(guò)程。 二、實(shí)驗(yàn)設(shè)備1、計(jì)算機(jī)2、軟件：Matlab三、實(shí)驗(yàn)原理費(fèi)諾編碼的步驟: 1、將概率按從大到小的順序排列；2、按編碼進(jìn)制數(shù)將概率分組，使每組概率和盡可能接近或相等；3、給每組分配一位碼元；4、將每一

13、分組再按同樣原則劃分，重復(fù)2和3，直到概率不再可分為止。四、實(shí)驗(yàn)內(nèi)容對(duì)給定信源進(jìn)行二進(jìn)制費(fèi)諾編碼，通過(guò)MATLAB進(jìn)行編碼過(guò)程仿真，并計(jì)算平均碼長(zhǎng)。程序如下：clc;clear;A=0.4,0.3,0.1,0.09,0.07,0.04;A=fliplr(sort(A); m,n=size(A);for i=1:nB(i,1)=A(i); enda=sum(B(:,1)/2;for k=1:n-1if abs(sum(B(1:k,1)-a)=abs(sum(B(1:k+1,1)-a)break;endendfor i=1:n if i=kB(i,2)=0;elseB(i,2)=1;endendE

14、ND=B(:,2);END=sym(END);j=3;while (j=0)p=1;while(p=n)x=B(p,j-1);for q=p:nif x=-1break;elseif B(q,j-1)=xy=1;continue;elsey=0;break;endendendif y=1q=q+1;endif q=p|q-p=1B(p,j)=-1;elseif q-p=2B(p,j)=0;END(p)=char(END(p),0;B(q-1,j)=1;END(q-1)=char(END(q-1),1;elsea=sum(B(p:q-1,1)/2;for k=p:q-2if abs(sum(B(

15、p:k,1)-a)=abs(sum(B(p:k+1,1)-a);break;endendfor i=p:q-1if i1 & B(i,j)=B(i-1,j) d=d+1; else d=1; end B(B(n,j+1),j+1)=-1; temp=B(:,j+1); x=find(temp=B(i,j); END(i)=END1(x(d); end y=B(n,j+1); END(t-1)=char(END1(y),0; END(t)=char(END1(y),1; t=t+1; END1=END;end A END for i=1:n a,b=size(char(END(i); L(i)=

16、b;endavlen=sum(L.*A) H1=log2(A);H=-A*(H1) P=H/avlen%五、思考題對(duì)給定信源進(jìn)行二進(jìn)制霍夫曼編碼。寫(xiě)出編碼碼字，并計(jì)算平均碼長(zhǎng)。六、實(shí)驗(yàn)報(bào)告要求 寫(xiě)出用Matlab進(jìn)行霍夫曼編碼的程序，并給出仿真結(jié)果。實(shí)驗(yàn)五 香農(nóng)編碼一、實(shí)驗(yàn)?zāi)康?1、掌握香農(nóng)的編碼原理 2、熟悉 C+編程。3、通過(guò)C+仿真香農(nóng)編碼的過(guò)程。 二、實(shí)驗(yàn)設(shè)備1、計(jì)算機(jī)2、軟件：C+三、實(shí)驗(yàn)原理給定某個(gè)信源符號(hào)的概率分布，通過(guò)以下的步驟進(jìn)行香農(nóng)編碼1、將信源消息符號(hào)按其出現(xiàn)的概率大小排列： 2、確定滿(mǎn)足下列不等式的整數(shù)碼長(zhǎng)Ki ； 3、為了編成唯一可譯碼，計(jì)算第i個(gè)消息的累加概率：4、

17、將累加概率Pi變換成二進(jìn)制數(shù)。5、取Pi二進(jìn)制數(shù)的小數(shù)點(diǎn)后K i 位即為該消息符號(hào)的二進(jìn)制碼。四、實(shí)驗(yàn)內(nèi)容對(duì)給定信源進(jìn)行二進(jìn)制香農(nóng)編碼，通過(guò)C+進(jìn)行編碼過(guò)程仿真。香農(nóng)（Shannon）編碼參考程序int main() int N; coutN; cout”請(qǐng)輸入各符號(hào)的概率：”endl； double *X=new doubleN; /離散無(wú)記憶信源 int i,j; for(i=0;iN;i+) cout”X”i+1Xi;/由小到大排序 for(i=0;iN;i+) for(j=i+1;jN;j+) if(XiXj) double temp=Xi;Xi=Xj;Xj=temp; int *K=

18、new intN; /確定碼長(zhǎng) for(i=0;iN;i+) Ki=int(-(log(Xi)/log(2)+1; /確認(rèn)碼長(zhǎng)為 1-log2(p(xi) if(Ki=(-(log(Xi)/log(2)+1)/當(dāng)Ki=-log2(p(xi)時(shí)，Ki- Ki-; /累加概率 double *Pa=new doubleN;pa0=0.0; for(i=1;iN;i+) pai=pai-1+Xi-1; /將累加概率轉(zhuǎn)換為二進(jìn)制 string *code=new stringN; for(i=0;iN;i+) for(j=0;j=1) /累加概率乘2大于1,對(duì)應(yīng)碼字加1,累加概率自身取余 codei+=”1”;Pai=Pai*2-1; else /累加概率乘2小于1時(shí),對(duì)應(yīng)碼字加0,累加概率自身取余 codei+=”0”;Pai*= 2; for(i=0;iN;i+) codei= codei.substr(0,Ki); /求碼字 /輸出碼字 cout