信息熵及其性質(zhì)和應(yīng)用

IIrr農(nóng)業(yè)大學(xué)本科生課程論文論文題目 信息熵及其性質(zhì)和應(yīng)用學(xué)生專業(yè)班級(jí) 信息與計(jì)算科學(xué)09級(jí)2班學(xué)生學(xué)號(hào)20093992指導(dǎo)教師 吳慧完成時(shí)間2012年06月25日2012年06月25日課程論文任務(wù)書學(xué)生 指導(dǎo)教師吳慧 論文題目信息熵及其性質(zhì)和應(yīng)用 論文容（需明確列出研究的問(wèn)題）：研究信息熵的目的就是為了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解決現(xiàn)實(shí)生活中的問(wèn)題。文中介紹了信息熵的定義和性質(zhì)及其應(yīng)用。使我們對(duì)信息熵有跟深入的了解。資料、數(shù)據(jù)、技術(shù)水平等方面的要求：論文要符合一般學(xué)術(shù)論文的寫作規(guī)，具備學(xué)術(shù)性、科學(xué)性和一定的創(chuàng)造性。文字要流暢、語(yǔ)言要準(zhǔn)確、論點(diǎn)要清楚、論據(jù)要準(zhǔn)確、論證要完整、嚴(yán)密，有獨(dú)立的觀點(diǎn)和見(jiàn)解。容要理論聯(lián)系實(shí)際，計(jì)算數(shù)據(jù)要求準(zhǔn)確，涉及到他人的觀點(diǎn)、統(tǒng)計(jì)數(shù)據(jù)或計(jì)算公式等要標(biāo)明出處，結(jié)論要寫的概括簡(jiǎn)短。參考文獻(xiàn)的書寫按論文中引用的先后順序連續(xù)編碼。發(fā)出任務(wù)書日期06月15日 完成論文日期06月25日教研室意見(jiàn)（簽字）院長(zhǎng)意見(jiàn)（簽字） 信息熵及其性質(zhì)和應(yīng)用信息與計(jì)算科學(xué)專業(yè)指導(dǎo)教師吳慧摘要：信息熵是隨機(jī)變量不確定性的度量，文中從信息熵的定義出發(fā)，結(jié)合信息熵的性質(zhì)，介紹了目前信息熵在具體問(wèn)題中的應(yīng)用。信息是一個(gè)十分通俗而又廣泛的名詞，它是人類認(rèn)識(shí)世界、改造世界的知識(shí)源泉。人類社會(huì)發(fā)展的速度，在一定程度上取決于人類對(duì)信息利用的水平，所以對(duì)信息的度量就很有必要。香農(nóng)提出信息的一種度量，熵的定義形式，它是隨機(jī)變量不確定性的度量，文中主要介紹熵的性質(zhì)及其應(yīng)用。關(guān)鍵詞；信息熵性質(zhì)應(yīng)用InformationentropyanditspropertiesandApplicationStudentmajoringinInformationandComputingScienceSpecialtydongqiangTutorWuHuiAbstract：informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwidelynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.Keywords:informationentropy propertiesapplication

引言:作為一種通俗的解釋，熵是一種不規(guī)則性的測(cè)量尺度．這一種解釋起源于香農(nóng)在通訊理論的研究中，為確定信息量而提出的一種熵測(cè)度．對(duì)于離散概率分布p=(p,p…，p),香農(nóng)熵定義為H(X)=E[I()]=_Eplogp在1 n xi i ip1+p2+p3+…pk=1的條件下，為使H(X)最大，顯然是pi=1/k(i=1,2,…，k),即在等概率分布情況下H(X)達(dá)到最大值，換句話說(shuō)，熵的值與不規(guī)則度(如果以等概率分布作為不規(guī)則性的極端表現(xiàn))是一致的．這是熵作為一個(gè)概率測(cè)度的理論基礎(chǔ)．物理學(xué)的發(fā)展為熵理論提供了更為現(xiàn)實(shí)的應(yīng)用背景，熱力學(xué)的第二法則既是所謂熵增大的法則，對(duì)孤立的系統(tǒng)，系統(tǒng)的熱力學(xué)狀態(tài)只能假定在熵增大的方向上起變化，Boltzmann原理把熵引入了熱力學(xué)的研究領(lǐng)域，他所提供的著名關(guān)系式S=klogw(w是系統(tǒng)狀態(tài)的概率)是后來(lái)Planck的量變論及愛(ài)因斯坦的光量子理論開(kāi)展的基礎(chǔ)．人們對(duì)熵的認(rèn)識(shí)和應(yīng)用很長(zhǎng)一段時(shí)間都局限于理論物理領(lǐng)域，直到本世紀(jì)中葉，一些人開(kāi)始注意到熵對(duì)系統(tǒng)不確定性度量的一般性，試信息熵(entropy)信息熵(entropy)的概念設(shè)一個(gè)離散型隨機(jī)變量和它的概率分布為X

p(x)TOC\o"1-5"\h\z\o"CurrentDocument"x x …x x12 .+1\o"CurrentDocument"p p …p p1 2 nn+10<p<1, ￡p=1iii=1任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值，即I(%)i=-logp。自信息量I(%)是指某一信源X發(fā)出某一消息信號(hào)工所含有的信息量，ii i發(fā)出的消息不同，它們所含的信息量也就不同，因此自信息量是一個(gè)隨機(jī)變量，它不能用來(lái)作為整個(gè)信源的信息測(cè)度。香農(nóng)將平均自信息量定義為信息熵，簡(jiǎn)稱為熵。即H(X)=E[I()]=-Eplogp。%i i i二、信息熵的性質(zhì)1、對(duì)稱性：設(shè)某一概率系統(tǒng)中n個(gè)事件的概率分布為p,…,p，當(dāng)對(duì)事件位置的順序1n進(jìn)行任意置換后，得到新的概率分布為p/，…,p/，并有以下關(guān)系成立：1nH(p,…,p)=H(p/,…,p/)它表示概率系統(tǒng)中事件的順序雖不同，但概率系統(tǒng)的1n 1n熵值是不變的，即概率系統(tǒng)的熵與事件的順序無(wú)關(guān)。2、非負(fù)性：H(p1,”…p)-0q因?yàn)槊總€(gè)p<1,所以它們的以不小于1的數(shù)為底的對(duì)數(shù)是不大于零的。3、確定性：設(shè)信息系統(tǒng)中，任一事件產(chǎn)生的概率為1，則其他事件產(chǎn)生的概率為0。這是一種確定的系統(tǒng)，對(duì)于這樣的系統(tǒng)有小(1,0)二叫1,0,0)二叫1,0…,=)H=(1,0,0,…,0)=0若信源中只要有一個(gè)事件是必然事件，則其余事件為不可能事件。此時(shí)，信源中每個(gè)事件對(duì)熵的貢獻(xiàn)都為0，因而熵總為零。4、擴(kuò)展性：若集合X有n個(gè)事件，另一集合Y中有n+1個(gè)事件，但集合X和Y的差別只是多了一個(gè)概率近于零的事件，則兩個(gè)集合的熵值是一樣的。即一個(gè)事件

的概率和集合中其它事件相比很小時(shí)，它對(duì)于集合的熵值的貢獻(xiàn)就可以忽略不計(jì)。式子表達(dá)如下：LimH(p,p，….p,J=H(p,p，…，p)八n+112 n-8 n12 n￡-05、可加性與強(qiáng)可加性：(涉及到了兩個(gè)變量！)H(XY)為兩個(gè)隨機(jī)變量的聯(lián)合熵?？杉有裕篐(XY)等于X的無(wú)條件熵，加上已知X時(shí)Y的條件概率的熵的平均值，即條件熵11x.)log^——ip(yIx)jiH11x.)log^——ip(yIx)jiH(YIX)=Xp(x.)Xp(y.iji=1 j=1對(duì)于X與Y獨(dú)立的情況有：(強(qiáng)可加性)H(XY)=H(X)+H(Y)P(xy)=P(x)P(yIx)=p?pxxyH(XY)=-5mp(xy)logp(xy)=-藝pplogppnm ij ij iijiijTOC\o"1-5"\h\zi.j i.jn,m n,m=-5pplogp-5pplogpiiji iijiji.j i.j=-5n(logp)5mp(xy)-5np5mplogpi ij iijiji j ij=H(p,p，…p)+￡pH(p,p，…p)n1 2n imi1i2imi=1￡p=1p>0；5p=1p>0；i i ij iji=1 j=1

6、遞增性：（子集再劃分，第n個(gè)分為m個(gè)）Xp二1,Eq二pi jni=1 j=1TOC\o"1-5"\h\zH(p,p,…p,q,q,…q)=H(p,p,…，p,p)n+m-Xp二1,Eq二pi jni=1 j=1+pH(1,,…，L),nmpp pnn n按照定義證明：H(p)n+H(p)n+m-1n+m-1plog

ii=1=Xn-1plog

ii=11 +piXmqlog

ii=1Xplog-Xplog--pi=1i pi nlog——+p

pn

n工工logi=1pn11 X——q/ppinn=H+pH=H+pHnnm例題：計(jì)算H（二」336,6)=H=H(1,2)+2H(1,1)+2x1H(1,￡)33 3 22 32 22=H(1,2)+H(1,1)=1.918(bit/symbol)33 22

7、極值性：qqq可利用兩個(gè)引理證明；(以后再利用Jensen證明。)引理1：對(duì)于x>101<lnx<x—1H(P1，qqq可利用兩個(gè)引理證明；(以后再利用Jensen證明。)引理1：對(duì)于x>101<lnx<x—1引理2引理2：其中：h(p,p。，…p)?-Xp.logq.12q iii-1￡p.=1；Eq.-1iiii8、上凸性：H(pj，p2,^Pq)=H(P)是P的上凸函數(shù)即對(duì)于0<6<1，和兩個(gè)概率P，P12矢量，有：p pp pH(0P1+(1—e)P2)>6H(P1)+(1—e)H(P2)函數(shù)f的圖象幾何解釋:f(EP)總在Ef(P)上邊9、1證明離散平穩(wěn)信源有H4IXX)<H4IX/3I1、2 21)J,解：H431X1X)，試說(shuō)明等式成立的條件。)二-ZZZp(xx%p%2 123 311z2二二￡P(guān)(XX)￡P(guān)q|xx)logPq|xx)12 3112 3112-￡￡p(xx)￡p(xxx)iogp(xx)12 3112 312=H")31 2根據(jù)信源的平穩(wěn)性，有(X3|X2)=H(X2|X，因此有H(X3|X1X2)<H(X2|X)等式成立的條件是P(|xx)=PQ|x)3112 3129、2證明離散信源有h(XX…X12N)<H(X)+H(X)+H(X)+…H(X)，并說(shuō)明等式成立的條件。證明H(XX…X)=H(X)+H(XIX)+H(X|XX12N 1 212 311)+…H(XIXXX)2 N1 1 2N-1而H4IXXX)N1 1 2N-1二二￡???￡P(guān)(XX…X)logP12N二-￡￡…￡p(xx.12X1X2XN-1

二一乙乙…￡P(guān)(XX-??xN-1??XX1x=H(X)N即12XN-1N-1N')￡P(guān)"法P&XNXX…X)12 N-1|X1X…X|X1X2…XN-1 N)N-1h(X)<H(x)

211 2H(rlxx3112)<H(x)3代入上述不等式，有TOC\o"1-5"\h\zH(XX…X)<H(X)+H(X)+H(X)+…H(X)1 2N 1 2 3 N等號(hào)成立的條件是:xx--x )=pQ)12 N-1 NN-1xx…x )=p(x )N-112N-2 N-1p(xx)=pQ)9、3在連續(xù)信源中，根據(jù)差熵、條件差熵和聯(lián)合差熵的定義，證明h(X|Y) h(X)，當(dāng)且僅當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立；⑵h(XX…X)<h(X)+h(X)+…h(huán)(X)當(dāng)且僅當(dāng)入％X彼此統(tǒng)計(jì)1 2N 1 2 N N證明:(證明:(1)h(XY)=_Jp(y)iyjpC^ylogpCy'dx<-jp(y)iyjp(x|y|)logp(x)dx=-p=-p=h(X)(x,y)logp(x)dxdy等號(hào)成立當(dāng)且僅當(dāng)p(x|y) p(x)，即p(x,y) p(x)p(y)，因此僅當(dāng)XflY統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立?！環(huán)(…h(huán)(XIXXX)

n'1 2N-1h(XX…X)=h(X)+h(XIX)+h(X|XX1 2N 1 21 2 31 1 2根據(jù)(1)的結(jié)論，條件差熵小于差熵，因此有

TOC\o"1-5"\h\zh（XX…X）＜h（X）+h（X）+h（X）+…h(huán)（X）1 2N 1 2 3 N等號(hào)成立當(dāng)且僅當(dāng)p《ix）=pQ）211 2p&lxX）=pU3112 3XX…X ）=p（X）12 N-1 N即p（XX）=p（X）p（X）12 1 2p（XXX）=p（X）p（X）p（X）123 1 2 3p（p（XX???X12N）=p（X）p（X）.??p（X12 N9、4N維連續(xù)型隨機(jī)序列XX…X，有概率密度以及p(XX…X)以及12N1212NE般=mii時(shí)熵最大。)]=OJ。證明：當(dāng)隨機(jī)序列的分量各自達(dá)到正態(tài)分布并彼此統(tǒng)計(jì)獨(dú)立最大熵為Nlog2兀eC202E般=mii時(shí)熵最大。TOC\o"1-5"\h\z2 12N證明：h（XX…X）＜h（X）+h（X）+h（X）+…h(huán)（X）12N 1 2 3 N等號(hào)成立當(dāng)且僅當(dāng)各分量統(tǒng)計(jì)獨(dú)立。而對(duì)于任何一個(gè)分量而言，當(dāng)E[(X=m)]=o2時(shí)，高斯分布的差熵最大，為ii ih（X）=110g2兀eo2因此原序列差熵的最大值為：i2 ih（XX?…X）=110g2兀eo2+110g2兀eo2+???+110g2兀eo212N2 12 2 2N=N10g[2兀e(o2o2…o2)n12 12N9、5N維連續(xù)型隨機(jī)序列XX…X，其各分量幅度分別受限為1,b11 2N ii證明：當(dāng)隨機(jī)序列的分量各自達(dá)到均勻分布并彼此統(tǒng)計(jì)獨(dú)立時(shí)熵最大。最大熵為10g式（b-a）iii=1證明：h（XX…X）＜h（X）+h（X）+h（X）+…h(huán)（X）12N 1 2 3 N等號(hào)成立當(dāng)且僅當(dāng)各分量統(tǒng)計(jì)獨(dú)立。而對(duì)于任何一個(gè)分量而言，當(dāng)幅度分別受限為[,]iiab時(shí)，均勻分布的差熵最大，為h(X)=log(b-a)i ii因此原序列差熵的最大值為：h(XX…X)=log(-a)+log(b-a)h blog(b-a)12N 1 1 2 2 NN=logft(b—a)iii=1三、熵的應(yīng)用熵是信息理論中一個(gè)非常重要的概念，它是衡量一個(gè)隨機(jī)變量取值的不確定性程度。而就數(shù)據(jù)集合而言，熵可以作為數(shù)據(jù)集合的不規(guī)則程度的量度，所謂的不規(guī)則程度指的是集合中前后數(shù)據(jù)元素之間時(shí)序依賴關(guān)系的強(qiáng)弱。對(duì)一個(gè)具體的系統(tǒng)來(lái)說(shuō)，如果這個(gè)系統(tǒng)隨機(jī)性很大、非?；靵y、毫無(wú)秩序,則此系統(tǒng)的信息熵就一定很大。反之，如果一個(gè)系統(tǒng)是確定的、具有一定的規(guī)則、服從一定的秩序，則此系統(tǒng)的信息熵就一定小。因此,可以把信息熵引申應(yīng)用到對(duì)事物集合中一些相互對(duì)立性質(zhì)的量度,判斷事物集合中的有序與無(wú)序、確定性與隨機(jī)性、組織性與散漫性、規(guī)則性與雜亂性、簡(jiǎn)并性與多樣性,并對(duì)其相互對(duì)立的概念進(jìn)行量度。結(jié)合信息熵的性質(zhì)，它的應(yīng)用十分廣泛，在各個(gè)學(xué)科中都有它的影子。目前文獻(xiàn)息熵在具體問(wèn)題中的應(yīng)用有信息熵在教學(xué)質(zhì)量分析中的應(yīng)用，信息熵在學(xué)生評(píng)教結(jié)果分析中的應(yīng)用探析，信息熵在數(shù)據(jù)集分割中的應(yīng)用，信息熵方法及其在教育信息處理中的應(yīng)用，信息熵在缺陷漏磁信號(hào)量化中的應(yīng)用，信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應(yīng)用，信息熵在圖書分類決策中的應(yīng)用，信息熵在網(wǎng)絡(luò)流量矩陣估算中的應(yīng)用，信息熵在粗糙集信息檢索模型中的應(yīng)用，信息熵在導(dǎo)航傳感器故障診斷中的應(yīng)用研究，信息熵在工程造價(jià)風(fēng)險(xiǎn)分析中的應(yīng)用研究，信息熵缺陷漏磁信號(hào)量化中的應(yīng)用，信息熵在電子數(shù)據(jù)取證領(lǐng)域中的應(yīng)用，信息熵在圖書分類決策中的應(yīng)用，信息熵在網(wǎng)絡(luò)流量矩陣估算中的應(yīng)用，信息熵在粗糙集信息檢索模型中的應(yīng)用，信息熵在導(dǎo)航傳感器故障診斷中的應(yīng)用研究，信息熵在工程造價(jià)風(fēng)險(xiǎn)分析中的應(yīng)用研究