廣義信息熵的推廣與應(yīng)用

1、青 島 農(nóng) 業(yè) 大 學(xué)本 科 生 課 程 論 文論 文 題 目 廣義信息熵的推廣與應(yīng)用 學(xué)生專(zhuān)業(yè)班級(jí) 信息與計(jì)算科學(xué)09級(jí)02班 學(xué)生姓名（學(xué)號(hào)） （） 指 導(dǎo) 教 師 吳慧 完 成 時(shí) 間 2012年6月28日 2012 年 6 月 28 日課 程 論 文 任 務(wù) 書(shū)學(xué)生姓名 指導(dǎo)教師 吳慧 論文題目 廣義信息熵的推廣與應(yīng)用 論文內(nèi)容： 本文先介紹了Shannon 信息熵的定義，并對(duì)其進(jìn)行了一定的分析，介紹了它的一些基本性質(zhì)。其次，說(shuō)明Shannon 熵的局限性，以此引出了廣義信息熵。然后對(duì)常用的Renyi 熵、Tsallis 熵進(jìn)行討論，說(shuō)明它們與Shannon 熵的聯(lián)系。最后介紹了廣義熵

2、在實(shí)際生活中的應(yīng)用。 資料、數(shù)據(jù)、技術(shù)水平等方面的要求：論文要符合一般學(xué)術(shù)論文的寫(xiě)作規(guī)范，具備學(xué)術(shù)性、科學(xué)性和一定的創(chuàng)造性。文字要流暢、語(yǔ)言要準(zhǔn)確、論點(diǎn)要清楚、論據(jù)要準(zhǔn)確、論證要完整、嚴(yán)密，有獨(dú)立的觀點(diǎn)和見(jiàn)解。涉及到他人的觀點(diǎn)、統(tǒng)計(jì)數(shù)據(jù)或計(jì)算公式等要標(biāo)明出處，結(jié)論要寫(xiě)的概括簡(jiǎn)短。 發(fā)出任務(wù)書(shū)日期 2012-6-5 完成論文日期 2012-6-19 教研室意見(jiàn)（簽字） 院長(zhǎng)意見(jiàn)（簽字） 廣義信息熵的推廣與應(yīng)用 信息與計(jì)算科學(xué) 指導(dǎo)教師 吳慧摘要：本文先介紹了Shannon 熵，由Shannon 熵推廣到一般的廣義信息熵，使其適用范圍更廣。然后在Shannon 熵的基礎(chǔ)上介紹了兩種最常用的廣義信息

3、熵：Renyi 熵和Tsallis 熵，說(shuō)明了這兩種廣義信息熵的簡(jiǎn)單性質(zhì)，以及與Shannon 熵的聯(lián)系和性質(zhì)上的差異。最后介紹了廣義熵在實(shí)際生活中的應(yīng)用。關(guān)鍵詞：Shannon 熵；廣義信息熵；應(yīng)用The promotion and application of the generalized information entropyStudent majoring in Information and Computing Science ZhuMengTutor WuHuiAbstract：At the beginning of this article it introduced the

4、Shannon entropy.Then, it described the two most commonly used generalized information entropy: Renyi entropy and Tsallis entropy on the basis of the Shannon entropy.What is more,this article not only described the simple nature of the generalized information entropy but also described their contact

5、with the Shannon entropy as well as the different nature between them.Finally, it introduced the application of the generalized entropy in real life.Keywords: Shannon entropy; generalized information entropy; application引言：熵是信息論中的一個(gè)重要概念，對(duì)它的研究有十分重要的意義。進(jìn)入20世紀(jì)中葉，人們發(fā)現(xiàn)熵還可以用來(lái)描述信息，這就是信息熵。1948年，在貝爾電報(bào)電話公司工作的

6、應(yīng)用數(shù)學(xué)家Shannon（香農(nóng)，聲農(nóng)）發(fā)表了通訊的數(shù)學(xué)理論一文，成為信息論誕生的標(biāo)志1。目前，用得最多的熵函數(shù)是Shannon 熵。Shannon 熵的概念的提出對(duì)通信技術(shù)的發(fā)展具有深遠(yuǎn)的影響，但是它的應(yīng)用僅限于通信等一些很局限的領(lǐng)域而且香農(nóng)熵的概念在連續(xù)隨機(jī)變量下失去意義。為了彌補(bǔ)Shannon 熵的缺陷，統(tǒng)計(jì)學(xué)家對(duì)熵的定義作了很多推廣，形成了廣義信息熵。其中重要的是A.N.Kolmogorov在1958年引入的熵。熵不但解決了連續(xù)隨機(jī)變量下香農(nóng)熵定義推廣時(shí)的困難，而且導(dǎo)致率失真理論的建立。此外，A.Renyi在1961年時(shí)認(rèn)為香農(nóng)熵只是在編碼問(wèn)題中才是唯一可取的形式，在其他情況下其他信息度

7、量同樣可用甚至更好。Renyi具體提出所謂的階熵，香農(nóng)熵可以看成是階熵的一種極限形式因而被包括在階熵的概念之內(nèi)。自Renyi后J.Havrda在1967年提出熵，S.Arimoto在1971年提出熵，S.Guiasu提出了加權(quán)熵，B.D.Sharma和D.P.Mittal于1975年提出階次熵，C.Ferreri于1980年引入次熵2。這些熵在模糊集理論中有著重要的應(yīng)用。本文從Shannon 熵出發(fā)，討論了主要討論了Renyi 熵和Tsallis 熵這兩種廣義信息熵的性質(zhì)及其應(yīng)用。1 Shannon 熵及其性質(zhì)信息論所關(guān)心的是隨機(jī)變量的不確定性。顯然，隨機(jī)變量的不確定程度越高，我們從實(shí)驗(yàn)中可能

8、獲取的信息也就越多。我們知道隨機(jī)變量的不確定性與其概率分布有關(guān)，直觀看來(lái)，隨機(jī)變量的不確定程度并不一樣。如隨機(jī)變量X ，Y ，Z ，T 的概率分布分別為：，P(T = a) = 1顯然在這幾個(gè)分布中，不確定性從小到大依次為：T ，X ，Y ，Z 。對(duì)隨機(jī)變量T ，它是一個(gè)常量型隨機(jī)變量，不確定性為零，相應(yīng)的概率分布稱(chēng)為退化分布。Z 的不確定性最大，它服從等概率分布。那么，若W，則隨機(jī)變量W 的不確定性比Z 還要高。也就是說(shuō)，X，即隨機(jī)變量X 服從等概率分布時(shí)的不確定性最大，且當(dāng)M 增大時(shí)，不確定性也會(huì)增大。由上述可知，隨機(jī)變量的不確定性應(yīng)該是它的概率分布的一個(gè)函數(shù)，記之為H（X）=H（P）=H

9、（r1，r2，rM）。這三種表示方法是等價(jià)的，其中P是X 的概率分布。Shannon 指出，這樣的函數(shù)是存在的，并且應(yīng)該滿足以下性質(zhì)： 對(duì)稱(chēng)性：當(dāng)概率空間中 P(x 1 ), ) P(x 2 ) 序任意互換時(shí)，熵函數(shù)的值不變； 確定性：信源的輸出雖有不同形態(tài)，但是如果其中只有一個(gè)狀態(tài)是必然的，即其他狀態(tài)不可能出現(xiàn)，那么這個(gè)信源是一個(gè)確知信源，其熵為0； 非負(fù)性：H（X）0； 連續(xù)性：即H（r1，r2，rM） 是P（r1，r2，rM）的非負(fù)連續(xù)函數(shù)； 可加性：當(dāng)隨機(jī)變量的取值不是通過(guò)一次試驗(yàn)而是通過(guò)若干次試驗(yàn)最后才得到的，隨機(jī)變量在各次試驗(yàn)中的不確定性應(yīng)該可加，且其和始終與通過(guò)一次試驗(yàn)取得的結(jié)果

10、的不確定性相同； 遞增性：等概率分布時(shí)為變量的單調(diào)遞增函數(shù)； 極值性：離散無(wú)記憶信源輸出q個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)，信息熵最大，即：H（p1, p2,pq）H（）=logq 3。事實(shí)上，上面的七個(gè)性質(zhì)是非常容易理解的，不確定性當(dāng)然不能是負(fù)值，前面也已經(jīng)討論了等概率分布時(shí)的不確定性隨著隨機(jī)變量取值個(gè)數(shù)的增加而增大，各個(gè)不確定結(jié)果應(yīng)該可以相加?？梢宰C明出當(dāng)H（X）=H（P）=H（r1，r2，rM）滿足上述條件時(shí)，可唯一確定其形式：H（r1，r2，rM）=。上面定義的就是Shannon 熵。其c決定了熵的單位，當(dāng)c = 2,e，3，10時(shí)，單位分別為“比特”，“奈特”，“鐵特

11、”，“笛特”。一般我們都選擇c = 2，也就是比特(bit)為信息的度量單位。信息熵的定義使隨機(jī)變量的不確定性得到了量度，使信息論得到了空前的發(fā)展。而且，信息熵具有的凸函數(shù)性質(zhì)使得它特別適合作為優(yōu)化問(wèn)題中的目標(biāo)函數(shù)，這同時(shí)也為信息論概念和方法在除通信領(lǐng)域以外的其他領(lǐng)域內(nèi)的應(yīng)用提供了理論基礎(chǔ)，拓寬了信息論的應(yīng)用范圍。2 廣義信息熵由于香農(nóng)熵的概念在連續(xù)隨機(jī)變量下失去意義，并不能解決實(shí)際生活中的一些問(wèn)題，因此為了解決具體問(wèn)題，人們也提出了各種各樣的廣義熵。其中最重要的是1962 年Renyi 提出的Renyi 熵，在統(tǒng)計(jì)檢驗(yàn)和圖像處理中得到極大應(yīng)用；1988 年，Tsallis 在Boltzman

12、n-Gibbs(B-G)統(tǒng)計(jì)中引入了Tsallis 熵的數(shù)學(xué)表達(dá)式，Tq=，其中k 為Boltzmann 常數(shù)，是概率分布，滿足d = 1，q是非負(fù)參數(shù)，且，應(yīng)用到統(tǒng)計(jì)力學(xué)，衍生出Tsallis 統(tǒng)計(jì)。Tsallis 熵是建立在非廣延動(dòng)力學(xué)基礎(chǔ)上的，引入了非廣延系數(shù)q ，把熵的方法推廣到不具有可加性（子系統(tǒng)間影響顯著）的系統(tǒng)中。Tsallis 熵是一種新的信息度量方法，是Shannon 熵的擴(kuò)展，已經(jīng)應(yīng)用于圖像處理和其他信息處理技術(shù)中。下面介紹兩種廣義信息熵及其與Shannon熵的聯(lián)系與對(duì)比。1、Renyi 熵對(duì)任意概率分布P（r1，r2，rM），參數(shù)為q的Renyi 熵定義為4HR(r)=2

13、、Tsallis 熵對(duì)任意概率分布P（r1，r2，rM），參數(shù)為q的Tsallis熵定義為HT(r)=3、Renyi 熵、Tsallis 熵、Shannon熵的聯(lián)系當(dāng)參數(shù)q1時(shí)，Renyi熵與Tsallis熵都等同于Shannon熵，比如這里用到了=1及洛彼達(dá)法則5。當(dāng)參數(shù)q 1時(shí)，Renyi 熵與Tsallis熵有如下關(guān)系：HR=4、三種熵的性質(zhì)對(duì)比對(duì)于Renyi 熵來(lái)說(shuō)，它具備Shannon 熵的七個(gè)基本性質(zhì)。但是，對(duì)于Tsallis 熵則不滿足獨(dú)立可加性，它是最具有代表性的一種非廣延熵。也就是說(shuō)Tsallis 熵與Shannon 熵最顯著的區(qū)別在于可加性。設(shè)a和b為兩個(gè)獨(dú)立系統(tǒng)，則混合系

14、統(tǒng)a + b的Tsallis熵表示為HT（a+b）= HT（a）+HT（b）+6綜合以上兩種廣義熵的定義： 和HT(r)=其中q 0且q 1為一參數(shù)。易知當(dāng)q 1時(shí)，和 即為 ，因此，這兩種熵比Shannon 熵更具有普適性7。3 廣義信息熵在科學(xué)研究與實(shí)踐中的應(yīng)用廣義信息熵比Shannon 熵更具有普適性，這些廣義熵的概念及理論在其相關(guān)領(lǐng)域的科研與實(shí)踐中發(fā)揮著特別重要的作用，運(yùn)用信息熵概念及理論去揭開(kāi)生命遺傳物質(zhì)DNA遺傳密碼，便是典型的一例，這是大家所熟知的。在現(xiàn)代農(nóng)業(yè)系統(tǒng)的研究中，利用廣義信息熵，相應(yīng)的定義農(nóng)業(yè)系統(tǒng)熵為： S= （1）其中，G為單位面積上人工投入的物質(zhì)能量(可綜合折算)。

15、dH 為相應(yīng)的物質(zhì)勢(shì)能損失，即投入與產(chǎn)出的能量之差(無(wú)效地耗能部分)，用它來(lái)評(píng)價(jià)農(nóng)業(yè)生產(chǎn)的效率的優(yōu)劣，這比用傳統(tǒng)的評(píng)價(jià)方法更客觀、更理想8。在學(xué)校教學(xué)質(zhì)量評(píng)價(jià)體系上，方法之一是通過(guò)計(jì)算考試成績(jī)的平均分、標(biāo)準(zhǔn)差、整體的中位數(shù)與平均分的比值等來(lái)評(píng)價(jià)成績(jī)狀況、試題難易度與區(qū)分度等。但筆者認(rèn)為這些指標(biāo)還存在一定的片面性與局限性。也具有一定的經(jīng)驗(yàn)性，缺乏局部與整體的聯(lián)系。為克服這方面的不足，我們從統(tǒng)計(jì)熵概念出發(fā)，引入成績(jī)分布熵參與分析，可使評(píng)價(jià)更準(zhǔn)確、更全面、更客觀。定義： S=- 式中A為分析對(duì)象的總分?jǐn)?shù)，為設(shè)定區(qū)域的總分?jǐn)?shù)。當(dāng)分析某個(gè)班某科目成績(jī)時(shí)，A 為全班總成績(jī)，可以是每10分為間隔(或者間隔更

16、小)來(lái)計(jì)算各段的總分從而求出各段上的分布熵及總熵 實(shí)踐表明，若成績(jī)呈正態(tài)分布時(shí)， 值一般在1.51.7之間，當(dāng)S 1.2時(shí)，成績(jī)的概率分布趨于集中，說(shuō)明試卷的區(qū)分度小，或其它問(wèn)題。還可分析與比較各分?jǐn)?shù)段上的熵值，以了解具體的成績(jī)分布狀況。在某科目的統(tǒng)考成績(jī)?cè)u(píng)價(jià)上，仍可應(yīng)用(1)式，只是A 為各班成績(jī)總和，為各班成績(jī)，計(jì)算熵值可得出各班成績(jī)的定量比較。類(lèi)似的應(yīng)用還很多，熵概念的推廣，引發(fā)了許多新概念，如在研究生物進(jìn)化方面引入了生物熵；模糊數(shù)學(xué)中，為描述模糊度，引入了模糊熵；為描述和研究某量在空間中分布狀態(tài)的不均勻性或豐富程度，引入了物理場(chǎng)熵；還有像濃度場(chǎng)熵、溫度場(chǎng)熵、氣象學(xué)熵、經(jīng)濟(jì)熵等等。同時(shí)也

17、引發(fā)了許多新的交叉學(xué)科，如將熵理論引入生命科學(xué)理論，產(chǎn)生了生物熱力學(xué)和生物信息論兩個(gè)新的分支學(xué)科，在經(jīng)濟(jì)學(xué)領(lǐng)域，由于熵增原理為經(jīng)濟(jì)增長(zhǎng)的自然限界奠定了理論基礎(chǔ)，導(dǎo)致了熵經(jīng)濟(jì)學(xué)、環(huán)境經(jīng)濟(jì)學(xué)和資源物理學(xué)的形成。4 總結(jié)由于Shannon 熵自身存在的局限性，隨之產(chǎn)生了各種廣義熵，廣義熵在之后除自身的理論經(jīng)歷許多重要的發(fā)展之外，其概念和原理也正迅速向眾多學(xué)科滲透。全面理解各類(lèi)廣義熵的概念及其意義，對(duì)促進(jìn)熵理論在信息論、控制論、哲學(xué)、經(jīng)濟(jì)學(xué)甚至天體物理與相對(duì)論等學(xué)科領(lǐng)域中的應(yīng)用將有極大的意義。本文還存在不足之處：熵理論還是一個(gè)發(fā)展中的理論，本文僅僅介紹了其中兩種比較重要的廣義信息熵，然而除了這兩種廣義

18、信息熵外，還有其他很多形式的推廣；在廣義熵的應(yīng)用方面，僅僅引入了成績(jī)分布熵的概念，沒(méi)有具體的實(shí)例驗(yàn)證，因此本文還有待進(jìn)一步完善與補(bǔ)充。參考文獻(xiàn)：1 沈世溢，吳忠華. 信息論基礎(chǔ)與應(yīng)用M. 北京：高等教育出版社，20042 葉中行. 信息論基礎(chǔ)M. 北京：高等教育出版社，20043 朱雪龍. 應(yīng)用信息論基礎(chǔ)M. 北京：清華大學(xué)出版社，20014 Renyi A. Foundations of Probability M. San Francisco: Holden-Day Inc, 19705 Tsallis C.Possible generalization of Boltzmann-Gibbs statistics J. J.Stat.Phys,1988, 52:479-4876 Tsallis C. Mendes R S, Plastino A R. The role of constraints within generalized nonextensive statistics J. Physical A, 1998, 261: 534-5547 Tsallis C. Nonextens