信息論與編碼論文

1、電子測量論文論文題目:學 院:論文題目:學 院:年 級:專 業(yè):論最大熵原理及其應用 電子工程學院2011 級電子信息工程姓 名:任課教師:2014年6月17日目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 目錄 2 HYPERLINK l bookmark4 o Current Document 摘要 3 HYPERLINK l bookmark6 o Current Document 引言 4 HYPERLINK l bookmark8 o Current Document 第一章 信息熵的概念 5 HYPERLINK l

2、 bookmark10 o Current Document 第二章 最大熵原理 6 HYPERLINK l bookmark12 o Current Document 第三章 最大熵原理的合理性 7 HYPERLINK l bookmark14 o Current Document 第四章 最大熵原理在實際中的應用 8 HYPERLINK l bookmark16 o Current Document 最大熵原理在水文水資源科學中的應用 9 HYPERLINK l bookmark18 o Current Document 最大熵原理在投資項目風險分析中的應用 10 HYPERLINK l

3、bookmark20 o Current Document 最大熵原理在地震重現(xiàn)關系上的應用 11 HYPERLINK l bookmark22 o Current Document 最大熵原理在災害損失分析中的應用 11 HYPERLINK l bookmark24 o Current Document 結論 12 HYPERLINK l bookmark26 o Current Document 參考文獻： 12摘要熵是源于物理學的基本概念，后來Shannon在信息論中引入了信息熵的 概念，它在統(tǒng)計物理中的成功使人們對熵的理論和應用有了廣泛和高度的重 視。最大熵原理是一種在實際問題中已得到

4、廣泛應用的信息論方法。本文從 信息熵的概念出發(fā)，對最大熵原理做了簡要介紹，并論述了最大熵原理的合 理性，最后提及它在一些領域的應用，通過在具體例子當中應用最大熵原理， 展示該原理的適用場合，以期對最大熵原理及其應用有更深刻的理解。關鍵詞：熵；信息熵；最大熵原理；不適定性問題引言科學技術的發(fā)展使人類跨入了高度發(fā)展的信息化時代。在政治、軍事、經 濟等各個領域，信息的重要性不言而喻，有關信息理論的研究正越來越受到重 視，信息論方法也逐漸被廣泛應用于各個領域。信息論一般指的是香農信息論，主要研究在信息可以度量的前提下如何有 效地、可靠地、安全地傳遞信息，涉及消息的信息量、消息的傳輸以及編碼問 題。19

5、48 年 C.E.Shannon 為解決通信工程中不確定信息的編碼和傳輸問題創(chuàng)立 信息論，提出信息的統(tǒng)計定義和信息熵、互信息概念，解決了信息的不確定性 度量問題，并在此基礎上對信息論的一系列理論和方法進行了嚴格的推導和證 明，使以信息論為基礎的通信工程獲得了巨大的發(fā)展。信息論從它誕生的那時 起就吸引了眾多領域學者的注意，他們競相應用信息論的概念和方法去理解和 解決本領域中的問題。近年來，以不確定性信息為研究對象的信息論理論和方 法在眾多領域得到了廣泛應用，并取得了許多重要的研究成果。迄今為止，較 為成熟的研究成果有:A.N.Kolmogorov在1956年提出的關于信息量度定義的三 種方法概率

6、法，組合法，計算法； A.N.Kolmogorov 在 1968 年闡明并為 J.Chaitin 在 1987 年系統(tǒng)發(fā)展了的關于算法信息的理論。這些成果大大豐富了 信息理論的概念、方法和應用范圍。在信息論中，最大熵的含義是最大的不確定性，它解決的一大類問題是在 先驗知識不充分的條件下進行決策或推斷等。熵方法在譜估計、圖象濾波、圖 象重建、天文信號處理、專家系統(tǒng)等中都有廣泛的應用。最大熵原理在實際問 題中的應用近年來一直在不斷地發(fā)展。第一章 信息熵的概念信息熵是將熵概念成功地擴展到信息科學領域。熵是描述客觀事物無序性 的參數(shù)，它最早是由 R.Clausius 于 1865 年引入熱力學中的一個

7、物理概念，通 常稱之為熱力學熵。后來 L.Boltzmann 賦予熵統(tǒng)計意義上的解釋，稱之為統(tǒng)計 熱力學熵。1929 年，匈牙利科學家 Lszilard 首先提出了熵與信息不確定性的關 系，使信息科學引用熵的概念成為可能。1948年，貝爾實驗室的C. Shannon創(chuàng) 立了信息論，熵的概念有了新的解釋，香農認為信息是人們對事物了解的不確 定性的消除或減少 ，他把通訊過程中信源訊號的平均信息量稱為信息熵，現(xiàn)在 一般稱之為香農熵，實現(xiàn)了信息熵的實際應用，從此對信息熵的研究，隨著信 息科學的發(fā)展而得到不斷的發(fā)展。香農將隨機變量X的信息熵定義為：H (X)=蘭 p log pnn n=1式中，p為X

8、= x的概率分布，n=1,2,，N；當對數(shù)底數(shù)取2時，信息熵 nn的單位為bit/sign；取自然對數(shù)時，單位為nat/sign；取常用對數(shù)時，單位為 hart/sign。它代表了信源輸出后每個消息所提供的平均信息量，或信源輸出前 的平均不確定度。信息熵的定義使隨機變量的不確定性得到了量度，使信息論 得到了空前的發(fā)展。而且，信息熵具有的凸函數(shù)性質使得它特別適合作為優(yōu)化問題中的目標函 數(shù)，這同時也為信息論概念和方法在除通信領域以外的其他領域內的應用提供 了理論基礎，拓寬了信息論的應用范圍。第二章 最大熵原理香農提出的信息熵的概念很好地解決了隨機事件的不確定性程度的度量問 題，但沒有解決隨機事件的

9、概率是如何進行分配的問題。設想有一個可觀測的 概率過程，其中的隨機變量X取離散值X，x，x，如果從觀測的結果知道1 2 n了這個隨機變量的均值、方差等特征值，怎樣才能確定它取各離散值的概率P，1P2， P 呢？在項目決策實際中，有些隨機事件不能直接計算其概率，也無法 P2知道其頻率，通常只能取得與該隨機事件（或隨機變量）有關的一個或幾個平均 值，從理論上講，對于給定的隨機變量，如何獲取最為合適的一個分布呢？1957年，E.T.Jaynes在“信息論與統(tǒng)計力學”一文中，提出一個選擇準則:“當根據(jù)部分信息進行推理時，必須選擇這樣一組概率分配，它應具有最大的 熵，并服從一切已知的信息。換言之，在只掌

10、握部分信息的情況下要對分布做 出推斷時，符合已知信息的概率分布可能不止一個，而我們應該選取符合約束 條件但熵值取最大的概率分布，這是我們可以做出的唯一的不偏不倚的選擇， 任何其他的選擇都意味著我們添加了其他的約束或假設，這些約束或假設根據(jù)我們所掌握的信息是無法做出的。E.T.Jaynes建立的這一統(tǒng)計推理準則，被稱為最大熵原理，或者極大熵準則。它為我們如何從滿足約束條件的諸多相容分 布中，挑選“最佳”、“最合理”的分布提供了一個選擇標準。盡管這個準則在 性質上也有主觀的一面，但卻是一個最“客觀”的主觀準則。因為，我們知道， 熵定義的實際上是一個隨機變量的不確定性，熵最大的時候，說明隨機變量最

11、不確定，換句話說，也就是隨機變量最隨機，對其行為做準確預測最困難。熵 值最大意味著添加的約束和假設最少，這時求出的分布是最自然、偏差最小的。第三章 最大熵原理的合理性最大熵方法對于構造概率密度函數(shù)來說，是一種有價值的方法。按照極大 熵準則，人們應該挑選在一定約束下（常常是某些與隨機變量有關的平均值）使 得熵（或條件熵）能極大化的那種分布作為選定的分布。使用這個準則，先驗信 息（已知數(shù)據(jù)）將構成求極值的問題的約束條件。由最大熵準則得到的概率分布 稱為最大熵分布。應用最大熵準則構造先驗概率分布有如下優(yōu)點：首先，最大熵的解是最超 然的，即在數(shù)據(jù)不充分的情況下求解，解必須和己知的數(shù)據(jù)相吻合，而又必須

12、對未知的部分做出最少的假定；其次，根據(jù)熵集中原理，絕大部分可能狀態(tài)都 集中在最大熵狀態(tài)附近，因此，用最大熵法所做出的預測是相當準確的；第三 用最大熵法求得的解滿足一致性要求不確定性的測度（熵）與試驗步驟無關。 最大熵方法的這一寶貴性質來源于推導熵函數(shù)的合成法則。用最大熵準則設立先驗分布的理論根據(jù)由 S.A. Smith 從數(shù)學上進行了證 明，其思路是把隨機性決策問題作為對策問題看待，即自然界選擇一狀態(tài)的分 布使期望損失極大，而決策人選擇一決策使此期望損失為極小，推導出在損失 函數(shù)的集為適合特定條件的理想集的情況，這個極小化極大解的確能導致一概 率分布適合最大熵準則。第四章 最大熵原理在實際中的

13、應用在數(shù)學、物理、工程技術及其它領域中，常常要根據(jù)測量的數(shù)據(jù)，所給的 條件或所作的假設求解。對于求解，通常關心三個問題：存在性、唯一性和穩(wěn) 定性。如果這三個要求中至少有一個不滿足，則認為是“不適定性問題”，對于 此類問題，最大熵原理是有效方法之一。譬如，地球物理學中利用地震勘探法 確定地層構造，射電天文學中利用無線電干涉儀獲取星空圖像，計算機層析術 中利用掃描投影數(shù)據(jù)構造斷層圖像，語音識別和語音編碼中根據(jù)語音信號估計 聲道參數(shù)，圖像處理中對散焦或目標位移造成的蛻化圖像進行復原，雷達及聲 納中根據(jù)接收信號進行功率譜估計，數(shù)字通信中對信道畸變帶來的符號間串擾 進行盲目均衡等不適定性問題的解決通常采

14、用基于最大熵原理的最大熵估計 法?！安贿m定問題”是求解時由于數(shù)據(jù)不完全或有噪聲，或兩者兼有，使掌握 的數(shù)據(jù)不足以推求該問題的確定解，其中包括所測得的數(shù)據(jù)求解時所給定的條 件或假設。在“不適定問題”的所有的可行（可能）解中，應選其中熵值最大的 一個解。因為熵最大意味著對由于數(shù)據(jù)不足而作的人為假定 （人為添加信息）最 小，從而所獲得的解是最合乎自然、最為超然、偏差最小的。統(tǒng)計物理中一些 有名的分布已被證明都是在若干類似上述的約束條件下使熵或微分熵最大的分 布。例如，統(tǒng)計力學中氣體分子速度的分布是能量受約束下的最大熵分布，大 氣層空氣密度隨高度的分布是在平均勢能受約束下的最大熵分布等。從熵作為 不確

15、定程度的度量來看，此時的解包含的主觀成分最少，因而是最客觀的。自 1957 年 Jaynes 提出這一原理以來，這一原理先后在統(tǒng)計力學、統(tǒng)計學、運輸工 程、排隊論、計算機系統(tǒng)建模、系統(tǒng)仿真、生產決策、股市分析等領域得到應 用，特別是在信號處理領域，最大熵原理成為譜估計或圖像復原中的主要方法。最大熵原理在水文水資源科學中的應用水文水資源科學從本質上看，是一門有關水信息（采集、傳輸、整理、分析、 研究）的學科?，F(xiàn)有的大量研究成果表明：最大熵原理在水系統(tǒng)頻率分析、水文 時間序列譜分析、水文水質觀測站網(wǎng)的布設評估、水模型的研建評價、水文預 報與預測、水力學、河流地貌學、水利風險分析及水環(huán)境工程等方面具

16、有廣泛 的應用。在水系統(tǒng)中應用最大熵原理最多的是水文頻率分析研究，推導水文隨機變 量的概率分布和參數(shù)估計兩個方面7。在水文頻率分析研究中，由于無法從概 率論理論直接推導出水文變量的先驗分布，一般只能是依據(jù)觀測數(shù)據(jù)，通過統(tǒng) 計來推求近似的后驗分布。然而水文變量現(xiàn)有的觀測數(shù)據(jù)十分有限，遠不足以 推求概率分布。這是一個典型的不適定性問題。1972年，J.O.Sonuga首次將最 大熵原理應用到水文頻率分析中，推導了基于有限數(shù)據(jù)的小偏差的正態(tài)分布以 進行頻率分析，只需均值和標準差作為先驗信息。研究證明，基于最大熵原理 推導頻率分布，人為偏差最小，所得的結果最客觀，合乎自然。另一方面，由 于導出的分布僅

17、有的參數(shù)是以約束方程組形式表達，得出的分布的函數(shù)形式是 無限制的，也可對假定的有參概率分布函數(shù)根據(jù)樣本數(shù)據(jù)作參數(shù)估計，若考慮 到樣本數(shù)據(jù)所含的可觀的抽樣誤差，則參數(shù)估計仍舊適用最大熵原理的不適定 問題。另外，水文/氣象時間序列分析經常遇到確定周期等問題，而譜分析方法具有低分辨率，選擇自相關函數(shù)最大時滯的主觀性不足。最大熵譜分析則具有頻譜短且光滑、分辨率高等獨特優(yōu)勢。1967年，J.P.Burg首次將最大熵原理用于 頻譜分析，利用信息論的觀點提出了外推方式：在觀察時間內估計值等于觀察 值；在觀察時間之外的取值不做任何假定，即保持最隨機、最不確定性，也就 是使得熵為最大。從而得到一種新的非線性譜估

18、計法，即最大熵譜分析法。1980 年，A.R.Rao等比較了譜分析中的幾種新近發(fā)展的方法，表明最大熵譜分析方法 在水文時間序列的分析中是非常有效的?？傊?，在水文水資源科學領域中的許多問題，最大熵原理是一種前景看好 的解決問題的新途徑。最大熵原理在投資項目風險分析中的應用由于投資項目的未來與目前的預測不可能是完全一致的，因此對項目偏離 預期目標的程度和發(fā)生偏離的概率的分析是十分必要的，也是投資人在項目決 策時最為關心的。通過對各種投資項目風險分析技術的對比研究中得出結論， 只有概率分析法能夠直接用于定量描述各種風險因素對投資項目評價指標的影 響并得出評價指標的概率分布。但由于受解析法與蒙特卡羅模

19、擬技術本身局限 的制約，其使用范圍以及使用效果受到一定影響。為了彌補概率分析方法在投 資項目風險分析中的不足，結合前人對熵的研究成果，一種新的風險分析方法 基于最大熵原理的投資項目風險分析越來越受到人們的重視，研究證明該 風險分析方法具有絕對的可行性和有效性。眾所周知，風險是與不確定聯(lián)系在 一起的，由于信息熵是度量、處理、分析系統(tǒng)不確定性的一個有效工具，風險 決策中又存在眾多不適定性問題，最大熵原理在風險分析和風險管理領域中的 應用具有廣闊的天地。最大熵原理在地震重現(xiàn)關系上的應用在地震危險性分析中,綜合以往地震發(fā)生的信息所用的最普通方法是建立 地震重現(xiàn)關系。這個關系把震源的某一參數(shù)（如震級或烈

20、度）與相應的地震發(fā)生次數(shù)聯(lián) 系起來。比如說,已知某震源在過去五十年中地震發(fā)生的信息,要想歸納這信息, 最常用的方法就是建立其重現(xiàn)關系。最大熵原理首先可用于推導地震發(fā)生的時 間間隔的分布，其次通過計算各震級地震次數(shù)、累加地震次數(shù)以及概率密度函 數(shù)可以看出最大熵法都顯著地與實際數(shù)據(jù)吻合得很好，這一方法得到的重現(xiàn)關 系是與現(xiàn)有信息完全一致的，因而是偏差最小的。最大熵原理在災害損失分析中的應用災害是一種隨機事件，它以最無序的方式在各地發(fā)生，意味著災害熵達到 了最大值，因此可以用最大熵原理來確定一個地區(qū)一定時段內災害損失系列的 分布。研究結果表明，根據(jù)最大熵原理估計的災害損失概念明確，便于應用。 因為一個地區(qū)未來災害的發(fā)生有其重復性，因而根據(jù)該區(qū)歷史災害損失系列估