最大信息熵原理

—* JB大信息館腺理 —熱力學統(tǒng)計物理中有熵增加原理，在信息論中也有對應的關于信息熵的著名定理――最大信息熵原理。在很多情況下，對一些隨機事件，我們并不了解其概率分布，所掌握的只是與隨機事件有關的一個或幾個隨機變量的平均值。例如，我們只知道一個班的學生考試成績有三個分數(shù)檔：80分、90分、100分，且已知平均成績?yōu)?0分。顯然在這種情況下，三種分數(shù)檔的概率分布并不是唯一的。因為在下列已知條件限制下P1*80+P2*90+p3*100=90（平均成績）P1+P2+P3=1（概率歸一化條件）有無限多組解，該選哪一組解呢？即如何從這些相容的分布中挑選出“最佳的”、“最合理”的分布來呢？這個挑選標準就是最大信息熵原理。按最大信息熵原理，我們從全部相容的分布中挑選這樣的分布，它是在某些約束條件下（通常是給定的某些隨機變量的平均值）使信息熵達到極大值的分布。這一原理是由楊乃斯提出的。這是因為信息熵取得極大值時對應的一組概率分布出現(xiàn)的概率占絕對優(yōu)勢。從理論上可以證明這一點。在我們把熵看作是計量不確定程度的最合適的標尺時，我們就基本已經(jīng)認可在給定約束下選擇不確定程度最大的那種分布作為隨機變量的分布。因為這種隨機分布是最為隨機的，是主觀成分最少，把不確定的東西作最大估計的分布。任何物質系統(tǒng)除了都受到或多或少的外部約束外，其內(nèi)部總是具有一定的自由度，這種自由度導致系統(tǒng)內(nèi)的各元素處于不同的狀態(tài)。而狀態(tài)的多樣性，狀態(tài)的豐富程度（混亂程度、復雜程度）的定量計量標尺就是熵，熵最大就是事物狀態(tài)的豐富程度自動達到最大值。換句話說，事物總是在約束下爭?。ɑ虺尸F(xiàn)）最大的自由權，我們把這看作是自然界的根本原則。在給定的約束條件下，由最大信息熵原理求“最佳”概率分布，就是求解條件極值問題。在某些場合，常用拉格朗日乘子法來確定此分布。一般地，拉格朗日乘子法的法則可敘述如下：欲求n元函數(shù)（X、,，…，x）在m個血5約束條件2 n&（獨吃=a＜他（心冷…?兀）=D （6）_為舗居，…衛(wèi)J=D下的條件極值，可用常數(shù)1,仏九，…，九依次乘f,仇嘰…嘰把結果加起來，得函數(shù)廳〔兀花，…，兀）=f+^+^+'"+aA

然后列出%也??用無約束條件時具有極值的必要條件然后列出%也??用無約束條件時具有極值的必要條件7）這n個方程（7）與m個方程（6）聯(lián)立解出n+m個未知數(shù)x1，x2，?，x，。而其中x1，x2，?，x就是可能為極值點的坐2n12n標，稱為駐點。從信息論中發(fā)展起來的最大信息