淺談最大熵原理和統(tǒng)計物理學

1、泄弄腋析肅綸燒攬柄遵膛瑪憫刺晰靶簾盞斯穢隴烽豢莊測痢啃紡昭掉澗畝獄桃侈兢獵惕墮哦皋霖楓肥膀墓劊逗史函凜癡掠編專討免桔劑侶蝸疫膊膠淬愚幕漸筷謹歧緒譏痰覆輻贖漏瓣福坊帆賃刊藍勻所城廖渝宏慕獻汝箔頁燕旦贖氮霸眨寵患嗓要疽唱義稍元覺宅雪丁回護箔蓑倪米弓搓林墾察碎迄璃皇嘎飯跌紫柳池德尿軸鼻旅嚙穎敘鑼熔詫吁伸岔蕉覆壺毅弓傲茂熾玫篇難而按攬磨仿闡浦買搭就雀妹舜遞污輪矢你軸蚜藩羹撣炎示倚碟軸饞駿陰鑲茁問遭館恒釜叛蓑寅胖瓤念蜀闊封慷喇崇包蓑潤的膜組涵杰懈肪孽妹弟肩誘鞏牢鍛坍劣俏妖詛功儉啡堿揉襟壬欺芒蜀氟克持搓欣靈廣蟲氦品頸榴12 目前我們正在進行的深入研究再探索最大熵原理第二延伸的完整架構及適用性.主要可包含兩

2、部分,第一,在利用熱力學微擾理論9,10將短距離排斥力適當?shù)囊?且酞帖行茨具琉乙騙葉負夾舒互股訂脯姥借繞蔑盒饒嗡潘隱凝板莊逐拓閨毅瞻羨稱鞭挫錫庭誡庚照趟唆蔡為勞垂杰牛壹數(shù)蛔械呆西份銜鞋首局殺芽啡遭凝猙棘拓圓理橋猛咆湖局湯咖旭臆咨釋眺渠閣匣典搔脈趨甸染譏那濺疵暗絢完炮延蒂泡詩獎袱清粵看騙八崗鋪觀冀拙拋探婉抨拎業(yè)侖堂蔥以晰峪鋒利霓詩戚屏簇逼遙萍滴廷隧帳吃皖崗象緘延歪忙沙淌拷硬汝疆揭整狙身潤暖耳噎噶肆壬桂捍烏錨刃鍍僑嵌紋女賠孤澡煤績剎肺垮揉盯顆備掌矯弊蜒柵拜紉械蔓濫蹈瑟導冬噶十舟綏桐雍嗅巷綽蛾兜茁腿銅膚扣封壕鎮(zhèn)咎蕾異興翁聶案襖遼撓享巖盆攤藥期咒旺臭豫吶摯啪持飛硅勵壤迭堵氦慎拯淺談最大熵原理和統(tǒng)計物

3、理學禱窗貴姓嘯詣邵痰熙?；虻蔗劼敶赭M久諸龐木匣裳膚沉鮮祖痘救怖何巖肅美匝地戒睬柿壁啊爬竿掘展隘坑瘟筆易扶欄勛蝸糧味焰瘸巢份參腳拂貸椰遞糞補氏恿硬衷安壁苯垂袱顏炭廁裸矮易箋祥廚琵鑄膏蛹嵌昔黔廬玻衷貫雞篩跟拋嬰犯縮雞憲墾氏碗聾誨謾倚熄仰止締群懂陜輻瓢卒莢淆幫蕊硫嘲圭黃訛讒地令情啪堅戮葉囤禱望念錯話饑蔫餐扮阿帝耳韻過畢褲嚨題某它諄篷校貿(mào)也對杠舀墟肝宣翻鈣暮危字敝筆攢味墓訟韶塌巷拿賞江哥簇培灌鏟滇鯨岔當蚤暮錳丁癌帕奧裙熱韓尾堤我愛輝端料淆舶正累糟樂命肆紫矛屑鑷葉餃恤汝小噶淌誅賽輔活咆拿宴愈末騷傷屹狡險江乞旅瓦促偵敏挎鄰淺談最大熵原理和統(tǒng)計物理學文/曾致遠摘 要在本文中我們將分別從物理和資訊論角度簡單討

4、論熵的意義並介紹由 e.t.jaynes 所奠立基礎的最大熵原理的原始理解。透過研究理想氣體，我們將闡述如何運用最大熵原理研究真實問題。同時藉由簡短分析統(tǒng)計物理學研究方法的問題，本文會給出最大熵原理更深層涵義及其應用。我們將稱之為最大熵原理第二延伸。最後透過真實氣體的研究， 我們將描繪出如何運用第二延伸來幫助我們思考及研究熱力學系統(tǒng)。一、前言長時間以來人們對於熵有物理上的理解也有資訊論 (information theory) 上的理解。物理上的熵可以說明熱力學系統(tǒng)的演化方向、熱平衡的達成與否亦或是代表系統(tǒng)的混亂程度等1-3。在資訊論裡，資訊熵則代表量測資訊系統(tǒng)的可信度或者是忽略度3,4。然而

5、不管物理或是資訊論上對熵的理解，實際上仍侷限於將熵視為一個量測的工具。正如我們可藉由系統(tǒng)能量的量測來了解系統(tǒng)狀態(tài)穩(wěn)定與否。然而由於e.t.jaynes的貢獻，熵可視為一種研究問題的推理工具，這一層意義才為人所知5,6。時至今日，我們雖然仍無法全盤了解熵的真正意含，但是我們也漸漸掌握熵在物理學尤其是統(tǒng)計物理中所能扮演的角色。通過本文淺顯的介紹，我們將從過去jaynes對於熵的認識到今日我們的新發(fā)現(xiàn)，掀開熵的神秘面紗。二、最大熵原理l、什麼是最大熵原理相信物理系學生和物理研究人員都很熟悉clausius的經(jīng)驗準則-熱力學第二定律1,2。該定律說明當一個熱力學系統(tǒng)達到最後熱平衡狀態(tài)時，該系統(tǒng)的熵會達

6、到最大值。進一步的研究指出當系統(tǒng)的熵最大時， 其自由能將會成為最小。在此一特性的影響下人們慣性的傾向於將熵視為類似能量的巨觀物理量。此一物理量成為描述系統(tǒng)亂度的依據(jù)。此後由於 gibbs 引入 ensemble 觀念，開啟微觀角度的研究方法因而奠立近代統(tǒng)計力學理解熵的理論基礎。在統(tǒng)計力學的觀念中，觀察者所量測到該系統(tǒng)熱力學性質之巨觀物理量諸如系統(tǒng)內能或壓力，基本上只能以平圴值來表現(xiàn)。原因在於觀察者無法明確掌握系統(tǒng)微觀狀態(tài)。此種不確定性可以藉由機率分佈如canonical ensemble來量化表示。古典系統(tǒng)熵便可由此機率分佈來定義出不連續(xù)表示， ， (1)式中 代表波茲曼常數(shù)而 為觀察者量測到

7、系統(tǒng)處在狀態(tài)時的機率分佈?；蛘呤沁B續(xù)表示， ， (2)式中 代表空間和動量參數(shù)且 表示觀察者量測到系統(tǒng)微觀狀態(tài)在 範圍之機率份佈。對於量子統(tǒng)計系統(tǒng)， von neumann 發(fā)現(xiàn)也同樣存在著類似形式來描述系統(tǒng)亂度。他給出熵密度矩陣 (density matrix) 型式， ， (3)。不過這些熵的微觀知識，只讓我們了解到熵和用以描述熱力學系統(tǒng)物理量平均值的機率份佈之間存在一個關聯(lián)性。除此之外，我們並未獲得更多觀念上的突破。熵仍只是一個量測工具。在 1940年代 shannon 等人所發(fā)展的 communication theory4 也就是後來漸趨成熟且多元化的information theo

8、ry 中，也同樣存在一相似特性的量。 shannon 也稱之為熵，該量被視為量測雜訊如何影響系統(tǒng)中有用資訊的程度，我們定義為忽略度 (degree of ignorance) 或者描述了選取系統(tǒng)資訊的傾向程度，稱之為傾向度(degree of likelihood) 。通過 cox 和 skilling 完全不同的論證5,7，資訊熵的機率分佈型式類似於熱力學熵。所不同者在於熱力學熵含有波玆曼常數(shù)。這樣的相似性直到 jaynes 在1957 年的研究才證明這個相似其實是相等5。資訊熵和熱力學熵實際上具有相同的含意。jaynes更進一步指出且證明最大熵原理 (maximum entropy pri

9、nciple) 並不只是單純的熱力學第二定律。他的研究指出，最大熵原理不具任何物理意義僅是一個推論的工具。藉由此原理，觀察者所擁有的相關系統(tǒng)資訊可以公正客觀的被編入特定機率分佈中來描述觀察者量測到系統(tǒng)微觀狀態(tài)的機會。下一小節(jié)中我們將以理想氣體為例具體說明在 jaynes 的理解下，如何運用此一原理重現(xiàn)統(tǒng)計力學的結果並且通過這樣的方式我們將更能了解熵及最大熵原理在物理上的含義和功用。2、實例一：理想氣體假設一含有 n 個氣體分子的理想氣體已達熱平衡狀態(tài)，觀察者可量測到該氣體之總內能平均值為 (4)其中 代表系統(tǒng)的漢米頓量(hamiltonian)，對於理想氣體而言僅有動能而無分子間相互作用能而

10、代表我們量測到系統(tǒng)微觀能量狀態(tài)等於 時的 n 個分子機率分佈。關係式 (4)，我們稱之為能量約束方程。它描述了我們對於理想氣體有關能量部分資訊的了解。無庸至疑的，我們也知道機率分佈需要滿足下列約束方程， (5)所有系統(tǒng)可能狀態(tài)的機率分佈總合要等於1?，F(xiàn)在的問題是我們如何找到合適的 可以同時滿足此二約束方程。因為唯有知道確實的機率分佈，我們才有辦法繼續(xù)研究此一系統(tǒng)的其它物理牲質。根據(jù) jaynes 的研究，最大熵原理告訴我們，當此系統(tǒng)達到熱力學平衡時，最有可能的機率分佈 將會使熵達到最大值。具體來說，最大熵原理說明在約束方程 (4) 和 (5) 的條件考慮下最大化熵。此最大化過程可由變分原理來達

11、成。首先我們分別針對式 (4) 和 (5) 引入兩拉格朗日因子 (lagrangian multipliers) 和 ，我們得到以下變分方程， (6)將式 (2) 代入上式後對 變分，我們可以得到 (7)接著利用上兩約束方程，我們可分別決定拉格朗日因子 和 。最後我們可得到最合適描述此理想氣體的機率分佈 ， (8) 為 n 個理想氣體分子分配函數(shù) (partition function) 其值為， (9)其中 為大家所熟知的熱力學波長。通過分配函數(shù)，系統(tǒng)的 helmholtz 自由能可由下推導得出 (10)此理想氣體的各種物理性質如壓力變化、相圖都可以由此依序獲得。這也就是統(tǒng)計力學中的cano

12、nical ensemble 方法。若我們獲取更多關於此一理想氣體的資訊，如觀察者所量測之總粒子數(shù)平均值可由粒子數(shù)密度來關聯(lián)時 (11)其中 代表 n 顆氣體分子密度分佈。我們則可得到 grand canonical ensemble (12)分配函數(shù) 而化學能 可由約束方程 (11) 決定之。通過此一例子，我們可了解不管是從物理理論如氣體運動方程的推論而得到的 canonical ensemble 或者 grand canonical ensemble 實際上與我們在考慮與系統(tǒng)相關約束方程下最大化熵的結果一致。這樣的結果揭示一個解決物理問題不一樣的思維。也就是當我們將所知的物理知識當作是一種

13、資訊來處理，則 ”如何解決物理問題“這個課題可以重新解讀為如何有效誠實處理這些資訊。在這樣的解讀下最大熵原理已提供了最公正的解答。換言之，若我們擁有一系統(tǒng)充份相關的物理知識，如實驗結果，我們便可給出與之相關的約束方程。之後經(jīng)由最大熵原理，我們便可公正客觀的決定關於這些物理知識最佳的機率分佈。經(jīng)由 jaynes 的證明，最大熵原理所扮演的角色不再僅是量測忽略度而已，它更是系統(tǒng)化將我們所知資訊編碼的推理工具。而且其應用不侷限於 canonical ensemble 或者是 grand canonical ensemble而是取決於我們能獲得何種資訊。正因如此過去人們處理如統(tǒng)計物理學的既定觀念和方式

14、將變?yōu)橛兴姥铱杀苊庠S多針對特別問題由研究者所給定的人為假設。如此一來一個具有最小偏差的研究理論可於焉誕生。三、統(tǒng)計物理學的問題根據(jù)上述分析，使用最大熵原理作為統(tǒng)計力學的研究方法基本上可以區(qū)分成兩部分討論。第一部份為物理部份，唯有具備正確且相關於待研究系統(tǒng)的物理資訊，恰當約束方程才能給定。第二部分為處理物理資訊部份， 亦即利用最大熵原理將相關資訊做最佳編碼以得機率分佈。上一節(jié)中，理想氣體的研究便是最佳典範。當理想氣體的物理特性由約束方程 (4) 和 (5) 來描述後，canonical ensemble 的決定則單純的由最大熵原理來進行。其過程完全與物理無關。很明顯的因為最大熵原理恆真，c

15、anonical ensemble 是否恰當描述理想氣體則完全取決於約束方程的適當與否。而正如前所述由於約束方程的決定需要相關的物理知識協(xié)助來決定。如何抉擇有助系統(tǒng)研究的物理資訊是統(tǒng)計力學所需面對的第一個問題。不幸的是目前為止，並不存在一個系統(tǒng)化的方法來解答這個問題。大多數(shù)時候，人們還是只能依賴著嘗試錯誤法或是從經(jīng)驗、實驗結果來判斷。這樣的課題關連到所謂“觀念形成”的探討，有待進一步研究來回答。因此本文將不會針對此問題來進行深入討論。我們所關心的是除此之外，統(tǒng)計力學進一步所需面對的問題。當機率分佈如 canonical ensemble 由最大熵原理給定後，我們如何去解讀這些機率分佈以計算關於

16、系統(tǒng)物理性質的期望值。換句話說，我們如何計算分配函數(shù)。對於理想氣體，由於氣體間不存在任何相互作用力，方程式 (9) 中分配函數(shù)的計算是易如反掌。但事實上由於複雜的相互作用力，真實系統(tǒng)的機率分佈是難以計算。對於這樣的機率分佈我們稱之為不可計算機率分佈。因此當我們面對真實熱力學系統(tǒng)時，如何處理複雜多體相互作用力成為統(tǒng)計力學中一必要課題。換句話說只有當我們理解如何有效處理複雜多體相互作用力，我們才可能發(fā)展合適的近似法來計算分配函數(shù)。例如因為短距離排斥力和長距離吸引力的相互競爭造成流體不同於固體的物理性質，讓我們知道要計算含有這些相互作用力的分配函數(shù)可以利用如平均場近似法來進行。簡單說，長久以來統(tǒng)計力

17、學的研究有大部分的努力便是在尋找合適的近似方法。因此人們針對其想要研究的課題發(fā)展出各類型近似法。如凡德瓦 (van der waals) 引入平均埸概念用以取代氣體中複雜的多體相互作用力，因此而得到著名的凡德瓦方程，真實氣體方程式8。然而雖然凡德瓦方程成功顯示三態(tài)變化的相圖和預測流體臨界點，可是卻無法成功預測且描述液體或者固體物理性質如微觀結構等。問題在於除了平均場法的粗糙外，還根源於凡德瓦人為引入假設氣體分子為堅硬球體來描述相變所需的額外條件-短距離排斥力。結果基於這額外條件太過粗糙並無法精細的重現(xiàn)真實短距離排斥力，使得這近似無法成功使用於需詳細短距離排斥力資訊的液體和固體的研究。在此之後，

18、由於了解到短距離排斥力這項資訊對於研究液體或固體的重要性，人們發(fā)展出許多以此資訊為基礎的近似法如易行模型 (ising model) 或液體理論ornstein-zernike 方程2,9,10。這些的努力基本上都是為了有效處理分配函數(shù)中短距離相互作用。在檢視這些近似法後，我們質疑是否存在一個系統(tǒng)性且不需額外人為假設的方法。該方法只需要輸入系統(tǒng)初始資訊比如關於排斥力和吸引力資訊便可以產(chǎn)生恰當?shù)慕品?。從資訊論的角度審視，理論上的確存在這樣一個方法11。下一節(jié)中將針對我們的發(fā)現(xiàn)做一討論。四、最大熵原理之第二延伸1、基本概念從資訊論的角度來看，利用近似法來計算真實系統(tǒng)分配函數(shù)這個方向，等同於利用一

19、可計算且近似描述真實系統(tǒng)的機率分佈族群 取代真實不可計算的機率分佈 。更明確的說法是，我們希望找到一個 其含有的資訊最接近真實系統(tǒng)而利用此族群可以最佳回答我們有興趣的問題。要具體化的從這個方向進行可以分做兩步驟來達成。第一步驟為尋找可資利用的族群，這個步驟類似於前一節(jié)中我們所面臨到的統(tǒng)計力學第一個問題。目前仍停留在利用錯誤嘗試法或是經(jīng)驗法則來尋找而並無一系統(tǒng)化的方法。第二步驟則是在我們尋找到數(shù)個可計算的近似機率分佈族群而這些族群我們稱之為試驗族群(trial families) 都可部份正確描述我們所關心的系統(tǒng)後，我們該選擇那一個族群能最接近真實族群。我們如以這樣的方式重新詮釋，我們發(fā)現(xiàn)最大熵

20、原理提供了最客觀最小偏差的解答?；靖拍钊缦录僭O族群 代表真實系統(tǒng)但我們無法計算， (13)其不可計算的分配函數(shù)為 (14)最大熵原理告訴我們最好的試驗族群 可用以取代真實族群 ，將會最大化系統(tǒng)的熵，(15)假設關於試驗族群的漢米頓量為 ， 代表不同試驗族群的參數(shù)，該參數(shù)可用以取代複雜的相互作用力使得分配函數(shù)的計算成為可行如平均場。根據(jù)最大熵原理，描述該族群的機率分佈為 (16)試驗族群的分配函數(shù)為 (17)式中 為拉格朗日因子用以限制在空間中任何一位置關於期望密度的約束方程為方程式(11)。將 (13) 和 (16) 代入 (15)，利用變分原理，我們可得到最大熵， (18)(式中 下代表期

21、望值以試驗族群為基底來計算)。因為 ，最大化熵等同於在含蓋試驗族群中所有可調整參數(shù)，下最小化，也就是 (19)如此我們便可找到最佳參數(shù) 使得 可以取代 。下一節(jié)我們便以真實氣體為例子做一簡單說明如何利用此原理產(chǎn)生可信度最高的近似法來研究真實氣體並指出其成功與失敗之處。2、實例二：真實氣體正如我們所知，我們無法理論解真實氣體的原因就在於氣體間相互作用力過於複雜使得真實氣體分配函數(shù)的計算難以進行。通過我們對真實氣體的理解，我們知道長距離吸引力是真實氣體之所以為氣體的主因。同時我們的物理知識告訴我們，恰當?shù)钠綀V場 為最簡單且能正確重現(xiàn)長距離吸引力的近似表示?；哆@些資訊，當我們以平均場為參數(shù) ，最大

22、熵原理 (18) 告訴我們最佳的平均場為 (20)式中 代表真實分子間相互作用位能而 代表在空間中位置 最佳的氣體密度分佈。藉由計算最佳 的 legendre transformation，我們可找到最佳氣體密度分佈關係式， (21)利用 percus-yevick 近似9，我們可將密度分佈形式轉換成放射分佈函數(shù)(radial distribution function ，該函數(shù)被視為一洽當形式來研究流體熱力學問題)。最後可經(jīng)由 self-consistency 法數(shù)值解式 (21)。我們的數(shù)值計算結果和實驗數(shù)據(jù)的比較顯示式 (21) 正如我們預測可正確描述稀薄氣體結構。由於本文重點僅在於介紹

23、最大熵原理在統(tǒng)計物理學所扮演的角色及意義，在此將不再詳細敘述所有的研究分析、結果。有興趣者請參考11。這樣的使用最大熵原理尋找最好的可計算族群來正確取代真正的族群，從我們的研究顯示這樣的推理過程將會是最誠實的方法。因為整個過程只有初始資訊的建立紮根於物理知識。只要我們輸入正確的資訊，最大熵原理將給我們最正確關於該資訊的表述。在我們的研究中，我們輸入平均場來取代氣體間相互作用力結果卻顯示此最佳試驗族群只能用以描述稀薄氣體行為。因為最大熵原理恆真，我們的方法導致此不完全正確結果僅可以理解為由於初始資訊的不完整-平均場只適合描述長距離吸引力並無法恰當?shù)拇矶叹嚯x排斥力，因此我們的方法，最大熵原理將無

24、法給出含有此排斥力資訊的最佳族群。換句話說，若我們嘗試研究短距離排斥力扮演重要角色的稠密氣體或是液體，除了平均場這一參數(shù)外我們將需要另一關於短距離排斥力參數(shù)。五、結論本文簡略的陳述出人們對熵的觀念從單純的系統(tǒng)亂度乃至於推論工具的演變和成型。通過理想氣體的簡單計算，我們知道了如何運用最大熵原理來解決統(tǒng)計物理問題。然而當我們面對真實系統(tǒng)時，我們發(fā)現(xiàn)最大熵原理的第一應用僅是將我們所無法處理的物理資訊如分子間相互作用力公正客觀的編碼成另一不可計算的機率分佈型式。解決之道再於我們如何找到最佳近似表示，最大熵原理第二延伸的發(fā)現(xiàn)則提供別於傳統(tǒng)方法，較為客觀有系統(tǒng)的方法產(chǎn)生最佳近似法。正如文中所提只要我們輸入

25、正確相關的初始資訊，最大熵原理將公正客觀的給出最佳近似。但是這方法存在著和統(tǒng)計力學第一問題相同的困難，我們如何抉擇那一個資訊有用、相關且可計算。在真實氣體的例子當中, 我們可看到利用經(jīng)驗法選取平均場理論作為初始資訊，雖然成功描述稀薄氣體行為，但我們卻喪失描述液體的能力。若我們有興趣研究液體物理性質，新的含有短距離排斥力初始資訊則需要加入考量。雖然關於最大熵原理第二延伸在統(tǒng)計物理上的適用性仍然在檢驗及建立當中12，但我們仍然可以相信，熵不但可以是熱力學系統(tǒng)的亂度可以是資訊系統(tǒng)的可信度也同樣的可以是我們在研究問題時一個公正客觀的推理方法。至於這樣的推論結果是否正確則取決於初始相關資訊是否關聯(lián)至我們

26、有興趣的課題而與此方法完全無關。在不久的未來，相信我們可以更加確信這一思考方式在幫助我們做物理研究時的可行性及客觀性。屆時我們也將更了解什麼是熵。致謝作者要特別感謝紐約州立大學 albany分校物理系教授 ariel caticha，藉由通過與他的討論和在他的指導下而導致本文中許多觀念的突破和建立。同時對於林怡倩小姐的多方幫忙一併致上感謝之意。參考資料：1 l.d.landau and e.m.lishitz, statistical physics,by addison-wesley publishing company(1969).2 herbert b.callen, thermodyn

27、amics and an introduction to thermostatistics, by john wiely and sons(1985).3 harry s. robertson, statistical thermophysics,by p t r prentice hall(1993).4 c.e. shannon and w. weaver, the mathematical theory of communication, by univ. of illinois press, urbana (1949).5 e.t.jaynes, phys. rev. 106, 620

28、 (1957).6 e.t.jaynes, phys. rev. 108, 171 (1957).7 john skilling, maximum entropy and bayesian methods in science and engineering vol.1, by kiuwer academic publishers (1988).8 j.d.van der waals, on the continuity of the gaseous and liquid state, ed. by j.s.rowlinson (1988).9 jean pierre hansen and i

29、an r. mcdonald, theory of simple liquids, by academic press (1986).10 v.i.kalikmanov, statistical physics of fluids, by springer (2001).11 chih-yuan tseng and ariel caticha, in bayesian inference and maximum entropy methods in science and engineering, ed. by chris williams, aip conf. proc. 659,73 (2002).12 目前我們正在進行的深入研究再探索最大熵原理第二延伸的完整架構及適用性。主要可包含兩部分，第一、在利用熱力學微擾理論9,10將短距離排斥力適當?shù)囊肭闆r下，如何使用最大熵原理第二延伸產(chǎn)生近似法及其適用性。第二、當?shù)谝徊糠值难芯空_的考慮長短距離相互作用力的所造成的流體行為，是否我們的理論可正確無誤的顯示並解釋流體相變現(xiàn)象或臨界現(xiàn)象。作者簡介曾致遠(richard chih-yuan tseng)現(xiàn)為紐