信息熵、玻爾茲曼熵和克勞修斯熵的關(guān)系

信息熵、玻爾茲曼熵和克勞修斯熵的關(guān)系

現(xiàn)在，雖然信息熵、薄面函數(shù)和克勞修斯熵之間的關(guān)系尚是明確的，但缺乏嚴(yán)格的論證。特別是薄面函數(shù)和克勞修斯熵之間的關(guān)系。作者認(rèn)為，薄面函數(shù)和克勞修斯熵是等效的。本文否認(rèn)了這一等價關(guān)系。13個熵及其含義1.1力學(xué)第二定律的提出1854年克勞修斯(Clausius)發(fā)表了《力學(xué)的熱理論的第二定律的另一種形式》的論文,給出了可逆循環(huán)過程中熱力學(xué)第二定律的數(shù)學(xué)表示形式:∮dQT=0∮dQΤ=0,而引入了一個新的后來定名為熵的態(tài)參量.1865年他發(fā)表了《力學(xué)的熱理論的主要方程之便于應(yīng)用的形式》的論文,把這一新的態(tài)參量正式定名為熵.并將上述積分推廣到更一般的循環(huán)過程,得出了熱力學(xué)第二定律的數(shù)學(xué)表示形式:∮dQT≤0∮dQΤ≤0,等號對應(yīng)于可逆過程,不等號對應(yīng)于不可逆過程.由此熵S的定義為或Sa?Sb≥∫badQT(2)Sa-Sb≥∫abdQΤ(2)式(2)中的a、b表示始末兩個狀態(tài),Sa、Sb為始末兩個狀態(tài)的熵,dQ為系統(tǒng)吸收的熱量,T為熱源的溫度,可逆過程中T也是系統(tǒng)的溫度.當(dāng)系統(tǒng)經(jīng)歷絕熱過程或系統(tǒng)是孤立的時候,dQ=0,此時有即有熵增原理:孤立系統(tǒng)或絕熱過程熵總是增加的.由此定義的熵稱克勞修斯熵,或熱力學(xué)熵.熵是一個態(tài)函數(shù),是熱力學(xué)宏觀量.對絕熱過程和孤立系統(tǒng)中所發(fā)生的過程,由熵函數(shù)的數(shù)值可判定過程進(jìn)行的方向和限度.1.2玻爾茲曼-普朗克1896年玻爾茲曼(Boltzmann)建立了熵S和系統(tǒng)宏觀態(tài)所對應(yīng)的可能的微觀態(tài)數(shù)目W(即熱力學(xué)概率)的聯(lián)系:S∝lnW.1900年普朗克(Planck)引進(jìn)了比例系數(shù)k——稱為玻爾茲曼常量,寫出了玻爾茲曼-普朗克公式:式(5)所定義的熵稱為玻爾茲曼熵,或統(tǒng)計熵.由此玻爾茲曼表明了熵S是同熱力學(xué)概率W相聯(lián)系的,揭示了宏觀態(tài)與微觀態(tài)之間的聯(lián)系,指出了熱力學(xué)第二定律的統(tǒng)計本質(zhì):熵增加原理所表示的孤立系統(tǒng)中熱力學(xué)過程的方向性,正相應(yīng)于系統(tǒng)從熱力學(xué)概率小的狀態(tài)向熱力學(xué)概率大的狀態(tài)過渡,平衡態(tài)熱力學(xué)概率最大,對應(yīng)于S取極大值的狀態(tài);熵自發(fā)地減小的過程不是絕對不可能的,不過概率非常小而已.1.3最大信息熵原理1948年仙農(nóng)(Shannon)發(fā)表了《通信的數(shù)學(xué)理論》,使用概率方法,奠定了現(xiàn)代信息論的基礎(chǔ).仙農(nóng)引入了信源的信息熵:它代表了信源輸出后每個消息所提供的平均信息量,或信源輸出前的平均不確定度.ai為信源可能取的消息(符號),P(ai)為選擇信源符號ai作為消息的先驗(yàn)概率.1957年詹尼斯(Jaynes)將信息熵引入統(tǒng)計力學(xué),并提出了最大信息熵原理.詹尼斯的信息熵定義為式(6)的定義只比仙農(nóng)熵的原定義式差一比例系數(shù).當(dāng)研究的系統(tǒng)為熱力學(xué)系統(tǒng)時,式(6)中的Pi為系統(tǒng)的第i個微觀態(tài)出現(xiàn)的概率;而一般情況Pi為信息源的第i個信息基元出現(xiàn)的概率.這樣定義的信息熵表示的是系統(tǒng)(信息源或熱力學(xué)系統(tǒng)——也是信息源)的不確定性.信息熵也稱為廣義熵.2信息熵玻爾茲曼熵克勞修斯熵三種熵按定義出現(xiàn)的先后,雖然克勞修斯熵在前,玻爾茲曼熵次之,信息熵最后,但從所包含的內(nèi)容來看卻相反.用數(shù)學(xué)語言可表示為:信息熵?玻爾茲曼熵?克勞修斯熵,即S信?S玻?S克.下面詳細(xì)闡述.2.1建立規(guī)則w由式(6),并注意到孤立系統(tǒng)平衡態(tài)的等概率假設(shè),即平衡態(tài)的每一個微觀態(tài)的概率為Pi=1/W,這里的W為孤立系統(tǒng)的總的微觀態(tài)數(shù).得式(7)的右端正是玻爾茲曼熵.當(dāng)然式(7)也可反過來看,即可由式(5)推出式(6),只是邏輯關(guān)系差點(diǎn).需要注意的是:一定的孤立系統(tǒng),粒子數(shù)N、能量E、體積V不變;而不同狀態(tài)的孤立系統(tǒng),N、E、V是不同的.所以總的微觀狀態(tài)數(shù)W是N、E、V的函數(shù).2.2主要的推導(dǎo)系統(tǒng)文獻(xiàn)由玻爾茲曼關(guān)系對單原子理想氣體推出了克勞修斯熵的表達(dá)式.事實(shí)上,若由文獻(xiàn)、中玻氏關(guān)系計算出的孤立系統(tǒng)單原子理想氣體和滿足關(guān)系ε=cp的經(jīng)典理想氣體的熵為對式(8)、(9)微分,并令dN=0,得:并注意到pV=NkT,E分別為3NkT/2和3NkT.兩式共同有而由可逆過程熱力學(xué)第一定律式(14)正是克勞修斯熵的表達(dá)式.即克勞修斯熵可由玻爾茲曼熵推出.上面的推導(dǎo)顯然要比文獻(xiàn)的推導(dǎo)簡單得多.但是上述所有推導(dǎo)(包括文獻(xiàn))的不足之處是:都是由理想氣體推出的.如下本文不涉及具體系統(tǒng),由玻爾茲曼熵推出克勞修斯熵.任一以V為唯一外參量的孤立系統(tǒng)的熵由式(5)表示.對式(5)微分,得又令α=?lnW?N?β=?lnW?E?κ=?lnW?V(17)α=?lnW?Ν?β=?lnW?E?κ=?lnW?V(17)則有dS=k(αdN+βdE+κdV)(18)當(dāng)粒子數(shù)不變時,dN=0.為討論β、κ的意義,考慮由同種組元、兩個子系統(tǒng)1、2構(gòu)成的孤立系統(tǒng).由熵增原理很容易證明:熱平衡條件、(在熱平衡的基礎(chǔ)上)力學(xué)平衡條件分別為注意到熱平衡定律及熱流是從高溫物體流向低溫物體的,故可取即β=1/kT,β是統(tǒng)計力學(xué)溫度.有時也將式(21)作為熱力學(xué)絕對溫度的定義.在統(tǒng)計力學(xué)中,任何涉及到溫度的地方,都是β.文獻(xiàn)及上述用理想氣體的推導(dǎo),所用的麥克斯韋速度分布、粒子能量平均值的得出,事實(shí)上都用到了統(tǒng)計溫度β=1/kT.又因?yàn)榱W(xué)平衡是在達(dá)到熱平衡的基礎(chǔ)上的平衡,可取[或注意到式(29),由式(28)]κ=p/kT,p為壓強(qiáng).這樣式(18)變?yōu)榧从刹柶澛赝茖?dǎo)出了克勞修斯熵的表達(dá)式.而式(22)的得出,并沒用到任何具體系統(tǒng).2.3配分函數(shù)為條件下的正則配分函數(shù)為則式對式(6)的信息熵表達(dá)式及如下的約束條件:由拉格朗日條件極值及最大信息熵原理,可得正則分布函數(shù)其中正則配分函數(shù)為則式(26)的得出用了由式(19)及式(26)得:由式(28)也可說明κ=p/kT.將式(28)代入式(26)得式(22).這正是克勞修斯熵的表達(dá)式.2.4玻爾茲曼熵克勞修斯熵.非平衡態(tài).特性.一個是玻爾茲曼熵非平衡區(qū)域的劃分.文獻(xiàn)提出玻爾茲曼熵與克勞修斯熵是等價的,因?yàn)槲墨I(xiàn)由玻爾茲曼關(guān)系對單原子理想氣體導(dǎo)出了克勞修斯熵的表達(dá)式,但并沒有由克勞修斯熵導(dǎo)出玻爾茲曼關(guān)系.“等價”是一數(shù)學(xué)名詞,意為兩者之間互為充分必要條件,即可互相推導(dǎo).因此文獻(xiàn)中提到的“等價”不是數(shù)學(xué)意義上的等價,而指的是兩種熵是同一個物理量.注意到克勞修斯熵是宏觀物理量,是唯象的熱力學(xué)理論中的態(tài)函數(shù),而玻爾茲曼熵是統(tǒng)計熵,是與微觀狀態(tài)數(shù)直接相聯(lián)系的,所以是微觀熵.因此不可能從宏觀的熱力學(xué)熵推導(dǎo)出微觀的玻爾茲曼熵.還應(yīng)注意到玻爾茲曼關(guān)系,雖然是在“孤立”的條件下得出來的,但任何系統(tǒng)(正則系統(tǒng)或巨正則系統(tǒng)等)的平衡態(tài),微觀狀態(tài)數(shù)都占絕對壓倒的優(yōu)勢,平均分布等于最概然分布.則對于平衡態(tài),微觀狀態(tài)數(shù)有即玻爾茲曼關(guān)系式適用于任何系統(tǒng)的平衡態(tài).上面已由玻爾茲曼熵推出了克勞修斯熵,說明滿足玻氏關(guān)系的玻爾茲曼熵S玻必滿足克勞修斯熵S克的表達(dá)式,即但注意到上述推導(dǎo)過程中用了平衡條件,即只是在平衡態(tài)時有式(30a),所以式(30a)的準(zhǔn)確表達(dá)式應(yīng)為而克勞修斯表達(dá)式表示了所有平衡態(tài)的克勞修斯熵,則任給一個平衡態(tài)的克勞修斯熵,必能從玻爾茲曼熵推導(dǎo)出來,即這一克勞修斯熵也屬于玻爾茲曼熵.所以又有再考慮到玻爾茲曼熵、克勞修斯熵都可向非平衡態(tài)延拓.在局域平衡假設(shè)下,克勞修斯熵可表示為各局域熵之和:又可容易地證明玻爾茲曼熵具有可加性,即因此在滿足局域平衡的非遠(yuǎn)離平衡態(tài)的非平衡區(qū)域仍有再注意到玻氏關(guān)系對任何非平衡態(tài)都成立,即玻爾茲曼熵可以延拓到任何非平衡區(qū)域.而在不滿足局域平衡的遠(yuǎn)離平衡態(tài)的非平衡區(qū)域,沒有式(32),即克勞修斯熵不能延拓到遠(yuǎn)離平衡態(tài)的非平衡區(qū)域.不僅如此,玻氏關(guān)系中的熱力學(xué)概率還可以延拓到非熱力學(xué)系統(tǒng),而克勞修斯表達(dá)式只能是熱力學(xué)系統(tǒng).所以玻爾茲曼熵要比克勞修斯熵包含的內(nèi)容要廣.綜上所述,有2.5信息熵與玻爾茲曼熵、克勞修斯熵由信息熵的表達(dá)式(6)及詹尼斯的最大信息熵原理,用到熱力學(xué)系統(tǒng)的平衡態(tài),求信息熵的條件極值,可得平衡態(tài)的7種分布函數(shù)及相應(yīng)的熵.當(dāng)然也包括玻爾茲曼熵.再注意到式(6)中的Pi可以是任何一種研究對象的概率,沒有受到平衡態(tài)、等概率(玻爾茲曼關(guān)系要求等概率)、熱力學(xué)系統(tǒng)等等的限制.而且詹尼斯的最大信息熵原理不僅可用于平衡態(tài),還可以用于非平衡定態(tài),即非平衡定態(tài)的熵取極大值.信息熵概念的含義比玻爾茲曼熵、克勞修斯熵要廣,對于熱力學(xué)過程信息熵就為克勞修斯熵、部分的玻爾茲曼熵.但克勞修斯熵卻并不能應(yīng)用于非熱力學(xué)過程,因?yàn)榭藙谛匏轨氐母拍罹窒抻诹Ｗ訜徇\(yùn)動這種特定的物質(zhì)運(yùn)動方式,它與能量(熱量)的分配有特定的比例關(guān)系.對于并不涉及熱量、能量轉(zhuǎn)換的非熱力學(xué)過程,克勞修斯熵是不能應(yīng)用的.玻爾茲曼熵具有克勞修斯熵的所有特征,且玻爾茲曼熵還可以延拓到非熱力學(xué)系統(tǒng)和遠(yuǎn)離平衡態(tài)的熱力學(xué)系統(tǒng)的非平衡態(tài),但是為了保持熵函數(shù)的特征,要加入等概率的條件.信息熵可以與熱量、能量轉(zhuǎn)換的多少沒有關(guān)系,也可