基于信息論的關(guān)于熱力學(xué)熵和信息熵的討論與淺析

唐計(jì)21151624于航,基于信息論(TheoryOfInformation)的關(guān)于熱力學(xué)熵和信息熵的討論與淺析,（高大上的題目,熵的概念是由德國物理學(xué)家克勞修斯于1865年所提出?；瘜W(xué)及熱力學(xué)中所指的熵，是一種測量在動(dòng)力學(xué)方面不能做功的能量總數(shù)。熵亦被用于計(jì)算一個(gè)系統(tǒng)中的失序現(xiàn)象。熵是一個(gè)描述系統(tǒng)狀態(tài)的函數(shù)，但是經(jīng)常用熵的參考值和變化量進(jìn)行分析比較。,熱力學(xué)熵Entropy,利用積分求熵值,熱力學(xué)熵的宏觀形式：它的定義是，用來描述能量做功的能力，熵越大能量做功的能力就越弱。由于我們只定義了熵的變化量，因此對(duì)一個(gè)系統(tǒng)的單一狀態(tài)來說，宏觀的熵沒有絕對(duì)值。我們實(shí)際應(yīng)用的是以“標(biāo)準(zhǔn)狀態(tài)”為基準(zhǔn)的相對(duì)值（標(biāo)準(zhǔn)摩爾熵）。熵的微觀形式，著名的玻爾茲曼原理：S=kln，其中的是玻爾茲曼常數(shù)，量綱為J/K，由于后面對(duì)數(shù)項(xiàng)不具量綱，所以玻爾茲曼熵的量綱也是J/K，這是證明它和宏觀形式等價(jià)的前提。這也形成了熵最廣為人知的理解：熵是系統(tǒng)混亂度（無序程度）的量度。參考文獻(xiàn)：知乎,熵的兩種形式,簡單介紹ABriefIntroduction,克勞德香農(nóng)ClaudeShannon,克勞德香農(nóng)在1948年的這一篇論文中，提出了“信息熵”的概念，并且以后信息論也被作為一門單獨(dú)的學(xué)科。,著名文獻(xiàn)（1948）：AMathematicalTheoryofCommunication,信息熵的來歷和熱力學(xué)熵完全不同。把它也叫做“熵”完全是因?yàn)橄戕r(nóng)老爺子當(dāng)年提出這個(gè)概念時(shí)參考了熱力學(xué)熵，并且它的表達(dá)式和熱力學(xué)熵的微觀形式非常相似（但和宏觀描述看不出任何相似性）的緣故。后來也有人提出了信息熵的其他表述形式，為了方便，下文以最早也最重要的香農(nóng)熵為準(zhǔn)。-參考文獻(xiàn)：知乎,信息熵InformationEntropy,他先后闡述了：有無噪音的離散系統(tǒng)下（DISCRETENOISELESSSYSTEMS&THEDISCRETECHANNELWITHNOISE）“信息的傳輸”“信息熵的計(jì)算”“相關(guān)的討論”解釋了：信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號(hào)檢測和估計(jì)等概念。（比較專業(yè)）奠定了信息論的基礎(chǔ)。,在這篇文獻(xiàn)中：,這篇文獻(xiàn)所推導(dǎo)的一個(gè)公式,K就是一個(gè)系數(shù)，log以2為底隨機(jī)變量S的取值(s1,s2.sn)，發(fā)生的概率是(p1,p2.pn)，和玻爾茲曼熵表達(dá)式形式基本一樣，只有常數(shù)上的差別。結(jié)果的量綱為比特（bit）。意義？指觀察者對(duì)某一事件（結(jié)果）的未知程度。,吳軍漢語信息熵和語言模型的復(fù)雜度里說，只考慮字頻的話英文是4.46比特/字符的信息熵，漢字是9.6比特/字符，直觀上很容易理解，英文字母只有26個(gè)，所以描述一個(gè)字母所需要的信息表示不多，而中文字卻很多，就需要更多的信息量才能表示。引用文獻(xiàn)：CSDNblog,漢語信息熵和英語有區(qū)別？,這書寫的很好，吳軍博士當(dāng)年寫谷歌板報(bào)的功底可見一斑。,吳軍博士李開復(fù)：精通技術(shù)，并能夠用清晰的語言公之于眾,兩個(gè)19世紀(jì)曾經(jīng)叱咤風(fēng)云的巨頭，一個(gè)虎落平陽，一個(gè)老驥伏櫪關(guān)鍵時(shí)刻的抉擇：當(dāng)互聯(lián)網(wǎng)來臨,甲乙丙三個(gè)實(shí)力相當(dāng)?shù)倪\(yùn)動(dòng)員要進(jìn)行一次比賽，老王是比賽的裁判和記分員，他必須觀察并如實(shí)記錄三位選手的名次。所以對(duì)于他來說，比賽結(jié)果有A33=6種，由于運(yùn)動(dòng)員實(shí)力相當(dāng)，每種結(jié)果出現(xiàn)的可能性一樣，所以結(jié)果的熵是log26。老李是比賽場地的管理員，他完全不關(guān)心誰勝誰負(fù)，而只想等到比賽結(jié)束下班回家，那么比賽對(duì)他的熵是多少呢？答案是零，因?yàn)樗魂P(guān)心比賽有沒有結(jié)束，而比賽只要一開始就注定會(huì)結(jié)束，這個(gè)結(jié)果是唯一確定的。所以老李根本不用觀察比賽，只要坐著等就可以了。不同的觀察者，由于目的和觀測能力的差異，同一個(gè)事件的熵也可能是不同的。參考文獻(xiàn)：知乎,舉個(gè)栗子Example,我們?cè)倩仡^看老王的記分板，他用三組二進(jìn)制數(shù)記錄比賽結(jié)果。老王的兒子小王（程序員）認(rèn)為：由于比賽只有三位選手，只要其中兩位選手的名次確定第三位選手的名次也就確定了。因此第三組二進(jìn)制數(shù)完全是沒有必要的（我們也稱它為冗余），如001表示甲乙丙的結(jié)果，010表示甲丙乙的結(jié)果這樣老王每次就只需要三位二進(jìn)制數(shù)（3比特）就可以記錄原本要6比特才能表示的信息了。無損壓縮是可能的。這也是清晰度差不多的視頻文件有的格式卡成狗有的格式卻十分流暢的原因。參考文獻(xiàn)：知乎,More更多,總之，熵就是系統(tǒng)內(nèi)無序程度，熱力學(xué)熵就是熱力學(xué)系統(tǒng)分子的無序程度