平均信息熵及其應(yīng)用

1、平均信息熵及其應(yīng)用,丁 勇 南京醫(yī)科大學(xué)數(shù)學(xué)教研室,信息能否度量 ？,物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。 信息（information）是什么? 至今信息還沒(méi)有一個(gè)公認(rèn)的定義 一般定義：常常把消息中有意義的內(nèi)容稱(chēng)為信息。,認(rèn)識(shí)問(wèn)題的過(guò)程： 當(dāng)我們對(duì)一問(wèn)題毫無(wú)了解時(shí)，對(duì)它的認(rèn)識(shí)是不確定的，在對(duì)問(wèn)題的了解過(guò)程中，通過(guò)各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來(lái)度量信息量的大小。,例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。 甲告訴消息：此人在第10排； 乙告訴消息：此人在第10排、第10座。,是否存在信息量的度量公式 ？,194

2、8年，美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人Shannon在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來(lái)消除隨機(jī)不定性的東西”。并應(yīng)用概率論知識(shí)和邏輯方法推導(dǎo)出了信息量的計(jì)算公式,Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of information theory.,公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)； 公理2：信息量是有限值； 公理3：如果事件A和事件B的發(fā)生是相互獨(dú)立的，則獲知事件A和事件B將同時(shí)發(fā)生的信息量是單獨(dú)獲知兩事件發(fā)生的信息量之和。,設(shè)事件發(fā)生的概率為P，

3、 則滿(mǎn)足上述公理的信息量函數(shù)為,為應(yīng)用方便，可取c=1，a=e，單位為奈特（nat）,信息量函數(shù) I= -lnp 如何體現(xiàn)不確定性的消除？,例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。 甲告訴消息(A)：此人在第10排； 乙告訴消息(B)：此人在第10排、第10座。,由信息量公式 I= -lnp 可知 I 是 p 的單調(diào)下降函數(shù),信息熵(entropy )的概念,設(shè)離散型隨機(jī)變量X的概率分布為 X的信息熵定義為“加權(quán)平均信息量”,信息熵的直觀意義,變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。 一個(gè)系統(tǒng)越是有序，信息熵就越低；反之，一個(gè)系統(tǒng)越是混亂，信息熵就越高。所以，信息

4、熵也可以說(shuō)是系統(tǒng)有序化程度的一個(gè)度量。,X 甲贏 乙贏 P 0.9 0.1 H 0.325,X 甲贏 乙贏 P 0.5 0.5 H 0.693,熵的性質(zhì),連續(xù)非負(fù)性 對(duì)稱(chēng)性 擴(kuò)展性 可加性 極值性：,1948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門(mén)科學(xué)學(xué)科的誕生。 近年來(lái)，隨著計(jì)算機(jī)應(yīng)用的發(fā)展和信息時(shí)代的來(lái)臨，信息論理論和應(yīng)用的研究更顯示出其重要意義。,應(yīng)用1：識(shí)別假幣,有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒(méi)有砝碼的天平用最少次數(shù)找出假幣？,每個(gè)硬幣可能是真，也可能是假， 且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為

5、ln24。,將硬幣分成3份，其中2部分在天平的兩邊。實(shí)驗(yàn)結(jié)果有3種可能性：假幣在天平左邊、右邊、不在天平上。,當(dāng)3種可能性概率相同時(shí)，熵最大，因此每次實(shí)驗(yàn)提供的最大信息熵為ln3。設(shè)至少秤k次， k次實(shí)驗(yàn)提供的信息熵最多為kln3, 有l(wèi)n24=kln3可得k至少為3。,應(yīng)用2：熵與參數(shù)估計(jì)的似然函數(shù),應(yīng)用3：群體遺傳學(xué),A a,A a,由此可見(jiàn)，無(wú)論第一代基因型概率分布為何值，第二代基因型熵即達(dá)到最大,多對(duì)等位基因 也有相同的結(jié)論,A a B b,A a B b,HardyWeinberg 平衡 (HW平衡)定律,一個(gè)隨機(jī)交配的群體中，等位基因頻率保持不變，基因型頻率至多經(jīng)過(guò)一個(gè)世代也將保持

6、不變。,問(wèn)題的提出,在信息論中，如何評(píng)價(jià)信源提供信息量的多少，是一個(gè)值得探討的問(wèn)題。 現(xiàn)在用的是相對(duì)率的概念，是以信息熵與最大信息熵之比 作為依據(jù)的。 問(wèn)題：該值多大才算提供較多的信息量？,問(wèn)題的設(shè)想,提出平均信息熵作為評(píng)價(jià)依據(jù)。,在信息論中也是如此，當(dāng)信源提供的信息量達(dá)到或超過(guò)平均信息熵時(shí)，可認(rèn)為已提供了較多的信息。,以學(xué)習(xí)成績(jī)比較為例，眾所周知，成績(jī)好壞，除了與最高分比較，更多的是與平均成績(jī)比較，當(dāng)某個(gè)學(xué)生的成績(jī)超過(guò)平均成績(jī)時(shí)，說(shuō)明該生的成績(jī)較好，否則說(shuō)明應(yīng)該發(fā)奮努力了。,問(wèn)題的解決,提出了平均信息熵的概念 推導(dǎo)了計(jì)算公式、性質(zhì) 給出了應(yīng)用：作為信源提供信息量多少的評(píng)價(jià)依據(jù)。,平均值概念的

7、推廣,平均信息熵的定義,平均信息熵公式,公式： 與調(diào)和級(jí)數(shù)有關(guān),平均信息熵的性質(zhì),平均信息量至少 占最大值72%,平均信息熵的性質(zhì),C為歐拉常數(shù)，近似值約0.5772，已計(jì)算到了108,000,000位，目前還不知道它是有理數(shù)還是無(wú)理數(shù)。,平均信息熵的性質(zhì),平均信息熵的性質(zhì),隨機(jī)變量X的函數(shù)f(X)的平均信息熵： 當(dāng)f為單調(diào)函數(shù)時(shí)，,平均信息熵的性質(zhì),等值面,等值面位于如下的多面體中：,其中p*為下式的解,平均信息熵的性質(zhì),等值面外的點(diǎn)組成一個(gè)凸集,應(yīng)用1：食物營(yíng)養(yǎng)價(jià)值的評(píng)價(jià),食物中蛋白質(zhì)的氨基酸種類(lèi)多、組成復(fù)雜，營(yíng)養(yǎng)豐富，對(duì)機(jī)體的生長(zhǎng)發(fā)育有利，我們可根據(jù)蛋白質(zhì)的氨基酸組成比率計(jì)算信息熵，并與

8、平均信息熵比較，作為評(píng)價(jià)營(yíng)養(yǎng)價(jià)值的一個(gè)依據(jù),稻米中8種氨基酸營(yíng)養(yǎng)當(dāng)量X分布表 蘇氨酸 0.049 纈氨酸 0.120 蛋氨酸 0.113 異亮氨酸 0.113 亮氨酸 0.115 苯丙氨酸 0.134 賴(lài)氨酸 0.08 色氨酸 0.231 稻米中 大部分氨基酸可在人體內(nèi)合成，但這8種氨基酸需從食物中攝取，可知稻米的營(yíng)養(yǎng)價(jià)值是非常豐富的 。,王德仁，等施氮對(duì)稻米蛋白質(zhì)、氨基酸含量的影響J植物營(yíng)養(yǎng)與肥料學(xué)報(bào)2001，7（3）：353-6,應(yīng)用：基因信息熵,根據(jù)四個(gè)堿基出現(xiàn)的概率，7個(gè)物種細(xì)胞色素C基因的信息熵如下表，由表可知，無(wú)論是高等生物還是低等生物，其信息熵都遠(yuǎn)大于平均信息熵 Human 1.

9、9966 Chicken 1.9886 Yeast 1.9817 Rat 1.9699 Mouse 1.9599 Bovine 1.9582 D.melangaster 1.9529,LIMBACH,K.J. & WU, R. Isolation and characterization of two alleles of the chicken cytochrome c gene J. Nucl. Acid Res. 1983(11):8931-8941 NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M. et al. Isolation of a cDNA clonefor human cytochrome c:from a gt11 expression library J. Biochemical and Biophysical Research communications, 1987(145