《應(yīng)用熵學(xué)》教學(xué)課件

1、應(yīng)用熵學(xué)1 熵學(xué)基礎(chǔ)1.1 基本概念1.1.1熵是物質(zhì)系統(tǒng)狀態(tài)的一個(gè)函數(shù)。用S1和S2分別表示系統(tǒng)在狀態(tài)1和狀態(tài)2時(shí)的熵函數(shù)值，則在可逆過(guò)程中系統(tǒng)由狀態(tài)1變到狀態(tài)2時(shí)熵的增量為第1頁(yè)，共42頁(yè)。 定理1 可逆循環(huán)中系統(tǒng)的熵變等于零。 定理2 封閉系統(tǒng)中任何不可逆過(guò)程導(dǎo)致熵的 增加，熵只有對(duì)可逆過(guò)程才是不變的。1.1.2信息熵 在信息系統(tǒng)中，熵的獲得意味著信息的丟失。一個(gè)系統(tǒng)有序程度越高，則熵就越小，所含的信息量就越大；反之，無(wú)序程度越高，則熵就越大，信息量就越小。信息和熵是互補(bǔ)的，信息就是負(fù)熵。第2頁(yè)，共42頁(yè)。離散型分布的熵一個(gè)隨機(jī)試驗(yàn)A（隨機(jī)事件），設(shè)它有n個(gè)可能的（獨(dú)立的）結(jié)局：a1,a

2、2, ,an,每一結(jié)局出現(xiàn)的概率分別是P1,P2, ,Pn它們滿足以下條件 0Pi 1(i=1,2, ,n)及我們引入函數(shù)： Hn=H(P1,P2, ,Pn)=-k 作為隨機(jī)實(shí)驗(yàn)A實(shí)驗(yàn)結(jié)果不確定性的量度，式K中是一個(gè)大于零的恒量，量Hn叫做信息熵.第3頁(yè)，共42頁(yè)。 條件熵： 假設(shè)由發(fā)出信號(hào)x1,x2,xm組成了信息源x，其概率空間為P(x)=P(x1) ,P(x2) ,P(xm)。接收信號(hào)y1,y2,yn的集合y的概率空間為P(x/y)=P(xi/yj)|i=1m,j=1n。在多數(shù)情況下，m=n。 P(xi/yj) 表示收到信號(hào)為yj后原發(fā)送信號(hào)是xi的概率。由于傳輸信號(hào)的信道中存在干擾和噪

3、聲等原因，yj與xi可能相同，也可能不同，這里存在不確定性。信息源x的這種不確定性，用熵 表示。它稱為在收到信號(hào)條件下信源的熵。其平均值 稱為收到信號(hào)后信息源的條件熵。第4頁(yè)，共42頁(yè)。 性質(zhì)1 H(xy)=H(x)+H(y/x) 性質(zhì)2 H(x/y)是非負(fù)的。當(dāng)對(duì)j=1n有P(yi)0 時(shí)，則當(dāng)且僅當(dāng)H(x/yi)=0(j=1n)時(shí)， H(x/y)=0成立，且H(x/y)=H(y) 性質(zhì)3 H(x/y) H(x) 例1 假設(shè)某電報(bào)系統(tǒng)里一類消息發(fā)送12個(gè)信號(hào)，其中6個(gè)M為6個(gè)空號(hào)S，即P(M)=P(S)= 。在傳輸時(shí)，使 的M收成空號(hào)S，有半數(shù)的空號(hào)收成M。求收信者收到一個(gè)消息后所獲得的平均

4、信息量。第5頁(yè)，共42頁(yè)。解：根據(jù)題意，發(fā)送一個(gè)消息：M M M M M M S S S S S S 收到的信息為：M M M M M S S S S M M MP（發(fā)M）= ，P（發(fā)S）= P(收M/發(fā)M）= ，P（收S/發(fā)M）= P(收M/發(fā)S）= ，P（收S/發(fā)S）=P（收M）= P（發(fā)M） P(收M/發(fā)M）+ P（發(fā)S） P(收M/發(fā)S）=P（收S）=P（發(fā)M） P(收S/發(fā)M）+ P（發(fā)S） P(收S/發(fā)S）=解：根據(jù)題意，發(fā)送一個(gè)消息：M M M M M M S S S S S S 收到的信息為：M M M M M S S S S M M MP（發(fā)M）= ，P（發(fā)S）= P(收M/

5、發(fā)M）= ，P（收S/發(fā)M）= P(收M/發(fā)S）= ，P（收S/發(fā)S）=P（收M）= P（發(fā)M） P(收M/發(fā)M）+ P（發(fā)S） P(收M/發(fā)S）=P（收S）=P（發(fā)M） P(收S/發(fā)M）+ P（發(fā)S） P(收S/發(fā)S）=第6頁(yè)，共42頁(yè)。P（發(fā)M/收M）=P（發(fā)M） P（收M/發(fā)M） P（收M） =P（發(fā)S/收M）=P（發(fā)S ） P（收M/發(fā)S ） P（收M） =P（發(fā)M/收S ）=P（發(fā)M） P（收S /發(fā)M） P（收S ） =P（發(fā)S/收S ）=1- P（發(fā)M/收S ）=H(y)=H(y/發(fā)M)=H(y/發(fā)S)=0.301H（y/x)=I(xy)=H(y)- H（y/x)=0.02805

6、Hart第7頁(yè)，共42頁(yè)。另一方面H(x)=H(x/收M)=H(x/收S)=I（yx)=H(x)-H(x/y)=0.02806Hart于是驗(yàn)證了 I（xy)= I（yx)第8頁(yè)，共42頁(yè)。連續(xù)型分布的熵設(shè)信息源x和y發(fā)送信號(hào)x和y具有連續(xù)分布的密度函數(shù)P(x)和P(y)，聯(lián)合密度函數(shù)為f(x,y)，則熵值 分別稱為信息源和的信息熵。它們表示其不確定性信息量。相應(yīng)的聯(lián)合熵為 條件熵為 第9頁(yè)，共42頁(yè)。他們具有如下性質(zhì)：（1）當(dāng)x在有限集合S中均勻分布時(shí)的熵最大。（2）對(duì)于密度函數(shù)P(x)，當(dāng)x0時(shí)等于0，且均值為a，則指數(shù)分布 P(x)= 達(dá)到最大熵為（3）當(dāng)一維密度函數(shù)P(x)是方差為 的正

7、態(tài)分布時(shí)的熵最大，最大值達(dá) （4）H(xy)=H(x)+H(y/x)=H(y)+ H(x/y) H(y/x) H(y), H(xy) H(x)+ H(y)當(dāng)且僅當(dāng)x與y獨(dú)立時(shí)等號(hào)成立。第10頁(yè)，共42頁(yè)。 1.2極大熵準(zhǔn)則 1.2.1極大熵準(zhǔn)則模型 建立如下規(guī)劃問(wèn)題模型：(MP) max- s.t. Fk= k=1,2,m,且mB或BA。若H(A)H(B)，則認(rèn)為信息A的準(zhǔn)確度高于信息B定義規(guī)定較優(yōu)信息的準(zhǔn)確度高第37頁(yè)，共42頁(yè)。定義6 在n維歐氏空間上的半峰凸凹函數(shù)是指，在凸凹函數(shù)的極點(diǎn)處將其平分成兩份的其中一份構(gòu)成的函數(shù)。對(duì)單變量而言，單調(diào)不降（若為半峰嚴(yán)格凸凹函數(shù)時(shí)，則為單調(diào)遞增）的那

8、半部分稱為半峰升函數(shù)，相應(yīng)地；另一半部分稱為半峰江函數(shù)。定義7 信息I在n維狀態(tài)空間 上的條件概率 。若 ，則稱信息I 為最差信息。 最差信息傳遞矩陣為零矩陣。第38頁(yè)，共42頁(yè)。定理1 最優(yōu)信息的傳遞熵為零定理2 傳遞熵是半峰降函數(shù)定理3 后驗(yàn)概率 是信息條件概率 的單調(diào)增函數(shù)，其中定理4 記 的足標(biāo)j集合為J，則 0表示空集定理5 傳遞矩陣中元素 只與 有關(guān)，且 是其遞增線形函數(shù)。第39頁(yè)，共42頁(yè)。4.2 IBayes決策分析4.2.1相關(guān)概念定義8 稱 為信息A的經(jīng)濟(jì)機(jī)會(huì)損失式中 它表示由于信息A的不準(zhǔn)確帶來(lái)的風(fēng)險(xiǎn)應(yīng)折合的經(jīng) 濟(jì)損失。 為信息的傳遞熵，系數(shù) 是為了使 落在 之間而設(shè)的。定理6 最優(yōu)信息的 最差信息的定理7 信息越準(zhǔn)確，它的機(jī)會(huì)經(jīng)濟(jì)損失值越小第40頁(yè)，共42頁(yè)。定義9 信息A的價(jià)值 VA=CS+CAA式中,CS為市場(chǎng)上信息A的售價(jià)，V是用成本和準(zhǔn)確度對(duì)信息的價(jià)值做全方位衡量的一個(gè)物理量。定理8 一個(gè)完整IBayes的算法步驟（1）若J=0，用先驗(yàn)IBayes決策，無(wú)需后驗(yàn)信息，算法結(jié)束；否則轉(zhuǎn)（2）.（2）計(jì)算EMVN，轉(zhuǎn)（3）。（3）用擬獲取的后驗(yàn)信息A修正先驗(yàn)信息，并計(jì)算EMVy ，轉(zhuǎn)（4）（4）計(jì)算E(A),H(A)和CAA，轉(zhuǎn)（5）第4