熵定律在信息源選擇和信息識別中的應(yīng)用

1、熵定律在信息源選擇和信息識別中的應(yīng)用以質(zhì)量原因識別為例，為管理決策提供了一種一般的方法摘要：熱力學(xué)中的熵反映了物質(zhì)系統(tǒng)的無序性。仙農(nóng)( Shannon)在信息論中將信息量與熵聯(lián)系起來，提出了信息熵的概念。在企業(yè)管理中存在眾多的信息源，它為我們的管理決策活動帶來了許多值得參考的原始數(shù)據(jù)，但同時大量的原始數(shù)據(jù)也加大了決策的復(fù)雜程度，所以我們介紹了一種一般的方法來對管理中的信息源進行篩選。熵融合模型的基本思想是：減少條件熵，增加互信息，找出最佳信息源組合。在這個基本原理的基礎(chǔ)上，我們提出了熵調(diào)準(zhǔn)聚合算法。這種算法的根本目的就是選擇最優(yōu)的信息源，并作出決策。最后以質(zhì)量原因識別為例，進一步闡述這種算法。

2、關(guān)鍵詞： 信息熵 企業(yè)管理 決策信息熵的引入熵的概念源自熱力學(xué)（Rudolph J.E Clausius，1865），指的是物質(zhì)系統(tǒng)的一種無序性。里夫金&霍華德稱：熵定律是自然界中最普遍的定律。1948年電氣工程師仙農(nóng)( Shannon)創(chuàng)立了信息論，將信息量與熵聯(lián)系起來，他用非常簡潔的數(shù)學(xué)公式定義了信息時代的基本概念,熵：H(p) = -p(x)logp(x)。在信息論中，熵是定量描述事件的不確定性，設(shè)隨機變量，它有A1、A2 An種可能的結(jié)局，每種結(jié)局出現(xiàn)的概率分別為P1、P2Pn，則的不確定程度，即信息熵為： (1)熵越大表示不確定性越大。如拋硬幣：P(head)=0.5,P(tail)

3、=0.5, H(p)=-0.5log(0.5)-0.5log(0.5)=log(2)；而擲色子（32面），H(p)=log2(32)，這表明擲色子所包含的信息量多于拋硬幣所包含的信息量。一、熵融合模型（Entropy fusion model）1、 冗余信息和互補信息（Redundancy and complemantarity information）：（圖1）圖1中的表示融合系統(tǒng)（fusion system），融合系統(tǒng)是指一種信息處理過程/方法，并非指一種物理系統(tǒng)，信息融合指的是聯(lián)合多個異構(gòu)的信息源，通過減少不確定的信息獲得一束可信且完備信息源組合的過程。X指的是輸入的數(shù)據(jù)，在融合系統(tǒng)中指

4、的是一束信息源組合，Y指的是輸出的信息，在融合系統(tǒng)中指的是對假設(shè)的判別結(jié)果；此處有必要強調(diào)數(shù)據(jù)和信息的區(qū)別，數(shù)據(jù)指的是信息源輸出原始數(shù)據(jù)，對于決策沒有現(xiàn)實意義，而信息是指對數(shù)據(jù)處理的結(jié)果，對決策具有支持作用。（圖2）單熵（simple entropy）H(X)、H(Y)與聯(lián)合熵(joint entropy)H(X,Y)之間存在這樣的關(guān)系：(2)冗余信息（互信息）I(X,Y)是指Y對X的表征程度，若互信息越大，說明輸出Y的失真就越小，越能真實反映X的信息，且互信息與單熵、聯(lián)合熵之間存在如下關(guān)系：(3)互補信息（條件熵）H(Y/X)，實際上條件熵是一種誤差：(4)EFM（熵融合模型）的主要思想：通

5、過增加互信息/減少條件熵，選擇最優(yōu)信息源組合，在最優(yōu)信息源組合的基礎(chǔ)上進行決策，即：(5)表示最優(yōu)信息源組合，表示信息源的子集。2、判別結(jié)構(gòu)（Frame of discernment）：是輸出Y可能性假設(shè)的集合，它們之間滿足完備事件集：的描述參數(shù)為，如z1表示形狀、z2表示大小，那么一個乒乓球可以描述為“圓形的、小的”。量測矢量：，表示信息源的輸出，指原始信息。3、信息量表達(dá)（Information representations）：Bayes理論：在Bayes理論中，信息源的信息可以用條件概率分布來描述，條件概率分布（后驗概率分布）：(6)（表1）從表1中可以看出，條件概率分布表示在如果采用

6、第s個信息源，那么第m個參數(shù)認(rèn)可第k個假設(shè)的可能性是多少。聯(lián)合概率分布表示從第s個信息源觀察第m個描述參數(shù)，有多大可能性是第k個假設(shè)。Shannon理論：利用Shannon的信息熵定義，條件熵可以表示為：(7)即用條件概率來表示條件熵，從（7）式可知，當(dāng)條件概率越大時，條件熵越小，從這個意義上來講就是當(dāng)某個信息源對信息輸出越肯定時，條件熵越小，這與我們上述的EFM的決策思想是一致的。4、信息源組合和決策（Information source combination and decision-making）：融合系統(tǒng)的最基本思路是尋找最優(yōu)的信息源組合，再在最優(yōu)信息源組合的基礎(chǔ)上進行決策，而針對每

7、個不同的假設(shè)，其最優(yōu)信息源組合極有可能是不同的，因此需要針對每個假設(shè)分別尋找最優(yōu)的信息源組合，表示量測矢量的子集，我們用表示最優(yōu)的量測矢量子集，使用公式：(8)找到最優(yōu)信息源組合，注：在（8）式中，聯(lián)合概率需要進行歸一化處理，即，也就是說聯(lián)合概率隨著信息源組合的變化而變化的，這種歸一化的思路體現(xiàn)了熵融合的思想。在尋得最優(yōu)信息源組合的基礎(chǔ)上，我們可以利用公式：進行決策，以判斷最佳假設(shè)。同時對于決策質(zhì)量，我們可以用下式進行計算：(9)如果q值越大，說明決策效果越好。5、概率估計（Probabilities estimation）：條件熵的計算需要用到聯(lián)合概率分布，進行進行估計的最基本原理就是最大信

8、息熵原理。即：(10)滿足最大熵原理，說明在這種概率下，事件所包含的信息量最大，即最能反映事物的本質(zhì)。最大熵原理經(jīng)過指數(shù)化之后，可以轉(zhuǎn)變?yōu)槿缦滦问剑?11)其中N()是歸一化條件：(12)是Lagrange乘數(shù)，為觀察函數(shù)，一般O值取2，取，二、EA2算法（Entropy Adaptative Aggregation，熵調(diào)準(zhǔn)聚合算法）（圖3）EA2是一種應(yīng)用啟示技術(shù)的迭代算法，EA2算法由三部分構(gòu)成：建模、組合、決策。建模部分主要確定量測矢量、描述參數(shù)及條件概率分布；組合部分分為三階段：聚合階段、調(diào)準(zhǔn)階段、決策階段。聚合階段是利用聚合技術(shù)和減聚技術(shù)分別確定優(yōu)化的信息源組合 ，調(diào)準(zhǔn)階段是根據(jù)聚合

9、算法和減聚算法的結(jié)果，調(diào)準(zhǔn)出穩(wěn)定子集即最優(yōu)信息源組合。決策階段是在組合階段所得出最優(yōu)信息源子集基礎(chǔ)上，根據(jù)條件熵最小的原則進行決策，并分析決策質(zhì)量。1、聚合啟示和減聚啟示技術(shù)（Aggregative heuristic vs. disaggregative heuristic）：1、1聚合啟示技術(shù)：首先找出最佳的一個量測矢量,然后再聚合其他量測矢量，直至條件熵達(dá)到滿意:(13)HAG是聚合函數(shù)， ，缺點是：進來的信息源就無法退出，因為極有可能某些信息源單個是最優(yōu)的，但是與其他信息源組合后的子集并非最優(yōu)1、 2減聚啟示技術(shù)：從子集開始，(14)HAG是減聚函數(shù)，減聚法的缺點是計算復(fù)雜，同時存在聚

10、合技術(shù)相類似的問題，即退出去的信息源再無法進來。在實際的操作過程中，我們是結(jié)合聚合技術(shù)和減聚技術(shù)，以摒棄它們的缺點。這點將在調(diào)準(zhǔn)階段反映出來。2、EA2方法介紹：2、1聚合階段：聚合階段主要任務(wù)：確定P的值，以及確定兩組優(yōu)化信源組合。|min-min|THRESHOLD(15) THRESHOLD稱為閾值（門檻），使用聚合啟示技術(shù)從p=0開始計算，確定p的值，同時確定p個優(yōu)化的信息源組合（當(dāng)上式成立時，第(p+1)個量測矢量將舍去，只能引入p個量測矢量。） 使用減聚啟示技術(shù)再計算p個優(yōu)化的信息源組合2、2調(diào)準(zhǔn)階段：(16)符號表示獨立組合（divided and aggregated）逐步近似

11、過程。即函數(shù)的調(diào)用次序不同，復(fù)合函數(shù)的值不同。上式成立可以得出固點（fixed point）調(diào)準(zhǔn)過程可以用下圖來表示：（圖4）即在聚合階段分別由聚合技術(shù)和減聚技術(shù)得出兩組優(yōu)化的信息源子集，如果兩個子集不相等，則再依次使用聚合技術(shù)和減聚技術(shù)（或依次使用聚合技術(shù)和減聚技術(shù)），所得出的結(jié)果再進行比較，直到結(jié)果相等為止。3、EA2存在的問題： 參數(shù)Z選擇問題？因為最優(yōu)信息源未知，所以參數(shù)Z如何確定將會存在問題； 閾值如何確定？閾值的確定將直接影響P值，即最優(yōu)信息源的個數(shù) 死循環(huán)問題？在調(diào)準(zhǔn)階段如果出現(xiàn)進來的信息源和出去的信息源為同一個將會出現(xiàn)死循環(huán)，解決辦法是調(diào)整閾值或前進兩步再后退兩步。三、質(zhì)量問題

12、識別應(yīng)用1、判別結(jié)構(gòu)：在質(zhì)量管理中，存在眾多的質(zhì)量原因及大量的數(shù)據(jù)源，如何處理這些數(shù)據(jù)以追溯出質(zhì)量原因？我們可以實用EA2算法。質(zhì)量原因可以歸為：人員因素（Man）、機器設(shè)備因素（Machine）、材料因素（Material）、方法因素（Method）、測量因素（Measure）和環(huán)境因素（Environment），即“5M1E”。為了簡單，我們將方法因素和測量因素合為一類，因此我們的判別結(jié)構(gòu)可以定義為：H1：人員因素H2：機器設(shè)備因素H3：材料因素H4：方法、測量因素H5：環(huán)境因素質(zhì)量原因描述參數(shù)可以如下定義（以某種零件為例）：Z1：氣孔密度Z2：疵點密度Z3：碰傷密度Z4：臟污密度Z5：零

13、件尺寸Z6：零件性能2、融合系統(tǒng)（圖5）即有三個獨立的信息源輸出原始數(shù)據(jù)3、條件概率分布說明每個信息源對任一假設(shè)的判斷可信程度都是一樣的4、條件熵判別結(jié)果是H2，即是機器設(shè)備因素四EA2算法對管理決策的支持在企業(yè)中存在著大量的信息源，無時無刻不在傳遞著信息。針對這些大量的信息，我們?nèi)绾稳ヌ幚?，如何從大量的信息源中選擇最優(yōu)的信息源組合，如何進行決策？EA2給企業(yè)管理、企業(yè)決策提供了一種一般的算法。這種算法在企業(yè)管理中應(yīng)用的范圍很廣，如上述的“質(zhì)量問題識別”等。這種算法的應(yīng)用條件是：u 能夠知道可能的假設(shè)結(jié)果u 假設(shè)結(jié)果的描述參數(shù)已知u 信息源對每種假設(shè)的可信程度已知u 信息源輸出數(shù)據(jù)已知在上述基

14、礎(chǔ)上作出概率估計。根據(jù)聚合啟示和減聚啟示技術(shù)算出優(yōu)化信息源組合，在調(diào)準(zhǔn)階段計算出最優(yōu)的信息源組合。最后將每種假設(shè)與其最優(yōu)信息源組合綜合考慮，選出條件熵最小并且決策質(zhì)量最高的假設(shè)以支持我們的最終決策。參考文獻：1 Bienvenu Fassinut-Mombot,Jean-Bernard Choquel.A new probabilistic and entropy fusion approach for management of information sources. 5 (2004) P35-472Tessalenl C.Devezas ,James T.Corredine.The nonlinear dynamics of technoeconomic systems An informational interpretation 69 2002 317-3573Sankaran P.Raghunathan.A Refinement of the Entopy Measure of F