信息工程概論課件 第三講 信息的定量描述

第3講信息的定量描述這里關(guān)心的概率信息是特指狀態(tài)性質(zhì)為離散、狀態(tài)數(shù)目為有限、狀態(tài)劃分為明晰、狀態(tài)變化方式服從概率規(guī)律的信息。常用這樣的符號體系：X表示一個試驗，X=（xi|i=1，…，n）表示這一試驗所有可能狀態(tài)的集合，P=（pi|i=1，…，n）表示這些可能狀態(tài)出現(xiàn)的概率的集合，（X，P）=（xi,pi|i=1，…，n）稱為這一試驗的概率空間。于是，概率空間就把事物運動的狀態(tài)及其變化的方式刻畫出來了。它是描述概率信息的基本方法。3.1語法信息的描述 -概率型語法信息的描述

信息科學導論假定有一個隨機試驗X，它有n種可能的試驗結(jié)果（狀態(tài)），分別為x1，…，xn。在觀察這一試驗之前，觀察者已經(jīng)先驗地知道這些狀態(tài)出現(xiàn)的概率分別是p1，…，pn。這些概率稱為先驗概率。3.1語法信息的描述 -概率型語法信息的描述

但是，在觀察試驗的實際結(jié)果之后發(fā)現(xiàn)，這n個可能的狀態(tài)的出現(xiàn)概率卻變成了,這些概率稱為后驗概率。于是，就可以寫出觀察前后概率空間的變換：概率空間的變換式的整體就可以用來描述觀察者的實得信息。信息科學導論在大多數(shù)實際的試驗場合，后驗概率分布（pi|i=1,…，n）是一個0-1型分布，即若用一個專門的符號來表示這種0-1型的后驗分布，則概率空間的變換式可以寫為 (X,P)?(X,)3.1語法信息的描述 -概率型語法信息的描述

信息科學導論當觀察者對于X的出現(xiàn)概率沒有任何先驗知識的時候，就只能假定這n個狀態(tài)出現(xiàn)的概率都相等，即；p=1/n，i=l，…，n。若用符號P0來表示這種均勻型的先驗概率分布，則上式又可以變?yōu)? (X,P0)?(X,)3.1語法信息的描述 -概率型語法信息的描述

上式表示：在觀察試驗之前，觀察者對試驗結(jié)果一無所知；觀察之后，結(jié)果唯一確定。這時觀察者獲得了最大的實得信息量。反之，若有=P0

，則觀察者的實得信息量為零。信息科學導論偶發(fā)信息是由半隨機試驗提供的。半隨機試驗的可能狀態(tài)也是隨機發(fā)生的，只是它們發(fā)生的規(guī)律不能用概率分布來描述，因為這類試驗是偶爾發(fā)生的，而不是大量地重復發(fā)生的，不存在統(tǒng)計穩(wěn)定性。3.1語法信息的描述 -偶發(fā)型語法信息的描述

假定有某個隨機試驗X，它有N個可能的狀態(tài)：X1，…，XN。作為試驗的結(jié)局，一般總有一個狀態(tài)會實際發(fā)生。在觀察之前，根據(jù)推斷，觀察者認為x1發(fā)生的可能度為q1，…，xn發(fā)生的可能度為qn。顯然，與概率的情形類似，應有信息科學導論但是，實際觀察的結(jié)果，各種可能狀態(tài)發(fā)生的可能度卻是，…，。其中，某。其余=0,。q1，…，qn稱為觀察者關(guān)于X的先驗可能度分布，用符號Q表示，而…，稱為試驗X的后驗可能度分布，用符號Q*表示。3.1

語法信息的描述 -偶發(fā)型語法信息的描述

有時也把可能度叫做主觀概率、經(jīng)驗概率、形式概率或主觀置信度。信息科學導論和概率信息類似，定義（X，Q）和（X，Q*）分別為半隨機試驗的先驗可能度空間和后驗可能度空間，并且用它們來描述偶發(fā)信息。例如，觀察半隨機試驗X的過程中所獲得的實得信息，可用下式來描述：3.1語法信息的描述 -偶發(fā)型語法信息的描述

信息科學導論確定型信息是指由確定試驗所提供的信息。而所謂確定型試驗，是指具有確定的試驗機構(gòu)，但初始條件和環(huán)境條件具有動態(tài)或時變性的試驗。下圖所示的簡單RLC電路，其中U（t）是電路的激勵電源。3.1語法信息的描述 -確定型語法信息的描述

信息科學導論由電工學的理論知道，這個電路的運動狀態(tài)及其變化方式（行為）可以由一個二階微分方程來描述.這樣，只要給定初始條件，就可以唯一地確定它在未來時刻t的狀態(tài)和狀態(tài)變化方式。所以，這是一個確定型的試驗系統(tǒng)。3.1語法信息的描述 -確定型語法信息的描述

信息科學導論如果已知某個系統(tǒng)的各種狀態(tài)以及狀態(tài)之間的轉(zhuǎn)移方式，那么也可以用圖論的方法來表示這些狀態(tài)和狀態(tài)變化方式（即信息）。3.1語法信息的描述 -確定型語法信息的描述

A–種子狀態(tài)；B–植物狀態(tài)；C–開花狀態(tài)；D–已授粉的植物狀態(tài)；E–未授粉的植物狀態(tài)；F–種子的死亡狀態(tài)。信息科學導論數(shù)據(jù)表格、公式曲線等等也可以用來表示確定型信息。如，考慮如下一個確定型決策問題：假設(shè)某單位需要購買某種產(chǎn)品45000個，已知該種產(chǎn)品有四處供應來源，所購買的這些產(chǎn)品要分別送到三個不同的倉庫點，列出各個倉庫的容量和各個供應點可以供應的產(chǎn)品數(shù)量以及價格、運輸費等數(shù)據(jù)。要求確定具體的采購方案，使所付出的總費用最少。3.1語法信息的描述 -確定型語法信息的描述

信息科學導論庫存容量費用一號庫10000二號庫15000三號庫20000供應數(shù)量供應點A8000C11=3.00元C12=3.00元C13=4.50元供應點B12000C21=4.80元C22=3.20元C23=5.00元供應點C11000C31=6.00元C32=4.00元C33=5.50元供應點D14000C41=5.30元C42=4.10元C43=6.00元用表格來表示確定型信息3.1語法信息的描述 -確定型語法信息的描述

信息科學導論那么，我們就可以列出下列公式來表示所給出的信息：目標信息為約束信息為3.3語法信息的描述 -確定型語法信息的描述

信息科學導論模糊信息的描述涉及到模糊集合的概念。模糊集合是這樣一種集合，它的各個元素的隸屬度（對集合性質(zhì)的滿足程度）是模糊的。例如，“遠大于1的正實數(shù)集”就是模糊集，它的元素包括大于1的所有正實數(shù)，而這些元素滿足性質(zhì)“遠大于1”的程度是模糊的：“10”以上的正實數(shù)的滿足程度為1，“5”的滿足的程度可能只有一半左右，而“2”的滿足程度卻只有零點幾。但它們都“在一定程度上”具有“遠大于1”這一性質(zhì)。因此，如果把這個模糊隸屬度用圖形畫出來，就可以得到下圖所示的情形。3.1語法信息的描述 -模糊型語法信息的描述信息科學導論3.1語法信息的描述 -模糊型語法信息的描述上圖曲線稱為模糊集的隸屬度分布曲線,它表明：集合論域內(nèi)各元“屬于”該集合的程度。百分之百地屬于該集合的元的隸屬度為1，完全不屬于該集合的元的隸屬度為0，其它則為中間情況。信息科學導論集合的示性函數(shù)（即隸屬度）分布曲線是具有突變跳躍的曲線，如圖所示。3.1語法信息的描述 -模糊型語法信息的描述信息科學導論一種規(guī)范的模糊集定義可以表述如下。所謂給定了論域U上的一個模糊子集X是指：對于任意uU，都指定了某個數(shù)，叫做u對于X的隸屬度。這個映射叫做X的隸屬度函數(shù)。3.1語法信息的描述 -模糊型語法信息的描述可以用模糊集隸屬度曲線來描述模糊事物的“運動的狀態(tài)及其變化方式”。我們把模糊集元所具有的隸屬度記為f，第i個元的隸屬度記為fi，整個模糊集上的隸屬度分布則記為F。需要注意，與概率的情況不同，這里的隸屬度不滿足歸一化的要求，即

信息科學導論與概率空間的概念相類似，可以把模糊試驗X和它的隸屬度分布F所組成的序?qū)Γ╔，F(xiàn)）稱為模糊事件的隸屬度空間。3.1語法信息的描述 -模糊型語法信息的描述若用符號F表示試驗前的隸屬度分布，F(xiàn)*表示試驗后的隸屬度分布，那么就描述了一個模糊試驗所提供的模糊信息。在理想試驗的場合，經(jīng)過試驗，模糊性可以被完全消除。這時，F(xiàn)*的元只取0或1，即

這時的隸屬度分布記為。它實際上已經(jīng)蛻化成為一個普通集的示性函數(shù)。信息科學導論我們可以采用指稱邏輯的概念來處理事物運動狀態(tài)及其變化方式的含義表征問題。3.2語義信息的描述參量采用指稱邏輯的概念來處理狀態(tài)含義的表征問題，可以設(shè)置一個“狀態(tài)邏輯真實度”參量，記為t，它應當滿足0≤t≤1

及

信息科學導論具體來說，如果某事物X具有N個可能的運動狀態(tài)：{xn,n=1，…，N}。記狀態(tài)xn的邏輯真實度為tn，可以建立一個關(guān)于事物X的邏輯真實度空間，記為3.2語義信息的描述參量其中稱為X的邏輯真實度廣義分布?！皬V義”所指，是因為tn的總和不一定歸一，即有符號“”表示“可能大于、小于或等于1，而不是必然等于1”。信息科學導論類似地，我們也可以采用效用度的概念來處理事物運動狀態(tài)及其變化方式的價值表征的問題。3.3語用信息的描述參量采用效用度的概念來處理狀態(tài)價值的表征問題，在這里就是要解決事物各種運動狀態(tài)對主體的價值大小的描述。于是，可以設(shè)置一個“狀態(tài)效用度”參量，記為u，它應當滿足

0≤u≤1及

信息科學導論其中稱為X的效用度廣義分布?！皬V義”所指，也是因為un，的總和不一定歸一，即有

3.3語用信息的描述參量信息科學導論對于某個事物X，若它有N種可能的狀態(tài){xn，n=1，…，N}；又若在觀察試驗之前它的先驗參量分別為cn（表征狀態(tài)變化方式的形式）、tn（邏輯真實度）和un（效用度），相應的先驗廣義分布為C、T和U，而在觀察試驗之后，它的后驗廣義分布為C*、T*和U*，那么，與觀察事物X相關(guān)的語法信息、語義信息和語用信息過程就可以分別描述為

3.3全信息的描述信息科學導論通常，我們把用邏輯真實度空間和效用度空間描述的語義信息和語用信息分別稱為單純語義信息和單純語用信息，相應的邏輯真實度和效用度也分別稱為單純邏輯真實度和單純效用度。3.3全信息的描述但是，正如前面所指出的，語義信息須以語法信息為基礎(chǔ)，語用信息須以語義和語法信息為基礎(chǔ)。這樣就有必要進一步引出綜合邏輯真實度和綜合效用度的概念，以及與此相應的綜合邏輯真實度空間和綜合效用度空間的概念。利用這些概念，可以建立對于綜合語義信息和綜合語用信息的描述。信息科學導論給定事物X，假設(shè)它有N個可能的運動狀態(tài){xn，n=1，…，N}，每個狀態(tài)的變化方式的形式化因素用參量cn來表征，在概率性事件場合，cn就是概率pn，在偶發(fā)性事件場合，cn就是可能度qn，在模糊事件場合，cn就是隸屬fn；又若各個狀態(tài)的單純邏輯真實度為tn，單純效用度為un，那么，X的綜合邏輯真實度、綜合邏輯真實度空間、綜合效用度、綜合效用度空間就可以分別定義如下.3.3全信息的描述信息科學導論綜合邏輯真實度：綜合邏輯真實度