信息工程概論課件 第四講 信息的定量測(cè)度

第4講信息的定量測(cè)度Shannon指出：通信工程的基本任務(wù)，是在噪聲干擾下盡可能準(zhǔn)確地復(fù)制從發(fā)端傳來(lái)的消息波形，而與消息的內(nèi)容和價(jià)值無(wú)關(guān)。4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵Shannon注意到通信問(wèn)題的隨機(jī)性質(zhì)，他指出：一個(gè)實(shí)際的消息是從可能消息的集合中隨機(jī)選擇出來(lái)的，而選擇消息的發(fā)信者又是任意的，因此這種選擇就具有隨機(jī)性，是一種大量重復(fù)發(fā)生的統(tǒng)計(jì)現(xiàn)象。Shannon等人還注意到，通信的發(fā)生是以通信者具有不定性為前提的，而通信的作用和結(jié)果則是消除這種不定性。信息科學(xué)導(dǎo)論既然信息是用來(lái)消除不定性的東西，那么信息的數(shù)量就可以用被消除掉的不定性的大小來(lái)表示。這種不定性是由隨機(jī)性引起的，因此可以用概率論方法來(lái)描述。這就是Shannon信息度量方法的基本思想。4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵假設(shè)有隨機(jī)事件的集合x1，x2，…，xN，它們的出現(xiàn)概率分別為P1，P2，…，PN。，滿足下述條件：0≤pi≤1i=1,…N，首先找出一種測(cè)度來(lái)度量事件選擇中含有多少“選擇的可能性”，或者度量選擇的結(jié)果具有多大的不確定性。顯然，當(dāng)所收到的信息量恰好使這個(gè)不定性全部消除時(shí)，所收到的信息的量就認(rèn)為等于這個(gè)所消除掉的不定性的數(shù)量。信息科學(xué)導(dǎo)論以符號(hào)H(p1，…，pN)來(lái)表示這個(gè)不定性的測(cè)度，也就是說(shuō)，不定性測(cè)度必然是概率分布(p1，…，pN)的函數(shù)，其具體的函數(shù)形式則有待確定。4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵為了確定H（p1，…，pN）的具體形式，應(yīng)當(dāng)考慮一些合理的約束。對(duì)此Shannon提出了如下三個(gè)基本條件：（1）H應(yīng)當(dāng)是對(duì)pi（i=1，…，N）連續(xù)的函數(shù)。（2）如果所有的pi相等，即,…，N那么H應(yīng)是N的單調(diào)增函數(shù)。（3）如果選擇分為相繼的兩步，那么原先的H應(yīng)等于分步選擇的各個(gè)H值的加權(quán)和。信息科學(xué)導(dǎo)論條件（1）和（2）顯然合理；條件（3）的含義可以解釋如下：設(shè)有三個(gè)事件x1，x2和x3，它們的出現(xiàn)概率為p1=1/2,p2=1/3和p3=1/6，如圖所示。4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵信息科學(xué)導(dǎo)論圖（a）是不分步選擇的情況，圖（b）是分兩步選擇的情況。顯然，從最后的結(jié)果來(lái)看，分步與否并不影響這個(gè)事件集的不定性，因?yàn)樗鼈兊母怕士臻g完全相同。于是，人們自然希望能滿足這樣的關(guān)系：這無(wú)疑也是合理的。4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵信息科學(xué)導(dǎo)論定理3.1.1滿足條件（1）、（2）和（3）的不定性度量可用且僅可用下式表示：

式中K為正常數(shù).4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵用等概率選擇的情況驗(yàn)證，令由條件（3）有信息科學(xué)導(dǎo)論因而

一般地有4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵對(duì)于給定的β，總可以找到適當(dāng)?shù)摩粒節(jié)M足關(guān)系：對(duì)上式取對(duì)數(shù)，并以βlogS除之，則有

信息科學(xué)導(dǎo)論另一方面，由條件（2）及上述公式可得上式除以βA(S)，則得

4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵可以得出

信息科學(xué)導(dǎo)論式中ε是任意小的正數(shù)。于是有

A(t)=Klogt根據(jù)條件（2），K必須為正數(shù)。若取β足夠大，則可以寫為4.1概率語(yǔ)法信息測(cè)度

Shannon概率熵對(duì)于非等概率事件，經(jīng)適當(dāng)變換，可以看做等概率事件進(jìn)行分析，證明略。信息科學(xué)導(dǎo)論如前所說(shuō)，信息是用以消除不定性的東西。如果以I(p1，…，Pn)來(lái)表示為消除不定性H(p1，…，pN)所需要的信息量，則有I(p,…,pN)=H(p1,…,pN)-0=H(p1,…,pN)4.1概率語(yǔ)法信息測(cè)度

所以，從數(shù)量上說(shuō)，H（p1，…，pN）既可以看作是一個(gè)隨機(jī)試驗(yàn)所具有的不定性，也可以看作是為消除這個(gè)不定性所需要的信息量。信息科學(xué)導(dǎo)論為了確定信息量的單位，考察一個(gè)標(biāo)準(zhǔn)的二中擇一試驗(yàn)，即具有兩種可能結(jié)果且兩種結(jié)果出現(xiàn)的概率相等的試驗(yàn)。4.1概率語(yǔ)法信息測(cè)度

取對(duì)數(shù)底為2，令所得的=1，則得常數(shù)K=1。于是，上式變?yōu)樾畔⒖茖W(xué)導(dǎo)論當(dāng)對(duì)數(shù)底為2時(shí)，信息單位稱為二進(jìn)單位，也叫比特（bit，BinaryDigit的縮寫）；當(dāng)對(duì)數(shù)底為e時(shí)，則稱自然單位，也叫奈特（nat，NaturalDigit的縮寫）；當(dāng)?shù)兹?0時(shí)，稱為迪特（dit，DecimalDigit的縮寫），等等。4.1概率語(yǔ)法信息測(cè)度

盡管單位不同，它們之間的轉(zhuǎn)換是直接而簡(jiǎn)單的。需要注意的是，式中當(dāng)某個(gè)Pi=0時(shí)，規(guī)定0log0=0信息科學(xué)導(dǎo)論另外，公式也可表示為

式中4.1概率語(yǔ)法信息測(cè)度可以理解為具有出現(xiàn)概率Pi的單個(gè)事件的不定性，或?yàn)橄@個(gè)不定性所需要的信息量。而H(p1，…，pN)則是具有概率分布p1，…，pN的事件集合的平均不定性，或?yàn)橄@個(gè)不定性所需要的平均信息量。信息科學(xué)導(dǎo)論舉例

假設(shè)一條電線上串聯(lián)了8個(gè)燈泡x1,x2,…,x8，這8個(gè)燈泡損壞的可能性是等概率的，現(xiàn)假設(shè)8個(gè)燈泡中有一個(gè)也只有一個(gè)燈泡已損壞，致死串聯(lián)的燈泡都不能點(diǎn)亮，請(qǐng)求：為檢查出哪個(gè)燈泡損壞所需的信息量？4.1概率語(yǔ)法信息測(cè)度信息科學(xué)導(dǎo)論A．DeLuca和S．Termin曾在1972年提出模糊熵的概念及其表達(dá)式，并建議以這個(gè)表達(dá)式來(lái)具體計(jì)算模糊集合的不定性；遺憾的是，DeLuca和Termini的文章并沒(méi)有給出嚴(yán)格的數(shù)學(xué)證明，只是給出了如下的思路。4.2模糊語(yǔ)法信息測(cè)度

作為模糊熵，至少必須滿足以下三個(gè)基本的特性：（1）當(dāng)且僅當(dāng)f在L上取值0或1時(shí)，模糊熵才為零。（2）當(dāng)且僅當(dāng)f恒為1/2時(shí),才取最大值（3）

f越陡峭，應(yīng)當(dāng)越?。环粗畡t應(yīng)越大。就是說(shuō)，若有

則應(yīng)有信息科學(xué)導(dǎo)論其中，特性（1）是對(duì)模糊熵極值性的規(guī)定，即當(dāng)模糊集的示性函數(shù)僅取0或1值時(shí)，模糊集退化為普通集。特性（2）也是對(duì)模糊熵的極值性的規(guī)定．即各個(gè)元的隸屬度均為1／2時(shí)，模糊集所固有的不定性達(dá)到最大的程度。條件（3）是模糊熵的有序性的規(guī)定：隸屬度分布越陡峭的模糊集所具有的不定性越小。顯然，這些都是合理的要求。4.2模糊語(yǔ)法信息測(cè)度信息科學(xué)導(dǎo)論一般說(shuō)來(lái)，有很多類函數(shù)都可能滿足這三個(gè)基本要求，他們選擇了如下的形式：

其中4.2模糊語(yǔ)法信息測(cè)度于是，如果引入Shannon函數(shù)

則信息科學(xué)導(dǎo)論令，則

4.2模糊語(yǔ)法信息測(cè)度這個(gè)顯然能夠滿足上述三個(gè)基本特性的要求，因此便成為模糊集的不定性的測(cè)度，稱為模糊熵。信息科學(xué)導(dǎo)論偶發(fā)試驗(yàn)所具有的不定性可以表示為4.3語(yǔ)法信息統(tǒng)一測(cè)度由此可見(jiàn)，不同類型的信息有不同的度量公式，為此，需要探討更一般的信息函數(shù)表達(dá)式。與Shannon方法不同，這里不從概率的概念出發(fā)來(lái)定義信息函數(shù)，而從一個(gè)更廣義的概念出發(fā)來(lái)尋求新的解答。這個(gè)廣義概念就是“肯定度”。作者從肯定度歸一和不歸一兩種情況討論了語(yǔ)法信息的統(tǒng)一測(cè)度。信息科學(xué)導(dǎo)論對(duì)于肯定度歸一的結(jié)論觀察者R從試驗(yàn)系統(tǒng)（X．C．C*）中得到的信息量I（C，C*；R）是他通過(guò)觀察所實(shí)現(xiàn)的關(guān)于X的對(duì)數(shù)相對(duì)平均肯定度的增量，即4.3語(yǔ)法信息統(tǒng)一測(cè)度稱為一般信息函數(shù)，信息科學(xué)導(dǎo)論對(duì)于肯定度不歸一的結(jié)論由于模糊集合各個(gè)元素的確定性性質(zhì)，定義在整個(gè)模糊集合(X,C,C*)上的平均信息量就等于定義在各個(gè)(fn,1-fn)上的信息量的算術(shù)平均，即：4.3語(yǔ)法信息統(tǒng)一測(cè)度信息科學(xué)導(dǎo)論這樣，在形式上，我們就可以把統(tǒng)一的語(yǔ)法信息I(C,C*;R)表示為式(3.3.37)所示的兩段表達(dá)式，即：4.3語(yǔ)法信息統(tǒng)一測(cè)度信息科學(xué)導(dǎo)論4.4全信息統(tǒng)一測(cè)度稱I(T)為R關(guān)于X的先驗(yàn)單純語(yǔ)義信息量，I(T*)為R關(guān)于x的后驗(yàn)單純語(yǔ)義信息量，而稱I(T,T*；R)為R在觀察試驗(yàn)X的過(guò)程中所獲得的實(shí)得單純語(yǔ)義信息量。信