信息與編碼理論 第2版 課件 2.5 平均自信息量

2.5平均自信息量1.平均自信息/信源熵的概念自信息是一個(gè)隨機(jī)變量：

自信息是指信源發(fā)出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。不同的信源其總體不確定度是不同的。信源1：消息隨機(jī)變量X=“中國足球隊(duì)與巴西足球隊(duì)比賽的結(jié)果”信源2：消息隨機(jī)變量Y=“意大利足球隊(duì)與德國足球隊(duì)比賽的結(jié)果”如何衡量信源的總體不確定度23信源的概率空間設(shè)信源輸出消息集合為X,每個(gè)符號出現(xiàn)的概率記作：則其數(shù)學(xué)模型可以表示為概率空間：大寫字母：表示隨機(jī)變量，指信源整體小寫字母加下標(biāo)：表示隨機(jī)變量的某一取值（樣本），即信源的某個(gè)消息。且滿足3信源的概率空間通常把一個(gè)隨機(jī)變量的樣本空間和樣本空間中的元素對應(yīng)的概率稱為概率空間。離散隨機(jī)變量的概率空間為：4例1擲一個(gè)六面均勻的骰子，每次出現(xiàn)朝上一面的點(diǎn)數(shù)是隨機(jī)的，以朝上一面的點(diǎn)數(shù)作為隨機(jī)試驗(yàn)的結(jié)果，并把試驗(yàn)結(jié)果看作一個(gè)信源的輸出，試建立數(shù)學(xué)模型。信源的輸出：離散隨機(jī)變量XX：{1，2，3，4，5，6}——樣本空間P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}解：

——概率空間51.平均自信息（信源熵）的概念平均自信息（信源熵）是自信息的統(tǒng)計(jì)平均，即數(shù)學(xué)期望。自信息是指收信者對信源發(fā)某一消息的不確定度。也指收信者準(zhǔn)確無誤收到該消息后獲得的信息量。

不同的消息，它們的自信息量是不同的。自信息是一個(gè)隨機(jī)變量。6信源熵的單位，取決于對數(shù)選取的底：以2為底，單位為比特/消息符號以e為底，單位為奈特/消息符號以10為底，單位為哈特萊/消息符號。信源熵的意義：信源每發(fā)一個(gè)消息（符號），所能提供的平均信息量；收信者在收到消息符號前，對信源X存在的平均不確定度。

信源熵是從整個(gè)信源的統(tǒng)計(jì)特性來考慮的。它是從平均意義上來表征信源的隨機(jī)性/不確定度的。1.平均自信息的概念71.平均自信息的概念（續(xù)4）例：一信源有6種輸出符號，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。計(jì)算H(X)。

解：

由信息熵定義，該信源輸出的信息熵為

8例：三個(gè)信源X1，X2，X3，它們的概率空間分別為三個(gè)信源的信源熵分別為：H(X1)=-0.5log0.5-0.5log0.5=1比特/消息符號H(X2)=-0.7log0.7-0.3log0.3=0.88比特/消息符號H(X3)=-0.99log0.99-0.01log0.01=0.08比特/消息符號可見：H(X1)>H(X2)>H(X3)9信源熵的表示方法離散隨機(jī)變量X的概率空間為記pi=p(xi)，則

由于概率的完備性，即，所以實(shí)際上是元函數(shù)。10信源熵的表示方法

當(dāng)n=2

時(shí)，112.熵函數(shù)的性質(zhì)熵函數(shù)的數(shù)學(xué)特性包括:(1)對稱性(2)確定性(3)非負(fù)性(4)擴(kuò)展性(5)連續(xù)性(6)遞增性(7)上凸性(8)極值性122.熵函數(shù)的性質(zhì)當(dāng)概率矢量中各分量的次序任意變更時(shí)，熵函數(shù)的值不變，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…該性質(zhì)說明：熵只與隨機(jī)變量(信源)的總體統(tǒng)計(jì)特性有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同。（1）對稱性132.熵函數(shù)的性質(zhì)例3：三個(gè)信源分別為：①X與Z信源的差別：具體消息其含義不同；②X與Y信源的差別：同一消息的概率不同；③但它們的信息熵是相同的。142.熵函數(shù)的性質(zhì) H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空間中，只要有一個(gè)事件是必然事件，那么其它事件一定是不可能事件，因此信源沒有不確定性，熵必為0。確定性表明，當(dāng)信源某一符號幾乎必然出現(xiàn)時(shí)，其它符號均

幾乎不可能出現(xiàn)，這個(gè)信源就是一個(gè)確知信源。在發(fā)符號前，不存在確定性；在發(fā)符號后，不提供任何信息量。（2）確定性152.熵函數(shù)的性質(zhì)只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵H(X)=0。離散信源的熵滿足非負(fù)性，而連續(xù)信源的熵可能為負(fù)。（3）非負(fù)性162.熵函數(shù)的性質(zhì)擴(kuò)展性說明，增加一個(gè)概率接近于零的消息時(shí)，信源熵保持不變。雖然小概率消息出現(xiàn)后，給予收信者較多的信息，但從總體來考慮時(shí)，因?yàn)檫@種概率很小的消息幾乎不會出現(xiàn)，所以它對于離散集的熵的貢獻(xiàn)可以忽略不計(jì)。這也是熵的總體平均性的一種體現(xiàn)。（4）擴(kuò)展性172.熵函數(shù)的性質(zhì)（5）連續(xù)性連續(xù)性表明，信源空間中概率分量的微小波動，不會引起信源總體信息熵的巨大變化。18（6）遞增性（遞推性)2.熵函數(shù)的性質(zhì)192.熵函數(shù)的性質(zhì)例4：利用遞推性計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。解：bit/符號20例：三個(gè)信源X1，X2，X3，它們的概率空間分別為三個(gè)信源的信源熵分別為：H(X1)=-0.5log0.5-0.5log0.5=1比特/消息符號H(X2)=-0.7log0.7-0.3log0.3=0.88比特/消息符號H(X3)=-0.99log0.99-0.01log0.01=0.08比特/消息符號可見：H(X1)>H(X2)>H(X3)212.熵函數(shù)的性質(zhì)（7）極值性（最大離散熵定理）定理：

離散無記憶信源輸出n個(gè)不同的消息符號，當(dāng)且僅當(dāng)各個(gè)符號出現(xiàn)概率相等時(shí)(即

)，熵最大，即

222.熵函數(shù)的性質(zhì)

例5：以二進(jìn)制信源為例，信源的概率空間為二進(jìn)制信源的信息熵為這時(shí)信息熵H(X)是p的函數(shù)，熵函數(shù)H(p)的曲線如圖所示：23從圖中可以得出熵函數(shù)的一些性質(zhì)：如果二進(jìn)制信源的輸出是確定的(p=0或p=1)，則該信源不提供任何信息；當(dāng)二進(jìn)制信源符號0和1等概率發(fā)生時(shí)，信源的熵達(dá)到最大值，等于1比特/符號;在等概率的二進(jìn)制信源輸出的二進(jìn)制數(shù)字序列中，每一個(gè)二元數(shù)字提供1比特的信息量。如果符號不是等概率分布，則每一個(gè)二元數(shù)字所提供的平均信息量小于1比特。這也進(jìn)一步說明了計(jì)算機(jī)術(shù)語中的“比特”與信息量單位“比特”的關(guān)系。2.熵函數(shù)的性質(zhì)24上凸性的幾何意義：

在上凸函數(shù)的任兩點(diǎn)之間畫一條割線，函數(shù)總在割線的上方.f(x)

x1x2

f(x1)

f(x2)上凸函數(shù)的定義上凸函數(shù)定義域內(nèi)兩個(gè)變量算術(shù)平均值的函數(shù)值，大于等于兩個(gè)變量各自函數(shù)值的算術(shù)平均值25可以被看做是一種新的概率分布。

是概率分布的嚴(yán)格上凸函數(shù)，即證明：（8）上凸性等號成立條件26但是所以等號不成立。2.熵函數(shù)的性質(zhì)27上凸性的幾何意義：

在上凸函數(shù)的任兩點(diǎn)之間畫一條割線，函數(shù)總在割線的上方.上凸函數(shù)在定義域內(nèi)的極值必為最大值，這對求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)2.熵函數(shù)的性質(zhì)28293條件熵隨機(jī)變量X和Y的條件熵定義為條件自信息量的數(shù)學(xué)期望表示：收到Y(jié)后，信源X仍具有的平均不確定度。

性質(zhì)：X、Y獨(dú)立，則H(X/Y)達(dá)到最大，且H(X/Y)max=H(X)說明：29等號成立的條件是

，也即隨機(jī)變量X和Y統(tǒng)計(jì)獨(dú)立時(shí)30H(X/Y)max=H(X)說明：X、Y獨(dú)立時(shí)，信宿收到的符號集合中不含任何有關(guān)信源的信息，此時(shí)信源的平均不確定度最大。故H(X/Y)叫信道疑義度。同理：說明：信宿收到Y(jié)后，若Y=X，則信源也就完全確定了，不再有任何平均不確定度。31聯(lián)合熵def：聯(lián)合自信息量的數(shù)學(xué)期望。意義：聯(lián)合熵H(XY)是二維隨機(jī)變量XY不確定性的度量。32聯(lián)合熵的可加性證明：33聯(lián)合熵的可加性可以推廣到N個(gè)隨機(jī)變量的情況如果N個(gè)隨機(jī)變量相互統(tǒng)計(jì)獨(dú)立，則有343.聯(lián)合熵和條