信息論與編碼信源與信息熵的課件

1、1信源與信息熵第二章22.1 信源的描述和分類2.2 離散信源熵和互信息2.3 離散序列信源的熵2.4 連續(xù)信源的熵和互信2.5 冗余度內(nèi)容32.2 離散信源熵和互信息4離散信源熵和互信息問題： 什么叫不確定度？ 什么叫自信息量？ 什么叫平均不確定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫條件熵？ 什么叫聯(lián)合熵？ 聯(lián)合熵、條件熵和熵的關(guān)系是什么？5離散信源熵和互信息問題：什么叫后驗概率？什么叫互信息量？什么叫平均互信息量？什么叫疑義度？什么叫噪聲熵（或散布度）？數(shù)據(jù)處理定理是如何描述的？熵的性質(zhì)有哪些？6自信息量設(shè)離散信源X，其概率空間為I (xi) 含義:當事件xi發(fā)生以前,表示事件

2、xi 發(fā)生的不確定性當事件xi發(fā)生以后,表示事件xi所含有的信息量7自信息量自信息量條件自信息量聯(lián)合自信息量8離散信源熵離散信源熵H(X)信源熵具有以下三種物理含意：信息熵H(X)表示信源輸出后,每個離散消息所提供的平均信息量。信息熵H(X)表示信源輸出前,信源的平均不確定性。信息熵H(X)反映了變量X的隨機性 。9信源熵無條件熵條件熵10信源熵聯(lián)合熵H(X,Y)H(X)H(Y|X)H(X,Y)H(Y)H(X|Y)無條件熵、條件熵、聯(lián)合熵之間的關(guān)系112.2.3 互信息設(shè)有兩個隨機事件X和Y ,X取值于信源發(fā)出的離散消息集合, Y取值于信宿收到的離散符號集合有擾信道干擾源信源X信宿Y12互信息

3、如果信道是無噪的,當信源發(fā)出消息xi后,信宿必能準確無誤地收到該消息,徹底消除對xi的不確定度,所獲得的信息量就是xi的不確定度I(xi),即xi本身含有的全部信息。一般而言,信道中總是存在著噪聲和干擾,信源發(fā)出消息xi,通過信道后信宿只可能收到由于干擾作用引起的某種變型yj 。信宿收到y(tǒng)j 后推測信源發(fā)出xi的概率p(xi|yj)稱為后驗概率。信源發(fā)出消息xi的概率p(xi) 稱為先驗概率。13互信息對于單個符號情況下定義為 符號xi的后驗概率與先驗概率比值的對數(shù)互信息量I(xi;yj)表示接收到某消息yj后獲得的關(guān)于事件xi的信息量。唯一地確定接收符號yj 所需要的信息量信源發(fā)出符號為已知

4、時需要確定接收符號yj 所需信息量14例某地二月份天氣 構(gòu)成的信源為：若得知“今天不是晴天”,把這句話作為收到的消息y1當收到y(tǒng)1后,各種天氣發(fā)生的概率變成后驗概率了p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4 求得自信息量分別為 15表明從y1分別得到了x2 x3 x4各 1比特的信息量。消息y1使x2 x3 x4的不確定度分別減少1bit 、 2bit 、 2bit 。16例2-8:一個二進信源X發(fā)出符號集0,1,經(jīng)過離散無記憶信道傳輸,信道輸出用Y表示,由于信道中存在噪聲,接收端除收到0和1的符號外,還有不確

5、定符號“2”已知X的先驗概率: p(x0)=2/3, p(x1)= 1/3,符號轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵17得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1)

6、= 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6條件熵由18聯(lián)合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符號得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由19由得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/220H(

7、X)：表示接收到輸出符號Y前關(guān)于輸入變量X的平均不確定度。H(X|Y)： 表示接收到輸出符號Y 后關(guān)于輸入變量X的平均不確定度。這個對X尚存在的平均不確定度是由于干擾(噪聲)引起的 21互信息 在例2-8中，H(X)大于H(X|Y)，說明當已知Y后，X的不確定度減小了。即對于接收者，在未收到任何消息時，對信源X的不確定度H(X)是0.92bit/符號。而當收到消息Y后，不確定度降低到了H(X|Y)=0.33bit/符號。不確定度的減少量(0.92-0.33)bit/符號=0.59bit/符號就是接收者通過信道傳輸收到的信源X 的信息量，稱為X和Y的互信息H(X;Y)，即H(X;Y)= H(X)

8、- H(X|Y)。22平均互信息平均互信息定義 信息= 先驗不確定性后驗不確定性 = 不確定性減少的量Y未知,X 的不確定度為H(X)Y已知,X 的不確定度變?yōu)镠(X |Y)23平均互信息有擾信道干擾源信源X信宿Y通信系統(tǒng)中,若發(fā)端的符號為X ,收端的符號為Y如果是一一對應信道,接收到Y(jié)后,對X的不確定性將完全消除：H(X|Y) = 0一般情況： H(X |Y) H(X),即接收Y后對X的不確定度將減少，但沒有完全消除。通過信道傳輸消除了一些不確定性,獲得了一定的信息。24平均互信息平均互信息的另一種定義方法： 25例假設(shè)一條電線上串聯(lián)了8個燈泡x1, x2，x8如圖，這8個燈泡損壞的概率相等

9、p(xi) = 1/8，現(xiàn)假設(shè)只有一個燈泡已損壞，致使串聯(lián)燈泡都不能點亮。未測量前,8個燈泡都有可能損壞,它們損壞的先驗概率: p(xi)=1/8這時存在的不確定性：26第1次測量后,可知4個燈泡是好的,另4個燈泡中有一個是壞的,這時后驗概率p(xi|y) =1/4尚存在的不確定性所獲得的信息量就是測量前后不確定性減少的量,第1次測量獲得的信息量：27第2次測量后變成猜測哪2個燈泡中一個是損壞的,這時后驗概率為： p(xi|yz) = 1/2尚存在的不確定性：第2次測量獲得的信息量：第3次測量完全消除了不確定性，能獲知哪個燈泡是壞了的。尚存在的不確定性等于零。第3次測量獲得的信息量：28信源消

10、息 x1 x2x3x4x5x6x7x8先驗概率 1/81/81/81/81/81/81/81/8后驗概率第1次測量y1/41/41/41/4第2次測量z1/21/2第3次測量w1要從8個等可能損壞的串聯(lián)燈泡中確定哪個燈泡是壞的,至少要獲得3個bit的信息量 29互信息量在有3個變量的情況下,符號xi與符號yj , zk之間的互信息量定義為同理聯(lián)合事件(yj,zk)出現(xiàn)后所提供的有關(guān)xi的信息量zk事件出現(xiàn)后提供的有關(guān)xi的信息量給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量30條件互信息我們定義在已知事件zk的條件下,接收到y(tǒng)j后獲得關(guān)于某事件xi的條件互信息31互信息量三維聯(lián)合集(X

11、,Y,Z)上的平均互信息有32平均互信息與各類熵的關(guān)系 熵只是平均不確定性的描述;不確定性的消除(兩熵之差)才等于接收端所獲得的信息量。 獲得的信息量不應該和不確定性混為一談 33維拉圖 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)交集并集交集并集34平均互信息的物理意義（1）式，H(X)是符號X的熵或不確定度，而H(X|Y)是當Y已知時X的不確定度，那么可見“Y已知”這件事使X得不確定度減少了I(X;Y)，這意味著Y“已知后”所獲得的關(guān)于X的信息是I(X;Y)。也可將平均互信息量I(X;Y)看成有擾離散信道上傳輸?shù)钠骄バ畔⒘?。信宿收到的平均互信息量等于信宿對信源符號不確定

12、度的平均減少量。具體地，（1）式表明在有擾離散信道上，各個接收符號y所提供的有關(guān)信源發(fā)出的各個符號x的平均信息量I(X;Y)等于唯一地確定信源符號x所需要的平均信息量H(X)，減去收到符號Y后要確定X所需要的平均信息量H(X|Y)。35條件熵H(X|Y)：信道疑義度，損失熵信源符號通過有噪信道傳輸后所引起的信息量的損失。由于信道上存在干擾和噪聲而損失掉的平均信息量。故稱作損失熵。又可以看作是由于信道上的干擾和噪聲的緣故，接收端獲得Y后還剩余的對信源符號X的平均不確定度。故稱作疑義度。信源X的熵等于接收到的信息量H(X;Y)加上損失掉的信息量H(X|Y)。 36條件熵（2）式表明：平均互信息量可

13、看作在有干擾離散信道上傳遞消息時，唯一地確定接收符號y所需要的平均信息量H(Y)，減去當信源符號發(fā)出符號為已知時需要確定接收符號y所需的平均信息量H(Y|X)。H(Y|X)它反映了信道中噪聲源的不確定性。唯一地確定信道噪聲所需要的平均信息量。故稱作噪聲熵或散布度。輸出端信源Y 的熵H(Y)等于接收到關(guān)于X的信息量I(X;Y)加上H(Y|X),這完全是由于信道中噪聲引起的。37收發(fā)兩端的熵關(guān)系I(X;Y) H(X) H(Y)H(X/Y)疑義度或損失熵 H(Y/X)噪聲熵或散布度38若信道是無噪一一對應信道,信道傳遞概率： 計算得:39若信道輸入端X與輸出端Y完全統(tǒng)計獨立 則:沒有交集40重要結(jié)論

14、在一般情況下，X與Y既非相互獨立，也不是一一對應，那么從Y獲得X的信息必在零和H(X)之間，即常小于X的熵。從互信息的定義41重要結(jié)論可以看出：互信息I(X;Y)只是輸入信源X的概率分布p(xi)和信道轉(zhuǎn)移概率p(yi|xi)的函數(shù)，即Ip(xi), p(yi|xi)。可以證明：當p(xi)一定時，I是關(guān)于p(yi|xi)的型凸函數(shù)，存在極小值；當p(yi|xi)一定時， I是關(guān)于p(xi)的型函數(shù)，存在極大值。42第一級處理器第二級處理器XYZ輸入 級聯(lián)處理器2.2.4 數(shù)據(jù)處理中信息的變化數(shù)據(jù)處理定理 :當消息通過多級處理器時,隨著處理器數(shù)目增多,輸入消息與輸出消息間的平均互信息量趨于變小

15、假設(shè)Y條件下X和Z相互獨立 43數(shù)據(jù)處理定理 數(shù)據(jù)處理定理說明：當對信號、數(shù)據(jù)或消息進行多級處理時,每處理一次,就有可能損失一部分信息,也就是說數(shù)據(jù)處理會把信號、數(shù)據(jù)或消息變成更有用的形式，但是絕不會創(chuàng)造出新的信息,這就是所謂的信息不增原理。 44三維聯(lián)合集XYZ上的平均互信息量 45例2-11 有一信源輸出X 0,1,2,其概率為p(0)=1/4,p(1)=1/4,p(2)=1/2.設(shè)計兩個獨立實驗去觀察它，其結(jié)果分別為Y1 0,1和Y2 0,1.已知條件概率為表2-5所列，求表2-5 實驗得到的條件概率p(y1|x)01p(y2|x)0101001010111021/21/2201(1)I

16、(X;Y1)和I(X;Y2),并判斷哪一個實驗好些。(2)I(X;Y1,Y2)，并計算做Y1和Y2兩個實驗比做Y1或Y2中的一個實驗各可多得多少關(guān)于X的信息。(3)I(X;Y1|Y2)和I(X;Y2|Y1).46解: (1)由題意得y101y201p(y1)1/21/2p(y2)1/21/2 I(X;Y1)=H(Y1)-H(Y1|X)其中 H(Y1)=H(1/2,1/2)=1bit/符號所以 I(X;Y1)=H(Y1)-H(Y1|X)=1-0.5=0.5bit/符號同理 I(X;Y2)=1-0=1bit/符號 因此第二個實驗好些。47(2) H(X)=H(1/4,1/4,1/2)=1.5bit

17、/符號 I(X;Y1,Y2)=H(X)-H(X|Y1,Y2)=H(Y1,Y2)-H(Y1,Y2|X)由以下概率分布可得因此，H(Y1,Y2)=H(1/4,1/4,1/4,1/4)=2bit/符號y101y201p(y1)1/21/2p(y2)1/21/2y1, y2(0,0)(0,1)(1,0)(1,1)p(y1 ,y2)1/41/41/41/448p(y1,y2|x)(0,0)(0,1)(1,0)(1,1)0100010010201/201/2p(y1|x)01p(y2|x)0101001010111021/21/2201由可得49所以 I(X;Y1,Y2)=H(Y1,Y2)-H(Y1,Y2|X) =2-0.5=1.5bit/符號做兩個實驗比單做Y1多得信息量I(X;Y1,Y2)-I(X;Y1)=1.5-0.5=1bit/符號；比單做Y2多得信息量I(X;Y1,Y2)-I(X;Y2)=1.5-1=0.5bit/符號。(3) I(X;Y1|Y2)= I(X;Y1,Y2)- I(X;Y2) =1.5-1=0.5bit/符號；I(X;Y2|Y1)= I(X;Y1,Y2)- I(X;Y1)=1.5-0.5=1bit/符號.502.2.5 熵的性質(zhì)1.非負性 H(X)H(p1，p2，pn)0式中等號只有在pi =1時成立。2.對稱性 H(p1，p2，pn) = H(