數(shù)字圖像處理信息的統(tǒng)計(jì)度量

數(shù)字圖像處理信息的統(tǒng)計(jì)度量第1頁，共92頁，2023年，2月20日，星期六2.1自信息量和條件自信息量

信息不確定性信息的度量隨機(jī)性、概率相互獨(dú)立事件符合概率相乘、信息相加熵事件集的平均不確定性2第2頁，共92頁，2023年，2月20日，星期六直觀推導(dǎo)信息測(cè)度信息I應(yīng)該是消息概率p的遞降函數(shù)由兩個(gè)不同的消息（相互統(tǒng)計(jì)獨(dú)立）所提供的信息等于它們分別提供信息之和（可加性）3第3頁，共92頁，2023年，2月20日，星期六4第4頁，共92頁，2023年，2月20日，星期六5兩個(gè)消息的相互依賴性越大，它們相互間的信息量就越大（這里指絕對(duì)值）例W：貴陽明日氣溫H：修文明日氣溫B：北京明日氣溫N：紐約明日氣溫W與H相互間的信息量大，W與B相互間的信息量小，W與N相互間的信息量幾乎為0第5頁，共92頁，2023年，2月20日，星期六定義2-1：對(duì)于給定的離散概率空間表示的信源，x=ai事件所對(duì)應(yīng)的（自）信息量為以2為底，單位為比特（bit)以e=2.718281828為底，單位為奈特（nat),理論推導(dǎo)時(shí)常用1nat=1.433bit1bit=0.693nat以10為底，單位為笛特（det)或哈特（Hart）1det=3.322bit1bit=0.301det6第6頁，共92頁，2023年，2月20日，星期六對(duì)通信系統(tǒng)來說：7第7頁，共92頁，2023年，2月20日，星期六自信息量和概率成反比。規(guī)定0log0=0自信息量的含義可從多個(gè)不同的角度來理解自信息量的單位表示的含義可理解為：用n進(jìn)制的數(shù)表示這些信息量需要多少位數(shù)。例2-1試求兩個(gè)事件的自信息量。8第8頁，共92頁，2023年，2月20日，星期六I=-log1/52!=22558I=-log413/C1352≈13.219第9頁，共92頁，2023年，2月20日，星期六定義2-2：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：當(dāng)xi和yj相互獨(dú)立是，有10第10頁，共92頁，2023年，2月20日，星期六聯(lián)合自信息量的單位與自信息量的單位相同，它的含義是：兩個(gè)事件同時(shí)發(fā)生的不確定性的大??；兩個(gè)事件同時(shí)發(fā)生帶來的信息量；將該信息量表示出來所需的n進(jìn)制位的個(gè)數(shù)。11第11頁，共92頁，2023年，2月20日，星期六自信息量的特性p（xi）=1，I（xi）=0p（xi）→0，I（xi）→∞；p（xi）=0，I（xi）=∞非負(fù)性，由于一個(gè)符號(hào)出現(xiàn)的概率總在閉區(qū)間[0,1]內(nèi)，所以自信息量為非負(fù)值。單調(diào)遞減性，P7圖2-1可加性12第12頁，共92頁，2023年，2月20日，星期六例英文字母中“e”的出現(xiàn)頻率為0.105，“c”出現(xiàn)的頻率為0.023，“o”出現(xiàn)的頻率為0.001，分別計(jì)算它們的自信息量。I（e）=-log0.105=3.25bitI（c）=-log0.023=5.44bitI（o）=-log0.001=9.97bit13第13頁，共92頁，2023年，2月20日，星期六定義2.3事件xi在事件yj給定條件下的條件自信息量為：14第14頁，共92頁，2023年，2月20日，星期六2.2離散信源熵與互信息15第15頁，共92頁，2023年，2月20日，星期六16第16頁，共92頁，2023年，2月20日，星期六例2-2I（x）=13.2877bitI（x/y）=6.6439bit17第17頁，共92頁，2023年，2月20日，星期六2.2離散信源熵與互信息例一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球?yàn)榧t色，20球?yàn)榘咨?。若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所獲得的（自）信息量。解：隨機(jī)事件的概率空間為18第18頁，共92頁，2023年，2月20日，星期六2.2離散信源熵與互信息19第19頁，共92頁，2023年，2月20日，星期六2.2互信息自信息量是衡量一個(gè)事件所包含的信息量的大小，互信息量是衡量兩個(gè)或多個(gè)事件之間關(guān)系的緊密程度。20第20頁，共92頁，2023年，2月20日，星期六定義2.4對(duì)于給定離散概率空間表示的信源，在出現(xiàn)y事件后所提供有關(guān)事件x的信息量定義互信息量，單位為比特21第21頁，共92頁，2023年，2月20日，星期六互信息量=自信息量-條件自信息量

=原有的不確定性-仍然保留的不確定性互信息量的含義：1.由事件yi消除掉的關(guān)于事件xi的不確定性。2.由事件yi能夠提供的事件xi的信息量。3.一個(gè)事件能夠提供的關(guān)于另一個(gè)事件的信息量越多，說明兩者關(guān)系越密切，因此互信息量還表示了事件yi和事件xi之間關(guān)系的密切程度?；バ畔⒘康慕^對(duì)值越大事件yi和事件xi關(guān)系越密切。22第22頁，共92頁，2023年，2月20日，星期六23第23頁，共92頁，2023年，2月20日，星期六24第24頁，共92頁，2023年，2月20日，星期六25第25頁，共92頁，2023年，2月20日，星期六互信息量例2-326第26頁，共92頁，2023年，2月20日，星期六27第27頁，共92頁，2023年，2月20日，星期六28第28頁，共92頁，2023年，2月20日，星期六互信息量的性質(zhì)1.互易性

I（x；y）=I（y；x）其含義是由事件y所提供的關(guān)于事件x的信息量等于由事件x提供的關(guān)于事件y的信息量。2.當(dāng)事件x、y統(tǒng)計(jì)獨(dú)立時(shí)，互信息量為0.例2-429第29頁，共92頁，2023年，2月20日，星期六3.互信息量可正可負(fù)例2-530第30頁，共92頁，2023年，2月20日，星期六4.互信息量不大于其中任一事件的自信息量。31第31頁，共92頁，2023年，2月20日，星期六2.3平均自信息量—熵自信息量是針對(duì)一個(gè)事件而言的，很多事件組成一個(gè)離散事件集合，概率空間為：

p(xi)0，32第32頁，共92頁，2023年，2月20日，星期六定義2-5：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I的數(shù)學(xué)期望為信源的信息熵，單位為比特/符號(hào)集合X的平均自信息量又稱為X的信息熵，簡稱熵。33第33頁，共92頁，2023年，2月20日，星期六在信息論中，認(rèn)為信源輸出的消息是隨機(jī)的。即在未收到消息之前，是不能肯定信源到底發(fā)送什么樣的消息。而通信的目的也就是要使接收者在接收到消息后，盡可能多的解除接收者對(duì)信源所存在的疑義（不定度），因此這個(gè)被解除的不定度實(shí)際上就是在通信中所要傳送的信息量。34第34頁，共92頁，2023年，2月20日，星期六因此,接收的信息量在無干擾時(shí),在數(shù)值上就等于信源的信息熵，式中P(xi)為信源取第i個(gè)符號(hào)的概率。但在概念上,信息熵與信息量是有區(qū)別的。信息熵是描述信源本身統(tǒng)計(jì)特性的一個(gè)物理量。它是信源平均不定度，是信源統(tǒng)計(jì)特性的一個(gè)客觀表征量。不管是否有接收者它總是客觀存在的。信息量則往往是針對(duì)接收者而言的，所謂接收者獲得了信息，是指接收者收到消息后解除了對(duì)信源的平均不定度，它具有相對(duì)性。35第35頁，共92頁，2023年，2月20日，星期六熵的含義：

1.表示了集合中所有事件是否發(fā)生的平均不確定性的大小。2.表示了集合中事件發(fā)生，帶給人們的平均信息量的大小。3.表示了確定集合中到底哪個(gè)事件發(fā)生時(shí)所需的平均信息量的大小。4.表示了如果用二進(jìn)制數(shù)據(jù)將集合中的各個(gè)元素表示出來所需的二進(jìn)制位的平均數(shù)。例2-636第36頁，共92頁，2023年，2月20日，星期六2.3.2熵函數(shù)的數(shù)學(xué)性質(zhì)熵的性質(zhì)對(duì)稱性非負(fù)性確定性香農(nóng)輔助定理(香農(nóng)不等式)極值性（最大熵定理）條件熵不大于無條件熵（熵的不增原理）37第37頁，共92頁，2023年，2月20日，星期六對(duì)稱性

38第38頁，共92頁，2023年，2月20日，星期六對(duì)稱性表明，熵具有局限性，它僅與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，抹殺了個(gè)體的特性。例2-7A、B兩地的天氣狀況。由于熵的這種局限性，提出了加權(quán)熵的概念。定義2-6例2-8香農(nóng)熵是權(quán)重系數(shù)均為1的加權(quán)熵。39第39頁，共92頁，2023年，2月20日，星期六非負(fù)性式中的等號(hào)只有在pi=1時(shí)出現(xiàn)。

40第40頁，共92頁，2023年，2月20日，星期六非負(fù)性的含義是當(dāng)集合中有一個(gè)事件必然出現(xiàn)，其他事件不可能出現(xiàn)時(shí)，集合的熵為0，此時(shí)這個(gè)集合沒有不確定性，否則這個(gè)集合或多或少總會(huì)存在一定的不確定性。41第41頁，共92頁，2023年，2月20日，星期六確定性42第42頁，共92頁，2023年，2月20日，星期六例2-943第43頁，共92頁，2023年，2月20日，星期六極值性（最大熵定理）對(duì)于包含M個(gè)不同離散消息的無記憶信源X，有：44第44頁，共92頁，2023年，2月20日，星期六上凸性45第45頁，共92頁，2023年，2月20日，星期六條件熵不大于無條件熵（熵的不增原理）增加條件只可能使不確定性減少46第46頁，共92頁，2023年，2月20日，星期六定義2-7：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵，單位為比特/序列2.3.3條件熵47第47頁，共92頁，2023年，2月20日，星期六2.3.3條件熵48第48頁，共92頁，2023年，2月20日，星期六49第49頁，共92頁，2023年，2月20日，星期六2.3.4聯(lián)合熵定義2-8：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵，單位為比特/序列50第50頁，共92頁，2023年，2月20日，星期六符號(hào)熵條件熵聯(lián)合熵51第51頁，共92頁，2023年，2月20日，星期六2.3.5各種熵之間的關(guān)系1.聯(lián)合熵、條件熵與熵的關(guān)系52第52頁，共92頁，2023年，2月20日，星期六2.聯(lián)合熵和熵之間的關(guān)系

H（X，Y）≤H（X）+H（Y）；當(dāng)X，Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。3.條件熵和熵之間的關(guān)系

H（Y/X）≤H（Y）；當(dāng)X，Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。例2-1253第53頁，共92頁，2023年，2月20日，星期六2.4平均互信息54第54頁，共92頁，2023年，2月20日，星期六Eg設(shè)信源發(fā)出8種消息符號(hào)，各消息等概發(fā)送，各符號(hào)分別用3位二進(jìn)碼元表示，并輸出事件。通過對(duì)輸出事件的觀察來推測(cè)信源的輸出。假設(shè)信源發(fā)出的消息x4，用二進(jìn)碼011表示，接收到每個(gè)二進(jìn)制碼元后得到有關(guān)x4信息。第55頁，共92頁，2023年，2月20日，星期六信源輸出二進(jìn)碼字先驗(yàn)概率后驗(yàn)概率收到0收到01收到011X10001/8?00X20011/8?00X30101/8??0X40111/8??1X51001/8000X61011/8000X71101/8000x81111/8000等概率二進(jìn)碼的后驗(yàn)概率第56頁，共92頁，2023年，2月20日，星期六第57頁，共92頁，2023年，2月20日，星期六信源輸出二進(jìn)碼字先驗(yàn)概率后驗(yàn)概率收到0收到01收到011X10001/81/600X2001?1/300X30101/81/61/30X4011?1/32/31X51001/16000X61011/16000X71101/16000x81111/16000不等概率二進(jìn)碼的后驗(yàn)概率第58頁，共92頁，2023年，2月20日，星期六I(x4；0)=0.145bit/符號(hào)I(x4；01)=1.145bit/符號(hào)I(x4；011)=2bit/符號(hào)同樣的事件011，等概時(shí)信息要大些。第59頁，共92頁，2023年，2月20日，星期六平均互信息量

其中60第60頁，共92頁，2023年，2月20日，星期六平均互信息的含義：1.知道了集合Y之后，平均Y中的一個(gè)事件消除掉的關(guān)于集合X中的一個(gè)事件的不確定性。2.由Y中的一個(gè)事件平均能夠提供出來的關(guān)于集合X中的一個(gè)事件的信息量。3.表示了兩個(gè)集合之間關(guān)系的密切程度。61第61頁，共92頁，2023年，2月20日，星期六62第62頁，共92頁，2023年，2月20日，星期六63第63頁，共92頁，2023年，2月20日，星期六64第64頁，共92頁，2023年，2月20日，星期六平均互信息的性質(zhì)1.非負(fù)性65第65頁，共92頁，2023年，2月20日，星期六2.互易性66第66頁，共92頁，2023年，2月20日，星期六3.極值性67第67頁，共92頁，2023年，2月20日，星期六68第68頁，共92頁，2023年，2月20日，星期六4.凸性函數(shù)當(dāng)條件概率分布給定時(shí)，平均互信息量是輸入概率分布的上凸函數(shù)當(dāng)集合X的概率分布保持不變時(shí)，平均互信息量是條件概率分布的下凸函數(shù)69第69頁，共92頁，2023年，2月20日，星期六2.4.3各種熵和平均互信息量之間的關(guān)系70第70頁，共92頁，2023年，2月20日，星期六信息不增性71第71頁，共92頁，2023年，2月20日，星期六數(shù)據(jù)處理定理72第72頁，共92頁，2023年，2月20日，星期六如果想從測(cè)量結(jié)果Y中得到越來越多的關(guān)于X的信息量，必須付出代價(jià)。常用的方法是通過多次測(cè)量，因?yàn)镠（X/Y1,Y2）≤H（X/Y1），所以I（X；Y1,Y2）≥I（X；Y1）?？梢宰C明取測(cè)量值Y的次數(shù)越多，X的條件熵越小，獲得的信息量就越大。尤其當(dāng)各次測(cè)量值相互獨(dú)立時(shí)，趨勢(shì)更明顯。取Y無數(shù)次后，

H（X/Y1,Y2,Y3,……）→0I（X；Y1,Y2Y3,……）→H（X）第73頁，共92頁，2023年，2月20日，星期六解決方法：多次測(cè)量74第74頁，共92頁，2023年，2月20日，星期六例有一信源輸出X∈{0，1，2}，其概率為p（0）=1/4，p(1)=1/4，p(2)=1/2。設(shè)計(jì)兩個(gè)獨(dú)立實(shí)驗(yàn)去觀察它，其結(jié)果分別為Y1∈

{0，1}，Y2∈

{0，1}

，已知條件概率為下表所列，p(y1/x)01p(y2/x)0101001010111021/21/2201第75頁，共92頁，2023年，2月20日，星期六求(1)I（X；Y1）和I（X；Y2），并判斷哪一個(gè)實(shí)驗(yàn)好些。

(2)I（X；Y1，Y2），并計(jì)算做Y1和Y2兩個(gè)實(shí)驗(yàn)比作Y1或Y2

中的一個(gè)實(shí)驗(yàn)各可多得多少關(guān)于X的信息