第二章信息的統(tǒng)計度量

第二章信息的統(tǒng)計度量第1頁，課件共45頁，創(chuàng)作于2023年2月第2頁，課件共45頁，創(chuàng)作于2023年2月Log(xy)=logx+logyLog(x/y)=logx-logy中學數(shù)學知識2.1自信息和條件自信息量2.1.1自信息量定義2.1.1任意隨機事件的字信息量的定義為該事件發(fā)生概率的對數(shù)的負值。第3頁，課件共45頁，創(chuàng)作于2023年2月自信息量I(xi)的含義當事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性；當事件xi發(fā)生以后，表示事件xi所提供的信息量；第4頁，課件共45頁，創(chuàng)作于2023年2月對于單個消息隨機變量U，出現(xiàn)某個消息，對應概率為，這時可獲得的信息量為，則有：注：I－－自信息解釋：小概率事件，一當出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。大概率事件，是預料之中的，即使發(fā)生，也沒什么信息量，特別是當必然事件發(fā)生了，它不會給人以任何信息量。第5頁，課件共45頁，創(chuàng)作于2023年2月自信息量的單位自信息量的單位取決于對數(shù)的底；底為2，單位為“比特（bit）”；底為e，單位為“奈特（nat）”；底為10，單位為“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；第6頁，課件共45頁，創(chuàng)作于2023年2月自信息量I(ai)的性質(zhì)I(ai)是非負值；當P(ai)=1時，I(ai)=0；當P(ai)=0時，I(ai)=∞；I(ai)是P(ai)的單調(diào)遞減函數(shù)第7頁，課件共45頁，創(chuàng)作于2023年2月例：從26個英文字母中，隨即選取一個字母，則該事件的自信息量為

I=-log2(1/26)=4.7比特例：設m比特的二進制數(shù)中的每一個是等概率出現(xiàn)的(這樣的數(shù)共有2m個)，則任何一個數(shù)出現(xiàn)的自信息為:

I=-log2(1/2m)=m比特/符號計算信息量主要要注意有關(guān)事件發(fā)生概率的計算第8頁，課件共45頁，創(chuàng)作于2023年2月聯(lián)合自信息量定義2.1.2二維聯(lián)合集XY上的元素（xy)的聯(lián)合自信息量定義為第9頁，課件共45頁，創(chuàng)作于2023年2月2.1.2條件自信息量定義2.1.3聯(lián)合集XY中，對事件xi和yj，事件xi

在事件yj給定的條件下的條件自信息量定義為在特定條件下(已定)隨機事件發(fā)生所帶來的信息量條件自信息量滿足非負和單調(diào)遞減性。第10頁，課件共45頁，創(chuàng)作于2023年2月例:甲在一個8*8的方格盤上隨意放入一個棋子，在乙看來是不確定的。(1)在乙看來，棋子落入某方格的不確定性為多少？（2）若甲告知乙棋子落入方格的行號，這時，在乙看來棋子落入某方格的不確定性為多少？第11頁，課件共45頁，創(chuàng)作于2023年2月聯(lián)合自信息量和條件自信息量關(guān)系當X和Y獨立時，第12頁，課件共45頁，創(chuàng)作于2023年2月2.2互信息量和條件互信息量2.2.1互信息量信源信道信宿XY信源集合X的概率空間XP=x1x2…..p(x1)p(x2)…..第13頁，課件共45頁，創(chuàng)作于2023年2月YP=y1y2…..p(y1)p(y2)…..信宿收到的符號集合Y的概率空間定義2.2.1對兩個離散隨機事件集X和Y，事件yj的出現(xiàn)給出關(guān)于事件xi的信息量，定義為互信息量。用表示，即第14頁，課件共45頁，創(chuàng)作于2023年2月互信息量等于自信息量減去條件自信息量。第三種表達方式：2.2.2互信息量的性質(zhì)1、互信息量的互易性，即I(xi;yj)=I(yj;xi)2、當X和Y相互獨立時，互信息為0第15頁，課件共45頁，創(chuàng)作于2023年2月3、互信息量可為正值或負值4、任何兩個事件之間的互信息量不可能大于之中任一事件的自信息量第16頁，課件共45頁，創(chuàng)作于2023年2月自信息、條件自信息和互信息I(xk)I(yj)I(xk;yj)第17頁，課件共45頁，創(chuàng)作于2023年2月2.2.3條件互信息量定義2.2.2聯(lián)合集合XYZ中，給定條件zk的條件下，xi與yj之間的互信息量，其定義式另外，聯(lián)合集合XYZ中還存在xi與yjzk之間的互信息量，其定義式第18頁，課件共45頁，創(chuàng)作于2023年2月或?qū)⑸鲜竭M一步表示為思考下式的證明上式表明一對事件yjzk出現(xiàn)后提供有關(guān)xi的信息量I（xi;yjzk),等于事件yj出現(xiàn)后所提供的有關(guān)xi的信息量I（xi;yj)加上在給定時間yj的條件下再出現(xiàn)事件zk所提供的有關(guān)xi的信息量。第19頁，課件共45頁，創(chuàng)作于2023年2月一個離散隨機變量X，以不同的取值概率有N個可能取值,XP（x）＝a1a2…aNp1p2…pN信息論關(guān)心：X的不確定性不確定性－－大，獲取的信息－－多2.3離散集的平均自信息量第20頁，課件共45頁，創(chuàng)作于2023年2月熵的引入箱內(nèi)100個球摸到紅球不確定性分析：隨機變量X、Y、ZXP（x）＝

a1a20.990.01ZP（z）＝a1a2a3a4a50.20.20.20.20.2YP（y）＝

a1a20.50.5問題：能否度量、如何度量？？小大99個紅球，1個黑球50個紅球，50個黑球20個紅球，其它4種顏色各20個第21頁，課件共45頁，創(chuàng)作于2023年2月2.3.1平均自信息量（熵）通常研究單獨一個事件或單獨一個符號的信息量是不夠的，往往需要研究整個事件集合或符號序列(如信源)的平均的信息量(總體特征)，這就需要引入新的概念--平均自信息量定義2.3.1集X上，隨機變量I（xi)數(shù)學期望定義為平均自信息量第22頁，課件共45頁，創(chuàng)作于2023年2月由于這個表達式和統(tǒng)計物理學中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；熵函數(shù)的自變量是X,表示信源整體信息熵的單位與公式中的對數(shù)取底有關(guān)。通信與信息中最常用的是以2為底，這時單位為比特（bit）；理論推導中用以e為底較方便，這時單位為奈特（Nat）；工程上用以10為底較方便，這時單位為笛特（Det）。它們之間可以引用對數(shù)換底公式進行互換。比如：1bit=0.693Nat=0.301Det第23頁，課件共45頁，創(chuàng)作于2023年2月熵的計算例：設某信源輸出四個符號，其符號集合的概率分布為：則其熵為：第24頁，課件共45頁，創(chuàng)作于2023年2月熵是從整個集合的統(tǒng)計特性來考慮的，它是從平均意義上來表征集合的總體特征的。熵表示事件集合中事件發(fā)生后，每個事件提供的平均信息量；熵表示事件發(fā)生前，集合的平均不確定性；例：有2個集合，其概率分布分別為：

分別計算其熵，則：H(X)=0.08bit/符號,H(Y)=1bit/符號第25頁，課件共45頁，創(chuàng)作于2023年2月2.3.2熵函數(shù)的數(shù)學特性3、擴展性:當某事件Ek的概率Pk稍微變化時，H函數(shù)也只作連續(xù)的不突變的變化；1、對稱性:熵函數(shù)對每個Pk

對稱的。該性質(zhì)說明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與事件集合的總體統(tǒng)計特性有關(guān)；2、非負性:H（P）=H(p1,p2,…,pq)>=0；第26頁，課件共45頁，創(chuàng)作于2023年2月5、極值性：當所有事件等概率出現(xiàn)時，平均不確定性最大，從而熵最大，即：4、可加性：如果有兩個隨機變量X,Y,他們不是相互獨立的，則二維隨機變量（X,Y)的熵等于X的無條件熵加上當X已給定時Y的條件概率定義的熵統(tǒng)計平均值，即第27頁，課件共45頁，創(chuàng)作于2023年2月6、確定性：即H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即當某一事件為確定事件時，整個事件集合的熵為0；7、上凸性：第28頁，課件共45頁，創(chuàng)作于2023年2月條件熵2.3.3條件概率并且當已知特定事件yj出現(xiàn)時，下一個出現(xiàn)的是xi的不確定性為：對集合X中所有元素統(tǒng)計平均，其熵為：第29頁，課件共45頁，創(chuàng)作于2023年2月上述熵值再對集合Y中的元素做統(tǒng)計平均，得條件熵：同理可得：第30頁，課件共45頁，創(chuàng)作于2023年2月定義2.3.3聯(lián)合集XY上，條件自信息量I(y|x)的概率加權(quán)平均值定義為條件熵。在已知隨機變量Y的條件下，隨機變量X的條件熵定義為：條件熵是一個確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵第31頁，課件共45頁，創(chuàng)作于2023年2月定義2.3.4聯(lián)合離散符號集合XY上的每個元素對xiyj的聯(lián)合自信息量的數(shù)學期望。是二元隨機變量不確定性的度量。2.3.4聯(lián)合熵（共熵）定義式為第32頁，課件共45頁，創(chuàng)作于2023年2月2.3.5各種熵的性質(zhì)1、聯(lián)合熵與信息熵、條件熵的關(guān)系當X,Y相互獨立時，有：第33頁，課件共45頁，創(chuàng)作于2023年2月于是有：理解：當隨機變量相互獨立時，其聯(lián)合熵等于單個隨機變量的熵之和，而條件熵等于無條件熵。2、共熵與信息熵的關(guān)系當X,Y相互獨立時等式成立第34頁，課件共45頁，創(chuàng)作于2023年2月3、條件熵與信息熵的關(guān)系2.3.6加權(quán)熵設有隨機變量X，引入時間的重量后，其概率空間為XPW=x1x2……xnp(x1)p(x2)……p(xn)W1W2……Wn

定義2.3.5離散無記憶信源[XPW]的加權(quán)熵定義為第35頁，課件共45頁，創(chuàng)作于2023年2月加權(quán)熵的性質(zhì)性質(zhì)1：非負性HW(X)>=0性質(zhì)2：若權(quán)重W1=W2=…Wn=W則HW(X)=WH(X)性質(zhì)3：確定性若pj=p(xj)=1,而pi=p(xi)=0(i=1,2,…,n；i不等于j),則HW(X)=0性質(zhì)4：若,而I,J為樣本空間，并且加權(quán)熵為零，即HW（X)=0第36頁，課件共45頁，創(chuàng)作于2023年2月2.4平均互信息量互信息量是定量地研究信息流通問題的重要基礎(chǔ)。但它只能定量地描述輸入隨機變量發(fā)出某個具體消息，輸出變量出現(xiàn)某一個具體消息時，流經(jīng)信道的信息量；此外還是隨和變化而變化的隨機變量?；バ畔⒘坎荒軓恼w上作為信道中信息流通的測度。這種測度應該是從整體的角度出發(fā)，在平均意義上度量每通過一個符號流經(jīng)信道的平均信息量。定義互信息量在聯(lián)合概率空間中的統(tǒng)計平均值為Y對X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。第37頁，課件共45頁，創(chuàng)作于2023年2月xiyj信道p(xi):發(fā)送端發(fā)送xi的概率；P(xi|yj):接收端收到y(tǒng)j后，發(fā)送端發(fā)送xi的概率X,P表示輸入端概率空間Y,P表示輸出端概率空間XY,P(xy)表示二維聯(lián)合概率空間第38頁，課件共45頁，創(chuàng)作于2023年2月當xi,yj相互獨立時第39頁，課件共45頁，創(chuàng)作于2023年2月2.4.2平均條件互信息量定義2.4.1在聯(lián)合集XY上，由yj提供的關(guān)于集X的平均條件互信息量等于由yj所提供的互信息量I（xi;yj）在整個X中以后驗概率加權(quán)的平均值，其定義式為定理2.4.1在聯(lián)合集XY上的平均條件互信息量有I（X;yj