條件熵聯(lián)合熵及熵的性質(zhì)

條件熵聯(lián)合熵及熵的性質(zhì)第1頁，課件共35頁，創(chuàng)作于2023年2月2.1.3條件熵及聯(lián)合熵第2頁，課件共35頁，創(chuàng)作于2023年2月條件熵是在聯(lián)合符號集合XY上的條件自信息量的數(shù)學(xué)期望。在已知隨機變量Y的條件下，隨機變量X的條件熵定義為：要用聯(lián)合概率加權(quán)條件熵是一個確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。條件熵第3頁，課件共35頁，創(chuàng)作于2023年2月聯(lián)合離散符號集合XY上的每個元素對的聯(lián)合自信息量的數(shù)學(xué)期望。聯(lián)合熵第4頁，課件共35頁，創(chuàng)作于2023年2月熵、條件熵、聯(lián)合熵關(guān)系第5頁，課件共35頁，創(chuàng)作于2023年2月一個二進(jìn)信源X發(fā)出符號集{0,1},經(jīng)過離散無記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號外,還有不確定符號“2”已知X的先驗概率:p(x0)=2/3,p(x1)=1/3,符號轉(zhuǎn)移概率：

p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY0101

23/41/21/21/4信源熵H(X)例題第6頁，課件共35頁，創(chuàng)作于2023年2月得聯(lián)合概率：

p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6由例題條件熵H(Y|X)第7頁，課件共35頁，創(chuàng)作于2023年2月聯(lián)合熵H(XY)

H(XY)＝H(X)＋H(Y|X)=1.8bit/符號得

p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6

p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由例題信源輸出熵H(Y)第8頁，課件共35頁，創(chuàng)作于2023年2月由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/2條件熵H(X|Y)例題或H(X|Y)=

H(XY)-H(Y)=1.8-1047=0.33bit/符號第9頁，課件共35頁，創(chuàng)作于2023年2月2.1.4熵的基本性質(zhì)第10頁，課件共35頁，創(chuàng)作于2023年2月熵的基本性質(zhì)概率矢量第11頁，課件共35頁，創(chuàng)作于2023年2月非負(fù)性非負(fù)性

H(X)≥0

由于0≤pk≤1,所以logpk≤0，-logpk≥0，則總有H(X)≥0。第12頁，課件共35頁，創(chuàng)作于2023年2月

對稱性根據(jù)加法交換律可以證明，當(dāng)變量交換順序時熵函數(shù)的值不變,即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對應(yīng)的狀態(tài)順序無關(guān)。對稱性第13頁，課件共35頁，創(chuàng)作于2023年2月確定性當(dāng)信源X的信源空間[X，P]中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時信源為一個確知信源，其熵為0。

確定性第14頁，課件共35頁，創(chuàng)作于2023年2月這說明信源空間中增加某些概率很小的符號，雖然當(dāng)發(fā)出這些符號時，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重，，使信源熵保持不變。

擴展性擴展性第15頁，課件共35頁，創(chuàng)作于2023年2月可加性證明:可加性第16頁，課件共35頁，創(chuàng)作于2023年2月極值性——最大離散熵定理

信源X中包含K個不同離散消息時，信源熵，當(dāng)且僅當(dāng)X中各個消息出現(xiàn)的概率全相等時，上式取等號。

表明等概信源的不確定性最大，具有最大熵，為

極值性第17頁，課件共35頁，創(chuàng)作于2023年2月定理：1.H(X/Y)≤H(X)（條件熵不大于無條件熵）2.H(XY)≤H(X)+H(Y)證明：基本定理第18頁，課件共35頁，創(chuàng)作于2023年2月基本定理推廣H(X/Y)≤H(X)H(XY)≤H(X)+H(Y)第19頁，課件共35頁，創(chuàng)作于2023年2月2.1.5離散序列信源的熵第20頁，課件共35頁，創(chuàng)作于2023年2月設(shè)信源輸出的隨機序列為

X=(X1X2…Xl…XL)

序列中的變量Xl∈{x1,x2,…

xn}離散無記憶信源離散無記憶:第21頁，課件共35頁，創(chuàng)作于2023年2月離散無記憶信源的序列熵信源的序列熵進(jìn)一步化簡平均符號熵?第22頁，課件共35頁，創(chuàng)作于2023年2月離散無記憶信源的序列熵信源的序列熵進(jìn)一步化簡平均符號熵?第23頁，課件共35頁，創(chuàng)作于2023年2月離散無記憶信源的序列熵第24頁，課件共35頁，創(chuàng)作于2023年2月例:有一個無記憶信源隨機變量X∈(0,1),等概率分布,若以單個符號出現(xiàn)為一事件,則此時的信源熵:即用1比特就可表示該事件。如果以兩個符號出現(xiàn)(L=2的序列)為一事件，則隨機序列X∈(00,01,10,11)，信源的序列熵即用2比特才能表示該事件。信源的符號熵離散無記憶信源實例第25頁，課件共35頁，創(chuàng)作于2023年2月例:有一離散平穩(wěn)無記憶信源求：二次擴展信源的熵X2信源的元素a1

a2a3a4a5a6a7a8a9對應(yīng)的消息序列x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)

1/41/81/81/81/161/161/81/161/16離散無記憶信源實例第26頁，課件共35頁，創(chuàng)作于2023年2月信源熵為信源的序列熵離散無記憶信源實例平均符號熵為第27頁，課件共35頁，創(chuàng)作于2023年2月a0a1a2a09/112/110a11/83/41/8a202/97/9例:已知離散有記憶信源中各符號的概率為:設(shè)發(fā)出的符號只與前一個符號有關(guān),這兩個符號的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai)求離散信源的序列熵和平均每個符號的熵?離散有記憶信源實例第28頁，課件共35頁，創(chuàng)作于2023年2月由p(ai,aj)=p(ai)p(aj|ai)

計算得聯(lián)合概率p(aiaj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36當(dāng)考慮符號之間有依賴性時,計算得條件熵離散有記憶信源實例發(fā)二重符號序列的熵第29頁，課件共35頁，創(chuàng)作于2023年2月

H(X1,X2)表示平均每二個信源符號所攜帶的信息量,那么平均每一個信源符號攜帶的信息量近似為:

符號之間存在關(guān)聯(lián)性比較有記憶信源實例而信源X的信息熵為

H(X2|X1)＜H(X)，信源的條件熵比無依賴時的熵H(X)減少了0.671比特,這正是因為符號之間有依賴性所造成的結(jié)果。第30頁，課件共35頁，創(chuàng)作于2023年2月對于有記憶信源,就不像無記憶信源那樣簡單,它必須引入條件熵的概念，而且只能在某些特殊情況下才能得到一些有價值的結(jié)論。對于由兩個符號組成的聯(lián)合信源,有下列結(jié)論:當(dāng)前后符號無依存關(guān)系時,有下列推論：離散有記憶信源的序列熵第31頁，課件共35頁，創(chuàng)作于2023年2月若信源輸出一個L長序列,則信源的序列熵為平均符號熵為：極限熵:離散有記憶信源的序列熵第32頁，課件共35頁，創(chuàng)作于2023年2月（1）條件熵H(XL|XL-1)隨L的增加非遞增離散有記憶信源特點（3）平均符號熵HL(X)隨L的增加非遞增

H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)（2）L給定時,H

L(X)≥H(XL