——條件熵聯(lián)合熵及熵的性質(zhì)PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1條件熵聯(lián)合熵及熵的性質(zhì)條件熵聯(lián)合熵及熵的性質(zhì)條件熵是在聯(lián)合符號(hào)集合XY上的條件自信息量的數(shù)學(xué)期望。在已知隨機(jī)變量Y的條件下，隨機(jī)變量X的條件熵定義為：)/(log)()/()()/()/(1111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH要用聯(lián)合概率加權(quán)條件熵是一個(gè)確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時(shí)稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。)/(log)()/()/(211ijnimjjiijxypyxpxyIEXYH條件熵第1頁(yè)/共34頁(yè)聯(lián)合離散符號(hào)集合XY上的每個(gè)元素對(duì) 的聯(lián)合

2、自信息量的數(shù)學(xué)期望。)(log)()()()(jinimjjijinimjjiyxpyxpyxIyxpXYH21111)(jiyx聯(lián)合熵第2頁(yè)/共34頁(yè))()()()()(YXHYHXYHXHXYH熵、條件熵、聯(lián)合熵關(guān)系第3頁(yè)/共34頁(yè)一個(gè)二進(jìn)信源X發(fā)出符號(hào)集0,1,經(jīng)過(guò)離散無(wú)記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確定符號(hào)“2”已知X的先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3,符號(hào)轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/2

3、1/4信源熵H(X)bitHXH92. 031log3132log32)31,32()(例題第4頁(yè)/共34頁(yè))/()()/()()(jijijijiyxpypxypxpyxpbitxypyxpXYHijijji88. 021log6121log6141log6143log21)|(log),()|(由例題 條件熵H(Y|X)第5頁(yè)/共34頁(yè))()(),()(11imjjijnijixpyxpypyxp得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6

4、p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由bitHYH47. 161log6131log3121log21)61,31,21()(例題信源輸出熵H(Y)第6頁(yè)/共34頁(yè))()()()()|(1jjinijijijiypyxpyxpyxpyxp由12/12/1)()()|(00000ypyxpyxp得0)()()|(00101ypyxpyxpbityxpyxpYXHjiijji33. 0)|(log),()|( 條件熵H(X|Y)例題或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符號(hào)第7頁(yè)/共34頁(yè)第8頁(yè)/共

5、34頁(yè)KkkkKpppppHXH121log),()(),.,2 , 1(0, 11KkppkKkk熵的基本性質(zhì)KKpppxxxPX2121概率矢量第9頁(yè)/共34頁(yè)非負(fù)性 非負(fù)性 H(X)0 由于0pk1,所以logpk0，-logpk0，則總有H(X)0。第10頁(yè)/共34頁(yè)),.,(),.,(12121KKKppppHpppH 根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變, 即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)。 對(duì)稱性第11頁(yè)/共34頁(yè)確定性當(dāng)信源X的信源空間X，P中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時(shí)信源為一個(gè)確知信

6、源，其熵為0。 確定性HHH( , )( , )( , , ,. )100110 000第12頁(yè)/共34頁(yè)),(),(lim21210KKKKpppHpppH 這說(shuō)明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重， ，使信源熵保持不變。 0loglim20 擴(kuò)展性擴(kuò)展性第13頁(yè)/共34頁(yè))/()()()/()()(YXHYHXYHXYHXHXYH1)/()/()()(:)/()()/()/()(log)()/(log)()(log)/()()/()(log)()(log)()(22222jijijijijijiiiijij

7、jiiijijiijiijjijiijjixypxypxpyxpXYHXHXYHxypxpxpxypyxpxpxypxpxypxpyxpyxpyxpXYH利用證明:可加性第14頁(yè)/共34頁(yè)KXH2log)(信源X中包含K個(gè)不同離散消息時(shí)，信源熵 ，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號(hào)。 表明等概信源的不確定性最大，具有最大熵，為 K2log極值性KXH2log)(第15頁(yè)/共34頁(yè)n定理：1. H(X/Y) H(X) （條件熵不大于無(wú)條件熵） 2. H(XY) H(X)+H(Y)證明：)()()/()(,)()(log)()(log)/()()(log)/()()/(log)/(

8、)()/(log)()/(22222ijjijjijiiiiijjijjiijijjjiijijjiijjixpyxpyxpypXHxpxpxpyxpypxpyxpypyxpyxpypyxpyxpYXH 其中基本定理第16頁(yè)/共34頁(yè)基本定理推廣)(121mnnnsnnnnUUUHUUUUHNnms1121()()NNnnH U UUH UH(X/Y) H(X)H(XY) H(X)+H(Y)第17頁(yè)/共34頁(yè)第18頁(yè)/共34頁(yè))|()|()|()(),()(12121312121LLLiiiiiiiiiiiiiixxxxpxxxpxxpxpxxxppx 設(shè)信源輸出的隨機(jī)序列為 X =(X1X2

9、XlXL) 序列中的變量Xlx1,x2, xn離散無(wú)記憶信源LliiiiiiiiilLLxpxpxpxpxpxxxpp1)()()()()(),()(32121x離散無(wú)記憶:第19頁(yè)/共34頁(yè)LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH進(jìn)一步化簡(jiǎn) 平均符號(hào)熵)()X(1)X(LXHHLHL?第20頁(yè)/共34頁(yè)LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH進(jìn)一步化簡(jiǎn) 平均符號(hào)熵)()X

10、(1)X(LXHHLHL?第21頁(yè)/共34頁(yè)iiixpxpXH)(log)()(11 LiLiLiLiiiiiiLLxpxpxpxpxp11111231321)(log)()()()(LiLiLiLiiiiiiLLlxpxpxpxpxp1111123321)()()()(log)(LiiiXHxpxp1111)()(log)(iiillxpxpXH)(log)()(離散無(wú)記憶信源的序列熵 )()()X(1LXLHXHHLll LiLiLiLiiiLxpxp11111231)(log)(第22頁(yè)/共34頁(yè)bitXH12log)(2bitH24log)X(22bitHH1)X(21)X(22即用

11、1比特就可表示該事件。如果以兩個(gè)符號(hào)出現(xiàn)(L=2的序列)為一事件，則隨機(jī)序列X(00,01,10,11)，信源的序列熵即用2比特才能表示該事件。信源的符號(hào)熵離散無(wú)記憶信源實(shí)例)X(2)X(2HH第23頁(yè)/共34頁(yè)414121)(321xxxxpX求：二次擴(kuò)展信源的熵X2信源信源的元素的元素 a1 a2a3a4a5a6a7a8a9對(duì)應(yīng)的對(duì)應(yīng)的消息序列消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率概率p(ai) 1/4 1/81/81/81/16 1/161/81/16 1/16離散無(wú)記憶信源實(shí)例第24頁(yè)/共34頁(yè)bitapapXHiii3)(log)(

12、)(912bitxpxpXHiii5 . 1)(log)()(31)(2)(2XHXH信源熵為 信源的序列熵離散無(wú)記憶信源實(shí)例平均符號(hào)熵為 bitXHXH5 . 12/ )()(22第25頁(yè)/共34頁(yè)a0a1a2a09/112/110a11/83/41/8a202/97/9 例:已知離散有記憶信源中各符號(hào)的概率為:41943611210aaaPX 設(shè)發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān),這兩個(gè)符號(hào)的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai) 求離散信源的序列熵和平均每個(gè)符號(hào)的熵? 離散有記憶信源實(shí)例第26頁(yè)/共34頁(yè)a0a1a2a01/41/180a11/181/31/18a201

13、/187/36當(dāng)考慮符號(hào)之間有依賴性時(shí),計(jì)算得條件熵bitaapaapXXHiijjij872. 0)|(log)()|(202012離散有記憶信源實(shí)例bitaapaapXXHijijij41. 2),(log),(),(202021 發(fā)二重符號(hào)序列的熵 第27頁(yè)/共34頁(yè)符號(hào)之間存在關(guān)聯(lián)性bitXHH21. 1)(21)X(22)X()X(2HH比較有記憶信源實(shí)例而信源X的信息熵為符號(hào)/543. 1)(log)()(20bitapapXHiii H(X2| X1)H(X)，信源的條件熵比無(wú)依賴時(shí)的熵H(X)減少了0.671比特,這正是因?yàn)榉?hào)之間有依賴性所造成的結(jié)果。)X()XX(12HH第

14、28頁(yè)/共34頁(yè))|()(),|()()|()()|()()(12221121212121XXHXHXXHXHXXHXHXXHXHXXH)()|(),()|()()()(2121212121XHXXHXHXXHXHXHXXH當(dāng)前后符號(hào)無(wú)依存關(guān)系時(shí),有下列推論：離散有記憶信源的序列熵第29頁(yè)/共34頁(yè))()|()|()|()()()(11112121LLlllLLLXHXXHXXXHXXHXHXXXHHX平均符號(hào)熵為： )(1)X(XHLHL極限熵: 離散有記憶信源的序列熵)(limXHHLL第30頁(yè)/共34頁(yè)離散有記憶信源特點(diǎn)（3）平均符號(hào)熵HL(X)隨L的增加非遞增)|(lim)(lim)(121LLLLLXXXXHXHXH H0(X)H1(X)H2(