——條件熵聯(lián)合熵及熵的性質(zhì)PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1條件熵聯(lián)合熵及熵的性質(zhì)條件熵聯(lián)合熵及熵的性質(zhì)條件熵是在聯(lián)合符號集合XY上的條件自信息量的數(shù)學(xué)期望。在已知隨機(jī)變量Y的條件下，隨機(jī)變量X的條件熵定義為：)/(log)()/()()/()/(1111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH要用聯(lián)合概率加權(quán)條件熵是一個(gè)確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時(shí)稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。)/(log)()/()/(211ijnimjjiijxypyxpxyIEXYH條件熵第1頁/共34頁聯(lián)合離散符號集合XY上的每個(gè)元素對 的聯(lián)合

2、自信息量的數(shù)學(xué)期望。)(log)()()()(jinimjjijinimjjiyxpyxpyxIyxpXYH21111)(jiyx聯(lián)合熵第2頁/共34頁)()()()()(YXHYHXYHXHXYH熵、條件熵、聯(lián)合熵關(guān)系第3頁/共34頁一個(gè)二進(jìn)信源X發(fā)出符號集0,1,經(jīng)過離散無記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號外,還有不確定符號“2”已知X的先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3,符號轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/2

3、1/4信源熵H(X)bitHXH92. 031log3132log32)31,32()(例題第4頁/共34頁)/()()/()()(jijijijiyxpypxypxpyxpbitxypyxpXYHijijji88. 021log6121log6141log6143log21)|(log),()|(由例題 條件熵H(Y|X)第5頁/共34頁)()(),()(11imjjijnijixpyxpypyxp得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6

4、p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由bitHYH47. 161log6131log3121log21)61,31,21()(例題信源輸出熵H(Y)第6頁/共34頁)()()()()|(1jjinijijijiypyxpyxpyxpyxp由12/12/1)()()|(00000ypyxpyxp得0)()()|(00101ypyxpyxpbityxpyxpYXHjiijji33. 0)|(log),()|( 條件熵H(X|Y)例題或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符號第7頁/共34頁第8頁/共

5、34頁KkkkKpppppHXH121log),()(),.,2 , 1(0, 11KkppkKkk熵的基本性質(zhì)KKpppxxxPX2121概率矢量第9頁/共34頁非負(fù)性 非負(fù)性 H(X)0 由于0pk1,所以logpk0，-logpk0，則總有H(X)0。第10頁/共34頁),.,(),.,(12121KKKppppHpppH 根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變, 即信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與各概率分量對應(yīng)的狀態(tài)順序無關(guān)。 對稱性第11頁/共34頁確定性當(dāng)信源X的信源空間X，P中，任一概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時(shí)信源為一個(gè)確知信

6、源，其熵為0。 確定性HHH( , )( , )( , , ,. )100110 000第12頁/共34頁),(),(lim21210KKKKpppHpppH 這說明信源空間中增加某些概率很小的符號，雖然當(dāng)發(fā)出這些符號時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重， ，使信源熵保持不變。 0loglim20 擴(kuò)展性擴(kuò)展性第13頁/共34頁)/()()()/()()(YXHYHXYHXYHXHXYH1)/()/()()(:)/()()/()/()(log)()/(log)()(log)/()()/()(log)()(log)()(22222jijijijijijiiiijij

7、jiiijijiijiijjijiijjixypxypxpyxpXYHXHXYHxypxpxpxypyxpxpxypxpxypxpyxpyxpyxpXYH利用證明:可加性第14頁/共34頁KXH2log)(信源X中包含K個(gè)不同離散消息時(shí)，信源熵 ，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率全相等時(shí)，上式取等號。 表明等概信源的不確定性最大，具有最大熵，為 K2log極值性KXH2log)(第15頁/共34頁n定理：1. H(X/Y) H(X) （條件熵不大于無條件熵） 2. H(XY) H(X)+H(Y)證明：)()()/()(,)()(log)()(log)/()()(log)/()()/(log)/(

8、)()/(log)()/(22222ijjijjijiiiiijjijjiijijjjiijijjiijjixpyxpyxpypXHxpxpxpyxpypxpyxpypyxpyxpypyxpyxpYXH 其中基本定理第16頁/共34頁基本定理推廣)(121mnnnsnnnnUUUHUUUUHNnms1121()()NNnnH U UUH UH(X/Y) H(X)H(XY) H(X)+H(Y)第17頁/共34頁第18頁/共34頁)|()|()|()(),()(12121312121LLLiiiiiiiiiiiiiixxxxpxxxpxxpxpxxxppx 設(shè)信源輸出的隨機(jī)序列為 X =(X1X2

9、XlXL) 序列中的變量Xlx1,x2, xn離散無記憶信源LliiiiiiiiilLLxpxpxpxpxpxxxpp1)()()()()(),()(32121x離散無記憶:第19頁/共34頁LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH進(jìn)一步化簡 平均符號熵)()X(1)X(LXHHLHL?第20頁/共34頁LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH進(jìn)一步化簡 平均符號熵)()X

10、(1)X(LXHHLHL?第21頁/共34頁iiixpxpXH)(log)()(11 LiLiLiLiiiiiiLLxpxpxpxpxp11111231321)(log)()()()(LiLiLiLiiiiiiLLlxpxpxpxpxp1111123321)()()()(log)(LiiiXHxpxp1111)()(log)(iiillxpxpXH)(log)()(離散無記憶信源的序列熵 )()()X(1LXLHXHHLll LiLiLiLiiiLxpxp11111231)(log)(第22頁/共34頁bitXH12log)(2bitH24log)X(22bitHH1)X(21)X(22即用

11、1比特就可表示該事件。如果以兩個(gè)符號出現(xiàn)(L=2的序列)為一事件，則隨機(jī)序列X(00,01,10,11)，信源的序列熵即用2比特才能表示該事件。信源的符號熵離散無記憶信源實(shí)例)X(2)X(2HH第23頁/共34頁414121)(321xxxxpX求：二次擴(kuò)展信源的熵X2信源信源的元素的元素 a1 a2a3a4a5a6a7a8a9對應(yīng)的對應(yīng)的消息序列消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率概率p(ai) 1/4 1/81/81/81/16 1/161/81/16 1/16離散無記憶信源實(shí)例第24頁/共34頁bitapapXHiii3)(log)(

12、)(912bitxpxpXHiii5 . 1)(log)()(31)(2)(2XHXH信源熵為 信源的序列熵離散無記憶信源實(shí)例平均符號熵為 bitXHXH5 . 12/ )()(22第25頁/共34頁a0a1a2a09/112/110a11/83/41/8a202/97/9 例:已知離散有記憶信源中各符號的概率為:41943611210aaaPX 設(shè)發(fā)出的符號只與前一個(gè)符號有關(guān),這兩個(gè)符號的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai) 求離散信源的序列熵和平均每個(gè)符號的熵? 離散有記憶信源實(shí)例第26頁/共34頁a0a1a2a01/41/180a11/181/31/18a201

13、/187/36當(dāng)考慮符號之間有依賴性時(shí),計(jì)算得條件熵bitaapaapXXHiijjij872. 0)|(log)()|(202012離散有記憶信源實(shí)例bitaapaapXXHijijij41. 2),(log),(),(202021 發(fā)二重符號序列的熵 第27頁/共34頁符號之間存在關(guān)聯(lián)性bitXHH21. 1)(21)X(22)X()X(2HH比較有記憶信源實(shí)例而信源X的信息熵為符號/543. 1)(log)()(20bitapapXHiii H(X2| X1)H(X)，信源的條件熵比無依賴時(shí)的熵H(X)減少了0.671比特,這正是因?yàn)榉栔g有依賴性所造成的結(jié)果。)X()XX(12HH第

14、28頁/共34頁)|()(),|()()|()()|()()(12221121212121XXHXHXXHXHXXHXHXXHXHXXH)()|(),()|()()()(2121212121XHXXHXHXXHXHXHXXH當(dāng)前后符號無依存關(guān)系時(shí),有下列推論：離散有記憶信源的序列熵第29頁/共34頁)()|()|()|()()()(11112121LLlllLLLXHXXHXXXHXXHXHXXXHHX平均符號熵為： )(1)X(XHLHL極限熵: 離散有記憶信源的序列熵)(limXHHLL第30頁/共34頁離散有記憶信源特點(diǎn)（3）平均符號熵HL(X)隨L的增加非遞增)|(lim)(lim)(121LLLLLXXXXHXHXH H0(X)H1(X)H2(