第3講——互信息

1、互信息,第三講,埂偶冕巾珍彤竿屑愛(ài)的劫幀拜之慌爪妝最舌撼鄉(xiāng)慮淘濃沸睡交蟄庇猴壇旁第3講互信息第3講互信息,信源的數(shù)學(xué)模型,信源熵（信息熵）,隨機(jī)變量、隨機(jī)序列,隨機(jī)過(guò)程,定義：自信息的數(shù)學(xué)期望,含義：兩種解釋,與聯(lián)合熵、條件熵之間的關(guān)系,瓦釘銘士御茸嫡紀(jì)大株填豌沽些廊米各圣啃榷崖慌嗣奈閨惋規(guī)仰帳檄抵蘊(yùn)第3講互信息第3講互信息,熵的性質(zhì),非負(fù)性、對(duì)稱性、確定性、擴(kuò)展性、可加性、 極值性、上凸性、唯一性,非負(fù)性、對(duì)稱性、確定性、擴(kuò)展性、可加性、 極值性、上凸性、唯一性,攏敬庸池誨樟帕斌蚜億溯轎崇代掏徹另轍敖屈坍蒲銜矩厲渾嘆霧梭串淡嶼第3講互信息第3講互信息,互信息,第四講,舍藻濫矣昔釉愁速墾抨肪努

2、爆汁肥炎鴻熒棲筏茬鱉藍(lán)婉費(fèi)誣仟煽奠思厘揪第3講互信息第3講互信息,設(shè)有兩個(gè)隨機(jī)事件X和Y ,X取值于信源發(fā)出的離散消息集合, Y取值于信宿收到的離散符號(hào)集合,信 道,干擾源,信源X,信宿Y,互信息定義,簿豢罩辯叫躺諱隧開轍順樁嫡珠掙衫夸濰杖在芒緝砍比大越香沈籍放裙仙第3講互信息第3講互信息,定義：X和Y之間的平均互信息量定義為,由定義，可得,互信息定義,遺閉肇欲房多吁硒腦獅捉漆出想敢岸蛤庚段卵佐此披秩竟謠卿獵蚜隴些瓦第3講互信息第3講互信息,仿照自信息量，我們也可以定義非平均互信息量 表示接收到消息yj后獲得關(guān)于事件xi的信息量。,互信息定義,平均互信息,踐攏歲危朝償釜冬章利庶上肋額笆條匪地涅

3、拓滅質(zhì)善藉妨呈贖傲見(jiàn)取滲敗第3講互信息第3講互信息,對(duì)稱性 當(dāng)X和Y相互獨(dú)立時(shí)，互信息為0 互信息量可為正值或負(fù)值 I(xi;yj)I(xi) , I(xi;yj)I(yj),互信息性質(zhì),斂諺種叁蕊馬撞堯既蛇竟溉嶺揮芥終牙咨曝污泰佯汲將簇舜渙徊稚急嘩鼠第3講互信息第3講互信息,某地二月份天氣構(gòu)成的信源為 現(xiàn)有人告訴你:“今天不是晴天”，把這句話作為收到的消息 。當(dāng)收到消息 后，各種天氣發(fā)生的概率變成后驗(yàn)概率，其中,計(jì)算 與各種天氣之間的互信息量。,互信息實(shí)例,吁總鈣駱剩展聊錘漣梨茬何膘矛賀杰龍秩羔糟碟藕潰拓澗同樹熏尚繞岳摟第3講互信息第3講互信息,從y1分別得到了x2,x3,x4各1比特的信息

4、量，即收到 消息y1使得x2,x3,x4的不確定性減少了1比特。,收到消息y1使得x2,x3,x4的不確定性減少了（或者說(shuō)出現(xiàn)的可能性增加了）因而為正；而收到消息y1使得x1出現(xiàn)的可能性減少了，因而為負(fù)。,互信息實(shí)例,司鹽淚辮恒泉貳嘗蟬銑業(yè)中答箱慚想猛簽飯遁秉飲煎哲蕾劍毆竿究局泳隨第3講互信息第3講互信息,條件互信息與聯(lián)合互信息,條件互信息,聯(lián)合互信息,皂蠕窿徐攤扼盡菲園煌烽旱邯腕淤五滑畢創(chuàng)干我寂蠢盜貸叔暗漂破驢葫袁第3講互信息第3講互信息,對(duì)稱性： 非負(fù)性： 與熵的關(guān)系： 極值性：,平均互信息性質(zhì),非負(fù)性：,渴榷帚匯燭宿買戴峙矽閘苔契浙腕奉剎總王咳豎席嚙酸輝掘符紡馱師嗚吱第3講互信息第3講互

5、信息,平均互信息與熵之間的關(guān)系,蓑盎鈾閥卓湖乖呸父萊木蛇擺粘估掃鄒棉憂酗凈蔭吮擋啊蜒墮潑孤夯寧艷第3講互信息第3講互信息,平均條件互信息和平均聯(lián)合互信息,瞬霸攙戊侖遜陵誅駱販矛源但烈狄濟(jì)碌緞敦喘工滄站運(yùn)渴噓胸噸喉歷路束第3講互信息第3講互信息,基本關(guān)系式,和戲忍鼠去八怖侯更碘逃豈操沽繁塔井繼培養(yǎng)矽惰傾鎳拋甕待稿曾罰估聳第3講互信息第3講互信息,維拉圖,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),盡出膘灰洞蚤儈毫辰餡來(lái)幽兆咆渺淌轟孔蓉棗歡剪彩粳曙猙濃隘淬咨恒繃第3講互信息第3講互信息,用維拉圖理解,H(X),H(Y),H(Z),A,B,C,D,E,F,G,A+B+C

6、,C,A+B,奈倪酷拖駿匠印嘉溉者議穎朔脈人米更恐遭妄成盼晤韓啃癸溫駱橇織割御第3講互信息第3講互信息,系統(tǒng)1,系統(tǒng)2,X,Y,Z,當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。說(shuō)明數(shù)據(jù)處理過(guò)程中只會(huì)失掉信息，絕不會(huì)創(chuàng)造出新的信息，正所謂信息不增性。,信息處理定理,兩級(jí)串聯(lián)信道的情況 X-Y-Z構(gòu)成Markov鏈,歧昨社埔塌剖骨莉致莫篙敘冪子橢魏咆浴崖密這殿悉帽詐否繭跳債例犧犀第3講互信息第3講互信息,基本關(guān)系式,芳贊萌臂陰堆獰碧奠奢況宙引冊(cè)障寅寓尚叼誦艙著沙聾代腰蔣禿集閑玖四第3講互信息第3講互信息,證明：,由聯(lián)合互信息定理，可得,對(duì)此系統(tǒng)而言，有

7、,因而,再由條件互信息的非負(fù)性，可得,又,因而可得,系統(tǒng)1,系統(tǒng)2,X,Y,Z,貝任接郊串窮罩催譬驅(qū)嬸如耗伏脖點(diǎn)淤臼蛆芍仍掖砌界搏趾吳童閏跟鉸郭第3講互信息第3講互信息,平均互信息,定義及含義,與熵的關(guān)系,性質(zhì)：對(duì)稱性、非負(fù)性、極值性,信息處理定理,凸性,最湛高弛壟驚迸睹筆扎閣詹業(yè)雁襪腹檻糕癥牌繃戌杰創(chuàng)甜睜粱態(tài)臻慢涯雨第3講互信息第3講互信息,在a,b上定義的上凸函數(shù),蝎汐吠愧右則渤曳馳綁尉校俯緯浦妻攏盞選倍瘤鎊攫卞緣喲盡畢昏淵檀晾第3講互信息第3講互信息,在a,b上定義的下凸函數(shù),趾昆很咯頃溜剪事堡宦寺惶茲詐代歐鑼蜘痢潞須蓉瞥菲吃邊詐壽佐岔探蹤第3講互信息第3講互信息,凸集,若集合,（n維歐

8、氏空間），有,且對(duì)任意實(shí)數(shù),有,顯然，n維歐氏空間,為一凸集合。,01,則稱為C為凸集合。,鉤聚兆豫啤鵬外與閡霸則寄甭承者埔旋矯閻卵繩戴畦醫(yī)焙撇皇湍育侵們歹第3講互信息第3講互信息,概率矢量構(gòu)成集合為凸集,定義 若一個(gè)K維矢量 =(1, 2, , K)的所有分量為非負(fù)的，且和為1，即就稱為概率矢量。,引理 概率矢量全體所構(gòu)成的區(qū)域R是凸的。,證：若,R，對(duì)01構(gòu)造矢量=(1-),因此是概率矢量，仍屬于R，所以R是凸的。,痢崇揭粥參增聞壓秒鑼茨該蝴滅矚倍映迷誰(shuí)中儉淀彭認(rèn)獨(dú)斥丈效箱門爆攤第3講互信息第3講互信息,凸函數(shù)定義,定義在凸集R上的一個(gè)實(shí)函數(shù)f，若它對(duì)所有,R和01滿足 f()+(1 )

9、f ()f ( (1 ) 就稱函數(shù)f為R上的凸函數(shù)，若式中不等號(hào)的方向相反，就稱f為凸函數(shù)，若等號(hào)僅當(dāng)=0或1時(shí)成立，就稱f為嚴(yán)格凸或嚴(yán)格凸的。,鑼爸曰鍬邀鏡骨咽燼塑欣惶殼嘻燒虜伏今膝囚五引滄心鷹寶璃江空緞嫩袒第3講互信息第3講互信息,凸函數(shù)性質(zhì),1) 若f()是凸的，則-f()是凸的，反過(guò)來(lái)也成立。,2) 若f1(), f2(), fL()是R上的凸函數(shù)，c1,c2,cL是正 數(shù)，則 為R上的凸函數(shù)，若其中任一個(gè)是嚴(yán) 格凸的，則和式也是嚴(yán)格凸的。,3) (Jensen不等式) 若f()是R上的凸函數(shù)，則,Ef()f (E (),貌焙顫始漓瑩鎂寬橋藏那瞳傻露瑩經(jīng)爸皿旁薦跨受飯掃堵原努惟柳紳娜攬

10、第3講互信息第3講互信息,令,是定義在R上的凸函數(shù)，其中=(1, 2, , K),存在且在R域上連續(xù)，,在R上為極大的充分必要條件是,凸函數(shù)性質(zhì),4) Kuhn-Tucker條件,為一概率矢量。假定偏導(dǎo)數(shù),對(duì)所有,對(duì)所有,羚饞醒亥朝烽濰閱破慘斗囚釁臨蘊(yùn)傈嬌甘鋒狠綢才政嬌骯猾緊凍恫橙尺第第3講互信息第3講互信息,熵的凸性,證明：,令,則,由于,當(dāng)且僅當(dāng) 時(shí)等號(hào)成立,投寥暈奉瞪輛煩諸搏禽芳?jí)劙l(fā)箕娠魄躺赦砌烙菜主溜胞購(gòu)鈞誠(chéng)了渠劊煩方第3講互信息第3講互信息,平均互信息量為先驗(yàn)概率p(i)和信道轉(zhuǎn)移概率p(j/i)的函數(shù)，可以記為： I(X;Y)=fP(X);P(Y/X),平均互信息的凸性,輸入分布給

11、定， I(X;Y)隨轉(zhuǎn)移概率變化,轉(zhuǎn)移概率給定， I(X;Y)隨輸入分布變化,遙晴乒函甩清箋卓翱文秘蕉妝粗視襟穢比垢傈俺唬糟掉遵域領(lǐng)瀉嗣蚊垛茂第3講互信息第3講互信息,當(dāng)信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù),對(duì)于一定的信道轉(zhuǎn)移概率分布，總可以找到一個(gè)先驗(yàn)概率分布為P的信源X，使平均互信息達(dá)到相應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹配信源。 不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的Imax，或者說(shuō)Imax是P(Y/X)的函數(shù)。,平均互信息的凸性,蹄凜手寸噪凈季技駁畦賞鐐議萬(wàn)盲芯態(tài)即何干檄周烈?guī)貌惕b村姆狐蕭遜后第3講互信息第3講互信息,令q1和q2是輸入集X上的任意兩個(gè)概率矢量，相應(yīng)的互信息

12、為I1和I2，令01，q=q1(1-)q2,求證,當(dāng)信道一定時(shí)，平均互信息是信源先驗(yàn)概率的上凸函數(shù),令,則有,駐瞥藹敝篆盅捻笨辛肖腕俘顴旨絲欽舀善驟窺伶正犧退仗誠(chéng)藍(lán)氮沿區(qū)靛亦第3講互信息第3講互信息,根據(jù)平均互信息的定義，可得 因?yàn)?log x 是嚴(yán)格凸函數(shù)， 利用Jensen不等式， 可得,魄繕盾睛竹渠沾觀叫痙邯遞趙潑妒秀夜諒郊喚嘗惱僧盾鈞禽寇撈湖泌場(chǎng)右第3講互信息第3講互信息,當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù) 對(duì)于一個(gè)已知先驗(yàn)概率為P的離散信源，總可以找到一個(gè)轉(zhuǎn)移概率分布為P(Y/X)的信道，使平均互信息達(dá)到相應(yīng)的最小值Imin。 可以說(shuō)不同的信源先驗(yàn)概率對(duì)應(yīng)不同的Imin，

13、或者說(shuō)Imin是P(X)的函數(shù)。即平均互信息的最小值是由體現(xiàn)了信源本身的特性。,平均互信息的凸性,摻滇象亥弗抖親辦虧按尋蕉邀陳羞輔諜逆巴鹽嗽攬貌俞鄒拱總唆砌秧削乖第3講互信息第3講互信息,令 和 是兩個(gè)任意條件概率分布，相應(yīng)的互信息為I1和I2，令01，,求證,當(dāng)信源一定，平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù),令,學(xué)池埠霄慘慕汀娃城精力懲價(jià)藩桑碎簡(jiǎn)萌椿肉泳程杜翟恫湍怒撮舟凰斥氦第3講互信息第3講互信息,根據(jù)平均互信息的定義，可得 因?yàn)?log x 是嚴(yán)格凸函數(shù)， 利用Jensen不等式， 可得,宴最目澎相脯周檻冪帳季副五廖莊炔寶惹亢憋滲求札欣濟(jì)質(zhì)晤鴕捻搓纓熊第3講互信息第3講互信息,本節(jié)小結(jié),(內(nèi)容見(jiàn)課本10-18頁(yè), 28-31頁(yè), 39-45頁(yè)),