2.2平均互信息量.doc

2.2平均互信息量現(xiàn)在來(lái)一般地研究平均互信息量。2.2.1平均互信息量的定義定義互信息量在聯(lián)合概率空間中的統(tǒng)計(jì)平均值作為平均互信息量：(2.2.1)考慮到條件概率與聯(lián)合概率之間的關(guān)系式：容易推出：(2.2.3) 2.2.2平均互信息量的物理意義可以從三個(gè)不同的角度觀察平均互信息。（1）由式（2.2.3）得：（2）由式（2.2.2）得：（3）由式（2.2.3）得 例2.2.1仍以例2.1.5為例，驗(yàn)證式（2.2.4），（2.2.5），（2.2.6）的正確性。u 平均互信息的物理意義（1）Y對(duì)X的平均互信息* Y對(duì)X的平均互信息是對(duì)Y一無(wú)所知的情況下，X的先驗(yàn)不定度與收到Y(jié)后關(guān)于X的后驗(yàn)不定度之差，即收到Y(jié)前、后關(guān)于X的不確定度減少的量。 H(X/Y)表示收到隨機(jī)變量Y后，對(duì)隨機(jī)變量X仍然存在的不確定度，這是Y關(guān)于X的后驗(yàn)不定度，通常稱(chēng)它為信道疑義度或損失熵(代表了在信道中損失的信息)(2)X對(duì)Y的平均互信息* X對(duì)Y的平均互信息是Y的先驗(yàn)不定度與發(fā)出X后關(guān)于Y的后驗(yàn)不定度之差，即發(fā)X前、后關(guān)于Y的不確定度減少的量。H(Y/X)表示發(fā)出隨機(jī)變量X后，對(duì)隨機(jī)變量Y仍然存在的平均不確定度，常被稱(chēng)為噪聲熵。(3) Y對(duì)X的平均互信息* 信道兩端隨機(jī)變量X，Y之間的平均互信息量等于通信前、后整個(gè)系統(tǒng)不確定度減少的量。聯(lián)合熵表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量Y，即收發(fā)雙方通信后，整個(gè)系統(tǒng)仍然存在的不確定度。如果在通信前，我們把X，Y看成是兩個(gè)獨(dú)立的隨機(jī)變量，那么通信前，整個(gè)系統(tǒng)的先驗(yàn)不定度即X和Y的聯(lián)合熵等于H(X)+H(Y)；通信后，我們把信道兩端同時(shí)出現(xiàn)X和Y看成是由信道的傳遞統(tǒng)計(jì)特性聯(lián)系起來(lái)的具有一定統(tǒng)計(jì)關(guān)聯(lián)關(guān)系的兩個(gè)隨機(jī)變量，這時(shí)整個(gè)系統(tǒng)的后驗(yàn)不定度由H(XY)描述。例將已知信源接到下圖所示的信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY)。 0.98 0.02 0.2 0.8 解：（1）由求出各聯(lián)合概率： （2）由得到Y(jié)集各消息概率：（3）由，得到X的各后驗(yàn)概率： 同樣可推出（4） =0.98(比特/符號(hào))= 1.43（比特/符號(hào)）（5）平均互信息（6）疑義度（7）噪聲熵例設(shè)二進(jìn)制對(duì)稱(chēng)信道的輸入概率空間為，信道轉(zhuǎn)移概率如下圖 0 q 0 1-q 1-q 1 1 q由信道特性決定的條件熵： 由可求得 平均互信息量 (1)在式（1）中，當(dāng)不變即固定信道特性時(shí)，可得隨輸入概率變化的曲線(xiàn)，如下圖所示。由圖可見(jiàn)，二進(jìn)制對(duì)稱(chēng)信道特性固定后，輸入呈等概率分布時(shí)，平均而言在接收端可獲得最大信息量。 1-H(q) 0 0.5 1 p在式（1）中，當(dāng)固定信源特性時(shí)，平均互信息量就是信道特性的函數(shù)，其隨變化的曲線(xiàn)如下圖所示。由圖可見(jiàn)，當(dāng)二進(jìn)制對(duì)稱(chēng)信道特性=時(shí)，信道輸出端獲得信息量最小，即等于0。說(shuō)明信源的全部信息都損失在信道中了。這是一種最差的信道。 H(p) 0 0.5 1 q2.2.3平均互信息量的性質(zhì)這里只是羅列出平均互信息量的所有性質(zhì)，并加以簡(jiǎn)要說(shuō)明。1對(duì)稱(chēng)性2非負(fù)性3極值