互信息和平均互信息數(shù)學(xué)模型和應(yīng)用

1、互信息和平均互信息數(shù)學(xué)模型和應(yīng)用2單符號(hào)離散信道的數(shù)學(xué)模型信源X信宿YCNX的數(shù)學(xué)模型為34.1 互信息和平均互信息單符號(hào)離散信道的數(shù)學(xué)模型信宿Y的數(shù)學(xué)模型為 44.1 互信息和平均互信息單符號(hào)離散信道的數(shù)學(xué)模型信道模型的表示方法公式法圖示法矩陣法54.1 互信息和平均互信息 互信息量及其性質(zhì)根據(jù)前面的信道的數(shù)學(xué)模型：如果信道是理想的，發(fā)出ai收到ai則所獲得的信息量 ai的不確定度I(ai)；如果信道不理想，發(fā)出ai收到bj,由bj推測(cè)ai的概率，一、定義1：我們將從bj中獲取有關(guān)ai的信息量稱為互信息量64.1.2 互信息量及其性質(zhì)一、互信息量的定義 繼續(xù)討論第二章的例題，即某地二月份天氣

2、構(gòu)成的信源為 “今天不是晴天”作為收到的信息b1，計(jì)算b1與各天氣之間的互信息量。74.1.2 互信息量及其性質(zhì)一、互信息量的定義2將互信息表達(dá)式展開得：同樣道理，我們可以定義ai對(duì)bj 的互信息量為8通信前先驗(yàn)不定度（聯(lián)合自信息量） 發(fā)送接收4.1.2 互信息量及其性質(zhì)一、互信息量的定義39后驗(yàn)不定度 一、互信息量的定義3發(fā)送接收4.1.2 互信息量及其性質(zhì)通信后10 這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差4.1.2 互信息量及其性質(zhì)一、互信息量的定義3114.1.2 互信息量及其性質(zhì)二、互信息量的性質(zhì)對(duì)稱性 當(dāng)X和Y相互獨(dú)立時(shí)，互信息為0 12124.1.2 互信息量及其性質(zhì)

3、二、互信息量的性質(zhì)互信息量可為正值或負(fù)值 3互信息量為正， bj使ai的不確定度減小，上例中，“今天不是晴天”為0，二者相互獨(dú)立，“今天我很高興”為負(fù)， bj沒有使ai的不確定度減小，“今天有風(fēng)”。134.1.3 平均互信息量及其性質(zhì)一、信道疑義度研究信源中各個(gè)消息之間的關(guān)系144.1.2 互信息量及其性質(zhì)一、信道疑義度損失熵信道疑義度：含義：收到Y(jié)后關(guān)于X尚存的平均不確定性。性質(zhì)：equivocation154.1.2 互信息量及其性質(zhì)二、平均互信息量的定義平均互信息互信息量在聯(lián)合概率空間P(XY)統(tǒng)計(jì)平均。平均交互信息量；交互熵164.1.2 互信息量及其性質(zhì)二、平均互信息量的定義計(jì)算時(shí)可

4、用公式：174.1.2 互信息量及其性質(zhì)二、平均互信息量的定義平均交互信息量與幾個(gè)測(cè)度函數(shù)辨析 和 和相同點(diǎn)：統(tǒng)計(jì)平均不同點(diǎn)：提供與獲得184.1.2 互信息量及其性質(zhì)三、條件互信息和平均條件互信息給定X、Y、Z三個(gè)離散概論空間，其連接關(guān)系為： 系統(tǒng)1系統(tǒng)2系統(tǒng)1XXYYZZ(a)(b)194.1.2 互信息量及其性質(zhì)練習(xí)： 有兩個(gè)硬幣，一個(gè)正常硬幣（一面是國徽，一面是面值），另一個(gè)是不正常的硬幣（兩面都是面值）。現(xiàn)隨機(jī)抽取一次硬幣，拋擲兩次。問出現(xiàn)面值的次數(shù)對(duì)于硬幣的 識(shí)別能提供多少信息量？ 204.1.2 互信息量及其性質(zhì)四、平均互信息量的性質(zhì)非負(fù)性說明：信道每傳遞一條消息，總能提供一定的

5、信息量。注： 可正可負(fù)10,正常通信=0,通信中斷=0,如何證明？ 2、C=logn n為輸入的符號(hào)數(shù) 3、C=logm m為輸出的符號(hào)數(shù) 46幾種特殊離散信道的容量一、離散無噪信道1、一一對(duì)應(yīng)的無噪信道an bna1 b1a2 b247a1 b1a2 b2an-1 bn-1an bnX、Y一一對(duì)應(yīng),此時(shí)H(X/Y)=0，H(Y/X)=0，CmaxI(X;Y)log n (p(ai)=1/n即等概)p(ai)一一對(duì)應(yīng)的無噪信道48a1 b1 b2 b32、具有擴(kuò)展功能的無噪信道a2 b4 b5 b6a3 b7 b8 49此時(shí)，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。所以，C

6、 = max H(X) = log n (p(ai)=1/n即等概) p(ai)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出2、具有擴(kuò)展功能的無噪信道503、具有歸并性的無噪信道a1 b1a2 a3 b2a4a5 b3C = max H(Y) = log m p(ai) =？p(ai)H(X/Y) 0，H(Y/X) = 0多個(gè)輸入變成一個(gè)輸出51結(jié)論無噪信道的信道容量只取決于信道的輸入符號(hào)數(shù)n或輸出符號(hào)數(shù)m，與信源無關(guān)。524.2.3 幾種特殊離散信道的信道容量二、對(duì)稱信道容量計(jì)算1、對(duì)稱信道的定義：如果信道轉(zhuǎn)移矩陣滿足下列性質(zhì)： (1) 每行都是第一行的某種置換;(2) 每列都是第一列的某種置換。 則稱該信道為對(duì)稱

7、信道。 顯然，對(duì)稱信道是輸入對(duì)稱的，也是關(guān)于輸出對(duì)稱的。 53練習(xí)：判斷下列矩陣表示的信道是否是對(duì)稱信道54二、對(duì)稱信道容量的計(jì)算強(qiáng)對(duì)稱信道（均勻）：n X np：總體錯(cuò)誤概率55二、對(duì)稱信道容量的計(jì)算2、對(duì)稱信道的性質(zhì)：對(duì)稱信道滿足下列性質(zhì)： （1）即噪聲熵=矩陣第一行元素組成的熵函數(shù) （2）當(dāng)P(X)（輸入）等概分布，輸出也是等概分布注：這兩個(gè)性質(zhì)對(duì)后面求信道容量非常重要！56二、對(duì)稱信道容量的計(jì)算3、對(duì)稱信道的信道容量：由于對(duì)稱信道滿足：綜合起來可以得出對(duì)稱信道的信道容量為對(duì)稱信道關(guān)于輸出也是對(duì)稱的，當(dāng)信道輸入是等概率分布時(shí)，信道輸出也是等概率分布，H(Y)取得最大值57典型例子均勻信道

8、信道容量計(jì)算解 顯然該信道是對(duì)稱的，信道容量為上述信道稱為強(qiáng)對(duì)稱信道或者均勻信道，是對(duì)稱信道的一個(gè)特例。 一般信道轉(zhuǎn)移矩陣中，列元素之和并不等于1，而該信道轉(zhuǎn)移矩陣的各列元素之和都等于1。 其中，p為總的錯(cuò)誤傳輸概率。特別地，當(dāng)r=2時(shí)，信道容量為C=1H(p) 58幾種對(duì)稱信道之間的關(guān)系輸入對(duì)稱對(duì)稱信道均勻信道二元均勻59二、對(duì)稱信道容量的計(jì)算4、準(zhǔn)對(duì)稱信道的信道容量：二元對(duì)稱純刪除信道該信道轉(zhuǎn)移矩陣為 ，該信道即二元純對(duì)稱刪除信道，如圖所示， 其信道容量為比特/符號(hào)60二、對(duì)稱信道容量的計(jì)算如果信道轉(zhuǎn)移矩陣按列可以劃分為幾個(gè)互不相交的對(duì)稱信道的子集，則稱該信道為準(zhǔn)對(duì)稱信道。 顯然，準(zhǔn)對(duì)稱信

9、道是輸入對(duì)稱的。4、準(zhǔn)對(duì)稱信道的信道容量：準(zhǔn)對(duì)稱信道可以分解為若干個(gè)對(duì)稱信道之和，所以對(duì)于準(zhǔn)對(duì)稱信道，信道輸入的最佳分布是等概率分布，而信道容量為其中，q1，q2，qm為準(zhǔn)對(duì)稱信道轉(zhuǎn)移矩陣中的一行元素，s為劃分的子集數(shù)量，Nk為第k個(gè)子矩陣的行元素之和，Mk為第k個(gè)子矩陣的列元素之和。61例題信道轉(zhuǎn)移矩陣為求信道容量C。 解 通過觀測(cè)可知，該信道是準(zhǔn)對(duì)稱信道，可以分解為三個(gè)互不相交的子集，分別為62例題對(duì)應(yīng)的參數(shù)分別為所以信道容量為比特/符號(hào) 63練習(xí)題：有噪聲的打字機(jī)信道考慮有26個(gè)鍵的打字機(jī)1）如果每敲擊一個(gè)鍵，它就準(zhǔn)確輸出成相應(yīng)的字符，那么該容量C為多少？2）如果假設(shè)敲擊一個(gè)鍵都會(huì)導(dǎo)致輸

10、出該鍵對(duì)應(yīng)的字母或者下一個(gè)字母等概論出現(xiàn)，即敲A可能輸出A或者B，敲Z可能輸出Z或者A，那么此時(shí)的容量如何？64復(fù)習(xí)數(shù)學(xué)知識(shí)65離散信道容量的一般計(jì)算法信道容量的求解為一個(gè)多元函數(shù)求約束極值的問題。信道轉(zhuǎn)移矩陣為例：求信道輸入最佳分布和信道容量C。 解 觀察信道轉(zhuǎn)移矩陣可知，該信道不是對(duì)稱的，信道的輸入、 輸出符號(hào)數(shù)量都為2，假設(shè)信道輸入符號(hào)的概率分別為p，1p，可以得到平均互信息量。 根據(jù)假設(shè)的信道輸入的概率分布，求出信道輸出概率分布p(bj)：p(b1p+0.2(1pp p(b2p+0.8(1pp66離散信道容量的一般計(jì)算法輸入、 輸出之間的平均互信息量為：將相關(guān)參數(shù)代入上述計(jì)算公式，得到

11、：67離散信道容量的一般計(jì)算法對(duì)I(X;Y)求導(dǎo)，得到最佳分布得到，p，所以信道容量為C=maxI(X;Y)=0.415 比特/符號(hào)從該例可以看出，即使是簡(jiǎn)單的非對(duì)稱二元信道，其最佳分布的求解也十分復(fù)雜，所以一般離散信道的信道容量的求解通過計(jì)算機(jī)進(jìn)行。 下面討論一般離散信道的解法。 68離散信道容量的一般計(jì)算法 平均互信息量I(X;Y)是輸入概率分布p(ai)的凸函數(shù)，所以極大值是一定存在的。 假設(shè)信道輸入的符號(hào)數(shù)量為n，那么I(X;Y)應(yīng)當(dāng)是r個(gè)隨機(jī)變量(p1，p2，pn) 的函數(shù)，而且滿足約束條件，該多元函數(shù)的條件極值可以利用拉格朗日乘法求出。 (1) 首先引入函數(shù)其中，為拉格朗日乘子。

12、69離散信道容量的一般計(jì)算法(2) 對(duì)信道輸入概率p(ai)求導(dǎo)數(shù)，并令其為0。解方程組可以求出最佳概率分布和。(3) 將最佳分布代入I(X;Y)，即可求出信道容量C。而p(bj)可以表示為70離散信道容量的一般計(jì)算法故關(guān)鍵是求第一項(xiàng)我們將這項(xiàng)展開看看哪部分和求偏導(dǎo)有關(guān)71離散信道容量的一般計(jì)算法72離散信道容量的一般計(jì)算法第二塊分步求（1）將 看作常數(shù)，對(duì)前面的求偏導(dǎo)（2）將 看作常數(shù)，對(duì) 求偏導(dǎo) 73離散信道容量的一般計(jì)算法帶入合并得：給定 后驗(yàn)概率為1故74離散信道容量的一般計(jì)算法結(jié)論75離散信道容量的一般計(jì)算法假設(shè)信道輸入的最佳分布為(p1，p2，pn)，將方程組的兩邊同時(shí)乘以各自的概

13、率p(ai)，并且兩邊同時(shí)對(duì)i求和，從而得到信道容量為C=+loge仍然為待定的系數(shù)，但我們找到一些規(guī)律將 來分析其中76離散信道容量的一般計(jì)算法加上前面一個(gè)加權(quán)規(guī)律：信源處于最佳分布時(shí)，由輸出端觀察，每一個(gè)符號(hào)的信息量都是一樣的。77離散信道容量的一般計(jì)算法定理 設(shè)有一般離散信道，它有n個(gè)輸入符號(hào)，m個(gè)輸出符號(hào)，其平均互信息I(X;Y)達(dá)到極大值(即等于信道容量)的充要條件是輸入概率分布p(ai)滿足(其中i=1，2，n)對(duì)所有p(ai)0的ai 對(duì)所有p(ai)=0的ai常數(shù)C就是所求的信道容量。 78離散信道容量的一般計(jì)算法求該信道的容量C和信道輸入的最佳概率分布。 解 該信道不是對(duì)稱信道，所以不能直接使用對(duì)稱信道計(jì)算其信道容量。 但是通過觀察發(fā)現(xiàn)，如果信道輸入符號(hào)的概率p(a2)=0，該信道就是一個(gè)二元純對(duì)稱刪除信道。 這樣就可以假設(shè)p(a2)=0，p(a1)=p(a3)=1/2，然后檢查是否滿足上述定理?xiàng)l件，如果滿足就可以計(jì)算出信道容量。 例79離散信道容量的一般計(jì)算法首先根據(jù)假設(shè)求出相應(yīng)的p(bj)然后計(jì)算互信息量I(ai;Y)