信息論第三講-平均交互信息量的特性

1、2021-10-1811. 離散信源的數(shù)學(xué)表示：離散信源的數(shù)學(xué)表示：離散隨機(jī)變量離散隨機(jī)變量 X,p(xi)2. 信源符號的不確定度：信源符號的不確定度：Hartly公式公式 H(xi)3. 信源符號的自信息量：信源符號的自信息量：I(xi)=H(xi)4. 信源的熵信源的熵=信源符號的平均信息量：信源符號的平均信息量：H(X)5. 有噪信道的交互信息量：有噪信道的交互信息量： I(xi,yj)=H(xi)-H(xi/yj)6. 平均交互信息量：平均交互信息量：I(X,Y)=H(X)-H(X/Y)獨(dú)立熵：獨(dú)立熵：H(X)聯(lián)合熵（共熵）：聯(lián)合熵（共熵）： H(X,Y)條件熵：條件熵： H(X/Y

2、)，H(Y/X)上一講的主要內(nèi)容上一講的主要內(nèi)容2021-10-182上一講的主要內(nèi)容上一講的主要內(nèi)容幾個常用關(guān)系幾個常用關(guān)系 先驗概率：先驗概率：p(xi) 先驗熵：先驗熵： H(X) （信源熵）（信源熵） 后驗概率：后驗概率：p(xi/yj) 后驗熵：后驗熵：H(X/Y) （可疑度）（可疑度） 轉(zhuǎn)移概率：轉(zhuǎn)移概率：p(yj/xi)（描述信道）（描述信道） 噪聲熵：噪聲熵：H(Y/X)2021-10-1832.5 平均交互信息量的特性2.5.1 I(X,Y)的非負(fù)性的非負(fù)性2.5.2 平均交互信息量的交互性平均交互信息量的交互性2.5.3 平均交互信息量的極值性平均交互信息量的極值性2.5.

3、4 平均交互信息量的凸函數(shù)性平均交互信息量的凸函數(shù)性 2.5.5 平均交互信息量的不增性平均交互信息量的不增性 2021-10-1842.5.1 I(X,Y)的非負(fù)性的非負(fù)性由，當(dāng)由，當(dāng)x為大于為大于0的實數(shù)時，底大于的實數(shù)時，底大于1的對數(shù)的對數(shù)logx是是x的嚴(yán)格上凸函數(shù)。因此的嚴(yán)格上凸函數(shù)。因此fpixipif(xi)，如如f(x)=logx，則有：，則有：logpixipilogxiJensen不等式不等式: 如果如果f(x)是嚴(yán)格的上凸函數(shù)是嚴(yán)格的上凸函數(shù), 則則E(f(x)f(E(x)。2021-10-185根據(jù)這個關(guān)系，考慮平均交互信息量，I(X,Y)= p(xi,yj)logp

4、(xi,yj)/p(xi)p(yj)則：-I(X,Y)= p(xi,yj)logp(xi)p(yj)/p(xi,yj)logp(xi,yj)p(xi)p(yj)/p(xi,yj)=logp(xi) p(yj)=0所以有：所以有：I(X,Y) 02021-10-1862.5.2 平均交互信息量的交互性平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)則：I(X,Y)=I(Y,X)（對于一個信息系統(tǒng)來說）交互性表明在Y中含有關(guān)于X的信息，I(X,Y)；在X中含有關(guān)于Y的信息，I(Y,X)；而且兩者相等。實際上I(X,Y)和I(Y,X)只是觀察者的立足點(diǎn)不同，對信道的輸入X和輸出Y的總體測

5、度的兩種表達(dá)形式。2021-10-187X和和Y相互獨(dú)立，交互性最小，相互獨(dú)立，交互性最小， I(X,Y) =0；X和和Y完全相關(guān)，交互性最大，完全相關(guān)，交互性最大， I(X,Y) =H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相當(dāng)于信道無信息損失。相當(dāng)于信道無信息損失。2021-10-188這種信道的特點(diǎn)是：這種信道的特點(diǎn)是：n=m，每行只有一個元素為，每行只有一個元素為1，每列只有一個元素，每列只有一個元素為為1。其轉(zhuǎn)移概率不為。其轉(zhuǎn)移概率不為1，就為，就為0。 2021-10-189這時有：這時有：H XYp xi p yjxip yjxijmin(/)() (/)log(/)

6、011H YXp yj p xiyjp xiyj(/)() (/)log (/) 0所以有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2021-10-18102.5.3 平均交互信息量的極值性平均交互信息量的極值性平均交互信息量平均交互信息量I(X,Y)不可能超過信源熵不可能超過信源熵H(X)，因為H(X/Y) 0 所以有I(X,Y)=H(X)-H(X/Y)H(X) 因為H(Y/X) 0 所以有I(X,Y)=H(Y)-H(Y/X)H(Y)疑義度、噪聲熵總是大于等于疑義度、噪聲熵總是大于等于0，平均交互信息量總，平均交互信息量總是小于信源熵或信宿熵。是小于信源熵或信宿熵。在信道的輸出

7、端在信道的輸出端Y得到的關(guān)于輸入端得到的關(guān)于輸入端X的信息量不會的信息量不會超過信源超過信源X的平均信息量。的平均信息量。 2021-10-1811擴(kuò)展性無噪聲信道擴(kuò)展性無噪聲信道由于其矩陣的每一列元素只有一個非零元素，所以后驗概率不等于1，就等于0. 即：p xiyjp xi p yj xip xi p yj xp yj xip yj xiin(/)() (/)() (/),(/),(/)110002021-10-1812 這時可知疑義度H(X/Y)=0，平均交互信息量達(dá)到最大值I(X,Y)=H(X)。從平均意義上講，這種信道可以把信源的信息全部傳遞給信宿。這種每列只有一個非0元素的信道也是

8、一種無噪聲信道，稱為具有擴(kuò)展性的無噪聲信道。 這時：這時：H(Y/X)=H(Y)-H(X)因為：因為：H(Y/X) 0，所以：所以：H(Y) H(X)；得到的結(jié)論為：得到的結(jié)論為：這時的信宿熵將大于信源熵，因此稱為擴(kuò)這時的信宿熵將大于信源熵，因此稱為擴(kuò)展信道。展信道。 2021-10-1813并歸性無噪聲信道并歸性無噪聲信道 這類信道的轉(zhuǎn)移概率等于1或者等于0，每一列的元素可有一個或多個1，可知其噪聲熵H(Y/X)=0，此時的平均交互信息量達(dá)到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)這時可以證明：疑義度 H(X/Y)=H(X)-H(Y), 并且并且H(X)H(Y)， 2021-1

9、0-1814通過這兩個例題可以進(jìn)一步理解條件熵的概念，疑義度和通過這兩個例題可以進(jìn)一步理解條件熵的概念，疑義度和噪聲熵都是由于信道噪聲引起的，當(dāng)信道轉(zhuǎn)移概率是一一對噪聲熵都是由于信道噪聲引起的，當(dāng)信道轉(zhuǎn)移概率是一一對應(yīng)的確定關(guān)系時，疑義度和噪聲熵等于應(yīng)的確定關(guān)系時，疑義度和噪聲熵等于0，無噪聲信道無噪聲信道。一個一個X產(chǎn)生多個產(chǎn)生多個Y，稱為擴(kuò)展信道，在擴(kuò)展信道中若，稱為擴(kuò)展信道，在擴(kuò)展信道中若P中中每列只有一個非每列只有一個非0元素，元素，H(X/Y)=0，即疑義度，即疑義度=0，稱為擴(kuò)展，稱為擴(kuò)展性無噪聲信道，否則稱為性無噪聲信道，否則稱為擴(kuò)展噪聲信道擴(kuò)展噪聲信道。多個多個X產(chǎn)生一個產(chǎn)生一

10、個Y，稱為歸并信道，在歸并信道中若，稱為歸并信道，在歸并信道中若P中中元素為元素為0或或1，H(Y/X)=0，即噪聲熵，即噪聲熵=0，稱為歸并性無噪聲信，稱為歸并性無噪聲信道，否則稱為道，否則稱為歸并噪聲信道歸并噪聲信道。 2021-10-1815平均交互信息量是先驗概率平均交互信息量是先驗概率p(xi)和信道轉(zhuǎn)移概和信道轉(zhuǎn)移概率率p(yj/xi)的函數(shù)，可以記為：的函數(shù)，可以記為：I(X,Y)=Ip(xi),p(yj/xi)也就是說：也就是說：信道固定，信道固定，I(X,Y)是先驗概率的函數(shù)是先驗概率的函數(shù);信源固定，信源固定，I(X,Y)是信道轉(zhuǎn)移概率的函數(shù)。是信道轉(zhuǎn)移概率的函數(shù)。2.5.

11、4 平均交互信息量的凸函數(shù)性平均交互信息量的凸函數(shù)性 2021-10-1816可以進(jìn)一步證明：可以進(jìn)一步證明：當(dāng)信道一定時，當(dāng)信道一定時，I(X,Y)是信源先驗概率的上是信源先驗概率的上凸函數(shù)；凸函數(shù)；這就是說，對于一定的信道轉(zhuǎn)移概這就是說，對于一定的信道轉(zhuǎn)移概率分布，總可以找到一個先驗概率分布為率分布，總可以找到一個先驗概率分布為pm(xi)的信源的信源X，使平均交互信息量達(dá)到相應(yīng)，使平均交互信息量達(dá)到相應(yīng)的最大值的最大值Imax，這時稱這個信源為該信道的，這時稱這個信源為該信道的匹配信源?？梢哉f不同的信道轉(zhuǎn)移概率對應(yīng)匹配信源。可以說不同的信道轉(zhuǎn)移概率對應(yīng)不同的不同的I。或者說?；蛘哒fIma

12、x是是P(Y/X)的函數(shù)。的函數(shù)。 2021-10-1817 例例2-11 設(shè)二元對稱信道的信源空間為：X=0,1; P(X)=, 1-; 平均交互信息量為：I(X,Y)=H(Y)-H(Y/X)；信道轉(zhuǎn)移概率如圖。2021-10-1818 H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi) =p(xi)-plogp+(1-p)log(1-p) =H(p) 其中：記其中：記H(p)= -plogp+(1-p)log(1-p) 另外：為了求另外：為了求H(Y)，利用利用p(yj)= p(xi)p(yj/xi)；可得：；可得： p(y=0)=(1-p)+(1-)p p(y=1)=p+(

13、1-)(1-p)則：則：H(Y)=H(1-p)+(1-)p)2021-10-1819可得平均交互信息量為： I(X,Y)=H(1-p)+(1-)p)-H(p)可知，當(dāng)p值一定，I(X,Y)是的上凸函數(shù)， 2021-10-1820當(dāng)信源一定時，平均交互信息量當(dāng)信源一定時，平均交互信息量I(X,Y)是信是信道轉(zhuǎn)移概率的下凸函數(shù)；道轉(zhuǎn)移概率的下凸函數(shù)；這就是說，對于一個已知先驗概率為這就是說，對于一個已知先驗概率為P(X)的離散信源，總可以找到一個轉(zhuǎn)移概率分的離散信源，總可以找到一個轉(zhuǎn)移概率分布為布為Pm(Y/X)的信道，使平均交互信息量達(dá)的信道，使平均交互信息量達(dá)到相應(yīng)的最小值到相應(yīng)的最小值Imi

14、n。可以說不同的信源?？梢哉f不同的信源先驗概率對應(yīng)不同的先驗概率對應(yīng)不同的Imin?；蛘哒f?；蛘哒fImin是是P(X)的函數(shù)。即平均交互信息量的最小值的函數(shù)。即平均交互信息量的最小值是體現(xiàn)了信源本身的特性。是體現(xiàn)了信源本身的特性。2021-10-1821例例2-12：I(X,Y)=H(1-p)+(1-)p)-H(p)，當(dāng)固定信源先驗概率分布時，I(X,Y)是信道轉(zhuǎn)移概率p的下凸函數(shù)，如圖所示。2021-10-1822串聯(lián)信道關(guān)系串聯(lián)信道關(guān)系(練習(xí)練習(xí))DMC1DMC2XYZ定理定理: 對于所有滿足對于所有滿足p(x,y,z)0的的(x,y,z)，);();,(ZYIZYXI當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)p(

15、z/x,y)=p(z/y)時，等式成立。時，等式成立。這個關(guān)系就稱為平均交互信息量的不增加性。這個關(guān)系就稱為平均交互信息量的不增加性。2021-10-18232.6 離散信道的信道容量Capacity of Discrete Memoryless Channel信道容量是表征信道最大傳信能力的信道參量。信道容量是表征信道最大傳信能力的信道參量。 Discrete Memoryless Channel-DMC離散無記憶信道；離散無記憶信道；Binary Symmetric Channel-BSC二元對稱信道；二元對稱信道；2021-10-18242.6.1 熵速率與信道容量熵速率與信道容量 平均

16、交互信息量平均交互信息量I(X,Y)是通信系統(tǒng)是通信系統(tǒng)X, P(Y/X), Y輸出一個符號傳輸?shù)男畔⒘?，也就是接收熵，熵就輸出一個符號傳輸?shù)男畔⒘?，也就是接收熵，熵就意味著平均。意味著平均。?dāng)符號速率為n符號/秒時，其熵速率熵速率R為：R=nI(X,Y)R=nH(X)-H(X/Y)=nH(Y)-H(Y/X) bit/s對于一個無噪聲信道來說：R=nI(X,Y)=nH(X) bit/s2021-10-1825由于參數(shù)n與信道和信源無關(guān)，因此一般在分析中可以表示為：n=1；即R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)熵速率R是先驗概率的函數(shù)，也是信道轉(zhuǎn)移概率的函數(shù)。2021

17、-10-1826信道容量信道容量是在給定信道條件下（即一定是在給定信道條件下（即一定的信道轉(zhuǎn)移概率），對于所有可能的信的信道轉(zhuǎn)移概率），對于所有可能的信源先驗概率的最大熵速率。它表示為：源先驗概率的最大熵速率。它表示為： RCXP)(max2021-10-1827CnI X Yn H XH XYP XP Xmax(,)max ()(/)()()信道容量信道容量C與信源與信源無關(guān)無關(guān)，只是信道轉(zhuǎn)移概率的，只是信道轉(zhuǎn)移概率的函數(shù)，不同的信道就有不同的信道容量。它反函數(shù)，不同的信道就有不同的信道容量。它反映了信道本身的傳信能力。映了信道本身的傳信能力。P(Y/X)XYP(X)P(X/Y)H(X)H(

18、X/Y)2021-10-18282.6.2 信道容量的計算方法信道容量的計算方法信道容量是在一定的信道條件下，對所有可信道容量是在一定的信道條件下，對所有可能的先驗概率求平均交互信息量的最大值。能的先驗概率求平均交互信息量的最大值。作輔助函數(shù)F p xp xp xnI X Yp xiin (),(),.()(,)()121求輔助函數(shù)對p(xi)的偏導(dǎo)置為0，得下列方程組。Fp xip xiin()()0112021-10-1829由此方程組可以解得使I(X,Y)達(dá)到最大值的信源先驗概率分布和待定系數(shù)，然后求出信道容量C。 jCp yjjmlog ( )(, ,. )12Cjjmlo g21由這

19、個C值，根據(jù)上面關(guān)系求p(yj)，再由p(yj) 和p(yj/xi)求信源先驗概率分布p(xi)。解這個方程組后就可以得到最佳信源先驗概率分布。p yjp xi p yjxijmin()()(/)(, ,.)11 22021-10-18302.6.3 離散無噪聲信道的信道容量離散無噪聲信道的信道容量這里討論三種無噪聲信道的信道容量。具有一一對應(yīng)關(guān)系的無噪聲信道具有一一對應(yīng)關(guān)系的無噪聲信道其信道轉(zhuǎn)移概率圖及矩陣如下： 2021-10-1831P=0000100010001000100010000因為信道轉(zhuǎn)移矩陣的元素均為0或1，所以其噪聲熵H(Y/X)=0。又因為P矩陣中每列只有一個非0元素1，

20、所以其疑義度H(X/Y)=0。2021-10-1832所以有：I(X,Y)=H(X)=H(Y)根據(jù)信道容量的定義，這種信道的特點(diǎn)是：n=m。10)/()()/()()/(1nixiyjpxipxiyjpxipyjxipmjniyjxipyjxipYXH110)/(log),()/(CI X YH XnP XP Xmax (, )max()log()()2021-10-1833具有擴(kuò)展性的無噪聲信道具有擴(kuò)展性的無噪聲信道其信道轉(zhuǎn)移概率圖及矩陣如下： 2021-10-1834 P=p(y1/x1)p(y2/x1) p(y2/x1)00000p(y4/x2)p(y5/x2)因為因為P矩陣中每列只有一

21、個非矩陣中每列只有一個非0元素，元素，所以其疑義度所以其疑義度H(X/Y)=0。有：有： I(X,Y)=H(X)，則：，則：具有擴(kuò)展性的無噪聲信道的信道容量等于信源的最具有擴(kuò)展性的無噪聲信道的信道容量等于信源的最大熵。大熵。CI X YH XnP XP Xmax (,)max()log()()2021-10-1835具有歸并性的無噪聲信道具有歸并性的無噪聲信道其信道轉(zhuǎn)移概率圖及矩陣如下：2021-10-1836P=1010100101由于信道轉(zhuǎn)移矩陣中的元素均為由于信道轉(zhuǎn)移矩陣中的元素均為1和和0，所以這個信，所以這個信道的噪聲熵道的噪聲熵H(Y/X)=0。有：。有：I(X,Y)=H(Y)根據(jù)

22、信道容量的定義：根據(jù)信道容量的定義：CI X YH YmPXPXmax (,)max()log()()2021-10-1837這表明當(dāng)隨機(jī)變量Y為等概分布時，才能達(dá)到這個信道容量。由p(yj)與p(xi)和p(yj/xi)的關(guān)系可知： p(y1)=p(x1).1+p(x2).1+p(x3).1 p(y2)=p(x4).1+p(x5).1這時p(xi)的分布是不唯一的。通過以上三個例子可知；無噪聲信道的信道容量只通過以上三個例子可知；無噪聲信道的信道容量只決定于信道的輸入符號數(shù)決定于信道的輸入符號數(shù)n，或輸出符號，或輸出符號m（它們（它們都是信道本身的特征參數(shù)），與信源無關(guān)，信道容都是信道本身的

23、特征參數(shù)），與信源無關(guān)，信道容量量C是表征信道本身特性的一個參量。是表征信道本身特性的一個參量。2021-10-18382.6.4 強(qiáng)對稱離散信道的信道容量強(qiáng)對稱離散信道的信道容量如果離散信道的輸入/輸出符號空間及信道轉(zhuǎn)移矩陣如下：X=x1,x2,xn PX=p(x1),p(x2),p(xn)Y=y1,y2,yn PY=p(y1),p(y2),p(yn) n=m P=1-/(n-1)/(n-1)/(n-1)1-/(n-1)/(n-1)/(n-1)1-這種信道X, P(X/Y), Y稱為強(qiáng)對稱信道。2021-10-1839為了求出平均交互信息量I(X,Y)=H(Y)-H(Y/X),先求H(Y/X

24、);H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi)由于熵函數(shù)的對稱性，有：（熵與信源狀態(tài)得順序無關(guān)）H(Y/X) =H()+ log(n-1)上式說明，強(qiáng)對稱信道的噪聲熵H(Y/X)就是信道轉(zhuǎn)移矩陣中任一行n個元素組成的熵函數(shù)值，它決定于信道的錯誤概率和符號個數(shù)n。根據(jù)信道容量的定義： CI X YH YH YXP XP Xmax (, )max( )(/)()()max ( )( )log()()P XH YHn12021-10-1840由最大熵定理可知：當(dāng)p(xi)為何時，才能達(dá)到上述信道容量。已知p(yj)=1/n,和信道轉(zhuǎn)移概率，可以得到以下線性方程組。p(yj)=p

25、(xi)p(yj/xi) (j=1,2,n)從這個方程組可得，只有當(dāng)p(xi)=1/n時，才能使p(yj)=1/n。對于強(qiáng)對稱信道，只有當(dāng)信源等概分布時，才能使其達(dá)到信道容量C。對于強(qiáng)對稱信道，當(dāng)信源等概分布時，可以證明H(X)=H(Y)=logn, 對于強(qiáng)對稱信道，當(dāng)信源等概分布時，還可以證明H(Y/X)=H(X/Y) 1log()(lognHnC2021-10-18412.6.5 對稱信道的信道容量對稱信道的信道容量如果一個離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的，并且每一列也是由這一組元素組成的，則稱為對稱信道對稱信道。例如P=1/31/31/61/61/61/61/31/3對稱矩陣與強(qiáng)對稱信道的區(qū)別在于：強(qiáng)對稱信道要求n=m，對稱信道不要求；強(qiáng)對稱信道每行之和及每列之和都等于1，對稱信道每行之和等于1，而每列之和不一定等于1；強(qiáng)對稱信道的矩陣為對稱矩陣，對稱信道的矩陣不一定是對稱矩陣；2021-10-1842CH YH p yxip yxip ym xiP Xmax ( ) (/), (/),. (/)()12max( ) (/), (/),. (/)()P XH YH p yx