第三章連續(xù)信源的信息熵

1、1 第三章第三章：連續(xù)信源的信息熵連續(xù)信源的信息熵 3. entropy of continuous source3.1 連續(xù)信源的離散化3.2 隨機(jī)變量的相對(duì)熵3.3 相對(duì)熵的性質(zhì)3.4 常見幾種概率密度下的相對(duì)熵3.5 連續(xù)信源的最大熵定理 3.6 平穩(wěn)高斯隨機(jī)過程的信息熵與互信息 3.7 熵功率與功率不等式 信信 息息 理理 論論 基基 礎(chǔ)礎(chǔ) 2第三章第三章. 連續(xù)信源的信息熵連續(xù)信源的信息熵 3. 1 連續(xù)信源的離散化連續(xù)信源的離散化 ( discretization of continuous source) 我們前面所介紹的信源均指離散信源，即信源所發(fā)的消息都是由符號(hào)或符號(hào)序列所組

2、成； 而且每一個(gè)符號(hào)的取值都屬于一個(gè)有限元素組成的集合之中。1212,nna aaxap ppfinite symbol or sequence 而連續(xù)信源是指信源所發(fā)出的消息都是由一個(gè)個(gè)隨機(jī)過程( stochastic process)所形成。如：語(yǔ)音信號(hào) 它不僅幅度上，而且在時(shí)間上也都是 連續(xù)的，即分別屬于一個(gè)無(wú)限的集合之中。 ( ,)x t33. 1 連續(xù)信源的離散化連續(xù)信源的離散化 因此，我們所研究的問題就復(fù)雜了，然而任何復(fù)雜的問題都可以分解成比較簡(jiǎn)單的問題分步解決。故通常我們有一些處理連續(xù)變量的方法。( )xh p( ,)x txx ( )( )cxh x timediscretiz

3、ationstochastic processrandom vectorrandomvariablememorylessmarkovianamplitude discretizationamplitudecontinuous正交變換正交變換orthogonal transformation 所謂正交變換是一種數(shù)學(xué)處理手段，將在t時(shí)間內(nèi)的受限于最高頻率為f的隨機(jī)過程，無(wú)失真地變換成2ft個(gè)隨機(jī)變量。最理想的正交變換是： kl expansion。43. 1 連續(xù)信源的離散化連續(xù)信源的離散化 因此任何復(fù)雜的統(tǒng)計(jì)對(duì)象，經(jīng)多種處理后就可由淺入深地逐步解決問題。正如我們?cè)陔x散信源中：110( ,)()(

4、)()()( ,)()logilimaxxx th xhxhi ah xhx thhh xhn 任何處理過程總要丟失信息，任何處理過程總要丟失信息，最多保持不變。所以簡(jiǎn)化處理就最多保持不變。所以簡(jiǎn)化處理就得付出代價(jià)即：容忍信息的丟失，得付出代價(jià)即：容忍信息的丟失，除非正交變換和極限處理。除非正交變換和極限處理。消息消息事件事件隨機(jī)隨機(jī)變量變量隨機(jī)隨機(jī)序列序列隨機(jī)隨機(jī)過程過程自信息自信息信息熵信息熵序列熵的表達(dá)類型序列熵的表達(dá)類型隨機(jī)過程的熵隨機(jī)過程的熵5第三章. 連續(xù)信源的信息熵 3. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵( the differential entropy of contin

5、uous random variable) 一個(gè)連續(xù)變量總可以采用數(shù)字量化的方式簡(jiǎn)化成一個(gè)離散變量來近似，而且量化單位越小則所得的離散變量就越接近那個(gè)連續(xù)變量。因此我們針對(duì)連續(xù)變量的概率統(tǒng)計(jì)規(guī)律概率分布密度函數(shù)概率分布密度函數(shù) ( probability density function)也可采用上述近似方法。( )( )( )( )( )( )( )( )()( )( )1:xxdefdefdefbbaf xf t dtp xp t dtf xp xf xp xp xwherbf x dxp xedx, ,為為概概率率分分布布函函數(shù)數(shù)。, , 為為概概率率分分布布密密度度。x( )( )p

6、xf x0ab63. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵 如果把xa,b 的定義域劃分成n個(gè)小區(qū)間，且每個(gè)小區(qū)間寬度相等。那么處于第i個(gè)區(qū)間的概率就等于：(1)()(1) ()( )();1,2,(1) ,definia iiaiipp xp aixaip x dxp xbainnxaiai where :then :按按積積分分中中值值定定理理上上式式一一定定成成立立。x0ab( )( )p xf xix11111()log()log()()log()(log)()()log()(log)nnnniininininiiiinnnininiiihxpppxpxpxpxpxpxpx 173.

7、2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵 以上我們將一個(gè)連續(xù)變量的概率空間量化成一個(gè)離散空間，從而得到連續(xù)信源的近似信息熵。如果將此近似手段在取極限的方式下就可逼近這個(gè)連續(xù)變量的熵。00100lim()lim()log()(log)( )log( )lim(log)()()()( )log( )()lim(log)nnniniinnbandefcbdefcadefnhxpxpxp xp x dxhxhhxp xp x dxh where :and即即： 稱為相對(duì)熵differential entropy 稱為絕對(duì)熵absolute entropy信息散度信息散度 d( p/q ) (relativ

8、e entropy)83. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵 在取極限的過程中由于n 相當(dāng)于 0，此時(shí)這個(gè)離散變量越來越逼近一個(gè)連續(xù)變量；而離散集合中的信息熵hn(x)就分解為兩項(xiàng)，其中一項(xiàng)與劃分精度 無(wú)關(guān)，趨于一個(gè)常量hc(x)。而另一項(xiàng)，隨著 0最終趨于一個(gè)無(wú)窮大的量。很顯然這與取極限之前的離散熵差別很大，那么這種極限形式能否表達(dá)出信源平均不定度的概念嗎？ 由于表達(dá)形式的不同，則它的物理意義也應(yīng)有所不同。所以我們不能以離散熵的概念來理解上述表達(dá)式，特別是當(dāng)某些離散熵的數(shù)學(xué)性質(zhì)不在繼續(xù)保持的情況下，如：非負(fù)性、對(duì)稱性、擴(kuò)展性等。但值得慶幸，上式中將熵函數(shù)中最能反映信源的固有屬性的數(shù)學(xué)性質(zhì)

9、如可加性、極值性和上凸性仍舊依然保持著。因此有可能上述表達(dá)式的某些部分仍能代表連續(xù)信源的某些物理屬性。（但我們要深入討論離散向連續(xù)逼近時(shí)，物理屬性的變化。）93. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵 因?yàn)閷?duì)于一個(gè)連續(xù)變量, 它的取值有無(wú)窮多個(gè), 無(wú)論它取任何值，其隨機(jī)事件所對(duì)應(yīng)的不定度一定是無(wú)窮大量。而對(duì)熵來說，應(yīng)是這個(gè)隨機(jī)事件集合的平均值, 既然每一個(gè)事件的自信息都是無(wú)窮大, 則它的集合平均值也應(yīng)是無(wú)窮大才對(duì)。又因?yàn)閺慕^對(duì)的觀點(diǎn)來看, 每一個(gè)連續(xù)信源的平均不定度都是無(wú)窮大，那么這個(gè)熵的價(jià)值也就無(wú)意義了。但是再仔細(xì)分析一下, 上式中只有h( )項(xiàng)才與劃分精度 有關(guān), 這說明只有此項(xiàng)能反映人為

10、地利用離散模式向連續(xù)型逼近的近似程度。換句話說, 這僅是強(qiáng)加上的人為因素，并不代表事物原有的客觀屬性。比如, 對(duì)于同樣概率分布的隨機(jī)變量x，如果僅劃分精度 不同時(shí), 可取 1 ， 2代表兩種劃分精度，則我們所得到的熵的表達(dá)式：1212()() log()()()() log()()nrnrhxp xp x dxhhxp xp x dxh 103. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵 為什么說相對(duì)熵反映連續(xù)變量的客觀存在的平均不定度？首先一個(gè)隨機(jī)變量，當(dāng)它的概率分布一旦確定，則它的不定性就該給定，而不能隨劃分精度的變化而變化。第二，由于信息量的概念是不定度的解除量，如果在相同劃分精度下，再討論

11、兩者之差時(shí),h( )將會(huì)消失。所以我們可看到僅從hc(x)上就可真正反映出信息的全部屬性 (包括非負(fù)性) 。因此，我們只要相對(duì)熵的定義就足夠了。同時(shí)我們也能給出兩個(gè)連續(xù)變量的互信息問題： 可見只有h( )不同，因此我們說：能真正反映連續(xù)信源的客觀屬性的應(yīng)該是第一項(xiàng)，而不是第二項(xiàng)。對(duì)于后者我們稱之為絕對(duì)熵絕對(duì)熵(absolute entropy) ；而對(duì)于前者我們稱之為相對(duì)熵相對(duì)熵(differential entropy) 。()( )log( )defcrhxp xp x dx where, r is the domain ofx .113. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵00()(

12、)1;( )1;()1;()()() log()()() log()loglim()( ) ()log()limlogxyxxycrrrnjjjjijjjjinnnr rdefhx yp x dxq y dyp x y dxhx yq yp x yp x yq yp x yp x yhx yq y p x yp x y dxdy then :先先定定義義連連續(xù)續(xù)變變量量的的條條件件熵熵：()( )chx yh00( ; )()()lim()lim()()()nncci x yh xh x yhxhx yh xh x ythen:123. 2 連續(xù)變量的相對(duì)熵連續(xù)變量的相對(duì)熵 可見當(dāng)兩個(gè)連續(xù)變量

13、之間的互信息，實(shí)際上就是兩熵之差，經(jīng)絕對(duì)熵的相互抵消后，就剩下相對(duì)熵之差了。所以相對(duì)熵則完全反映出信息的基本屬性。所謂“相對(duì)”一詞也是由此而來。 注：相對(duì)熵的定義與離散信源的信息熵有著明顯的差別，即這種相對(duì)熵僅代表連續(xù)變量的相對(duì)平均不定度。 同理，也有如下的相對(duì)熵的定義：()()log()()( ) ()log()xyxycrrcrrhxyp xyp xy dxdyhy xp x p y xp y x dxdy ()(; )()log( ) ( )()()( )()()( )()xyr rcccccccp xyi x yp xydxdyp x p yhxhx yh yh y xhxh yhxy

14、and 13第三章第三章. 連續(xù)信源的信息熵連續(xù)信源的信息熵 3. 3 相對(duì)熵的性質(zhì)相對(duì)熵的性質(zhì)( the properties of differential entropy)1. 可加性可加性()( )()( )()()( );()( )ccccccccch xyh xh y xh yh x yah y xh yh xnhdyx()( ) ()( ) ()()()log ()( ) ()log ( ) ()()( )log ( )( ) ()log ()()()xyxyyxxycr rr rrrr rccletp xyp x p y xp y p x yh xyp xyp xy dxdyp

15、 x p y xp x p y x dxdyp y x dyp xp x dxp x p y xp y x dxdyh xh y x prooh:enft 1143. 3 相對(duì)熵的性質(zhì)相對(duì)熵的性質(zhì)()()( )log ( )( ) ()log ()( ) ()log ( )( ) ()log ()( )( )( ) ()log( ) ()log()()( ) () 1xxyxyxyxyxyccrr rr rr rr rr rh xh x yp xp x dxp y p x yp x y dxdyp x p y xp x dxdyp y p x yp x y dxdyp xp yp x p y

16、xdxdyp x p y xdxdyp x yp y xp yp x p y x and)()( ) ()( ) ( )()( )( )1 10 xyxyxyxyxyr rr rr rr rrrdxdyp y xp x p y x dxdyp x p y dxdyp xy dxdyp x dxp y dy ()()cchxhx y( )( )( )()()()( )( )( )()p xp xp yp xyp xyp x yp yp xp yp y xlog1log10 xxxxx where,153. 3 相對(duì)熵的性質(zhì)相對(duì)熵的性質(zhì)2.()(;0.)chxi x y can be a nega

17、tive; but,(;)()()( )()()()()( );(;)0(;)()( )()()()( )(;)cccccccccccccci x yhxhx yhyhy xhx yhxhy xhyi x yi x yhxhyhxyhxyhxhyi x yandandthen :3.()()( )ccchxyhxh y4. ()( ).chxp xis a convexfunctionfor有此上凸性，則導(dǎo)致相對(duì)熵有最大熵定理。5.6.()( )cchxchx()( )logcch axhxa證證明明略略，參參見見概概率率論論中中有有關(guān)關(guān)隨隨機(jī)機(jī)變變量量函函數(shù)數(shù)的的概概率率分分布布。16第三章

18、第三章. 連續(xù)信源的信息熵連續(xù)信源的信息熵 3. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵( the differential entropy of some random variables)1. 均勻分布下的相對(duì)熵:( the differential entropy of random variable and vector with uniform distribution)1( )0;11()loglog()1()0bcacaxbp xbaxaxbhxdxbabababahx 1則，.iftheprobability density isthen顯顯然然，當(dāng)當(dāng)即即相相對(duì)對(duì)

19、熵熵不不具具備備非非負(fù)負(fù)性性。12,1()nrrrxx xxp xbaif且且每每個(gè)個(gè)分分量量間間相相互互獨(dú)獨(dú)立立，分分別別為為均均勻勻分分布布：2 2 . .173. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵1111111121111()( )011()log()()log()nnnnnrrnrrrrnrrrbbbcnnnaaarrrrrrnrrrxbabap xxbah xdxdxdxbababa then:183. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵2. 高斯分布下的相對(duì)熵:( the differential entropy of random varia

20、ble and vector with normal distribution)222221()( )exp( ,)22defxmp xxn mm normal or gaussian distribution density :where,is the mean andis variance.222222()( )log ( )1()1()explogexp2222ch xp xp x dxxmxmdxrandom variable :1 1 . .192221()( )log(log )( )22xmp xdxep xdx 3. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵2222

21、221()1()()explogexp2222cxmxmhxdx loglnlogloglogyyyeeyyeee22( )1()( )p x dxxmp xand又又則則 2222211log2(log )21log(2)log22eee 由此可見正態(tài)分布的相對(duì)熵僅與它的方差有關(guān), 而與它的均值m無(wú)關(guān)。這也是最簡(jiǎn)單的相對(duì)熵，是干擾最嚴(yán)重的隨機(jī)變量高斯噪聲源的數(shù)學(xué)特性。高斯信源不僅因?yàn)槠鋽?shù)學(xué)描述簡(jiǎn)單，而且由于它的干擾最強(qiáng)，所以經(jīng)常用它來作我們通信系統(tǒng)中干擾源的數(shù)學(xué)模型。203. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵 如果l維的正態(tài)隨機(jī)變量組成一個(gè)隨機(jī)矢量 ，設(shè)每一個(gè)變量的均值為

22、mi, 則如果能知道任何變量間的協(xié)方差；(covariance)我們就能唯一地確定這個(gè)隨機(jī)矢量。12lxx xx()(),1,2,defijiijjrexmxmi jlij1112121222111212r lrillijllllllllijijjimrrrrrrrrrrrrrr where :and即即，給給定定和和的的條條件件下下，我我們們可可以以唯唯一一地地確確定定出出這這個(gè)個(gè) 維維的的正正態(tài)態(tài)矢矢量量。其其中中， 協(xié)協(xié)方方差差矩矩陣陣為為：213. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵112211011()exp()()2(2 )ijijijijdefijijijijl

23、llijiijjlijijrrrrrrrrp xr xmxmr 設(shè)設(shè)：為為對(duì)對(duì)稱稱矩矩陣陣的的行行列列式式，而而且且，則則有有的的可可逆逆矩矩陣陣存存在在，記記為為：; ;其其中中 為為元元素素的的代代數(shù)數(shù)余余因因子子。則則，正正態(tài)態(tài)矢矢量量的的概概率率密密度度就就為為：按相對(duì)熵的定義就可推出l維正態(tài)矢量的相對(duì)熵：1()log(2)log22clijlhxer 如果各個(gè)分量之間相互獨(dú)立，則r形成一對(duì)角線矩陣：2112222000000ijllr 21:lllllrand223. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵122212()log 2()2lclllhxe 例31. 求二

24、維正態(tài)矢量的相對(duì)熵和兩變量間的互信息。122222111222211221222,0()()cos.1cos1:ijlmmexmexmr is correlationlet :then :whereancoeffidcient22221121221221ijr 233. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵根據(jù)根據(jù)1()log(2)log22clijlhxer 22212122221222212122221()log(2)log122111log(2)logloglog 1222111log(2)log(2)log 1222()()( )1( )log 1log 12ccdef

25、h x xeeeehxhxhh :where121212212()()()(;)(;)( )log 1ccch x xh xh xi x xi x xh又又243. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵 可見二維正態(tài)矢量的相對(duì)熵，等于兩個(gè)分量的相對(duì)熵之和與它們之間相關(guān)程度對(duì)熵的損失量之差?，F(xiàn)在進(jìn)一步分析i(x1;x2)的物理意義：2x2x 1x121201,3,5,2(;(.)0kkxxi xxhwhenthenandare linear independenti.e.121200,1,22(;)( )0kkxxi xxh這這說說明明相相關(guān)關(guān)性性引引起起熵熵的的減減少少，互互信

26、信息息就就是是從從一一個(gè)個(gè)分分量量得得到到另另一一個(gè)個(gè)分分量量的的信信息息。wheni.e.thenandare linear dependent.253. 4 幾種常見隨機(jī)變量的相對(duì)熵幾種常見隨機(jī)變量的相對(duì)熵 如果兩個(gè)分量一一對(duì)應(yīng)，則實(shí)際上是兩個(gè)變量變成一個(gè)變量了。此刻硬要將一個(gè)連續(xù)量看成兩個(gè)連續(xù)量，必然要引入一個(gè)無(wú)窮大量才對(duì)。所以此時(shí)的互信息就是無(wú)窮大量。還因?yàn)榛バ畔⒌亩x式為：121210,2,4,().2;)(kkxxi xxh i.e.andare one - to - one mwhenthenapping0ijr 12112112(;)()()()()cci xxh xh xxh

27、xhxx可見互信息不僅是相對(duì)熵之差，而且也是連續(xù)熵之差。26第三章第三章. 連續(xù)信源的信息熵連續(xù)信源的信息熵 3. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理( maximum entropy theorem of continuous source) 在離散信源中也有最大熵問題，目的就是希望在離散信源中也有最大熵問題，目的就是希望設(shè)計(jì)信源時(shí)使它具備最大發(fā)送信息的能力。從熵函設(shè)計(jì)信源時(shí)使它具備最大發(fā)送信息的能力。從熵函數(shù)的上凸性質(zhì)看，它已具備最大值的充要條件，我數(shù)的上凸性質(zhì)看，它已具備最大值的充要條件，我們所面臨的問題就是如何把握最理想的概率分布。們所面臨的問題就是如何把握最理想的概率分布。

28、 顯然在離散信源中等概率將是最理性的條顯然在離散信源中等概率將是最理性的條 件，件，在工程設(shè)計(jì)中將遵循這一原則。在工程設(shè)計(jì)中將遵循這一原則。 請(qǐng)看請(qǐng)看習(xí)題習(xí)題4.2:273. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 01234.2:411110,1248800011011010 110 111iiiuuuuuuv 習(xí)題i i有有一一 個(gè)個(gè)符符號(hào)號(hào)的的消消息息集集合合, ,若若設(shè)設(shè)計(jì)計(jì)一一個(gè)個(gè)信信號(hào)號(hào)代代碼碼序序列列取取代代消消息息符符號(hào)號(hào)后后應(yīng)應(yīng)使使代代碼碼信信號(hào)號(hào)的的發(fā)發(fā)送送概概率率趨趨于于等等概概率率分分布布。v v0011223300;01;10;11;uvuvuvuv ：若若設(shè)設(shè)

29、 以上是一種最簡(jiǎn)單的信號(hào)設(shè)計(jì)方案，但不是最優(yōu)方案，以上是一種最簡(jiǎn)單的信號(hào)設(shè)計(jì)方案，但不是最優(yōu)方案，因?yàn)樗男什桓?。因?yàn)樗男什桓摺?這是屬于定長(zhǎng)編碼這是屬于定長(zhǎng)編碼 fixed-length code所以簡(jiǎn)單。所以簡(jiǎn)單。283. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理412iiikpkk 表表示示平平均均每每一一個(gè)個(gè)消消息息符符號(hào)號(hào)所所占占用用的的代代碼碼長(zhǎng)長(zhǎng)度度。 如果設(shè)信源發(fā)出了n個(gè)消息符號(hào)，則此刻信源發(fā)送“0”的概率是多少？0101111(2)11248(0)161151(1)116162defnp vqnkp vqqq：則則此此信信源源沒沒有有達(dá)達(dá)到到滿滿負(fù)負(fù)荷荷，即即沒沒有

30、有輸輸出出最最大大熵熵。 如果我們按書中給出的代碼設(shè)計(jì)，則情況就不同了。293. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理這是一種變長(zhǎng)碼字：variable-length code001122330;10;110;111;uvuvuvuv ：若若設(shè)設(shè)41010741117()12488(0)7241(1)12iiidefdefkp knp vqn kp vqqthen : 利用算術(shù)平均法求出代碼熵和利用集合平均所求的代碼熵的結(jié)果比較：4122171( )4( )log174( )loglog 2 1iiiiiibitsh uh vppkkh vqb codebqitsb code303.

31、5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 當(dāng)然也可直接求出發(fā)當(dāng)然也可直接求出發(fā)“1” ”的概率以及相應(yīng)的條件概率的概率以及相應(yīng)的條件概率：123110110011 ()2 ()3 ()1(1)2(0,0)(00)(00)(0)(0)nnnnnn p up up unp vqnnnkp vvppp vvp vp 這里用這里用p(00)表示信源發(fā)出事件表示信源發(fā)出事件“00”的出現(xiàn)概率，我們可的出現(xiàn)概率，我們可以以看到，只有事件看到，只有事件“u0u0”，“u1u0”，“u2u0”出現(xiàn)時(shí)，才有事件出現(xiàn)時(shí)，才有事件“00”出現(xiàn)的可能性。但是出現(xiàn)的可能性。但是p(00)的概率可以這樣求嗎？的概率可

32、以這樣求嗎？001020(00)()()()pp u up u up u u？ 因?yàn)閡i和vn分別屬于不同的概率空間，統(tǒng)計(jì)概率或概率間的互換應(yīng)有一個(gè)參考點(diǎn)。同樣在統(tǒng)計(jì)時(shí)序列的排列順序也是應(yīng)要求一致，在一個(gè)公共的尺度下互換才為可行。211231lllllluuuuv v vv v;假假定定: :and313. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理00102000(00)1 1111 1()()()12 24 28 2744npvnn p u up u up u unkn ：事事件件的的個(gè)個(gè)數(shù)數(shù)所所以以序序列列中中代代碼碼個(gè)個(gè)數(shù)數(shù) 0010011(00)14(0 0)1(0)221(1 0

33、)1(0 0)2(10)(0 1)(1)ppppppppppp:thenandsimilarly12301111()()()()14882(10)744np up up u upn k114(1 1)122p323. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 如果考慮發(fā)碼順序是從右向左的方向如果考慮發(fā)碼順序是從右向左的方向，也同樣能統(tǒng)計(jì)：，也同樣能統(tǒng)計(jì)：0102031 11213222321 ()()()()()()()()()(01)1 1111 1111 1117()()()12 4884 4888 88416774441(01)14(0 1)1(1)22n p u up u up u

34、 up u up u up u up u up u up u upnkppp1(0)(1)2()( )1p vp vh uh vk即即滿滿載載信信息息碼碼。bit;b -code 在等概率的條件下，可使離散信源發(fā)送效率最大，這是最大熵定理在信號(hào)設(shè)計(jì)中的具體應(yīng)用。這也是我們討論連續(xù)信源的目的之一。333. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 從相對(duì)熵的數(shù)學(xué)性質(zhì)中已證明它有最大值，但是如果不考慮約束條件，在求極大值是將有可能走向極端，即求出它的無(wú)窮大量。為此這與離散熵所不同，相對(duì)熵?fù)碛胁煌瑮l件下的最大熵。.the maximum entropy theorem at limited pe

35、ak condition 即限峰功率條件下的最大熵定理限峰功率條件下的最大熵定理 所謂限峰條件：所謂限峰條件：,( )1,baxa bbap x dxa b when :thenwhere,and,:所以限峰是指信號(hào)的幅度不能任意大，應(yīng)屬于有限的范圍。( ) , ( )1( ) , bap xa bp x dxq xa b,：設(shè)設(shè)為為區(qū)區(qū)間間內(nèi)內(nèi)任任意意一一種種概概率率密密度度，則則又又設(shè)設(shè)為為區(qū)區(qū)間間內(nèi)內(nèi)的的均均勻勻分分布布密密度度(uniform distribution)1,( )0,xa bq xbaxa b343. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 上式表明：在限峰的條件

36、下，只有連續(xù)變量x處于均勻分布下，才能使相對(duì)熵達(dá)到最大，這就是限峰條件的最大熵定理及其證明。( )()( )log ( )( )log( )( )( )( )log ( )( )log( )1( )log( )( )1( )bbcaabbaabbaaq xhxp xp x dxp xp xdxq xq xp xq x dxp xdxp xq xp x dxp xdxbap x log1zz log()( )( )log(), ( )bbaacbaq x dxp x dxbahx q x353. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 約束條件改為平均功率(指信源的輸出功率)受限，這實(shí)際上

37、在均值為零的信號(hào) x 來說，就是方差 受限。即：. the maximum entropy theorem at limited-in-mean power condition. 即限平均功率條件下的最大熵定理：限平均功率條件下的最大熵定理：222()( )( )1,xmp x dxpp x dxmxp ；為為連連續(xù)續(xù)隨隨機(jī)機(jī)變變量量 的的均均值值為為它它的的方方差差，我我們們就就說說平平均均功功率率受受限限。let :where :if, whenand22221()( )exp22xmq xm;).(又又設(shè)設(shè)：且且方方差差也也為為，均均值值為為的的正正態(tài)態(tài)分分布布密密度度 normal d

38、istribution density3621, ( ), ( )log(2)2cchx p xhx q xe gaussian entropy3. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理( ) , ( )( )log ( )( )log ( )( )( )( )log ( )( )log( )cq xh x p xp xp x dxp xp xdxq xq xp xq x dxp xdxp x( )( )10( )q xp xdxp x2221()( )log(log )( )22xmp xdxep xdx2222log1loglog 2( )()log(2)222eep x x m

39、dx21log(2), ( )2cehx q x 所以對(duì)于一維隨機(jī)變量而言，在方差受限下則相對(duì)熵在概率密度為正態(tài)分布時(shí)達(dá)到最大值。這就是為什么說高斯噪聲源是干擾最嚴(yán)重的噪聲源。373. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理 若若x x的取值為非負(fù)，且均值在限定為某一確定值，則的取值為非負(fù)，且均值在限定為某一確定值，則x x的分布的分布函數(shù)為指數(shù)分布時(shí)達(dá)到最大。即：函數(shù)為指數(shù)分布時(shí)達(dá)到最大。即：.the maximum entropy theorem at limited mean condition 即均值受限條件下的最大熵定理均值受限條件下的最大熵定理0000( )( )( ).1(

40、 )0,)( )( )( )1xxp x dxxq x dxq xq xexp xp x dxq x dx is the exponential distribution densityfunction,i.e.andandis an anyprobability densityfunctiowhen:where,dn,an383. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理0020011, ( )( )log ( )log1(log )(log )xxcxxhx q xq xq x dxeedxeedxxedx 1 00(log )1( )xexedxe xxp x dxlog()e000

41、000( ) , ( )( )log ( )( )log( )( )( )( )log ( )( )log( )( )( )log ( )( )1( )cq xh x p xp xp x dxp xp xdxq xq xp xq x dxp xdxp xq xp xq x dxp xdxp x又又0393. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理00000, ( )( )log( )( )log ( )1( )log1(log )( )log( )logloglog(), ( )cxchx p xp xp x dxp xq x dxp xedxep xdxxp x dxeehx q x

42、所以在均值受限的條件下，概率密度為負(fù)指數(shù)分布時(shí)相對(duì)熵達(dá)到最大。0, ( )( )log( )log()chx p xp xp x dxe 即即：403. 5 連續(xù)信源的最大熵定理連續(xù)信源的最大熵定理000000 , ( )( )log ( )( )log ( )1( )log1( )loglog( )loglog( )loglog , ( )log , ( )cxcch x p xp xp x dxp xq x dxp xedxxp xdxep xdxexp x dxeh x p xeh x q x又又解法二：q.e.d41第三章. 例題分析例題分析例例3-2. (習(xí)題習(xí)題4.18) 已知隨機(jī)

43、變量x與y的聯(lián)合概率密度為：2211()exp(1)222()( )()(; )cccnp xyxxyynssnhxh yh y xi x y：、求求和和。題解題解：因?yàn)橹挥卸S正態(tài)隨機(jī)矢量的聯(lián)合概率密度才具有上式各項(xiàng)，因此試比較：(參見概率論書中135頁(yè)公式)2222221122122211()()()()( )exp22 12111( )exp(1) 222x ax a y by bp xynp xyxxy ynssn 所以我們可以利用待定系數(shù)的數(shù)學(xué)方法避開求積分的麻煩。422121222122221111111snssnsnsnnsnn 解解之之，得得 212()log 21log 2(

44、)log(2)()cnh xyee s sne snsn 第三章第三章. 例題分析例題分析設(shè)待定系數(shù)方程組：設(shè)待定系數(shù)方程組：noimage再利用高斯變量的相對(duì)熵中只與其方差有關(guān)的特點(diǎn)得到：可根據(jù)二維正態(tài)熵的標(biāo)準(zhǔn)式，直接寫出聯(lián)合熵(書中197頁(yè))： 2c12c211hxlog 2elog 2es2211h (y)log 2elog2e(s n)2243第三章. 例題分析例題分析當(dāng)然你也可以利用我們上面給出的多維正態(tài)熵的公式求出：22222112121221221()log2log22(1)(1)21()log2loglog 222,clclhxerrrhxyere sn , thdeann2(

45、)()()1(2)log(2)log 2loglog 222ccch y xhxyhxe nse snesenes又又2(;)log1loglog(;)( )()log2()log2ccnsni x ysnni x yhyhy xe snen ：根根據(jù)據(jù)or44第三章. 例題分析例題分析例題例題3-3. (習(xí)題習(xí)題4.17) 設(shè)隨機(jī)變量設(shè)隨機(jī)變量x的概率密度為的概率密度為: (注：這是語(yǔ)聲信號(hào)的數(shù)學(xué)模型注：這是語(yǔ)聲信號(hào)的數(shù)學(xué)模型 )()()( )(; )111log2log2()log22211log2log ()loglog222ccchxyhxh yi x ynsese snnnses s

46、ne snn還還可可驗(yàn)驗(yàn)證證：1( )2()xcp xexhx 求求：并并驗(yàn)驗(yàn)證證它它小小于于同同樣樣方方差差下下的的正正態(tài)態(tài)變變量量的的相相對(duì)對(duì)熵熵。and題解：因這是瑞利分布因這是瑞利分布 the reyleigh probability density:( )02,1xandxp xe 45第三章. 例題分析例題分析00201()( )log( )( )log2( )log2( )log2log2(log )( )2log(log )2log2xcxxhxp xp x dxp xedxp xdxp xedxe xp x dxexedx ：則則1020!1nxnxnx edxxedx221

47、2(log )logee22223200122( )2()2defxxxx p x dxxedxx edxp46第三章. 例題分析例題分析例題例題3-4.(習(xí)題習(xí)題4.19) 連續(xù)變量x和y有聯(lián)合概率密度為：22112(0,)( )log2log(2)22ycynph yepe若若，則則：222221214()logloglog2211log(2)log(2)( )22cceeehxe pephy23.142.722eeeq.e.d.22222221()0()( )()(;)cccxyrp xyrxyrhxhyhxyi x y、和和試試求求：。22222000sincos;logsinlog

48、242ddd 提提示示：47第三章. 例題分析例題分析題解：題解：222222222222222222222220222212( )()22()( )log ( )log224loglog4log( )log2yxrxrrxrcrrrrrrrp xp xy dydyrxrrhxp xp x dxrxrxdxrrrxdxrxrxdxrrrrp x dxrxrr 220rxdx 1xy r sincos(cos )sin0coscos 02yrxrdxd rrdrrr let :then :and48第三章. 例題分析例題分析 222222020222222222004()loglog24logs

49、inlogsin244logsinlogsinlog sin2rcrhxrxrxdxrrrrdrrr dd22022002loglog(1cos 2 )log sin222loglog sincos 2log sin2rrdrdd 22220022sincos41sin1 cos1 cos2 2dd 201log()cos2 logsin(2 )rd20log sinlog 22d 49第三章. 例題分析例題分析2020201log()cos 2log sin(2 )1log()log sin(sin 2 )211sin 2log()log sinsin 2(sin)sin0rdrdrd=02

50、02202sin coslog()(sin )sin211log()coslog ()ln()22erdrdrr 1()ln()2chxr/nat symbolbbbaaaudvuvvdu根根據(jù)據(jù)分分部部積積分分法法則則：50211()()(;)ln(ln1)ln22()11()()()lnlnln22cccccchy xhyi x yrrhx yhxyhxhy xrrr第三章. 例題分析例題分析根據(jù)概率函數(shù)的對(duì)稱性，有：22222222222222221( )( )()ln2111()logloglog1(;)( )()()2 lnlog2ln()ln1ln1lnlogcccxyrxyrcc

51、cp yryhyhxrrhxydxdyrdxdyrrrri x yhyhxhxyrrrree andnat /symbolq.e.d51第三章第三章. 連續(xù)信源的信息熵連續(xù)信源的信息熵 3.3.6 6 平穩(wěn)高斯隨機(jī)過程的信息熵與互信息平穩(wěn)高斯隨機(jī)過程的信息熵與互信息 ( the entropy and mutual information for the stationary gaussians stochastic process ) 當(dāng)連續(xù)信源所發(fā)出的消息都是由一個(gè)個(gè)隨機(jī)過程( stochastic process)所形成。如：語(yǔ)音信號(hào) 它不僅幅度上，而且在時(shí)間上也都是連續(xù)的，即分別屬于一個(gè)無(wú)限的集合之中。假定這些隨機(jī)過程均滿足平穩(wěn)性時(shí), 則我們所研究的對(duì)象就成為： 平穩(wěn)隨機(jī)過程：平穩(wěn)隨機(jī)過程：( ,)x t,xt從頻域上講我們將可用從頻域上講我們將可用功率譜密度功率譜密度來描述這個(gè)隨機(jī)過程。來描述這個(gè)隨機(jī)過程。s從時(shí)域上我們可以由從時(shí)域上我們可以由自相關(guān)函數(shù)自相關(guān)函數(shù) 來描述。來描述。 r523.3.6 6平穩(wěn)高斯隨機(jī)過程的信息熵與互信息平穩(wěn)高