2.5信源冗余度

1、2.5信源冗余度如果信源不是平穩(wěn)的，極限熵就不一定 存在，于是只好先容忍誤差，假設(shè)它是平穩(wěn) 的，并計(jì)算足夠大時(shí)的條件概率：P(Xn /X1X2.X n“)再計(jì)算出來近似地代替極限熵。如果信源符合馬爾可夫信源的條件， 就可以進(jìn)一步用階 馬爾可夫信源的熵來代替，要比小得多，顯 然記憶長度決定相對的誤差。最簡單的情 況是m=1，即以何種概率發(fā)符號僅與前一個 符號有關(guān)，這是一階馬爾可夫信源，其熵為:H 2 = H, H (X 2/ X1)當(dāng)m=0時(shí)，由于信源符號間的相關(guān)性為零， 故信源變成離散無記憶信源，如果進(jìn)一步假 定信源是符號等概率分布的，則信源變成理 想的離散無記憶等概信源。但是一般信源既 不是

2、無記憶的，也不是等概率的，故信源熵 沒有達(dá)到可能的最大值，也就是說信源有冗 余度。例2.5.1以二元信源為例，該信源有兩個符 號 0,1 ，如果信源符號等概率分布，且符號 之間無相關(guān)性，則其信源熵達(dá)最大值，即： Hmax (X)=1 比特 /符號。原本發(fā)送 12個比特的信息量只要 12 個 符號就夠了，其中 3 個符號是多用的，這就 是 冗余或剩余 ，從某種意義上講是一個浪 費(fèi)。2.5.1 冗余度的定義從上面的分析可知， 信源實(shí)際熵與理論上可 達(dá)到的最大熵之間有差距， 而山農(nóng)將此定義 為冗余度。1.相對熵2 冗余度3 .信息變差 顯然這三種定義均代表了信源的冗余程度。例 2.5.2求 例 2.

3、5.1的相對熵、冗余度和信再來看英文的例子 (獨(dú)立，且等概率分布 )信 源熵：Hmax=4.75 比特 /符號表 2.5.1 英語字母出現(xiàn)概率統(tǒng)計(jì)表英語字母出現(xiàn)概率英語字母出現(xiàn)概率英語字母出現(xiàn)概率A0.064J0.001S0.051B0.013K0.005T0.08C0.022L0.032U0.023D0.032M0.020V0.008E0.103N0.057W0.018F0.021O0.063X0.001G0.015P0.015Y0.016H0.047Q0.001Z0.001I0.058R0.048空格 0.1以此表計(jì)算得到的信源熵為：H1(X)=4.03 比特 /符號 如果把英文字母信源近

4、似看成一階、 二階以 及無窮階馬爾可夫信源， 則可得到相應(yīng)的信 源熵。2.5.2冗余的利用消息的冗余，特別是大量的冗余，為我們提 高通信效率，壓縮信號容量提供了基礎(chǔ)。 冗余是一種浪費(fèi)，但任何事情都有兩面性， 適當(dāng)?shù)娜哂嗍潜匾?，否則系統(tǒng)不能有一點(diǎn) 差錯。它表征信源信息率的多余程度，是描述信源客觀 統(tǒng)計(jì)特性的一個物理量。由廣義Shannon不等式有：L 1log n 二 H °(U ) H ,U ) H (U 2 /U J lim H (U L /U二 H(U ) 0I _可見對于有記憶信源，最小單個消息熵應(yīng)為 H：(U)，即 從理論上看，對有記憶信源只需傳送H /U )即可。 但是這

5、必需要掌握信源全部概率統(tǒng)計(jì)特性。這顯然是 不現(xiàn)實(shí)的。實(shí)際上，往往只能掌握有限的L維，這時(shí)只需傳送H|(U)，那么與理論值 H相比，就多傳送了 H l(U ) - H ：(U )。為了定量描述信源有效性，可定義： 信源效率：fH：/Ho信源熵的相對率 信源冗余度：R=1 -可-仁/治二也0 H(相對剩余)正由于信源存在看冗余度，即存在看不必要傳送的信 息，因此信源也就存在進(jìn)一步壓縮信息率的可能性。 冗余度越大，壓縮潛力也就越大?？梢娝切旁淳幋a, 數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。下面，以英文為例，計(jì)算文字信源的冗余度: 首先給出英文字母（含空檔）出現(xiàn)概率如下：字母p字母p字母p空檔0.2S0.0502

6、Y.W0.012E0.105H0.047G0.011T0.072D0.035B0.0105O0.0654L0.029V0.008A0.063C0.023K0.003N0.059F.U0.0225X0.002I0.055M0.021J.Q0.001R0.054P0.0175Z0.001卜面，首先求得獨(dú)立等概率情況Ho，即H o= log 2 27 = 4.76b i t其次，計(jì)算獨(dú)立不等概率情況Hi，27H -' pi log p 4.03b i t再次，若僅考慮字母有一維相關(guān)性，求H 2，H = 3.32b i t2 ?還可進(jìn)一步求出：H 2二3.1bit ，最后，利用統(tǒng)計(jì)推斷方法求出H-，由于采用的逼近的方法和所取的樣本的不同，推算值也有不同，這里采 用Shannon的推斷值。H 二三 1.4bit這樣，可以計(jì)算出 =0.29 ,R = 0.71。這一結(jié)論說明，英文信源，從理論上看 71%是多余成 分。直觀地說100頁英文書，理論上看僅有29頁是有 效的，其余71頁是多余的。正是由于這一多余量的存 在，才有可能對英文信源進(jìn)行壓縮編碼。對于其它文字，也有不少人作了大量的統(tǒng)計(jì)工作， 現(xiàn)簡述如下:H。H2Hs英文4.7法文4.74.