第三章：信源、熵率及冗余度

1、.,第三章：信源、熵率及冗余度,.,問題一,信息論對信源的研究內(nèi)容包括哪幾個方面？,.,信息論對信源研究的內(nèi)容,信源的建模：用恰當(dāng)?shù)碾S機(jī)過程來描述信號 關(guān)心角度：信號中攜帶的信息 信源輸出信號中攜帶信息的效率的計(jì)算 熵率、冗余度 信源輸出信息的有效表示 信源編碼,.,問題二,從信息論的角度如何為信源建模？ 信源的統(tǒng)計(jì)特性如何？ 如何對信源分類？ 各類信源如何建模？,.,信源特性,信源的統(tǒng)計(jì)特性 1）什么是信源？ 信源是信息的來源，實(shí)際通信中常見的信源有：語音、文字、圖像、數(shù)據(jù)。在信息論中，信源是產(chǎn)生消息（符號）、消息（符號）序列以及連續(xù)消息的來源，數(shù)學(xué)上，信源是產(chǎn)生隨機(jī)變量X，隨機(jī)序列 和隨機(jī)

2、過程X(t,)的源。 2）信源的主要特性 信源的最基本的特性是具有統(tǒng)計(jì)不確定性，它可用概率統(tǒng)計(jì)特性來描述。,.,信源的分類,離散信源與連續(xù)信源 離散信源 單符號信源 序列信源 平穩(wěn)&非平穩(wěn) 有記憶&無記憶 連續(xù)信源 連續(xù)信源 波形信源,.,離散信源單符號離散信源（1）,它是最簡單也是最基本的信源，是組成實(shí)際信源的基本單元。 這類信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個消息。因此，可以用一個離散型隨機(jī)變量X來描述這個信源輸出的消息。這個隨機(jī)變量X的樣本空間就是符號集A；而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率，信源的概率空間必定是一個完備集。,.,離散信源單符號離散信源（2）,

3、當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征離散信源的統(tǒng)計(jì)特性，因此有時也把這個概率空間稱為信源空間。 在實(shí)際情況中，存在著很多這樣的信源。例如投硬幣、書信文字、計(jì)算機(jī)的代碼、電報(bào)符號、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個符號(或代碼)的消息，它們符號集的取值是有限的或可數(shù)的。我們可用一維離散型隨機(jī)變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：,.,離散信源單符號離散信源的數(shù)學(xué)描述,對單符號離散信源U 有： 例31：對于二進(jìn)制數(shù)字信源：U=0,1，則有,.,離散信源離散多符號信源,實(shí)際的信源輸出的消息是時間或空

4、間上離散的一系列隨機(jī)變量。這類信源每次輸出的不是一個單個的符號，而是一個符號序列。在信源輸出的序列中，每一位出現(xiàn)哪個符號都是隨機(jī)的，而且一般前后符號的出現(xiàn)是有統(tǒng)計(jì)依賴關(guān)系的。這種信源稱為多符號離散信源。 例32： THEY ARE MY FRIENDS.,.,離散信源多符號離散信源的數(shù)學(xué)描述,多符號離散信源可用隨機(jī)矢量/隨機(jī)變量序列描述，即 X=X1X2X3 信源在不同時刻的隨機(jī)變量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般來說是不相同的，即隨機(jī)變量的統(tǒng)計(jì)特性隨著時間的推移而有所變化。,.,離散信源離散平穩(wěn)信源,若信源輸出的隨機(jī)序列X=(，)中，每個隨機(jī)變量 Xi (i=1,2,，

5、N)都是取值離散的離散型隨機(jī)變量，即每個隨機(jī)變量Xi的可能取值是有限的或可數(shù)的。而且隨機(jī)矢量X的各維概率分布都與時間起點(diǎn)無關(guān)，也就是在任意兩個不同時刻隨機(jī)矢量X的各維概率分布都相同。這樣的信源稱為離散平穩(wěn)信源。如中文自然語言文字，離散化平面灰度圖像都是這種離散型平穩(wěn)信源。 一般來說，信源輸出的隨機(jī)序列的統(tǒng)計(jì)特性比較復(fù)雜，分析起來也比較困難。為了便于分析，我們假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列，也就是序列的統(tǒng)計(jì)性質(zhì)與時間的推移無關(guān)。很多實(shí)際信源也滿足這個假設(shè)。,.,離散信源平穩(wěn)信源的數(shù)學(xué)模型（二維）,最簡單的離散平穩(wěn)信源：二維平穩(wěn)信源 X=X1X2 每兩個符號看做一組，每組代表信源X=X1X2的一個

6、消息； 每組中的后一個符號和前一個符號有統(tǒng)計(jì)關(guān)聯(lián)，這種概率性的關(guān)系與時間起點(diǎn)無關(guān)； 假定符號序列的組與組之間是統(tǒng)計(jì)獨(dú)立的。,設(shè)X1,X2 x1,x2,xn,矢量Xx1x1, x1xn,x2x1, ,x2xn, xnx1, ,xnxn 令,.,X的數(shù)學(xué)模型,.,離散信源離散平穩(wěn)無記憶信源,在某些簡單的離散平穩(wěn)信源情況下，信源先后發(fā)出的一個個符號彼此是統(tǒng)計(jì)獨(dú)立的。也就是說信源輸出的隨機(jī)矢量X=(XXX）中，各隨機(jī)變量Xi (i=1,2,N)之間是無依賴的、統(tǒng)計(jì)獨(dú)立的，則N維隨機(jī)矢量的聯(lián)合概率分布滿足P(X)=P（）P（）P（） 我們稱由信源空間X，P(x)描述的信源X為離散無記憶信源。這信源在不同

7、時刻發(fā)出的符號之間是無依賴的，彼此統(tǒng)計(jì)獨(dú)立的。,.,離散信源離散無記憶信源的N次擴(kuò)展信源,離散無記憶信源X= x1,x2,xn，對它的輸出消息序列，可以用一組組長度為N的序列來表示它。這時它就等效成了一個新信源； 新信源輸出的符號是N長的消息序列，用N維離散隨機(jī)矢量來描述。ai=(xi1xi2xiN) i=1,2, ,n 每個分量xik (k=1,2,N)都是隨機(jī)變量，都取值于同一信源X，并且分量之間統(tǒng)計(jì)獨(dú)立。 由隨機(jī)矢量X組成的新信源稱為離散無記憶信源X的N次擴(kuò)展信源。 離散無記憶信源的N次擴(kuò)展信源的數(shù)學(xué)模型是X信源空間的N重空間。,A B D A C B B A C C D X1 0 0

8、0 0 0 0 0 0 0 0 0 X2 1 1 1 1 1 1 1 1 1 1 1 X3 0 0 0 0 0 0 0 0 0 0 0 X4 0 0 0 0 0 0 0 0 0 0 0 X5 0 0 0 0 0 0 0 0 0 0 0 X6 0 0 1 0 0 0 0 0 0 0 1 X7 0 1 0 0 1 1 1 0 1 1 0 X8 1 0 0 1 1 0 0 1 1 1 0 X 1 、X 2、X8 ,均為單符號隨機(jī)變量信源X=0,1， P( X 1 X 2X8 ) 與時間起點(diǎn)無關(guān)平穩(wěn) P( X 1 X 2X8 ) P(X 1)P(X 2)P(X8 )無記憶信源,例33：,電文： 女 孩

9、 兒 在 哭 X CHUYJ KOIUY HSFRT NHYTF SGTRW X1 C K H N S X2 H 0 S H G X3 U I F Y T X4 Y U R T R X5 J Y T F W X1,X2,X3,X4,X5均為單符號隨機(jī)變量XA、B、CZ P(X1X2X3X4X5)=P (X1)P(X2)P(X3)P(X4)P(X5) 且與時間起點(diǎn)無關(guān)， X為一無記憶平穩(wěn)信源,例34：,.,離散信源二進(jìn)制無記憶信源的N次擴(kuò)展信源,把信源輸出的序列看成是一組一組發(fā)出的。 電報(bào)系統(tǒng)中，可以認(rèn)為每二個二進(jìn)制數(shù)字組成一組。這樣信源輸出的是由二個二進(jìn)制數(shù)字組成的一組組符號。這時可以將它們等

10、效看成一個新的信源，它由四個符號00，01，10，11組成，把該信源稱為二進(jìn)制無記憶信源的二次擴(kuò)展。 如果把每三個二進(jìn)制數(shù)字組成一組，這樣長度為3的二進(jìn)制序列就有8種不同的序列，可等效成一個具有8個符號的信源，把它稱為二進(jìn)制無記憶信源的三次擴(kuò)展信源。 二進(jìn)制無記憶信源的N次擴(kuò)展：把每N個二進(jìn)制數(shù)字組成一組，則信源等效成一個具有2N個符號的新信源，把它稱為二進(jìn)制無記憶信源的N次擴(kuò)展信源。,.,離散信源離散平穩(wěn)有記憶信源,一般情況下，信源在不同時刻發(fā)出的符號之間是相互依賴的。也就是信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xi之間是有依賴的。 例如，在漢字組成的中文序列中，只有根據(jù)中文的語法、習(xí)慣用語

11、、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。其他如英文，德文等自然語言都是如此。這種信源稱為有記憶信源。 我們需在N維隨機(jī)矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。,女孩兒在哭 X THIS GIRL IS CRYING X1 T G I C X2 H I S R X3 I R Y X4 S L I X5 N X6 G X1,X2,X3,X4,X5均為單符號隨機(jī)變量XA、B、CZ P(X1X2X3X4X5)P (X1)P(X2)P(X3)P(X4)P(X5) 與時間起點(diǎn)無關(guān)， X

12、是一有記憶平穩(wěn)信源,例35：,.,離散信源馬爾可夫信源,表述有記憶信源要比表述無記憶信源困難得多。實(shí)際上信源發(fā)出的符號往往只與前若干個符號的依賴關(guān)系強(qiáng)，而與更前面的符號依賴關(guān)系弱。為此，可以限制隨機(jī)序列的記憶長度。 當(dāng)記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。,.,離散信源時齊馬爾可夫信源,設(shè)馬爾可夫信源各時刻隨機(jī)變量的取值為xk，xkXk，k=1,2,，i-1,i,i+1,N，則描述隨機(jī)序列中各隨機(jī)變量之間依賴關(guān)系的條件概率為 P(xi|xi+2xi+1xi-1xi-2xi-3xi-mx1） =（xi|xi-1xi

13、-2x-3xi-m） （i=1,2,N） 如果上述條件概率與時間起點(diǎn)i無關(guān)，即信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可信源。,.,1. 各字母等概、字母間不相關(guān)（字符獨(dú)立） XFOML RXKHRJFFJUJ LPWCFWKCYFFJEYVKC QSGHYDQPAAMKBZAACIBZLHJQD. 2. 字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間不相關(guān)（字符獨(dú)立） OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVANAH 3. 字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間存在二維相關(guān)性（兩兩相鄰字母相關(guān) ）

14、 ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVETUCOOWEAT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.,信源建模,信源建模,4.字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間存在三維相關(guān)性 IN NO IST LAT WHEY CRATICT FROUREBIRSGROCIDPONDENOME OF DEMONSTURESOF THE REPTAGIN IS REGOACTIONA OF CRE. 5.字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間存在N維相關(guān)性 REPRESENT

15、ING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TOOF TO EXPERT GRAY COME TO FURNISHESTHE LINE MESSAGE HAD BE THESE. 6.單詞間存在相關(guān)性（依據(jù)語法）. THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTER

16、S THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.,模型復(fù)雜度越高，越逼近實(shí)際。,一個足夠復(fù)雜的隨機(jī)序列模型能夠滿意地表示自然語言的信源。,.,離散序列信源總結(jié),.,模擬信源,模擬信源又可根據(jù)時間是否離散分為連續(xù)信源和波形信源。連續(xù)信源是時間離散而取值連續(xù)的一類信源，波形信源是指取值連續(xù)時間也連續(xù)的一類信源。 由于模擬信源的情況比較復(fù)雜，限于學(xué)時，我們只對單變量連續(xù)信源的信息測度進(jìn)行討論。,.,連續(xù)信源單變量連續(xù)信源（1）,有的信源雖輸出是單個符號(代碼)的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，即輸出消息的符號集

17、A的取值是連續(xù)的，或取值是實(shí)數(shù)集(-，)。例如，遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。這些數(shù)據(jù)取值是連續(xù)的，但又是隨機(jī)的。我們可用一維的連續(xù)型隨機(jī)變量X來描述這些消息。這種信源稱為連續(xù)信源，其數(shù)學(xué)模型是連續(xù)型的概率空間。,.,連續(xù)信源單變量連續(xù)信源的描述,單變量連續(xù)信源的輸出是取值連續(xù)的隨機(jī)變量?？捎米兞康母怕拭芏?、變量間的條件概率密度和聯(lián)合概率密度描述。 一維概率密度函數(shù) 條件概率密度和聯(lián)合概率密度函數(shù),其中：,波形信源,更一般地說，實(shí)際信源輸出的消息常常是時間和取值都是連續(xù)的。 例如，語音信號X(t)、熱噪聲信號n(t)、場景圖像信號X(x0,y0,t)等時間連續(xù)函數(shù)。 在某一固

18、定時間t，它們的可能取值又是連續(xù)的和隨機(jī)的。 對于這種信源輸出的消息，可用隨機(jī)過程來描述。稱這類信源為隨機(jī)波形信源。,.,波形信源,分析一般隨機(jī)波形信源比較復(fù)雜和困難。常見的隨機(jī)波形信源輸出的消息是時間、頻帶受限的隨機(jī)過程。,根據(jù)取樣定理，可以把這樣的隨機(jī)過程用一系列時間(或頻率)域上離散的取樣值來表示，而每個取樣值都是連續(xù)型隨機(jī)變量。,隨機(jī)過程轉(zhuǎn)換成時間(或頻率)上離散的隨機(jī)序列。在某種條件下可以轉(zhuǎn)換成隨機(jī)變量間統(tǒng)計(jì)獨(dú)立的隨機(jī)序列。,平穩(wěn)的隨機(jī)過程可轉(zhuǎn)換成平穩(wěn)的隨機(jī)序列。隨機(jī)波形信源轉(zhuǎn)換成連續(xù)平穩(wěn)信源。若對每個取樣值(連續(xù)型的)經(jīng)過分層(量化)，就可將連續(xù)的取值轉(zhuǎn)換成有限的或可數(shù)的離散值。連

19、續(xù)信源轉(zhuǎn)換成了離散信源。 ,波形信源（時間連續(xù)、取值連續(xù)） 連續(xù)信源（時間離散、取值連續(xù)） 離散信源（時間離散、取值離散）,采樣,量化,.,實(shí)際信源,實(shí)際信源在離散情況下是消息序列信源，在連續(xù)情況下是隨機(jī)過程信源，它們分別代表數(shù)字與模擬信源。,.,實(shí)際信源離散序列信源(1),其中，i=1,2,n為每個消息（符號）取值的種類數(shù) l=1,2,L為消息（符號）序列的長度 應(yīng)注意的是i和l是代表兩個不同范疇的變量，表示不同的概念，切勿混淆。 如：五碼英文報(bào)：i=26+1，l=5,i=1,2,n,l=1,2,L,.,實(shí)際信源離散序列信源(2),信源輸出是一組隨機(jī)序列（矢量）： 其樣值為： 對應(yīng)概率為：

20、由于每個隨機(jī)變量U=1,2,n有n種取值，則 有 種可能取值。 如：五碼英文報(bào)：i=26+1，l=5 ， 共有275種取值,.,實(shí)際信源離散序列信源(3),例36：最簡單L=3的三位PCM信源：這時L=3, n=2, 即i=0,1，則有：,實(shí)際信源連續(xù)波形信源（1）,在實(shí)際的連續(xù)波形信源中，可以采用兩種方法進(jìn)行分析 一類是將連續(xù)波形信源轉(zhuǎn)化為隨機(jī)序列信源 另一類是仍然采用隨機(jī)過程來分析,什么樣的信源可以進(jìn)行離散化處理？,實(shí)際上，只要滿足一個非常寬松的條件，即滿足限時(T)、限頻(F)的連續(xù)消息信源，即滿足物理可實(shí)現(xiàn)條件下，均可離散化為隨機(jī)序列。,.,實(shí)際信源連續(xù)波形信源（2）,圖像信源 圖像信

21、源一般可以引用一個四元的隨機(jī)場來表示： （簡化） 主要統(tǒng)計(jì)特性： 初步可以認(rèn)為是一個近似的平穩(wěn)遍歷過程,.,實(shí)際信源連續(xù)波形信源（3）,語音信源 語音信源可以近似用一個一維隨機(jī)過程U(, t)表示。嚴(yán)格的講，它是一個非平穩(wěn)過程，但是對于短時段(5-50ms)可認(rèn)為是平穩(wěn)的，且某些是隨機(jī)噪聲（清輔音），而某些時段則呈現(xiàn)周期性特征（濁音），還有一些短時段是二者的混合，但是對于短時段(5-50ms)可認(rèn)為是平穩(wěn)的。,.,信源輸出信號中攜帶信息如何度量？ （以離散信源為例）,問題三,.,信源輸出信號中攜帶信息的度量,單符號信源的熵 離散無記憶平穩(wěn)信源的熵 無記憶平穩(wěn)信源的N次擴(kuò)展信源的熵 有記憶平穩(wěn)信

22、源的熵率,離散無記憶平穩(wěn)信源的N次擴(kuò)展信源的熵,因?yàn)槭菬o記憶的/統(tǒng)計(jì)獨(dú)立 若ai =(xi1xi2xi3xiN) 則p(ai)=p(xi1)p(xi2) p(xiN) 其中i1,i2,iN1,2,n 根據(jù)信息熵的定義，N次擴(kuò)展信源的熵 可以證明：離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍，即 H(X)=H(XN)=NH(X),例37,有一離散無記憶信源 求這個離散無記憶信源的二次擴(kuò)展信源，擴(kuò)展信源的每個符號是信源X的輸出長度為2的符號序列。 因?yàn)樾旁碭共有3個不同符號，所以由信源X中每兩個符號組成的不同排列共有32=9種，得二次擴(kuò)展信源共有9個不同的符號。 因?yàn)樾旁碭是無記憶的

23、，則有,可以算得 H(X)=1.5 比特/符號（此處的符號是指X信源的輸出符號xi） H(X)=H(X2)=H(A)=3 比特/符號（此處的符號是指擴(kuò)展信源的輸出符號ai ，它是由二個xi符號組成） 所以 H(X)=2H(X) 對上述結(jié)論的解釋： 因?yàn)閿U(kuò)展信源XN的每一個輸出符號ai是由N個xi所組成的序列，并且序列中前后符號是統(tǒng)計(jì)獨(dú)立的。現(xiàn)已知每個信源符號xi含有的平均信息量為H(X)，那么，N個xi組成的無記憶序列平均含有的信息量就為NH(X)（根據(jù)熵的可加性）。因此信源XN每個輸出符號含有的平均信息量為NH(X)。,.,離散無記憶平穩(wěn)信源的熵,當(dāng)隨機(jī)變量X1和X2相互統(tǒng)計(jì)獨(dú)立時，則 因此

24、,.,結(jié)論： 隨機(jī)變量X1和X2統(tǒng)計(jì)獨(dú)立時，二維離散平穩(wěn)無記憶信源X =X1X2的熵H(X)等于X1的熵H(X1)和X2的熵H(X2)之和。當(dāng)X1和X2取值于同一集合時， H(X1)=H(X2)=H(X)， H(X)= H(X2)=2H(X)，與離散無記憶信源二次擴(kuò)展信源的情況相同。 可以把離散無記憶平穩(wěn)信源的二次擴(kuò)展信源看成是二維離散無記憶平穩(wěn)信源的特例；,.,離散平穩(wěn)有記憶信源的信源熵,N維離散平穩(wěn)有記憶信源的熵 H(X)= H(X1)+ H(X2/X1)+ H(X3/X1X2)+ H(XN/X1X2XN-1) 證明：（略） 結(jié)論：多符號離散平穩(wěn)有記憶信源X的熵H(X)是X中起始時刻隨機(jī)變

25、量X1的熵與各階條件熵之和。由于信源是平穩(wěn)的，這個和值與起始時刻無關(guān)。,離散平穩(wěn)有記憶信源的條件熵的非遞增性,條件熵H(XN /X1X2XN-1)隨N的增加是非遞增的，即 H(XN /X1X2XN-1) H(XN /X1X2XN-2) 證明 前面已證明： H(X2/X1) H(X2)， 同理可證： H(X3/X1X2) H(X3/X2)， 由于信源是平穩(wěn)的，所以 H(X3/X2)= H(X2/X1)， 故得 H(X3/X1X2) H(X2/X1) H(X1) 對于平穩(wěn)信源遞推 H(XN /X1X2XN-1) H(XN-1 /X1X2XN-2 ) H(XN-2 /X1X2XN-3 ) H(X3/

26、X1X2) H(X2/X1) H(X1),.,離散平穩(wěn)有記憶信源的平均符號熵,H(X)/矢量熵= H(X1X2XN-1XN)/聯(lián)合熵表示平均發(fā)一個消息（由N個符號組成）提供的信息量。 平均符號熵：信源平均每發(fā)一個符號提供的信息量為,離散平穩(wěn)有記憶信源的 熵率（極限熵）,對于離散平穩(wěn)信源，考察其輸出信息量 例38,P(ai,aj),P(ai/aj),當(dāng)信源符號間無依賴性時：,當(dāng)考慮信源符號間的一維依賴性時：,條件熵：,聯(lián)合熵：,可見：,且：,考察信源符號間有依賴性時聯(lián)合信源的平均符號熵：,可見：,比特/符號,比特/符號,比特/二個符號,比特/符號,分析：,結(jié)論：符號間的相關(guān)性使得信源的平均符號熵

27、減少，即 每個符號平均攜帶的信息量減少。,問題：H2(X)和H(X2|X1)哪一個值更能接近實(shí)際二維平穩(wěn) 信源的熵？即：用哪一個值來表示二維平穩(wěn)信源 每個符號平均攜帶的信息量比特/符號,考察：離散平穩(wěn)有記憶信源符號之間的依賴長度為N的信源,定義：N長的信源符號序列的平均符號熵即平均每個信源符號 所攜帶的信息量為,比特/符號,當(dāng) 時，存在以下性質(zhì)： 條件熵 隨N的增加是非遞增的 平均符號熵 隨N的增加是非遞增的 N給定時，平均符號熵=條件熵。即： 存在，且：,結(jié)論：對于有限記憶長度的平穩(wěn)信源可用有限記憶長度的條件熵來對平穩(wěn)信源進(jìn)行信息測度。,.,熵率,對于離散平穩(wěn)信源，考察其輸出信息量 假設(shè)字母

28、序列長度為N，則有限長度的序列的熵可看成隨機(jī)矢量（ ）的熵，可用聯(lián)合熵表示，平均每個字母的熵 可以表示為 當(dāng) 時，若 存在，則： 定義： 為該平穩(wěn)信源的熵率，又稱平穩(wěn)信源的極限熵或極限信息量 對于一般的平穩(wěn)信源，可以證明，極限 一定存在。,結(jié) 論,熵率的含義：代表了一般離散平穩(wěn)有記憶信源平均每發(fā)一個符號提供的信息量。 多符號離散平穩(wěn)信源實(shí)際上就是原始信源在不斷地發(fā)出符號，符號之間的統(tǒng)計(jì)關(guān)聯(lián)關(guān)系也并不僅限于長度N之內(nèi)，而是伸向無窮遠(yuǎn)。所以要研究實(shí)際信源，必須求出熵率H，才能確切地表達(dá)多符號離散平穩(wěn)有記憶信源平均每發(fā)一個符號提供的信息量。 熵率的計(jì)算：必須測定信源的無窮階聯(lián)合概率和條件概率分布，這

29、是相當(dāng)困難的。有時為了簡化分析，往往用條件熵或平均符號熵作為熵率的近似值。在有些情況下，即使N值并不大，這些熵值也很接近H，例如馬爾可夫信源。,.,問題四,信源輸出信號的信息攜帶效率如何表示？,.,信源輸出信號的信息攜帶效率的表示,冗余度與信源效率,它表征信源信息率的多余程度，是描述信源客觀統(tǒng)計(jì)特性的一個物理量。 由廣義Shannon不等式有：,冗余度1,可見對于有記憶信源，最小單個消息熵應(yīng)為 ，即從理論上看，對有記憶信源只需傳送 即可。,但是這必需要掌握信源全部概率統(tǒng)計(jì)特性。這顯然是不現(xiàn)實(shí)的。實(shí)際上，往往只能掌握有限的維，這時需傳送 ，那么與理論值 相比，就多傳送了 。,冗余度2,為了定量描

30、述信源有效性，可定義： 信源效率： 信源冗余度： （相對剩余） 或者定義： 冗余度： 信源效率： 相對冗余度：,.,冗余度3,正由于信源存在著冗余度，即存在著不必要傳送的信息，因此信源也就存在進(jìn)一步壓縮信息率的可能性。冗余度越大，壓縮潛力也就越大。可見它是信源編碼、數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。,冗余度4,例39：計(jì)算英文文字信源的冗余度） 首先給出英文字母（含空格）出現(xiàn)概率如下：,冗余度5,首先求得獨(dú)立等概率情況H0 ，即,其次，計(jì)算獨(dú)立不等概率情況H1 ，,再次，若僅考慮字母有一維相關(guān)性，求H2 ，,最后實(shí)際熵H，利用統(tǒng)計(jì)推斷方法求出。由于采用的逼近的方法和所取的樣本的不同，推算值也有不同，這里采用Shannon的推斷值。,.,冗余度6,這一結(jié)論說明，英文信源，從理論上看71是多余成分。 直觀地說100頁英文書，理論上看僅有29頁是有效的，其余71頁是多余的。正是由于這一多余量的存在，才有可能對英文信源進(jìn)行壓縮編碼。,冗余度7,對于其它文字，也有不少人作了大量的統(tǒng)計(jì)工作，簡述如下： 英文 法文 德文 西班牙文 中文 （按8千漢字計(jì)算）,.,問題五,如何有效表示信源輸出信號？,編碼1,編碼：,源字母序列,編