第三章：信源、熵率及冗余度

1、.,第三章：信源、熵率及冗余度,.,問題一,信息論對(duì)信源的研究?jī)?nèi)容包括哪幾個(gè)方面？,.,信息論對(duì)信源研究的內(nèi)容,信源的建模：用恰當(dāng)?shù)碾S機(jī)過程來描述信號(hào) 關(guān)心角度：信號(hào)中攜帶的信息 信源輸出信號(hào)中攜帶信息的效率的計(jì)算 熵率、冗余度 信源輸出信息的有效表示 信源編碼,.,問題二,從信息論的角度如何為信源建模？ 信源的統(tǒng)計(jì)特性如何？ 如何對(duì)信源分類？ 各類信源如何建模？,.,信源特性,信源的統(tǒng)計(jì)特性 1）什么是信源？ 信源是信息的來源，實(shí)際通信中常見的信源有：語音、文字、圖像、數(shù)據(jù)。在信息論中，信源是產(chǎn)生消息（符號(hào)）、消息（符號(hào)）序列以及連續(xù)消息的來源，數(shù)學(xué)上，信源是產(chǎn)生隨機(jī)變量X，隨機(jī)序列 和隨機(jī)

2、過程X(t,)的源。 2）信源的主要特性 信源的最基本的特性是具有統(tǒng)計(jì)不確定性，它可用概率統(tǒng)計(jì)特性來描述。,.,信源的分類,離散信源與連續(xù)信源 離散信源 單符號(hào)信源 序列信源 平穩(wěn)&非平穩(wěn) 有記憶&無記憶 連續(xù)信源 連續(xù)信源 波形信源,.,離散信源單符號(hào)離散信源（1）,它是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。 這類信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個(gè)消息。因此，可以用一個(gè)離散型隨機(jī)變量X來描述這個(gè)信源輸出的消息。這個(gè)隨機(jī)變量X的樣本空間就是符號(hào)集A；而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率，信源的概率空間必定是一個(gè)完備集。,.,離散信源單符號(hào)離散信源（2）,

3、當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征離散信源的統(tǒng)計(jì)特性，因此有時(shí)也把這個(gè)概率空間稱為信源空間。 在實(shí)際情況中，存在著很多這樣的信源。例如投硬幣、書信文字、計(jì)算機(jī)的代碼、電報(bào)符號(hào)、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個(gè)符號(hào)(或代碼)的消息，它們符號(hào)集的取值是有限的或可數(shù)的。我們可用一維離散型隨機(jī)變量X來描述這些信源的輸出。它的數(shù)學(xué)模型就是離散型的概率空間：,.,離散信源單符號(hào)離散信源的數(shù)學(xué)描述,對(duì)單符號(hào)離散信源U 有： 例31：對(duì)于二進(jìn)制數(shù)字信源：U=0,1，則有,.,離散信源離散多符號(hào)信源,實(shí)際的信源輸出的消息是時(shí)間或空

4、間上離散的一系列隨機(jī)變量。這類信源每次輸出的不是一個(gè)單個(gè)的符號(hào)，而是一個(gè)符號(hào)序列。在信源輸出的序列中，每一位出現(xiàn)哪個(gè)符號(hào)都是隨機(jī)的，而且一般前后符號(hào)的出現(xiàn)是有統(tǒng)計(jì)依賴關(guān)系的。這種信源稱為多符號(hào)離散信源。 例32： THEY ARE MY FRIENDS.,.,離散信源多符號(hào)離散信源的數(shù)學(xué)描述,多符號(hào)離散信源可用隨機(jī)矢量/隨機(jī)變量序列描述，即 X=X1X2X3 信源在不同時(shí)刻的隨機(jī)變量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般來說是不相同的，即隨機(jī)變量的統(tǒng)計(jì)特性隨著時(shí)間的推移而有所變化。,.,離散信源離散平穩(wěn)信源,若信源輸出的隨機(jī)序列X=(，)中，每個(gè)隨機(jī)變量 Xi (i=1,2,，

5、N)都是取值離散的離散型隨機(jī)變量，即每個(gè)隨機(jī)變量Xi的可能取值是有限的或可數(shù)的。而且隨機(jī)矢量X的各維概率分布都與時(shí)間起點(diǎn)無關(guān)，也就是在任意兩個(gè)不同時(shí)刻隨機(jī)矢量X的各維概率分布都相同。這樣的信源稱為離散平穩(wěn)信源。如中文自然語言文字，離散化平面灰度圖像都是這種離散型平穩(wěn)信源。 一般來說，信源輸出的隨機(jī)序列的統(tǒng)計(jì)特性比較復(fù)雜，分析起來也比較困難。為了便于分析，我們假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列，也就是序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無關(guān)。很多實(shí)際信源也滿足這個(gè)假設(shè)。,.,離散信源平穩(wěn)信源的數(shù)學(xué)模型（二維）,最簡(jiǎn)單的離散平穩(wěn)信源：二維平穩(wěn)信源 X=X1X2 每?jī)蓚€(gè)符號(hào)看做一組，每組代表信源X=X1X2的一個(gè)

6、消息； 每組中的后一個(gè)符號(hào)和前一個(gè)符號(hào)有統(tǒng)計(jì)關(guān)聯(lián)，這種概率性的關(guān)系與時(shí)間起點(diǎn)無關(guān)； 假定符號(hào)序列的組與組之間是統(tǒng)計(jì)獨(dú)立的。,設(shè)X1,X2 x1,x2,xn,矢量Xx1x1, x1xn,x2x1, ,x2xn, xnx1, ,xnxn 令,.,X的數(shù)學(xué)模型,.,離散信源離散平穩(wěn)無記憶信源,在某些簡(jiǎn)單的離散平穩(wěn)信源情況下，信源先后發(fā)出的一個(gè)個(gè)符號(hào)彼此是統(tǒng)計(jì)獨(dú)立的。也就是說信源輸出的隨機(jī)矢量X=(XXX）中，各隨機(jī)變量Xi (i=1,2,N)之間是無依賴的、統(tǒng)計(jì)獨(dú)立的，則N維隨機(jī)矢量的聯(lián)合概率分布滿足P(X)=P（）P（）P（） 我們稱由信源空間X，P(x)描述的信源X為離散無記憶信源。這信源在不同

7、時(shí)刻發(fā)出的符號(hào)之間是無依賴的，彼此統(tǒng)計(jì)獨(dú)立的。,.,離散信源離散無記憶信源的N次擴(kuò)展信源,離散無記憶信源X= x1,x2,xn，對(duì)它的輸出消息序列，可以用一組組長(zhǎng)度為N的序列來表示它。這時(shí)它就等效成了一個(gè)新信源； 新信源輸出的符號(hào)是N長(zhǎng)的消息序列，用N維離散隨機(jī)矢量來描述。ai=(xi1xi2xiN) i=1,2, ,n 每個(gè)分量xik (k=1,2,N)都是隨機(jī)變量，都取值于同一信源X，并且分量之間統(tǒng)計(jì)獨(dú)立。 由隨機(jī)矢量X組成的新信源稱為離散無記憶信源X的N次擴(kuò)展信源。 離散無記憶信源的N次擴(kuò)展信源的數(shù)學(xué)模型是X信源空間的N重空間。,A B D A C B B A C C D X1 0 0

8、0 0 0 0 0 0 0 0 0 X2 1 1 1 1 1 1 1 1 1 1 1 X3 0 0 0 0 0 0 0 0 0 0 0 X4 0 0 0 0 0 0 0 0 0 0 0 X5 0 0 0 0 0 0 0 0 0 0 0 X6 0 0 1 0 0 0 0 0 0 0 1 X7 0 1 0 0 1 1 1 0 1 1 0 X8 1 0 0 1 1 0 0 1 1 1 0 X 1 、X 2、X8 ,均為單符號(hào)隨機(jī)變量信源X=0,1， P( X 1 X 2X8 ) 與時(shí)間起點(diǎn)無關(guān)平穩(wěn) P( X 1 X 2X8 ) P(X 1)P(X 2)P(X8 )無記憶信源,例33：,電文： 女 孩

9、 兒 在 哭 X CHUYJ KOIUY HSFRT NHYTF SGTRW X1 C K H N S X2 H 0 S H G X3 U I F Y T X4 Y U R T R X5 J Y T F W X1,X2,X3,X4,X5均為單符號(hào)隨機(jī)變量XA、B、CZ P(X1X2X3X4X5)=P (X1)P(X2)P(X3)P(X4)P(X5) 且與時(shí)間起點(diǎn)無關(guān)， X為一無記憶平穩(wěn)信源,例34：,.,離散信源二進(jìn)制無記憶信源的N次擴(kuò)展信源,把信源輸出的序列看成是一組一組發(fā)出的。 電報(bào)系統(tǒng)中，可以認(rèn)為每二個(gè)二進(jìn)制數(shù)字組成一組。這樣信源輸出的是由二個(gè)二進(jìn)制數(shù)字組成的一組組符號(hào)。這時(shí)可以將它們等

10、效看成一個(gè)新的信源，它由四個(gè)符號(hào)00，01，10，11組成，把該信源稱為二進(jìn)制無記憶信源的二次擴(kuò)展。 如果把每三個(gè)二進(jìn)制數(shù)字組成一組，這樣長(zhǎng)度為3的二進(jìn)制序列就有8種不同的序列，可等效成一個(gè)具有8個(gè)符號(hào)的信源，把它稱為二進(jìn)制無記憶信源的三次擴(kuò)展信源。 二進(jìn)制無記憶信源的N次擴(kuò)展：把每N個(gè)二進(jìn)制數(shù)字組成一組，則信源等效成一個(gè)具有2N個(gè)符號(hào)的新信源，把它稱為二進(jìn)制無記憶信源的N次擴(kuò)展信源。,.,離散信源離散平穩(wěn)有記憶信源,一般情況下，信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的。也就是信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xi之間是有依賴的。 例如，在漢字組成的中文序列中，只有根據(jù)中文的語法、習(xí)慣用語

11、、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。其他如英文，德文等自然語言都是如此。這種信源稱為有記憶信源。 我們需在N維隨機(jī)矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。,女孩兒在哭 X THIS GIRL IS CRYING X1 T G I C X2 H I S R X3 I R Y X4 S L I X5 N X6 G X1,X2,X3,X4,X5均為單符號(hào)隨機(jī)變量XA、B、CZ P(X1X2X3X4X5)P (X1)P(X2)P(X3)P(X4)P(X5) 與時(shí)間起點(diǎn)無關(guān)， X

12、是一有記憶平穩(wěn)信源,例35：,.,離散信源馬爾可夫信源,表述有記憶信源要比表述無記憶信源困難得多。實(shí)際上信源發(fā)出的符號(hào)往往只與前若干個(gè)符號(hào)的依賴關(guān)系強(qiáng)，而與更前面的符號(hào)依賴關(guān)系弱。為此，可以限制隨機(jī)序列的記憶長(zhǎng)度。 當(dāng)記憶長(zhǎng)度為m+1時(shí)，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號(hào)只與前m個(gè)符號(hào)有關(guān)，與更前面的符號(hào)無關(guān)。,.,離散信源時(shí)齊馬爾可夫信源,設(shè)馬爾可夫信源各時(shí)刻隨機(jī)變量的取值為xk，xkXk，k=1,2,，i-1,i,i+1,N，則描述隨機(jī)序列中各隨機(jī)變量之間依賴關(guān)系的條件概率為 P(xi|xi+2xi+1xi-1xi-2xi-3xi-mx1） =（xi|xi-1xi

13、-2x-3xi-m） （i=1,2,N） 如果上述條件概率與時(shí)間起點(diǎn)i無關(guān)，即信源輸出的符號(hào)序列可看成為時(shí)齊馬爾可夫鏈，則此信源稱為時(shí)齊馬爾可信源。,.,1. 各字母等概、字母間不相關(guān)（字符獨(dú)立） XFOML RXKHRJFFJUJ LPWCFWKCYFFJEYVKC QSGHYDQPAAMKBZAACIBZLHJQD. 2. 字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間不相關(guān)（字符獨(dú)立） OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVANAH 3. 字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間存在二維相關(guān)性（兩兩相鄰字母相關(guān) ）

14、 ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVETUCOOWEAT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.,信源建模,信源建模,4.字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間存在三維相關(guān)性 IN NO IST LAT WHEY CRATICT FROUREBIRSGROCIDPONDENOME OF DEMONSTURESOF THE REPTAGIN IS REGOACTIONA OF CRE. 5.字母出現(xiàn)概率按照英文文本統(tǒng)計(jì)，字母間存在N維相關(guān)性 REPRESENT

15、ING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TOOF TO EXPERT GRAY COME TO FURNISHESTHE LINE MESSAGE HAD BE THESE. 6.單詞間存在相關(guān)性（依據(jù)語法）. THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTER

16、S THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED.,模型復(fù)雜度越高，越逼近實(shí)際。,一個(gè)足夠復(fù)雜的隨機(jī)序列模型能夠滿意地表示自然語言的信源。,.,離散序列信源總結(jié),.,模擬信源,模擬信源又可根據(jù)時(shí)間是否離散分為連續(xù)信源和波形信源。連續(xù)信源是時(shí)間離散而取值連續(xù)的一類信源，波形信源是指取值連續(xù)時(shí)間也連續(xù)的一類信源。 由于模擬信源的情況比較復(fù)雜，限于學(xué)時(shí)，我們只對(duì)單變量連續(xù)信源的信息測(cè)度進(jìn)行討論。,.,連續(xù)信源單變量連續(xù)信源（1）,有的信源雖輸出是單個(gè)符號(hào)(代碼)的消息，但其可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，即輸出消息的符號(hào)集

17、A的取值是連續(xù)的，或取值是實(shí)數(shù)集(-，)。例如，遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測(cè)得的連續(xù)數(shù)據(jù)。這些數(shù)據(jù)取值是連續(xù)的，但又是隨機(jī)的。我們可用一維的連續(xù)型隨機(jī)變量X來描述這些消息。這種信源稱為連續(xù)信源，其數(shù)學(xué)模型是連續(xù)型的概率空間。,.,連續(xù)信源單變量連續(xù)信源的描述,單變量連續(xù)信源的輸出是取值連續(xù)的隨機(jī)變量?？捎米兞康母怕拭芏取⒆兞块g的條件概率密度和聯(lián)合概率密度描述。 一維概率密度函數(shù) 條件概率密度和聯(lián)合概率密度函數(shù),其中：,波形信源,更一般地說，實(shí)際信源輸出的消息常常是時(shí)間和取值都是連續(xù)的。 例如，語音信號(hào)X(t)、熱噪聲信號(hào)n(t)、場(chǎng)景圖像信號(hào)X(x0,y0,t)等時(shí)間連續(xù)函數(shù)。 在某一固

18、定時(shí)間t，它們的可能取值又是連續(xù)的和隨機(jī)的。 對(duì)于這種信源輸出的消息，可用隨機(jī)過程來描述。稱這類信源為隨機(jī)波形信源。,.,波形信源,分析一般隨機(jī)波形信源比較復(fù)雜和困難。常見的隨機(jī)波形信源輸出的消息是時(shí)間、頻帶受限的隨機(jī)過程。,根據(jù)取樣定理，可以把這樣的隨機(jī)過程用一系列時(shí)間(或頻率)域上離散的取樣值來表示，而每個(gè)取樣值都是連續(xù)型隨機(jī)變量。,隨機(jī)過程轉(zhuǎn)換成時(shí)間(或頻率)上離散的隨機(jī)序列。在某種條件下可以轉(zhuǎn)換成隨機(jī)變量間統(tǒng)計(jì)獨(dú)立的隨機(jī)序列。,平穩(wěn)的隨機(jī)過程可轉(zhuǎn)換成平穩(wěn)的隨機(jī)序列。隨機(jī)波形信源轉(zhuǎn)換成連續(xù)平穩(wěn)信源。若對(duì)每個(gè)取樣值(連續(xù)型的)經(jīng)過分層(量化)，就可將連續(xù)的取值轉(zhuǎn)換成有限的或可數(shù)的離散值。連

19、續(xù)信源轉(zhuǎn)換成了離散信源。 ,波形信源（時(shí)間連續(xù)、取值連續(xù)） 連續(xù)信源（時(shí)間離散、取值連續(xù)） 離散信源（時(shí)間離散、取值離散）,采樣,量化,.,實(shí)際信源,實(shí)際信源在離散情況下是消息序列信源，在連續(xù)情況下是隨機(jī)過程信源，它們分別代表數(shù)字與模擬信源。,.,實(shí)際信源離散序列信源(1),其中，i=1,2,n為每個(gè)消息（符號(hào)）取值的種類數(shù) l=1,2,L為消息（符號(hào)）序列的長(zhǎng)度 應(yīng)注意的是i和l是代表兩個(gè)不同范疇的變量，表示不同的概念，切勿混淆。 如：五碼英文報(bào)：i=26+1，l=5,i=1,2,n,l=1,2,L,.,實(shí)際信源離散序列信源(2),信源輸出是一組隨機(jī)序列（矢量）： 其樣值為： 對(duì)應(yīng)概率為：

20、由于每個(gè)隨機(jī)變量U=1,2,n有n種取值，則 有 種可能取值。 如：五碼英文報(bào)：i=26+1，l=5 ， 共有275種取值,.,實(shí)際信源離散序列信源(3),例36：最簡(jiǎn)單L=3的三位PCM信源：這時(shí)L=3, n=2, 即i=0,1，則有：,實(shí)際信源連續(xù)波形信源（1）,在實(shí)際的連續(xù)波形信源中，可以采用兩種方法進(jìn)行分析 一類是將連續(xù)波形信源轉(zhuǎn)化為隨機(jī)序列信源 另一類是仍然采用隨機(jī)過程來分析,什么樣的信源可以進(jìn)行離散化處理？,實(shí)際上，只要滿足一個(gè)非常寬松的條件，即滿足限時(shí)(T)、限頻(F)的連續(xù)消息信源，即滿足物理可實(shí)現(xiàn)條件下，均可離散化為隨機(jī)序列。,.,實(shí)際信源連續(xù)波形信源（2）,圖像信源 圖像信

21、源一般可以引用一個(gè)四元的隨機(jī)場(chǎng)來表示： （簡(jiǎn)化） 主要統(tǒng)計(jì)特性： 初步可以認(rèn)為是一個(gè)近似的平穩(wěn)遍歷過程,.,實(shí)際信源連續(xù)波形信源（3）,語音信源 語音信源可以近似用一個(gè)一維隨機(jī)過程U(, t)表示。嚴(yán)格的講，它是一個(gè)非平穩(wěn)過程，但是對(duì)于短時(shí)段(5-50ms)可認(rèn)為是平穩(wěn)的，且某些是隨機(jī)噪聲（清輔音），而某些時(shí)段則呈現(xiàn)周期性特征（濁音），還有一些短時(shí)段是二者的混合，但是對(duì)于短時(shí)段(5-50ms)可認(rèn)為是平穩(wěn)的。,.,信源輸出信號(hào)中攜帶信息如何度量？ （以離散信源為例）,問題三,.,信源輸出信號(hào)中攜帶信息的度量,單符號(hào)信源的熵 離散無記憶平穩(wěn)信源的熵 無記憶平穩(wěn)信源的N次擴(kuò)展信源的熵 有記憶平穩(wěn)信

22、源的熵率,離散無記憶平穩(wěn)信源的N次擴(kuò)展信源的熵,因?yàn)槭菬o記憶的/統(tǒng)計(jì)獨(dú)立 若ai =(xi1xi2xi3xiN) 則p(ai)=p(xi1)p(xi2) p(xiN) 其中i1,i2,iN1,2,n 根據(jù)信息熵的定義，N次擴(kuò)展信源的熵 可以證明：離散無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍，即 H(X)=H(XN)=NH(X),例37,有一離散無記憶信源 求這個(gè)離散無記憶信源的二次擴(kuò)展信源，擴(kuò)展信源的每個(gè)符號(hào)是信源X的輸出長(zhǎng)度為2的符號(hào)序列。 因?yàn)樾旁碭共有3個(gè)不同符號(hào)，所以由信源X中每?jī)蓚€(gè)符號(hào)組成的不同排列共有32=9種，得二次擴(kuò)展信源共有9個(gè)不同的符號(hào)。 因?yàn)樾旁碭是無記憶的

23、，則有,可以算得 H(X)=1.5 比特/符號(hào)（此處的符號(hào)是指X信源的輸出符號(hào)xi） H(X)=H(X2)=H(A)=3 比特/符號(hào)（此處的符號(hào)是指擴(kuò)展信源的輸出符號(hào)ai ，它是由二個(gè)xi符號(hào)組成） 所以 H(X)=2H(X) 對(duì)上述結(jié)論的解釋： 因?yàn)閿U(kuò)展信源XN的每一個(gè)輸出符號(hào)ai是由N個(gè)xi所組成的序列，并且序列中前后符號(hào)是統(tǒng)計(jì)獨(dú)立的?，F(xiàn)已知每個(gè)信源符號(hào)xi含有的平均信息量為H(X)，那么，N個(gè)xi組成的無記憶序列平均含有的信息量就為NH(X)（根據(jù)熵的可加性）。因此信源XN每個(gè)輸出符號(hào)含有的平均信息量為NH(X)。,.,離散無記憶平穩(wěn)信源的熵,當(dāng)隨機(jī)變量X1和X2相互統(tǒng)計(jì)獨(dú)立時(shí)，則 因此

24、,.,結(jié)論： 隨機(jī)變量X1和X2統(tǒng)計(jì)獨(dú)立時(shí)，二維離散平穩(wěn)無記憶信源X =X1X2的熵H(X)等于X1的熵H(X1)和X2的熵H(X2)之和。當(dāng)X1和X2取值于同一集合時(shí)， H(X1)=H(X2)=H(X)， H(X)= H(X2)=2H(X)，與離散無記憶信源二次擴(kuò)展信源的情況相同。 可以把離散無記憶平穩(wěn)信源的二次擴(kuò)展信源看成是二維離散無記憶平穩(wěn)信源的特例；,.,離散平穩(wěn)有記憶信源的信源熵,N維離散平穩(wěn)有記憶信源的熵 H(X)= H(X1)+ H(X2/X1)+ H(X3/X1X2)+ H(XN/X1X2XN-1) 證明：（略） 結(jié)論：多符號(hào)離散平穩(wěn)有記憶信源X的熵H(X)是X中起始時(shí)刻隨機(jī)變

25、量X1的熵與各階條件熵之和。由于信源是平穩(wěn)的，這個(gè)和值與起始時(shí)刻無關(guān)。,離散平穩(wěn)有記憶信源的條件熵的非遞增性,條件熵H(XN /X1X2XN-1)隨N的增加是非遞增的，即 H(XN /X1X2XN-1) H(XN /X1X2XN-2) 證明 前面已證明： H(X2/X1) H(X2)， 同理可證： H(X3/X1X2) H(X3/X2)， 由于信源是平穩(wěn)的，所以 H(X3/X2)= H(X2/X1)， 故得 H(X3/X1X2) H(X2/X1) H(X1) 對(duì)于平穩(wěn)信源遞推 H(XN /X1X2XN-1) H(XN-1 /X1X2XN-2 ) H(XN-2 /X1X2XN-3 ) H(X3/

26、X1X2) H(X2/X1) H(X1),.,離散平穩(wěn)有記憶信源的平均符號(hào)熵,H(X)/矢量熵= H(X1X2XN-1XN)/聯(lián)合熵表示平均發(fā)一個(gè)消息（由N個(gè)符號(hào)組成）提供的信息量。 平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為,離散平穩(wěn)有記憶信源的 熵率（極限熵）,對(duì)于離散平穩(wěn)信源，考察其輸出信息量 例38,P(ai,aj),P(ai/aj),當(dāng)信源符號(hào)間無依賴性時(shí)：,當(dāng)考慮信源符號(hào)間的一維依賴性時(shí)：,條件熵：,聯(lián)合熵：,可見：,且：,考察信源符號(hào)間有依賴性時(shí)聯(lián)合信源的平均符號(hào)熵：,可見：,比特/符號(hào),比特/符號(hào),比特/二個(gè)符號(hào),比特/符號(hào),分析：,結(jié)論：符號(hào)間的相關(guān)性使得信源的平均符號(hào)熵

27、減少，即 每個(gè)符號(hào)平均攜帶的信息量減少。,問題：H2(X)和H(X2|X1)哪一個(gè)值更能接近實(shí)際二維平穩(wěn) 信源的熵？即：用哪一個(gè)值來表示二維平穩(wěn)信源 每個(gè)符號(hào)平均攜帶的信息量比特/符號(hào),考察：離散平穩(wěn)有記憶信源符號(hào)之間的依賴長(zhǎng)度為N的信源,定義：N長(zhǎng)的信源符號(hào)序列的平均符號(hào)熵即平均每個(gè)信源符號(hào) 所攜帶的信息量為,比特/符號(hào),當(dāng) 時(shí)，存在以下性質(zhì)： 條件熵 隨N的增加是非遞增的 平均符號(hào)熵 隨N的增加是非遞增的 N給定時(shí)，平均符號(hào)熵=條件熵。即： 存在，且：,結(jié)論：對(duì)于有限記憶長(zhǎng)度的平穩(wěn)信源可用有限記憶長(zhǎng)度的條件熵來對(duì)平穩(wěn)信源進(jìn)行信息測(cè)度。,.,熵率,對(duì)于離散平穩(wěn)信源，考察其輸出信息量 假設(shè)字母

28、序列長(zhǎng)度為N，則有限長(zhǎng)度的序列的熵可看成隨機(jī)矢量（ ）的熵，可用聯(lián)合熵表示，平均每個(gè)字母的熵 可以表示為 當(dāng) 時(shí)，若 存在，則： 定義： 為該平穩(wěn)信源的熵率，又稱平穩(wěn)信源的極限熵或極限信息量 對(duì)于一般的平穩(wěn)信源，可以證明，極限 一定存在。,結(jié) 論,熵率的含義：代表了一般離散平穩(wěn)有記憶信源平均每發(fā)一個(gè)符號(hào)提供的信息量。 多符號(hào)離散平穩(wěn)信源實(shí)際上就是原始信源在不斷地發(fā)出符號(hào)，符號(hào)之間的統(tǒng)計(jì)關(guān)聯(lián)關(guān)系也并不僅限于長(zhǎng)度N之內(nèi)，而是伸向無窮遠(yuǎn)。所以要研究實(shí)際信源，必須求出熵率H，才能確切地表達(dá)多符號(hào)離散平穩(wěn)有記憶信源平均每發(fā)一個(gè)符號(hào)提供的信息量。 熵率的計(jì)算：必須測(cè)定信源的無窮階聯(lián)合概率和條件概率分布，這

29、是相當(dāng)困難的。有時(shí)為了簡(jiǎn)化分析，往往用條件熵或平均符號(hào)熵作為熵率的近似值。在有些情況下，即使N值并不大，這些熵值也很接近H，例如馬爾可夫信源。,.,問題四,信源輸出信號(hào)的信息攜帶效率如何表示？,.,信源輸出信號(hào)的信息攜帶效率的表示,冗余度與信源效率,它表征信源信息率的多余程度，是描述信源客觀統(tǒng)計(jì)特性的一個(gè)物理量。 由廣義Shannon不等式有：,冗余度1,可見對(duì)于有記憶信源，最小單個(gè)消息熵應(yīng)為 ，即從理論上看，對(duì)有記憶信源只需傳送 即可。,但是這必需要掌握信源全部概率統(tǒng)計(jì)特性。這顯然是不現(xiàn)實(shí)的。實(shí)際上，往往只能掌握有限的維，這時(shí)需傳送 ，那么與理論值 相比，就多傳送了 。,冗余度2,為了定量描

30、述信源有效性，可定義： 信源效率： 信源冗余度： （相對(duì)剩余） 或者定義： 冗余度： 信源效率： 相對(duì)冗余度：,.,冗余度3,正由于信源存在著冗余度，即存在著不必要傳送的信息，因此信源也就存在進(jìn)一步壓縮信息率的可能性。冗余度越大，壓縮潛力也就越大?？梢娝切旁淳幋a、數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。,冗余度4,例39：計(jì)算英文文字信源的冗余度） 首先給出英文字母（含空格）出現(xiàn)概率如下：,冗余度5,首先求得獨(dú)立等概率情況H0 ，即,其次，計(jì)算獨(dú)立不等概率情況H1 ，,再次，若僅考慮字母有一維相關(guān)性，求H2 ，,最后實(shí)際熵H，利用統(tǒng)計(jì)推斷方法求出。由于采用的逼近的方法和所取的樣本的不同，推算值也有不同，這里采用Shannon的推斷值。,.,冗余度6,這一結(jié)論說明，英文信源，從理論上看71是多余成分。 直觀地說100頁英文書，理論上看僅有29頁是有效的，其余71頁是多余的。正是由于這一多余量的存在，才有可能對(duì)英文信源進(jìn)行壓縮編碼。,冗余度7,對(duì)于其它文字，也有不少人作了大量的統(tǒng)計(jì)工作，簡(jiǎn)述如下： 英文 法文 德文 西班牙文 中文 （按8千漢字計(jì)算）,.,問題五,如何有效表示信源輸出信號(hào)？,編碼1,編碼：,源字母序列,編