信源及信源熵

信源及信源熵第一頁(yè)，共四十七頁(yè)，編輯于2023年，星期五2.1信源的描述和分類2.2離散信源熵和互信息2.3連續(xù)信源的嫡和互信息2.4離散序列信源的熵2.5冗余度重點(diǎn)：信源熵和互信息難點(diǎn)：離散序列信源的熵第二頁(yè)，共四十七頁(yè)，編輯于2023年，星期五2.1信源的描述和分類

信源是信息的來(lái)源。信源的產(chǎn)生消息、消息序列以及連續(xù)消息的來(lái)源。信源具有不確定性，可用概率統(tǒng)計(jì)特性來(lái)描述。一、信源的分類1、按照信源每次輸出符號(hào)的個(gè)數(shù)可分為單符號(hào)信源和多符號(hào)信源。單符號(hào)信源：是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。信源每次輸出一個(gè)符號(hào)，通常用離散隨機(jī)變量和其概率分布來(lái)表示。第三頁(yè)，共四十七頁(yè)，編輯于2023年，星期五多符號(hào)信源：信源每次發(fā)出一個(gè)符號(hào)序列，用隨機(jī)矢量來(lái)表示。

其中，為輸出序列，共有q=中可能取值。2、按照時(shí)間和取值上的離散和連續(xù)性分類。

第四頁(yè)，共四十七頁(yè)，編輯于2023年，星期五離散信源是時(shí)間上和幅度上都是離散分布的信源，根據(jù)信源發(fā)出符號(hào)之間的依賴關(guān)系可分為無(wú)記憶信源、有限記憶信源和無(wú)限記憶信源。

離散無(wú)記憶信源：發(fā)出單個(gè)符號(hào)的無(wú)記憶信源；發(fā)出符號(hào)序列的無(wú)記憶信源；離散有記憶信源：發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源第五頁(yè)，共四十七頁(yè)，編輯于2023年，星期五二、離散平穩(wěn)無(wú)記憶信源平穩(wěn)信源：若當(dāng)t=i,t=j,有,則稱信源是一維平穩(wěn)的，即任意兩個(gè)不同時(shí)刻信源發(fā)出的符號(hào)的概率分布完全相同。若一維平穩(wěn)信源還滿足，則稱信源是二維平穩(wěn)的，即任意時(shí)刻信源連續(xù)發(fā)出兩個(gè)符號(hào)的聯(lián)合概率分布也完全相同。如果各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)，則稱信源的完全平穩(wěn)的，簡(jiǎn)稱離散平穩(wěn)信源。無(wú)記憶信源：信源發(fā)出符號(hào)出現(xiàn)的概率與前面符號(hào)無(wú)關(guān)。常見(jiàn)的無(wú)記憶信源有投硬幣、擲骰子等等。無(wú)記憶信源各變量組成的隨機(jī)序列的概率是各變量概率的乘積，即p(x)

=p(x1x2…xL)=p(x1)p(x2)…p(xL)=

第六頁(yè)，共四十七頁(yè)，編輯于2023年，星期五無(wú)記憶信源包括單個(gè)符號(hào)的無(wú)記憶信源和符號(hào)序列的無(wú)記憶信源，常見(jiàn)的單個(gè)符號(hào)的無(wú)記憶信源有書(shū)信文字、計(jì)算機(jī)的代碼、電報(bào)符號(hào)、阿拉伯?dāng)?shù)字碼等等。這些信源輸出的都是單個(gè)符號(hào)（或代碼）的消息，它們符號(hào)集的取值是有限的或可數(shù)的。單符號(hào)無(wú)記憶信源可以用一維的隨機(jī)變量及其概率分布來(lái)表示。

例如扔骰子，每次試驗(yàn)結(jié)果必然是1～6點(diǎn)中的某一個(gè)面朝上?？梢杂靡粋€(gè)離散型隨機(jī)變量X來(lái)描述這個(gè)信源輸出的消息。并滿足第七頁(yè)，共四十七頁(yè)，編輯于2023年，星期五符號(hào)序列的無(wú)記憶信源可以用概率矢量來(lái)表示。將一維的單符號(hào)無(wú)記憶信源進(jìn)行N維擴(kuò)展可得到符號(hào)序列的無(wú)記憶信源。例如投三次硬幣，“1”代表正面朝上，“0”代表反面朝上。第八頁(yè)，共四十七頁(yè)，編輯于2023年，星期五三、馬爾科夫信源若信源在某一時(shí)刻發(fā)出的符號(hào)概率除與該符號(hào)有關(guān)外，還與此前的符號(hào)有關(guān)，則此類信源為有記憶信源。如果與前面無(wú)限個(gè)符號(hào)有關(guān)，為無(wú)限記憶信源；如果僅與前面有限個(gè)符號(hào)有關(guān)，為有限記憶信源。有記憶信源序列的聯(lián)合概率與條件概率有關(guān)將這有限個(gè)符號(hào)記為一個(gè)狀態(tài)，在信源發(fā)出的符號(hào)概率除與次符號(hào)有關(guān)外，只與該時(shí)刻所處的狀態(tài)有關(guān)，信源將來(lái)的狀態(tài)及其發(fā)出的符號(hào)只與信源當(dāng)前的狀態(tài)有關(guān)，而與信源過(guò)去的狀態(tài)無(wú)關(guān)。這種信源的一般數(shù)學(xué)模型就是馬爾可夫過(guò)程，所以稱這種信源為馬爾可夫信源。第九頁(yè)，共四十七頁(yè)，編輯于2023年，星期五馬氏鏈的基本概念m階馬爾可夫信源：信源輸出某一符號(hào)的概率僅與以前的m個(gè)符號(hào)有關(guān)，而與更前面的符號(hào)無(wú)關(guān)。p(xt|xt-1,xt-2,xt-3,…xt-m,…x1)=p(xt|xt-1,xt-2,xt-3,…xt-m)令si=(xi1xi2…xim)i1,i2…im∈(1,2,…q)m個(gè)字母組成的各種可能的序列就對(duì)應(yīng)于信源全部可能的狀態(tài)S.狀態(tài)集S={s1,s2,…,sQ}Q=qm信源輸出的隨機(jī)符號(hào)序列為：x1,x2,…xi-1,xi…信源所處的隨機(jī)狀態(tài)序列為：s1,s2,…si-1,si,…第十頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：二元序列為…01011100…考慮m=2，Q=qm=22=4s1=00s2=01s3=10s4=11變換成對(duì)應(yīng)的狀態(tài)序列為…s2s3s2s4s4s3s1…第十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期五設(shè)信源在時(shí)刻m處于si狀態(tài)，它在下一時(shí)刻(m+1)狀態(tài)轉(zhuǎn)移到sj的轉(zhuǎn)移概率為：pij(m)=p{Sm+1=sj|Sm=si}={sj|si}pij(m)：基本轉(zhuǎn)移概率（一步轉(zhuǎn)移概率）、若pij(m)與m的取值無(wú)關(guān)，則稱為齊次(時(shí)齊)馬爾可夫鏈。pij=p{Sm+1=sj|Sm=si}=p{S2=sj|S1=si}pij具有下列性質(zhì)：pij≥0類似地，定義k步轉(zhuǎn)移概率為pij（k）=p{Sm+k=sj|Sm=si}由于系統(tǒng)在任一時(shí)刻可處于狀態(tài)空間S={s1,s2,…,sQ}中的任意一個(gè)狀態(tài)，因此狀態(tài)轉(zhuǎn)移時(shí)，轉(zhuǎn)移概率是一個(gè)矩陣

第十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期五也可將符號(hào)條件概率寫(xiě)成矩陣：上兩個(gè)矩陣，一般情況下是不同的。齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）來(lái)表示，圖是一個(gè)有著6個(gè)狀態(tài)的齊次馬爾可夫鏈。第十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期五齊次馬爾可夫鏈中的狀態(tài)可以根據(jù)其性質(zhì)進(jìn)行分類:如狀態(tài)si經(jīng)若干步后總能到達(dá)狀態(tài)sj，即存在k,使pij(k)＞0，則稱si可到達(dá)sj;若兩個(gè)狀態(tài)相互可到達(dá),則稱此二狀態(tài)相通；過(guò)渡態(tài)：一個(gè)狀態(tài)經(jīng)過(guò)若干步以后總能到達(dá)某一其他狀態(tài)，但不能從其他狀態(tài)返回,如圖中的狀態(tài)s1；吸收態(tài)：一個(gè)只能從自身返回到自身而不能到達(dá)其他任何狀態(tài)的狀態(tài)，如圖中的狀態(tài)s6；常返態(tài)：經(jīng)有限步后遲早要返回的狀態(tài)，如s2、s3、s4和s5；周期性的：在常返態(tài)中，有些狀態(tài)僅當(dāng)k能被某整數(shù)d＞1整除時(shí)才有pij(k)＞0，如圖中的狀態(tài)s4和s5，其周期為2；非周期性的：對(duì)于pij(k)＞0的所有k值，其最大公約數(shù)為1。遍歷狀態(tài)：非周期的、常返的狀態(tài),如圖中的狀態(tài)s2和s3。閉集：狀態(tài)空間中的某一子集中的任何一狀態(tài)都不能到達(dá)子集以外的任何狀態(tài)不可約的：閉集中除自身全體外再?zèng)]有其他閉集的閉集第十四頁(yè)，共四十七頁(yè)，編輯于2023年，星期五一個(gè)不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈其k步轉(zhuǎn)移概率pij(k)在k→∞時(shí)趨于一個(gè)和初始狀態(tài)無(wú)關(guān)的極限概率p(sj)，它是滿足方程組的唯一解；p(sj)或Wj：為馬爾可夫鏈的一個(gè)平穩(wěn)分布，且p(sj)或Wj就是系統(tǒng)此時(shí)處于狀態(tài)sj的概率。

第十五頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：設(shè)一個(gè)二元二階馬爾可夫信源，信源符號(hào)集為

X=0，1，輸出符號(hào)的條件概率為：求該信源的狀態(tài)轉(zhuǎn)移圖。第十六頁(yè)，共四十七頁(yè)，編輯于2023年，星期五解：p(0/00)=p(x0/e1)=p(e1/e1)=0.8p(1/00)=p(x1/e1)=p(e2/e1)=0.2p(0/01)=p(x0/e2)=p(e3/e2)=0.5p(1/01)=p(x1/e2)=p(e4/e2)=0.5p(0/10)=p(x0/e3)=p(e1/e3)=0.5p(1/10)=p(x1/e3)=p(e2/e3)=0.5p(0/11)=p(x0/e4)=p(e3/e4)=0.2p(1/11)=p(x1/e4)=p(e4/e4)=0.8第十七頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：有一個(gè)二元二階馬爾可夫信源,其信源符號(hào)集為{0，1}，已知符號(hào)條件概率：

p(0|00)=1/2p(1|00)=1/2p(0|01)=1/3p(1|01)=2/3p(0|10)=1/4p(1|10)=3/4p(0|11)=1/5p(1|11)=4/5求：⑴信源全部狀態(tài)及狀態(tài)轉(zhuǎn)移概率⑵畫(huà)出完整的二階馬爾可夫信源狀態(tài)轉(zhuǎn)移圖。⑶求平穩(wěn)分布概率

第十八頁(yè)，共四十七頁(yè)，編輯于2023年，星期五解：第十九頁(yè)，共四十七頁(yè)，編輯于2023年，星期五2.2離散信源熵和互信息一、自信息量信源發(fā)出的信息具有不確定性，而事件發(fā)生的不確定性與事件發(fā)生的概率大小有關(guān)，概率越小，不確定性越大，事件發(fā)生以后所含有的信息量就越大。小概率事件，不確定性大，一旦出現(xiàn)必然使人感到意外，因而產(chǎn)生的信息量就大；大概率事件，不確定性小，因而信息量小。因此隨機(jī)變量的自信息量是該事件發(fā)生的概率的函數(shù)，并且應(yīng)該滿足一下條件：（1）是的嚴(yán)格遞減函數(shù)，當(dāng)時(shí)，，概率越小，事件發(fā)生后的信息量越大。（2）極端情況下，=0時(shí)，趨于無(wú)窮大；=1時(shí)，=0。（3）兩個(gè)相對(duì)獨(dú)立的不同的消息所提供的信息量應(yīng)等于它們分別提供的信息量之和，即自信息滿足可加性。自信息量第二十頁(yè)，共四十七頁(yè)，編輯于2023年，星期五自信息量Df：隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值，設(shè)事件的概率為，則它的自信息量定義為自信息量的單位與所用對(duì)數(shù)的底有關(guān)：對(duì)數(shù)底為2時(shí)，單位是比特；對(duì)數(shù)底是自然數(shù)e時(shí)，單位是奈特；對(duì)數(shù)底是10時(shí)，單位是哈特萊。一般采用以2為底的對(duì)數(shù)。條件自信息量Df：在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為，則它的條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值：

聯(lián)合自信息量Df：二維聯(lián)合集XY上的元素（）的聯(lián)合自信息量

第二十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit第二十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：設(shè)離散無(wú)記憶信源，其發(fā)出的信息(202120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符號(hào)攜帶的信息量是多少？解：(1)此消息總共有14個(gè)0、13個(gè)1、12個(gè)2、6個(gè)3，因此此消息發(fā)出的概率是：此消息的信息量是：(2)此消息中平均每符號(hào)攜帶的信息量是：第二十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期五二、離散信源熵信源熵用平均自信息量來(lái)表征整個(gè)信源的不確定性，平均自信息量又稱為信源熵。為信源中各個(gè)符號(hào)不確定度的數(shù)學(xué)期望，即單位為：比特/符號(hào)或者比特/符號(hào)序列.信息熵H(X)是表示信源輸出后，每個(gè)消息(或符號(hào))所提供的平均信息量。某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，必有信源的熵值。例：

H(Y)＞H(X)信源Y比信源X的平均不確定性要大。第二十四頁(yè)，共四十七頁(yè)，編輯于2023年，星期五條件熵定義：在給定某個(gè)yj條件下，xi的條件自信息量I(xi/yj)，X集合的條件熵H（X/yj）為相應(yīng)地，在給定X（即各個(gè)xi）的條件下，Y集合的條件熵H(Y/X)定義為:聯(lián)合熵定義：聯(lián)合熵是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值，表示X和Y同時(shí)發(fā)生的不確定度。第二十五頁(yè)，共四十七頁(yè)，編輯于2023年，星期五聯(lián)合熵與條件熵有下列關(guān)系式：1)H（XY）＝H（X）＋H（Y／X）2)H（XY）＝H（Y）＋H（X／Y）證明：特別地，當(dāng)X和Y相互獨(dú)立時(shí)，H(XY)=H(X)+H(Y)第二十六頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：隨機(jī)變量X和Y的聯(lián)合概率分布如表所示，求聯(lián)合熵H(XY)和條件熵H(X/Y)解：=2/4+2/4+1/2=2.5由表可知H(Y/X=0)=1,H(Y/X=1)=0則H(Y/X)=1/2+0=1/2H(Y)=H(1/4)=0.8113X\Y0101/41/411/20第二十七頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：二進(jìn)制通信系統(tǒng)用符號(hào)“0”和“1”,由于存在失真,輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件：

u0：一個(gè)“0”發(fā)出：u1：一個(gè)“1”發(fā)出

v0：一個(gè)“0”收到；v1：一個(gè)“1”收到。給定下列概率：p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知發(fā)出一個(gè)“0”,求收到符號(hào)后得到的信息量；⑵已知發(fā)出的符號(hào),求收到符號(hào)后得到的信息量⑶知道發(fā)出的和收到的符號(hào),求能得到的信息量；⑷已知收到的符號(hào)，求被告知發(fā)出的符號(hào)得到的信息量。第二十八頁(yè)，共四十七頁(yè)，編輯于2023年，星期五解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵聯(lián)合概率：

p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/4第二十九頁(yè)，共四十七頁(yè)，編輯于2023年，星期五（3）（4）第三十頁(yè)，共四十七頁(yè)，編輯于2023年，星期五三、互信息貝葉斯公式：先驗(yàn)概率p(x)似然概率p(y/x)后驗(yàn)概率p(x/y)證據(jù)因子p(y)互信息一個(gè)事件所給出關(guān)于另一個(gè)事件的信息，第三十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期五互信息的性質(zhì)1.互易性：2.當(dāng)兩事件相互獨(dú)立時(shí)，互信息量為零；3.互信息可正可負(fù)。互信息為正時(shí)，說(shuō)明一事件的出現(xiàn)有助于肯定另一事件的出現(xiàn)，反之，則是不利的。4.任何兩事件之間的互信息量不可能大于其中任意事件的自信息量。第三十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例：某地區(qū)的天氣分布情況如表所示如果有人告訴你：“今天不是晴天”，把這句話作為收到的信息，求收到后，與各種天氣的互信息量。解：把各種天氣記作：表示晴天，表示陰天，表示雨天，表示雪天。p(x1|y1)

=0,p(x2|y1)

=1/2,p(x3|y1)

=1/4,p(x4|y1)

=1/4

第三十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期五平均互信息在XY的聯(lián)合概率空間中的統(tǒng)計(jì)平均值為隨機(jī)變量X和Y間的平均互信息。I(X;Y)=H(X)-H(X/Y)條件熵H(X/Y)表示給定隨機(jī)變量Y后，對(duì)隨機(jī)變量X仍然存在的不確定性，所以Y關(guān)于X的平均互信息是收到Y(jié)前后關(guān)于X的不確定度減少的量，也就是從Y所獲得的關(guān)于X的平均自信息量。平均互信息的性質(zhì)1.非負(fù)性I(X;Y)02.互易性I(X;Y)=I(Y;X)3.平均互信息和各種熵的關(guān)系第三十四頁(yè)，共四十七頁(yè)，編輯于2023年，星期五當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)，I(X;Y)=0H(X)+H(Y)表示在通信前系統(tǒng)的先驗(yàn)不確定性。H(XY)表示輸入集符號(hào)經(jīng)有噪信道傳輸?shù)捷敵龆耍瑸橄到y(tǒng)的后驗(yàn)不確定性。所以該式表示為：接收到的平均信息量=系統(tǒng)的先驗(yàn)不確定性－系統(tǒng)的后驗(yàn)不確定性。4.極值性I（X；Y）≦H（X）I（X；Y）≦H（Y）最好通信I（X；Y）=H（X）=H（Y）最差通信X和Y統(tǒng)計(jì)獨(dú)立，I(X;Y)=05.凸函數(shù)性P(X)一定時(shí)，平均互信息I(X;Y)是信道傳遞概率分布P(Y/X)的下凸函數(shù)，存在最小值，此時(shí)信道最差。

P(Y/X)一定時(shí)，平均互信息I(X;Y)是信源概率分布P(X)的上凸函數(shù)，存在最大值，此時(shí)這個(gè)最大值即是信道容量。第三十五頁(yè)，共四十七頁(yè)，編輯于2023年，星期五例:已知聯(lián)合概率分布如表所示，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)，I（X;Y)。第三十六頁(yè)，共四十七頁(yè)，編輯于2023年，星期五解：首先求出邊緣概率分布

得H(X)=2.066bit/符號(hào)

得H(Y)=1.856bit/符號(hào)由聯(lián)合分布可得：H(XY)=2.665bit/符號(hào)∴I(X;Y)=H(X)+H(Y)－H(XY)=1.257bit/符號(hào)

H(X∣Y)=H(X)－I（X;Y）=0.809bit/符號(hào)

H(Y∣X)=H(Y)－I（X;Y）=0.600bit/符號(hào)第三十七頁(yè)，共四十七頁(yè)，編輯于2023年，星期五四、數(shù)據(jù)處理中信息的變化平均條件互信息它表示隨機(jī)變量Z給定后，從隨機(jī)變量Y所得到的關(guān)于隨機(jī)變量X信息量。平均聯(lián)合互信息

它表示從二維隨機(jī)變量YZ所得到的關(guān)于隨機(jī)變量X的信息量。第三十八頁(yè)，共四十七頁(yè)，編輯于2023年，星期五五、熵的性質(zhì)1.非負(fù)性 2.對(duì)稱性 3.確定性 4.香農(nóng)輔助定理（極值性）對(duì)于任意兩個(gè)n維概率矢量P=（p1，p2，…，pn）和Q=（q1，q2，…，qn），如下不等式成立:5.最大熵定理第三十九頁(yè)，共四十七頁(yè)，編輯于2023年，星期五6.條件熵小于無(wú)條件熵（1）條件熵小于信源熵（2）兩個(gè)條件下的條件熵小于一個(gè)條件下的條件熵

（3）聯(lián)合熵小于信源熵之和

當(dāng)X、Y相互獨(dú)立時(shí)，有：第四十頁(yè)，共四十七頁(yè)，編輯于2023年，星期五2.3連續(xù)信源的熵和互信息一、連續(xù)信源的熵隨機(jī)變量的相對(duì)熵熵功率二、最大熵定理1.峰值功率受限均勻分布相對(duì)熵最大2.平均功率受限高斯分布相對(duì)熵最大3.平均功率大于等于熵功率第四十一頁(yè)，共四十七頁(yè)，編輯于2023年，星期五2.4離散序列信源的熵一、離散無(wú)記憶序列信源的熵設(shè)信源輸出的隨機(jī)序列/隨機(jī)矢量為X，X＝（X1，X2…Xl…XL），序列中的單個(gè)符號(hào)變量，即序列長(zhǎng)為L(zhǎng)。設(shè)隨機(jī)序列的概率為：

當(dāng)信源無(wú)記憶（符號(hào)之間無(wú)相關(guān)性）時(shí)，p(xi)=p(xi1xi2…xiL)=第四十二頁(yè)，共四十七頁(yè)，編輯于2023年，星期五若信源的序列滿足平穩(wěn)特性時(shí)，有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL，則信源的序列熵又可表示為H(X)=LH(x).

平均每個(gè)符號(hào)熵為第四十三頁(yè)，共四十七頁(yè)，編輯于2023年，星期五二、離散有記憶序列信源的熵1.對(duì)于由兩個(gè)符號(hào)組成的聯(lián)合信源，有下列結(jié)論：（l）H（X1X2）＝H（X1）＋H（X2／X1）=H（X2）+H（X1／X2）（2）H（X1）≥H（X1／X2）;H（X2）≥H（X2／X1）當(dāng)前后符號(hào)無(wú)依存關(guān)系時(shí)，有下列推論：

H（X