信息論與編碼課件(第二章)

信息理論與編碼主講：樊榮電氣信息工程學(xué)院電氣信息工程學(xué)院(fanrong11@126.com)第二章離散信源及其信息測度電氣信息工程學(xué)院2.1信源的數(shù)學(xué)模型及分類2.2離散信源的信息熵2.3信息熵的基本性質(zhì)2.4離散無記憶的擴(kuò)展信源2.5離散平穩(wěn)信源2.6馬爾可夫信源*2.7信源剩余度與自然語言的熵*本章主要內(nèi)容：離散信源及其信息測度本章重、難點(diǎn)內(nèi)容：了解信源的分類及其數(shù)學(xué)模型掌握事件自信息量的定義及計(jì)算*掌握信息熵的定義及其計(jì)算*知道信息熵的各種性質(zhì)（其中極值性為重點(diǎn)）能計(jì)算無記憶擴(kuò)展信源的熵知道離散平穩(wěn)信源電氣信息工程學(xué)院2.1信源的數(shù)學(xué)模型及分類在通信系統(tǒng)中，收信者在未收到信息以前，對信源發(fā)出什么樣的消息是不確定的，是隨機(jī)的，所以可以用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過程來描述信源輸出的消息，或者說用一個(gè)樣本空間及其概率測度來描述信源。不同的信源根據(jù)其輸出消息的不同的隨機(jī)性質(zhì)進(jìn)行分類。電氣信息工程學(xué)院信源輸出的消息用隨機(jī)變量描述電氣信息工程學(xué)院特征：輸出是單個(gè)符號（代碼）的消息，符號集的取值是有限的或可數(shù)的，可用一維離散型隨機(jī)變量X來描述。A={a1,a2,…,aq}如：投硬幣、書信文字、計(jì)算機(jī)的代碼、電報(bào)符號、阿拉伯?dāng)?shù)字碼等等數(shù)學(xué)模型：應(yīng)滿足：連續(xù)信源電氣信息工程學(xué)院特征：輸出是單個(gè)符號（代碼）的消息，輸出消息的符號集A的取值是連續(xù)的，可用一維的連續(xù)型隨機(jī)變量X來描述如：語音信號、熱噪聲信號、遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)等等。

數(shù)學(xué)模型：或并滿足或2、平穩(wěn)隨機(jī)序列信源總體特征：信源輸出的消息由一系列符號序列所組成，可用N維隨機(jī)矢量X＝(X1,X2,…,XN)描述，且隨機(jī)矢量X

的各維概率分布都與時(shí)間起點(diǎn)無關(guān)平穩(wěn)??！離散平穩(wěn)信源：輸出的隨機(jī)序列中每個(gè)隨機(jī)變量取值是離散的，并且隨機(jī)矢量X的各維概率分布不隨時(shí)間平移而改變。連續(xù)平穩(wěn)信源：輸出的隨機(jī)序列中每個(gè)隨機(jī)變量取值是連續(xù)的，并且隨機(jī)矢量X的各維概率密度函數(shù)不隨時(shí)間平移而改變電氣信息工程學(xué)院離散無記憶平穩(wěn)信源離散平穩(wěn)信源的特例，信源發(fā)出的符號都相互統(tǒng)計(jì)獨(dú)立，即各隨機(jī)變量Xi(i＝1,2,…,N)之間統(tǒng)計(jì)獨(dú)立。性質(zhì)如下：

獨(dú)立P(X)=P(X1,X2,…,XN)=P1(X1)·P2(X2)···PN(XN)

平穩(wěn)－>P1(X1)=P2(X2)=···=PN(XN)－>電氣信息工程學(xué)院離散無記憶平穩(wěn)信源設(shè)各隨機(jī)變量Xi取自同樣符號集A:{a1,a2,…,aq}，則有其中

是N維隨機(jī)矢量的一個(gè)取值,即

是符號集A的一維概率分布。由符號集A與概率測度構(gòu)成的信源空間稱由該信源空間描述的信源為離散無記憶信源電氣信息工程學(xué)院離散無記憶信源X的N次擴(kuò)展信源特征：由離散無記憶信源輸出N長的隨機(jī)序列構(gòu)成的信源稱為離散無記憶信源的N次擴(kuò)展信源。數(shù)學(xué)模型：X信源空間的N重空間電氣信息工程學(xué)院有記憶信源信源在不同時(shí)刻發(fā)出的符號之間是相互依賴的，即信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xi之間相互依賴。

需在N維隨機(jī)矢量的聯(lián)合概率分布中，引入條件概率分布來說明它們之間的關(guān)聯(lián)。電氣信息工程學(xué)院如：漢字組成的中文序列中，只有根據(jù)中文的語法、習(xí)慣用語、修辭制約和表達(dá)實(shí)際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。其他如英文，德文等自然語言都是如此。M階馬爾可夫信源特征：信源每次發(fā)出的符號只與前m個(gè)符號有關(guān)，與更前面的符號無關(guān)。電氣信息工程學(xué)院數(shù)學(xué)模型:時(shí)齊馬爾可夫信源：上述條件概率與時(shí)間起點(diǎn)i無關(guān)3、信源輸出的消息用隨機(jī)過程來描述隨機(jī)波形信源：信源輸出的消息是時(shí)間（或空間）上和取值上都是連續(xù)的函數(shù)語音信號X(t),電視信號X(R(t),G(t),B(t))等電氣信息工程學(xué)院信源的分類圖隨機(jī)變量X離散信源：連續(xù)信源：分層（量化）可能輸出的消息數(shù)是有限的或可數(shù)的，每次只輸出一個(gè)消息，即兩兩不相容?？赡茌敵龅南?shù)是無限的或不可數(shù)的，每次只輸出一個(gè)消息。隨機(jī)矢量X非平穩(wěn)信源：平穩(wěn)信源：馬爾可夫信源：輸出的隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，但記憶長度有限，并滿足馬爾可夫鏈的條件式輸出的隨機(jī)序列X中每個(gè)隨機(jī)變量Xi取值是離散的，并且隨機(jī)矢量X的各維概率分布不隨時(shí)間平移改變離散平穩(wěn)信源：連續(xù)平穩(wěn)信源：輸出的隨機(jī)序列X中每個(gè)隨機(jī)變量Xi取值是連續(xù)的，并且隨機(jī)矢量X的各維概率密度函數(shù)不隨時(shí)間平移改變?nèi)≈捣謱与x散無記憶信源的N次擴(kuò)展信源：輸出的平穩(wěn)隨機(jī)序列X中各隨機(jī)變量統(tǒng)計(jì)獨(dú)立。每個(gè)隨機(jī)變量Xi取值于同一概率空間，N各符號構(gòu)成一組等效為一個(gè)新信源有限記憶信源（二維）輸出的隨機(jī)序列X中各隨機(jī)變量之間有依賴關(guān)系，但記憶長度有限隨機(jī)過程隨機(jī)波形信源：信源輸出的消息是時(shí)間（或空間）上和取值上都是連續(xù)的函數(shù)。取樣定理2.2離散信源的信息熵單符號離散信源的數(shù)學(xué)模型X，Y，Z代表隨機(jī)變量，指的是信源整體；代表隨機(jī)事件的某一結(jié)果或信源的某個(gè)元素。不可混淆!電氣信息工程學(xué)院問題：這樣的信源能輸出多少信息？每個(gè)消息的出現(xiàn)攜帶多少信息量？2.2.1自信息設(shè)離散信源的概率空間為：電氣信息工程學(xué)院稱事件ai發(fā)生所含有的信息量為ai的自信息量。定義為：

I(ai)有兩種含義：（1）當(dāng)事件ai發(fā)生以前表示ai發(fā)生的不確定性（2）當(dāng)事件ai發(fā)生以后表示ai提供的信息量自信息量單位的說明自信息量的單位取決于對數(shù)的底；底為2，單位為“比特（bit,binaryunit）”；底為e，單位為“奈特（nat,natureunit）”；底為10，單位為“哈特（hat,Hartley）”；根據(jù)換底公式得：1nat=1.44bit,1hat=3.32bit；一般計(jì)算都采用以“2”為底的對數(shù)，為了書寫簡潔，常把底數(shù)“2”略去不寫。電氣信息工程學(xué)院例2.2.1某地二月份天氣的概率分布統(tǒng)計(jì)如下：電氣信息工程學(xué)院這四種氣候的自信息量分別為多少？這里比特指抽象的信息量單位，與計(jì)算機(jī)中“比特”的含義有所不同，它代表二元數(shù)字（binarydigits）。這兩種定義之間的關(guān)系是每個(gè)二元數(shù)字所能提供的最大平均信息量為1比特。例2.2.2

設(shè)有12個(gè)形狀完全相同的球，一個(gè)球的重量與其它球不同，其它球等重。為了用天平（無砝碼）稱出這個(gè)不同重量的球，問至少稱多少次？電氣信息工程學(xué)院解：設(shè)“在12個(gè)形狀完全相同的球中，某一個(gè)球?yàn)橹亓坎煌那颉边@事件為a，“該球比其它球重還是輕”為事件b,其出現(xiàn)概率分別為：事件a、b的自信息量分別為這兩事件獨(dú)立，消除不確定性所需的自信息量為I需＝I(a)+I(b)=log24≈4.585比特電氣信息工程學(xué)院天平稱一次可判斷重、輕、相等三種等概率情況，概率為1／3,所以天平測一次能獲得信息量為I獲＝log3≈1.585比特于是至少稱的次數(shù)為可得至少必須稱3次才能找出那個(gè)重量不同的球。從理論到實(shí)踐：思考稱3次找出重量不同的球的具體辦法？2.2.2信息熵對于一個(gè)信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個(gè)隨機(jī)變量，不能用它來作為整個(gè)信源的信息測度，我們用信息熵來描述整個(gè)信源的信息量。電氣信息工程學(xué)院定義：自信息的數(shù)學(xué)期望為平均自信息量H(X)，稱為信息熵。熵的計(jì)算有兩個(gè)信源電氣信息工程學(xué)院通過計(jì)算，說明第二個(gè)信源的平均不確定性更大一些，信源X2比信源X1提供的信息量更大。則這兩個(gè)信源的信息熵分別為：計(jì)算2有一布袋內(nèi)放l00個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的。隨便摸出一個(gè)球，猜測是什么顏色，那么其概率空間為：

如果被告知摸出的是紅球，那么獲得的信息量是：I(a1)＝－logp(a1)＝－log0.8=0.32（比特）如被告知摸出來的是白球，所獲得的信息量應(yīng)為：I(a2)＝－logp(a2)＝－log0.2=2.32（比特）平均摸取一次所能獲得的信息量為：H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特/符號）電氣信息工程學(xué)院信息熵的含義電氣信息工程學(xué)院

熵是從整個(gè)集合的統(tǒng)計(jì)特性來考慮的，它是從平均意義上來表征信源的總體特征的。含義如下：

1、在信源輸出后，信息熵H(X)表示每個(gè)消息提供的平均信息量；

2、在信源輸出前，信息熵H(X)

表示信源的平均不確定性；

3、信息熵H(X)

表征了變量X的隨機(jī)性。2.3信息熵的基本性質(zhì)引入概率矢量P來表示概率分布P(x)電氣信息工程學(xué)院P=(P(a1),P(a2),…,P(aq))=(p1,p2,…,pq),這樣信息熵就是概率矢量P的函數(shù)，即有H(P)是概率矢量P的函數(shù)，我們稱H(P)為熵函數(shù)。常用H(X)來表示以離散隨機(jī)變量X描述的信源的信息熵；用H(P)表示概率矢量為P=(p1,p2,…,pq)的q個(gè)符號信源的信息熵。信息熵的基本性質(zhì)熵函數(shù)H(P)也是一種特殊函數(shù)，它的函數(shù)形式為電氣信息工程學(xué)院它具有如下一些性質(zhì)：1.對稱性：H(P)的取值與分量p1,p2,…,pq的順序無關(guān)，只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)。下面3個(gè)信源2.確定性：H(1,0)=H(1,0,0)=H（1，0，…,0）=0只要有一個(gè)符號必然出現(xiàn)，這個(gè)信源是一個(gè)確知信源，其熵等于0。信息熵的基本性質(zhì)3.非負(fù)性：H(P)≥0隨機(jī)變量X的概率分布滿足0＜pi＜1，當(dāng)取對數(shù)的底大于1時(shí)，log(pi)＜0，-pilog(pi

)＞0，即得到的熵為正值。只有當(dāng)隨機(jī)變量是一確知量時(shí)熵才等于零。電氣信息工程學(xué)院4.擴(kuò)展性：信源空間中增加某些概率很小的符號，雖然當(dāng)發(fā)出這些符號時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重，使信源熵保持不變。信息熵的基本性質(zhì)5.可加性：若信源X和Y統(tǒng)計(jì)獨(dú)立,X分布為(p1,p2,…,pn),Y分布為(q1,q2,…,qm),則聯(lián)合信源的熵等于分別熵之和。即：H（XY）=H(X)+H(Y)電氣信息工程學(xué)院6.強(qiáng)可加性：兩個(gè)互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。即：H(XY)=H(X)+H(Y|X),H(Y|X)表示信源X

輸出一符號的條件下，信源Y再輸出一符號所能提供的平均信息量，稱為條件熵。信息熵的基本性質(zhì)電氣信息工程學(xué)院7.遞增性：若原信源X中有一個(gè)符號分割成了m個(gè)元素(符號),這m個(gè)元素的概率之和等于原元素的概率,而其他符號的概率不變,則新信源的熵增加。熵的增加量等于由分割而產(chǎn)生的不確定性量。試不計(jì)算比較下列信源熵的大小信息熵的基本性質(zhì)電氣信息工程學(xué)院8.極值性：在離散信源情況下，信源各符號等概率分布時(shí)，熵值達(dá)到最大。即：對于具有q個(gè)符號的離散信源，只有在q個(gè)信源符號等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這也表明等概分布的信源的平均不確定性最大，這是一個(gè)很重要得結(jié)論，稱為最大離散熵定理9.上凸性：熵函數(shù)H(P)是概率矢量P＝(p1,p2,…,pq)的嚴(yán)格∩型凸函數(shù)(上凸函數(shù))。信息熵的基本性質(zhì)電氣信息工程學(xué)院二進(jìn)制信源是離散信源的一個(gè)特例。該信源符號只有二個(gè),設(shè)為0和1。設(shè)符號輸出的概率分別為ω和1-ω。即信源的概率空間為：二元信源的熵：H(X)

是ω的函數(shù)2.5離散無記憶的擴(kuò)展信源(熵)

實(shí)際信源輸出的消息往往是時(shí)間上或空間上的一系列符號，如電報(bào)系統(tǒng)，序列中前后符號間一般是有統(tǒng)計(jì)依賴關(guān)系的。我們先討論離散無記憶信源，此時(shí)，信源序列的前后符號之間是統(tǒng)計(jì)獨(dú)立的。如在二元系統(tǒng)中，我們可以把兩個(gè)二元數(shù)字看成一組，會出現(xiàn)四種可能情況：00、01、10和11，我們可以把這四種情況看成一個(gè)新的信源稱為二元無記憶信源的二次擴(kuò)展信源，相應(yīng)的，如果把N個(gè)二元數(shù)字看成一組，則新的信源稱為二元無記憶信源的N次擴(kuò)展信源。電氣信息工程學(xué)院離散無記憶的擴(kuò)展信源（熵）電氣信息工程學(xué)院設(shè)一個(gè)離散無記憶信源為：則該信源的N次擴(kuò)展信源為：每個(gè)分量跑遍1到q離散無記憶的擴(kuò)展信源（熵）電氣信息工程學(xué)院根據(jù)信息熵的定義：可以證明，對于離散無記憶的擴(kuò)展信源離散無記憶的擴(kuò)展信源的計(jì)算電氣信息工程學(xué)院例:離散無記憶信源的N次擴(kuò)展信源計(jì)算離散無記憶信源為：X:{0,1,2};P(X):{1/4,1/2,1/4}二次擴(kuò)展信源為：二次擴(kuò)展信源的9個(gè)符號為：A1=00A2=01A3=02A4=10A5=11A6=12A7=20A8=21A9=22離散無記憶的擴(kuò)展信源的計(jì)算電氣信息工程學(xué)院二次擴(kuò)展信源的概率關(guān)系為:A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/16計(jì)算可知：1、比較信源熵的大?。ú挥?jì)算）

2、設(shè)有一個(gè)信源它產(chǎn)生0、1序列的消息，它在任意時(shí)間而且不論以前發(fā)生過什么符號，均按P（0）=0.4，P（1）=0.6的概率發(fā)出符號。（1）此信源是否是平穩(wěn)的？無記憶的？（2）試計(jì)算H（X2）,(3)試計(jì)算H（X4）并寫出X4信源中的所有符號2.6離散平穩(wěn)信源(有記憶)2.6.1離散平穩(wěn)信源的數(shù)學(xué)定義在一般情況下，信源在t=i

時(shí)刻將要發(fā)出什么樣的符號決定于兩方面：1、信源在

t=i

時(shí)刻隨機(jī)變量Xi取值的概率分布P(xi)有關(guān)。一般信源不能保證P(xi)=P(xj)成立。2、與t=i

時(shí)刻以前信源發(fā)出的符號有關(guān)，即與條件概率P(xi/xi-1xi-2…)有關(guān)。對平穩(wěn)隨機(jī)序列，序列的統(tǒng)計(jì)性質(zhì)與時(shí)間的推移無關(guān)，即信源發(fā)出符號序列的概率分布與時(shí)間起點(diǎn)無關(guān)。電氣信息工程學(xué)院離散平穩(wěn)信源的數(shù)學(xué)定義若當(dāng)t=i，t=j

時(shí)(i,j

是大于1的任意整數(shù))，P(xi)=P(xj)=P(x)，則序列是—維平穩(wěn)的。具有這樣性質(zhì)的信源稱為一維平穩(wěn)信源。除上述條件外，如果聯(lián)合概率分布P(xixi+1)也與時(shí)間起點(diǎn)無關(guān)，即P(xixi+1)=P(xjxj+1)(i,j為任意整數(shù)且i≠j)，則信源稱為二維平穩(wěn)信源。它表示任何時(shí)刻信源發(fā)出二個(gè)符號的聯(lián)合概率分布也完全相等。電氣信息工程學(xué)院離散平穩(wěn)信源的數(shù)學(xué)定義如果各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無關(guān)，那么，信源是完全平穩(wěn)的，信源發(fā)出的序列也是完全平穩(wěn)的。這種各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。這時(shí)有：P(xi)=P(xj)P(xixi+1)=P(xjxj+1)……P(xixi+1…xi+N)=P(xjxj+1…xi+N)電氣信息工程學(xué)院離散平穩(wěn)信源的數(shù)學(xué)定義結(jié)論：對于平穩(wěn)信源來說，其條件概率均與時(shí)間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。它表示平穩(wěn)信源發(fā)出的平穩(wěn)隨機(jī)序列前后的依賴關(guān)系與時(shí)間起點(diǎn)無關(guān)。如果某時(shí)刻發(fā)出什么符號只與前面發(fā)出的N個(gè)符號有關(guān)，那么任何時(shí)刻它們的依賴關(guān)系都是一樣的。即：電氣信息工程學(xué)院2.6.2二維平穩(wěn)信源及其信息熵特點(diǎn):滿足一維和二維概率分布與時(shí)間起點(diǎn)無關(guān)最簡單的平穩(wěn)信源—二維平穩(wěn)信源，信源發(fā)出序列中只有前后兩個(gè)符號間有依賴關(guān)系，我們可以對其二維擴(kuò)展信源進(jìn)行分析。信源的概率空間:連續(xù)兩個(gè)信源符號出現(xiàn)的聯(lián)合概率分布為：電氣信息工程學(xué)院如何測度二維平穩(wěn)信源已知符號出現(xiàn)后，緊跟著出現(xiàn)的條件概率為：由二維離散信源的發(fā)出符號序列的特點(diǎn)可以把其分成每兩個(gè)符號一組，每組代表新信源中的一個(gè)符號。并假設(shè)組與組之間是統(tǒng)計(jì)獨(dú)立的，互不相關(guān)的。得到一個(gè)新的離散無記憶信源，其聯(lián)合概率空間為：

電氣信息工程學(xué)院離散二維平穩(wěn)信源的聯(lián)合熵根據(jù)信息熵的定義，定義的聯(lián)合熵：關(guān)于離散二維平穩(wěn)信源聯(lián)合熵的說明

1、H(X1X2)

表示原來信源X輸出任意一對消息的共熵，即描述信源X輸出長為2的序列的平均不確定性（或所含有的信息量）。因此，可用H(X1X2)/2作為二維平穩(wěn)信源X的信息熵的近似值。電氣信息工程學(xué)院離散二維平穩(wěn)信源的聯(lián)合熵2、從另一角度來研究信源X的信息熵的近似值：由于信源X發(fā)出的符號序列中前后兩個(gè)符號之間有依賴性，所以先求在已知前面一個(gè)符號Xl＝ai時(shí)，信源輸出下一個(gè)符號的平均不確定性：前面一個(gè)符號Xl又可取ai∈{a1,a2,…,aq}中任一個(gè)，對某一個(gè)ai存在一個(gè)平均不確定性H(X2|X1＝ai)。那么，對所有ai的可能值進(jìn)行統(tǒng)計(jì)平均就得當(dāng)前面一個(gè)符號巳知時(shí)，再輸出下一個(gè)符號的總的平均不確定性H(X2|X1)（即條件熵）：電氣信息工程學(xué)院離散二維平穩(wěn)信源的條件熵電氣信息工程學(xué)院此值稱為條件熵聯(lián)合熵與條件熵的關(guān)系：此式表明聯(lián)合熵等于前一個(gè)符號出現(xiàn)的熵加上前一個(gè)符號已知時(shí)后一個(gè)符號出現(xiàn)的條件熵。上式就是熵的強(qiáng)可加性。離散二維平穩(wěn)信源的條件熵另外還可以得到條件熵與無條件熵的關(guān)系：所以，一般情況下輸出兩個(gè)符號的聯(lián)合熵總是小于二倍信源的熵。電氣信息工程學(xué)院只有信源統(tǒng)計(jì)獨(dú)立時(shí)等號成立因?yàn)閄1、X2取自同一概率空間二維平穩(wěn)信源及其信息熵例2.6某一離散二維平穩(wěn)信源用聯(lián)合概率P(aiaj)表示的關(guān)聯(lián)程度如表2.2所示表2.2電氣信息工程學(xué)院ajai01201/41/18011/181/31/18201/187/36二維平穩(wěn)信源及其信息熵根據(jù)概率關(guān)系可計(jì)算得條件概率P(aj/ai)如表2.3表2.3滿足（表中列相加），此式說明當(dāng)已知信源前面發(fā)出得一個(gè)符號為ai時(shí)，其后面發(fā)出的符號一定是符號0，1，2中的一個(gè)。電氣信息工程學(xué)院ajai01209/111/8012/113/42/9201/87/9二維平穩(wěn)信源及其信息熵當(dāng)認(rèn)為信源符號之間無依賴性時(shí)，計(jì)算得信源X的信息熵為當(dāng)考慮符號之間有依賴性時(shí)，計(jì)算得條件熵而聯(lián)合熵由此可得而電氣信息工程學(xué)院二維平穩(wěn)信源及其信息熵信源條件熵比無依賴時(shí)的熵減少了0.672比特，這正是因?yàn)榉栔g有依賴性所造成的結(jié)果。聯(lián)合熵H(X1X2)表示平均每兩信源符號所攜帶的信息量。我們用