信息論與編碼信息的度量

信息論與編碼信息的度量第一頁(yè)，共六十五頁(yè)，2022年，8月28日12.5聯(lián)合熵和條件熵

聯(lián)合熵：聯(lián)合自信息量的統(tǒng)計(jì)平均。條件熵：條件自信息量的統(tǒng)計(jì)平均各類熵之間的關(guān)系：與各類自信息量之間的關(guān)系對(duì)應(yīng)。第二頁(yè)，共六十五頁(yè)，2022年，8月28日21聯(lián)合熵設(shè)聯(lián)合概率空間為聯(lián)合符號(hào)的先驗(yàn)不確定性稱為聯(lián)合自信息量:統(tǒng)計(jì)平均聯(lián)合熵熵的物理意義:信源的平均不確定性。第三頁(yè)，共六十五頁(yè)，2022年，8月28日32條件熵設(shè)聯(lián)合概率空間為條件自信息量:統(tǒng)計(jì)平均條件熵第四頁(yè)，共六十五頁(yè)，2022年，8月28日43各類熵之間的關(guān)系同理總之熵的強(qiáng)可加性推廣第五頁(yè)，共六十五頁(yè)，2022年，8月28日5各類熵之間的關(guān)系(續(xù))于是因此，熵之間的關(guān)系簡(jiǎn)化：熵的可加性推廣：當(dāng)與相互獨(dú)立，則統(tǒng)計(jì)獨(dú)立時(shí)，有第六頁(yè)，共六十五頁(yè)，2022年，8月28日6X01P2/31/3例已知某離散信源如下，且其符號(hào)轉(zhuǎn)移概率如右下所示，求H(X)、H(Y|X)和H(X,Y)第七頁(yè)，共六十五頁(yè)，2022年，8月28日7解：第八頁(yè)，共六十五頁(yè)，2022年，8月28日8另一方面：后驗(yàn)概率可以求出：可以求出條件熵：同樣可以求出聯(lián)合熵：第九頁(yè)，共六十五頁(yè)，2022年，8月28日9例

已知一離散二維平穩(wěn)信源一維概率分布二維概率分布表2.2

ajai01201/41/18011/181/31/18201/187/36求兩種熵。

第十頁(yè)，共六十五頁(yè)，2022年，8月28日10解:(1)計(jì)算條件概率二維條件概率分布表2.3

ajai01209/111/8012/113/42/9201/87/9第十一頁(yè)，共六十五頁(yè)，2022年，8月28日11(2)

(3)另第十二頁(yè)，共六十五頁(yè)，2022年，8月28日122.6平均互信息量及其性質(zhì)平均互信息量平均互信息量的基本性質(zhì)第十三頁(yè)，共六十五頁(yè)，2022年，8月28日13

互信息量互信息量表示先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量；互信息量可能為正數(shù)、負(fù)數(shù)、0；對(duì)于無(wú)干擾信道，I(xi;yj)=I(xi)xiyj信道p(xi):發(fā)送端發(fā)送xi的概率；P(xi|yj):接收端收到y(tǒng)j后，發(fā)送端發(fā)送xi的概率定義:第十四頁(yè)，共六十五頁(yè)，2022年，8月28日14為什么需要定義平均互信息量？互信息量是定量地研究信息流通問(wèn)題的重要基礎(chǔ)。但它只能定量地描述輸入隨機(jī)變量發(fā)出某個(gè)具體消息，輸出變量出現(xiàn)某一個(gè)具體消息時(shí)，流經(jīng)信道的信息量；此外還是隨和變化而變化的隨機(jī)變量?；バ畔⒘坎荒軓恼w上作為信道中信息流通的測(cè)度。這種測(cè)度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過(guò)一個(gè)符號(hào)流經(jīng)信道的平均信息量。定義互信息量在聯(lián)合概率空間中的統(tǒng)計(jì)平均值為Y對(duì)X的平均互信息量，簡(jiǎn)稱平均互信息，也稱平均交互信息量或交互熵。第十五頁(yè)，共六十五頁(yè)，2022年，8月28日15

平均互信息量：與之間的平均互信息量是統(tǒng)計(jì)平均意義下的先驗(yàn)不確定性與后驗(yàn)不確定性之差，也是互信息量的統(tǒng)計(jì)平均：第十六頁(yè)，共六十五頁(yè)，2022年，8月28日16

1.對(duì)稱性根據(jù)互信息量的對(duì)稱性，容易推得 I(X;Y)=I(Y;X) 說(shuō)明從集合Y中獲取X的信息量，等于從集合X中獲取Y的信息量。

第十七頁(yè)，共六十五頁(yè)，2022年，8月28日17

2.與各種熵的關(guān)系I(X;Y)=H(X)–H(X|Y) I(Y;X)=H(Y)–H(Y|X) I(X;Y)=H(X)+H(Y)–H(XY) H(XY)為X集合和Y集合的共熵，或稱聯(lián)合熵。共熵應(yīng)該是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xy的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。第十八頁(yè)，共六十五頁(yè)，2022年，8月28日18I(X;Y)=H(X)+H(Y)–H(XY)根據(jù)各種熵的定義，從該式可以清楚看出平均互信息量是一個(gè)表征信息流通的量其物理意義就是信源端的信息通過(guò)信道后傳輸?shù)叫潘薅说钠骄畔⒘?。第十九?yè)，共六十五頁(yè)，2022年，8月28日193有界性各種熵以及平均互信息量之間的關(guān)系可用以下文氏圖表示。

熵、平均互信息量關(guān)系圖第二十頁(yè)，共六十五頁(yè)，2022年，8月28日20例

已知信源空間 信道特性如圖所示，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)。

圖信道特性第二十一頁(yè)，共六十五頁(yè)，2022年，8月28日21解（1）根據(jù)P(xiyj)=P(xi)P(yj

|xi)，求各聯(lián)合概率，得 P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40（2）根據(jù)，求Y集合中各符號(hào)的概率，得 P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.41第二十二頁(yè)，共六十五頁(yè)，2022年，8月28日22（3）根據(jù)P(xi|yj)=P(xiyj)/P(yj)，求各后驗(yàn)概率，得 P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024

P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.976第二十三頁(yè)，共六十五頁(yè)，2022年，8月28日23（4）求熵，有I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符第二十四頁(yè)，共六十五頁(yè)，2022年，8月28日242.7離散無(wú)記憶信源的擴(kuò)展DMSDMSDMS研究信源輸出的單個(gè)符號(hào)的統(tǒng)計(jì)特性研究信源輸出的符號(hào)串的統(tǒng)計(jì)特性單符號(hào)信源的次擴(kuò)展信源多符號(hào)信源??第二十五頁(yè)，共六十五頁(yè)，2022年，8月28日25輸出的消息序列中各符號(hào)之間無(wú)相互依賴關(guān)系的信源。亦稱為單符號(hào)離散平穩(wěn)無(wú)記憶信源的擴(kuò)展信源。序列長(zhǎng)度就是擴(kuò)展次數(shù)。單符號(hào)信源{0，1}經(jīng)過(guò)擴(kuò)展，變成了：{00，01，10，11}例2.2.1第二十六頁(yè)，共六十五頁(yè)，2022年，8月28日26第二十七頁(yè)，共六十五頁(yè)，2022年，8月28日27

N次擴(kuò)展信源：離散無(wú)記憶信源，考慮任意N個(gè)相鄰時(shí)刻的輸出隨機(jī)變量把看成是一個(gè)新的離散無(wú)記憶信源的輸出，稱為的N次擴(kuò)展信源。擴(kuò)展信源的熵：

bit/N元符號(hào)第二十八頁(yè)，共六十五頁(yè)，2022年，8月28日28擴(kuò)展信源的熵DMSDMS?因?yàn)槭荄MS，故獨(dú)立同分布，所以第二十九頁(yè)，共六十五頁(yè)，2022年，8月28日29單符號(hào)信源如下,求二次擴(kuò)展信源熵?cái)U(kuò)展信源：例第三十頁(yè)，共六十五頁(yè)，2022年，8月28日30第三十一頁(yè)，共六十五頁(yè)，2022年，8月28日31擴(kuò)展信源模型的求法例設(shè)有離散無(wú)記憶信源。（1）求和；（2）當(dāng)時(shí)，計(jì)算。解（1）求2次和3次擴(kuò)展信源的符號(hào)表:第三十二頁(yè)，共六十五頁(yè)，2022年，8月28日32擴(kuò)展信源模型的求法(續(xù)一)求概率：

根據(jù)信源的無(wú)記憶特性，有

同理可得：

第三十三頁(yè)，共六十五頁(yè)，2022年，8月28日33擴(kuò)展信源模型的求法(續(xù)二)（2）當(dāng)時(shí)，計(jì)算。有兩種求法。方法一：Bit/符號(hào)Bit/三元符號(hào)方法二：Bit/三元符號(hào)第三十四頁(yè)，共六十五頁(yè)，2022年，8月28日342.8離散有記憶信源的熵N階平穩(wěn)信源的聯(lián)合熵

bit/N長(zhǎng)符號(hào)串或

bit/符號(hào)一般離散有記憶信源的極限熵：考慮，

bit/符號(hào)進(jìn)一步推導(dǎo)可得出

第三十五頁(yè)，共六十五頁(yè)，2022年，8月28日35如果是無(wú)記憶的，則有

于是

bit/符號(hào)第三十六頁(yè)，共六十五頁(yè)，2022年，8月28日362.10離散信源的信息（速）率和信息含量效率信息率

信息速率信息含量效率相對(duì)冗余度第三十七頁(yè)，共六十五頁(yè)，2022年，8月28日37

信息率用來(lái)衡量信源發(fā)出信息的能力。定義為平均一個(gè)符號(hào)所攜帶的信息量，即信源的實(shí)在信息，在數(shù)值上等于信源的極限熵。

bit/符號(hào)信息速率

信源單位時(shí)間內(nèi)發(fā)出的平均信息量。如果信源平均秒發(fā)出一個(gè)符號(hào)，則

bit/秒第三十八頁(yè)，共六十五頁(yè)，2022年，8月28日38

信息含量效率

定義為實(shí)際的實(shí)在信息與最大的實(shí)在信息之比。顯然當(dāng)且僅當(dāng)是DMS且等概率分布（）時(shí)，。第三十九頁(yè)，共六十五頁(yè)，2022年，8月28日39

相對(duì)冗余度表示信源含無(wú)效成份的程度。定義為當(dāng)然也有當(dāng)且僅當(dāng)，。對(duì)于DMS，只須把公式中的極限熵?fù)Q成普通熵即可。第四十頁(yè)，共六十五頁(yè)，2022年，8月28日40信源的信息含量效率：信源的相對(duì)冗余度：當(dāng)且僅當(dāng)信源是DMS且等概率分布（）時(shí)

例設(shè)DMS為。求信源的信息含量效率和相對(duì)冗余度。解：第四十一頁(yè)，共六十五頁(yè)，2022年，8月28日41作業(yè):PP.2.6;2.10(1);2.11;第四十二頁(yè)，共六十五頁(yè)，2022年，8月28日422.11連續(xù)隨機(jī)變量下的熵和平均互信息量2.11.1連續(xù)隨機(jī)變量下的熵2.11.2連續(xù)隨機(jī)變量下的平均互信息量2.11.3微分熵的極大化問(wèn)題2.11.4連續(xù)信源的熵功率第四十三頁(yè)，共六十五頁(yè)，2022年，8月28日43作業(yè)：P.502.62.11第四十四頁(yè)，共六十五頁(yè)，2022年，8月28日442.11.1連續(xù)隨機(jī)變量下的熵連續(xù)信源的數(shù)學(xué)模型連續(xù)隨機(jī)變量的微分熵第四十五頁(yè)，共六十五頁(yè)，2022年，8月28日45連續(xù)信源

的數(shù)學(xué)模型是連續(xù)隨機(jī)變量，其取值集合是連續(xù)區(qū)間，概率密度函數(shù)是，連續(xù)信源的數(shù)學(xué)模型為：第四十六頁(yè)，共六十五頁(yè)，2022年，8月28日46連續(xù)隨機(jī)變量的微分熵把連續(xù)熵看成離散熵的極限情況，將的值域等分為K個(gè)子區(qū)間：，，第k個(gè)子區(qū)間內(nèi)的概率為，這樣得到一個(gè)離散隨機(jī)變量，其概率空間為第四十七頁(yè)，共六十五頁(yè)，2022年，8月28日47且概率空間是完備的：根據(jù)離散熵公式，有第四十八頁(yè)，共六十五頁(yè)，2022年，8月28日48將區(qū)間無(wú)限細(xì)分，即，，對(duì)離散熵取極限即可得連續(xù)熵的實(shí)際值：第二項(xiàng)為無(wú)窮大，因此，連續(xù)熵為無(wú)窮大，失去意義。第一項(xiàng)表示連續(xù)熵的相對(duì)值，稱其為連續(xù)隨機(jī)變量的微分熵，記為。第四十九頁(yè)，共六十五頁(yè)，2022年，8月28日49微分熵的更一般的定義式為微分熵就不當(dāng)作連續(xù)隨機(jī)變量的真正測(cè)度。在考慮熵的變化時(shí)，微分熵仍具相對(duì)意義。微分熵是去掉無(wú)窮大項(xiàng)后剩下的有限項(xiàng)，因此失去作為不確定性度量的某些重要性質(zhì)，如：不具備非負(fù)性，可能出現(xiàn)負(fù)值；在隨機(jī)變量的一一變換之下，微分熵可能改變。第五十頁(yè)，共六十五頁(yè)，2022年，8月28日50連續(xù)隨機(jī)變量和之間的平均互信息量第五十一頁(yè)，共六十五頁(yè)，2022年，8月28日51平均互信息量與微分熵之間的關(guān)系即連續(xù)情況下的平均互信息量有實(shí)際的物理意義，仍具有互易性和非負(fù)性，即

第五十二頁(yè)，共六十五頁(yè)，2022年，8月28日52求均勻分布的連續(xù)信源熵第五十三頁(yè)，共六十五頁(yè)，2022年，8月28日532平均互信息量的物理解釋信源觀察過(guò)程

從中獲得的關(guān)于的信息＝的先驗(yàn)(平均)不確定性－的后驗(yàn)(平均)不確定性第五十四頁(yè)，共六十五頁(yè)，2022年，8月28日543公式推導(dǎo)?推導(dǎo):第五十五頁(yè)，共六十五頁(yè)，2022年，8月28日554平均互信息量的性質(zhì)（1）互易性:說(shuō)明:第五十六頁(yè)，共六十五頁(yè)，2022年，8月28日56（2）非負(fù)性：注意：可正可負(fù)。條件熵不會(huì)大于無(wú)條件熵，增加條件只可能使不確定性減小，不會(huì)增大不確定性推廣：條件多的熵不會(huì)大于條件少的熵。即第五十七頁(yè)，共六十五頁(yè)，2022年，8月28日57（3）有界性：簡(jiǎn)證：第五十八頁(yè)，共六十五頁(yè)，2022年，8月28日58例均勻分布隨機(jī)變量的熵設(shè)連續(xù)隨機(jī)變量服從均勻分布，即概率密度函數(shù)為：