信息論第2章(信息量熵及互信息量)課件

信息論基礎(chǔ)TheBasisofInformationTheory主題No2：信息量、熵和互信息量信息論基礎(chǔ)TheBasisofInformation1在上一次課中我們提到香農(nóng)對(duì)信息定性的定義——事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。事實(shí)上，香農(nóng)對(duì)信息不僅作了定性描述，而且還進(jìn)行了定量分析。信源發(fā)出的消息常常是隨機(jī)的，具有不確定性。如果信源中某一消息的不確定性越大，一旦發(fā)生，并為收信者收到，消除的不確定性就越大，獲得的信息也就越大。同時(shí)事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)，概率越小，不確定性就越大。研究通信系統(tǒng)的目的就是要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行?、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)最優(yōu)化。在上一次課中我們提到香農(nóng)對(duì)信息定性的定義——事物運(yùn)動(dòng)2離散集自信息量的性質(zhì)因此，某事件x發(fā)生所提供的信息量I(x)應(yīng)該是該事件發(fā)生的先驗(yàn)概率p(x)的函數(shù):I(x)=f(p(x))(4)當(dāng)p(x)=0時(shí)，I(x)=∞:表示不可能事件一旦發(fā)生，信息量將無窮大。且應(yīng)滿足以下四點(diǎn)：(1)I(x)應(yīng)該是事件概率p(x)的單調(diào)遞減函數(shù)；(2)信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各自信息量之和；(3)當(dāng)p(x)=1時(shí)，I(x)=0：表示確定事件發(fā)生得不到任何信息；離散集自信息量的性質(zhì)因此，某事件x發(fā)生所提供的信息量3自信息量的計(jì)算公式綜合上述條件，在概率上已經(jīng)嚴(yán)格證明了自信息量的單位：若這里的對(duì)數(shù)底取2，則單位為比特bit，由于在計(jì)算機(jī)上是二進(jìn)制，我們一般都采用比特。其他單位以及相互之間轉(zhuǎn)換關(guān)系查閱教材。其中p(x)為消息的先驗(yàn)概率。自信息量的計(jì)算公式綜合上述條件，在概率上已經(jīng)嚴(yán)格證明4計(jì)算自信息量的例子例1：信源消息X={0,1,2}的概率模型如下：xi012P(xi)1/31/61/2xi012P(xi)1/31/61/2I(xi)log3log6log2則該信源各消息的自信息量分別為：單位：比特計(jì)算自信息量的例子例1：信源消息X={0,1,2}的概率模5自信息量的涵義自信息量代表兩種含義：二、當(dāng)事件x發(fā)生以后，I(x)表示事件x所提供的信息量（在無噪情況下)。在通信系統(tǒng)模型中，不僅可以用自信息量來研究信源中的每個(gè)消息，對(duì)信宿也可同樣可以。一、事件x發(fā)生以前，I(x)表示事件x發(fā)生的不確定性；自信息量的涵義自信息量代表兩種含義：二、當(dāng)事件x發(fā)生以后，I6自信息量計(jì)算的應(yīng)用例2：假設(shè)一條電線上串聯(lián)了8個(gè)燈泡x1,x2,…,x8,這8個(gè)燈泡損壞的可能性是等概率的,假設(shè)有也只有一個(gè)燈泡損壞,用萬用表去測量,獲得足夠的信息量,才能獲知和確定哪個(gè)燈泡xi損壞。下面就來看我們最少需要獲得多少信息量才能判斷出。自信息量計(jì)算的應(yīng)用例2：假設(shè)一條電線上串聯(lián)了8個(gè)燈泡x1,x7第三次測量獲得的信息量：故共需要3bit信息量.第二次測量獲得的信息量：[解]第一次測量獲得的信息量：第三次測量獲得的信息量：故共需要3bit信息量.第二次測量獲8信源熵前面我們根據(jù)信源或信宿的概率模型，通過自信息量的計(jì)算，能得到信源以及信宿中每個(gè)消息的不確定性。然而，事實(shí)上，人們往往關(guān)注的并不緊緊是每個(gè)消息的不確定性，而是整個(gè)系統(tǒng)的不確定性的統(tǒng)計(jì)特性即整個(gè)信源自信息量的統(tǒng)計(jì)平均值——熵。xi01P(xi)0.50.5yi01P(yi)0.990.01我們先來看一個(gè)例子：例3有兩個(gè)信源X和Y：在現(xiàn)實(shí)中，能找到很多類似的模型，我們想知道這兩個(gè)信源本質(zhì)的區(qū)別在哪里？信源熵前面我們根據(jù)信源或信宿的概率模型，通過自信息量9平均自信息量——熵的定義設(shè)X是一個(gè)集合（即信息系統(tǒng)如信源或信道），其概率模型為{xi,p(xi)}，則定義系統(tǒng)X的平均自信息量——熵為：熵的單位是比特/符號(hào).我們知道，I(xi)是唯一確定xi所需要的信息量，那么H(X)就是唯一確定X中任一事件所需的平均信息量。它反映了X中事件xi出現(xiàn)的平均不確定性。平均自信息量——熵的定義設(shè)X是一個(gè)集合（即信息系統(tǒng)如10熵的幾條性質(zhì)（4）極值性——最大離散熵定理:設(shè)|X|為信源消息的個(gè)數(shù),則有H(X)小于等于log|X|，等號(hào)當(dāng)且僅當(dāng)信源X中各消息等概率時(shí)成立，即各消息等概率分布時(shí)(p=1/|X|),信源熵最大.(3)確定性:若離散事件是確定事件,則H(X)＝0(2)非負(fù)性：H(X)≥0；(1)對(duì)稱性：熵只和分布有關(guān)，不關(guān)心某一具體事件對(duì)應(yīng)哪個(gè)概率；熵的幾條性質(zhì)（4）極值性——最大離散熵定理:設(shè)|X|為信源消11計(jì)算熵的例子例4計(jì)算下面一個(gè)信源的熵：xi000001010011100101110111q(xi)1/41/41/81/81/161/161/161/16[解]由定義有：(比特/符號(hào))我們再回過頭來看一下例3中兩個(gè)信源熵分別是多少，結(jié)果反映了一個(gè)怎樣的事實(shí)？[例3解答]由定義有：顯然,H(X)>>H(Y),這表示信源X的平均不穩(wěn)定性遠(yuǎn)遠(yuǎn)大于信源Y的平均不穩(wěn)定性。計(jì)算熵的例子例4計(jì)算下面一個(gè)信源的熵：xi0000010112條件自信息量前面我們引入自信息量以及熵的概念，用以描述信源或信宿，事實(shí)上，信宿收到的消息是與信源發(fā)出的消息密切相關(guān)。并且接受信息與發(fā)送信息之間的關(guān)系往往是判定一個(gè)信道的好壞的最佳標(biāo)準(zhǔn)。所以，我們需要引入互信息量。在學(xué)習(xí)互信息量之前我們先來了解條件信息量的概念。

設(shè)消息x發(fā)出的先驗(yàn)概率為p(x)，收到消息y是由x發(fā)出的條件概率為p(x|y),則在收到y(tǒng)是由x發(fā)出的條件自信息量I(x|y)定義為：（比特）條件自信息量前面我們引入自信息量以及熵的概念，用以描13計(jì)算條件自信息量的例子例5在二進(jìn)制對(duì)稱信道BSC中，若信道轉(zhuǎn)移概率矩陣為：

計(jì)算下列條件自信息量(若p(0)=p(1)=1)：[解答]由已知條件可得：量的定義得由條件自信息單位為比特計(jì)算條件自信息量的例子例5在二進(jìn)制對(duì)稱信道BSC中，若信道14我們知道,在通信之前,消息x具有不確定性p(x),其大小為x的自信息量:兩者之間的差就是我們通過這一次通信所獲得到的信息量的大小。I(x|y)=-logp(x|y)I(x)=-logp(x)當(dāng)我們收到消息y，它是否由x發(fā)出也有一定的不確定性p(x|y)，其大小為條件自信息量:我們知道,在通信之前,消息x具有不確定性p(x),其15同樣，收到的消息為y具有不確定性p(y)，其大小為y的自信息量：兩者之間的差也是我們通過這一次通信所獲得到的信息量的大小。I(y|x)=-logp(y|x)I(y)=-logp(y)當(dāng)我們發(fā)出消息x,它是否收到y(tǒng)也有一定的不確定性p(y|x)，其大小為條件自信息量:同樣，收到的消息為y具有不確定性p(y)，其大小為y的自信息16互信息量很顯然，從通信的角度來看，上述兩個(gè)差值應(yīng)該相等，即：事實(shí)上，由概率論概率的乘積公式有：這樣，用I（x;y）或I（y;x）記該差式，稱為x與y之間的互信息量，單位也為比特。故：互信息量很顯然，從通信的角度來看，上述兩個(gè)差值應(yīng)該相17互信息量的性質(zhì)一、對(duì)稱性：I(x;y)=I(y;x),其通信意義表示發(fā)出x收到y(tǒng)所能提供給我們的信息量的大小；二、當(dāng)x與y統(tǒng)計(jì)獨(dú)立時(shí),I(x;y)=I(y;x)=0,表示這樣一次通信不能為我們提供任何信息.上述兩條性質(zhì)與我們實(shí)際情況非常吻合.互信息量的性質(zhì)一、對(duì)稱性：I(x;y)=I(y;x),其通信18例5設(shè)信源中含有8個(gè)消息，其先驗(yàn)概率如下圖,試求當(dāng)我們收到011所能獲取到的信息量,即計(jì)算互信息量I(x3;011).計(jì)算互信息量的例子信源消息碼字先驗(yàn)概率消息后驗(yàn)概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000例5設(shè)信源中含有8個(gè)消息，其先驗(yàn)概率如下圖,試求當(dāng)我們收19[解法一]由互信息量的含義得：信源消息碼字先驗(yàn)概率消息后驗(yàn)概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000單位為比特[解法一]由互信息量的含義得：信源消息碼字先驗(yàn)概率消息后驗(yàn)概20信源消息碼字先驗(yàn)概率消息后驗(yàn)概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000[解法二]直接計(jì)算得：單位為比特信源消息碼字先驗(yàn)概率消息后驗(yàn)概率收到0后收到01后收到01121熵是信源平均不確定性的度量,一般情況下,它并不等于信宿所獲得的平均信息量,只有在無噪情況下,二者才相等.為此我們需要學(xué)習(xí)條件熵.同時(shí)我們由條件熵引出平均互信息量的概念,其可以用來衡量一個(gè)信道的好壞.熵是信源平均不確定性的度量,一般情況下,它并不等于信22條件熵的定義設(shè)X是信源的消息集,Y是信宿消息集,對(duì)條件自信息量I(x|y)取統(tǒng)計(jì)平均值得到條件熵H(X|Y),即：

其中p（x,y）為聯(lián)合概率,p（x|y）為條件概率.條件熵的定義設(shè)X是信源的消息集,Y是信宿消息集,對(duì)條23平均互信息量的定義很顯然,信源X的熵H(X)與條件熵H(X|Y)的差值和信宿Y的熵H(Y)與條件熵H(Y|X)的差值相等,我們稱為X與Y的平均互信息量,記為：I(X;Y)是一個(gè)用來衡量信道好壞的非常好的工具。平均互信息量的定義很顯然,信源X的熵H(X)與條件熵24計(jì)算條件熵的例子例6設(shè)一個(gè)二進(jìn)制對(duì)稱信道BSC：其先驗(yàn)概率為p(0)=p(1)=1/2，試計(jì)算條件熵.[解答]由已知條件得：計(jì)算條件熵的例子例6設(shè)一個(gè)二進(jìn)制對(duì)稱信道BSC：其先驗(yàn)概25結(jié)果表明，雖然每個(gè)字符的錯(cuò)誤率只有0.1，可導(dǎo)致整個(gè)信宿對(duì)信源的平均不確定性達(dá)到了0.469，將近一半。可見通信系統(tǒng)對(duì)信道的要求非常高。由條件熵的定義有：結(jié)果表明，雖然每個(gè)字符的錯(cuò)誤率只有0.1，可導(dǎo)致整個(gè)26信息論基礎(chǔ)TheBasisofInformationTheory主題No2：信息量、熵和互信息量信息論基礎(chǔ)TheBasisofInformation27在上一次課中我們提到香農(nóng)對(duì)信息定性的定義——事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。事實(shí)上，香農(nóng)對(duì)信息不僅作了定性描述，而且還進(jìn)行了定量分析。信源發(fā)出的消息常常是隨機(jī)的，具有不確定性。如果信源中某一消息的不確定性越大，一旦發(fā)生，并為收信者收到，消除的不確定性就越大，獲得的信息也就越大。同時(shí)事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)，概率越小，不確定性就越大。研究通信系統(tǒng)的目的就是要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行浴⒈Ｃ苄院驼J(rèn)證性，以達(dá)到信息傳輸系統(tǒng)最優(yōu)化。在上一次課中我們提到香農(nóng)對(duì)信息定性的定義——事物運(yùn)動(dòng)28離散集自信息量的性質(zhì)因此，某事件x發(fā)生所提供的信息量I(x)應(yīng)該是該事件發(fā)生的先驗(yàn)概率p(x)的函數(shù):I(x)=f(p(x))(4)當(dāng)p(x)=0時(shí)，I(x)=∞:表示不可能事件一旦發(fā)生，信息量將無窮大。且應(yīng)滿足以下四點(diǎn)：(1)I(x)應(yīng)該是事件概率p(x)的單調(diào)遞減函數(shù)；(2)信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各自信息量之和；(3)當(dāng)p(x)=1時(shí)，I(x)=0：表示確定事件發(fā)生得不到任何信息；離散集自信息量的性質(zhì)因此，某事件x發(fā)生所提供的信息量29自信息量的計(jì)算公式綜合上述條件，在概率上已經(jīng)嚴(yán)格證明了自信息量的單位：若這里的對(duì)數(shù)底取2，則單位為比特bit，由于在計(jì)算機(jī)上是二進(jìn)制，我們一般都采用比特。其他單位以及相互之間轉(zhuǎn)換關(guān)系查閱教材。其中p(x)為消息的先驗(yàn)概率。自信息量的計(jì)算公式綜合上述條件，在概率上已經(jīng)嚴(yán)格證明30計(jì)算自信息量的例子例1：信源消息X={0,1,2}的概率模型如下：xi012P(xi)1/31/61/2xi012P(xi)1/31/61/2I(xi)log3log6log2則該信源各消息的自信息量分別為：單位：比特計(jì)算自信息量的例子例1：信源消息X={0,1,2}的概率模31自信息量的涵義自信息量代表兩種含義：二、當(dāng)事件x發(fā)生以后，I(x)表示事件x所提供的信息量（在無噪情況下)。在通信系統(tǒng)模型中，不僅可以用自信息量來研究信源中的每個(gè)消息，對(duì)信宿也可同樣可以。一、事件x發(fā)生以前，I(x)表示事件x發(fā)生的不確定性；自信息量的涵義自信息量代表兩種含義：二、當(dāng)事件x發(fā)生以后，I32自信息量計(jì)算的應(yīng)用例2：假設(shè)一條電線上串聯(lián)了8個(gè)燈泡x1,x2,…,x8,這8個(gè)燈泡損壞的可能性是等概率的,假設(shè)有也只有一個(gè)燈泡損壞,用萬用表去測量,獲得足夠的信息量,才能獲知和確定哪個(gè)燈泡xi損壞。下面就來看我們最少需要獲得多少信息量才能判斷出。自信息量計(jì)算的應(yīng)用例2：假設(shè)一條電線上串聯(lián)了8個(gè)燈泡x1,x33第三次測量獲得的信息量：故共需要3bit信息量.第二次測量獲得的信息量：[解]第一次測量獲得的信息量：第三次測量獲得的信息量：故共需要3bit信息量.第二次測量獲34信源熵前面我們根據(jù)信源或信宿的概率模型，通過自信息量的計(jì)算，能得到信源以及信宿中每個(gè)消息的不確定性。然而，事實(shí)上，人們往往關(guān)注的并不緊緊是每個(gè)消息的不確定性，而是整個(gè)系統(tǒng)的不確定性的統(tǒng)計(jì)特性即整個(gè)信源自信息量的統(tǒng)計(jì)平均值——熵。xi01P(xi)0.50.5yi01P(yi)0.990.01我們先來看一個(gè)例子：例3有兩個(gè)信源X和Y：在現(xiàn)實(shí)中，能找到很多類似的模型，我們想知道這兩個(gè)信源本質(zhì)的區(qū)別在哪里？信源熵前面我們根據(jù)信源或信宿的概率模型，通過自信息量35平均自信息量——熵的定義設(shè)X是一個(gè)集合（即信息系統(tǒng)如信源或信道），其概率模型為{xi,p(xi)}，則定義系統(tǒng)X的平均自信息量——熵為：熵的單位是比特/符號(hào).我們知道，I(xi)是唯一確定xi所需要的信息量，那么H(X)就是唯一確定X中任一事件所需的平均信息量。它反映了X中事件xi出現(xiàn)的平均不確定性。平均自信息量——熵的定義設(shè)X是一個(gè)集合（即信息系統(tǒng)如36熵的幾條性質(zhì)（4）極值性——最大離散熵定理:設(shè)|X|為信源消息的個(gè)數(shù),則有H(X)小于等于log|X|，等號(hào)當(dāng)且僅當(dāng)信源X中各消息等概率時(shí)成立，即各消息等概率分布時(shí)(p=1/|X|),信源熵最大.(3)確定性:若離散事件是確定事件,則H(X)＝0(2)非負(fù)性：H(X)≥0；(1)對(duì)稱性：熵只和分布有關(guān)，不關(guān)心某一具體事件對(duì)應(yīng)哪個(gè)概率；熵的幾條性質(zhì)（4）極值性——最大離散熵定理:設(shè)|X|為信源消37計(jì)算熵的例子例4計(jì)算下面一個(gè)信源的熵：xi000001010011100101110111q(xi)1/41/41/81/81/161/161/161/16[解]由定義有：(比特/符號(hào))我們再回過頭來看一下例3中兩個(gè)信源熵分別是多少，結(jié)果反映了一個(gè)怎樣的事實(shí)？[例3解答]由定義有：顯然,H(X)>>H(Y),這表示信源X的平均不穩(wěn)定性遠(yuǎn)遠(yuǎn)大于信源Y的平均不穩(wěn)定性。計(jì)算熵的例子例4計(jì)算下面一個(gè)信源的熵：xi0000010138條件自信息量前面我們引入自信息量以及熵的概念，用以描述信源或信宿，事實(shí)上，信宿收到的消息是與信源發(fā)出的消息密切相關(guān)。并且接受信息與發(fā)送信息之間的關(guān)系往往是判定一個(gè)信道的好壞的最佳標(biāo)準(zhǔn)。所以，我們需要引入互信息量。在學(xué)習(xí)互信息量之前我們先來了解條件信息量的概念。

設(shè)消息x發(fā)出的先驗(yàn)概率為p(x)，收到消息y是由x發(fā)出的條件概率為p(x|y),則在收到y(tǒng)是由x發(fā)出的條件自信息量I(x|y)定義為：（比特）條件自信息量前面我們引入自信息量以及熵的概念，用以描39計(jì)算條件自信息量的例子例5在二進(jìn)制對(duì)稱信道BSC中，若信道轉(zhuǎn)移概率矩陣為：

計(jì)算下列條件自信息量(若p(0)=p(1)=1)：[解答]由已知條件可得：量的定義得由條件自信息單位為比特計(jì)算條件自信息量的例子例5在二進(jìn)制對(duì)稱信道BSC中，若信道40我們知道,在通信之前,消息x具有不確定性p(x),其大小為x的自信息量:兩者之間的差就是我們通過這一次通信所獲得到的信息量的大小。I(x|y)=-logp(x|y)I(x)=-logp(x)當(dāng)我們收到消息y，它是否由x發(fā)出也有一定的不確定性p(x|y)，其大小為條件自信息量:我們知道,在通信之前,消息x具有不確定性p(x),其41同樣，收到的消息為y具有不確定性p(y)，其大小為y的自信息量：兩者之間的差也是我們通過這一次通信所獲得到的信息量的大小。I(y|x)=-logp(y|x)I(y)=-logp(y)當(dāng)我們發(fā)出消息x,它是否收到y(tǒng)也有一定的不確定性p(y|x)，其大小為條件自信息量:同樣，收到的消息為y具有不確定性p(y)，其大小為y的自信息42互信息量很顯然，從通信的角度來看，上述兩個(gè)差值應(yīng)該相等，即：事實(shí)上，由概率論概率的乘積公式有：這樣，用I（x;y）或I（y;x）記該差式，稱為x與y之間的互信息量，單位也為比特。故：互信息量很顯然，從通信的角度來看，上述兩個(gè)差值應(yīng)該相43互信息量的性質(zhì)一、對(duì)稱性：I(x;y)=I(y;x),其通信意義表示發(fā)出x收到y(tǒng)所能提供給我們的信息量的大小；二、當(dāng)x與y統(tǒng)計(jì)獨(dú)立時(shí),I(x;y)=I(y;x)=0,表示這樣一次通信不能為我們提供任何信息.上述兩條性質(zhì)與我們實(shí)際情況非常吻合.互信息量的性質(zhì)一、對(duì)稱性：I(x;y)=I(y;x),其通信44例5設(shè)信源中含有8個(gè)消息，其先驗(yàn)概率如下圖,試求當(dāng)我們收到011所能獲取到的信息量,即計(jì)算互信息量I(x3;011).計(jì)算互信息量的例子信源消息碼字先驗(yàn)概率消息后驗(yàn)概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000例5設(shè)信源中含有8個(gè)消息，其先驗(yàn)概率如下圖,試求當(dāng)我們收45[解法一]由互信息量的含義得：信源消息碼字先驗(yàn)概率消息后驗(yàn)概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000