信息論編碼 第二章信息度量1

1、第二章 信息論的基本概念信息的統(tǒng)計(jì)度量 引言預(yù)備知識(shí)1信息的度量信息的可度量性-建立信息論的基礎(chǔ)；信息度量的方法:結(jié)構(gòu)度量統(tǒng)計(jì)度量語(yǔ)義度量模糊度量等；統(tǒng)計(jì)度量：用事件統(tǒng)計(jì)發(fā)生概率的對(duì)數(shù)來(lái)描述事物的不確定性，得到消息的信息量，建立熵的概念；熵概念是香農(nóng)信息論最基本最重要的概念。2單符號(hào)離散信源的數(shù)學(xué)模型離散信源只涉及一個(gè)隨機(jī)事件，可用離散隨機(jī)變量來(lái)表示。單符號(hào)離散的數(shù)學(xué)模型X，Y，Z代表隨機(jī)變量，指的是信源整體； 代表隨機(jī)事件的某一結(jié)果或信源的某個(gè)元素。不可混淆!3概率復(fù)習(xí)4中學(xué)數(shù)學(xué)知識(shí)Log(xy)=logx+logyLog(x/y)=logx-logy2.1 自信息和條件自信息量2.1.1自

2、信息量自信息量Information I(ai) of ai must be function of ais uncertainty such as P(ai)It can be expression as I(ai) =fP(ai) How about I(ai) =P(ai) ? Not suit for 4 axiom If P(ai), ; If P(ai)=0, I(ai)=; If P(ai)=1, I(ai)=0; If P(a1) and P(a2) are independent then I(a1a2)= I(a1)+ I(a2)對(duì)于單個(gè)消息隨機(jī)變量U，出現(xiàn)某個(gè)消息，對(duì)應(yīng)概

3、率為 ，這時(shí)可獲得的信息量為 ，則有：解釋：小概率事件，一當(dāng)出現(xiàn)必然使人感到意外，因此產(chǎn)生的信息量就大；幾乎不可能事件一旦出現(xiàn)，將是一條爆炸性的新聞，一鳴驚人。大概率事件，是預(yù)料之中的，即使發(fā)生，也沒(méi)什么信息量，特別是當(dāng)必然事件發(fā)生了，它不會(huì)給人以任何信息量。注：I自信息自信息量I(ai)的性質(zhì)I(ai)是非負(fù)值；當(dāng)P(ai) =1時(shí)， I(ai)=0；當(dāng)P(ai) =0時(shí)， I(ai)= ；I(ai)是P(ai) 的單調(diào)遞減函數(shù)聯(lián)合自信息量信源模型(涉及兩個(gè)隨機(jī)事件)聯(lián)合自信息量舉例2.12(6)2.1.2條件自信息量條件概率對(duì)數(shù)的負(fù)值在特定條件下( 已定)隨機(jī)事件 發(fā)生所帶來(lái)的信息量定義聯(lián)

4、合自信息量和條件自信息量也滿足非負(fù)和單調(diào)遞減性。關(guān)系當(dāng)X和Y獨(dú)立時(shí)，2.2互信息量和條件互信息量信源發(fā)出消息 的概率 稱為先驗(yàn)概率，信宿收到 后推測(cè)信源發(fā)出 的概率稱為后驗(yàn)概率 。定義 的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)為 對(duì) 的互信息量，用 表示，即互信息量等于自信息量減去條件自信息量。第三種表達(dá)方式：互信息的性質(zhì)對(duì)稱性當(dāng)X和Y相互獨(dú)立時(shí)，互信息為0互信息量可為正值或負(fù)值條件互信息量給定條件 下， 與 之間的互信息量，其定義式 問(wèn)題與思考課堂疑問(wèn)?某地二月份天氣構(gòu)成的信源為 現(xiàn)有人告訴你:“今天不是晴天?！保堰@句話作為收到的消息 。當(dāng)收到消息 后，各種天氣發(fā)生的概率變成后驗(yàn)概率了。其中計(jì)算 與

5、各種天氣之間的互信息量信息量X2、x3、x4各1比特的信息量，也可以理解為y1使X2、x3、x4不確定度各減少1比特說(shuō)明收到y(tǒng)1后，不僅沒(méi)有使x1的不確定度減少，反而使x1不確定更大，互信息量為負(fù)舉例2.2概率復(fù)習(xí)2.3 信源熵2.3.1熵的引入 一個(gè)離散隨機(jī)變量X，以不同的取值概率有N個(gè)可能取值, XP（x）a1 a2 aNp1 p2 pN信息論關(guān)心：X的不確定性不確定性大，獲取的信息多熵的引入箱內(nèi)100個(gè)球摸到紅球不確定性分析：隨機(jī)變量X、Y、ZXP（x） a1 a2 0.99 0.01ZP（z）a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP（y） a1 a2 0.

6、5 0.5問(wèn)題：能否度量、如何度量？小大99個(gè)紅球，1個(gè)黑球50個(gè)紅球，50個(gè)黑球20個(gè)紅球，其它4種顏色各20個(gè)2.3.2信源熵?cái)?shù)學(xué)描述信源熵定義：信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望（即概率加權(quán)的統(tǒng)計(jì)平均值）為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農(nóng)熵，有時(shí)也稱為無(wú)條件熵或熵函數(shù)，簡(jiǎn)稱熵。公式：熵函數(shù)的自變量是X,表示信源整體，實(shí)質(zhì)上是無(wú)記憶信源平均不確定度的度量。也是試驗(yàn)后平均信息量為熵單位：以2為底，比特/符號(hào)為什么要用熵這個(gè)詞，與熱熵的區(qū)別？不確定性攜載的信息熵的單位 信息熵的單位與公式中的對(duì)數(shù)取底有關(guān)。通信與信息中最常用的是以2為底，這時(shí)單位為比特（bit）；理論推

7、導(dǎo)中用以e為底較方便，這時(shí)單位為奈特（Nat）；工程上用以10為底較方便，這時(shí)單位為笛特（Det）。它們之間可以引用對(duì)數(shù)換底公式進(jìn)行互換。比如： 1 bit = 0.693 Nat = 0.301 Det香農(nóng)熵與熱力學(xué)中熱熵的關(guān)系熵這個(gè)名詞是仙農(nóng)從物理學(xué)中的統(tǒng)計(jì)熱力學(xué)借用過(guò)來(lái)的，在物理學(xué)中稱它為熱熵是表示分子混亂程度的一個(gè)物理量，這里，仙農(nóng)引用它來(lái)描述信源的平均不確定性，含義是類似的。但是在熱力學(xué)中已知任何孤立系統(tǒng)的演化，熱熵只能增加不能減少；而在信息論中，信息熵正相反，只會(huì)減少，不會(huì)增加。所以有人稱信息熵為負(fù)熱熵。二者還有一個(gè)重大差別：熱熵是有量綱的，而香農(nóng)熵是無(wú)量綱的。信源熵和平均自信息量

8、兩者在數(shù)值上是相等的，但含義并不同。信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的量度。熵作為信息的度量小結(jié)：信源熵H(X)的三種物理含義表示信源輸出后，每個(gè)離散消息所提供的平均信息量。表示信源輸出前，信源的平均不確定度。反映了變量X的隨機(jī)性和無(wú)序性。舉例（不確定性）熵可以作為信息的量度對(duì)于隨機(jī)變量而言：試驗(yàn)前試驗(yàn)后各取值的概率分布確切取值 （0）（不確定性）熵一定的確切性多次試驗(yàn)后通過(guò)試驗(yàn)消除了不確定性獲得了信息信息的數(shù)量例1.1: 試驗(yàn)前：試驗(yàn)后：XP（x）1 2 3 4 5 61/6 1/6 1/6 1/6 1/6 1/6H(x) = log6 = 2.58b

9、its = 1.79nats (實(shí)驗(yàn)前不確定量-熵）X1P（x1）1 2 3 4 5 6 0 1 0 0 0 0H(x1) = 0H(x) H(x1) = log6 （做完實(shí)驗(yàn)后提供信息量）獲得了信息數(shù)量熵例1.2:試驗(yàn)前：H(x) = log8 = 3(bit/符號(hào))H(x2) H(x3) =1 獲得1bit信息量XP（x）1 2 3 4 5 6 7 81/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 12312345678第一次測(cè)量后：X1P（x1）1 2 3 4 5 6 7 81/4 1/4 1/4 1/4 0 0 0 0 H(x1) = log4 = 2(bit/符號(hào))第

10、二次測(cè)量后：X2P（x2）1 2 3 4 5 6 7 81/2 1/2 0 0 0 0 0 0 H(x2) = log2 = 1(bit/符號(hào))第三次測(cè)量后：X3P（x3）1 2 3 4 5 6 7 8 1 0 0 0 0 0 0 0 H(x3) = log1 = 0(bit/符號(hào))H(x) H(x1) = 1獲得1bit信息量H(x1) H(x2) =1 獲得1bit信息量H(X)表示在獲知哪個(gè)燈泡是壞的情況前，關(guān)于哪個(gè)燈泡已損壞的平均不確定性，即要確定哪個(gè)燈泡是壞的，至少需要獲得3個(gè)bit的信息量，才能完全消除不確定性。？必須測(cè)3次嗎？熵的計(jì)算舉例2.5概率復(fù)習(xí)2.3.3條件熵條件熵是在聯(lián)合符號(hào)集合XY上的條件自信息量的數(shù)學(xué)期望。在已知隨機(jī)變量Y的條件下，隨機(jī)變量X的條件熵定義為：思考：求條件熵時(shí)為什么要用聯(lián)合概率加權(quán)？是已知一隨機(jī)變量，對(duì)另一個(gè)隨機(jī)變量的不確定性的量度概率復(fù)習(xí)條件熵是一個(gè)確定值，表示信宿在收到Y(jié)后，信源X仍然存在的不確定度。這是傳輸失真所造成的。有時(shí)稱H(X/Y)為信道疑義度，也稱損失熵。稱條件熵H(Y/X)為噪聲熵。2.3.4聯(lián)合熵（共熵）聯(lián)合離散符號(hào)集合XY上的每個(gè)元素對(duì) 的聯(lián)