信息論第二章課件

2023/7/241第二章：離散信源及其信息測度（一）

(DiscreteSource

andtheMeasureofInformation)

2.1

信源的數(shù)學(xué)模型及分類

2.2

離散信源的信息熵 2.3信息熵的基本性質(zhì)?信息理論基礎(chǔ)?2023/7/242第2章

離散信源及其信息測度2.1信源的數(shù)學(xué)模型及分類根據(jù)消息的不同的隨機性質(zhì)對信源進行分類：離散信源：信源輸出的都是單個符號（或代碼）的消息，它們符號集的取值是有限的或可數(shù)的?？捎靡痪S離散型隨機變量X來描述這些信源的輸出。這樣的信源稱為～。

概率空間2023/7/2432.1

信源的數(shù)學(xué)模型及分類連續(xù)信源：輸出消息的符號集A的取值是連續(xù)的，或取值是實數(shù)集（－∞,∞）我們可用一維的連續(xù)型隨機變量X來描述這些信源的輸出。這樣的信源稱為～。其數(shù)學(xué)模型為連續(xù)型的概率空間：

并滿足2023/7/2442.1

信源的數(shù)學(xué)模型及分類離散平穩(wěn)信源：若信源輸出的隨機序列X=(X1,X2,XN)中，每個隨機變量Xi(i=1,2,…N)都是取值離散的離散型隨機變量，即每個隨機變量Xi的可能取值是有限的或可數(shù)的。而且隨機矢量X的各維概率分布都與時間起點無關(guān)，也就是在任意兩個不同時刻隨機矢量X的各維概率分布都相同。這樣的信源稱為～。2023/7/2452.1

信源的數(shù)學(xué)模型及分類連續(xù)平穩(wěn)信源：若信源輸出的消息可用N維隨機矢量X＝(X1,X2,XN)來描述，其中每個隨機分量Xi(i=1,2,…N)都是取值為連續(xù)的連續(xù)型隨機變量（即Xi的可能取值是不可數(shù)的無限值），并且滿足隨機矢量X的各維概率密度函數(shù)與時間起點無關(guān)，也就是在任意兩個不同時刻隨機矢量X的各維概率密度函數(shù)都相同，這樣的信源稱為～。離散無記憶信源的擴展信源：2023/7/2462.1

信源的數(shù)學(xué)模型及分類A.假設(shè)條件

這里對離散平穩(wěn)信源做進一步假設(shè)。(1)我們假設(shè)多符號離散平穩(wěn)信源[X]=X1，X2，…XN中，符號的隨機變量Xi都取值于同一個信源空間，(2)我們假設(shè)多符號離散平穩(wěn)信源[X]=X1，X2，…XN中，各變量Xi(i=1,2,…N)之間統(tǒng)計獨立，即P(X)=P(X1,X2,…XN)=P(X1)P(X2)P(X3)…P(XN)

2023/7/2472.1

信源的數(shù)學(xué)模型及分類

到目前為止，我們介紹的離散無記憶信源包括兩層意思：▲

單符號離散無記憶信源，P(a1,a2,…aq)=P(a1)P(a2)…P(aq)▲

多符號離散無記憶信源，P(X1,X2,…XN)=P(X1)P(X2)P(X3)…P(XN)通常N次擴展信源記為XN。

2023/7/2482.1

信源的數(shù)學(xué)模型及分類B.N次擴展信源的信源空間

因為信源XN的每一個消息[Xi]，(i=1,2,…,N)均由信源X的符號集A:{a1,a2,…aq}中的N個符號組成，所以，XN

的某一個具體符號i可以表示為[i]=(ai1,ai2,…aij…aiN)aij∈A:{a1,a2,…aq}，這個關(guān)系表明擴展信源的每個符號取值于同一個單符號信源空間，A:{a1,a2,…aq}。因此擴展信源XN就有qN

種不同的符號，可以表示為[XN]:{[1],[2],…[i],…[qN]};(i=1,2,qN)

2023/7/2492.1

信源的數(shù)學(xué)模型及分類

所以平穩(wěn)離散無記憶信源[X，P]的N次擴展信源的信源空間為：

并且有：

表明該信源概率空間也是一個完備空間。

2023/7/24102.1

信源的數(shù)學(xué)模型及分類有記憶信源：信源輸出的平穩(wěn)隨機序列X中，各隨機變量Xi之間是相互依賴的。這種信源稱為有記憶信源。馬爾可夫信源：m階馬爾可夫信源就是每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。設(shè)各時刻隨機變量Xk的取值為xk，xkXk，k=1,2,…,i-1,i,i+1,…N，則描述隨機序列中各隨機變量之間依賴關(guān)系的條件概率為2023/7/24112.1

信源的數(shù)學(xué)模型及分類時齊馬爾可夫鏈：如果上述條件概率與時間起點i無關(guān)，即信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可夫信源。隨機波形信源：實際信源輸出的消息常常是時間和取值都是連續(xù)的。對于這種信源輸出的消息，可用隨機過程來描述，稱這類信源為隨機波形信源?？梢园央S機過程用一系列時間（或頻率）域上離散的取樣值來表示。這樣就可以把隨機過程轉(zhuǎn)換成時間（或頻率）上離散的隨機序列來處理。若再對每個取樣值經(jīng)過分層（量化），就可將連續(xù)的取值轉(zhuǎn)換成有限的或可數(shù)的離散值。也就可把連續(xù)信源轉(zhuǎn)換成離散信源來處理。2023/7/2412PCM脈碼調(diào)制語音波段

1語音波段

3語音波段

2公用線路復(fù)用器波段32110110011A/D轉(zhuǎn)換1100GSM固網(wǎng)傳輸Fig.14(TM2100EU02TM_0001TransmissionPrinciples,29)2023/7/24131.頻帶

(300-3400Hz)2.采樣

(8000Hz)3.8比特編碼PCM信號的產(chǎn)生信號1編碼采樣值的傳輸采樣值編碼信號

2時隙01001101信號

1Fig.15(TM2100EU02TM_0001TransmissionPrinciples,31)2023/7/24142.1

信源的數(shù)學(xué)模型及分類隨機波形信源取樣定理隨機過程{x(t)}隨機序列X隨機變量X非平穩(wěn)信源平穩(wěn)信源離散信源連續(xù)信源分層（量化）離散平穩(wěn)信源連續(xù)平穩(wěn)信源離散無記憶信源的N次擴展信源有限記憶信源取值分層信源的分類圖2023/7/2415第2章

離散信源及其信息測度2.2

離散信源的信息熵2.2.1自信息(自信息量)

信源符號不確定性的度量

(1)不確定性：在一個通信系統(tǒng)中，收信者所獲取的信息量，在數(shù)量上等于通信前后對信源的不確定性的減少量。(2)不確定性的度量（不確定度）:猜測某一隨機事件是否會發(fā)生的難易程度。

2023/7/2416試驗前：H(x)=log8=3(bit/符號)H(x2)－H(x3)

=1－－獲得1bit信息量XP(x)＝123456781/81/81/81/81/81/81/81/812312345678第一次測量后：X1P(x1)＝123456781/41/41/41/40000H(x1)=log4=2(bit/符號)第二次測量后：X2P(x2)＝123456781/21/2000000H(x2)=log2=1(bit/符號)第三次測量后：X3P(x3)＝1234567810000000H(x3)=log1=0(bit/符號)H(x)－H(x1)

=1－－獲得1bit信息量H(x1)－H(x2)

=1－－獲得1bit信息量H(X)表示在獲知哪個燈泡是壞的情況前，關(guān)于哪個燈泡已損壞的平均不確定性，即要確定哪個燈泡是壞的，至少需要獲得3個bit的信息量，才能完全消除不確定性。必須測3次嗎？？2023/7/2417第2章

離散信源及其信息測度

若一隨機事件的概率為,它的自信息的數(shù)學(xué)定義為：

信息采用的單位取決于對數(shù)所選取的底。如果取以2為底，則取得的信息量單位稱為比特（bit）；如果以e為底，稱為奈特（nat），如果以10為底的對數(shù)，則所得的信息量單位稱為哈特（Hart）。

自信息為什么一定是這樣的定義？是否一定是對數(shù)形式？def2023/7/24182.2離散信源的信息熵

[例2-1]：從一個袋子里取出不同顏色小球的不確定性。a.99個，1個，b.50個，50個，c.25個，25個，25個，25個可見，a的不確定性最小，c的不確定性為最大。I(x1)=I(紅球)，I(x2)=I(白球)，I(x3)=I(黑球)，I(x4)=I(黃球)2023/7/2419

由上例可以看出：符號數(shù)越多，不確定度越大；概率越小，不確定度越大；信源不確定度應(yīng)具有可加性；滿足p(ai)=0，則I(ai)=∞，p(ai)=1，則I(ai)=0。為了滿足以上四個條件，應(yīng)把信源不確定度寫為對數(shù)形式

def因此：當(dāng)，則2.2離散信源的信息熵2023/7/24202.2離散信源的信息熵例[2-2]：求離散信源的自信息量。一次擲兩個骰子，作為一個離散信源，求下列事件產(chǎn)生后提供的信息量。a.僅有一個為3；b.至少有一個為4；c.兩個之和為偶數(shù)。2023/7/24212.2離散信源的信息熵解：一個骰子有6個符號，兩個骰子的總數(shù)（信源符號數(shù)）為36。a.事件樣本數(shù)=5×2=10（另外一個不能為3）b.事件樣本數(shù)=5×2+1=11（加上一個雙4）c.事件樣本數(shù)=6×3=18（第一個的6個符號分別與第二個的3個符號構(gòu)成事件）則：P(a)=10/36=5/18;P(b)=11/36;P(c)=18/36=1/2;I(a)=log(18/5)=1.848(bit);

I(b)=log(36/11)=1.7105(bit);I(c)=log2=1(bit)2023/7/2422[例2-3]一副充分洗亂了的撲克牌(所給的牌是52張)，試問：任意一副特定排列所給出的自信息是多少？若從中抽取十三張牌，當(dāng)給出的點數(shù)均不相同時可得到多少信息量？2.2離散信源的信息熵若從m個元素中抽取n個元素的取法就是組合：1.題解：任意一特定排列，即意味著第一張牌的取法有52種；第二張牌的取法有51種；……。一共有52!種排列，所以每一種排列的概率為：2023/7/2423又因為要保證所抽取的牌中點數(shù)均不相同，則可設(shè)想以下排列，每一點數(shù)有四種花色；根據(jù)點數(shù)的位置構(gòu)成13張的排列數(shù)：1，2，3，4，…….134?4?4?4……?4=就是從52張牌中抽取13張牌的取法所以13張點數(shù)不同牌的抽取概率為：則：def2.2離散信源的信息熵2023/7/24242.2.2條件自信息(conditionalself-information)

2.2離散信源的信息熵定義所表達的是一個聯(lián)合事件xy，在某一個變量x(或y)被確知之后，另一個變量y(或x)還剩下的不確定度；或者說另一個變量y(或x)將還能帶給接收者多么大的信息量。

2023/7/24252.2離散信源的信息熵例棋盤與棋子設(shè)在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意地放在棋盤中的某方格，且讓乙猜測棋子所在位置：（1）將方格按順序編號，令乙猜測棋子所在方格的順序號；（2）將方格按行和列編號，甲將棋子放在方格的行（或列）編號告訴乙之后，再令乙猜測棋子所在列（或行）的位置。2023/7/24262.2離散信源的信息熵

題解：前提，當(dāng)棋子落入棋盤的位置是任意的；若將棋盤的行數(shù)編號為xi，棋盤的列數(shù)編號為yj；則棋子落入任何一格的概率均相等，為：(1)在二維聯(lián)合集XY上的元素的xiyj自信息為(2)如果編碼為

2023/7/24272.2離散信源的信息熵則每一棋盤格的編碼為[aaa,bbb]，

2023/7/24282.2離散信源的信息熵例題：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？題解：設(shè)‘女孩中有大學(xué)生’的概率為P(xi)=0.25，或者說‘女孩是大學(xué)生’是一隨機事件xi；另設(shè)‘女孩中身高超過1.6m以上者’為另一隨機事件yj，其概率為：P(yj)=0.5，又因‘女孩大學(xué)生中超過1.6m者’的概率為：P(yjxi)=0.75所問即：I(xiyj)=?為什么不是求：I(xiyj)=?2023/7/24292.2.3信息熵(Entropy)

定義自信息的數(shù)學(xué)期望為信源客觀上的平均信息量，稱為信源的信息熵(Entropy)。

2.2離散信源的信息熵

H(X)表示信源發(fā)出任何一個消息狀態(tài)所攜帶的平均信息量，也等于在無噪聲條件下，接收者收到一個消息狀態(tài)所獲得的平均信息量。2023/7/24302.2離散信源的信息熵熵的物理意義：△熵的本意為熱力學(xué)中表示分子狀態(tài)的紊亂程度；△信息論中熵表示信源中消息狀態(tài)的不確定度；△信源熵與信息量有不同的意義；(1)

H(X)表示信源X輸出以后，每個消息(或符號)所能提供的平均信息量；(2)

H(X)表示信源X在輸出以前，信源的平均不確定度；(3)H(X)表示隨機變量X的隨機性；

我們借用熵的含義反映信源這個消息集合中的總體特征——平均不確定度。

2023/7/2431從數(shù)學(xué)來看，信息熵的引出僅僅由一個隨機變量的統(tǒng)計平均處理所得到集合的統(tǒng)計平均值而已。但從物理意義上看，兩者產(chǎn)生了性質(zhì)的突變，仍是一個隨機變量(variable);而

已變成了常量(constant)，它是代表集合的總體特征。2.2離散信源的信息熵信息熵與平均信息量的關(guān)系：只有在無干擾的情況下，接收者準確無誤的收到每一條消息后，同時也完全解除了它們的不定度時才能說接收者所獲得的平均信息量等于信息熵。

所以一般來講，信源的信息熵H并不等于接收者所獲得的平均信息量。因此我們講信息熵并不反映從信源中平均能獲多少信息量，而是從平均的意義上，代表信源所客觀存在著發(fā)送信息的能力。2023/7/24322.2離散信源的信息熵[例2-4]則信息熵分別為：2023/7/24332.2離散信源的信息熵

[例2-5]一個布袋內(nèi)放100個球，其中80個球是紅色的，20個球是白色的，若隨機摸取一個球，猜測其顏色，求平均摸取一次所獲得的自信息量。解：2023/7/24342.2離散信源的信息熵

前提：摸一次球后再放回袋中，以不破壞概率試驗條件，且一旦球拿出其不定度一定完全解除。所以，摸n次以后所得到的總信息量為：

若經(jīng)算術(shù)平均處理后，則平均信息量為：

所以在此條件下才有平均信息量等于信息熵。2023/7/24352.2離散信源的信息熵[例2-6]：求一個獨立信源的熵二元信源X:[0,1]，其概率空間[P(0),P(1)]=[p,1-p]

H(X)=-P(0)logP(0)-P(1)logP(1)=-plogp-(1-p)log(1-p)(bit)P(0)=0,P(1)=1,H(X)=0bitP(0)=1,P(1)=0,H(X)=0bitP(0)=P(1)=1/2,H(X)=1bit01/21pH(x)2023/7/2436第2章

離散信源及其信息測度

2.3

信息熵的基本性質(zhì)信息熵是信源概率空間的一種特殊矩函數(shù)。我們可用概率矢量P表示概率分布P(x)熵函數(shù)可以表示為：2023/7/24372.3信息熵的基本性質(zhì)性質(zhì)1.

非負性

(non-negativity)性質(zhì)2.對稱性

(symmetry)2023/7/2438性質(zhì)3.確定性

(deterministic)2.3信息熵的基本性質(zhì)性質(zhì)4.連續(xù)性

(continuity)2023/7/24392.3信息熵的基本性質(zhì)信源X’的熵為：

當(dāng)微小波動趨于0時，有

2023/7/2440性質(zhì)5.

擴展性

(expansibility)2.3信息熵的基本性質(zhì)2023/7/2441本性質(zhì)說明，信源的取值增多時，若這些取值對應(yīng)的概率很?。ń咏诹悖?，則信源的熵不變。雖然概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它在熵的計算中占的比重很小。這也是熵的總體平均性的一種體現(xiàn)。2.3信息熵的基本性質(zhì)2023/7/2442可加性是熵函數(shù)的性質(zhì)中最重要的一條性質(zhì)，正因為有此性質(zhì)才決定熵函數(shù)的形式必須要用對數(shù)形式。此性質(zhì)的物理含義，即知識的可積累性。具體的講：熵函數(shù)是作為一個集合中的總體平均不定度特征，應(yīng)對集合中元素的如何劃分是無關(guān)的。從另一方面看，可加性所反映的是任何復(fù)雜問題，都可以分步解決。

性質(zhì)6.

可加性

(Additiveproperty)或：2.3信息熵的基本性質(zhì)2023/7/24432.3信息熵的基本性質(zhì)如果一個隨機事件的集合可以看成是由兩個隨機變量的聯(lián)合發(fā)生而形成，則可以寫成以下形式：2023/7/24442.3信息熵的基本性質(zhì)按照信息熵的定義，我們可寫出：聯(lián)合概率(jointprobability)：2023/7/24452.3信息熵的基本性質(zhì)defdefdef2023/7/24462.3信息熵的基本性質(zhì)def它的平均不定度，應(yīng)等于一個變量的無條件熵加上另一變量的有條件熵。這是隨機變量X與Y之間相互統(tǒng)計獨立的重要性質(zhì)，它是可加性的一特例。所以一般情況下可加性表示為：2023/7/2447

但是如果我換一種問法：先取一個球問其是否為紅色？如果是紅色便停止取球；否則再從剩下的袋中取一球，問其顏色？判斷當(dāng)