第2章離散信源及其信息測度-2015

第二章離散信源及其信息測度

第一節(jié)信源的數(shù)學(xué)模型及分類第二節(jié)離散信源的信息熵第三節(jié)信息熵的基本性質(zhì)第五節(jié)離散無記憶的擴展信源第六節(jié)離散平穩(wěn)信源第七節(jié)馬爾可夫信源第八節(jié)信源剩余度與自然語言的熵第一節(jié)信源的數(shù)學(xué)模型及分類

在通信系統(tǒng)中，收信者在未收到信息以前，對信源發(fā)出什么樣的消息是不確定的，是隨機的，所以可以用隨機變量、隨機矢量或隨機過程來描述信源輸出的消息，或者說用一個樣本空間及其概率測度來描述信源。不同的信源根據(jù)其輸出消息的不同的隨機性質(zhì)進行分類。第一節(jié)信源的數(shù)學(xué)模型及分類1、離散信源(用一維隨機變量X來描述信源的輸出)數(shù)學(xué)模型如下：且滿足X為樣本空間P(x)為每個符號出現(xiàn)的概率，稱為先驗概率理解例1信源：投硬幣書信文字計算機代碼電報符號阿拉伯?dāng)?shù)字碼二戰(zhàn)英國破譯“裙中密碼”

二戰(zhàn)德國轟炸考文垂美軍截獲的日軍通訊中，有一個“AF”名稱出現(xiàn)的頻率明顯多中途島之戰(zhàn)甲午戰(zhàn)爭了解第一節(jié)信源的數(shù)學(xué)模型及分類2、連續(xù)信源連續(xù)信源：信源輸出的都是單個符號的消息，符號集的取值是連續(xù)的或取值是實數(shù)集R=(-,)數(shù)學(xué)，模型如下：

每次只輸出一個消息，但消息的可能數(shù)目是無窮多個。例：電壓、溫度、壓力等?；蚯依斫?.信源輸出的消息用隨機矢量描述中文語言文字作為信源灰度圖像信源

信源輸出的消息是按一定概率選取的符號序列，即隨機矢量(隨機序列)。表示為X=(X1X2…XN)理解離散平穩(wěn)信源信源輸出的隨機序列X=(X1X2…XN)中，每個隨機變量Xi(i=1,2,..,N)都是取值離散的離散型隨機變量，該信源稱為離散平穩(wěn)信源。例語言文字，圖像等理解連續(xù)平穩(wěn)信源

信源輸出的隨機序列X=(X1X2…XN)中，每個隨機變量Xi(i=1,2,..,N)都是取值為連續(xù)的連續(xù)型隨機變量，該信源稱為連續(xù)平穩(wěn)信源。例語音信號{X(t)}，取樣離散化后的信源為X=…X1X2…Xi…XN…理解有關(guān)信源的定義：

無記憶信源有記憶信源離散無記憶信源N次擴展信源馬爾可夫信源若信源先后發(fā)出的各個符號彼此統(tǒng)計獨立，則：若隨機變量Xi不同時刻的取值來自于同一個符號集合A：{a1,a2,…aq}.則有：若該信源不同時刻發(fā)出的符號之間無依賴關(guān)系，彼此統(tǒng)計獨立，則稱為離散無記憶信源。離散無記憶信源定義掌握

信源X所輸出的隨機矢量X所描述的信源稱為離散無記憶信源X的N次擴展信源N次擴展信源掌握若信源在不同時刻發(fā)出的符號之間是相互依賴的，這種信源為有記憶信源。通常符號之間的依賴關(guān)系（記憶長度）是有限的，若記憶長度為m+1,則稱這種有記憶信源為m階馬爾可夫信源。

用條件概率描述隨機序列中各隨機變量之間依賴關(guān)系：理解2.1信源的數(shù)學(xué)模型及分類若上述條件概率與時間起點無關(guān)，及條件概率也是平穩(wěn)的，則此信源為時齊馬爾可夫信源。

理解第一節(jié)信源的數(shù)學(xué)模型及分類4、信源輸出的消息用隨機過程描述時間和取值都是連續(xù)的隨機波形信源：語音信號X(t)熱噪聲信號n(t)

電視圖像信號X(x,y,t)了解2.2離散信源的信息熵1、自信息一個字符它所攜帶的信息量是和該字符出現(xiàn)的概率有關(guān)，概率可以表征自信息量的大小理解2.2信源的自信息

如果事件發(fā)生的概率為,事件發(fā)生所含有的信息量，就稱為自信息量，表示為不確定性I是概率的函數(shù)理解自信息量的特點1.如果，則2.當(dāng)，則3.當(dāng)，則4.兩個獨立事件聯(lián)合信息量等于他們分別的信息量之和自信息量的計算公式如果事件發(fā)生的概率為,事件發(fā)生的自信息量為掌握[例2.1]8個串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個燈泡已損壞，問每進行一次測量可獲得多少信息量？總共需要多少次測量才能確定哪個燈泡已損壞。解：已知8個燈泡等概率損壞，所以先驗概率P(x1)＝1/8

，即總的不確定性為：2.2離散信源的信息熵理解第一次測量后，剩4個燈泡。同樣等概率損壞，P(x2)＝1/4，因為前面的判斷，不確定性減少拉，還剩余的不確定為：第三次測量后，即可判斷出哪個燈泡是壞的，則剩余不確定性減少為零。第二次測量后，剩2個燈泡，P(x3)＝1/2，不確定性進一步減少，還剩余的不確定為：2.2離散信源的信息熵理解[例2.2]

若從裝有n個不同阻值電阻的袋中隨機取出一個并猜測所取得的阻值，困難程度是多少？解：這相當(dāng)于求事件的不確定性事件等概[例2.3]

袋中有n(n+1)/2個電阻，其中1Ω的1個，2Ω的2個，…，nΩ的n個，隨機取出一個，則“取出阻值為i的電阻”所獲得的信息量。解：“取出阻值為i的電阻”的概率是多少？2.2離散信源的信息熵理解2.2.2信息熵★對一個信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個隨機變量，不能用它來作為整個信源的信息測度★定義自信息的數(shù)學(xué)期望為平均自信息量Hr(X)，稱為信息熵:2.2離散信源的信息熵掌握例題

如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”，答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序）？掌握設(shè)事件A為第一個事件事件B為第二個事件事件A的概率事件B的概率則從事件A中獲得的信息量則從事件B中獲得的信息量例題理解例：布袋中放入n種不同阻值，且每一種阻值又有m種不同功率的電阻，則選取“阻值為功率為的電阻”這一事件提供的信息量。

理解例：天氣預(yù)報，有兩個信源

則：說明第二個信源的平均不確定性更大一些第二節(jié)離散信源的信息熵掌握8個燈泡的例子此信源的信息熵（比特/符號）例題掌握

甲乙兩地的天氣預(yù)報為：晴（占4/8）、陰（占2/8）、大雨（占1/8）、小雨（占1/8）。某乙地的天氣預(yù)報為：晴（占7/8）、小雨（占1/8）。求兩地天氣預(yù)報各自提供的平均信息量。若甲地天氣預(yù)報為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、大雨、小雨出現(xiàn)的概率都相等，為1/4。求這兩極端情況所提供的平均信息量。又求乙地出現(xiàn)這兩極端情況所提供的平均信息量。例題掌握甲地天氣預(yù)報提供的平均信息量（信息熵）

（比特）乙地天氣預(yù)報提供的平均信息量（信息熵）

（比特）甲地極端情況1的信息熵（比特）甲地極端情況2的信息熵（比特）

同樣乙地的兩極端情況的信息熵分別為與第三節(jié)信息熵的基本性質(zhì)熵函數(shù)可以表示為：信源概率空間概率矢量：掌握第三節(jié)信息熵的基本性質(zhì)性質(zhì)1：非負(fù)性H(X)≥0由于0≤pi≤1,所以logpi≤0，logpi≥0，則總有H(X)≥0。性質(zhì)2：對稱性

理解2.3信息熵的基本性質(zhì)2、對稱性：H(P)的取值與分量p1,p2,···,pq的順序無關(guān)。從數(shù)學(xué)角度:H(P)=pilogpi中的和式滿足交換律；從隨機變量的角度:熵只與隨機變量的總體統(tǒng)計特性有關(guān)。例如：掌握第三節(jié)信息熵的基本性質(zhì)性質(zhì)3：確定性；當(dāng)信源X的信源空間[X，P]中。任一個概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時信源為一個確知信源，其熵為0。如果一個信源的輸出符號幾乎必然為某一狀態(tài)，那么這個信源沒有不確定性，信源輸出符號后不提供任何信息量。理解第三節(jié)信息熵的基本性質(zhì)性質(zhì)4：擴展性

這說明信源空間中增加某些概率很小的符號，雖然當(dāng)發(fā)出這些符號時，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重，使信源熵保持不變。理解第三節(jié)信息熵的基本性質(zhì)性質(zhì)5：極值性

上式表明，對于具有q個符號的離散信源，只有在q個信源符號等可能出現(xiàn)的情況下，信源熵才能達到最大值，這也表明等概分布的信源的平均不確定性最大，這是一個很重要得結(jié)論，稱為最大離散熵定理例：對于一個二元信源

H(X)=H(1/2,1/2)=log2=1bit理解6）可加性如果有兩個隨機變量X和Y，他們彼此是統(tǒng)計獨立的，概率分布分別為與則有H(XY)=H(X)+H(Y)即其中理解熵函數(shù)的性質(zhì)——可加性證明理解7）信息熵的強可加性

兩個相互關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵即其中理解熵函數(shù)的性質(zhì)——可加性證明理解條件熵掌握8）信息熵的遞增性

其中理解9）信息熵的上凸性

熵函數(shù)是概率矢量的嚴(yán)格型凸函數(shù)。即對任意概率矢量和及任意則有理解例題為了傳輸一個由字母A,B,C,D組成的符號集，把每個字母編碼成兩個二元碼脈沖序列，以00代表A,01代表B,10代表C,11代表D。每個二元碼脈沖寬度為5ms。（1）不同字母等概率出現(xiàn)時，計算傳輸?shù)钠骄畔⑺俾?？?）若每個字母出現(xiàn)的概率分別為pA=1/5,pB=1/4,pC=1/4,pD=3/10,試計算傳輸?shù)钠骄畔⑺俾剩空莆?）不同字母等概率出現(xiàn)時，平均每個字母含有的信息量為比特/符號一秒鐘可以傳輸?shù)淖帜競€數(shù)為字母/秒傳輸?shù)钠骄畔⑺俾蕿楸忍?秒2）概率不同時，平均每個字母含有的信息量為比特/符號傳輸?shù)钠骄畔⑺俾蕿楸忍?秒掌握2.5離散無記憶的擴展信源2.5離散無記憶信源信源X的符號集X={x1,x2…,xq}，每個符號的發(fā)生概率為p(xi)，信源每次發(fā)出一個符號，且符號發(fā)生的概率相互獨立，稱為單符號離散無記憶信源，簡稱離散無記憶信源。理解2.5離散無記憶信源

離散無記憶信源的擴展信源1離散無記憶二進制信源的二次擴展信源二次擴展信源擴展后的信源符號集合新概率的計算:舉例p(00)=p(0)p(0)…掌握2.5離散無記憶信源2離散無記憶二進制信源的三次擴展信源三次擴展信源擴展后的信源符號集合新概率的計算:舉例p(000)=p(0)p(0)p(0)…掌握2.5離散無記憶信源3任意進制離散無記憶信源的N次擴展信源N次擴展信源掌握2.5離散無記憶信源N次擴展信源的熵證明:離散無記憶信源X的N次擴展信源XN的熵等于信源X的熵值的N倍.證明過程理解，結(jié)論掌握2.5離散無記憶信源2.5離散無記憶信源[例2-6]已知離散無記憶信源模型如下:解:已知二元信源X={0,1},其二次擴展源X2=X1X2。則二次擴展源X2的符號集為{00,01,10,11}.其信源模型如下:求其二次擴展信源。掌握2.5離散無記憶信源[例2-7]求離散無記憶信源的二次擴展信源及其熵。解：二次擴展信源的概率空間為X2123456789序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3P(i)1/41/81/81/81/161/161/81/161/16掌握2.6離散平穩(wěn)信源2.6離散平穩(wěn)信源2.6.1離散平穩(wěn)信源的數(shù)學(xué)定義

一般信源輸出序列：…X-1X0X1X2…Xi…其中Xi是隨機變量,且其取值xi∈X={a1,a2,…aq}，i表示符號xi發(fā)送所對應(yīng)的時刻，信源發(fā)送符號之間的依賴關(guān)系可以用聯(lián)合概率來表示。2.6離散平穩(wěn)信源若發(fā)送序列中，一維概率分布不隨時間改變而改變，即：P(Xi=x)=P(Xj=x)=p(x)，則稱為一維離散平穩(wěn)信源；若一到N維聯(lián)合概率分布都不隨時間變化而改變，則信源為N維離散平穩(wěn)信源。即：若發(fā)送序列各維聯(lián)合概率都是平穩(wěn)的，由此還可以推論出相應(yīng)的條件概率也是平穩(wěn)的:理解2.6離散平穩(wěn)信源………………即對于平穩(wěn)信源，其條件概率均與時間起點無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。即平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關(guān)系與時間起點無關(guān)。理解2.6離散平穩(wěn)信源2.6.2二維離散平穩(wěn)信源及其信息熵

離散平穩(wěn)信源實際是一種有記憶信源，最簡單的有記憶平穩(wěn)信源是二維平穩(wěn)信源，可看作是單符號離散信源的二次擴展信源，是有記憶的擴展信源。擴展后的二維聯(lián)合概率空間為：理解根據(jù)信息熵的定義，可得：（1）聯(lián)合熵可以表征信源輸出長度為2的平均不確定性，或所含有的信息量。因此可以用作為二維平穩(wěn)信源的信息熵的近似值掌握(2)條件熵則：掌握另外還可以得到：只有信源統(tǒng)計獨立時等號成立。可以證明：結(jié)論掌握理解幾個關(guān)系的證明:理解(2)熵的不增原理(條件熵不大于信息熵)理解2.6離散平穩(wěn)信源[例2-7]

某一離散二維平穩(wěn)信源其發(fā)出的符號只與前一個符號有關(guān)，即可用聯(lián)合概率P(aiaj)給出它們的關(guān)聯(lián)程度，如下表所示:P(aiaj)ajai01201/41/18011/181/31/18201/187/36求信源熵H(X)、條件熵H(X2|X1)和聯(lián)合熵H(X1X2)。掌握2.5離散平穩(wěn)信源解：根據(jù)概率關(guān)系可計算得條件概率P(aj|ai),計算結(jié)果列表如下：ajai01201/41/18011/181/31/18201/187/36ajai01209/111/8012/113/42/9201/87/9到底選取哪一個值更能接近實際二維平穩(wěn)信源的熵?掌握2.6離散平穩(wěn)信源2.6.3離散平穩(wěn)信源的極限熵一般的平穩(wěn)有記憶信源，輸出符號之間的相互依賴關(guān)系不僅存在于相鄰倆個符號之間，而且存在于更多(N>2)的符號之間。如何計算N長信源序列的熵值？若離散有記憶信源概率空間為：

N長信源序列可以看作是單符號信源的N次擴展信源，即：X=X1X2…XN中各符號Xi，(i=1,2,…,N)均取自同一符號集合A=(a1,a2,…,aq)。了解2.6離散平穩(wěn)信源信源發(fā)出的符號序列為(X1,X2,…,XN,…)，假設(shè)信源符號之間的依賴長度為N，各維概率分布為：簡記為滿足：了解2.6離散平穩(wěn)信源根據(jù)聯(lián)合概率分布可求得離散平穩(wěn)信源的聯(lián)合熵：定義N長的信源符號序列中平均每個信源符號所攜帶的信息量(平均符號熵)為：若已知前N-1個符號，第N個符號的平均不確定性(平均信息量)，可從條件熵定義得出：理解2.6離散平穩(wěn)信源對離散平穩(wěn)信源若H1(X)＜，則有以下性質(zhì)：(1)條件熵H(XN/X1X2…XN-1)隨N的增加是遞減的；(2)HN(X)H(XN/X1X2…XN-1)；(3)HN(X)也是隨N增加而遞減的；(4)H存在，并且:稱為平穩(wěn)信源的極限熵或者極限信息量，也有的稱此為平穩(wěn)信源的熵率。

記憶信源的符號熵可通過計算極限條件熵得到。了解2.6離散平穩(wěn)信源現(xiàn)在簡單證明這幾個性質(zhì):(1)根據(jù)信源的平穩(wěn)性和熵的不增原理，得：即對于平穩(wěn)信源，條件越多，條件熵越不增加。了解2.6離散平穩(wěn)信源(2)證明N個的和不小于 即平均符號熵不小于條件熵。了解2.5離散平穩(wěn)信源(3)HN(X)隨N增加而遞減；證明:由于根據(jù)平均符號熵的定義和(2)的結(jié)果，有上式表明，平均符號熵不隨序列的長度而增加。

了解2.5離散平穩(wěn)信源(4)由前面的證明我們可以得出:是存在的。計算:利用(1)的結(jié)果與平穩(wěn)性，有：了解2.5離散平穩(wěn)信源先令 后令，得: 另外，由(2)的結(jié)果，當(dāng) 時，有所以:了解2.5離散平穩(wěn)信源定理的注釋：(1)該定理提供了計算信源符號熵的方法，即通過計算極限條件熵得到。當(dāng)信源為有限記憶時，極限條件熵的計算要比極限平均符號熵的計算容易得多。例如：當(dāng)平穩(wěn)信源的記憶長度為有限m個符號長度時,則得離散平穩(wěn)信源的極限值：(2）極限熵等于最小的平均符號熵。[例2-8]：有兩個同時輸出的信源X和Y，其中X:{A，B，C}，Y:{D，E，F(xiàn)，G}，已知P(X)和P(Y|X)，求信源X和Y及聯(lián)合信源的聯(lián)合熵和條件熵2.5離散平穩(wěn)信源XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：信源X的熵為：掌握2.5離散平穩(wěn)信源二維聯(lián)合信源XY輸出每一對消息的聯(lián)合概率為：P(XY)=P(Y/X)P(X)，結(jié)果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36XABCP(x)1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6H(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/符號)掌握2.5離散平穩(wěn)信源第二個信源Y的熵H(Y)的計算。由全概率公式：聯(lián)合熵的最大值為：由于信源相關(guān)，使聯(lián)合熵減小，其減小量為：掌握772.7馬爾可夫信源

馬爾可夫鏈?zhǔn)邱R爾可夫過程中的一個特例。該過程中，在給定當(dāng)前知識或信息的情況下，只有當(dāng)前的狀態(tài)用來預(yù)測將來，過去(即當(dāng)前以前的歷史狀態(tài))對于預(yù)測將來(即當(dāng)前以后的未來狀態(tài))是無關(guān)的。

了解78馬爾可夫信源－研究意義

計算近似離散平穩(wěn)信源的極限熵，需要知道從1維－N維的條件概率分布，這在一般情況下比較困難為了求解平穩(wěn)信源的極限熵，可以用N維的條件熵來近似

了解79馬爾可夫信源－研究意義

馬爾可夫信源是一個非平穩(wěn)的信源，但是當(dāng)馬爾可夫信源進入穩(wěn)定狀態(tài)后，就可以看成一個平穩(wěn)信源馬爾可夫信源熵的求解，只需知道與前N－1個分量的相互關(guān)系，這樣受約束程度大大降低了解80馬爾可夫信源－基本概念

描述馬爾可夫信源，除了信源符號集外，還須引入信源當(dāng)時所處的“狀態(tài)”，因為信源在某時刻輸出符號的概率與此時信源所處的狀態(tài)有關(guān).定義信源符號集，表示信源每一個分量可能的輸出：定義了信源所處的狀態(tài)理解81設(shè)某二階馬爾可夫信源所處的狀態(tài)

E={E0,E1,E2,E3}={00，01，10，11}，

在每一狀態(tài)下可能輸出的符號0，1。0010110011010……E0=001E1=010E2=101E1=011E3=110E2=10P(1|E0)=P(E1|E0)=P01符號集={0，1}掌握82馬爾可夫信源－基本概念

【定義】如果信源的輸出序列和信源所處的狀態(tài)滿足以下兩個條件，該信源為馬爾可夫信源1、某時刻信源輸出的符號只與信源所處的狀態(tài)相關(guān)，與以前的狀態(tài)及以前的輸出無關(guān)。即2、信源所處的狀態(tài)由前一時刻所處的狀態(tài)，和前一時刻輸出的符號唯一確定理解83馬爾可夫信源－基本概念

第一個條件表明：信源的輸出只與信源當(dāng)前所處的狀態(tài)有關(guān)，而與其他因素?zé)o關(guān)。第二個條件表明：在特定的狀態(tài)下，發(fā)出特定的符號后，信源狀態(tài)發(fā)生跳變，且必定100％跳變到一個特定的狀態(tài)。理解84馬爾可夫信源－基本概念馬爾可夫信源輸出的符號序列Xl完全由信源所處的狀態(tài)Sl決定。所以，可將信源的輸出符號系列變換成狀態(tài)系列，將信源輸出符號的不確定性問題變成信源狀態(tài)的轉(zhuǎn)換問題理解85馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

描述馬爾可夫信源，可以用馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖。1、把每個可能出現(xiàn)的狀態(tài)用一個圓圈表示；2、圓圈之間用有向線段連接，表示狀態(tài)的遷移；3、在有向線段旁邊，注明發(fā)出的符號及在狀態(tài)下發(fā)出的條件概率掌握86馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

該馬爾可夫信源有三個狀態(tài)：，其中設(shè)為初始狀態(tài)，初始概率為，等概率轉(zhuǎn)移到這兩個狀態(tài)例2.8掌握87馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

掌握88馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

為什么馬爾可夫信源是非平穩(wěn)的信源：初始概率為：進入或兩個狀態(tài)。之后無論在哪個狀態(tài)，下一個輸出的符號有80％的可能性是1，轉(zhuǎn)移到，有20％的可能性是0，轉(zhuǎn)移到，所以 ，與初始概率不同，不滿足平穩(wěn)信源的定義。理解89馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

但是，如果我們把初始狀態(tài)除外，信源總是以80％的概率發(fā)1，以20％的概率發(fā)0，處在穩(wěn)定的狀態(tài)，這時可以看作是平穩(wěn)信源從初始狀態(tài)到平穩(wěn)狀態(tài)總是有個過程的。一般經(jīng)過足夠長的時間后，總能達到穩(wěn)定狀態(tài)正是因為初始概率和穩(wěn)定概率不一樣，在進入穩(wěn)定狀態(tài)以前，馬爾可夫信源是非平穩(wěn)的；而在進入穩(wěn)定狀態(tài)后，馬爾可夫信源可以看做是平穩(wěn)的理解902.7.2m階馬爾可夫信源m階馬爾可夫信源：在任何時刻l，輸出分量的概率分布只與前面m個分量的輸出有關(guān)。前面m個分量組成的序列稱為l時刻信源所處的狀態(tài)。如果信源的符號集是則信源的狀態(tài)共有個了解912.7.2m階馬爾可夫信源例2.9二元二階馬爾可夫信源。二元指信源可能的輸出有2種取值，如0，1；馬爾可夫信源共有個狀態(tài)，前兩個分量可能取值的排列掌握922.7.2m階馬爾可夫信源

對于m階馬爾可夫信源，狀態(tài)的定義已經(jīng)給出，狀態(tài)轉(zhuǎn)移圖也可以很容易的畫出例：二元二階馬爾可夫信源，樣本空間為(0,1)，條件概率為：要求畫出狀態(tài)轉(zhuǎn)移圖。掌握93m階馬爾可夫信源掌握942.7.2m階馬爾可夫信源－熵非常重要。四個步驟：畫出狀態(tài)轉(zhuǎn)移圖；求狀態(tài)極限概率(并可求出符號極限概率)求在每個狀態(tài)下，信源的信息熵；求馬爾可夫信源的熵掌握95m階馬爾可夫信源－熵穩(wěn)定的狀態(tài)分布－狀態(tài)極限概率通過狀態(tài)轉(zhuǎn)移圖求出2.1322.133掌握96在上例中：求4元1次方程組掌握97m階馬爾可夫信源－熵

得到了狀態(tài)極限概率之后，可以順便求出符號極限概率2.142掌握98m階馬爾可夫信源－熵