liyang信源及信源熵

信源及信源熵李揚目錄信息論中的信源信源的描述和分類信源熵離散與連續(xù)信源熵熵的性質(zhì)信息論中的信源信源是產(chǎn)生消息（符號）、消息序列和連續(xù)消息的來源。信源具有不確定性和隨機性，任何已知的消息無信息可言。不確定的符號有統(tǒng)計規(guī)律性，可以用隨機變量、隨機矢量、隨機過程來描述、研究。信源的描述和分類信源的分類有多種方式消息在時間上和幅度上分布情況離散信源（時間、幅度都離散）連續(xù)信源（時間或是幅度上連續(xù)）例子離散文字?jǐn)?shù)字?jǐn)?shù)據(jù)連續(xù)語音圖像等信源的描述和分類按照信源發(fā)出的信號間關(guān)系無記憶信源：發(fā)出單個符號的無記憶信源

發(fā)出符號序列的無記憶信源有記憶信源：發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源

信源的描述和分類例子無記憶，有放回的摸球、擲骰子，二進制兩次取球的結(jié)果是無關(guān)的獨立的，無統(tǒng)計關(guān)聯(lián)性，出現(xiàn)的概率是先驗概率；有記憶，無放回的取球兩次取球的結(jié)果有關(guān)聯(lián)；獨立同分布信源在離散無記憶信源中，信源輸出的每個符號是統(tǒng)計獨立的，且具有相同的概率空間，即有p1(X1)=p(X1)=p(Xi),則該信源是離散平穩(wěn)無記憶信源，亦稱為獨立同分布(independentlyidenticaldistribution，i.i.d.)信源。馬爾科夫信源當(dāng)信源的記憶長度為m+1時，該時刻發(fā)出的符號與前m個符號有關(guān)聯(lián)性，而與更前面的符號無關(guān)。

通過概率空間描述信源

單符號信源：是最簡單也是最基本的信源，是組成實際信源的基本單元。信源每次輸出一個符號，通常用離散隨機變量和其概率分布來表示。

多符號信源：信源每次發(fā)出一個符號序列，用隨機矢量來表示。連續(xù)信源概率密度函數(shù)

顯然應(yīng)滿足

馬爾科夫信源

若信源在某一時刻發(fā)出的符號概率除與該符號有關(guān)外，還與此前的符號有關(guān)，則此類信源為有記憶信源。如果與前面無限個符號有關(guān)，為無限記憶信源；如果僅與前面有限個符號有關(guān)，為有限記憶信源。

有記憶信源序列的聯(lián)合概率與條件概率有關(guān)沒寫完馬氏鏈？？？？？信源的概率空間可以表示為

但在何時發(fā)出哪種符號，是不確定的。

定義概率為p(x)的符號自信息量為

自信息量的單位與所用對數(shù)的底有關(guān)：對數(shù)底為2時，單位是比特（bit）對數(shù)底是自然數(shù)e時，單位是奈特(nat)對數(shù)底是10時，單位是笛特(det)自信息量三個單位間的轉(zhuǎn)換關(guān)系為1nat=1.433bit1det=3.322bit例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計算它們的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit定義：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：定義：聯(lián)合概率空間中，事件x在事件y給定條件下的條件（自）信息量為：聯(lián)合自信息、條件自信息與自信息間的關(guān)系

自信息量表征各個符號的不確定度，信源總是包含著多個符號，各符號的自信息量不同，自信息量不能作為總體的信息度量。為了表征出信源的總體特征，我們引入了平均自信息量，即平均每個符號的所能提供的信息量，也是信源中各個符號自信息量的數(shù)學(xué)期望，稱為信源熵。表達式為單位為bit/符號例子條件熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵

聯(lián)合熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I（x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵

聯(lián)合熵、條件熵與熵的關(guān)系連續(xù)信源單個符號信源熵討論連續(xù)時我們往往用離散來逼近連續(xù)，有公式波形信源的熵信源熵的性質(zhì)7、擴展性8、可加性

9、遞增性這條性質(zhì)表明，若原信源X中有一元素劃分成m個元素（符號），而這m個元素的概率之和等于原元素