信息論第3章-離散信源課件

第3章離散信源3.1信源的數(shù)學(xué)模型及其分類信源的概念信源輸出的描述3.1.1信源的數(shù)學(xué)模型離散信源和連續(xù)信源單符號信源：輸出是單個符號（代碼）的消息

離散信源

連續(xù)信源

平穩(wěn)隨機序列信源：信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關(guān)平穩(wěn)??！

離散平穩(wěn)信源

連續(xù)平穩(wěn)信源

獨立離散平穩(wěn)信源

有記憶信源

m階馬爾可夫信源3.1.2

信源的分類平穩(wěn)隨機序列信源

總體特點：信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關(guān)平穩(wěn)?。?/p>

離散平穩(wěn)信源：每個隨機變量Xi(i＝1,2,…,N)都是離散型隨機變量

連續(xù)平穩(wěn)信源：每個隨機變量Xi(i＝1,2,…,N)都是取值連續(xù)的隨機變量隨機波形信源在某一固定時間t0的可能取值是連續(xù)和隨機的。對于這種信源輸出的消息，可用隨機過程來描述。例：語音信號X(t)、熱噪聲信號n(t)、電視圖像信號X(r(t),g(t),b(t))等時間連續(xù)函數(shù)。3.2離散無記憶信源消息符號的自信息量自信息量與熵信源熵3.3離散無記憶信源的擴展信源離散信源單符號離散信源離散序列信源離散無記憶信源一般無記憶平穩(wěn)無記憶離散有記憶信源平穩(wěn)序列信源齊次馬爾可夫鏈信源3.3.1最簡單的離散信源3.3.2N次擴展信源例如在電報系統(tǒng)中，若信源輸出的是二個二元數(shù)字組成的符號序列，此時可認為是一個新的信源，它由四個符號（00，01，10，11）組成，我們把該信源稱為二元無記憶信源的二次擴展信源。3.3.3N次擴展信源的熵3.4離散平穩(wěn)信源3.4.1平穩(wěn)信源二維平穩(wěn)信源N維平穩(wěn)信源離散平穩(wěn)信源結(jié)論：對于平穩(wěn)信源來說，其條件概率均與時間起點無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。它表示平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關(guān)系與時間起點無關(guān)。離散平穩(wěn)有記憶信源3.4.2平穩(wěn)信源的熵－聯(lián)合熵離散二維平穩(wěn)信源的信息特點：只有相鄰兩個符號有關(guān)聯(lián)，且其關(guān)聯(lián)與時間無關(guān)?；舅悸罚喊堰@個信源輸出的隨機序列分成每二個符號一組，每組構(gòu)成新信源的一個符號，并設(shè)組與組之間統(tǒng)計無關(guān)(實際上，組尾的符號與下一組組頭的符號是有關(guān)的)。建立一個等效信源X1X2，它們的聯(lián)合概率空間為：二維平穩(wěn)信源的熵－條件熵平穩(wěn)信源的熵－熵的可加性二維平穩(wěn)信源的熵－例題3.4.3極限熵N維平穩(wěn)有記憶信源的熵條件熵隨N增加而遞減矢量熵H（X）平均符號熵與極限熵極限熵的意義極限熵存在定理定理證明極限熵的計算小結(jié)3.5馬爾可夫信源

《和初始狀態(tài)無關(guān)，不是時間起點（時齊性）》3.5.2馬爾可夫信源略.略.略.3.6信源的相關(guān)性與剩余度關(guān)于剩余度:

從提高信息傳輸效率的角度出發(fā)，總是希望