復(fù)旦-周小林-信息論-2信源與信息熵課件

1普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》第2章信源與信息熵信源描述與分類離散信源的信息熵和互信息離散序列信源的熵連續(xù)信源的熵與互信息冗余度1普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》第2章2普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源的描述與分類信源是產(chǎn)生消息（符號）、消息序列和連續(xù)消息的來源。從數(shù)學(xué)上，由于消息的不確定性。因此，信源是產(chǎn)生隨機變量、隨機序列和隨機過程的源。信源的基本特性是具有隨機不確定性。2普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信3普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源特性與分類分類時間離散連續(xù)幅度離散連續(xù)記憶有無三大類：單符號離散信源符號序列信源（有記憶和無記憶）連續(xù)信源3普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信4普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類描述：通過概率空間描述單符號離散信源例如：對二進制數(shù)字與數(shù)據(jù)信源4普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.15普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類5普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.16普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類連續(xù)信源6普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信7普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類離散序列信源以3位PCM信源為例7普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信8普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類當(dāng)p=1/28普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信9普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》9普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》10普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息信息量自信息量聯(lián)合自信息量條件自信息量單符號離散信源熵符號熵條件熵聯(lián)合熵10普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.211普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息信息不確定性的消除信息的度量隨機性、概率相互獨立符合事件概率相乘、信息相加熵事件集的平均不確定性11普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.212普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息直觀推導(dǎo)信息測度信息I應(yīng)該是消息概率p的遞降函數(shù)由兩個不同的消息（相互統(tǒng)計獨立）所提供的信息等于它們分別提供信息之和（可加性）12普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.213普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息13普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.214普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息定義：對于給定的離散概率空間表示的信源，x=ai事件所對應(yīng)的（自）信息為以2為底，單位為比特（bit)以e為底，單位為奈特（nat)1nat=1.433bit以10為底，單位為笛特（det)1det=3.322bit14普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.215普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息15普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.216普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息定義：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：定義：聯(lián)合概率空間中，事件x在事件y給定條件下的條件（自）信息量為：16普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.217普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息聯(lián)合自信息、條件自信息與自信息間的關(guān)系17普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.218普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息18普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.219普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息例1設(shè)在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意地放在棋盤中的某方格內(nèi)，讓乙猜測棋子所在的位置：（1）將方格按順序編號，令乙猜測棋子所在方格的順序號（2）將方格按行和列編號，甲將棋子所在的方格的行（或列）編號告訴乙，再令乙猜測棋子所在列（或行）所在的位置。19普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.220普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息解：由于甲將一粒棋子隨意地放在棋盤中的某方格內(nèi)，因此棋子在棋盤中所處位置為二維等概率分布（1）聯(lián)合（自）信息量為（2）條件（自）信息量為20普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.221普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息例2.一個布袋內(nèi)放100個球，其中80個球為紅色，20球為白色。若隨機摸取一個球，猜測其顏色，求平均摸取一次所獲得的（自）信息量。解：隨機事件的概率空間為21普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.222普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息22普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.223普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息23普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.224普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息單符號離散信源熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I的數(shù)學(xué)期望為信源的信息熵，單位為比特/符號24普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.225普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息離散信源條件熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵，單位為比特/序列25普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.226普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息離散信源聯(lián)合熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I(x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵，單位為比特/序列26普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.227普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息聯(lián)合熵、條件熵與熵的關(guān)系27普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.228普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息單符號離散信源互信息定義：對于給定離散概率空間表示的信源，在出現(xiàn)y事件后所提供有關(guān)事件x的信息量定義互信息，單位為比特28普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.229普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息單符號離散信源互信息29普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.230普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息條件互信息量與聯(lián)合互信息量定義：對于給定離散概率空間表示的信源，在事件z給定條件下，事件x與事件y之間的條件互信息量為：30普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.231普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息條件互信息量與聯(lián)合互信息量定義：對于給定離散概率空間表示的信源，在事件x與聯(lián)合事件yz之間的聯(lián)合互信息量為：31普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.232普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息Eg1(p23)設(shè)信源發(fā)出8種消息符號，各消息等概發(fā)送，各符號分別用3位二進碼元表示，并輸出事件。通過對輸出事件的觀察來推測信源的輸出。假設(shè)信源發(fā)出的消息x4，用二進碼011表示，接收到每個二進制碼元后得到有關(guān)x4信息。32普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.233普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息33普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.234普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息34普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.235普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息平均互信息量其中35普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.236普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息熵的性質(zhì)對稱性非負性確定性香農(nóng)輔助定理最大熵定理條件熵小于無條件熵36普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.237普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息非負性37普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.238普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息對稱性38普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.239普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息確定性

香農(nóng)輔助定理39普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.240普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息40普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.241普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息41普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.242普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息42普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.243普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息43普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.244普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息44普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.245普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息最大熵定理

條件熵小于無條件熵45普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.246普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息平均互信息的性質(zhì)非負性互易性與熵和條件熵及聯(lián)合熵關(guān)系極值性凸性函數(shù)性質(zhì)信息不增性原理46普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.247普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息非負性47普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.248普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息互易性48普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.249普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息平均互信息與熵的關(guān)系49普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.250普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息互信息量與熵的關(guān)系50普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.251普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息極值性51普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.252普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息凸性函數(shù)當(dāng)條件概率分布給定時，平均互信息量是輸入概率分布的上凸函數(shù)(凹函數(shù))當(dāng)集合X的概率分布保持不變時，平均互信息量是條件概率分布的下凸函數(shù)52普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.253普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息53普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.254普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息54普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.255普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息55普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.256普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息56普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.257普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息57普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.258普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息58普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.259普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息59普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.260普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息60普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.261普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息61普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.262普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散無記憶序列信源離散有記憶序列信源馬爾可夫信源離散無記憶信源的序列熵離散有記憶信源的序列熵62普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.63普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散無記憶序列信源布袋摸球?qū)嶒?，若每次取出兩個球，由兩個球的顏色組成的消息就是符號序列。若先取出一個球，記下顏色放回布袋，再取另一個球。63普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.64普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散有記憶序列信源布袋摸球?qū)嶒?，每次取出兩個球，由兩個球的顏色組成的消息就是符號序列。若先取出一個球，記下顏色不放回布袋，再取另一個球。64普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.65普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源當(dāng)信源的記憶長度為m+1時，該時該發(fā)出的符號與前m個符號有關(guān)聯(lián)性，而與更前面的符號無關(guān)。65普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.66普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源由于高階馬爾可夫信源需要引入矢量進行分析，現(xiàn)方法將矢量轉(zhuǎn)化為狀態(tài)變量。定義狀態(tài)：信源在某一時刻出現(xiàn)符號概率xj與信源此時所處狀態(tài)si有關(guān)，用條件概率表示p(xj/si),狀態(tài)轉(zhuǎn)移概率表示為p(sj/si)66普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.67普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源更一般，經(jīng)過n-m步后轉(zhuǎn)移至sj的概率67普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.68普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源特別關(guān)心n-m=1情況，pij(m,m+1)68普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.69普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源系統(tǒng)在任一時刻可處于狀態(tài)空間的任意一狀態(tài)，狀態(tài)轉(zhuǎn)移時，轉(zhuǎn)移概率是一個矩陣，一步轉(zhuǎn)移轉(zhuǎn)移矩陣為69普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.70普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源k步轉(zhuǎn)移概率pij(k)與l步和k-l步轉(zhuǎn)移概率之間滿足切普曼-柯爾莫郭洛夫方程。定義：如果從狀態(tài)i

轉(zhuǎn)移到狀態(tài)j的概率與m無關(guān)，則稱這類MovKov鏈為齊次對于齊次馬爾可夫鏈，一步轉(zhuǎn)移概率完全決定了k步轉(zhuǎn)移概率。70普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.71普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源定義：若齊次馬爾可夫鏈對一切i,j存在不依賴于i的極限，則稱其具有遍歷性，pj稱為平穩(wěn)分布71普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.72普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源定理：設(shè)有一齊次馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移矩陣為P，其穩(wěn)態(tài)分布為wj72普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.73普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵不可約性，對于任意一對I和j，都存在至少一個k，使pij(k)>0.非周期性，所有pij(n)>0的n中沒有比1大的公因子。定理：設(shè)P是某一馬爾可夫鏈的狀態(tài)轉(zhuǎn)移矩陣，則該穩(wěn)態(tài)分布存在的充要條件是存在一個正整數(shù)N，使矩陣PN中的所有元素均大于零。73普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.74普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵Eg.2-1一個相對編碼器，求平穩(wěn)分布74普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.75普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵Eg.2-2二階馬氏鏈，X{0,1},求平穩(wěn)分布起始狀態(tài)000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)75普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.76普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散無記憶信源的序列熵76普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.77普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散無記憶信源的序列熵平均每個符號熵（消息熵）77普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.78普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散有記憶信源的序列熵和消息熵78普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.79普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵Eg2-11求信源的序列熵和平均符號熵a1a2a3a1a2a39/111/802/113/42/901/87/979普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.80普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散有記憶信源的序列熵和消息熵結(jié)論1是L的單調(diào)非增函數(shù)結(jié)論2結(jié)論3是L的單調(diào)非增函數(shù)結(jié)論480普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.81普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬氏鏈極限熵81普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.82普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵82普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.83普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵Eg2-12求馬氏鏈平均符號熵（三個狀態(tài)）83普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.84普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.4連續(xù)信源的熵與互信息幅度連續(xù)的單個符號信源熵84普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.85普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.4連續(xù)信源的熵與互信息幅度連續(xù)的單個符號信源熵85普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.86普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.4連續(xù)信源的熵與互信息波形信源熵86普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.87普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.4連續(xù)信源的熵與互信息最大熵定理87普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.88普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.4連續(xù)信源的熵與互信息最大熵定理限平均功率最大熵定理：對于相關(guān)矩陣一定隨機變量X，當(dāng)它是正態(tài)分布時具有最大熵88普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.89普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.5冗余度冗余度，表示給定信源在實際發(fā)出消息時所包含的多余信息。它來自兩個方面，一是信源符號間的相關(guān)性；二是信源符號分布的不均勻性89普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.90普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.5冗余度Eg.計算英文字母冗余度90普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.91普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》第2章復(fù)習(xí)概念(1)信息是可以定量描述的，可以比較大小。由概率決定；對應(yīng)特定信源，可以求出所含不確定度，也就是消除不確定度所需的信息量；可通過對信源的觀察、測量獲得信息，以減少對信源的不確定度；91普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》第2章92普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》概念(2)考慮信源符號概率分布和符號之間的相關(guān)性，信源不確定度會下降：

H(X)就是信源無失真時必需輸出的最小信息量；92普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》概念(93普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》概念(3)通過傳輸，信宿可以得到信息I(X;Y)，從而減小對信源的不確定度：

H(X/Y)=H(X)-I(X;Y)信息通過系統(tǒng)傳輸，只會丟失信息，不會增加。丟失部分H(X/Y)是由噪聲引起的。93普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》概念(94普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》定義、計算公式、相互關(guān)系自信息量、信源熵、相對熵互信息、條件熵、聯(lián)合熵序列熵、平均符號熵、極限熵冗余度94普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》定義、95普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》第2章信源與信息熵信源描述與分類離散信源的信息熵和互信息離散序列信源的熵連續(xù)信源的熵與互信息冗余度1普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》第2章96普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源的描述與分類信源是產(chǎn)生消息（符號）、消息序列和連續(xù)消息的來源。從數(shù)學(xué)上，由于消息的不確定性。因此，信源是產(chǎn)生隨機變量、隨機序列和隨機過程的源。信源的基本特性是具有隨機不確定性。2普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信97普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源特性與分類分類時間離散連續(xù)幅度離散連續(xù)記憶有無三大類：單符號離散信源符號序列信源（有記憶和無記憶）連續(xù)信源3普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信98普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類描述：通過概率空間描述單符號離散信源例如：對二進制數(shù)字與數(shù)據(jù)信源4普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.199普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類5普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1100普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類連續(xù)信源6普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信101普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類離散序列信源以3位PCM信源為例7普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信102普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信源描述與分類當(dāng)p=1/28普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.1信103普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》9普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》104普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息信息量自信息量聯(lián)合自信息量條件自信息量單符號離散信源熵符號熵條件熵聯(lián)合熵10普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2105普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息信息不確定性的消除信息的度量隨機性、概率相互獨立符合事件概率相乘、信息相加熵事件集的平均不確定性11普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2106普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息直觀推導(dǎo)信息測度信息I應(yīng)該是消息概率p的遞降函數(shù)由兩個不同的消息（相互統(tǒng)計獨立）所提供的信息等于它們分別提供信息之和（可加性）12普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2107普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息13普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2108普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息定義：對于給定的離散概率空間表示的信源，x=ai事件所對應(yīng)的（自）信息為以2為底，單位為比特（bit)以e為底，單位為奈特（nat)1nat=1.433bit以10為底，單位為笛特（det)1det=3.322bit14普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2109普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息15普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2110普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息定義：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：定義：聯(lián)合概率空間中，事件x在事件y給定條件下的條件（自）信息量為：16普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2111普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息聯(lián)合自信息、條件自信息與自信息間的關(guān)系17普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2112普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息18普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2113普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息例1設(shè)在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意地放在棋盤中的某方格內(nèi)，讓乙猜測棋子所在的位置：（1）將方格按順序編號，令乙猜測棋子所在方格的順序號（2）將方格按行和列編號，甲將棋子所在的方格的行（或列）編號告訴乙，再令乙猜測棋子所在列（或行）所在的位置。19普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2114普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息解：由于甲將一粒棋子隨意地放在棋盤中的某方格內(nèi)，因此棋子在棋盤中所處位置為二維等概率分布（1）聯(lián)合（自）信息量為（2）條件（自）信息量為20普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2115普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息例2.一個布袋內(nèi)放100個球，其中80個球為紅色，20球為白色。若隨機摸取一個球，猜測其顏色，求平均摸取一次所獲得的（自）信息量。解：隨機事件的概率空間為21普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2116普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息22普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2117普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息23普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2118普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息單符號離散信源熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I的數(shù)學(xué)期望為信源的信息熵，單位為比特/符號24普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2119普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息離散信源條件熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵，單位為比特/序列25普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2120普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息離散信源聯(lián)合熵定義：對于給定離散概率空間表示的信源所定義的隨機變量I(x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵，單位為比特/序列26普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2121普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息聯(lián)合熵、條件熵與熵的關(guān)系27普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2122普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息單符號離散信源互信息定義：對于給定離散概率空間表示的信源，在出現(xiàn)y事件后所提供有關(guān)事件x的信息量定義互信息，單位為比特28普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2123普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息單符號離散信源互信息29普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2124普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息條件互信息量與聯(lián)合互信息量定義：對于給定離散概率空間表示的信源，在事件z給定條件下，事件x與事件y之間的條件互信息量為：30普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2125普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息條件互信息量與聯(lián)合互信息量定義：對于給定離散概率空間表示的信源，在事件x與聯(lián)合事件yz之間的聯(lián)合互信息量為：31普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2126普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息Eg1(p23)設(shè)信源發(fā)出8種消息符號，各消息等概發(fā)送，各符號分別用3位二進碼元表示，并輸出事件。通過對輸出事件的觀察來推測信源的輸出。假設(shè)信源發(fā)出的消息x4，用二進碼011表示，接收到每個二進制碼元后得到有關(guān)x4信息。32普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2127普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息33普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2128普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息34普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2129普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息平均互信息量其中35普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2130普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息熵的性質(zhì)對稱性非負性確定性香農(nóng)輔助定理最大熵定理條件熵小于無條件熵36普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2131普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息非負性37普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2132普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息對稱性38普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2133普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息確定性

香農(nóng)輔助定理39普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2134普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息40普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2135普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息41普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2136普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息42普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2137普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息43普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2138普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息44普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2139普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息最大熵定理

條件熵小于無條件熵45普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2140普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息平均互信息的性質(zhì)非負性互易性與熵和條件熵及聯(lián)合熵關(guān)系極值性凸性函數(shù)性質(zhì)信息不增性原理46普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2141普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息非負性47普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2142普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息互易性48普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2143普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息平均互信息與熵的關(guān)系49普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2144普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息互信息量與熵的關(guān)系50普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2145普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息極值性51普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2146普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息凸性函數(shù)當(dāng)條件概率分布給定時，平均互信息量是輸入概率分布的上凸函數(shù)(凹函數(shù))當(dāng)集合X的概率分布保持不變時，平均互信息量是條件概率分布的下凸函數(shù)52普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2147普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息53普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2148普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息54普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2149普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息55普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2150普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息56普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2151普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息57普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2152普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息58普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2153普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息59普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2154普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息60普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2155普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2離散信源熵與互信息61普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.2156普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散無記憶序列信源離散有記憶序列信源馬爾可夫信源離散無記憶信源的序列熵離散有記憶信源的序列熵62普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.157普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散無記憶序列信源布袋摸球?qū)嶒灒裘看稳〕鰞蓚€球，由兩個球的顏色組成的消息就是符號序列。若先取出一個球，記下顏色放回布袋，再取另一個球。63普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.158普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵離散有記憶序列信源布袋摸球?qū)嶒灒看稳〕鰞蓚€球，由兩個球的顏色組成的消息就是符號序列。若先取出一個球，記下顏色不放回布袋，再取另一個球。64普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.159普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源當(dāng)信源的記憶長度為m+1時，該時該發(fā)出的符號與前m個符號有關(guān)聯(lián)性，而與更前面的符號無關(guān)。65普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.160普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源由于高階馬爾可夫信源需要引入矢量進行分析，現(xiàn)方法將矢量轉(zhuǎn)化為狀態(tài)變量。定義狀態(tài)：信源在某一時刻出現(xiàn)符號概率xj與信源此時所處狀態(tài)si有關(guān)，用條件概率表示p(xj/si),狀態(tài)轉(zhuǎn)移概率表示為p(sj/si)66普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.161普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源更一般，經(jīng)過n-m步后轉(zhuǎn)移至sj的概率67普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.162普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源特別關(guān)心n-m=1情況，pij(m,m+1)68普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.163普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源系統(tǒng)在任一時刻可處于狀態(tài)空間的任意一狀態(tài)，狀態(tài)轉(zhuǎn)移時，轉(zhuǎn)移概率是一個矩陣，一步轉(zhuǎn)移轉(zhuǎn)移矩陣為69普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.164普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源k步轉(zhuǎn)移概率pij(k)與l步和k-l步轉(zhuǎn)移概率之間滿足切普曼-柯爾莫郭洛夫方程。定義：如果從狀態(tài)i

轉(zhuǎn)移到狀態(tài)j的概率與m無關(guān)，則稱這類MovKov鏈為齊次對于齊次馬爾可夫鏈，一步轉(zhuǎn)移概率完全決定了k步轉(zhuǎn)移概率。70普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.165普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源定義：若齊次馬爾可夫鏈對一切i,j存在不依賴于i的極限，則稱其具有遍歷性，pj稱為平穩(wěn)分布71普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.166普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵馬爾可夫信源定理：設(shè)有一齊次馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移矩陣為P，其穩(wěn)態(tài)分布為wj72普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.167普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵不可約性，對于任意一對I和j，都存在至少一個k，使pij(k)>0.非周期性，所有pij(n)>0的n中沒有比1大的公因子。定理：設(shè)P是某一馬爾可夫鏈的狀態(tài)轉(zhuǎn)移矩陣，則該穩(wěn)態(tài)分布存在的充要條件是存在一個正整數(shù)N，使矩陣PN中的所有元素均大于零。73普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.168普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵Eg.2-1一個相對編碼器，求平穩(wěn)分布74普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.169普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.3離散序列信源的熵Eg.2-2二階馬氏鏈，X{0,1},求平穩(wěn)分布起始狀態(tài)000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)75普通高等教育“十五”國家級規(guī)劃教材《信息論與編碼》2.170普通高等教育“十五”國家級規(guī)劃教