信息論與編碼第一講課件

第一講主講人：劉丹平聯(lián)系方式：主要內容課程介紹信息概念、信息論信息的度量信道及其容量一、課程介紹信息論與信道編碼教學計劃第一講：信息論（復習）第二講：有噪信道編碼理論、線性分組碼（講述和討論）第三講：近世代數(shù)基礎、循環(huán)碼（講述和討論）第四講：BCH碼、RS碼（講述和討論）第五講：卷積碼編碼（講述和討論）第六講：卷積碼譯碼（講述和討論）第七講：Turbo碼（講述和討論）（1）糾錯碼——原理與方法（2001），西安電子科

技大學出版社；（2）傅祖蕓編著，《信息論－基礎理論與應用》（2001），北京：電子工業(yè)出版社；（3）姜丹，《信息論與編碼》（2001），合肥，中國科學技術大學出版社；（4）曹雪虹，張宗橙，信息論與編碼（2004），北京，清華大學出版社。參考書計分方式期終考試占60％專題報告占20％；個人報告占20％小論文占20%

2.4香農信息論1948年，美國數(shù)學家克勞特·香農（C.E.Shannon）發(fā)表了一篇著名論文“通信的數(shù)學理論”。

該論文給出了信息傳輸問題的一系列重要結果，建立了比較系統(tǒng)的信息理論——香農信息論。信息論奠基人——香農“通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇的消息”。這是香農在他的驚世之著《通信的數(shù)學理論》中的一句銘言。正是沿著這一思路,他應用數(shù)理統(tǒng)計的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠的信息論。

他的成就轟動了世界，激起了人們對信息理論的巨大熱情。信息論向各門學科沖擊，研究規(guī)模像滾雪球一樣越來越大。不僅在電子學的其他領域，如計算機、自動控制等方面大顯身手，而且遍及物理學、化學、生物學、心理學、醫(yī)學、經濟學、人類學、語音學、統(tǒng)計學、管理學……等學科。它已遠遠地突破了香農本人所研究和意料的范疇，即從香農的所謂“狹義信息論”發(fā)展到了“廣義信息論”。3.1自信息量隨機事件出現(xiàn)概率自信息量定義隨機事件的不確定性出現(xiàn)概率小的隨機事件所包含的不確定性大，它的自信息量大。出現(xiàn)概率大的隨機事件所包含的不確定性小，它的自信息量小。在極限情況下，出現(xiàn)概率為1的確定性事件，其自信息量為零。條件自信息量條件自信息量用其條件概率的負對數(shù)來量度隨機事件條件概率條件自信息量條件自信息量：能在規(guī)定條件下唯一地確定該事件必須提供的信息量。

3.2互信息量先驗概率對于預先知道信源X集合的概率空間P(xi)的情況，各個符號xi(i=1,2,…)的概率P(xi)。后驗概率當信宿Y收到集合中的一個符號yj后，接收者重新估計的關于信源各個符號的概率分布就變成條件概率。對消息xi而言，其條件概率定義為P(xi|yj)?；バ畔⒘炕バ畔⒘慷x為后驗概率與先驗概率比值的對數(shù)：平均自信息量自信息量代入信息論的一個基本的重要公式。此式與統(tǒng)計熱力學中“熵”的表示形式相同，因此往往把平均自信息量H(X)稱為熵。H(X)是P(x)的函數(shù)。

定理:熵滿足不等式當且僅當信源中各符號的出現(xiàn)概率P(x)都等于時1/M，上式取等號，可得最大熵：二元信源的信源熵二元信源的信源熵信源X有兩個消息，M=2一個符號出現(xiàn)概率P另一個符號出現(xiàn)概率1－P該信源的熵H(P)1010.5P最大熵共熵共熵（又稱聯(lián)合熵）是聯(lián)合空間XY上的每個元素對xy的自信息量的概率加權平均值，定義為：與信源熵和條件熵的關系22聯(lián)合熵與條件熵的關系

全概率公式所以H(XY)=H(X)＋H(Y|X)同理H(XY)=H(Y)＋H(X|Y)而當X、Y是統(tǒng)計獨立的兩個信源：

H(XY)=H(X)＋H(Y)3.4平均互信息量XY聯(lián)合集上的平均條件互信息量定理2.5XY聯(lián)合集上的條件互信息量滿足當且僅當X集合中的各x都與yi獨立時，等號成立假設通過有擾信道的接收符號任意一個可能被傳輸?shù)南⒔Y論：有擾信道中接收到的符號所提供的關于傳輸消息的平均信息量總是非負量。

條件熵可看作由于信道噪聲而損失的信息量（損失熵）也可以看作由于信道噪聲所造成的對信源消息的平均不確定性

疑義度條件熵可看作唯一地確定信道噪聲所需要的平均信息量（散布度）

噪聲熵無擾信道噪聲很大的信道四、信道及其容量4.24.3信道容量計算離散信道可分成：特殊信道無噪無損信道有噪無損信道無噪有損信道有干擾無記憶信道有干擾有記憶信道特殊信道信道名稱信道特征信息傳輸情況全損信道P(xy)=P(x)P(y)H(X/Y)=H(X)I(X;Y)=0無損無噪信道P(x/y)=0or1且P(y/x)=0or1H(X/Y)=H(Y/X)=0I(X;Y)=H(X)=H(Y)無損信道P(x/y)=0or1H(X/Y)=0I(X;Y)=H(X)無噪信道P(y/x)=0or1H(Y/X)=0I(X;Y)=H(Y)對稱DMC信道對稱性:每一行都是由同一集{p1,p2,…pm}的諸元素不同排列組成——輸入對稱每一列都是由集{q1,q2,…qn}的諸元素不同排列組成——輸出對稱滿足對稱性,所對應的信道是對稱離散信道。信道矩陣不具有對稱性,因而所對應的信通不是對稱離散信道。若輸入符號和輸出符號個數(shù)相同,都等于n,且信道矩陣為此信道稱為強對稱信道

(均勻信道)信道矩陣中各列之和也等于1對稱離散信道的平均互信息為對稱DMC信道的容量

上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量{p1,p2,…pm}和輸出符號集的個數(shù)m有關。強對稱信道的信道容量：設二進制對稱信道的輸入概率空間信道矩陣：4.4BSC信道容量當p固定時,I(X,Y)是ω的型上凸函數(shù)。BSC信道容量I(XY)ω1-H(p)I(X,Y)對ω存在一個極大值。pC當固定信源的概率分布ω時,I(X,Y)是p的型下凸函數(shù)。信道無噪聲當p=0,C=1－0=1bit=H(X)當p=1/2,

信道強噪聲BSC信道容量當信源輸入符號的速率為rs(符/秒),信道容量實際信息傳輸速率Rt為

進入信道輸入端的信息速率

4.5一般DMC信道定理：一般離散信道的平均互信息I(X;Y)達到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C對于所有ai其p(ai)＞0I(ai;Y)≤C對于所有ai其p(ai)=0上式說明：當信道的平均互信息I(X;Y)達到信道容量時,輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息，只是概率為0的除外。5連續(xù)信道及其容量當信道為加性連續(xù)信道時，情況較簡單。設信道的輸入和輸出信號是隨機過程x(t)和y(t)y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪聲

一個受加性高斯白噪聲干擾的帶限波形信道的容量，由香農(1948)正式定義：信道n(t)x(t)y(t)高斯白噪聲加性信道單位時間的信道容量這就是著名的香農公式

5.1連續(xù)信源的熵和互信息

連續(xù)信源的輸出是取值連續(xù)的單個隨機變量，可用變量的概率密度p(x)來描述。此時，連續(xù)信源的數(shù)學模型為：其中，R是全實數(shù)集，是變量X的取值范圍。對連續(xù)變量，可用離散變量來逼近，即連續(xù)變量可以認為是離散變量的極限情況。量化單位越小，則所得的離散變量和連續(xù)變量越接近。

把連續(xù)信源概率密度的取值區(qū)間[a,b]分割成n個小區(qū)間，各小區(qū)間設有等寬Δ=(b-a)/n，那么，x處于第i區(qū)間的概率Pi是：其中，xi是a+(i-1)

Δ到a+iΔ之間的某一值。當p(x)是x的連續(xù)函數(shù)時，由積分中值定理可知，必存在一個xi

值使上式成立。此時，連續(xù)變量X就可以用取值為xi

(i=1,2,…n)的離散變量xn來近似。連續(xù)信源X被量化為離散信源：且這時離散信源xn的熵：當時，離散隨機變量xn趨于連續(xù)隨機變量X，而離散信源xn的熵H(xn)的極限值就是連續(xù)信源的信息熵。一般情況下，上式的第一項是定值，而當時，第二項是趨于無限大的常數(shù)。所以避開第二項，定義連續(xù)信源的熵為：

由上式可知，所定義的連續(xù)信源的熵并不是實際信源輸出的絕對熵，連續(xù)信源的絕對熵應該還要加上一項無限大的常數(shù)項。這一點可以這樣理解：因為連續(xù)信源的可能取值數(shù)是無限多個，若設取值是等概分布，那么信源的不確定性為無限大。當確知信源輸出為某值后，所獲得的信息量也將為無限大。

既然如此，那么為什么還要那樣來定義連續(xù)信源的熵呢？一方面，因為這樣定義可與離散信源的熵在形式上統(tǒng)一起來（這里用積分代替了求和）；另一方面，因為在實際問題中，常常討論的是熵之間的差值，如平均互信息等。在討論熵差時，只要兩者離散逼近時所取的間隔△一致，無限大項常數(shù)將互相抵消掉。由此可見，連續(xù)信源的熵h(X)稱為差熵，以區(qū)別于原來的絕對熵。

同理，可以定義兩個連續(xù)變量X、Y的聯(lián)合熵和條件熵，即

它們之間也有與離散信源一樣的相互關系，并且可以得到有信息特征的互信息：這樣定義的熵雖然形式上和離散信源的熵相似，但在概念上不能把它作為信息熵來理解。連續(xù)信源的差熵值具有熵的部分含義和性質，而喪失了某些重要的特性。5.2最大熵定理在離散信源中，當信源符號等概率分布時信源的熵取最大值。在連續(xù)信源中，差熵也具有極大值，但其情況有所不同。除存在完備集條件

以外，還有其它約束條件。當各約束條件不同時，信源的最大熵值不同。一般情況，在不同約束條件下，求連續(xù)信源的差熵的最大值，就是在下述若干約束條件。求泛函的極值。

通常感興趣的是兩種情況：一種是信源的輸出值受限；另一種是信源的輸出平均功率受限。下面分別加以討論。（1）峰值功率受限條件下信源的最大熵定理：

若信源輸出的幅度被限定在[a,b]區(qū)域內，則當輸出信號的概率密度是均勻分布時，信源具有最大熵。其值等于log(b-a)。此時，（2）平均功率受限條件下信源的最大熵定理：

若一個連續(xù)信源輸出符號的平均功率被限定為P（這里是指的交流功率，即方差）），則其輸出信號幅度的概率密度分布是高斯分布時，信源有最大的熵，其值為。