第1章 信息論與編碼第1章

1、 信息論與編碼信息論與編碼Information Theory and codingInformation Theory and coding 信息系信息系1402/03/041402/03/04班班學(xué)習(xí)目的及意義l最簡單的通信系統(tǒng)信信源源信信道道信信宿宿信源熵信源熵l信源包含多少信息？l信道中傳輸?shù)氖鞘裁葱问?？l信道能傳送多少信息？l信宿接收到的信息是否正確？編碼編碼信道容量信道容量檢糾錯(cuò)檢糾錯(cuò)概概 論論l 信息的分類信息的分類l信息論的起源、發(fā)展及研究內(nèi)容信息論的起源、發(fā)展及研究內(nèi)容信息論創(chuàng)始人：信息論創(chuàng)始人：C.E.Shannon(C.E.Shannon(香農(nóng)香農(nóng)) )美國科學(xué)家美國科學(xué)

2、家概概 論論 科學(xué)和科學(xué)和、科學(xué)一起被稱為科學(xué)一起被稱為當(dāng)代文明的當(dāng)代文明的“”。 一位美國科學(xué)家說過：一位美國科學(xué)家說過：“沒有物質(zhì)的世沒有物質(zhì)的世界是虛無的世界；沒有能源的世界是死寂的界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界。世界；沒有信息的世界是混亂的世界?！?信息的存在花朵開放時(shí)的花朵開放時(shí)的，它可以引來昆蟲為它可以引來昆蟲為其授粉；其授粉； 成熟的水果會(huì)產(chǎn)生香味，誘來動(dòng)物，動(dòng)物食后為其成熟的水果會(huì)產(chǎn)生香味，誘來動(dòng)物，動(dòng)物食后為其傳播種子，傳播種子，；藥有苦味，讓人難以吞咽藥有苦味，讓人難以吞咽，；聽老師講課可以得到許多知識(shí)，聽老師講課可以得到許多知識(shí)，。

3、 信息的存在總之，信息處處存在，人的眼、耳、鼻、總之，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。舌、身都能感知信息。視覺視覺 嗅覺嗅覺味覺味覺聽覺聽覺觸覺觸覺信息的存在 1928年,美國數(shù)學(xué)家哈 特 萊 (Hartley)在貝爾系統(tǒng)電話雜志上發(fā)表了一篇題為信息傳輸?shù)恼撐?。他認(rèn)為“信息是選擇的自由度”。 ？信息究竟是什么呢？事隔20年， 另一位美國數(shù)學(xué)家香農(nóng) (C. E. Shannon) 在貝爾系統(tǒng)電話雜志發(fā)表了題為通信的數(shù)學(xué)理論的長篇論文。他創(chuàng)立了信息論，但是卻沒有給出信息的確切定義,他認(rèn)為 美國數(shù)學(xué)家、控制論的主要奠基美國數(shù)學(xué)家、控制論的主要奠基人人維納維納(Wiener(Wien

4、er）在在19501950年出版年出版 的的控制論與社會(huì)控制論與社會(huì)中寫到：“信息既不是物質(zhì)又不是能量，信息就是信息”。這句話起初受到批評(píng)和嘲笑。它揭示了信息的特質(zhì)：即信息是獨(dú)立于物質(zhì)和能量之外存在于客觀世界的第三要素。 同時(shí)考慮事物運(yùn)動(dòng)狀態(tài)及其變化同時(shí)考慮事物運(yùn)動(dòng)狀態(tài)及其變化方式的方式的外在形式、內(nèi)在含義和效用價(jià)值的認(rèn)識(shí)外在形式、內(nèi)在含義和效用價(jià)值的認(rèn)識(shí)論層次信息。論層次信息。語法信息語義信息語用信息全 信 息信息的重要性質(zhì)：信息的重要性質(zhì)： 可壓縮性可壓縮性 可擴(kuò)散性可擴(kuò)散性 可替代性可替代性 可共享性可共享性 時(shí)效性時(shí)效性 存在的普遍性存在的普遍性 有序性有序性相對(duì)性相對(duì)性 可度量性可度

5、量性 可擴(kuò)充性可擴(kuò)充性 可存儲(chǔ)、傳輸與攜帶性可存儲(chǔ)、傳輸與攜帶性 信號(hào)、消息與信息區(qū)別與聯(lián)系在中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)信號(hào)、消息消息、信息信息。信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：1) 離散(數(shù)字)消息，是一組未知量，可用隨機(jī)序列來描述：U=(U1UlUL)2) 連續(xù)(模擬)消息，也是未知量，它可用隨機(jī)過程來描述：U(t,)信息：它是更高層次哲學(xué)上的抽象，是信號(hào)

6、與消息的更高表達(dá)層次。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。通信中的信息含義？信號(hào)、消息與信息區(qū)別與聯(lián)系關(guān)系：關(guān)系：信息信息-可以認(rèn)為是具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。信號(hào)信號(hào)-則是抽象信息在物理層表達(dá)的外延；消息消息-則是抽象信息在數(shù)學(xué)層表達(dá)的外延。l同一信息，可以采用不同的信號(hào)形式(比如文字、語言、圖象等)來載荷；l同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述；l同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷 與通、低與高(電平)等等。 情報(bào)、知識(shí)是特點(diǎn)的信

7、息，但不等于信息的全體。情報(bào)、知識(shí)是特點(diǎn)的信息，但不等于信息的全體。通信中的信息含義？信息消息信號(hào)區(qū)別與聯(lián)系：l消息是指擔(dān)負(fù)著傳送信息任務(wù)的單個(gè)符號(hào)或符號(hào)序列。包括文本、數(shù)據(jù)、語言、圖形和圖像等。是具體的。l信號(hào)是消息的物理體現(xiàn)，為了在信道上傳輸消息，就必須把消息加載到具有某種物理特征的信號(hào)上去。是物理的。l信息是消息中的未知成分（不確定性），或者說是消息中的有用成分。是抽象的。l通信系統(tǒng)傳輸?shù)氖峭ㄐ畔到y(tǒng)傳輸?shù)氖切盘?hào)信號(hào)，信號(hào)是信號(hào)是消息消息的載體，的載體，消息中的未知成分是消息中的未知成分是信息信息。信息的直觀認(rèn)識(shí)1信道上傳送的是隨機(jī)變量的值信道上傳送的是隨機(jī)變量的值。l這就是說，我們?cè)谑盏?/p>

8、消息之前，并不知道消息的內(nèi)容。否則消息是沒有必要發(fā)送的。 l消息隨機(jī)變量有一個(gè)概率分布。 l消息隨機(jī)變量的一個(gè)可能取值就稱為一個(gè)事件。 信息的直觀認(rèn)識(shí)2 事件發(fā)生的概率越小，此事件含有的信息量就越事件發(fā)生的概率越小，此事件含有的信息量就越大。（不太可能發(fā)生的事件竟然發(fā)生了，令人震大。（不太可能發(fā)生的事件竟然發(fā)生了，令人震驚）驚）l例事件“中國足球隊(duì)5：0力克韓國足球隊(duì)” 此事件含有的信息量大大。（小概率事件發(fā)生了，事件信息量大）l例事件“中國足球隊(duì)0：1負(fù)于韓國足球隊(duì)” 此事件有的信息量小小。（大概率事件發(fā)生了，事件信息量?。┬畔⒌闹庇^認(rèn)識(shí)3 消息隨機(jī)變量的隨機(jī)性越大，此消息隨機(jī)變消息隨機(jī)變量

9、的隨機(jī)性越大，此消息隨機(jī)變量含有的信息量就越大。量含有的信息量就越大。l例消息隨機(jī)變量X=“中國足球隊(duì)與巴西足球隊(duì)比賽的結(jié)果” 則消息隨機(jī)變量X含有的信息量小。l例消息隨機(jī)變量Y=“意大利足球隊(duì)與德國足球隊(duì)比賽的結(jié)果” 則消息隨機(jī)變量Y含有的信息量大。信息的直觀認(rèn)識(shí)4 兩個(gè)消息隨機(jī)變量的相互依賴性越大，它們的兩個(gè)消息隨機(jī)變量的相互依賴性越大，它們的互信息量就越大互信息量就越大。l例X=呼和浩特明日平均氣溫, Y=包頭明日平均氣溫，Z=北京明日平均氣溫，W=紐約明日平均氣溫。 則X與Y互信息量大， X與Z互信息量小得多， X與W互信息量幾乎為0 。 按照信息的作用按照信息的作用有用無用干擾1工業(yè)

10、農(nóng)業(yè)軍事政治科技文化經(jīng)濟(jì)市場(chǎng)管理 按照信息的應(yīng)用部門按照信息的應(yīng)用部門 2信息的分類語聲圖象文字?jǐn)?shù)據(jù)計(jì)算 按照信息的來源按照信息的來源3連續(xù)連續(xù)離散離散半連續(xù)半連續(xù) 按照攜帶信息的信號(hào)的性質(zhì)按照攜帶信息的信號(hào)的性質(zhì) 4信息的分類 香農(nóng)信息論香農(nóng)信息論主要討論的是語法信息中主要討論的是語法信息中的的概率信息概率信息，本書也以概率信息為主要研，本書也以概率信息為主要研究對(duì)象。究對(duì)象。 在人類歷史的長河中，信息傳輸和傳播手段經(jīng)歷了五次重大變革：語言的產(chǎn)生。語言的產(chǎn)生。文字的產(chǎn)生。文字的產(chǎn)生。印刷術(shù)的發(fā)明。印刷術(shù)的發(fā)明。 電報(bào)、電話的發(fā)明。電報(bào)、電話的發(fā)明。 計(jì)算機(jī)技術(shù)與通信技術(shù)相結(jié)計(jì)算機(jī)技術(shù)與通信技

11、術(shù)相結(jié) 合，促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展。合，促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展。12345信息論的起源、發(fā)展及研究內(nèi)容信息論的起源、發(fā)展及研究內(nèi)容信源信道信宿噪聲源信源編碼加密信道編碼調(diào)制器解調(diào)器信道譯碼解密信源譯碼通信系統(tǒng)模型通信系統(tǒng)模型 香農(nóng)信息論信源熵信源熵信道容量信道容量率失真函數(shù)率失真函數(shù)信源編碼信源編碼信道編碼信道編碼密碼密碼香農(nóng)信息論香農(nóng)信息論2香農(nóng)信息論的科學(xué)體系香農(nóng)信息論香農(nóng)信息論傳輸理論傳輸理論壓縮理論壓縮理論保密理論保密理論無噪聲無噪聲有噪聲有噪聲有失真信源編碼有失真信源編碼無失真信源編碼無失真信源編碼率失真理論率失真理論等長編碼定理等長編碼定理變長編碼定理變長編碼定理壓縮編碼壓縮編碼Sha

12、nnon(1949) (1959)Gallager(1968)Berger(1969)Shannon(1948) McMillan(1953)Shannon(1948) McMillan(1956)最優(yōu)碼構(gòu)成最優(yōu)碼構(gòu)成信道編碼定理信道編碼定理碼構(gòu)成碼構(gòu)成Huffman碼碼(1952)Fano碼碼算術(shù)碼算術(shù)碼(1976,1982)LZ碼碼(1977,1978)MH碼碼(1977)糾錯(cuò)碼糾錯(cuò)碼代數(shù)編碼代數(shù)編碼卷積碼卷積碼Hamming(1950)Elias(1955)Viterbi(1967)網(wǎng)絡(luò)信道網(wǎng)絡(luò)信道網(wǎng)絡(luò)信息理論網(wǎng)絡(luò)信息理論Shannon(1948)Feinstein(1954)Galla

13、ger(1965)Cover(1975)Shannon(1961)Cover(1972)網(wǎng)絡(luò)最佳碼網(wǎng)絡(luò)最佳碼保密系統(tǒng)的保密系統(tǒng)的信息理論信息理論保密碼保密碼Shannon(1949) Diffie和和Hellmen(1976)公開密鑰公開密鑰圖圖1.4 香農(nóng)信息論的科學(xué)體系香農(nóng)信息論的科學(xué)體系l香農(nóng)定義信息的出發(fā)點(diǎn)是假定事物狀態(tài)可以用一個(gè)經(jīng)典集合論為基礎(chǔ)的概率模型來描述。實(shí)際存在的某些事物運(yùn)動(dòng)狀態(tài)要尋找一個(gè)合適的概率模型往往是非常困難的。某些情況下，這一模型不一定存在。l香農(nóng)定義信息的度量沒有考慮收信者的主觀性和主觀意義，也撇開了信息的具體含義、具體用途、重要程度和引起的后果等因素。這就與實(shí)際情況不完全一致。 香農(nóng)信息的定義和度量是科學(xué)的，能反映信息的某些本質(zhì)；但卻是有缺陷的、有局限的。這樣，它的適用范圍會(huì)受到嚴(yán)重影響。 香農(nóng)信息論的缺陷信息論研究的對(duì)象、目的和內(nèi)容(1) 信息論研究的對(duì)象和目的l研究對(duì)象：信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近世代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程學(xué)科。 信息論研究的對(duì)象、目的和內(nèi)容(1) 信息論研究的對(duì)象和目的l研究目的：它的主要目的是提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。 信息論研究的對(duì)象、目的和內(nèi)容(2) 信息論研究的內(nèi)容l信息論基礎(chǔ)：也稱狹義信息論/經(jīng)典信息