信息論第一章

西安郵電大學(xué)通信與信息工程學(xué)院2012年8月信息論與編碼李大湘153-5370798135108809@課程概述◆《信息論與編碼》先修課程：通信原理，概率論，數(shù)理統(tǒng)計(jì)，線性代數(shù)◆以概率論與隨機(jī)過程為主要數(shù)學(xué)工具，用一系列具體的符號(hào)(碼)來表示抽象的信息，研究信息在存儲(chǔ)和傳遞過程中具有的高效性和可靠性這兩大核心問題。本課程包括信息論基礎(chǔ)和編碼兩大部分?！?/p>

使用的教材：《信息論基礎(chǔ)與編碼》王軍選

人民郵電出版社（全價(jià)32.8元）卓越網(wǎng)23元左右課程概述當(dāng)今的時(shí)代是一個(gè)信息的時(shí)代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個(gè)課程可分為基礎(chǔ)理論和編碼理論兩部分組成。學(xué)習(xí)方法◆

學(xué)習(xí)時(shí)把注意力集中到概念的理解上，不要過分地追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)?！?/p>

注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)◆提倡獨(dú)立思考，獨(dú)立完成作業(yè)，注重思考在學(xué)習(xí)中的重要性?！?/p>

看其他相關(guān)教材，如：《信息論—基礎(chǔ)理論與應(yīng)用》,傅祖蕓,電子工業(yè)出版社考試與要求◆此課程共3個(gè)學(xué)分，為選修課◆共48個(gè)學(xué)時(shí)，平均每周3小節(jié)課◆授課內(nèi)容：前6章+第7章部分內(nèi)容◆考試方式：系考，閉卷期未考試成績占70%,平時(shí)成績占30%

缺交作業(yè)每次扣3分，遲到每次扣2分，無故曠課每次扣5分，早退每次扣2分◆交作業(yè)：單周的星期二，3號(hào)試驗(yàn)樓131◆各班班長在下次課時(shí)交一份本班同學(xué)名單第1章概論《信息論與編碼B》

2012年8月目錄2.12.2信息論研究的對(duì)象與內(nèi)容2.3信息論的發(fā)展2.12.32.22.31.12.21.31.2信息的基本概念學(xué)習(xí)目標(biāo)◆了解信息的定義◆了解信息的性質(zhì)◆掌握信息、消息、信號(hào)的三者之間的關(guān)系◆掌握通信系統(tǒng)框圖◆了解信息論的研究對(duì)象與內(nèi)容◆了解信息論的發(fā)展簡史奠基人：美國數(shù)學(xué)家香農(nóng)（C.E.Shannon）

□

1948年“通信的數(shù)學(xué)理論”

□

1949年“噪聲下的通信”■

這二篇論文成為信息論的奠基性著作

給出了通信系統(tǒng)的模型，提出信源熵的數(shù)據(jù)表達(dá)式；

解決了信道容量，信源編碼，信道編碼等一系列基本問題。信息論涉及的課程□

通信技術(shù)□

概率論□

隨機(jī)過程□

數(shù)理統(tǒng)計(jì)

克勞德·艾爾伍德·香農(nóng)(ClaudeElwoodShannon)

1916-20011.1信息的概念信息是信息論中最基本、最重要的概念，既抽象又復(fù)雜信息在日常生活中被認(rèn)為是“消息”、“知識(shí)”、“情報(bào)”等“信息”不同于消息（在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴(yán)格的數(shù)學(xué)含義），消息是表現(xiàn)形式，信息是實(shí)質(zhì)；“信息”不同于情報(bào)，情報(bào)的含義比“信息”窄的多，一般只限于特殊的領(lǐng)域（軍事），是一類特殊的信息；信息不同于信號(hào)，信號(hào)是承載消息的物理量；信息不同于知識(shí)，知識(shí)是人們根據(jù)某種目的,從自然界收集得來的數(shù)據(jù)中整理、概括、提取得到的有價(jià)值的信息，是一種高層次的信息。消息：用文字等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來。

知識(shí)：一種具有普遍和概括性質(zhì)的高層次的信息

，以實(shí)踐為基礎(chǔ)，通過抽象思維，對(duì)客觀事物規(guī)律性的概括。情報(bào)：是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解而產(chǎn)生的知識(shí)?！跛鼈冎g有著密切聯(lián)系，但不等同，信息的含義更深刻、廣泛●就狹義而言，在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：①離散(數(shù)字)消息：一組未知量，可用隨機(jī)序列來描述：

X=(X1…Xi…Xn)②連續(xù)(模擬)消息：未知量，它可用隨機(jī)過程來描述：X(t,ω)信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次。

■信息、消息和信號(hào)是既有區(qū)別又有聯(lián)系的三個(gè)不同的概念

消息中包含信息，是信息的載體。信號(hào)攜帶著消息，它是消息的運(yùn)載工具。信息可認(rèn)為是由具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。而信號(hào)則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號(hào)形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。信號(hào)、消息、信息之間的關(guān)系例1：張三給李四發(fā)送一條短信，報(bào)告了一條新聞“美國某沿海地區(qū)發(fā)生大海嘯”，李四看過之后非常吃驚.說明：這個(gè)例子涉及到信號(hào)、消息、信息三個(gè)概念（1）短信首先被手機(jī)編碼成無線電波發(fā)送過去，則無線電波就是短信的載體，是實(shí)際存在的電磁波“信號(hào)”。（2）李四的手機(jī)收到信號(hào)之后，在屏幕上顯示“美國某沿海地區(qū)發(fā)生大海嘯”，這就是一條“消息”（文字形式）

(3)李四年到消息之后，會(huì)在大腦中形成自己的理解，有自己的感受，這就是”信息“。◆信號(hào)是消息的表現(xiàn)形式，是物理的（可以測(cè)量），如電信號(hào)，光信號(hào)等?！粝⑹切畔⑤d體，是信號(hào)的具體內(nèi)容，不是物理的，但又比較具體，如文字，語音，圖像等?！粜畔谙⒅校峭ㄐ畔到y(tǒng)中要傳送的對(duì)象，消息被人的大腦所理解就產(chǎn)生了信息。信號(hào)、消息、信息之間的關(guān)系關(guān)于信息的科學(xué)定義，到目前為止，國內(nèi)外已有不下百余種流行的說法，它們都是從不同的側(cè)面和不同的層次來揭示信息的本質(zhì)的。1928年，哈特萊(R．V．LHartley)

在《信息傳輸》一文中提出：發(fā)信者所發(fā)出的信息，就是他在通信符號(hào)表中選擇符號(hào)的具體方式局限性：定義不涉及到信息的價(jià)值和具體內(nèi)容，只考慮選擇的方式。(太陽圍繞地球轉(zhuǎn))即使考慮選擇的方法，但沒有考慮各種可能選擇方法的統(tǒng)計(jì)特性。信息的不同定義方式1948年，維納(N．Wiener)

□

在《控制論--動(dòng)物和機(jī)器中通信與控制問題》一書中，指出：“信息就是信息，不是物質(zhì)，也不是能量”。將“信息”上升到“最基本概念”的位置。□后來，維納在《人有人的用處》一書中提出：“信息是人們適應(yīng)外部世界并且使這種適應(yīng)反作用于外部世界的過程中，同外部世界進(jìn)行交換的內(nèi)容的名稱?！薄蹙窒扌裕喊研畔⑴c物質(zhì)、能量混同起來。所以，維納關(guān)于信息的定義是不確切的。構(gòu)成宇宙的三要素：物質(zhì)、能量、信息1948年，香農(nóng)（C.E.Shannon）發(fā)表了一篇著名的論文，“通信的數(shù)學(xué)理論”。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息作了科學(xué)的定義，并對(duì)信息進(jìn)行了定性和定量的描述。信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。

（1）信息是無形的信息看不見，摸不著，不具有實(shí)體性（2）信息是可以共享的信息易于復(fù)制，便于快速傳播，是一種可以共享的社會(huì)資源。信息交流不但不會(huì)使雙方失去原來的信息，還可以獲得新的信息。（3）信息是可以度量的信息論中的一個(gè)重要問題就是要解決信息的度量與質(zhì)量問題。在香農(nóng)關(guān)于信息的定義中，信息量與事件的不確定性有關(guān)。（就是一個(gè)關(guān)于概率的函數(shù)）1.1.2信息的性質(zhì)：□按照香農(nóng)的定義：信息是對(duì)事物不確定性的描述。也就是說，信息是與事物的不確定性有關(guān)的。用數(shù)學(xué)的語言來講，不確定就是隨機(jī)性，可運(yùn)用研究隨機(jī)事件的數(shù)學(xué)工具----概率論和隨機(jī)過程來測(cè)度不確定性的大小。

□影響不確定性的因素：①該事物可能出現(xiàn)的不同狀態(tài)數(shù)目;②各狀態(tài)概率?！踅Y(jié)論：既然不確定性的大小能夠度量，所以信息是可以測(cè)度的。

香農(nóng)信息的度量:信息能不能度量？例1：信息與不確定性的關(guān)系而乙袋中取出紅球的概率小，不確定性大，故信息量大。從這個(gè)例子可以得出：不確定性的大小與可能發(fā)生的消息數(shù)目及各消息發(fā)生的概率有關(guān)。舉例說明不確定性的大小，如右圖甲袋中取出紅球的概率大，不確定性小，因此信息量??；信息的直觀認(rèn)識(shí)香農(nóng)信息的度量信息量——設(shè)事件a發(fā)生的概率是p(a),則●信息論是關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)理論?！裥畔⒄撌且婚T應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)、近世代數(shù)和矩陣?yán)碚摰姆椒?，來研究信息的?jì)量、發(fā)送、傳遞、交換、接收和存儲(chǔ)的一般規(guī)律的學(xué)科。1.2信息論研究的對(duì)象與內(nèi)容通信系統(tǒng)模型通信系統(tǒng)模型主要分成以下五部分：1、信源：產(chǎn)生消息和消息序列的源。它可以是人、生物、機(jī)器或其他事物，人的大腦思維活動(dòng)也是一種信源；信源發(fā)出的消息有語音、圖像、文字等；信源的輸出是消息，消息是具體的，但它不是信息本身。它是事物各種運(yùn)動(dòng)狀態(tài)或存在狀態(tài)的集合，可能出現(xiàn)的狀態(tài)(即信源輸出的消息)是隨機(jī)的、不確定的，但又有一定的規(guī)律性。2、編碼器：將信源發(fā)出的消息變換成適合信道傳送的信號(hào)的設(shè)備，包括以下三個(gè)部分：信源編碼，為了提高信息傳輸?shù)男蕦?duì)信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，把信息變換成信號(hào)，又稱信源壓縮編碼；信道編碼，是為了提高信息傳輸?shù)目煽啃远鴮?duì)消息進(jìn)行的變換和處理，又稱信道糾錯(cuò)編碼，如奇偶監(jiān)督碼、重復(fù)碼、線性分組碼等；保密編碼，是為保證信息的安全性和證實(shí)性。3、信道：通信系統(tǒng)中把載荷消息的信號(hào)從甲地傳輸?shù)揭业氐拿浇榛蛲ǖ?。?shí)際信道有明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等傳輸電磁波能量的信道；信道除傳送信號(hào)以外，還有存儲(chǔ)信號(hào)的作用，如磁帶、光盤或書寫通信方式；在信道中還存在噪聲和干擾。為分析方便，把干擾和噪聲都等效地折合成信道干擾，看成是由噪聲源產(chǎn)生。由于干擾或噪聲往往具有隨機(jī)性，所以信道特性可用概率空間描述。4、譯碼：就是把信道輸出的編碼信號(hào)（已迭加了干擾）進(jìn)行反變換，一般認(rèn)為這種變換是可逆的。從受干擾的信號(hào)中最大限度地提取出信源輸出消息的信息，并盡可能地復(fù)現(xiàn)信源的輸出。譯碼器也分成三種：信源譯碼器；信道譯碼器；解密譯碼器。5、信宿：是消息傳送過程中的接收者，即接收消息的人或機(jī)器。

◆通信的目的：就是消除或者部分消除不確定性，從而獲得信息。◆信息論就是通過對(duì)系統(tǒng)中消息的傳輸和處理的研究來找出信息的傳輸與處理的共同規(guī)律，提高信息傳輸?shù)目煽啃浴⒂行?、保密性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化?！艟唧w到通信系統(tǒng)，就是研究通信系統(tǒng)的有效性、安全性與可靠性等環(huán)節(jié)。通信系統(tǒng)的指標(biāo)通信系統(tǒng)的基本問題：在某一點(diǎn)精確或近似地恢復(fù)另一點(diǎn)發(fā)送的信息。信息論的研究內(nèi)容信息論的研究內(nèi)容研究內(nèi)容信息論研究內(nèi)容的三種理解：1、狹義信息論，也稱為香農(nóng)信息論。A.信息的測(cè)度 B.信道容量C.信源和信道編碼理論2、一般信息論。也稱為工程信息論，主要也是研究信息傳輸和處理問題。除香農(nóng)信息論之外，還包括：A..噪聲理論B.信號(hào)濾波和預(yù)測(cè) C.統(tǒng)計(jì)檢測(cè)與估計(jì)理論D.調(diào)制理論 E.信息處理理論3、廣義信息論,也稱為信息科學(xué)。除了上述兩個(gè)方面內(nèi)容，還包括所有與信息有關(guān)的領(lǐng)域，如A.模式識(shí)別 B.計(jì)算機(jī)翻譯 C.心理學(xué)D.遺傳學(xué) E.神經(jīng)生理學(xué) F.語言學(xué)G.語義學(xué)信息論的分支電磁理論和電子學(xué)理論對(duì)通信理論技術(shù)發(fā)展起重要的促進(jìn)作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應(yīng)莫爾斯1832－1835建立電報(bào)系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論1895年馬可尼發(fā)明了無線電通信微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時(shí)代量子力學(xué)使通信進(jìn)入量子通信領(lǐng)域

1.3信息論發(fā)展簡史與現(xiàn)狀

信息論發(fā)展簡史1832年莫爾斯電碼對(duì)shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對(duì)調(diào)幅信號(hào)的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號(hào)傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對(duì)數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機(jī)過程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)1946年柯切爾尼柯夫的學(xué)位論文“起伏噪聲下的潛在抗干擾理論”，根據(jù)最小錯(cuò)誤概率準(zhǔn)則和最小均方誤差準(zhǔn)則研究了離散和連續(xù)信道的最佳接收問題信息論發(fā)展簡史1948年shannon信息論奠基1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡介證明并描述了碼率，碼長和錯(cuò)誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法信息論發(fā)展簡史1950年漢明碼，19