PPT信息論與編碼-第1章 緒論

1、2021-12-22第一次課1課程概述信息論與編碼以概率論概率論與隨機(jī)過程隨機(jī)過程為主要數(shù)學(xué)工具，用一系列具體的符號(碼)來表示抽象的信息，研究信息在存儲和傳遞過程中具有高效性高效性和可靠性可靠性這兩大核心問題。本課程包括信息論基礎(chǔ)和編碼兩大部分。2021-12-22第一次課2學(xué)習(xí)方法學(xué)習(xí)時(shí)把注意力集中到概念的理解上，不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。2021-12-22第一次課3第一章 緒論o1.1 信息的概念、性質(zhì)及度量o1.2 信息論研究的對象、目的和內(nèi)容o1.3 信息論的形

2、成與發(fā)展2021-12-22第一次課41.1.1 信息的重要性o人類的生存與發(fā)展離不開信息n結(jié)繩記事結(jié)繩記事,契契(q)刻記事刻記事：最初期n烽火告警、狼煙、擂鼓傳信、飛鴿傳書烽火告警、狼煙、擂鼓傳信、飛鴿傳書o最早、快速、遠(yuǎn)距離n語言和文字語言和文字：最根本的工具o造紙術(shù)和印刷術(shù)使文字成為信息傳遞有效工具n郵政通信郵政通信n電報(bào)、電話和電視電報(bào)、電話和電視o快速、便利、遠(yuǎn)距離n網(wǎng)絡(luò)、手機(jī)網(wǎng)絡(luò)、手機(jī) 什么是信息？消息？2021-12-22第一次課51.1.2 信息的定義（一）o不同學(xué)科,從不同角度對信息這個(gè)概念有不同解釋n新聞界,信息信息被普遍認(rèn)為是對事物運(yùn)動狀態(tài)的陳述是對事物運(yùn)動狀態(tài)的陳述,

3、是物與物、物與人、人與人之間的特征傳輸.而新聞則是信息的一種,是具有新聞價(jià)值的信息，如東航“返航事件”.n哲學(xué)家從產(chǎn)生信息的客體來定義,認(rèn)為信息是事物本質(zhì)、特征、信息是事物本質(zhì)、特征、運(yùn)動規(guī)律的反映運(yùn)動規(guī)律的反映.不同事物有不同本質(zhì)、特征、運(yùn)動規(guī)律,人們就是通過事物發(fā)出的信息來認(rèn)識該事物,或區(qū)別于其它事物.n圖書館學(xué)和情報(bào)學(xué)領(lǐng)域,信息定義為事物或記錄信息定義為事物或記錄.美國學(xué)者巴克蘭德(Buckland)認(rèn)為, 許多事物都可以是信息, 如文本、圖片、錄音磁帶、博物館陳列品、自然物體、實(shí)驗(yàn)、事件等。但這一定義過于寬泛,未能將信息、信息載體和信息資源區(qū)分開來. 2021-12-22第一次課61.

4、1.2 信息的定義（二）o控制論專家維納維納(Wiener,右圖)的信息概念是從信息傳遞過程中,客體和接收主體之間相互作用定義的.他說,”信息既不是物質(zhì),又不是能量,信息就是信息.”o根據(jù)維納的說法,信息和物質(zhì)、能量既有聯(lián)系又有區(qū)別n物質(zhì)世界三大基礎(chǔ)：世界由物質(zhì)組成,能量是物質(zhì)運(yùn)動的動力,信息是人類了解自然及人類社會的憑據(jù);n獨(dú)立性：信息不遵循質(zhì)量守恒定律,其性質(zhì)和內(nèi)容與物質(zhì)載體的變換無關(guān);信息也不服從能量守恒定律,信息可以共享而能量不能共享.n依存關(guān)系：能量和信息源于物質(zhì);信息要以物質(zhì)為基礎(chǔ),也離不開能量;物質(zhì)運(yùn)動的狀態(tài)和方式需要信息來表現(xiàn)和描述,能量的轉(zhuǎn)換與駕馭也同樣離不開信息.2021-

5、12-22第一次課71.1.2 信息的定義（三）o1988年,鐘義信在信息科學(xué)原理中認(rèn)為,信息是事物運(yùn)動的狀態(tài)與方式信息是事物運(yùn)動的狀態(tài)與方式，是物質(zhì)的一種屬性。n“事物事物”泛指一切可能的研究對象,包括外部世界的物質(zhì)客體,也包括主觀世界的精神現(xiàn)象;n“運(yùn)動運(yùn)動”泛指一切意義上的變化,包括機(jī)械運(yùn)動、化學(xué)運(yùn)動、思維運(yùn)動和社會運(yùn)動;n“運(yùn)動方式運(yùn)動方式”是指事物運(yùn)動在時(shí)間上所呈現(xiàn)的過程和規(guī)律;n“運(yùn)動狀態(tài)運(yùn)動狀態(tài)”則是事物運(yùn)動在空間上所展示的形狀與態(tài)勢. 2021-12-22第一次課81.1.2 香農(nóng)信息的定義o克勞德克勞德艾爾伍德艾爾伍德香農(nóng)香農(nóng)是美國數(shù)學(xué)家、信息論的創(chuàng)始人。密西根大學(xué)學(xué)士，麻省

6、理工學(xué)院博士。o香農(nóng)在1948年發(fā)表了一篇著名的論文，通信的數(shù)學(xué)理通信的數(shù)學(xué)理論論。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對信息做了科學(xué)的定義，并進(jìn)行了定性和定量的分析。 克勞德克勞德艾爾伍德艾爾伍德香農(nóng)香農(nóng) (Claude Elwood Shannon, 1916-2001)2021-12-22第一次課91.1.2 香農(nóng)信息的定義o香農(nóng)將各種通信系統(tǒng)概括成如下框圖：2021-12-22第一次課101.1.2 香農(nóng)信息的定義o消息傳遞過程的特點(diǎn)：收信者在收到消息以收信者在收到消息以前是不知道消息的具體內(nèi)容的前是不知道消息的具體內(nèi)容的。n1) 收信者存在著“不知”、“不確定”或“疑問”；o收到消息以前

7、，收信者在是不知道消息的具體內(nèi)容。o即使收到消息，由于干擾的存在，收信者也不能判定所得到的消息是否正確和可靠。n2) 通過消息的傳遞，收信者知道了消息的具體內(nèi)容，消除或部分消除了原先的“不知”、“不確定”和“疑問”。2021-12-22第一次課111.1.2 香農(nóng)信息的定義2021-12-22第一次課121.1.2 香農(nóng)信息的定義o因此，對收信者來說，消息的傳遞過程是n從不知到知的過程；n或是從知之甚少到知之甚多的過程；n或是從不確定到部分確定或全部確定的過程。o如果不具備這樣一個(gè)特點(diǎn)，那就根本不需要通信系統(tǒng)了。 2021-12-22第一次課131.1.2 香農(nóng)信息的定義o所以，通信過程是一種

8、消除不確定性的過程通信過程是一種消除不確定性的過程。n不確定性的消除，就獲得了一部分信息。n不確定性消除得越多，獲得的信息就越多。n不確定性全部消除了，就獲得了全部的信息；n若消除了部分不確定性，就獲得了部分信息；n若不確定性沒有任何消除，就沒有獲得任何信息。o由此可見，信息是事物運(yùn)動狀態(tài)或存在方式的信息是事物運(yùn)動狀態(tài)或存在方式的不確定性不確定性的描述的描述。這就是香農(nóng)信息的定義香農(nóng)信息的定義。2021-12-22第一次課141.1.3 信息與消息的關(guān)系o1、消息消息：表達(dá)客觀物質(zhì)運(yùn)動和主觀思維活動的狀態(tài), 如文字、語言、圖像等.o2、信息與消息的關(guān)系：信息與消息的關(guān)系：n形式上傳輸消息，實(shí)質(zhì)

9、上傳輸信息。n消息具體，信息抽象。n消息是表達(dá)信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來載荷。n消息可能包含豐富的信息，也可能包含很少的信息。2021-12-22第一次課151.1.4 信息與信號的關(guān)系o1、信號：n把消息變換成適合信道傳輸?shù)奈锢砹?，如光信號、電信號、聲信號和生物信號等?o2、信息與信號的關(guān)系：n信號攜帶著消息，它是消息的運(yùn)載工具。 n信號是消息的表現(xiàn)形式，消息是信號的具體內(nèi)容。2021-12-22第一次課161.1.5 香農(nóng)信息的度量o根據(jù)香農(nóng)的有關(guān)信息的定義，信息如何度量？o當(dāng)人們收到一封電報(bào)，或聽了廣播，或看了電視，到底得到了多少信息量呢？o信息能否度量

10、？信息能否度量？信息量與不確定性消除的程度有關(guān)。那么，不確定性的大小能度量嗎？o數(shù)學(xué)工具數(shù)學(xué)工具：數(shù)學(xué)上，不確定性就是隨機(jī)性，具有不確定性的事件就是隨機(jī)事件。因此可用概率論和隨概率論和隨機(jī)過程機(jī)過程來測度不確定性的大小。o從直觀概念來講，不確定性的大小可以直觀地看成是事先猜測某隨機(jī)事件是否發(fā)生的難易程度。2021-12-22第一次課171.1.5 香農(nóng)信息的度量 而乙袋中取出紅球的概率小，不確定性大，故信息量大。從這個(gè)例子可以得出：不確定性的大小與可能發(fā)生的消息數(shù)目及各消息發(fā)生的概率有關(guān)。舉例說明不確定性的大小，如右圖甲袋中取出紅球的概率大，不確定性小，因此信息量??；2021-12-22第一次

11、課181.1.5 香農(nóng)信息的度量o信息能否度量？信息能否度量？信息量與不確定性消除的程度有關(guān)。那么，不確定性的大小能度量嗎？n回答：某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各種狀態(tài)出現(xiàn)的概率大小有關(guān)。因此，不確定性的大小能夠度量?？梢?，信息也是可以測度的。2021-12-22第一次課191.1.3 信息的基本性質(zhì)o1、信息是無形的、信息是無形的n不同于物質(zhì)與能量，看不見、摸不著，不具有實(shí)體性o2、信息是可共享的、信息是可共享的n2.1 信息共享是無限的，甲乙丙n2.2 信息共享的積極作用，加速人類社會的文明進(jìn)程n2.3 信息共享的安全性o3、信息是無限的、信息是無限的n

12、3.1 資源,取之不盡、用之不竭的n3.2 時(shí)空上的可擴(kuò)展性，如天氣預(yù)報(bào)信息o4、信息是可量度的，質(zhì)量和數(shù)量、信息是可量度的，質(zhì)量和數(shù)量2021-12-22第一次課201.1.6 香農(nóng)信息的度量（一）o1、樣本空間樣本空間Xn某事物所有可能出現(xiàn)的不同狀態(tài)(或不同消息)的集合。 o2、概率測度概率測度Pn對于每個(gè)可能選擇的消息指定一個(gè)概率。o3、消息概率空間消息概率空間X,P：消息的樣本空間X和它的概率測度P。離散情況下概率空間為1212( )( )()( )qqaaaXp ap ap ap x2021-12-22第一次課211.1.6 信息的度量（二）o4、自信息自信息：接收端對發(fā)送端是否發(fā)送

13、消息ai的不確定性, 即o5、條件自信息條件自信息：接收端收到bj 后, 對發(fā)送端是否發(fā)送消息ai 尚存在的不確定性, 即o6、互信息互信息：收信者獲得的信息量, 接收端收到消息bj 后,已經(jīng)消除的不確定性, 即 1( )log( )iiI aP a11( ;)loglog( )(|)ijiijI a bP aP a b1(|)log(|)ijijI a bP a b2021-12-22第一次課221.1.7 香農(nóng)概率信息定義的優(yōu)劣o優(yōu)點(diǎn)：n定義科學(xué)，有明確的數(shù)學(xué)模型；n與日常用語中信息的含意是一致的；n排除了日常用語中對信息的主觀含意。o局限性：n實(shí)際存在的某些事物運(yùn)動狀態(tài)很難找到一個(gè)合適的

14、概率模型(以經(jīng)典集合論為基礎(chǔ))；n沒有考慮收信者的主觀特性和主觀意義；n撇開了事物本身的具體含意、具體用途、重要程度和引起的后果等因素。2021-12-22第一次課23第一章 緒論o1.1 信息的概念、性質(zhì)及度量o1.2 信息論研究的對象、目的和內(nèi)容o1.3 信息論的形成與發(fā)展2021-12-22第一次課241.2.1 研究對象：通信系統(tǒng)o各種通信系統(tǒng)盡管形式和用途不同都是信息傳輸系統(tǒng)；o為便于研究信息傳輸和處理的共同規(guī)律，將各種通信系統(tǒng)抽象成一個(gè)統(tǒng)一的理論模型，如圖1.1.信源編碼加密信道編碼信道信道解碼解密信源譯碼信宿密鑰源噪聲源密鑰源信源 圖 1.1 通信系統(tǒng)模型 2021-12-22第

15、一次課251.2.1 研究對象：通信系統(tǒng)通信系統(tǒng)模型主要分成以下五部分：通信系統(tǒng)模型主要分成以下五部分：o1、信、信 源源：產(chǎn)生消息和消息序列的源。n它可以是人、生物、機(jī)器或其他事物，人的大腦思維活動也是一種信源；n信源發(fā)出的消息有語音、圖像、文字等；n信源的輸出是消息，消息是具體的，但它不是信息本身。n它是事物各種運(yùn)動狀態(tài)或存在狀態(tài)的集合，可能出現(xiàn)的狀態(tài)(即信源輸出的消息)是隨機(jī)的、不確定的，但又有一定的規(guī)律性。2021-12-22第一次課261.2.1 研究對象：通信系統(tǒng)o2、編碼器、編碼器：將信源發(fā)出的消息變換成適合信道傳送的信號的設(shè)備，包括以下三個(gè)部分：n信源編碼信源編碼，為了提高信息

16、傳輸?shù)男蕦π旁摧敵龅南⑦M(jìn)行適當(dāng)?shù)淖儞Q和處理，把信息變換成信號，又稱信源壓縮編碼信源壓縮編碼；n信道編碼信道編碼，是為了提高信息傳輸?shù)目煽啃远鴮ο⑦M(jìn)行的變換和處理，又稱信道糾錯(cuò)編碼信道糾錯(cuò)編碼，如奇偶監(jiān)督碼、重復(fù)碼、線性分組碼等；n保密編碼保密編碼，是為保證信息的安全性和證實(shí)性。2021-12-22第一次課27o電報(bào)常用的莫爾斯碼就是按信息論的基本編碼原則設(shè)計(jì)出來的；o在一些商品上面有一張由粗細(xì)條紋組成的標(biāo)簽，從這張標(biāo)簽可以得知該商品的生產(chǎn)廠家、生產(chǎn)日期和價(jià)格等信息，這些標(biāo)簽是利用條形碼設(shè)計(jì)出來的，非常方便，非常有用，應(yīng)用越來越普遍；o計(jì)算機(jī)的運(yùn)算速度很高，要保證它幾乎不出差錯(cuò)，相當(dāng)于要求

17、有100年的時(shí)間內(nèi)不得有一秒鐘的誤差，這就需要利用糾錯(cuò)碼來自動地及時(shí)地糾正所發(fā)生的錯(cuò)誤；o每出版一本書，都給定一個(gè)國際標(biāo)準(zhǔn)書號(ISBN)，大大方便圖書的銷售、編目和收藏工作。2021-12-22第一次課281.2.1 研究對象：通信系統(tǒng)o3、信、信 道道：通信系統(tǒng)中把載荷消息的信號從甲地傳輸?shù)揭业氐拿浇榛蛲ǖ?。n實(shí)際信道有明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等傳輸電磁波能量的信道；n信道除傳送信號以外，還有存儲信號的作用，如磁帶、光盤或書寫通信方式；n在信道中還存在噪聲和干擾。為分析方便，把干擾和噪聲都等效地折合成信道干擾，看成是由噪聲源產(chǎn)生。由于干擾或噪聲往往具有隨機(jī)性，所以信道特性可

18、用概率空間描述。2021-12-22第一次課291.2.1 研究對象：通信系統(tǒng)o4、譯、譯 碼碼：就是把信道輸出的編碼信號（已迭加了干擾）進(jìn)行反變換，一般認(rèn)為這種變換是可逆的。n從受干擾的信號中最大限度地提取出信源輸出消息的信息，并盡可能地復(fù)現(xiàn)信源的輸出。譯碼器也分成三種：o信源譯碼器；o信道譯碼器；o解密譯碼器。 2021-12-22第一次課301.2.1 研究對象：通信系統(tǒng)o5、信、信 宿宿：是消息傳送過程中的接收者，即接收消息的人或機(jī)器。2021-12-22第一次課311.2.2 研究目的o研究概括性強(qiáng)的通信系統(tǒng)，其目的：要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行?、保?/p>

19、性和認(rèn)證性，使達(dá)到信息傳輸系統(tǒng)最優(yōu)化。n可靠性可靠性：盡可能不失真地再現(xiàn)信源發(fā)出的消息；n有效性有效性：用更短的時(shí)間和更少的設(shè)備來傳送信息，與可靠性易發(fā)生矛盾，需要統(tǒng)籌兼顧；n保密性保密性：傳送的消息只被預(yù)定的接收者獲??；n認(rèn)證性認(rèn)證性：正確判斷所接收消息是預(yù)定發(fā)送者發(fā)送的。2021-12-22第一次課321.2.2 研究目的o根據(jù)信息傳輸?shù)囊蟛煌畔鬏斚到y(tǒng)根據(jù)信息傳輸?shù)囊蟛煌?，信息傳輸系統(tǒng)模型不是不變的。模型不是不變的。n研究可靠性研究可靠性，把信源、信源編碼和加密編碼等效成一個(gè)信源，而將信宿、信源譯碼和解密譯碼等效成一信宿；n研究有效性研究有效性，只考慮信源與信宿之間的信源編(譯)

20、碼，將其他部分看成無干擾信源；n研究保密性和認(rèn)證性研究保密性和認(rèn)證性，將信源和信源編碼等效成一信源；將信道編碼、信道、噪聲源和信道譯碼等效成一無干擾信道；而將信源譯碼和信宿等效為一信宿。2021-12-22第一次課331.2.3 研究內(nèi)容信息論研究的是關(guān)于這個(gè)通信系統(tǒng)的最根信息論研究的是關(guān)于這個(gè)通信系統(tǒng)的最根本、最本質(zhì)的問題。本、最本質(zhì)的問題。例如：例如： 什么是信息？如何度量信息？ 怎樣確定信源中含有多少信息量？ 對于一個(gè)信道，它傳輸信息量的最高極限(信道容量)是多少？2021-12-22第一次課341.2.3 研究內(nèi)容 為了能夠無失真的傳輸信源信息，對信源編碼時(shí)所需的最少的碼符號數(shù)是多少？

21、(無失真信無失真信源編碼即源編碼即香農(nóng)第香農(nóng)第一一定理定理) 在有噪信道中有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯(cuò)誤概率幾乎為零？(有有噪信道編碼即香農(nóng)第噪信道編碼即香農(nóng)第二二定理定理) 如果對信源編碼時(shí)允許一定量的失真，所需的最少的碼符號數(shù)又是多少？(限失真信源編碼限失真信源編碼即香農(nóng)第即香農(nóng)第三三定理定理)2021-12-22第一次課351.2.3 研究內(nèi)容o信息論研究內(nèi)容的三種理解：n1、狹義信息論oA. 信息的測度B. 信道容量oC. 信源和信道編碼理論n2、一般信息論。主要也是研究信息傳輸和處理問題。oA. 香農(nóng)理論B. 噪聲理論oC. 信號濾波和預(yù)測D. 統(tǒng)計(jì)檢測與估計(jì)理論

22、oE. 調(diào)制理論 F. 信息處理理論n3、廣義信息論。除了上述兩個(gè)方面內(nèi)容，還包括所有與信息有關(guān)的領(lǐng)域，如oA. 模式識別B. 計(jì)算機(jī)翻譯C. 心理學(xué)oD. 遺傳學(xué)E. 神經(jīng)生理學(xué) F. 語言學(xué)oG. 語義學(xué)2021-12-22第一次課361.2.3 研究內(nèi)容 綜上所述，信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的科學(xué)；它的主要目的是提高信息系統(tǒng)的可靠性和有效性，以便達(dá)到系統(tǒng)最優(yōu)化；它的主要內(nèi)容(或分支)包括香農(nóng)理論、編碼理論、維納理論、檢測和估計(jì)理論、信號設(shè)計(jì)和處理理論、調(diào)制理論、隨機(jī)噪聲理論和密碼學(xué)理論等。 2021-12-2

23、2第一次課37狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼2021-12-22第一次課381.2.3 研究內(nèi)容o除了香農(nóng)理論以外，后一部分內(nèi)容是以美國科學(xué)家維納(N. Wiener)為代表，其中最有貢獻(xiàn)的是維納和蘇聯(lián)科學(xué)家柯爾莫哥

24、洛夫(. ?)。維納(1894-1964)柯爾莫哥洛夫(1903-1987)2021-12-22第一次課391.2.3 研究內(nèi)容o雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法來研究準(zhǔn)確地或近視地再現(xiàn)消息的問題，都是為了使消息傳送和接收最優(yōu)化，但他們之間卻有一個(gè)重要的區(qū)別，見下表。2021-12-22第一次課401.2.3 研究內(nèi)容維納理論維納理論香農(nóng)理論香農(nóng)理論研究重點(diǎn)研究重點(diǎn)接收端編碼、收發(fā)聯(lián)合最優(yōu)化研究對象研究對象 研究信號在傳輸過程中被那些因素干擾研究信號從信源到信宿之間傳輸?shù)娜^程研究內(nèi)容研究內(nèi)容 在接收端怎樣在干擾中提取、恢復(fù)、再現(xiàn)信號在傳輸前、后對消息進(jìn)行適當(dāng)?shù)木?譯)碼，就能保

25、證干擾下最佳地傳送和再現(xiàn)消息提出理論提出理論最佳線性濾波理論(維納濾波器)、統(tǒng)計(jì)檢測與估計(jì)理論、噪聲理論信息測度理論、信道容量理論和編碼理論等2021-12-22第一次課41第一章 緒論o1.1 信息的概念、性質(zhì)及度量o1.2 信息論研究的對象、目的和內(nèi)容o1.3 信息論的形成與發(fā)展2021-12-22第一次課421.3.1 電信系統(tǒng)的形成與發(fā)展o一、有線通信系統(tǒng)一、有線通信系統(tǒng)n1831年英國法拉第法拉第(Faraday)發(fā)現(xiàn)電磁感應(yīng)電磁感應(yīng)的基本規(guī)律。 n1844年美國莫爾斯莫爾斯(Morse)建立起了電報(bào)系統(tǒng)電報(bào)系統(tǒng)(數(shù)據(jù)數(shù)據(jù))。n1875年蘇格蘭青年亞歷山大.貝爾貝爾(Bell)發(fā)明了

26、世界上第一臺電話機(jī)電話機(jī)(語音語音)。2021-12-22第一次課43o二、無線電通信系統(tǒng)二、無線電通信系統(tǒng)n1864年英國麥克斯韋麥克斯韋(Maxwell)預(yù)言了電磁波電磁波的存在.n1888年德國赫茲赫茲(Hertz)用實(shí)驗(yàn)證明了電磁波存在這一預(yù)言.n1895年意大利的馬可尼馬可尼(Marconi)發(fā)明了無線電通信無線電通信,通信距離近百米.n1901年馬可尼馬可尼成功地進(jìn)行了跨越大西洋的遠(yuǎn)距離無線電通信遠(yuǎn)距離無線電通信.n1904年英國工程師弗萊明弗萊明(Fleming)發(fā)明了真空二極管真空二極管.o具有更高的性能和靈敏度，大大提高了無線電通信的功能.n1906年美國福雷斯特福雷斯特(F

27、orest)制成了世界上第一只真空三極管真空三極管.o起到放大電信號的作用,大大提高了無線電通信的距離和可靠性.n1925-1927,大功率超高頻電子管發(fā)明以后,電視系統(tǒng)電視系統(tǒng)(圖像圖像)建立起來了.n1925年蘇格蘭人貝爾德貝爾德(Baird)和美國人斯福羅金斯福羅金(Zworykin)發(fā)明了電視系統(tǒng)（圖像）電視系統(tǒng)（圖像）。前者稱做機(jī)械式機(jī)械式，后者稱為電子式電子式電視。2021-12-22第一次課44o三、微波通信系統(tǒng)（波長在三、微波通信系統(tǒng)（波長在0.1 mm-1 m）n微波電子管微波電子管是隨著微波波段的開發(fā)利用而發(fā)展起來的,它的應(yīng)用領(lǐng)域已擴(kuò)展到微波中繼通信、衛(wèi)星通信、地面電視廣播

28、、衛(wèi)星電視廣播、導(dǎo)航、能量傳輸、工業(yè)和民用加熱、科學(xué)研究等方面.n五十年代后期發(fā)明了量子放大器量子放大器,微波放大的裝置, 這種放大器是噪聲最低的一種微波放大器微波放大器,而且工作穩(wěn)定、線性度好.2021-12-22第一次課45o四、光纖通信系統(tǒng)（四、光纖通信系統(tǒng)（波長波長在在0.8 m-1.8 m）n世界上第一臺激光器激光器誕生于1960年,我國于1961年研制出第一臺激光器,使人類進(jìn)入了光纖通信光纖通信的時(shí)代.n1966年,英籍華人高錕高錕最先提出用玻璃纖維進(jìn)行遠(yuǎn)距離遠(yuǎn)距離激光通信激光通信的設(shè)想.n1973年,美國康寧公司制成每千米傳輸損耗只有20分貝的光纖.同年,美國貝爾實(shí)驗(yàn)室研制出能在

29、常溫下連續(xù)工作的半導(dǎo)體激光器半導(dǎo)體激光器.這兩項(xiàng)技術(shù)突破為光纖通信的實(shí)現(xiàn)鋪平了道路.n1976年,美國在芝加哥兩個(gè)相距7千米的電話局間首次進(jìn)行了光纖通信試驗(yàn),實(shí)現(xiàn)了一根光纖能夠同時(shí)容納8000對人通話.2021-12-22第一次課461.3.2 通信理論的發(fā)展 o一、信息理論n1885年凱爾文凱爾文(Kelvin)曾經(jīng)研究過一條電纜的極限傳信率電纜的極限傳信率問題。n1922年卡遜卡遜(Carson)研究了調(diào)幅信號頻譜結(jié)構(gòu)，提出了邊帶邊帶概念。n1924年奈奎斯特奈奎斯特(Nyquist)和屈夫繆勒屈夫繆勒(Kpfmller)解釋了信號帶寬和信息率之間的關(guān)系信號帶寬和信息率之間的關(guān)系。n192

30、8年哈特萊哈特萊(Hartley)提出信息量信息量等于可能消息數(shù)的對數(shù)。n1936年阿姆斯特朗阿姆斯特朗(Armstrong)提出在傳輸過程中增大帶寬傳輸過程中增大帶寬可以增強(qiáng)抑制干擾的能力可以增強(qiáng)抑制干擾的能力。n1939年，瑞弗瑞弗(Reeve)提出了具有強(qiáng)干擾能力的脈沖調(diào)制脈沖調(diào)制。上述理論工作的一個(gè)主要弱點(diǎn)弱點(diǎn)：是把消息看成是一個(gè)確定性的過程確定性的過程，這與許多實(shí)際情況不相符合。所依靠的數(shù)學(xué)工具主要是經(jīng)典的傅里葉傅里葉分析方法分析方法，這是有局限性的。 2021-12-22第一次課47n1945年萊斯萊斯(Rice)對噪聲噪聲進(jìn)行了全面研究總結(jié), 抗干擾抗干擾取代了抗失真?？故д?。n

31、1948年香農(nóng)香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學(xué)理論”的文章。o香農(nóng)第一定理：變長無失真信源編碼定理變長無失真信源編碼定理o香農(nóng)第二定理：有噪信道編碼定理有噪信道編碼定理n195l年美國IRE成立了信息論組，1955年出版了匯刊。此間，范恩斯坦(Foinstein)等科學(xué)家論證和推廣了香農(nóng)理論。n1959年香農(nóng)香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理保真度準(zhǔn)則下的離散信源編碼定理(香農(nóng)第三定理)”，系統(tǒng)地提出了信息率失真理論信息率失真理論。n1961年香農(nóng)論文“雙路通信信道”開拓了多用戶信息論多用戶信息論研究。2021-12-22第一次課48o二、信號檢測與估計(jì)理論n1942年維納維納(Wiener)建立了最少均方誤差準(zhǔn)則最少均方誤差準(zhǔn)則的維納濾波理論；維納濾波理論；n1943年諾思諾思(North) 提出了最大輸出信噪比準(zhǔn)則最大輸出信噪比準(zhǔn)則的匹配濾波器理論匹配濾波器理論。n1946年科捷利尼科夫科捷利尼科夫(Kotelnikov)提出了最大后驗(yàn)概率最大后驗(yàn)概率準(zhǔn)則(或稱最最小錯(cuò)誤概率小錯(cuò)誤概率)的理想接收機(jī)。n1950年伍德沃德伍德沃德(Woodword)將信息量