信息論課件1.ppt

1、Information Theory and Coding Techniques,信息論與編碼技術(shù),Where there is a will, there is a way.,第一章 緒論,相結(jié)合逐步發(fā)展而形成的一門新興科學(xué),本章內(nèi)容： 信息的概念 數(shù)字通信系統(tǒng)模型 信息論與編碼理論研究的主要內(nèi)容及意義,奠基人：美國數(shù)學(xué)家香農(nóng)（C.E.Shannon） 1948年“通信的數(shù)學(xué)理論”,信息論,1.1 信息的概念,信息是信息論中最基本、最重要的概念，既抽象又復(fù)雜 信息在日常生活中被認(rèn)為是“消息”、“知識”、“情報”等,“信息”不同于消息（在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，

2、沒有嚴(yán)格的數(shù)學(xué)含義），消息是表現(xiàn)形式，信息是實質(zhì)； “信息”不同于情報，情報的含義比“信息”窄的多，一般只限于特殊的領(lǐng)域，是一類特殊的信息； 信息不同于信號，信號是承載消息的物理量； 信息不同于知識，知識是人們根據(jù)某種目的,從自然界收集得來的數(shù)據(jù)中整理、概括、提取得到的有價值的信息，是一種高層次的信息。,消息：用文字等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達(dá)出來。 知識：一種具有普遍和概括性質(zhì)的高層次的信息 ，以實踐為基礎(chǔ)，通過抽象思維，對客觀事物規(guī)律性的概括。 情報：是人們對于某個特定對象所見、所聞、所理解而產(chǎn)生的知識 。,它們之間有著密切聯(lián)系但不等同 ，信息的

3、含義更深刻、廣泛,就狹義而言，在通信中對信息的表達(dá)分為三個層次：信號、消息、信息。 信號：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。 消息：(或稱為符號)是信息的數(shù)學(xué)表達(dá)層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型： 離散(數(shù)字)消息，一組未知量，可用隨機序列來描述： X=(X1XiXn) 連續(xù)(模擬)消息，未知量，它可用隨機過程來描述： X( t, ) 信息：它是更高層次哲學(xué)上的抽象，是信號與消息的更高表達(dá)層次。,信息、消息和信號是既有區(qū)別又有聯(lián)系的三個不同的

4、概念。 消息中包含信息，是信息的載體。 信號攜帶著消息，它是消息的運載工具。 信息可認(rèn)為是由具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。 而信號則是抽象信息在物理層表達(dá)的外延； 消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。 同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。 同一信號形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。,什么是信息 關(guān)于信息的科學(xué)定義，到目前為止，國內(nèi)外已有不下百余種流行的說法，它們都是從不同的側(cè)面和不同的層次來揭示信息

5、的本質(zhì)的。 1928年，哈特萊(RVL Hartley) 在信息傳輸一文中提出：發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式 局限性： 定義不涉及到信息的價值和具體內(nèi)容，只考慮選擇的方式。 即使考慮選擇的方法，但沒有考慮各種可能選擇方法的統(tǒng)計特性。,1948年，維納(NWiener) 在控制論-動物和機器中通信與控制問題一書中，指出：“信息是信息，不是物質(zhì)，也不是能量”。將“信息”上升到“最基本概念”的位置。 后來，維納在人有人的用處一書中提出：“信息是人們適應(yīng)外部世界并且使這種適應(yīng)反作用于外部世界的過程中，同外部世界進(jìn)行互相交換的內(nèi)容的名稱?！?局限性： 把信息與物質(zhì)、能量混同

6、起來。所以，維納關(guān)于信息的定義是不確切的。,1948年，香農(nóng)（C.E.Shannon） 發(fā)表了一篇著名的論文，“通信的數(shù)學(xué)理論”。 他從研究通信系統(tǒng)傳輸?shù)膶嵸|(zhì)出發(fā)，對信息作了科學(xué)的定義，并進(jìn)行了定性和定量的描述。 信息是事物運動狀態(tài)或存在方式的不確定性的描述。,通信系統(tǒng)模型,信源：產(chǎn)生消息和消息序列的來源。 消息可以是離散的，也可以是連續(xù)的（數(shù)據(jù)、文字、語言、圖像），通常信源的消息序列是隨機發(fā)生的，因此要用隨機變量來描述。,編碼器：把消息變換成適合于信道傳輸?shù)男盘枴?信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行浴?信道編碼器：對信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高

7、信道的抗干擾能力，以提高信息傳輸?shù)目煽啃浴?調(diào)制器：將信道編碼器輸出的數(shù)字序列變換為振幅、頻率或相位受到調(diào)制控制的形式，以適合在信道中進(jìn)行較長距離的傳輸。 信道：信號由發(fā)送端傳輸?shù)浇邮斩说拿浇椤?典型的傳輸信道有明線、電纜、高頻無線信道、微波通道和光纖通道等；典型的存儲媒介有磁芯、磁鼓、磁盤、磁帶等。,干擾源：對傳輸信道或存儲媒介構(gòu)成干擾的來源的總稱。干擾和噪聲往往具有隨機性，所以信道的特征也可以用概率空間來描述；而噪聲源的統(tǒng)計特性又是劃分信道的依據(jù)。 干擾可以分為兩類：1）加性干擾，它是由外界原因產(chǎn)生的隨機干擾，它與信道中傳送的信號的統(tǒng)計特性無關(guān)，因而信道的輸出是輸入和干擾的疊加；2）乘性干

8、擾：信道的輸出信號可看成輸入信號和一個時變參量相乘的結(jié)果。 解調(diào)器：從載波中提取信號，是調(diào)制的逆過程 信道譯碼器：利用信道編碼時所提供的多余度，檢查或糾正數(shù)字序列中的錯誤。 信源譯碼器：把經(jīng)過信道譯碼器核對過的信息序列轉(zhuǎn)換成適合接收者接收的信息形式。 信宿：消息傳送的對象 （人或機器 ）。,在通信系統(tǒng)中形式上傳輸?shù)氖窍?，但實質(zhì)上傳輸?shù)氖切畔?。消息只是表達(dá)信息的工具、載荷信息的客體。顯然，在通信中被利用的(亦即攜帶信息的)實際客體是不重要的，而重要的是信息。 通信的結(jié)果是消除或部分消除不確定性從而獲得信息。 香農(nóng)定義信息的局限性： （1）定義的出發(fā)點是假定事物狀態(tài)可以用一個以經(jīng)典集合論為基礎(chǔ)的

9、概率模型來描述，在實際中要尋找一個合適的概率模型往往是非常困難的。有時是否存在這樣一種模型還值得探討。 （2）定義沒有考慮收信者的主觀特性和主觀意義，不顧信息的具體含意、具體用途、重要程度和引起后果等因素。這就與實際情況不完全一致。其實，信息有很強的主觀性和實用性。,信息的測度：信息量與不確定性消除的程度有關(guān)。 用數(shù)學(xué)的語言來講，不確定就是隨機性，可運用研究隨機事件的數(shù)學(xué)工具-概率論和隨機過程來測度不確定性的大小。 某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各狀態(tài)出現(xiàn)的概率大小有關(guān)。既然不確定性的大小能夠度量，所以信息是可以測度的。 與信息測度相關(guān)的幾個概念： 樣本空間、

10、概率空間 、先驗概率 、自信息 、后驗概率 、互信息,樣本空間：所有可能選擇的消息的集合（某事物所有可能出現(xiàn)的狀態(tài) ） 概率空間：一個樣本空間和它的概率測度 可用X，P來表示,先驗概率：選擇符號 ai 作為消息的概率-P(ai) 自信息：ai 本身攜帶的信息量,后驗概率：接收端收到消息(符號) bj 后而發(fā)送端發(fā)的是 ai 的概率 P(ai/bj) 互信息：收信者獲得的信息量-先驗的不確定性減去尚存在的不確定性,如果信道沒有干擾，信道的統(tǒng)計特性使 ai 以概率“1”傳送到接收端。 這時，收信者接到消息尚存在的不確定性就等于零，即P(ai/bj)1，log（1/ P(ai/bj)0，不確定性全部

11、消除。由此得互信息：,有關(guān)自信息和互信息的概念即為香農(nóng)關(guān)于信息的定義和度量，通常也稱為概率信息,信息具有以下特征： （1）信息是可以識別的 （2）信息的載體是可以轉(zhuǎn)換的 （3）信息是可以存貯的 （4）信息是可以傳遞的 （5）信息是可以加工的 （6）信息是可以共享的,1.2 信息論研究的對象,目的,內(nèi)容,一、 研究對象 前面介紹的統(tǒng)一的通信系統(tǒng)模型。人們通過系統(tǒng)中消息的傳輸和處理來研究信息傳輸和處理的共同規(guī)律。 二、研究目的 找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化。,可靠性 使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)

12、于接收端。 有效性 經(jīng)濟性好，即用盡可能短的時間和盡可能少的設(shè)備來傳送定數(shù)量的信息。 保密性 隱蔽和保護通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。 認(rèn)證性 接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造的和被竄改的。 有效性、可靠性、保密性和認(rèn)證性四者構(gòu)成現(xiàn)代通信系統(tǒng)對信息傳輸?shù)娜嬉蟆?三、 研究內(nèi)容 對信息論的研究內(nèi)容一般有以下三種理解。 狹義信息論（經(jīng)典信息論）：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱為香農(nóng)信息論。 一般信息論（通信理論）：主要是研究信息傳輸和處理問題，除了香農(nóng)理

13、論外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計理論、調(diào)制理論以及信息處理理論等。 廣義信息論：廣義信息論不僅包括上述兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如模式識別、計算機翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等等。,信息論是一門應(yīng)用概率論、隨機過程、數(shù)理統(tǒng)計和近代代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的學(xué)科。 它的主要目的是提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以便達(dá)到系統(tǒng)最優(yōu)化； 它的主要內(nèi)容(或分支)包括香農(nóng)理論、編碼理論、維納理論、檢測和估計理論、信號設(shè)計和處理理論、調(diào)制理論、隨機噪聲理論和密碼學(xué)理論等。 本課程討論香農(nóng)信息理論,1.3 信息論發(fā)展簡史與現(xiàn)狀,信息論是在長期的通信工程實踐和理論研究的基礎(chǔ)上發(fā)展起來的。 一、簡史 現(xiàn)代信息論實際上是從20世紀(jì)20年代奈奎斯特和哈特萊的工作開始的。 1924年奈奎斯特(HNyquist)的 “影響電報速率因素的確定” 一文，1928年哈特萊(RVHartley) 的“信息傳輸” 一文研究了通信系統(tǒng)傳輸信息的能力，并給出了信息度量的方法,1946年柯切爾尼柯夫 的學(xué)位論文“起伏噪聲下的潛在抗干擾理論”，根據(jù)最小錯誤概率準(zhǔn)則和最小均方誤差準(zhǔn)則研究了離散和連續(xù)信道的最佳接收問題 1948年香農(nóng)的權(quán)威性長文“通信的數(shù)學(xué)理論”，討論了信源和信道特性，1949年香農(nóng)“噪聲中的通信”，上述兩篇文章