信息倫與編碼

信息倫與編碼第一頁，共四十九頁，2022年，8月28日2期末總評期末考試成績占60％平時成績占20％作業(yè)課堂表現(xiàn)：考勤、問答情況等課堂作業(yè)課程實驗占20%第二頁，共四十九頁，2022年，8月28日使用教材3第三頁，共四十九頁，2022年，8月28日4參考書1．信息論—基礎理論與應用，傅祖蕓編，電子工業(yè)出版社，20012．信息論與編碼，陳運編著，電子工業(yè)出版社，2002信息理論與編碼，呂鋒等編著，人民郵電出版社，2004………………第四頁，共四十九頁，2022年，8月28日信息科學一、信息論：理論基礎，主要研究可能性和存在性問題二、信息技術：主要研究如何實現(xiàn)、怎樣實現(xiàn)的問題

信息科學、材料科學和能源科學一起被稱為當代文明的“三大支柱”?！皼]有物質(zhì)的世界是虛無的世界，沒有能源的世界是死寂的世界，沒有信息的世界是混亂的世界?！?第五頁，共四十九頁，2022年，8月28日6課程內(nèi)容信息論的基本問題—信息的度量無失真信源編碼定理—香農(nóng)第一定理信道編碼定理—香農(nóng)第二定理限失真信源編碼定理—香農(nóng)第三定理信源編碼信道編碼第六頁，共四十九頁，2022年，8月28日7教學目標香農(nóng)信息論的基本理論、概念和方法；信息的統(tǒng)計度量，離散信源，離散信道和信道容量編碼的理論和實現(xiàn)原理信源編碼與信道編碼教學重點信息度量信源描述信道容量信源編碼信道編碼第七頁，共四十九頁，2022年，8月28日課程內(nèi)容安排第一章緒論第二章信源與信息熵第三章信道與信道容量第四章信息率失真函數(shù)第五章信源編碼第六章信道編碼8第八頁，共四十九頁，2022年，8月28日緒論第一章第九頁，共四十九頁，2022年，8月28日101.1信息論的形成和發(fā)展1.2信息論研究的分類和基本概念1.3通信系統(tǒng)的模型1.4信息科學的發(fā)展1.4目前信息論的主要研究成果

內(nèi)容第十頁，共四十九頁，2022年，8月28日111.1信息論的形成和發(fā)展第十一頁，共四十九頁，2022年，8月28日12

信息傳輸和傳播手段經(jīng)歷了五次重大變革：語言的產(chǎn)生；文字的產(chǎn)生印刷術的發(fā)明電報、電話的發(fā)明，開始了電信時代，通信理論、技術迅猛發(fā)展?，F(xiàn)代信息論產(chǎn)生發(fā)展。計算機技術與通信技術相結合，促進網(wǎng)絡通信發(fā)展。寬帶綜合業(yè)務數(shù)字網(wǎng)的出現(xiàn)，給人們提供了除電話服務外的多種服務，進入信息化時代。第十二頁，共四十九頁，2022年，8月28日13

現(xiàn)代信息論實際上是從20世紀20年代奈奎斯特和哈特萊的工作開始的。1924年奈奎斯特“影響電報速率因素的確定”信號帶寬和信息速率的關系；1928年哈特萊“信息傳輸”最早研究了通信系統(tǒng)傳輸信息的能力，給出了信息度量方法；第十三頁，共四十九頁，2022年，8月28日141948年香農(nóng)權威性長文“通信的數(shù)學理論”討論了信源和信道特性1949年香農(nóng)“噪聲中的通信”這兩篇文章奠定了現(xiàn)代信息論的理論基礎。香農(nóng)因此成為信息論的奠基人。第十四頁，共四十九頁，2022年，8月28日50年代，信息論在學術界引起巨大反響：組織、學術會刊60年代，信道編碼技術發(fā)展70年代后，多用戶信息論，即網(wǎng)絡信息論稱為中心研究課題之一。密碼學也被歸類為信息論的分支。15第十五頁，共四十九頁，2022年，8月28日16ClaudeShannon(1916-2001)

數(shù)學家工程學家信息論創(chuàng)始人、奠基人電子計算機理論的重要奠基人之一第十六頁，共四十九頁，2022年，8月28日17代表著作：1938年《繼電器和開關電路的符號分析》。首次用布爾代數(shù)進行開關電路的分析

證明了布爾代數(shù)的邏輯運算可以通過繼電器電路來實現(xiàn)，明確給出了實現(xiàn)加減乘除等運算的電子電路設計方法。文中首次使用了比特(bit)的概念。這篇論文成為開關電路理論的開端。

哈佛大學的HowardGardner教授說，“這可能是本世紀最重要、最著名的一篇碩士論文?！钡谑唔摚菜氖彭?，2022年，8月28日181948年在《貝爾系統(tǒng)技術》雜志上發(fā)表的《通信的數(shù)學理論》(Amathematicaltheoryofcommunication)。第一次提出了信息量的概念，并應用數(shù)理統(tǒng)計的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠的信息論。通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇的消息

-----香農(nóng)第十八頁，共四十九頁，2022年，8月28日191949年，《噪聲下的通信》。經(jīng)典地闡明了通信的基本問題，提出了通信系統(tǒng)模型，給出了信息量的數(shù)學表達式，解決了信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等有關精確地傳送通信符號的基本技術問題。這兩篇文章成了現(xiàn)在信息論的奠基著作，標志著香農(nóng)成為了《信息論》這門新興學科的奠基人。第十九頁，共四十九頁，2022年，8月28日20其他的著作：1）1956年，《噪聲信道的零差錯容量》（thezero-errorcapacityofanoisychannel）開創(chuàng)了零差錯容量的研究領域；2）1959年在保真度準則下的離散信源編碼定理(Codingtheoremsforadiscretesourcewithafidelitycriterion)系統(tǒng)地提出了信息率失真理論，它是數(shù)據(jù)壓縮的數(shù)學基礎，為各種信源編碼的研究奠定了基礎。3）1961年，雙路通信信道（two-waycommu-nicationchannels），開創(chuàng)了多用戶理論研究。第二十頁，共四十九頁，2022年，8月28日21科研風格：觸類旁通。善于站在巨人的肩膀上，可以看得更高更遠標新立異，個性化研究。提出了很多新的概念。第二十一頁，共四十九頁，2022年，8月28日221.2信息論研究的分類和基本概念

第二十二頁，共四十九頁，2022年，8月28日23什么是信息?信息：一個既復雜又抽象的概念----信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產(chǎn)生的一種想法，當它仍儲存在腦子中的時候它就是一種信息。第二十三頁，共四十九頁，2022年，8月28日24例1、競技場上的較量。

高手過招，過程是千變?nèi)f化、不規(guī)則、隨機的，結果是未知的。

當成績公布時，這則消息給予了我們信息。2、網(wǎng)頁上的消息第二十四頁，共四十九頁，2022年，8月28日25信息的特征信息的基本概念在于它的不確定性,任何已確定的事物都不含信息。接收者在收到信息之前，對它的內(nèi)容是不知道的，所以，信息是新知識、新內(nèi)容；信息是能使認識主體對某一事物的未知性或不確定性減少的有用知識；信息可以產(chǎn)生，也可以消失，同時信息可以被攜帶、貯存及處理；信息是可以量度的，信息量有多少的差別第二十五頁，共四十九頁，2022年，8月28日26例：氣象預報甲乙“甲地晴”比“乙地晴”的不確定性來的小某一事物狀態(tài)出現(xiàn)的概率越小，其不確定性越大。某一事物狀態(tài)出現(xiàn)的概率接近于1,即預料中肯定會出現(xiàn)的事件，那它的不確定性就接近于零。第二十六頁，共四十九頁，2022年，8月28日27信息、消息和信號信息是事物運動狀態(tài)或存在方式。消息是指包含有信息的語言、文字和圖像等信號是消息的物理體現(xiàn)。信號是信息的載荷子或載體，是物理性的。在通信系統(tǒng)中，實際傳輸?shù)氖切盘?，但本質(zhì)內(nèi)容的是信息。信息包含在信號之中，信號是信息的載體。通信的結果是消除或部分消除不確定性，從而獲得信息。第二十七頁，共四十九頁，2022年，8月28日28信息論信息論一門應用概率論、隨機過程、數(shù)理統(tǒng)計和近代代數(shù)的方法，來研究信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的學科。信息論在信息可以量度的基礎上,研究有效地和可靠地傳遞信息的科學,它涉及信息量度、信息特性、信息傳輸速率、信道容量、干擾對信息傳輸?shù)挠绊懙确矫娴闹R第二十八頁，共四十九頁，2022年，8月28日29信息論研究的內(nèi)容狹義信息論：研究信息的測度、信道容量以及信源和信道編碼理論等問題。一般信息論：研究信息傳輸和處理問題，除香農(nóng)信息論，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測和估計、調(diào)制理論、信息處理理論以及保密理論等。廣義信息論：不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關的自然和社會領域，如模式識別、計算機翻譯、心理學、遺傳學、神經(jīng)生理學、語言學、語義學甚至包括社會學中有關信息的問題第二十九頁，共四十九頁，2022年，8月28日301.3通信系統(tǒng)的模型

第三十頁，共四十九頁，2022年，8月28日31數(shù)字通信系統(tǒng)模型信道信源信源編碼加密信道編碼干擾源信宿信源解碼解密信道解碼加密密鑰解密密鑰uxykzvz'y'x'第三十一頁，共四十九頁，2022年，8月28日32信源、信宿和信道信源：向通信系統(tǒng)提供消息u的人和機器。發(fā)送消息的源，離散信源模擬信源重點討論信源輸出的描述方法及性質(zhì)。信宿：信息歸宿之意，亦即收信者或用戶，是信息傳送的終點或目的地。信道：傳輸信息的物理媒介，如空氣、電纜線等等第三十二頁，共四十九頁，2022年，8月28日信源編碼大前提：信源的輸出是電信號X=(x1,x2,…xn)從信息傳輸?shù)慕嵌瓤?，希望傳輸效率越高越好，即以最小代價傳遞盡可能多的信息假定前提：傳送一個序列符號所耗的時間是固定的。理想情況：每個符號攜帶的信息同樣多，并達到最大實情：信息分布不均勻

信源編碼：對符號序列加以變換，使得變換后的序列信息分布均勻化。33第三十三頁，共四十九頁，2022年，8月28日34信源編碼器與譯碼器信源編碼器的主要作用壓縮信源的冗余度,以提高通信系統(tǒng)傳輸消息的效率。

信源編碼器分為兩類一類是無失真信源編碼,適用于離散信源或數(shù)字信號；另一類是限失真信源編碼,用于連續(xù)信源或模擬信號,如語音、圖像等信號的數(shù)字處理第三十四頁，共四十九頁，2022年，8月28日35信源編碼器與譯碼器信源編碼器的主要指標是它的編碼效率，即理論上能達到的碼率與實際達到的碼率之比。一般來說，效率越高，編譯碼器的代價也將越大。

信源譯碼器的作用是把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當于信源編碼器的逆過程。

第三十五頁，共四十九頁，2022年，8月28日36信道編碼器與譯碼器信道編碼主要作用是提高信息傳送的可靠性。信道編碼器的作用在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元,使之具有檢錯或糾錯的能力信道編碼的主要方法增大碼率或頻帶,即增大所需的信道容量。這恰與信源編碼相反。信道譯碼器的作用具有檢錯或糾錯的功能,它能將落在其檢錯或糾錯范圍內(nèi)的錯傳碼元檢出或糾正,以提高傳輸消息的可靠性。

第三十六頁，共四十九頁，2022年，8月28日37密碼學研究的內(nèi)容如何隱蔽消息中的信息內(nèi)容,使它在傳輸過程中不被竊聽.提高通信系統(tǒng)的安全性；將明文變換成密文,通常不需要增大信道容量,例如在二進碼信息流上疊加一密鑰流；但也有些密碼要求占用較大的信道容量。

第三十七頁，共四十九頁，2022年，8月28日38問題：能否將三種碼(信源編碼、信道編碼和密碼)合成一種碼進行編譯？提高有效性必須去掉信源符號中的冗余部分,此時信道誤碼會使接收端不能恢復原來的信息,也就是必須相應提高傳送的可靠性,不然會使通信質(zhì)量下降；反之,為了可靠而采用信道編碼,往往需擴大碼率,也就降低了有效性。安全性也有類似情況編成密碼,有時需擴展碼位,這樣就降低有效性；有時也會因失真而使授權用戶無法獲得信息,必須重發(fā)而降低有效性,或丟失信息而降低可靠性。第三十八頁，共四十九頁，2022年，8月28日39從理論方面來說，若能把三種碼合并成一種碼來編譯，即同時考慮有效、可靠和安全，可使編譯碼器更理想化，在經(jīng)濟上可能也更優(yōu)越。這種三碼合一的設想是當前眾所關心的課題，但因理論上和技術上的復雜性，要取得有用的結果，還是相當困難。第三十九頁，共四十九頁，2022年，8月28日401.4信息科學的發(fā)展第四十頁，共四十九頁，2022年，8月28日41信息科學的定義及迅速發(fā)展的背景:信息科學是研究信息的獲取、存儲、傳輸、加工處理和利用等內(nèi)容的技術科學。它與數(shù)學、物理、材料、生命、心理等基礎學科以及眾多技術學科交叉形成新領域，是發(fā)展和更新最為迅速的技術科學研究領域之一。信息科學與其它科學技術交叉將派生出大量的新概念、新構思、新技術和邊緣學科。其核心是現(xiàn)代通信加信息技術。第四十一頁，共四十九頁，2022年，8月28日42國家信息基礎結構亦稱“信息高速公路”，是一個具有大容量、高速度的電子數(shù)據(jù)傳輸系統(tǒng)，最早由美國聯(lián)邦政府引導工業(yè)界提出并逐步建立，簡稱NII（NationalInformationInfrastructure）。它以現(xiàn)代信息技術為基礎，以光導纖維網(wǎng)絡為骨干，連接全美的學校、研究機構、企業(yè)、圖書館、實驗室乃至每個家庭，使人們共享豐富的信息資源。第四十二頁，共四十九頁，2022年，8月28日43信息產(chǎn)業(yè)信息產(chǎn)業(yè)在世界范圍內(nèi)正在由先導產(chǎn)業(yè)逐步變?yōu)橹鲗Мa(chǎn)業(yè)。從微觀上看，表現(xiàn)為單位產(chǎn)品的價格構成中，能源和材料的消耗減少而信息技術和信息服務的比重上升；