信息論與編碼-第一章

信息論與編碼-第一章第一頁，共四十八頁，2022年，8月28日信息論與編碼教學內(nèi)容教學計劃課程安排先期課程參考書第二頁，共四十八頁，2022年，8月28日信息論與編碼教學內(nèi)容信息論基本概念、基本理論，包括：信息、熵、信道容量、編碼定理（無失真信源編碼、有噪信道編碼，限失真信源編碼等，信道編碼理論）編碼理論：信源編碼、信道編碼（側重點）基本原理、常用碼編譯原理和方法第三頁，共四十八頁，2022年，8月28日信息論與編碼教學計劃：總學時48~51，其中教學45，習題課4，輔導2

信息論：約23學時信道編碼：約22學時兩次習題課，對應于兩大內(nèi)容

第四頁，共四十八頁，2022年，8月28日信息論與編碼課程時間安排：課程地點安排：最終成績（必修）期末考試成績約占70%期中考試成績約占20%平時作業(yè)成績約占10%第五頁，共四十八頁，2022年，8月28日信息論與編碼先期課程本課程所需的先驗知識：概率，數(shù)理統(tǒng)計，隨機過程，數(shù)字通信先期課程：概率論，數(shù)理統(tǒng)計，通信原理有的地方還會用到有限域、隨機過程方面的知識第六頁，共四十八頁，2022年，8月28日信息論與編碼參考書：信息論與編碼，曹雪虹

張宗橙編，清華大學出版社.信息論—基礎理論與應用，

傅祖蕓編著，電子工業(yè)出版社.Thetheoryofinformationandcoding,R.J.McEliece糾錯碼-原理與方法，王新梅信道編碼，劉玉君第七頁，共四十八頁，2022年，8月28日信息論與編碼-緒論第一章

緒論1.1信息論的基本概念1.2信息論發(fā)展簡史1.3信道編碼發(fā)展簡史1.4通信系統(tǒng)的基本模型第八頁，共四十八頁，2022年，8月28日信息論與編碼-緒論1.1信息論的基本概念信息如何定義信息、如何度量信息、如何計算信息信息論如何處理信息、如何傳遞信息、如何提取信息

第九頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信息的一般含義信息至今無確切的統(tǒng)一定義，但是它是一種人人皆知的抽象概念，是一種不言自明的概念。信息在不同的領域內(nèi)有不同的定義。在通信領域內(nèi)是指通信時所要告訴對方的某種“內(nèi)容”。或者說是接受方在接受到一個符號或一個序列后，所獲得的“內(nèi)容”。第十頁，共四十八頁，2022年，8月28日信息論的研究范疇信息論是在信息可以度量的基礎上，對如何有效、可靠地傳遞信息進行研究的科學狹義信息論：信息度量、信息特征、信息傳輸速率、信道容量、干擾對信息傳輸?shù)挠绊懙葟V義信息論：還包括信號設計、噪聲理論、信號的監(jiān)測與估值等信息論與編碼-緒論第十一頁，共四十八頁，2022年，8月28日信息論與編碼-緒論本書所要解決的問題什么是信息、如何度量信息？在信息傳輸中，基本的極限條件是什么？對于信息的壓縮和恢復的極限條件是什么？從環(huán)境中抽取信息極限的條件是什么？設計什么樣的設備才能達到這些極限？這些設備是否存在？第十二頁，共四十八頁，2022年，8月28日信息論與編碼-緒論

1.2信息論發(fā)展簡史和現(xiàn)狀信息論的奠基人—克勞德·艾爾伍德·香農(nóng)（ClaudeElwoodShannon，1916年4月30日—2001年2月26日）美國數(shù)學家于1916年4月30日出生于美國密歇根州的Petoskey1936年畢業(yè)于密歇根大學并獲得數(shù)學和電子工程學士學位1940年獲得麻省理工學院（MIT）數(shù)學博士學位和電子工程碩士學位1941年他加入貝爾實驗室數(shù)學部，工作到1972年1956年他成為麻省理工學院（MIT）客座教授，并于1958年成為終生教授，1978年成為名譽教授香農(nóng)博士于2001年2月26日去世，享年84歲第十三頁，共四十八頁，2022年，8月28日信息論與編碼-緒論1948年在《貝爾系統(tǒng)技術雜志》上發(fā)表了244頁的長篇論著，《通信的數(shù)學理論》。1949年，他又在同一雜志上發(fā)表了另一篇名著《噪聲下的通信》。在這兩篇文章中，他解決了過去許多懸而未決的問題：經(jīng)典地闡明了通信的基本問題，提出了通信系統(tǒng)的模型，給出了信息量的數(shù)學表達式，解決了信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等有關精確地傳送通信符號的基本技術問題。兩篇文章成了現(xiàn)在信息論的奠基著作第十四頁，共四十八頁，2022年，8月28日信息論與編碼-緒論第十五頁，共四十八頁，2022年，8月28日信息論與編碼-緒論1832年莫爾斯電報系統(tǒng)中高效率編碼方法對后來香農(nóng)的編碼理論是有啟發(fā)的。1885年凱爾文(L.Kelvin)曾經(jīng)研究過一條電纜的極限傳信率問題。1922年卡遜(J．R．Carson)對調(diào)幅信號的頻譜結構進行了研究，并建立了信號頻譜概念。1924年奈奎斯特(H．Nyquist)指出，如果以一個確定的速度來傳輸電報信號，就需要一定的帶寬。他把信息率與帶寬聯(lián)系起來了。1936年阿姆斯特朗(E．H．Armstrong)認識到在傳輸過程中增加帶寬的辦法對抑制噪聲干擾肯定有好處。根據(jù)這一思想他提出了寬偏移的頻率調(diào)制方法，該方法是有劃時代意義的。第十六頁，共四十八頁，2022年，8月28日信息論與編碼-緒論

Shannon受著前輩的工作的啟示，其中最具代表性的是《貝爾系統(tǒng)技術雜志》上所披露的奈奎斯特的《影響電報速率的一些因素》和哈特萊的《信息的傳輸》。正是他們最早研究了通信系統(tǒng)的信息傳輸能力，第一次提出了信息量的概念，并試圖用教學公式予以描述。而香農(nóng)則創(chuàng)造性地繼承了他們的事業(yè)，在信息論的領域中鉆研了8年之久，終于創(chuàng)建了信息論。第十七頁，共四十八頁，2022年，8月28日信息論與編碼-緒論“通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇的消息”。——《通信的數(shù)學理論》中的一句銘言。正是沿著這一思路他應用數(shù)理統(tǒng)計的方法來研究通信系統(tǒng)，從而創(chuàng)立了影響深遠的信息論。不確定性接收者收到某一消息后所獲得的信息，可以用接收者在通信前后“不確定性”的消除量來度量。簡而言之，接收者所得到的信息量，在數(shù)量上等于通信前后“不確定性”的消除量(或減少量)。--這就是信息理論中度量信息的基本觀點。第十八頁，共四十八頁，2022年，8月28日信息論與編碼-緒論香農(nóng)信息理論具有嶄新的風貌，是通信科學發(fā)展史上的一個轉折點，它使通信問題的研究從經(jīng)驗轉變?yōu)榭茖W。因此，它一出現(xiàn)就在科學界引起了巨大的轟動，許多不同領域的科學工作者對它懷有濃厚的興趣，并試圖爭相應用這一理論來解決各自領域的問題．從此，信息問題的研究，進入了一個新的紀元。第十九頁，共四十八頁，2022年，8月28日信息論與編碼-緒論

廣義信息論信息論的誕生，激起了人們對信息論的巨大熱情，它向各門學科沖擊，研究規(guī)模像滾雪球一樣越來越大。不僅在電子學的其他領域，如計算機、自動控制等方面大顯身手，而且遍及物理學、化學、生物學、心理學、醫(yī)學、經(jīng)濟學、人類學、語音學、統(tǒng)計學、管理學……等學科。它已遠遠地突破了香農(nóng)本人所研究和意料的范疇，即從香農(nóng)的所謂“狹義信息論”發(fā)展到了“廣義信息論”第二十頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信息的定義Shannon:隨機不定性程度的減少局限性:沒有包含信息的內(nèi)容和價值，只考慮了隨機型的不定性，沒有從根本上回答“信息是什么”的問題。1948年維納（N.Wiener）:信息是人們在適應外部世界，并且這種適應反作用于外部世界的過程中，同外部世界進行互相交換的內(nèi)容的名稱。維納關于信息的定義包含了信息的內(nèi)容與價值，從動態(tài)的角度揭示了信息的功能與范圍，但也有局限性。由于人們在與外部世界的相互作用過程中，同時也存在著物質(zhì)與能量的交換，維納關于信息的定義沒有將信息與物質(zhì)、能量區(qū)別開來。1975年，意大利學者朗高（G.Longo）在《信息論：新的趨勢與未決問題》一書的序言中認為"信息是反映事物的形式、關系和差別的東西，它包含在事物的差異之中，而不在事物本身"。當然，"有差異就是信息"的觀點是正確的，但是反過來說"沒有差異就沒有信息"就不夠確切。所以，"信息就是差異"的定義也有其局限性。第二十一頁，共四十八頁，2022年，8月28日信息論與編碼-緒論據(jù)不完全統(tǒng)計，有關信息的定義有100多種，它們都從不同的側面、不同的層次揭示了信息的特征與性質(zhì)，但同時也都有這樣或那樣的局限性。1988年，我國信息論專家鐘義信教授在《信息科學原理》一書中把信息定義為：信息是事物的運動狀態(tài)和狀態(tài)變化的方式。并通過引入約束條件推導了信息的概念體系，對信息進行了完整和準確的描述。信息的這個定義具有最大的普遍性，不僅涵蓋所有其他的信息定義，而且通過引入約束條件還能轉化為所有其他的信息定義。也有人對此提出異議，如魯晨光（《廣義信息論》作者）。

第二十二頁，共四十八頁，2022年，8月28日信息論與編碼-緒論鐘義信1940年2月出生,漢族，

北京郵電大學教授、博士生導師、副校長、校學術委員會主席。長期從事通信理論、信息理論、信息科學、人工智能、神經(jīng)網(wǎng)絡、決策學、信息經(jīng)濟學領域的研究和教學工作，在上述領域先后出版學術著作16部，在國內(nèi)外學術刊物和學術會議上發(fā)表學術論文380多篇。代表性學術論著包括《信息科學原理》（1988年）、《信息技術通論》（1994）、《智能理論與技術—人工智能與神經(jīng)網(wǎng)絡》（1992）、《偽隨機編碼通信：原理與應用》（1978）等。具有重要創(chuàng)新意義的學術貢獻主要包括“知識論”、“全信息理論”、“意識機模型”、“信息科學原理與信息科學方法論”、“信息基礎結構理論模型”等。

第二十三頁，共四十八頁，2022年，8月28日信息論與編碼-緒論為什么Shannon信息論在解決通信系統(tǒng)的問題方面非常有效，但是在涉及人工智能理論研究的問題是就無能為力？信息論只關注信號（信息的載體）的波形，不關心它的內(nèi)容和價值。通信系統(tǒng)的設計可以只關心信號的波形。人工智能卻必須“理解信息的內(nèi)容和價值”。提出和建立了“全信息理論”--能夠統(tǒng)一考慮信息的形式因素（稱為語法信息）、內(nèi)容因素（稱為語義信息）和價值因素（稱為語用信息）的全新的信息理論。

第二十四頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信息論的研究范疇基礎信息論工程信息論廣義信息論第二十五頁，共四十八頁，2022年，8月28日信息論與編碼-緒論基礎信息論主要研究通信系統(tǒng)的數(shù)學描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學信息論。工程信息論以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設計原則，它以構造性為主體，以工程上技術問題為主。主要包括：信源編、譯碼理論及其設計構造方法；信道編、譯碼理論及其設計構造方法；最佳調(diào)制與解調(diào)理論與實現(xiàn)；最佳檢測、估值與最佳接收理論與實現(xiàn)；最佳信息處理理論、方法與算法；…第二十六頁，共四十八頁，2022年，8月28日信息論與編碼-緒論廣義信息論：核心問題是拓廣，有三重含義：首先是在信息含義的拓廣，以語言信息為例：仙農(nóng)信息語法信息語義信息語用信息第二十七頁，共四十八頁，2022年，8月28日信息論與編碼-緒論其次是在描述方法上的拓廣：從定量到定性；從客觀到主觀；從概率到模糊；從統(tǒng)計到單個實發(fā)。第二十八頁，共四十八頁，2022年，8月28日信息論與編碼-緒論最后是用途上的拓廣：從通信領域拓廣至相鄰自然科學領域；從自然科學領域拓廣至社會科學領域。第二十九頁，共四十八頁，2022年，8月28日信息論與編碼-緒論進入20世紀80年代以來，當人們在議論未來的時候，人們的注意力又異口同聲地集中到信息領域。按照國際一種流行的說法，未來將是一個高度信息化的社會。信息工業(yè)將發(fā)展成頭號工業(yè)，社會上大多數(shù)的人將是在從事信息的生產(chǎn)、加工和流通。這時，人們才能更正確地估價香農(nóng)工作的全部含義。信息論這個曾經(jīng)只在專家們中間流傳的學說，將來到更廣大的人群之中。香農(nóng)這個名字也飛出了專家的書齋和實驗室，為更多的人所熟悉和了解第三十頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信息、消息、信號消息是信息的載體，信息是由消息表達出來的信號是消息的物理體現(xiàn)，或者說是消息的載體信號：具體的、物理的消息：具體的、非物理的信息：非具體的、非物理的第三十一頁，共四十八頁，2022年，8月28日信號最具體，它是一物理量，可測量、可顯示、可描述，同時它又是載荷信息的實體信息的物理層表達消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時它也是信息的載荷體。是信息論中主要描述形式信息的數(shù)學層表達信息是抽象的、非物理的，是哲學層表達。第三十二頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信道編碼發(fā)展簡史糾錯碼的主要發(fā)展過程大致分以下幾個階段50年代至60年代初，主要研究各種有效的編、譯碼方法，奠定了線性分組碼的理論基礎；提出了BCH碼編、譯碼方法以及卷積碼的序列譯碼；給出了糾錯碼的基本碼限；第一個分組碼是1950年發(fā)現(xiàn)的能糾正單個錯誤的Hamming碼；1954年Golay發(fā)現(xiàn)的Golay碼以及Reed和Muller發(fā)現(xiàn)的RM碼Prange在1957年發(fā)現(xiàn)的循環(huán)碼等。最有意義的是Bose和Ray-Chaudhuri在1960年，Hocquenghem在1959年發(fā)現(xiàn)的能糾多個錯誤的BCH碼，以及Reed和Solomon在1960年發(fā)現(xiàn)的非二進制RS碼，并認識到BCH碼可以看成某個RS碼的子域子碼，RS碼又可以看作是BCH碼的特例第三十三頁，共四十八頁，2022年，8月28日信息論與編碼-緒論60年代至70年代初，這是糾錯碼發(fā)展過程中最為活躍的時期。提出了如門限譯碼、迭代譯碼、軟判決譯碼和卷積碼的Viterbi譯碼等有效的編譯碼方法；同時注意到了糾錯碼實用化的問題，討論了如碼重量分布、譯碼錯誤概率和不可檢錯誤概率的計算、信道的模型化等與實用化有關的各種問題。發(fā)現(xiàn)的分組碼主要有1970年的Goppa碼和1982年的代數(shù)幾何碼。在所有這些分組碼中，除了Goppa碼和代數(shù)幾何碼中存在個別達到GV限的漸進好碼外，其它碼字都不是漸進的好碼。分組碼的譯碼主要采用基于代數(shù)的硬判決譯碼。第三十四頁，共四十八頁，2022年，8月28日信息論與編碼-緒論70年代以來，糾錯碼在實際應用中得到了更大的發(fā)展。大規(guī)模集成電路和微機的迅速發(fā)展，為糾錯碼的實用打下了堅實的物質(zhì)基礎。70年代末、80年代初，G.Ungerboeck把編碼與調(diào)制相結合提出了網(wǎng)格編碼調(diào)制（TCM,trellis-codedmodulation）技術是編碼理論的又一重要里程碑。第三十五頁，共四十八頁，2022年，8月28日信息論與編碼-緒論1993年C.Berrou，A.Glavieux發(fā)現(xiàn)的Turbo碼是又一重大突破；LDPC碼的進一步研究；空時碼的出現(xiàn)。第三十六頁，共四十八頁，2022年，8月28日信息論與編碼-緒論1.3

通信系統(tǒng)的基本模型詳細模型

第三十七頁，共四十八頁，2022年，8月28日信息論與編碼-緒論常用模型第三十八頁，共四十八頁，2022年，8月28日信息論與編碼-緒論簡化模型第三十九頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信源：是產(chǎn)生消息(或消息序列)的源，消息通常是符號序列或時間函數(shù)。例如在電報系統(tǒng)中，消息是由文字、符號、數(shù)字組成的報文(符號序列)，稱為離散消息；在電話系統(tǒng)中，消息是語聲波形(時間函數(shù))，稱為連續(xù)消息。消息取值服從一定的統(tǒng)計規(guī)律，故信源的數(shù)學模型是一個在信源符號集中取值的隨機變量序列或隨機過程。如何由信源產(chǎn)生消息、消息的統(tǒng)計特性，是研究的重點

第四十頁，共四十八頁，2022年，8月28日信息論與編碼-緒論信源編碼器將信源產(chǎn)生的消息變換為一個數(shù)字序列(通常為二進制數(shù)字序列)，也稱基帶信號。壓縮信源的冗余度，以提高傳輸效率。盡量減少各符號之間的相關性。信源編碼分為無失真信源編碼（離散信源）和限失真信源編碼（連續(xù)信源）主要指標是編碼效率，即理論上所需的碼率與實際達到的碼率之比。主要作用是增加信息傳輸?shù)挠行浴?/p>

第四十一頁，共四十八頁，2022年，8月28日信息論與編碼-緒論

信源編碼理論要回答兩個問題：對給定的信源，可能達到的最小編碼速率是多少？如何構造實現(xiàn)這一速率的最優(yōu)編碼。這兩個問題在信息論發(fā)展的最初年代里就已獲得解決。第四十二頁，共四十八頁，2022年，8月28日信息論與編碼-緒論

信道信道是指傳輸信號的媒質(zhì)或通道架空明線、電線、