信息論與編碼基礎(chǔ)教程第一章

張麗英制作目錄第1章緒論第2章信源及信源熵第3章信息率失真函數(shù)第4章信源編碼第5章信道及信道容量第6章信道編碼第7章*密碼技術(shù)目錄第1章緒論

1.1信息論發(fā)展簡史1.2信息論研究的目的和本門課主要學(xué)習的內(nèi)容1.3信息論的概念及常用術(shù)語1.4通信系統(tǒng)的模型第1章緒論

1.1信息論發(fā)展簡史我國古代“烽火告警”是一種最早的快速、遠距離傳遞信息的方式；造紙術(shù)和印刷術(shù)的發(fā)明，使信息的表示和存儲方式產(chǎn)生了一次重大的變化；電報、電話、電視的發(fā)明，再次引導(dǎo)了信息加工和傳輸?shù)母锩?.1信息論發(fā)展簡史貝爾麥克斯韋20世紀后半葉，計算機技術(shù)、微電子技術(shù)、傳感技術(shù)、激光技術(shù)、衛(wèi)星通信技術(shù)、移動通信技術(shù)、航空航天技術(shù)、廣播電視技術(shù)、多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)、新能源和新材料等新技術(shù)的應(yīng)用，將人類社會推入到高度信息化的時代。1.1信息論發(fā)展簡史

一位美國科學(xué)家在詩中這樣描述：

沒有物質(zhì)的世界是虛無的世界，沒有能源的世界是死寂的世界，沒有信息的世界是混亂的世界。

可見信息的重要性。1.1信息論發(fā)展簡史

信息論的提出：信息早期定義的提出：1924年奈奎斯特解釋了信號帶寬和信息速率之間的關(guān)系；1928年哈特給出了信息度量方法；1936年阿姆斯特朗提出增大帶寬可加強抗干擾能力。以上這些研究工作都給香農(nóng)（Shannon，C.E.）關(guān)于信息理論的研究帶來很大的影響。1.1信息論發(fā)展簡史香農(nóng)（Shannon，C.E.）于1941～1944年對通信和密碼進行了深入的研究，利用概率論的方法研究通信系統(tǒng)，得出了幾個重要具有普遍意義的結(jié)論，揭示了通信系統(tǒng)傳遞的對象就是信息，并對信息以科學(xué)的定量描述，既信息熵的概念。指出了通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息，及實現(xiàn)這一目標的主要方法是編碼等。1.1信息論發(fā)展簡史這一成果于1948年以“通信的數(shù)學(xué)理論”（AMathematicalTheoryofCommunication）為論文題目公開發(fā)表。這是一篇信息論開創(chuàng)性的權(quán)威論文，為信息論理論建立了基礎(chǔ)。1.1信息論發(fā)展簡史1951年，美國無線電工程師協(xié)會（InstituteofRadioEngineers，IRE）成立了信息論組，1955年正式出版了信息論匯刊。香農(nóng)等科學(xué)家在其發(fā)表了許多重要文章。1948年香農(nóng)在論文中提出了無失真信源編碼定理，給出了簡單的編碼方法——香農(nóng)碼。1952年費諾（Fano，R.M.）和哈夫曼（Huffman，D.A.）分別提出了各自的編碼方法，并證明其方法都是最佳編碼法。信息論的發(fā)展：1.1信息論發(fā)展簡史

1959年，香農(nóng)在發(fā)表的“保真度準則下離散信源編碼定理”（CodingTheoremsforaDiscreteSourcewithaFidelityCriterion）一文中，系統(tǒng)地提出了信息率失真理論和限失真信源編碼定理。這兩個理論是數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)，為各種信源編碼的研究奠定了基礎(chǔ)。1.1信息論發(fā)展簡史

20世紀60年代，信道編碼技術(shù)有了較大發(fā)展，成為信息論的又一重要分支，它把代數(shù)方法引入到糾錯碼的研究中，使分組碼技術(shù)達到了高峰，找到了可糾正多個錯誤的碼，提出了可實現(xiàn)的譯碼方法；同時卷積碼和概率譯碼也有了重大突破。1.1信息論發(fā)展簡史

1961年，香農(nóng)的“雙路通信信道”（Two-wayCommunicationChannels）論文開拓了多用戶信息理論的研究。到20世紀70年代，有關(guān)信息論的研究，從點與點間的單用戶通信推廣發(fā)展到多用戶系統(tǒng)的研究。

1972年，TCover發(fā)表了有關(guān)廣播信道的研究，以后陸續(xù)進行了有關(guān)多接入信道和廣播信道模型和信道容量的研究。1.1信息論發(fā)展簡史近30多年來，這一領(lǐng)域的研究十分活躍，大量的論文被發(fā)表，使多用戶信息論的理論日趨完整。近幾年，隨著計算機技術(shù)和超大規(guī)模集成電路技術(shù)的發(fā)展，信道編碼，如Turbo碼、LDPC等編解碼取得了重大突破。Turbo碼、LDPC采用長碼、交織技術(shù)、迭代解碼技術(shù)進行編解碼，從而提高了編碼效率和糾錯能力。1.1信息論發(fā)展簡史

目前，信息論不僅在通信、廣播、電視、雷達、導(dǎo)航、計算機、自動控制、電子對抗等電子學(xué)領(lǐng)域得到了直接應(yīng)用，還廣泛地滲透到醫(yī)學(xué)、生物學(xué)、心理學(xué)、神經(jīng)生理學(xué)等自然科學(xué)，甚至語言學(xué)、美學(xué)等領(lǐng)域。信息論已成為涉及范圍極廣的信息科學(xué)。1.1信息論發(fā)展簡史1、信息論研究的目的：高效、可靠、安全并且隨心所欲地交換和利用各種各樣的信息。1.2信息論研究的目的和內(nèi)容1.2信息論研究的目的和內(nèi)容

2.本門課主要研究的內(nèi)容（1）離散信息的度量與離散信源；（2）連續(xù)信息的度量與連續(xù)信源；（3）信息率失真函數(shù)；（4）無失真信源編碼、限失真信源編碼；（5）離散無記憶信道容量；（6）加性白噪聲（AWGN）信道容量；（7）有噪信道編碼定理；（8）差錯控制編碼；（9）密碼技術(shù)。1.2信息論研究的目的和內(nèi)容1.3信息論的概念及常用術(shù)語1、信息論的定義1）狹義信息論（又稱為香農(nóng)信息論）

信息論是在信息可以度量的基礎(chǔ)上有效地和可靠地傳遞信息的科學(xué)，它涉及信息的度量、信息的特性、信息傳輸速率、信道容量、干擾對信息傳輸?shù)挠绊懙确矫娴闹R。1.3信息論的概念及常用術(shù)語2）廣義信息論

信息論包括通信的全部統(tǒng)計問題的研究、香農(nóng)信息論、信號設(shè)計、噪聲理論、信號檢測與估值等，還包括如醫(yī)學(xué)、生物學(xué)、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)甚至社會學(xué)和科學(xué)管理學(xué)中有關(guān)信息的問題。1.3信息論的概念及常用術(shù)語2．信息、消息、信號及其區(qū)別1）信息香農(nóng)定義:信息是事物運動狀態(tài)或存在方式的不確定性的描述。信息的基本概念在于它的不確定性，任何確定的事物都不會有信息。1.3信息論的概念及常用術(shù)語2）消息定義:用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來就成為消息。消息包含信息，是信息的載體，但不是物理性的。1.3信息論的概念及常用術(shù)語

3）信號定義:把消息換成適合信道傳輸?shù)奈锢砹浚ㄈ珉娦盘?、光信號、聲信號、生物信號等），這種物理量稱為信號。

信號是信息的載體，