信息論與編碼第一章

信息論與編碼第一章1第一頁(yè)，共四十頁(yè)，編輯于2023年，星期六教材

《信息論與編碼》,陳運(yùn),電子工業(yè)出版社《信息論—基礎(chǔ)理論與應(yīng)用》,傅祖蕓,電子工業(yè)出版社《糾錯(cuò)碼—原理與方法》,王新梅,西安電子科技大學(xué)出版社

《信息論與編碼》,曹雪虹,北京郵電大學(xué)出版社《信息論與編碼》,傅祖蕓,電子工業(yè)出版社參考教材：2第二頁(yè)，共四十頁(yè)，編輯于2023年，星期六課程概述當(dāng)今的時(shí)代是一個(gè)信息的時(shí)代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開(kāi)，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個(gè)課程可分為基礎(chǔ)理論和編碼理論兩部分組成。3第三頁(yè)，共四十頁(yè)，編輯于2023年，星期六學(xué)習(xí)方法

本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時(shí)主要把注意力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時(shí)一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時(shí)注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來(lái)學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。4第四頁(yè)，共四十頁(yè)，編輯于2023年，星期六第一章緒論

主要內(nèi)容：5第五頁(yè)，共四十頁(yè)，編輯于2023年，星期六第一節(jié)信息的概念

從哲學(xué)的角度上講，信息是構(gòu)成物質(zhì)世界的三大支柱之一，其他兩個(gè)是物質(zhì)和能量?？梢哉f(shuō)我們生活在信息的海洋之中，沒(méi)有信息就沒(méi)有世界，當(dāng)然也就沒(méi)有我們?nèi)祟?lèi)社會(huì)。人類(lèi)利用信息利用信息的歷史非常悠久，而且隨著人類(lèi)社會(huì)的發(fā)展而發(fā)展。到了現(xiàn)代，信息的利用已經(jīng)非常重要，以至于我們當(dāng)今生活的社會(huì)被稱(chēng)作信息社會(huì)?？梢?jiàn)信息的重要。但是有史以來(lái)，人們都沒(méi)有對(duì)信息下過(guò)一個(gè)確切的定義。就像對(duì)于物質(zhì)和能量一樣。6第六頁(yè)，共四十頁(yè)，編輯于2023年，星期六

信息雖無(wú)確切定義，但是卻具有兩個(gè)明顯的特征：廣泛性與抽象性。

廣泛性客觀(guān)世界充滿(mǎn)著信息

人類(lèi)離不開(kāi)信息

知識(shí)、書(shū)本是有用信息的積累

抽象性三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實(shí)體。能量是物質(zhì)運(yùn)動(dòng)的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀(guān)世界的主要?jiǎng)恿ΑＪ裁词切畔ⅲ?第七頁(yè)，共四十頁(yè)，編輯于2023年，星期六通俗的說(shuō)，信息就是消息。如：告訴你一個(gè)消息……

從不同的角度，有上百種不同的定義；

如：

“信息是事物之間的差別?！?/p>

“信息是接受者事先不知道的東西?！睆V義地說(shuō)，信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的事物運(yùn)動(dòng)狀態(tài)和變換方式。

狹義地說(shuō)，信息是用來(lái)消除不確定性的東西。

——這是香農(nóng)（ClaudeElwoodShannon)給出的定義。什么是信息？8第八頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息的直觀(guān)認(rèn)識(shí)9第九頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息的直觀(guān)認(rèn)識(shí)10第十頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息的直觀(guān)認(rèn)識(shí)11第十一頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息的直觀(guān)認(rèn)識(shí)12第十二頁(yè)，共四十頁(yè)，編輯于2023年，星期六香農(nóng)信息的度量信息——“是來(lái)消除不確定性的東西”；13第十三頁(yè)，共四十頁(yè)，編輯于2023年，星期六互信息互信息量：

yj對(duì)xi的互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)。先驗(yàn)概率：信源發(fā)出消息xi的概率p(xi)。后驗(yàn)概率：信宿收到y(tǒng)j后推測(cè)信源發(fā)出xi的概率p(xi/yj)。14第十四頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息的特性信息是可度量的；信息是無(wú)形的；信息是可共享的；信息是無(wú)限的；15第十五頁(yè)，共四十頁(yè)，編輯于2023年，星期六消息是信息載體和具體表現(xiàn)形式（如文字、符號(hào)、圖片、電影等）；消息、信號(hào)和信息之間的關(guān)系16第十六頁(yè)，共四十頁(yè)，編輯于2023年，星期六信號(hào)是消息的表現(xiàn)形式；消息是信號(hào)的具體內(nèi)容；信號(hào)是表示消息的物理量（隨時(shí)間、空間變化），適合在信道傳輸?shù)奈锢砹?，如聲波、光波、電磁波等。消息、信?hào)和信息之間的關(guān)系17第十七頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象18第十八頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象19第十九頁(yè)，共四十頁(yè)，編輯于2023年，星期六信源編碼的主要目的20第二十頁(yè)，共四十頁(yè)，編輯于2023年，星期六信源編碼的主要目的壓縮！使信號(hào)能夠更加有效地傳輸信息。呵呵，這樣就能過(guò)去啦！21第二十一頁(yè)，共四十頁(yè)，編輯于2023年，星期六信道編碼的主要目的22第二十二頁(yè)，共四十頁(yè)，編輯于2023年，星期六調(diào)制的主要目的23第二十三頁(yè)，共四十頁(yè)，編輯于2023年，星期六調(diào)制的主要目的24第二十四頁(yè)，共四十頁(yè)，編輯于2023年，星期六通信系統(tǒng)的指標(biāo)通信系統(tǒng)的基本問(wèn)題：在某一點(diǎn)精確或近似地恢復(fù)另一點(diǎn)發(fā)送的信息。25第二十五頁(yè)，共四十頁(yè)，編輯于2023年，星期六香農(nóng)的主要貢獻(xiàn)26第二十六頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的研究?jī)?nèi)容27第二十七頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的研究?jī)?nèi)容28第二十八頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的研究?jī)?nèi)容29第二十九頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的分支30第三十頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的發(fā)展31第三十一頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的發(fā)展32第三十二頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的發(fā)展33第三十三頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的應(yīng)用34第三十四頁(yè)，共四十頁(yè)，編輯于2023年，星期六信息論的應(yīng)用35第三十五頁(yè)，共四十頁(yè)，編輯于2023年，星期六香農(nóng)生平介紹36第三十六頁(yè)，共四十頁(yè)，編輯于2023年，星期六香農(nóng)的主