信息論 第一章

信息論第一章第一頁(yè)，共十九頁(yè)，2022年，8月28日參考書目1朱雪龍<<應(yīng)用信息理論基礎(chǔ)>>

清華大學(xué)出版社20012常迥<<信息理論基礎(chǔ)>>

清華大學(xué)出版社TP14/333吳偉陵<<信息處理與編碼>>

人民郵電出版社

4章照止林須端<<信息論與最優(yōu)編碼>>

上?？茖W(xué)技術(shù)出版社1993TN9112/25信息論基礎(chǔ)TN911/1.2第二頁(yè)，共十九頁(yè)，2022年，8月28日第一章緒論1.1信息的概念1.2信息論研究的對(duì)象

目的和內(nèi)容1.3信息論發(fā)展簡(jiǎn)史與信

息科學(xué)第三頁(yè)，共十九頁(yè)，2022年，8月28日1.1信息的概念1.1.1信息的概念1.1.2概念區(qū)別：信息、情報(bào)、知識(shí)、消息1.1.3統(tǒng)計(jì)信息的測(cè)度1.1.4香農(nóng)信息定義的優(yōu)缺點(diǎn)1.1.5信息的屬性第四頁(yè)，共十九頁(yè)，2022年，8月28日1.1信息的概念1.1.1信息的概念統(tǒng)計(jì)信息定義：信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的

不確定性的描述。1.1.2概念區(qū)別：信息、情報(bào)、知識(shí)、消息廣義信息已包含了情報(bào)、知識(shí)、消息消息是把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)。第五頁(yè)，共十九頁(yè)，2022年，8月28日消息表達(dá)方式文字—書信符號(hào)—電報(bào)數(shù)據(jù)—股市語(yǔ)言—漢語(yǔ)音符—歌曲圖象—電視節(jié)目第六頁(yè)，共十九頁(yè)，2022年，8月28日信息量不確定性消除程度概率不確定性隨機(jī)性隨機(jī)事件概率論隨機(jī)過(guò)程1.1.3統(tǒng)計(jì)信息的測(cè)度第七頁(yè)，共十九頁(yè)，2022年，8月28日舉例1：三個(gè)隨機(jī)變量X,Y,Z的密度矩陣為等概率分布時(shí)，隨機(jī)變量的不確定性程度最大。第八頁(yè)，共十九頁(yè)，2022年，8月28日舉例2：兩個(gè)隨機(jī)變量X,Y的密度矩陣為均等概率分布時(shí)，樣本數(shù)多的不確定性程度最大。第九頁(yè)，共十九頁(yè)，2022年，8月28日自信息樣本空間：某事物所有可能選擇的消息集合概率空間：樣本空間和它的概率測(cè)度。先驗(yàn)概率：某消息的自信息：后驗(yàn)概率：條件概率第十頁(yè)，共十九頁(yè)，2022年，8月28日收到消息后，發(fā)送端是否是的不確定性：互信息表示收信者收到消息后，已知消除的不確定性，即先驗(yàn)的不確定性減去尚存的不確定性，這就是收信者獲得的信息量。第十一頁(yè)，共十九頁(yè)，2022年，8月28日（1）如果信道無(wú)干擾（2）若，則，無(wú)信息（3）若，則，信息量大第十二頁(yè)，共十九頁(yè)，2022年，8月28日1.1.4香農(nóng)信息定義的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：(1)科學(xué)的定義，有明確的數(shù)學(xué)模型，可進(jìn)行定量計(jì)算；

(2)與日常信息的含義一致；

(3)

計(jì)算結(jié)果客觀。缺點(diǎn)：(1)有些事物取值的概率模型難以建立；

(2)未考慮信息的主觀性和實(shí)用性。第十三頁(yè)，共十九頁(yè)，2022年，8月28日

物質(zhì)、能量和信息是物質(zhì)世界的三大支柱,是科學(xué)歷史上三個(gè)最重要的基本概念.特征:(1)信息、物質(zhì)、能量統(tǒng)一于事物一身.(2)信息的存在具有普遍性、無(wú)限性、動(dòng)態(tài)性、時(shí)效性和相對(duì)獨(dú)立性.(3)信息具有可傳遞性、可轉(zhuǎn)換性、可擴(kuò)散性、可復(fù)制性、可存儲(chǔ)性,因而具有共享性.(4)信息具有可度量性.1.1.5信息的屬性第十四頁(yè)，共十九頁(yè)，2022年，8月28日1.2信息論研究的對(duì)象、

目的和內(nèi)容1.2.1研究對(duì)象——通信系統(tǒng)模型1.2.2目的——信息傳輸系統(tǒng)最優(yōu)化1.2.3信息論研究的內(nèi)容第十五頁(yè)，共十九頁(yè)，2022年，8月28日1.2.1研究對(duì)象——通信系統(tǒng)模型信源編碼器信道譯碼器噪聲源信宿消息信號(hào)干擾消息第十六頁(yè)，共十九頁(yè)，2022年，8月28日1.2.2目的——信息傳輸系統(tǒng)最優(yōu)化1

可靠性高使信源發(fā)出的消息經(jīng)過(guò)信道傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端。2有效性高經(jīng)濟(jì)效果好，用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳送一定數(shù)量的信息。往往提高可靠性和提高有效性是矛盾的。

保密性、認(rèn)證性第十七頁(yè)，共十九頁(yè)，2022年，8月28日1.2.3信息論研究的內(nèi)容1.狹義信息論—

經(jīng)典信息論：香農(nóng)主要研究信息的測(cè)度、信道容量、信源編碼、信道編碼理論等。2.一般信息論—

維納（美）、柯爾莫哥洛夫（蘇），除上述內(nèi)容，還包括噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、調(diào)制理論、信息處理理論、保密理論。3.廣義信息論第十八頁(yè)，共十九頁(yè)，2022年，8月28日1.3信息論發(fā)展簡(jiǎn)史與信息科學(xué)信息論是在長(zhǎng)期的通信工程實(shí)踐和理論研究基礎(chǔ)上發(fā)展起來(lái)的。電磁理論和電子學(xué)理論促進(jìn)了電信系統(tǒng)的發(fā)展。由信息論研究形