第2章基本信息論.ppt

1、2020/9/6,信息論與編碼,第2章 基本信息論 北京大學(xué)出版社,引言,基本信息論又稱狹義信息論，是以信息的度量為基礎(chǔ)，有了對(duì)信息的 確切定義與測(cè)度，信息科學(xué)才得以建立和發(fā)展。 案例一： 甲乙同去聽某一學(xué)者講課，由于兩個(gè)人的業(yè)務(wù)基礎(chǔ)不同，他們聽到的 雖然是同一內(nèi)容，但聽后得到的新知識(shí)是不一樣的，怎么衡量呢？就可以 用信息度量的方法。 案例二： 信源發(fā)出的消息，經(jīng)過信道傳送給信宿，信道能夠傳送或存儲(chǔ)的最大 信息量為多少呢？可以用信道容量來分析。,第2章 基本信息論,2.1 信息度量,2.1.1 信源的不肯定性 信源是發(fā)送消息的一方，信源發(fā)出的消息常常是隨機(jī)的，這樣信源要發(fā)出的消息的狀態(tài) 應(yīng)該存

2、在某種程度的不肯定性。比如大學(xué)生在上課時(shí)，老師給大學(xué)生講1+1=2的知識(shí)，那么這 些大學(xué)生肯定得不到任何的信息，因?yàn)?+1=2的知識(shí)他們?cè)谏闲W(xué)時(shí)就已經(jīng)學(xué)過了，它的不肯 定性為零。獲得以前不知道的內(nèi)容，可以獲得信息，因?yàn)樗嬖诓豢隙ㄐ?。信源中某一消息發(fā) 生的不肯定性越大，一旦發(fā)出，收信者獲得的信息量就越大；相反，信源中某一消息發(fā)生 的不肯定性越小，通過通信收信者得到的信息量就越少。因此，獲得信息量的多少與信源的不 肯定性有關(guān)，即與不肯定程度有關(guān)。下面介紹不肯定程度。 不肯定程度 上面講了信源的不肯定性有大小之分，也就是說不肯定性有程度上的差分。那么，什么是 不肯定程度呢？ 為了便于說明問題，舉

3、個(gè)例子說明。,第2章 基本信息論,例 題： 有三個(gè)布袋，每個(gè)布袋中分別放100個(gè)球，這三個(gè)布袋中球的存在方式 如下： 布袋a：放99個(gè)白球，1個(gè)黑球； 布袋b：放50個(gè)白球，50個(gè)黑球； 布袋c(diǎn)：放4種顏色的球，紅、藍(lán)、白、黑各25個(gè)； 從這三個(gè)布袋中分別抓1個(gè)球，猜測(cè)在三個(gè)布袋中抓到的是哪種顏色的球？ 解：布袋a：可以肯定這樣的一個(gè)信源發(fā)出的消息具有不肯定性，因?yàn)槟贸鲆粋€(gè)球可能 是紅球，也可能是白球。但很容易猜測(cè)出它大概是紅球，因?yàn)榧t球多，所以 猜測(cè)的難度不大，當(dāng)然不肯定程度也不大。 布袋b：這時(shí)猜測(cè)從布袋中隨意拿出一個(gè)球的顏色的難度就比第一種情況大。因?yàn)?這時(shí)紅球、白球一樣多，不容易猜測(cè)，

4、所以這種情況下信源發(fā)出的消息的 不肯定程度較大。 布袋c(diǎn)：這時(shí)猜測(cè)從布袋中隨意拿出一個(gè)球的顏色的難度更大，因?yàn)檫@時(shí)更難猜測(cè)， 所以這種情況下的不肯定程度更大。 由此可知，事件發(fā)生的不肯定性與事件發(fā)生的概率有關(guān)。一般情況下，一個(gè)信源可以 用一個(gè)概率空間來描述，而信源的不肯定程度可以用這個(gè)概率空間的可能狀態(tài)數(shù)目及其概率 來描述。,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.1.2 信息量 根據(jù)以上對(duì)信源不肯定程度度量方法的分析，我們可以很容易地得出信息量 的度量方法。 定義 收信者收到消息實(shí)質(zhì)上就是從不肯定到比較肯定或完全肯定的過程，要實(shí)現(xiàn)這 個(gè)過程，必須通

5、過通信獲得信息，在這個(gè)過程就會(huì)有不肯定程度的減小，因此，很 容易直觀地將信息量定義為： 信息量=不肯定程度的減小量 也就是說，收信者收到一個(gè)消息后，所獲得的信息量等于收到消息前不肯定程 度的減小量。之所以不直接定義信宿收到的信息量就等于信源發(fā)出的信息量，是因 為在一般情況下，由于信道中噪聲的干擾，信源發(fā)出的信息量可能會(huì)損失一些，而 定義信宿對(duì)于信源不肯定程度的減小量才是信宿從信源收到的凈信息量。,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.2 離散信源的熵,第2章 基本信息論

6、,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.3 二元聯(lián)合信源的共熵與條件熵,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.4 信源冗余度,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.5 連續(xù)信源的熵,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,

7、第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.6 熵速率和信道容量,第2章 基本信息論,第2章 基本信息論,2.6.2 信道容量 在一般廣義的通信系統(tǒng)中，信道是很重要的一部分。信道是所傳信息的載體（消息）的 具體形式（信號(hào)）所要通過的通道（或媒介）。信息是抽象的，但是信道是具體的，比如二 人對(duì)話，二人之間的空氣就是信道；打電話時(shí)，電話線就是信道；看電視、聽收音機(jī)時(shí)，發(fā) 送和接收天線之間的空氣就是信道等等。 信道的分類 根據(jù)實(shí)際的應(yīng)用，信道有幾種分類方法： 1）按其輸入/輸出信號(hào)在幅度和時(shí)間上的取值來分類 離散信道：也

8、稱為數(shù)字信道，輸入/輸出信號(hào)在幅度和時(shí)間上都是離散的信道； 連續(xù)信道：輸入/輸出信號(hào)在幅度上連續(xù)，在時(shí)間上離散的信道； 模擬信道：輸入/輸出信號(hào)在幅度和時(shí)間上都是連續(xù)的信道。,第2章 基本信息論,2）按其輸入/輸出信號(hào)之間關(guān)系的記憶特性來分類 可以分為記憶信道和無記憶信道。如果信道的輸出只與信道該時(shí)刻的輸入有關(guān)而與其它時(shí) 刻的輸入無關(guān)，稱此信道為無記憶信道，反之稱為記憶信道。實(shí)際信道一般都是有記憶的， 如電纜信道中的電感電容、無線信道中的電波傳播的衰落現(xiàn)象等。有記憶信道的分析比較復(fù) 雜，有用的研究成果很少。 3）按其輸入/輸出信號(hào)之間的關(guān)系是否確定來分類 可以分為有噪聲信道和無噪聲信道。一般來

9、說，因?yàn)樾诺乐锌偸谴嬖谀撤N程度的噪聲， 所以信道輸入/輸出之間的關(guān)系是一種統(tǒng)計(jì)依賴的關(guān)系。但是當(dāng)噪聲與信號(hào)相比很小時(shí)，可以 近似為無噪聲信道，而有噪聲信道是信息論研究的主要對(duì)象。 4）根據(jù)信道輸入和輸出的個(gè)數(shù)來分類 單用戶信道：只有一個(gè)輸入端和一個(gè)輸出端的單向通信的模型； 多用戶信道：雙向通信或三個(gè)或更多個(gè)用戶之間相互通信的情況。 在本章中主要討論的是離散信道和連續(xù)信道的內(nèi)容。 信道的任務(wù)就是傳輸信息和存儲(chǔ)信息，研究信道就是研究信道中傳送或存儲(chǔ)的最大信息 量，即信道容量的問題。,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,第2章 基本信息論,2.7 離散有噪信道中的熵速率和信道容量,第2章 基本信息論