信源模型與信息度量合并

信源模型與信息度量合并第一頁，共一百四十四頁，2022年，8月28日第2章信源熵信息的度量與信源熵第二頁，共一百四十四頁，2022年，8月28日本章內(nèi)容通信的根本問題是將信源的輸出在接收端盡可能精確地復現(xiàn)出來，所以需要討論如何描述信源的輸出，即如何計算信源產(chǎn)生的信息量。即：信息的度量與信源熵3信源信源編碼信源譯碼信宿信道編碼信道信道譯碼++加密編碼解密譯碼噪聲源SUCXY?VSn第三頁，共一百四十四頁，2022年，8月28日本章內(nèi)容簡介2信源熵（13-14個學時）2.0信源的數(shù)學模型及其分類（1學時）離散/連續(xù)；平穩(wěn)/非平穩(wěn)；2.1信息的度量與信源熵（5-6學時）重點：信息量與熵的概念、性質(zhì)、應用2.2多符號離散平穩(wěn)信源（2-3個學時）平均符號熵與極限熵的相關知識；馬爾可夫信源。2.3連續(xù)信源（2個學時）微分熵的定義及性質(zhì)；最大熵定理；熵功率2.4離散無失真信源編碼定理（2個學時）信源編碼的基本概念、目的、思路、術語;定長、變長編碼定理4第四頁，共一百四十四頁，2022年，8月28日第2章信源熵2.0信源的數(shù)學模型及其分類2.1信息的度量與信源熵2.2多符號離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理5第五頁，共一百四十四頁，2022年，8月28日信源的概念信源－信息的發(fā)源地，如人、生物、機器等等。由于信息是十分抽象的東西，所以要通過信息載荷者（即消息）來研究信源，這樣信源的具體輸出稱作消息。

問題轉(zhuǎn)化：研究信源研究信源的具體輸出：消息消息的形式6如：

漢字

符號

字母圖像語音離散消息連續(xù)消息第六頁，共一百四十四頁，2022年，8月28日信源的數(shù)學模型問題轉(zhuǎn)化：研究信源研究信源的具體輸出：消息信源建模工具：信源發(fā)出消息，消息載荷信息，具有不確定性，因此，描述信源消息或?qū)π旁唇?，隨機過程是一個有效的工具，隨機過程的特性依賴于信源的特性。

方法：信源輸出的消息：如漢字/符號/語音等隨機變量或隨機序列（矢量）或概率空間7如何描述？第七頁，共一百四十四頁，2022年，8月28日信源的分類對信源分類主要基于兩方面的考慮：1.信源消息取值的集合以及消息取值時刻的集合分為離散信源、連續(xù)信源或數(shù)字信源、模擬信源（波形信源）2.信源消息的統(tǒng)計特性可分為無記憶信源、有記憶信源、平穩(wěn)信源、非平穩(wěn)信源、高斯信源、馬爾可夫信源等。實際中經(jīng)常是它們的組合單符號離散信源離散平穩(wěn)無記憶信源連續(xù)單符號（變量）信源連續(xù)有記憶信源連續(xù)非平穩(wěn)信源8第八頁，共一百四十四頁，2022年，8月28日離散信源與連續(xù)信源連續(xù)信源：信源輸出的隨機變量取值于某一連續(xù)區(qū)間，為連續(xù)信號，消息的個數(shù)是無窮值，就叫做連續(xù)信源。比如：人發(fā)出的語音信號X(t)、模擬的電信號等等離散信源：信源輸出的隨機變量取值于某一離散符號集合，消息在時間和幅值上均是離散的，就叫做離散信源。信源輸出的消息常常是以一個個符號的形式出現(xiàn)，例如文字、字母等，這些符號的取值是有限的或可數(shù)的。比如：平面圖像X(x，y)和電報、書信、文稿等等9信源

X1,X2,X3,……

A為{a1,a2,a3,…am}或(a,b)信源輸出被抽象為隨機變量序列（隨機過程）第九頁，共一百四十四頁，2022年，8月28日單符號信源與多符號信源單符號信源：信源輸出單個消息符號例：阿拉伯數(shù)字投硬幣擲骰子實際通信系統(tǒng)：信源編碼后的數(shù)據(jù)傳輸數(shù)學模型：用一維離散或連續(xù)隨機變量X及其概率分布P來描述。多符號信源：信源輸出多個消息符號例：書面語言文字：字→句子→段落→文章例：電話號碼單符號：一維隨機變量?多符號：多(N)維隨機變量數(shù)學模型：用N維隨機矢量，N重離散概率空間的數(shù)學模型來描述。10離散連續(xù)離散：連續(xù):取值范圍對應區(qū)域共

條消息N維聯(lián)合概率密度第十頁，共一百四十四頁，2022年，8月28日離散平穩(wěn)信源與非平穩(wěn)信源離散平穩(wěn)信源：如果隨機序列中各個變量具有相同的概率分布。例：擲硬幣、擲骰子結果與時間無關數(shù)學模型：非平穩(wěn)信源信源的統(tǒng)計特性隨時間變化信源

X1,X2,X3,……

A為{a1,a2,a3,…am}或(a,b)一維平穩(wěn)二維平穩(wěn)…N維平穩(wěn)離散注意：僅有N維的平穩(wěn)并不符合要求。但不能保證11第十一頁，共一百四十四頁，2022年，8月28日無記憶信源與有記憶信源無記憶信源：前、后符號間相互獨立例：阿拉伯數(shù)字信源編碼后的數(shù)據(jù)傳輸12離散平穩(wěn)無記憶信源平穩(wěn)

+無記憶信源發(fā)出的消息符號間彼此是統(tǒng)計獨立的，且它們具有相同的概率分布，且N維隨機矢量的聯(lián)合概率分布為：連續(xù)型無記憶信源：數(shù)學模型：第十二頁，共一百四十四頁，2022年，8月28日無記憶信源與有記憶信源（續(xù)）有記憶信源：通常情況下，信源發(fā)出的符號間是彼此相互依存和關聯(lián)的如：小說、文字、語音等等。通常用聯(lián)合概率或條件概率來描述這種關聯(lián)性。按記憶長度劃分有：有限記憶信源如：有限狀態(tài)馬爾可夫鏈

馬爾可夫信源（后續(xù)課程2.2中介紹）無限記憶信源13第十三頁，共一百四十四頁，2022年，8月28日信源的分類隨機過程{x(t)}：隨機波形信源信源輸出的消息是時間（或空間）上和取值上都是連續(xù)的函數(shù)離散無記憶信源的N次擴展信源：輸出的平穩(wěn)隨機序列X中各隨機變量統(tǒng)計獨立。每個隨機變量xi取值于同一概率空間。每N個符號構成一組，等效為一個新的信源隨機變量離散信源：可能輸出的消息數(shù)有限連續(xù)信源：可能輸出的消息數(shù)是無限的或不可數(shù)的非平穩(wěn)信源平穩(wěn)信源連續(xù)平穩(wěn)信源離散平穩(wěn)信源：輸出隨機序列X中每個隨機變量取值是離散，并且隨機矢量X的各維概率分布不隨時間平移而改變有限記憶信源：輸出的平穩(wěn)隨機序列X中各隨機變量之間有依賴關系，但記憶長度有限馬爾可夫信源：輸出的隨機序列X中各隨機變量之間有依賴關系，但記憶長度有限，并滿足馬爾可夫鏈的條件式隨機序列14第十四頁，共一百四十四頁，2022年，8月28日第2章信源熵2.0信源的數(shù)學模型及其分類2.1信息的度量與信源熵（單符號離散信源）2.2多符號離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理15第十五頁，共一百四十四頁，2022年，8月28日單符號離散信源的數(shù)學模型設：單符號信源X，取值于符號集其中，X表示隨機變量，代表信源

表示信源的某個元素或信源發(fā)出的某個符號

每個符號發(fā)生的概率為，消息符號互不相關，且滿足：用概率場來描述

16第十六頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵（單符號離散信源）2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關系17第十七頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關系18第十八頁，共一百四十四頁，2022年，8月28日問題的引出問題1：信息論首要要解決的問題是什么？回答：信息的量化、度量。因為只有對信息能夠進行度量以后，我們才能用定量的方法來分析通信系統(tǒng)中信息的產(chǎn)生、傳輸、接收等問題。19問題2：信息如何度量？使用什么單位？比較：對于看得見，摸得著的實際物體，尺寸可用米、公里等衡量，重量可以用公斤、噸衡量。但信息呢？回答：僅僅依據(jù)日常生活的經(jīng)驗無法得出信息如何度量以及度量單位。必須人為引入信息度量的定義。第十九頁，共一百四十四頁，2022年，8月28日實際例子1.第二次有人告訴：“你考上研究生”確定性事件，信息量為02.中國乒乓球男隊戰(zhàn)勝巴西大概率事件，信息量很小3.美國的911事件小概率事件，信息量很大4.中國足球男隊戰(zhàn)勝巴西概率趨于0，信息量趨于無窮大5.武漢下雨了，紐約也下雪了獨立事件，聯(lián)合事件信息量是二者和定性認識1.信息量是隨機事件概率的函數(shù)2.概率越小，信息量越大3.概率趨近于0，信息量趨近于無窮大；確定性事件，信息量為04.兩個獨立事件，聯(lián)合事件的信息量是二者之和20實際例子——定性認識第二十頁，共一百四十四頁，2022年，8月28日用數(shù)學語言表述1.信息量是隨機事件概率的函數(shù)2.概率越小，信息量越大信息量

I

是概率

p

的單調(diào)遞減函數(shù)3.概率趨近于0，信息量趨近于無窮大；確定性事件，信息量為04.兩個獨立事件，聯(lián)合事件的信息量是二者之和若A、B獨立21第二十一頁，共一百四十四頁，2022年，8月28日自信息量定義觀察：對數(shù)形式的函數(shù)可能能滿足要求。直接定義？不滿足2.信息量I是概率p的單調(diào)遞減函數(shù)；3.概率趨近于0，信息量趨近于無窮大；確定性事件，信息量為0進行改造：22定義：任意隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值。香農(nóng)先生給出,他參考了哈特萊的定義第二十二頁，共一百四十四頁，2022年，8月28日自信息量的單位單位：比特bit、奈特nat、哈特Hart。當對數(shù)的底取2時，單位為比特bit當以自然數(shù)e為底時，單位為奈特nat當以10為底時，單位為哈特hart比特bit、奈特nat、哈特Hart間的轉(zhuǎn)換關系：在現(xiàn)代數(shù)字通信系統(tǒng)中，一般采用二進制的記數(shù)方式。在信息量的計算中也多采用以2為底的方式，一般默認以2為底23注意：信息量為純數(shù)，單位僅為標示不同底數(shù)的對數(shù)值，無量綱含義第二十三頁，共一百四十四頁，2022年，8月28日自信息量VS不確定度自信息量與不確定度的數(shù)學定義相同：問題：這二者有無區(qū)別？通過例子來分析：袋子里一共有100個手感相同的球。已知其中99個是紅球，只有1個是白球?，F(xiàn)隨機抽取1個球問：抽球之前：抽出來的球會是紅球嗎？回答：不能確定，不過多半是。24第二十四頁，共一百四十四頁，2022年，8月28日自信息量VS不確定度不確定度：

在隨機實驗進行前，關于某隨機事件在這次實驗中是否會發(fā)生的不確定程度?！俺橹械氖羌t球”不確定度

比特“抽中的是白球”不確定度

比特信息量：

抽球之后，某次抽出的是紅球，并明確地告訴你答案。計算你所獲得的信息量。獲得的信息量=（抽球前，對于抽中紅球的不確定度）—（抽球后，對于抽中紅球仍存在的不確定度）=0.0145-0=0.0145比特類似地，當抽中的是白球，獲得的信息量為6.644比特。25第二十五頁，共一百四十四頁，2022年，8月28日結論——自信息量與不確定度之間的關系不確定度：在隨機實驗進行前，關于某隨機事件在這次實驗中是否會發(fā)生的不確定程度。自信息量：某次隨機實驗完成后，出現(xiàn)某個隨機事件時所獲得的信息量。26第二十六頁，共一百四十四頁，2022年，8月28日自信息量的計算——例1某地二月份天氣的概率分布統(tǒng)計如下：計算這四種氣候的自信息量。解：27第二十七頁，共一百四十四頁，2022年，8月28日自信息量的計算——例2設一次擲兩個骰子,如果事件A,B,C分別表示:A：僅有一個骰子是3;B：至少有一個骰子是4;C：骰子上點數(shù)的總和是偶數(shù)。試計算A，B，C發(fā)生后分別提供的信息量。解：

求信息量求事件概率樣本點總數(shù)=6×6=3628第二十八頁，共一百四十四頁，2022年，8月28日自信息量的計算——例2分析三次情況：A：一個骰子(X)為3，另一個(Y)不為3;或反之。B：骰子X為4，骰子Y不為4;骰子X不為4，骰子Y為4;兩個骰子都為4。C：X奇+Y奇=偶；X奇+Y偶=奇；X偶+Y奇=奇；X偶+Y偶=偶；29第二十九頁，共一百四十四頁，2022年，8月28日自信息量的性質(zhì)300101自信息是非負值，是的單調(diào)遞減函數(shù)非負性：隨機事件的發(fā)生總能提供一些信息，最差是0，不會因為事件發(fā)生而使不確定性增大遞減性：概率越大事件，不確定性越小，發(fā)生提供的信息量越小第三十頁，共一百四十四頁，2022年，8月28日自信息量的性質(zhì)(續(xù))說明：該事件是必然事件，不含不確定性，不含任何信息量說明：1）數(shù)學運算的結果2）不可能事件一旦發(fā)生，帶來的信息量是非常大的值得注意的是：

是一個隨機量，而是的函數(shù)所以自信息量也是一個隨機變量，它沒有確定值31已在自信息量定義的引出過程中分析過第三十一頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關系32第三十二頁，共一百四十四頁，2022年，8月28日聯(lián)合自信息量的定義涉及兩個隨機變量的離散信源，其聯(lián)合概率分布為：定義：二維聯(lián)合集XY上的元素的聯(lián)合自信息量定義為：式中為積事件；為元素的二維聯(lián)合概率。當

和

相互獨立的時候，有：33兩個隨機事件相互獨立時，同時發(fā)生得到的自信息量，等于這兩個隨機事件各自獨立發(fā)生得到的自信息量之和。第三十三頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關系34第三十四頁，共一百四十四頁，2022年，8月28日條件自信息量定義:聯(lián)合集XY中，對事件和，事件在事件給定的條件下的條件自信息量定義為：類似，可以定義：35第三十五頁，共一百四十四頁，2022年，8月28日條件自信息量的性質(zhì)由于每個隨機事件的條件概率都處于0～1范圍內(nèi)，所以聯(lián)合自信息量和條件自信息量也滿足非負性、單調(diào)遞減性、以及以下性質(zhì)：36第三十六頁，共一百四十四頁，2022年，8月28日例：某校入學考試中有25%考生被錄取，75%考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10%來自本市。問：當已知考生來自本市時，該考生被錄取的不確定度等于多少？解：需求取本市條件下，被錄取的概率：37考生錄取25%本市50%外地50%未錄取75%本市10%外地90%第三十七頁，共一百四十四頁，2022年，8月28日例：根據(jù)全概率公式，有：38比較：當不知道考生是本地或外地時：由于不確定度的減少，獲得了一定的信息量第三十八頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量自信息量的定義與性質(zhì)聯(lián)合自信息量條件自信息量幾種自信息量間的關系2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量2.1.4各種熵之間的關系39第三十九頁，共一百四十四頁，2022年，8月28日幾種自信息量之間的關系自信息量、聯(lián)合自信息量、條件自信息量都滿足非負性和單調(diào)遞減性三者都是隨機變量，其值隨著變量的變化而變化。三者之間有如下關系式：40物理意義：兩個隨機事件同時發(fā)生后，其所提供的聯(lián)合自信息量等于其中一個事件發(fā)生后提供的自信息量，與該事件發(fā)生后另一個事件也發(fā)生所提供的條件自信息量，二者的和。第四十頁，共一百四十四頁，2022年，8月28日例：聯(lián)合自信息量設在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意地放在棋盤中的某方格，讓乙猜測棋子所在位置：將方格按順序編號，讓乙猜測棋子所在方格的順序號；41xy解：如圖所示棋子所在位置可用聯(lián)合集XY上的元素描述，其中將方格順序編號：由于甲是將一粒棋子隨意地放在棋盤中某一個方格內(nèi)，因此棋子在棋盤中所處的位置為二維等概率分布。二維等概率分布函數(shù)為：，因此：在二維聯(lián)合集XY上的元素的自信息量為：第四十一頁，共一百四十四頁，2022年，8月28日例：條件自信息量設在一正方形棋盤上共有64個方格，如果甲將一粒棋子隨意地放在棋盤中的某方格，讓乙猜測棋子所在位置：將方格按行和列編號，甲將棋子所在方格的行（或列）編號告訴乙之后，再令乙猜測棋子所在列（或行）的位置。42xy解：如圖所示棋子所在位置可用聯(lián)合集XY上的元素描述，其中將方格順序編號：由于甲是將一粒棋子隨意地放在棋盤中某一個方格內(nèi)，因此棋子在棋盤中所處的行（或列）位置為一維等概率分布，其概率分布函數(shù)分別為：同時，有二維概率分布函數(shù)：在二維聯(lián)合集XY上的元素相對的條件自信息量為：同樣：第四十二頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關系43第四十三頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關系44第四十四頁，共一百四十四頁，2022年，8月28日平均自信息量問題：有了自信息量，為什么還要求平均？回答：信源可能發(fā)出多種可能的消息，自信息量只能提供某一事件發(fā)生后其所提供的信息量，而不能從整體上衡量信源所能提供的信息量。我們更希望從平均意義上來衡量信源每發(fā)出一條消息，其所能提供的信息量。問題：如何對自信息量進行平均？分析：回答：應按概率對自信息量進行加權平均（數(shù)學期望）數(shù)學定義式：45?第四十五頁，共一百四十四頁，2022年，8月28日例：設某月，甲地的天氣預報為晴（占1/2）、陰（占1/4）、大雨（占1/8）、小雨（占1/8）；乙地的天氣預報為為晴（占7/8）、小雨（占1/8）。試求兩地天氣預報各自提供的平均信息量。若甲地某月天氣預報為兩種特殊情況，一種是晴概率為1，其余為0；另一種是各種天氣出現(xiàn)的概率都相等。試求這兩種情況下所提供的平均信息量。又試求乙地這兩種情況的平均信息量。解：寫出信源的概率分布：設甲地天氣預報構成的信源用X表示：設乙地天氣預報構成的信源用Y表示：46分析：甲、乙誰的平均不確定度大？猜測：甲的平均不確定度大，因為其消息數(shù)更多，分布也相對更均勻。第四十六頁，共一百四十四頁，2022年，8月28日平均信息量求解47比特/符號比特/符號甲地的平均不確定度更大。第四十七頁，共一百四十四頁，2022年，8月28日甲地的第一種特殊情況48結論：確定性信源的平均自信息量(不確定度)為0。猜測：平均不確定度為0。(只有一種可能性)洛必塔法則第四十八頁，共一百四十四頁，2022年，8月28日甲地的第二種特殊情況49比特/符號猜測：消息數(shù)相同的前提下,均勻分布的不確定度更大。后續(xù)會證明：“最大熵定理”乙地特殊情況分析類似（略）第四十九頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關系50第五十頁，共一百四十四頁，2022年，8月28日信源的概率空間描述一個信源可以用一個概率空間來描述。信源的不確定程度可以用這個概率空間的可能狀態(tài)數(shù)目及其概率來描述：其中：X是信源的狀態(tài)空間，為一個離散集，表示了隨機事件的狀態(tài)數(shù)；P(X)是隨機事件各種可能狀態(tài)的概率分布，且，各狀態(tài)是相互獨立的。通常記為{X,P(X)}51第五十一頁，共一百四十四頁，2022年，8月28日

平均自信息量—信息熵自信息量是一個隨機變量，它反映了信源發(fā)出某一信息符號的不確定性。它不能用來作為整個信源的信息測度。信源的不確定程度可以用信源概率空間的概率分布來描述。這樣，我們引入平均自信息量，即信息熵定義：集X上，隨機變量I(xi)的數(shù)學期望，即平均自信息量為集X的信息熵，簡稱做熵。含義上信息熵與熱熵有相似之處。平均自信息量或信息熵的物理意義：信源輸出前，每個離散信息的平均不確定度。信源輸出后，平均每個離散消息所提供的信息量。反映了變量X的隨機性。52第五十二頁，共一百四十四頁，2022年，8月28日信息熵的單位離散集X信息熵的單位取決于對數(shù)選取的底。比特/符號奈特/符號哈特/符號bit/symbolnat/symbolhart/symbol如果一個離散集X的概率分布為n個狀態(tài)等概，選取對數(shù)底為n，由信息熵定義可以說此集合X包含了1個n進制單位的信息量，用一個n進制的數(shù)就可以表示此集合的信息。在現(xiàn)代數(shù)字通信系統(tǒng)中，一般采用二進制的記數(shù)方式。在信息熵的計算中也多采用以2為底的方式，且默認記為H(X)。由對數(shù)公式可以得到r進制與二進制之間的關系：53第五十三頁，共一百四十四頁，2022年，8月28日練習：設某信源輸出為擲一非均勻骰子的點數(shù)，若其任一面出現(xiàn)的概率與該面的點數(shù)成正比。試求該信源的信源熵？解：首先要求解信源模型設出現(xiàn)1點的概率為p，因概率分布滿足歸一性：比特/符號54第五十四頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關系55第五十五頁，共一百四十四頁，2022年，8月28日聯(lián)合熵和條件熵56自信息量（不確定度）聯(lián)合

自信息量

條件

自信息量平均自信息量（信源熵）聯(lián)合熵

（聯(lián)合自信息的數(shù)學期望）條件熵

（條件自信息的數(shù)學期望）第五十六頁，共一百四十四頁，2022年，8月28日聯(lián)合熵定義：聯(lián)合集XY上，每對元素的自信息量的期望定義為聯(lián)合熵。根據(jù)聯(lián)合自信息量的定義，聯(lián)合熵又可定義為聯(lián)合熵又可稱為共熵。57第五十七頁，共一百四十四頁，2022年，8月28日條件熵定義：聯(lián)合集XY上，條件自信息量I(x|y)的概率加權平均值定義為條件熵。其定義式為上式稱為聯(lián)合集XY中，集X相對于集Y的條件熵。條件熵又可寫成式中取和的范圍包括XY二維空間中的所有點。這里要注意條件熵用聯(lián)合概率p(xy)，而不是用條件概率p(x|y)進行加權平均。58第五十八頁，共一百四十四頁，2022年，8月28日為什么條件熵要用聯(lián)合概率進行加權平均？回憶條件自信息量定義：當固定隨機變量的條件下，求在集合X上的數(shù)學期望：上式只是固定

yi的條件下的數(shù)學期望，接下來還應對求在集合

Y上的數(shù)學期望，因此有：59第五十九頁，共一百四十四頁，2022年，8月28日強調(diào)：集X相對于集Y的條件熵集Y相對于集X的條件熵數(shù)學定義式中一定要用聯(lián)合概率進行平均。不要寫成60第六十頁，共一百四十四頁，2022年，8月28日條件熵的物理意義例：某地區(qū)A，二月份天氣的統(tǒng)計規(guī)律（信源）：將該地區(qū)每天的天氣情況，通過信道，發(fā)往另一地區(qū)B某天，A地區(qū)是陰天，將消息發(fā)往B地區(qū)，但接收到的消息變?yōu)椤安皇乔缣臁薄?1信源X信道信宿Y第六十一頁，共一百四十四頁，2022年，8月28日分析問題：問B地區(qū)的某人，今天A地區(qū)會是陰天嗎？回答：不確定，不確定度為：上述不確定度為條件不確定度（自信息量）的范疇，表示的是當接收到某條輸出消息后，對是否發(fā)送的是某條輸入消息仍存在的不確定度。上述不確定度只是信源、信宿的一對輸入、輸出消息間的關系。信源的n種可能消息與信宿的m種可能消息，每對之間都存在類似的上述關系。將所有這些條件不確定度按聯(lián)合概率進行加權，即為條件熵。62第六十二頁，共一百四十四頁，2022年，8月28日

的物理意義：熵損失在收到信宿Y（整體）的條件下，對信源X（整體）仍存在的平均不確定度。問題：若信道理想，

信宿收到的信息=?回答：若信道理想，

信宿收到的信息=H(X)問題：對實際信道，

信宿收到的信息=?回答：對實際信道，

信宿收到的信息

的物理意義：在收到信宿Y（整體）的條件下，對信源X（整體）仍存在的平均不確定度，即熵損失。63思考：的物理意義又是什么呢？（后續(xù)2.1.3介紹）第六十三頁，共一百四十四頁，2022年，8月28日信源熵、聯(lián)合熵和條件熵間的關系自信息量、聯(lián)合自信息量、條件自信息量間的關系：猜測：三種熵間關系證明？64第六十四頁，共一百四十四頁，2022年，8月28日三種熵的關系證明：類似地，可證明出：65物理意義：兩個隨機變量所提供的平均信息量等于其中一個隨機變量提供的平均信息量，與已知第一個隨機變量后第二個隨機變量提供的平均條件信息量，二者的和。(也適用于不確定度)第六十五頁，共一百四十四頁，2022年，8月28日三種熵關系的推廣三種熵的關系：推廣1：當X和Y相互獨立：類似于信息量，當

和獨立時：推廣2:

推廣至多個隨機變量當上述變量都相互獨立時：66第六十六頁，共一百四十四頁，2022年，8月28日練習隨機變量X、Y的聯(lián)合概率分布如下表所示，求聯(lián)合熵和條件熵

、。解：先求聯(lián)合熵：再求條件熵：67第六十七頁，共一百四十四頁，2022年，8月28日計算關鍵：由接下來，通過求解

和

。68第六十八頁，共一百四十四頁，2022年，8月28日接下來，代入相應數(shù)據(jù)，可得：比特/符號比特/符號69第六十九頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關系70第七十頁，共一百四十四頁，2022年，8月28日熵的主要性質(zhì)及定理1.非負性2.對稱性3.確定性4.擴展性5.連續(xù)性6.極值性7.條件熵不大于無條件熵8.最大離散熵定理9.上凸性71書上內(nèi)容補充第七十一頁，共一百四十四頁，2022年，8月28日非負性與對稱性1.非負性解釋：2.對稱性觀察兩信源：概率順序互換思考：與間的關系？72第七十二頁，共一百四十四頁，2022年，8月28日對稱性解釋任意調(diào)換的順序，不影響熵的結果。73紅綠黃藍陰晴雨霧物理意義熵的結果與信源中各消息的具體取值無關，它只取決于信源的總體概率分布。熵反映的是信源的總體特性。第七十三頁，共一百四十四頁，2022年，8月28日3.確定性物理意義：對確定性信源，不存在任何的不確定性，因此它的熵值（信源的平均不確定度）為0。數(shù)學證明：74洛必塔法則第七十四頁，共一百四十四頁，2022年，8月28日4.擴展性物理意義：新信源雖然增加了一種可能的消息，但新增加的消息概率趨近0，不會引起熵值的增加。證明：75關鍵【

】可推廣到增加多種概率為0消息的情況。第七十五頁，共一百四十四頁，2022年，8月28日5.連續(xù)性物理意義：新信源相比于原信源，概率分布只發(fā)生了極其微小的變動，不會引起熵值的變化。證明：略。76第七十六頁，共一百四十四頁，2022年，8月28日6.極值性——香農(nóng)不等式有兩個消息數(shù)相等的信源：存在如下關系：77對Y集合中的自信息量按X的概率分布進行加權平均。第七十七頁，共一百四十四頁，2022年，8月28日香農(nóng)不等式證明證明：引理：自然對數(shù)存在如下性質(zhì)，當?shù)忍柍闪?。引理證：記令，得為極值點，極值為。又引理得證。78是

的極大值。第七十八頁，共一百四十四頁，2022年，8月28日香農(nóng)不等式證明即證：左邊79由前述引理換底公式第七十九頁，共一百四十四頁，2022年，8月28日7.條件熵不大于無條件熵證明：80香農(nóng)不等式時等號成立第八十頁，共一百四十四頁，2022年，8月28日證明(續(xù))

時等號成立。類似，可證明：81物理意義：已知Y時對X的平均不確定度，一般情況下小于對Y一無所知時的平均不確定度；或反之（X、Y顛倒位置）。第八十一頁，共一百四十四頁，2022年，8月28日思考是否有？分析：由于與無明確大小關系，并沒有上述關系。821.

第八十二頁，共一百四十四頁，2022年，8月28日思考是否有？分析：由于與無明確大小關系，并沒有上述關系。832.

第八十三頁，共一百四十四頁，2022年，8月28日思考是否有？分析：由于與無明確大小關系，并沒有上述關系。843.

第八十四頁，共一百四十四頁，2022年，8月28日8.最大離散熵定理問題：由于信源

X的熵可看做是關于信源概率分布的n元函數(shù)，信源概率分布為何種分布下熵最大以及最大值等于多少？結論——最大離散熵定理：當

時，熵最大；

。證明：即證85取得等號思考：為什么是等概率時，熵（平均不確定度）最大？現(xiàn)實中有何實例？第八十五頁，共一百四十四頁，2022年，8月28日9.上凸性9.1上凸函數(shù)的定義9.2上凸函數(shù)的物理意義9.3熵函數(shù)上凸性的證明9.1上凸函數(shù)的定義：設有一個多元函數(shù)

,對任一小于1的正數(shù)

以及的定義域中任意兩個矢量均有如下關系：86：上凸：嚴格上凸第八十六頁，共一百四十四頁，2022年，8月28日上凸函數(shù)特點在定義域內(nèi)任意兩點之間，函數(shù)的圖形都位于過這兩點函數(shù)值對應線段的上方。問題：對應什么樣的圖形？分析：對應一條線段，線段的端點：對應；對應。回答：對應過和的線段。9.2上凸函數(shù)的幾何意義87第八十七頁，共一百四十四頁，2022年，8月28日上凸函數(shù)判斷注意：一定是定義域中的任意兩點均滿足上述關系。88從直觀上看，在整個定義域內(nèi)，上凸函數(shù)的形狀一定是向外凸的，而沒有向內(nèi)凹的部分。第八十八頁，共一百四十四頁，2022年，8月28日上凸函數(shù)結論：在上凸函數(shù)中，只存在著一個極大值點。或者為導數(shù)等于零的點（唯一點），或者為邊界點。類似地，可給出下凸(凹)函數(shù)的定義：89思考1：上凸函數(shù)中是否可能存在極小值點(不計邊界點)？回答：不可能。極小值點一定對應有向內(nèi)凹的部分。思考2：上凸函數(shù)中是否可能存在兩個以上的極大值點(不計邊界點)？回答：不可能。因為連續(xù)可微函數(shù)中的極大值點間一定存在著極小值點。第八十九頁，共一百四十四頁，2022年，8月28日9.3熵函數(shù)上凸性的證明90證明：設1.應判斷

是否能求熵函數(shù)？判斷是否滿足滿足?。ㄗC明略）第九十頁，共一百四十四頁，2022年，8月28日9.3熵函數(shù)上凸性的證明2.接下來，將熵的定義式代入不等式左邊：91第九十一頁，共一百四十四頁，2022年，8月28日思考利用上凸性重新證明最大離散熵定理92第九十二頁，共一百四十四頁，2022年，8月28日思考題拋一枚均勻硬幣和拋一枚非均勻的硬幣，哪個信息量（或不確定度）更大？拋一枚均勻骰子和拋一枚均勻硬幣，哪個信息量（或不確定度）更大？93第九十三頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵平均自信息量的引出信源熵的定義條件熵與聯(lián)合熵熵的主要性質(zhì)及定理加權熵的概念及基本性質(zhì)互信息量與平均互信息量2.1.4各種熵之間的關系94第九十四頁，共一百四十四頁，2022年，8月28日加權熵的引入討論:為什么要引入加權熵的概念？因為傳統(tǒng)熵存在局限性。實例：甲地某月乙地某月根據(jù)對稱性兩地天氣播報的信源熵相同，但從對社會可能造成的危害角度，顯然乙地區(qū)應更重視減災工作。95熵只反映了信源概率分布的總體特性，沒有考慮每種消息可能產(chǎn)生的價值或造成的危害，或者對接收者的主觀意義，因此引入了加權熵的概念。第九十五頁，共一百四十四頁，2022年，8月28日概率空間傳統(tǒng)熵權重空間加權熵96加權熵的數(shù)學定義僅按消息發(fā)生的客觀概率加權按消息發(fā)生的客觀概率和主觀意義等雙重加權注意：要求

,但沒有要求

,也沒有歸一性的要求。目前仍沒有很理想的分配權重的方法，權重的分配更多地依靠人為設定，影響了加權熵的發(fā)展。第九十六頁，共一百四十四頁，2022年，8月28日加權熵的基本性質(zhì)

——很多與傳統(tǒng)熵的性質(zhì)類似1.非負性解釋：2.對稱性傳統(tǒng)熵：交換的順序，不影響結果。加權熵：交換的順序，不影響結果。3.確定性傳統(tǒng)熵：加權熵：97物理意義：對于確定性信源，總是只有唯一的一個事件永遠發(fā)生，盡管該事件是有意義或有效用的，但仍不能提供信息量。第九十七頁，共一百四十四頁，2022年，8月28日4.擴展性&5.連續(xù)性4.擴展性傳統(tǒng)熵：加權熵：物理意義：增加1個意義很大但不可能發(fā)生的事件，信源并不能提供更多的信息量。5.連續(xù)性98第九十八頁，共一百四十四頁，2022年，8月28日6.均勻性&7.等重性6.均勻性：當信源為等概率分布時，加權熵等于：結論：等概率分布時，加權熵等于傳統(tǒng)熵乘以權重的算術平均值。7.等重性當各消息的權重值相等時，加權熵等于：結論：權重相等時，加權熵等于傳統(tǒng)熵的倍。99第九十九頁，共一百四十四頁，2022年，8月28日8.非容性設

表示由整數(shù)構成的集合，且二者的并集滿足

，二者的交集為（空集）。100若對所有的，有

，但

；若對所有的，有

，但

。

所有事件可分成兩類有意義的事件，但不可能發(fā)生?？赡馨l(fā)生的事件，但無意義。即：對此類信源，加權熵為零，但傳統(tǒng)熵并不為零。第一百頁，共一百四十四頁，2022年，8月28日9.最大加權熵的求解問題：給定，求，使得最大。求解：設定輔助函數(shù)F求

F關于的偏導數(shù)，列出方程組：101第一百零一頁，共一百四十四頁，2022年，8月28日最大加權熵的求解102令，可得：最大熵對應的輸入信源分布為：(a)其中，待定常數(shù)可由如下約束方程(歸一性)得出：(b)第一百零二頁，共一百四十四頁，2022年，8月28日最大加權熵的求解103得到

后，將式(a)代入加權熵的定義式，可得：最大熵對應的輸入信源分布為：第一百零三頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量1.互信息量2.平均互信息量2.1.4各種熵之間的關系104第一百零四頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量1.互信息量：A.互信息量B.互信息的性質(zhì)C.條件互信息量和聯(lián)合互信息2.平均互信息量2.1.4各種熵之間的關系105第一百零五頁，共一百四十四頁，2022年，8月28日A.互信息量信源信宿106

簡化的通信系統(tǒng)模型信源信道信宿XY干擾受噪聲影響，信源發(fā)出的消息在信道傳輸過程中可能會出現(xiàn)錯誤。第一百零六頁，共一百四十四頁，2022年，8月28日觀察通信過程一般情況下，信源發(fā)出的是消息，但受噪聲影響，接收端收到的消息是。在通信之前，信宿端猜測發(fā)出的是的不確定度：先驗概率先驗不確定度在通信之后，信宿端收到之后，再來猜測信源發(fā)出的是的不確定度：后驗概率后驗不確定度107第一百零七頁，共一百四十四頁，2022年，8月28日互信息量定義定義：后驗不確定度，相對于先驗不確定度的減少量，為本次通信過程中從收到的

中獲得的關于

的互信息量。*注意：

容易搞混，不要混淆。108第一百零八頁，共一百四十四頁，2022年，8月28日例題甲在一個8×8的方格棋盤上隨意放入一個棋子，棋子所放位置是等概率的。(1)若甲告知乙，棋子落入方格的行號，這時乙得到了多少信息量？(2)若甲將棋子落入方格的行號和列號都告知乙，這時乙得到了多少信息量？比特解：(1)互信息量=先驗不確定度—后驗不確定度(2)互信息量比特109第一百零九頁，共一百四十四頁，2022年，8月28日互信息的三種形式11.第一種形式物理意義：通信前問：這次信源發(fā)送的會是xi嗎？回答：不確定度通信后問：（收到的是yj）這次信源發(fā)送的會是xi嗎？回答：不確定度觀察者站在信宿端。通信后，從yj獲得的關于xi的信息量。*110第一百一十頁，共一百四十四頁，2022年，8月28日互信息的三種形式22.第二種形式第一種形式：從yj獲得的關于xi的信息量。第二種形式：從xi獲得的關于yj的信息量。物理意義：觀察者站在信源端。通信后，從xi獲得的關于yj的信息量。通信前問：這次信宿收到的會是yj嗎？回答：不確定度通信后問：（發(fā)送的是xi）這次信宿收到的會是yj嗎？回答：不確定度*111第一百一十一頁，共一百四十四頁，2022年，8月28日互信息的三種形式33.第三種形式第一/二種形式：觀察者站在信宿/信源端。通信前問：這次信源發(fā)送的會是xi嗎？信宿收到的會是yj嗎？回答：不確定度通信后問：這次信源發(fā)送的會是xi嗎？信宿收到的會是yj嗎？第三種形式：觀察者站在系統(tǒng)整體（宏觀角度觀察）。回答：不確定度通信前：xi和yj相互獨立通信后：xi和yj相互關聯(lián)112第一百一十二頁，共一百四十四頁，2022年，8月28日互信息的三種形式3(續(xù))113第三種形式的物理意義：觀察者站在系統(tǒng)整體進行宏觀觀察。通信前的整體不確定度：通信后的整體不確定度：通信后獲得的信息量為整體不確定度的減少。*第一百一十三頁，共一百四十四頁，2022年，8月28日第一種形式：信宿端第二種形式：信源端1.對稱性（互易性）物理意義：信源信宿“你中有我，我中有你”。事件yj提供的有關于事件xi的信息量等于由事件xi

提供的關于事件yj信息量證:B.互信息的性質(zhì)1114第一百一十四頁，共一百四十四頁，2022年，8月28日互信息的性質(zhì)22.互信息量可為0當X、Y獨立時，物理意義：當X、Y獨立時，從yj中得不到關于xi的任何信息。第三種形式：全局115第一百一十五頁，共一百四十四頁，2022年，8月28日互信息的性質(zhì)3解釋：后驗概率先驗概率當時，所表達的含義：先驗不確定度后驗不確定度當收到y(tǒng)j后，對xi是否會發(fā)生的不確定度不僅沒有減少，反而還增加了。這通常是由于通信過程中出現(xiàn)傳輸錯誤或受到干擾所引起的。3.互信息量可負對比：自信息量為非負值物理意義：116第一百一十六頁，共一百四十四頁，2022年，8月28日C.條件互信息量和聯(lián)合互信息量條件互信息量：在隨機事件zk已經(jīng)發(fā)生的條件下，隨機事件yj發(fā)生后，所間接提供的隨機事件

xi的信息（不確定度的消減）數(shù)學表達式聯(lián)合互信息量：聯(lián)合事件yjzk發(fā)生后，所間接提供的另一個隨機事件xi的信息（不確定度的消減）數(shù)學表達式117第一百一十七頁，共一百四十四頁，2022年，8月28日三個互信息量的關系互信息量、聯(lián)合事件互信息量、條件互信息量三者都是隨機變量，其值隨著變量xi，yj，zk的變化而變化。三者關系為：說明：一聯(lián)合事件yjzk出現(xiàn)后所提供的有關xi

的信息量等于事件yj出現(xiàn)后所提供的有關xi

的信息量加上在給定事件yj的條件下再出現(xiàn)事件zk所提供的有關xi

的信息量。118第一百一十八頁，共一百四十四頁，2022年，8月28日例某人A預先知道他的三位朋友B、C、D中必定將有一人晚上到他家來，并且這三人來的可能性均相同其先驗概率為：p(B)=p(C)=p(D)=1/3但是上午A接到D的電話不能來了把這次電話作為事件E，那么有后驗概率p(D/E)=0,p(B/E)=p(C/E)=1/2下午A又接到C的電話，說晚上開會不能來把這次電話作為事件F，那么有后驗概率p(C/EF)=p(D/EF)=0,p(B/EF)=1119第一百一十九頁，共一百四十四頁，2022年，8月28日續(xù)例事件E（上午的電話）發(fā)生后，A獲得關于B,C,D的互信息為：事件EF（兩次電話）發(fā)生后，A獲得關于B,C,D的互信息為：由此例可以看出，由于I(B;EF)=1.585bit,I(B;E)=0.585bit，因此事件EF的出現(xiàn)有助于肯定事件B的出現(xiàn)。120第一百二十頁，共一百四十四頁，2022年，8月28日續(xù)例在事件E（上午的電話）發(fā)生的條件下，計算條件互信息量表明，事件EF出現(xiàn)后所提供的有關B的信息量I(B;EF)等于事件E出現(xiàn)后所提供的有關B的信息量I(B;E)加上在給定事件E的條件下，再出現(xiàn)事件F所提供的有關B的信息量。121第一百二十一頁，共一百四十四頁，2022年，8月28日2.1信息的度量與信源熵2.1.1自信息量2.1.2平均自信息量與信源熵2.1.3互信息量與平均互信息量1.互信息量2.平均互信息量A.平均互信息量B.平均互信息量性質(zhì)2.1.4各種熵之間的關系122第一百二十二頁，共一百四十四頁，2022年，8月28日問題：有了互信息量，為什么還要求平均？回答：互信息量只反映了某一對輸入、輸出消息間信息的流通。我們更希望從平均意義上來衡量信源、信宿間的信息流通。第一種形式的數(shù)學定義及物理意義：互信息量平均互信息量*A.平均互信息量123第一百二十三頁，共一百四十四頁，2022年，8月28日A.平均互信息量1損失熵接下來，對上述數(shù)學定義式進行變形：對比：通信前對的平均不確定度通信后，已知條件下，對的平均不確定度*維拉圖124第一百二十四頁，共一百四十四頁，2022年，8月28日第二種形式的數(shù)學定義及物理意義：互信息量平均互信息量*通信前對的平均不確定度通信后，已知條件下，對的平均不確定度維拉圖偽信息與第一種形式類似，可推導出：*噪聲熵A.平均互信息量2125第一百二十五頁，共一百四十四頁，2022年，8月28日A.平均互信息量3第三種形式的數(shù)學定義及物理意義：互信息量與前兩種形式類似，可推導出：*通信前對系統(tǒng)整體的平均不確定度通信后對系統(tǒng)整體的平均不確定度平均互信息量*維拉圖通信前通信