信息論第七章

信息論第七章第一頁，共五十頁，編輯于2023年，星期六第七章保真度準(zhǔn)則下的信源編碼7.1失真度和平均失真度7.2信息率失真函數(shù)及其性質(zhì)

7.3二元信源和離散對稱信源的

R(D)函數(shù)7.6連續(xù)信源的信息率失真函數(shù)7.7保真度準(zhǔn)則下信源編碼定理第二頁，共五十頁，編輯于2023年，星期六總可以找到一種輸入分布（信源編碼方法），使在無噪無損信道上，能夠以信道容量C無誤地傳輸信息。信源編碼無噪無損信道R=C;PE=0最佳分布消息壓縮冗余度最好地利用C無噪信道編碼定理回顧第三頁，共五十頁，編輯于2023年，星期六只要R<C，總可以找到一種信道編碼方法，使在信道上能夠以盡可能小的PE傳輸信息。有噪信道編碼定理回顧信源編碼消息信道R<C;PE=ε信道編碼增加冗余度，最好地匹配信道特性第四頁，共五十頁，編輯于2023年，星期六對于連續(xù)和模擬信源H(s)=∞

信道傳輸率R=H(s)/n（比特/碼符號）R=∞平均碼長l=Hr(s)=H(s)/logr,l=∞實(shí)際上,因?yàn)锽w有限,C一定有限,R<C,及l(fā)=∞均不可能.存在問題第五頁，共五十頁，編輯于2023年，星期六信宿對真實(shí)度的要求：

實(shí)際語音信號：20Hz~8KHz

人耳能夠分辨：300Hz~3400Hz

圖象色差：可達(dá)足夠多

視覺分辨：256級（黑白）已足夠?qū)嶋H需求特點(diǎn)可以允許一定的失真度

完全保真沒必要第六頁，共五十頁，編輯于2023年，星期六限失真的信源編碼問題

允許一定的失真度下，能將信源信息壓縮到什么程度？（最少需要多少比特才能在收端描述信源？）

一定的信息傳輸率R下，允許的最大失真是多少？引出的研究內(nèi)容相關(guān)問題失真如何度量？率失真函數(shù)如何計(jì)算？第七頁，共五十頁，編輯于2023年，星期六7.1失真度和平均失真度7.1.1失真度7.1.2平均失真度

7.1.3

保真度準(zhǔn)則第八頁，共五十頁，編輯于2023年，星期六7.1.1失真度方法抽象：將與討論重點(diǎn)關(guān)系小的部分抽象涉及信源編碼,對信道進(jìn)行抽象信道編碼→信道→信道譯碼

廣義無擾信道*廣義無擾信道*可以略去

信道*是一個沒有干擾的廣義信道，信宿收到信息的失真只來自于信源編碼.第九頁，共五十頁，編輯于2023年，星期六信源編碼信道編碼信道信道譯碼信源譯碼信源信宿廣義無擾信道*信源編碼信源譯碼信源信宿第十頁，共五十頁，編輯于2023年，星期六方法虛擬：將討論重點(diǎn)虛擬細(xì)化將限失真信源的編譯碼過程虛擬信源編碼→廣義無擾信道→信源譯碼

試驗(yàn)信道可以用信道傳遞概率來描述限失真信源編譯碼前后的關(guān)系

數(shù)據(jù)壓縮視為消息通過信道,編碼失真視為信道噪聲.7.1.1失真度第十一頁，共五十頁，編輯于2023年，星期六信源編碼信道編碼信道信道譯碼信源譯碼信源信宿信源編碼廣義無擾信道*信源譯碼信源信宿信源信宿試驗(yàn)信道UVP(V|U)第十二頁，共五十頁，編輯于2023年，星期六失真度定義信源變量信源分布經(jīng)信道傳輸后,輸出序列用一個非負(fù)函數(shù)d(ui,vj)表示信源發(fā)出符號ui,接收符號vj的失真度的定量描述.7.1.1失真度第十三頁，共五十頁，編輯于2023年，星期六失真函數(shù)d(ui,vj)有r×s個,可排成矩陣形式失真度定義7.1.1失真度第十四頁，共五十頁，編輯于2023年，星期六失真函數(shù)d(ui,vj)有距離的概念失真度性質(zhì)性質(zhì)1：時(shí),d=0

性質(zhì)2：最小距離d=0

性質(zhì)3：

7.1.1失真度第十五頁，共五十頁，編輯于2023年，星期六失真函數(shù)d(ui,vj)可以各式各樣,應(yīng)盡可能符合信宿的主觀特性,即主觀上的失真感覺應(yīng)與d(ui,vj)的值相對應(yīng).d越大所感覺的失真也越大,而且最好成正比.失真度函數(shù)的取值原則7.1.1失真度第十六頁，共五十頁，編輯于2023年，星期六均方失真：

常用的失真函數(shù)適用于連續(xù)信源及離散信源,特別是表示信源輸出符號的幅度值.絕對失真：

適用信源同上相對失真：

相對失真與主觀特性比較匹配,但數(shù)學(xué)處理較繁瑣.7.1.1失真度第十七頁，共五十頁，編輯于2023年，星期六誤碼失真：

常用的失真函數(shù)適用于離散信源.7.1.1失真度第十八頁，共五十頁，編輯于2023年，星期六例1：離散對稱信源(r=s).信源變量接收變量定義單個符號失真度解：失真函數(shù)矩陣7.1.1失真度第十九頁，共五十頁，編輯于2023年，星期六解：失真函數(shù)矩陣當(dāng)再現(xiàn)的接收符號與發(fā)送符號相同時(shí),就不存在失真錯誤,所以失真度不同時(shí)就有失真存在,認(rèn)為引起的失真都相同,取常數(shù)為1.這種失真稱為漢明失真.漢明失真矩陣D為方陣,且對角線上的元素為0.7.1.1失真度第二十頁，共五十頁，編輯于2023年，星期六例2：刪除信源(s=r+1).信源變量接收變量定義單個符號失真度解：失真函數(shù)矩陣7.1.1失真度第二十一頁，共五十頁，編輯于2023年，星期六解：失真函數(shù)矩陣接收符號作為刪除符號.若把信源符號再現(xiàn)為刪除符號要比再現(xiàn)為其他接收符號的失真程度少一半.7.1.1失真度第二十二頁，共五十頁，編輯于2023年，星期六小結(jié)一般情況下根據(jù)實(shí)際信源的失真,可以定義不同的失真和誤差;按主觀感覺上的差別大小定義失真度;可按引起的損失、風(fēng)險(xiǎn)等定義失真度.第二十三頁，共五十頁，編輯于2023年，星期六7.1.2平均失真度定義失真函數(shù)的數(shù)學(xué)期望為平均失真度.只能表示兩個特定的具體符號與之間的失真.為表示信道對信源平均每符號的失真大小,需要引入平均失真度.平均失真度第二十四頁，共五十頁，編輯于2023年，星期六定義失真函數(shù)的數(shù)學(xué)期望為平均失真度.平均失真度是描述某信源在某信道傳輸(編碼)下的失真大小,是從整體上描述某個系統(tǒng)的失真情況.7.1.2平均失真度第二十五頁，共五十頁，編輯于2023年，星期六信源序列的平均失真度信源輸出符號序列其中,隨機(jī)變量取自于同一符號集輸入符號序列共有個.接收端符號序列其中,隨機(jī)變量取自于同一符號集輸出符號序列共有個.設(shè)輸入輸出7.1.2平均失真度第二十六頁，共五十頁，編輯于2023年，星期六信源序列的平均失真度信源序列的失真度等于序列中對應(yīng)單個信源符號失真度之和。7.1.2平均失真度第二十七頁，共五十頁，編輯于2023年，星期六N維信源序列的平均失真度7.1.2平均失真度第二十八頁，共五十頁，編輯于2023年，星期六N維信源序列單個符號的平均失真度當(dāng)信源和信道都無記憶時(shí)第l個分量的平均失真度當(dāng)離散信源是平穩(wěn)信源離散無記憶平穩(wěn)信源通過無記憶試驗(yàn)信道，序列的平均失真度等于單個符號平均失真度的N倍。7.1.2平均失真度第二十九頁，共五十頁，編輯于2023年，星期六7.1.3保真度準(zhǔn)則（1）若平均失真度不大于所允許的失真D，即

，稱此為保真度準(zhǔn)則。（2）對于N維信源序列，保真度準(zhǔn)則為（3）當(dāng)信源固定（p(u)給定），單個符號失真度固定（給定）時(shí)，選擇不同的信道，相當(dāng)于不同的編碼方法，所得到的平均失真度不同。有些信道滿足，另一些。把滿足D失真許可信道組成一個集合BD，第三十頁，共五十頁，編輯于2023年，星期六7.2信息率失真函數(shù)及其性質(zhì)7.2.1信息率失真函數(shù)7.2.2信息率失真函數(shù)的性質(zhì)第三十一頁，共五十頁，編輯于2023年，星期六7.2.1信息率失真函數(shù)1.已知：與失真函數(shù)、信源分布和信道傳輸函數(shù)有關(guān)。當(dāng)和給定后,不同的將決定了不同的。2.在保真度準(zhǔn)則條件下：存在信道滿足的集合。3.信道的互信息是信道傳遞函數(shù)的U型凸函數(shù)，因此某一信道使取極小值4.定義滿足失真條件下信源必須傳輸?shù)淖钚∑骄畔⒘繛樾畔⒙适д婧瘮?shù)，或稱率失真函數(shù)。第三十二頁，共五十頁，編輯于2023年，星期六7.2.1信息率失真函數(shù)離散無記憶平穩(wěn)信源情況下物理意義并不是實(shí)際的信道,而是有失真信源編碼或信源壓縮的處理.進(jìn)而可求出平均互信息的最小值.即改變編碼方法使平均互信息最小,實(shí)質(zhì)上是選擇一種編碼方法使信息傳輸率最小.是信源特性參數(shù),與試驗(yàn)信道的選擇無關(guān).反映了信源可以壓縮的程度,是在滿足一定失真度()要求下,信源可壓縮的最低值.第三十三頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)是D的函數(shù),當(dāng)D很小時(shí),應(yīng)很大。1.的定義域(0,Dmax)第三十四頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)是D的函數(shù),當(dāng)D很小時(shí),應(yīng)很大。1.的定義域(0,Dmax)(3)由(2)定義得是使的全體概率集合。即和統(tǒng)計(jì)獨(dú)立。當(dāng)時(shí),

此時(shí)信源不需要輸出任何信息.第三十五頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)[例]規(guī)定失真度為漢明失真度，失真矩陣為求：(1)(2)達(dá)到最小值時(shí)的信道函數(shù)？(3)此時(shí)的第三十六頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)表示為滿足保真度準(zhǔn)則,信道V必須從信源U獲取的信息量,即信源必須輸出的最小信息率—信源U的率失真函數(shù)。第三十七頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)[例]要求同上例第三十八頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)[例]要求同上例總結(jié)：上面三例中,失真矩陣每列只有一個最小值,當(dāng)允許失真度取最小值時(shí)，信源輸出符號數(shù)不能有任何的壓縮。第三十九頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)[例]要求同上例三種典型取值信源的信息率可壓縮.第四十頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)2.是關(guān)于D的U型凸函數(shù)在允許失真度D的定義域內(nèi),是D的U型凸函數(shù).3.函數(shù)的單調(diào)遞減性和連續(xù)性計(jì)算的條件是,顯然當(dāng)時(shí),將最小。第四十一頁，共五十頁，編輯于2023年，星期六7.2.2信息率失真函數(shù)的性質(zhì)4.的典型圖形(1)定義域(2)U型函數(shù)(3)連續(xù)而遞減第四十二頁，共五十頁，編輯于2023年，星期六7.3二元信源和離散對稱信源的R(D)函數(shù)7.3.1二元對稱信源的R(D)函數(shù)7.3.2離散對稱信源的R(D)函數(shù)第四十三頁，共五十頁，編輯于2023年，星期六第四十四頁，共五十頁，編輯于2023年，星期六4-2根軌跡繪制的基本法則1.繪制根軌跡的基本法則2.閉環(huán)極點(diǎn)的確定.

第四十五頁，共五十頁，編輯于2023年，星期六1.繪制根軌跡的基本法則法則1根軌跡的起點(diǎn)和終點(diǎn)根軌跡起于開環(huán)極點(diǎn),終于開環(huán)零點(diǎn).

閉環(huán)系統(tǒng)特征方程根軌跡的起點(diǎn),