信息率失真函數(shù)的基本概念

第4章

信息率失真函數(shù)我們總喜歡去驗證別人對我們許下的諾言，卻很少去驗證自己給自己許下的諾言。2024/5/201信息率失真函數(shù)主要內(nèi)容：限失真信源編碼定理信息率失真函數(shù)保真度準則下的信源編碼定理教學基本要求：掌握率失真函數(shù)的定義、性質(zhì)、計算掌握保真度準則下的信源編碼定理重點和難點：率失真函數(shù)(離散信源，連續(xù)信源)的計算保真度準則下的信源編碼定理2024/5/202本章主要內(nèi)容4.1基本概念

4.2

離散無記憶信源R(D)的計算4.3連續(xù)無記憶信源的R(D)的計算4.4信道容量和信息率失真函數(shù)的比較4.5保真度準則下的信源編碼定理2024/5/203理論上“消息完全無失真?zhèn)魉汀钡目蓪崿F(xiàn)性信道編碼定理：無論何種信道，只要

H(X)=<信息速率R=<信道容量C總能找到一種編碼，使在信道上能以任意小的錯誤概率和無限接近于C的傳輸速率來傳送信息。反之，若R>C則傳輸必失真。實際上“消息完全無失真?zhèn)魉汀钡牟豢蓪崿F(xiàn)性要做到無失真信源編碼，要求H(X)<R<C；實際的信源常常是連續(xù)信源，連續(xù)信源的絕對熵無窮大,要無失真?zhèn)魉停瑒t信息率R也需無限大，信道容量C也必須為無窮大。而實際信道帶寬是有限的，所以信道容量受限制。因此無法滿足無失真?zhèn)鬏數(shù)臈l件，因此傳輸質(zhì)量必然受影響。2024/5/204有些失真沒有必要完全消除（限失真信源編碼）實際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打電話，即使語音信號有一些失真，接電話的人也能聽懂。放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的視覺暫留性，實際上只需要每秒放映24幅靜態(tài)畫面，視覺上就會感覺是連續(xù)的。信息率失真理論——信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)定理指出：在允許一定失真度D的情況下，信源輸出的信息率可以壓縮到R(D).2024/5/205信息率失真函數(shù)極小值問題I(X;Y)是P(X)和P(Y/X)二元函數(shù)。在討論信道容量時：固定P(Y/X),I(X;Y)是P(X)的函數(shù)。離散情況下，I(X;Y)是的上凸函數(shù)，因此必有I(X;Y)的極大值。在討論信息速率時：固定,I(X;Y)是的下凸函數(shù)，因此必有I(X;Y)的極小值。但是若X和Y統(tǒng)計獨立，即這樣極小值就變成0，此時極小值就沒有意義了。引入一個失真函數(shù)R(D)，計算在失真度D一定的情況下，可求得信息率R的極小值。2024/5/206信息率與失真的關(guān)系信源壓縮后相比原始信源，誤差或失真越大，說明壓縮掉的信息量就越多。描述失真度大小和信息速率關(guān)系的定理稱為：保真度準則下的信源編碼定理，也叫信息率失真理論。信息率失真理論的應(yīng)用：信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。2024/5/2074.1主要內(nèi)容失真函數(shù)

平均失真信息率失真函數(shù)信息率失真函數(shù)的基本性質(zhì)2024/5/208失真函數(shù)由于信息率的大小與失真的程度有關(guān)，為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測度標準，即失真函數(shù)：它用來表示信源壓縮后的消息和原始發(fā)送的消息之間的誤差。具體地：每一對，指定一個非負函數(shù)稱為單個符號的失真度（失真函數(shù)），它表示信源發(fā)出一個符號，壓縮后在接收端收到，二者之間的誤差或失真。distortion2024/5/209失真函數(shù)失真函數(shù)其它表示收發(fā)之間誤差的失真函數(shù)：平方誤差失真函數(shù)或均方失真函數(shù)絕對失真函數(shù)相對失真函數(shù)2024/5/2010單符號離散信源的失真函數(shù)設(shè)離散無記憶信源為信源通過矩陣P(Y/X)壓縮壓縮后，接收端Y2024/5/2011失真矩陣要描述離散信源的所有失真情況，必須用矩陣來表示：即失真矩陣，記作D若一個信源的所有符號壓縮前后的失真大小都為α，則可寫作對角線上為0，其余為α。則該單符號離散信源進行壓縮傳輸?shù)氖д婢仃嚳梢詫懽鳌?024/5/2012失真矩陣若α=1，則失真函數(shù)稱為漢明失真函數(shù)，失真矩陣稱為漢明失真矩陣，變?yōu)?024/5/2013例：已知單符號離散無記憶信源X={0,1}，Y={0,1，2}，將其進行壓縮的失真函數(shù)為

d(0,0)=d(1,1)=0；d(0,1)=d(1,0)=1；d(0,2)=d(1,2)=0.5，求失真矩陣：解：2024/5/2014以上離散無記憶信源的N次擴展信源的失真函數(shù)：若發(fā)送和壓縮傳輸后接收的消息分別為：則N次擴展信源的失真函數(shù)可定義為2024/5/2015連續(xù)信源的失真函數(shù)

記作：d(x,y)例：某一連續(xù)信源進行壓縮傳輸時，采用的失真壓縮的函數(shù)為均方式真，則其失真函數(shù)可寫作：d(x,y)=(y-x)22024/5/2016平均失真只能表示兩個特定的具體符號之間的失真，而對于信源整體壓縮時，引起的失真測度需要求平均失真。平均失真：平均失真為失真函數(shù)的數(shù)學期望?？梢员硎拘旁磯嚎s傳輸時平均每個符號所引起的失真的大小，是從總體上對整個信源壓縮失真情況的描述。平均失真的特性：它是信源統(tǒng)計特性，信道統(tǒng)計特性和失真度的函數(shù)，當以上三個量給定后，平均失真度就不再是一個隨機量了，而變成一個確定的量。人們所允許的壓縮失真都是平均意義上的失真。2024/5/2017平均失真單符號離散無記憶信源進行壓縮傳輸時的平均失真N次擴展信源（無記憶）的平均失真

2024/5/2018所以，N次擴展信源的平均失真為（注意前提為：無記憶信源）當對于定義域內(nèi)的i,j,k,則2024/5/2019連續(xù)信源的平均失真連續(xù)信源的平均失真因為離散信源的平均失真為：2024/5/2020信息率失真函數(shù)定義：給定信源和失真函數(shù)，要使信源壓縮后的平均失真(D為給定的失真上限)，則需找到某種壓縮方法，使其經(jīng)過壓縮后可以達到一個允許的最小信息速率，即R(D)。不妨將該壓縮過程假設(shè)成讓信源通過一個有失真的傳輸信道（滿足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密度函數(shù)），使在該信道（稱為試驗信道）上傳輸?shù)男畔⑺俾蔬_到最小，這個最小的信息速率稱為信息率失真函數(shù)，記作R(D)。信息率失真函數(shù)示意圖2024/5/2021信息率失真函數(shù)單符號離散無記憶信源的信息率失真函數(shù)

其中2024/5/2022信息率失真函數(shù)單符號離散無記憶信源的N次擴展信源的信息率失真函數(shù)2024/5/2023信息率失真函數(shù)的基本性質(zhì)率失真函數(shù)的定義域(0,Dmax)1、當平均失真D=0時，率失真函數(shù)R(D)=R(0)=H(X)證明：(1)對于離散信源當D=0時，說明信源壓縮后無失真，即沒有進行任何壓縮，因此壓縮后的信息速率R(D)等于壓縮前的（即信源熵）：

R(D)=R(0)=I(X;Y)=H(X)-H(X/Y)=H(X)2024/5/2024信息率失真函數(shù)的基本性質(zhì)率失真函數(shù)的定義域(0,Dmax)(2)對于連續(xù)信源，所以當D=0時，R(0)=H(X)=∞因為絕對熵為無窮大因此，連續(xù)信源要進行無失真地壓縮傳輸，需要傳遞的信息量是無窮大，這就需要一個具有無窮大信道容量的信道才能完成，而實際信道傳輸容量有限，所以要實現(xiàn)連續(xù)信源的無失真?zhèn)魉褪遣豢赡艿?，必須允許一定的失真，使R(D)變?yōu)橛邢拗?，傳送才有可能?024/5/2025

2、當D=Dmax時，R(Dmax)=0。

分析：失真值D越大，R(D)越小，D大到一定程度，R(D)=0，即壓縮后的信源沒有任何信息量?，F(xiàn)在將所有滿足R(D)=0的D的最小值，定義為R(D)定義域的上限D(zhuǎn)max。

Dmax的計算式：

信息率失真函數(shù)的基本性質(zhì)2024/5/2026信息率失真函數(shù)的基本性質(zhì)二、R(D)是定義域(0,Dmax)上的嚴格單調(diào)遞減連續(xù)下凸函數(shù)允許的最大失真D允許的最小信息率R(D)0Dmax2024/5/2027該式相當于求Dj的最小數(shù)學期望若Ds是所有Dj中最小的一個，則取p(ys)=1，其它p(yj)=0,此時Dj的數(shù)學期望必然最小Dmax的簡化計算式的推導(dǎo)：2024/5/2028例4.1.1：P110已知二元信源解：（1）求Dmax

2024/5/2029D1D22024/5/2030（1）.2024/5/2031例4.1.1：P110已知二元信源解：（2）求Dmin

202