信息論與編碼-第11講-信息率失真函數(shù)2

第1頁2024/4/14第四章信息率失真函數(shù)4.1基本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4保真度準(zhǔn)則下的信源編碼定理4.5信息論“三大定理”總結(jié)E-mail：xxxxxx@第2頁2024/4/14“4.1基本概念”小結(jié)

平均失真度離散隨機(jī)變量X：

N維離散隨機(jī)序列：信息率失真函數(shù)離散信息X：概率分布為P(X)，失真度為d(xi,yj)第3頁2024/4/14“4.1基本概念”小結(jié)

信息率失真函數(shù)的性質(zhì)定義域(Dmin,Dmax)

下凸性單調(diào)遞減和連續(xù)性第4頁2024/4/144.2離散信源的信息率失真函數(shù)對(duì)離散信源，求R(D)與求C類似，是一個(gè)在有約束條件下求平均互信息極值問題，只是約束條件不同；C是求平均互信息的條件極大值，R(D)是求平均互信息的條件極小值。4.2.1離散信源信息率失真函數(shù)的參量表達(dá)式4.2.2二元及等概率離散信源的信息率失真函數(shù)第5頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(1)求極小值方法(2)離散信源的信息率失真函數(shù)(3)

參量S

的說明4.2離散信源的信息率失真函數(shù)第6頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(1)求極小值方法用拉各朗日乘子法原則上可以求出最小值，但是要得到它的顯式一般是很困難的，通常只能求出信息率失真函數(shù)的參量表達(dá)式。4.2離散信源的信息率失真函數(shù)第7頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(1)求極小值方法已知信源概率分布函數(shù)

p(xi)

和失真度

d(xi,yj)，在滿足保真度準(zhǔn)則的條件下，在試驗(yàn)信道集合

PD

當(dāng)中選擇

p(yj/xi)，使平均互信息：4.2離散信源的信息率失真函數(shù)最小第8頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)已知平均互信息在下述的

(n+1)

個(gè)條件限制下求

I(X;Y)的極值，

4.2離散信源的信息率失真函數(shù)第9頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)引入拉各朗日乘子

S和μi(i=1,2,…,n)，構(gòu)造一個(gè)新函數(shù)：第10頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)其中：4.2離散信源的信息率失真函數(shù)第11頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)第12頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)4.2離散信源的信息率失真函數(shù)第13頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)第一步：求λi4.2離散信源的信息率失真函數(shù)第14頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)第二步：求p(yj)4.2離散信源的信息率失真函數(shù)第15頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)第三步：求p(yj/xi)

將解出的λi和p(yj)代入式(4-54)，可求得m·n個(gè)以S為參量的p(yj/xi)。4.2離散信源的信息率失真函數(shù)第16頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)第四步：求D(S)

將這

m·n

個(gè)

p(yj/xi)

代入(4-6)得到以S為參量的允許平均失真函數(shù)

D(S)。4.2離散信源的信息率失真函數(shù)第17頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)第五步：求R(S)

將這

m·n

個(gè)

p(yj/xi)

代入(4-48)得到以

S為參量的率失真函數(shù)

R(S)。4.2離散信源的信息率失真函數(shù)第18頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(2)離散信源的信息率失真函數(shù)第六步：由于

p(yj)不能是負(fù)值，參量S

的取值有一定的限制。選擇使p(yj)非負(fù)的所有

S，得到

D

和

R

值，可以畫R(D)曲線，如右圖。4.2離散信源的信息率失真函數(shù)第19頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(3)

參量S

的說明可以證明：參量

S就是R(D)函數(shù)的斜率。參量S的特性：由于R(D)是D的單調(diào)遞減函數(shù)，并且是U型凸函數(shù)，故斜率

S必為負(fù)，且是D的遞增函數(shù)，D從0變到Dmax，S將逐漸增加；當(dāng)D=0時(shí)：S的最小值趨于負(fù)無窮（R(D)的斜率）。4.2離散信源的信息率失真函數(shù)第20頁2024/4/144.2.1離散信源率失真函數(shù)的參量表達(dá)式(3)

參量S

的說明當(dāng)D=Dmax

時(shí)：S達(dá)到最大；這個(gè)最大值也是某一個(gè)負(fù)值，極限是0。當(dāng)D>Dmax時(shí)：在D=Dmax處，除某些特例外，S將從某一個(gè)負(fù)值跳到0，S在此點(diǎn)不連續(xù)。在D的定義域[0,Dmax]內(nèi)，除某些特例外，S將是D的連續(xù)函數(shù)。4.2離散信源的信息率失真函數(shù)第21頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明(3)二元等概率離散信源的率失真函數(shù)4.2離散信源的信息率失真函數(shù)第22頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)設(shè)二元信源：

計(jì)算信息率失真函數(shù)R(D)4.2離散信源的信息率失真函數(shù)第23頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)先求出Dmax4.2離散信源的信息率失真函數(shù)第24頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第一步：求λi，由式(4-58)有：4.2離散信源的信息率失真函數(shù)第25頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第二步：求p(yj)，由式(4-56)有：4.2離散信源的信息率失真函數(shù)第26頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第三步：求p(yj/xi)，由式(4-54)有：4.2離散信源的信息率失真函數(shù)第27頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第四步：求D(S)，將上述結(jié)果代入式(4-61)有：4.2離散信源的信息率失真函數(shù)第28頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第五步：求R(S)將上述結(jié)果代入式(4-62)有：4.2離散信源的信息率失真函數(shù)第29頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第五步：求R(S)對(duì)于這種簡(jiǎn)單信源，可從

D(S)

解出

S

與

D

的顯式表達(dá)式：4.2離散信源的信息率失真函數(shù)第30頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第五步：求R(S)4.2離散信源的信息率失真函數(shù)第31頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(1)二元離散信源的率失真函數(shù)第六步：通過以上步驟計(jì)算出來的

R(D)

和S(D)如右圖。4.2離散信源的信息率失真函數(shù)第32頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明若α=1，把d(xi

,yj)當(dāng)成了誤碼個(gè)數(shù)，即X和Y不一致時(shí)，認(rèn)為誤了一個(gè)碼元，所以：4.2離散信源的信息率失真函數(shù)d(xi

,yj)的數(shù)學(xué)期望就是平均誤碼率。能容忍的失真等效于能容忍的誤碼率。第33頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明R(D)

不僅與

D有關(guān)，還與

p

有關(guān)。概率分布不同，

R(D)

曲線就不一樣。當(dāng)

p=0.25時(shí)，如果能容忍的誤碼率也是

0.25，不用傳送信息便可達(dá)到，即R=0，這就是

R(Dmax)=0

的含義。例如：不管信源發(fā)出的是x1還是x2，都把它編成x2，則誤碼率就是信源發(fā)出x1的概率0.25，只送一種符號(hào)當(dāng)然就不用傳送信息，即R=0，這就是R(Dmax)=0的含義。4.2離散信源的信息率失真函數(shù)第34頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明當(dāng)

D相同時(shí)，信源越趨于等概率分布，

R(D)

就越大。由最大離散熵定理，信源越趨于等概率分布，其熵越大，即不確定性越大，要去除這不確定性所需的信息傳輸率就越大，而

R(D)

正是去除信源不確定性所必須的信息傳輸率。4.2離散信源的信息率失真函數(shù)第35頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明

關(guān)于S(D)

它與

p無直接關(guān)系，S(D)

曲線只有一條，p=0.5

和

p=0.25

都可以用，但它們的定義域不同；4.2離散信源的信息率失真函數(shù)第36頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明

關(guān)于S(D)p=0.25

時(shí)定義域是

D=0~0.25，即到

A

點(diǎn)為止，此時(shí)Smax=－1.59。D>0.25

時(shí)，S(D)

就恒為

0了。所以在

A點(diǎn)

S(D)

是不連續(xù)的；4.2離散信源的信息率失真函數(shù)第37頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(2)信息率失真函數(shù)曲線圖說明

關(guān)于S(D)

當(dāng)

p=0.5時(shí)，曲線延伸至

D=0.5處，此時(shí)

Smax=0，故

S(D)

是連續(xù)曲線，定義域?yàn)?/p>

D=0~0.5。4.2離散信源的信息率失真函數(shù)第38頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(3)二元等概率離散信源的率失真函數(shù)當(dāng)上述二元信源呈等概率分布時(shí)，上面式子分別退化為：4.2離散信源的信息率失真函數(shù)第39頁2024/4/144.2.2二元及等概率離散信源的信息率失真函數(shù)(3)二元等概率離散信源的率失真函數(shù)這個(gè)結(jié)論很容易推廣到

n元等概率信源的情況。4.2離散信源的信息率失真函數(shù)第40頁2024/4/144.3連續(xù)信源的信息率失真函數(shù)4.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式4.3.2高斯信源的信息率失真函數(shù)4.3.3信道容量與信息率失真函數(shù)的比較第41頁2024/4/144.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式

條件信源：X∈R=(－∞,∞)

信源X的概率密度函數(shù)為：p(x)

信道的傳遞概率密度函數(shù)為：p(y/x)

信宿：Y∈R=(－∞,∞)

信宿Y

的概率密度函數(shù)為：p(y)X

和

Y

之間的失真度：d(x,y)≥04.3連續(xù)信源的信息率失真函數(shù)第42頁2024/4/144.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式平均失真度為：平均互信息為：4.3連續(xù)信源的信息率失真函數(shù)第43頁2024/4/144.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式PD為滿足保真度準(zhǔn)則的所有試驗(yàn)信道集合。信息率失真函數(shù)為：相當(dāng)于離散信源中求極小值，嚴(yán)格地說，連續(xù)集合未必存在極小值，但是一定存在下確界。4.3連續(xù)信源的信息率失真函數(shù)第44頁2024/4/144.3.1連續(xù)信源的信息率失真函數(shù)的參量表達(dá)式R(D)

函數(shù)的參量表達(dá)式：一般情況，在平均失真度積分存在情況下，

R(D)

的解存在，直接求解困難，用迭代算法計(jì)算機(jī)求解，只在特殊情況下求解比較簡(jiǎn)單。4.3連續(xù)信源的信息率失真函數(shù)第45頁2024/4/144.3.2高斯信源的信息率失真函數(shù)(1)高斯信源特性及失真度設(shè)連續(xù)信源的概率密度為正態(tài)分布函數(shù)：數(shù)學(xué)期望為：方差為：失真度為d(x,y)=(x－y)2，即把均方誤差作為失真，表明通信系統(tǒng)中輸入輸出之間誤差越大，失真越嚴(yán)重，嚴(yán)重程度隨誤差增大呈平方增長(zhǎng)。4.3連續(xù)信源的信息率失真函數(shù)第46頁2024/4/144.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性當(dāng)信源均值不為0時(shí)，仍有這個(gè)結(jié)果，因?yàn)楦咚剐旁吹撵刂慌c隨機(jī)變量的方差有關(guān)，與均值無關(guān)。4.3連續(xù)信源的信息率失真函數(shù)圖4-4第47頁2024/4/144.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性4.3連續(xù)信源的信息率失真函數(shù)當(dāng)D=σ2

時(shí)，R(D)=0：這就是說，如果允許失真（均方誤差）等于信源的方差，只需用確知的均值m來表示信源的輸出，不需要傳送信源的任何實(shí)際輸出。圖4-4第48頁2024/4/144.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性4.3連續(xù)信源的信息率失真函數(shù)當(dāng)D=0時(shí)，R(D)→∞：這點(diǎn)說明在連續(xù)信源情況下，要毫無失真地傳送信源的輸出是不可能的。即要毫無失真地傳送信源的輸出必須要求信道具有無限大的容量。圖4-4第49頁2024/4/144.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性4.3連續(xù)信源的信息率失真函數(shù)當(dāng)0<D<σ2

時(shí)：即允許一定的失真，傳送信源的信息率可以降低，意味著信源的信息率可以壓縮，連續(xù)信源的率失真理論正是連續(xù)信源量化、壓縮的理論基礎(chǔ)。圖4-4第50頁2024/4/144.3.2高斯信源的信息率失真函數(shù)(2)高斯信源R(D)的特性4.3連續(xù)信源的信息率失真函數(shù)當(dāng)D=0.25σ2

時(shí)，R(D)=1比特/符號(hào)：這就是說在允許均方誤差大于或等于

0.25σ2

時(shí)，連續(xù)信號(hào)的每個(gè)樣本值最少需用一個(gè)二進(jìn)制符號(hào)來傳輸。由香農(nóng)第三定理證明了這種壓縮編碼是存在的，然而實(shí)際上要找到這種可實(shí)現(xiàn)的最佳編碼方法很困難的。圖4-4第51頁2024/4/144.3.3信道容量與信息率失真函數(shù)的比較

從數(shù)學(xué)上說，信道容量和信息率失真函數(shù)的問題，都是求平均互信息極值問題，有相仿之處，故常稱為對(duì)偶問題。(1)

求極值問題(2)

特性(3)

解決的問題第52頁2024/4/144.3.3信道容量與信息率失真函數(shù)的比較(1)求極值問題平均互信息

I(X;Y)

是信源概率分布

p(xi)(i=1,2,…,n)

或概率密度函數(shù)

p(x)

的上凸函數(shù)。根據(jù)上凸函數(shù)定義，如果

I(X;Y)

在定義域內(nèi)對(duì)

p(xi)

或p(x)

的極值存在，則該極值一定是極大值。信道容量就是在固定信道情況下，求平均互信息極大值的問題，即：第53頁2024/4/144.3.3信道容量與信息率失真函數(shù)的比較(1)求極值問題I(X;Y)

又是信道轉(zhuǎn)移概率分布

p(yj/xi)(i=1,2,…,n；

j=1,2,…,m)

或條件概率密度函數(shù)

p(y/x)

的下凸函數(shù)，因此在滿足保真度準(zhǔn)則條件下，I(X;Y)

對(duì)

p(yj/xi)

或

p(y/x)

的條件極值若存在，則一定是極小值。信息率失真函數(shù)就是在試驗(yàn)信道（滿足保真度準(zhǔn)則的信道）中尋找平均互信息極小值的問題，即：第54頁2024/4/144.3.3信道容量與信息率失真函數(shù)的比較(2)特性信道容量

C

一旦求出后，就只與信道轉(zhuǎn)移概率p(yj/xi)或條件概率密度p(y/x)有關(guān)，反映信道特性，與信源特性無關(guān)；信息率失真函數(shù)

R(D)

一旦求出后，就只與信源概