第4章 信息率失真函數(shù)

第4章信息率失真函數(shù)§4.1信息率失真函數(shù)§4.2離散信源的信息率失真函數(shù)§4.3連續(xù)信源的信息率失真函數(shù)§4.4保真度準(zhǔn)則下的信源編碼定理§4.1.1失真函數(shù)和平均失真度

§4.1.2率失真函數(shù)定義§4.1.3率失真函數(shù)性質(zhì)實(shí)際通信系統(tǒng)允許一定的失真存在。1打電話；2放電影，視覺暫留性。允許壓縮信源輸出的信息率。研究內(nèi)容：信息率

允許失真對(duì)每一對(duì)指定一個(gè)非負(fù)數(shù)失真度（函數(shù)）失真矩陣a1

b1a2b2anbn1漢明失真2平方誤差失真函數(shù)由于ai和bj都是隨機(jī)變量，所以失真函數(shù)d(ai,bj)也是隨機(jī)變量，限失真時(shí)的失真值，只能用它的數(shù)學(xué)期望或統(tǒng)計(jì)平均值，因此將失真函數(shù)的數(shù)學(xué)期望稱為平均失真度。在平均的意義上表示信道每傳遞一個(gè)符號(hào)所引起的失真的大小

。允許失真的上界保真度準(zhǔn)則N次擴(kuò)展信道的平均失真度：由信源和信道的無記憶性§4.1.2率失真函數(shù)定義信源編碼器XY假想信道將信源編碼器看作信道信源編碼器的目的是使編碼后所需的信息傳輸率R盡量小，然而R越小，引起的平均失真就越大。給出一個(gè)失真的限制值D，在滿足平均失真

D的條件下，選擇一種編碼方法使信息率R盡可能小。信息率R就是所需輸出的有關(guān)信源X的信息量。將此問題對(duì)應(yīng)到信道，即為接收端Y需要獲得的有關(guān)X的信息量，也就是互信息I(X;Y)。這樣，選擇信源編碼方法的問題就變成了選擇假想信道的問題，符號(hào)轉(zhuǎn)移概率p(yj/xi)就對(duì)應(yīng)信道轉(zhuǎn)移概率。

D失真許可的試驗(yàn)信道平均失真由信源分布p(ai)、假想信道的轉(zhuǎn)移概率p(bj/ai)和失真函數(shù)d(ai，bj)決定，若p(ai)和d(ai，bj)已定，則調(diào)整p(bj/ai)使1、D允許試驗(yàn)信道

2、信息率失真函數(shù)R(D)

由于互信息取決于信源分布和信道轉(zhuǎn)移概率分布，當(dāng)p(xi)一定時(shí)，互信息I(X；Y)是關(guān)于p(yj/xi)的下凸函數(shù)，存在極小值。因而在上述允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經(jīng)過此信道傳輸后，互信息I(X；Y)達(dá)到最小。該最小的互信息就稱為信息率失真函數(shù)R(D)，即

N次無記憶擴(kuò)展信源和信道：

§4.1.3率失真函數(shù)性質(zhì)定義域：1D=0R(D)=H(X)連續(xù)：令線性分配a1a2假定所有Dj中，Ds最小，令下凸性2定義新試驗(yàn)信道：滿足保真度準(zhǔn)則由

對(duì)

的下凸性：連續(xù)和單調(diào)遞減性3DH(X)R(D)§4.1信息率失真函數(shù)§4.2離散信源的信息率失真函數(shù)§4.3連續(xù)信源的信息率失真函數(shù)§4.4保真度準(zhǔn)則下的信源編碼定理§4.2.1離散信源信息率失真函數(shù)的參量表達(dá)式§4.2.2二元信源的率失真函數(shù)令令12332145

負(fù)值在公式

兩邊對(duì)S取導(dǎo)數(shù)2兩邊乘以對(duì)求和D§4.2.1離散信源信息率失真函數(shù)的參量表達(dá)式§4.2.2二元信源的率失真函數(shù)1S(D)D0.50.25P=0.25P=0.5§4.3連續(xù)信源的信息率失真函數(shù)§4.3.1連續(xù)信源失真函數(shù)的參量表達(dá)式

§4.3.2高斯信源的率失真函數(shù)§4.3.3信息價(jià)值

定義定義PD為滿足保真度準(zhǔn)則的試驗(yàn)信道集合下確界§4.3.2高斯信源的率失真函數(shù)(條件方差)根據(jù)詹森不等式：YXN反向加性高斯實(shí)驗(yàn)信道12高斯信源的率失真函數(shù)§4.3連續(xù)信源的信息率失真函數(shù)§4.3.1連續(xù)率失真函數(shù)的參量表達(dá)式

§4.3.2高斯信源的率失真函數(shù)§4.3.3信息價(jià)值

合格品x1，廢品x2，生產(chǎn)過程抽象成信源：例

把檢驗(yàn)過程看作信道，檢驗(yàn)結(jié)果即為信道輸出。合格品出廠：b1：檢驗(yàn)合格b2：檢驗(yàn)不合格廢品報(bào)廢：合格品報(bào)廢：廢品出廠：不經(jīng)檢驗(yàn)全部出廠：1不經(jīng)檢驗(yàn)全部報(bào)廢：2檢驗(yàn)完全正確：3檢驗(yàn)不十分可靠：4比最大損失減少了：0.99-0.199=0.791元信息率R的價(jià)值價(jià)值率CR(D)

的上凸函數(shù)

的下凸函數(shù)

的極大值

的條件極小值

的函數(shù)

的函數(shù)僅與信道特性有關(guān)僅與信源特性有關(guān)解決可靠性問題解決有效性問題信