信息率失真函數(shù)及限失真信源編碼

信息率失真函數(shù)及限失真信源編碼第一頁(yè)，共三十三頁(yè)，2022年，8月28日5.1信息率失真函數(shù)概念和定義

在實(shí)際應(yīng)用場(chǎng)合，容許一定程度失真的情況比要求無失真的情況更為重要。信息率失真函數(shù)擬解決的問題：信息率和失真之間的關(guān)系。信息率失真理論的基本概念：在允許傳輸消息出現(xiàn)一定的失真時(shí)，傳輸該消息所需要的信息速率（最小值）將比不允許失真時(shí)小，且允許的失真愈大，則信息速率（最小值）允許減小的程度也愈大。在給定平均失真函數(shù)D的條件下，可以求出信息速率的最小值。第二頁(yè)，共三十三頁(yè)，2022年，8月28日一、失真函數(shù)失真函數(shù)d(x,y)表征了接收消息y與發(fā)送消息x之間的定量失真度。即：d(x,y)∣x=ai,y=aj＝dij其中，失真函數(shù)dij是一個(gè)與失真情況相對(duì)應(yīng)的非負(fù)實(shí)數(shù)：0，i＝j(luò)dij＝d,d＞0i≠j顯然：i＝j(luò)時(shí)，收發(fā)之間無失真，失真函數(shù)dij＝0i≠j時(shí)，意味著出現(xiàn)了失真，dij值的大小表示這種失真的程度。第三頁(yè)，共三十三頁(yè)，2022年，8月28日若X集有N個(gè)符號(hào)，Y集有M個(gè)符號(hào)時(shí)，則聯(lián)合集上有N×M個(gè)不同i、j取值的失真函數(shù)。失真函數(shù)dij的二種表示方式：（1）矩陣表示法（2）連線表示法平均失真度：失真函數(shù)的統(tǒng)計(jì)平均值（數(shù)學(xué)期望）D數(shù)學(xué)式為：兩個(gè)L維矢量之間的失真函數(shù)為：信源的平均失真度：第四頁(yè)，共三十三頁(yè)，2022年，8月28日若平均失真度不大于所允許的失真，則稱為保真度準(zhǔn)則。二、信息率失真函數(shù)（率失真函數(shù)）當(dāng)某條件概率P(yj/xi)能使互信息I最小，此時(shí)的I就稱為在保真度準(zhǔn)則下所必須具有的最小信息速率，用R(D)表示。數(shù)學(xué)式為：R(D)＝minI(X;Y)＝minI(X;Y)其中PD為滿足失真條件的轉(zhuǎn)移概率Pji的集合，D為允許的失真。Pji∈PDd≤D第五頁(yè)，共三十三頁(yè)，2022年，8月28日信息率失真函數(shù)R(D)定義：在給定信源消息的概率分布{P(xi)}及平均失真函數(shù)允許值D的前提下，傳輸這些信源消息并使其失真程度在允許范圍內(nèi)時(shí)，所需要的信息傳輸速率的極小值。R(D)反映了信源可以壓縮的程度，是在滿足一定失真度要求下，信源可壓縮的最低值，對(duì)不同的信源，R(D)不同。第六頁(yè)，共三十三頁(yè)，2022年，8月28日例：設(shè)信源符號(hào)有2n種，且等概，失真函數(shù)定義為：dij＝0（i＝j(luò)時(shí)），dij＝1（i≠j時(shí)），允許平均失真D＝1/2，要傳送此信源，需要多少信息率？第七頁(yè)，共三十三頁(yè)，2022年，8月28日課堂練習(xí)：設(shè)信源具有100個(gè)以等概率出現(xiàn)的符號(hào)，并以每秒發(fā)出1個(gè)符號(hào)的速率從信源輸出，試求在允許失真度D＝0.1的條件下，傳輸這些符號(hào)所需要的最小信息傳輸速率的大小。結(jié)論：在允許一定失真的條件下，信息傳輸速率可以減小，同時(shí)所需要的信道容量也可以相應(yīng)地減小，允許的失真度愈大，則信息傳輸速率可被壓縮的程度亦愈大。第八頁(yè)，共三十三頁(yè)，2022年，8月28日5.2信息率失真函數(shù)R(D)的性質(zhì)一、當(dāng)D＝0時(shí)，R(0)＝H(X)通常Dmin＝0；D＝0時(shí)不允許有失真；注意：D是否能達(dá)到0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)，只有當(dāng)失真矩陣中每行至少有一個(gè)0元素時(shí)，D才能達(dá)到0值。定義域下界滿足Dmin≥0。二、R(Dmax)＝0Dmax是平均失真度的上界值，使平均互信息量等于0時(shí)所允許的失真度。注意：D≥Dmax時(shí)，R(D)仍為0，R(D)的定義域?yàn)椋?，Dmax）第九頁(yè)，共三十三頁(yè)，2022年，8月28日三、在0～Dmax范圍內(nèi)，R(D)是D上的凹函數(shù)（下凸函數(shù)）四、R(D)是D的單調(diào)遞減的連續(xù)函數(shù)如圖為R(D)的典型曲線：在連續(xù)信源的情況下，R(0)→∞，曲線不與R(D)軸相交。第十頁(yè)，共三十三頁(yè)，2022年，8月28日5.3離散信源的R(D)函數(shù)的計(jì)算一、R(D)的參量表達(dá)式已知：其中：求R(D)就是求I的極值引入拉氏乘子S和ui，再對(duì)Pji求導(dǎo)，并令其為0，即第十一頁(yè)，共三十三頁(yè)，2022年，8月28日幾個(gè)有用的結(jié)果：（1）（2）（3）信息率失真函數(shù)參量表達(dá)式：第十二頁(yè)，共三十三頁(yè)，2022年，8月28日注意：參變數(shù)S是R(D)函數(shù)曲線的斜率，即：

dR/dD＝S，由于R(D)曲線是單調(diào)遞減的凹函數(shù)曲線，所以該曲線的斜率S為負(fù)值，同時(shí)，在D從0～Dmax過程中，S值逐漸增大（S的絕對(duì)值逐漸減小）。二、二元信源和對(duì)稱失真函數(shù)的R(D)函數(shù)信源概率：p1＝p≤1/2，p2＝1－p≥1/2失真函數(shù)：

dij

第十三頁(yè)，共三十三頁(yè)，2022年，8月28日可分別求得平均失真函數(shù)：可得最大允許的失真度：引用（2）式，得：第十四頁(yè)，共三十三頁(yè)，2022年，8月28日結(jié)果：試驗(yàn)信道的傳輸概率：第十五頁(yè)，共三十三頁(yè)，2022年，8月28日可見：平均失真函數(shù)D就是平均誤碼率。如圖為不同信源概率值的R(D)曲線：顯然Dmax＝p，R(Dmax)＝0第十六頁(yè)，共三十三頁(yè)，2022年，8月28日結(jié)論：在信源壓縮問題中，規(guī)定D是一個(gè)困難的任務(wù)。實(shí)際中，失真總是可以容忍的，只是如何定義失真函數(shù)dij和規(guī)定可容許的D值，D↑→壓縮量↑→傳輸代價(jià)↓要發(fā)揮R(D)函數(shù)理論的作用，核心問題是研究失真函數(shù)和平均失真值的合理性問題，這須通過大量實(shí)驗(yàn)才能達(dá)到。第十七頁(yè)，共三十三頁(yè)，2022年，8月28日三、迭代算法基本步驟：1）任選一個(gè)Pji①代入下式，求得各qj①2）再代入下式求得各Pji②，依此類推，直到各階段的R(S)值穩(wěn)定為止。第十八頁(yè)，共三十三頁(yè)，2022年，8月28日5.4連續(xù)信源的R(D)函數(shù)一、定義和表達(dá)式設(shè)：平均失真≤允許失真度時(shí)，{P(y/x)}∈PD則定義連續(xù)信源的率失真函數(shù)R(D)為：R（D）＝InfI（P(y/x)）{P(y/x)}∈PD第十九頁(yè)，共三十三頁(yè)，2022年，8月28日與離散情況類似，并設(shè)得公式：（1）

（2）（3）（4）第二十頁(yè)，共三十三頁(yè)，2022年，8月28日二、d(x,y)只與(x－y)有關(guān)時(shí)的求解法令：且：最終得：第二十一頁(yè)，共三十三頁(yè)，2022年，8月28日常用方法：（1）分別求出p(x)和g(x)的特征函數(shù)（2）則：（3）若q0(x)符合概率密度函數(shù)的要求（非負(fù)性、歸一性），就可得到R(D)函數(shù)的參量表達(dá)式。第二十二頁(yè)，共三十三頁(yè)，2022年，8月28日例：設(shè)連續(xù)信源的變量x服從正態(tài)分布，即定義失真函數(shù)且求信息率失真函數(shù)R(D)。解：第二十三頁(yè)，共三十三頁(yè)，2022年，8月28日給定允許失真度D＝－1/2S，即：上式為正態(tài)變量在均方誤差準(zhǔn)則下的率失真函數(shù)。第二十四頁(yè)，共三十三頁(yè)，2022年，8月28日當(dāng)＝1時(shí)的R(D)曲線可見：1）D＝1時(shí)，R(1)＝0；2）D＞1時(shí)，R(D)保持為0，與離散情況一致；3）D＝0時(shí)，R(D)→∞，

與離散情況不同。第二十五頁(yè)，共三十三頁(yè)，2022年，8月28日5.5限失真信源編碼定理（香農(nóng)第三定理）限失真信源編碼定理也稱香農(nóng)第三定理，是保真度準(zhǔn)則下的信源編碼定理。（具體描述可參考相關(guān)教材）限失真編碼定理說明：當(dāng)傳輸速率R＞R(D)時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，就一定存在一種編碼方法，使平均失真任意接近于D，否則這種編碼不存在。注意：不同的編碼，將有不同的平均失真，希望找到平均失真最小的編碼，即最佳編碼。第二十六頁(yè)，共三十三頁(yè)，2022年，8月28日小結(jié)：比較香農(nóng)第一和第三定理可知，當(dāng)信源給定后，無失真信源壓縮的極限值是信源熵H(S)，而有失真信源壓縮的極限值是信息率失真函數(shù)R(D)，在給定失真值D后，一般R(D)＜H(S)。存在的問題：1）符合實(shí)際信源的R(D)函數(shù)的計(jì)算相當(dāng)困難；2）采用何種實(shí)用的最佳編碼方法才能達(dá)到R(D)？第二十七頁(yè)，共三十三頁(yè)，2022年，8月28日以下例子可說明如何進(jìn)行限失真的信源編碼和信息率失真函數(shù)R(D)的實(shí)用意義：P216，例8.6第二十八頁(yè)，共三十三頁(yè)，2022年，8月28日5.6限失真信源編碼原理采用限失真的信源編碼，能夠以一定限度的失真換取更加有效地?cái)?shù)據(jù)壓縮，這可大大提高信息傳輸和存儲(chǔ)系統(tǒng)的有效性。實(shí)際工程中常用其他的主、客觀評(píng)價(jià)準(zhǔn)則來衡量限失真編碼的效果。第二十九頁(yè)，共三十三頁(yè)，2022年，8月28日一、保真度準(zhǔn)則1、客觀保真度準(zhǔn)則通過計(jì)算輸入與輸出之間的誤差，客觀地評(píng)價(jià)兩者的差異，以度量信源壓縮編碼所產(chǎn)生的失真大小，比較不同信源編碼方法的失真性能。計(jì)算并客觀度量壓縮編碼失真大小的方法有均方根誤差和均方根信噪比等。第三十頁(yè)，共三十三頁(yè)，2022年，8月28日2、主觀保真度準(zhǔn)則根據(jù)人們的生理和心理特性，由觀察者對(duì)編碼結(jié)果做出主觀評(píng)價(jià)的一種方法。因?yàn)槎鄶?shù)信息傳輸和存儲(chǔ)處理的結(jié)果最終由人接受，所以主觀評(píng)價(jià)準(zhǔn)則也是壓縮編碼處理質(zhì)量評(píng)價(jià)的主要方法。第三十一頁(yè)，共三十三頁(yè)，2022年，8月28日二、預(yù)測(cè)編碼方法預(yù)測(cè)編碼：編碼傳輸或存儲(chǔ)的并不是信源輸出地?cái)?shù)據(jù)本身，而是當(dāng)前數(shù)據(jù)的預(yù)測(cè)值（或稱估值）與實(shí)際值之間的差值。