第七章：限失真編碼2

§7.4:限失真信源編碼定理－1限失真信源編碼定理限失真信源編碼定理的證明限失真信源編碼定理的實(shí)用意義§7.4:限失真信源編碼定理－2限失真信源編碼定理設(shè)R(D)為一離散無(wú)記憶平穩(wěn)信源的信息率失真函數(shù)，并且有有限的失真測(cè)度。對(duì)于任意D≥0，ε＞0，δ＞0以及任意足夠長(zhǎng)的碼長(zhǎng)n，則一定存在一種信源編碼C，其碼字個(gè)數(shù)為:M=exp{n［R(D)+ε］}而編碼后碼的平均失真度:

d(C)≤D+δ如果用二元編碼，R(D)取比特為單位，則上式M可寫(xiě)成:

M=2{n［R(D)+ε］}§7.4:限失真信源編碼定理－3定理解釋?zhuān)簩?duì)于任何失真度D≥0，只要碼長(zhǎng)n足夠長(zhǎng)，總可以找到一種編碼C，使編碼后每個(gè)信源符號(hào)的信息傳輸率:

R′=logM/n=R(D)+ε即:

R′≥R(D)

而碼的平均失真度d(C)≤D。在允許失真D的條件下，信源最小的、可達(dá)的信息傳輸率是信源的R(D)?！?.4:限失真信源編碼定理－4限失真信源編碼定理的證明問(wèn)題：設(shè)有達(dá)到R(D)的試驗(yàn)信道p(v|u),要證明對(duì)于任意的R‘>R(D)時(shí)，存在一種信息傳輸率為R’的信源編碼，其平均失真度≤D+δ思路：產(chǎn)生碼書(shū)選取編譯碼方法計(jì)算失真度方法：產(chǎn)生碼書(shū)：在Vn空間隨機(jī)抽取M=2nR’個(gè)隨機(jī)序列v編碼方法：若存在與信源序列u構(gòu)成失真典型序列對(duì)的序列v(ω),則編碼uv(ω),否則編碼uv(1)譯碼：再現(xiàn)v(ω)失真度計(jì)算：在所有隨機(jī)碼書(shū)和Un空間統(tǒng)計(jì)平均的基礎(chǔ)上計(jì)算平均失真度§7.4:限失真信源編碼定理－5限失真信源編碼定理的幾點(diǎn)說(shuō)明只是一個(gè)存在性定理，沒(méi)有構(gòu)造方法存在問(wèn)題：符合實(shí)際信源的R(D)函數(shù)計(jì)算相當(dāng)困難信源統(tǒng)計(jì)特性的確切數(shù)學(xué)描述難得符合主客觀(guān)實(shí)際的失真測(cè)度難得R(D)計(jì)算本身困難即使求得了R(D)，還需研究最佳編碼方法才能達(dá)到極限值R(D)?！?.4:限失真信源編碼定理－6限失真信源編碼定理的實(shí)用意義如何進(jìn)行限失真信源編碼？舉例：R（D）的實(shí)用意義在允許一定失真的情況下，信源的R(D)函數(shù)可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種尺度。舉例：二進(jìn)制無(wú)記憶對(duì)稱(chēng)信源編譯碼：無(wú)噪無(wú)損信道傳輸舉例：結(jié)論

R’=1/3（比特/信源符號(hào)）該壓縮編碼方法下的信息傳輸率d(C)=1/4該壓縮編碼方法下的平均失真R(1/4)=1-H(1/4)=0.189(比特/信源符號(hào)）失真1/4下，最小的信息傳輸率R是0.189(比特/信源符號(hào)）R(1/4)<R’在1/4失真度下，該壓縮編碼方法不是最佳的，或該信源還可以壓縮§7.5:香農(nóng)三大定理的關(guān)系和比較－1

無(wú)失真信源編碼定理限失真信源編碼定理信源冗余度壓縮編碼信源的熵壓縮編碼無(wú)失真、保熵有失真、熵壓縮信源壓縮的極限值：信源熵H(S)信源壓縮的極限值：率失真函數(shù)R(D)存在性、構(gòu)造性存在性定理§7.4:香農(nóng)三大定理的關(guān)系和比較－2

信道編碼定理限失真信源編碼定理給定信道特性p=p(y|x)給定信源p=p(u)及失真測(cè)度d(u,v)對(duì)于假設(shè)的信源p=p(x)對(duì)于假設(shè)的試驗(yàn)信道p=p(v|u)尋求最優(yōu)的信道編碼C2尋求最優(yōu)的限失真編碼C3產(chǎn)生的誤碼率pe產(chǎn)生的最大失真D信道編碼存在的條件R<C限失真信源編碼存在的條件R>R(D)信道容量公式率失真函數(shù)公式存在符合條件的C2,使pe0存在符合條件的C3，使D’<D熵壓縮編碼重點(diǎn)介紹三種有代表性的方法1）量化標(biāo)量量化矢量量化2）變換編碼3）預(yù)測(cè)編碼習(xí)慣上對(duì)把矢量量化和變換編碼稱(chēng)為熵壓縮分組編碼，預(yù)測(cè)編碼稱(chēng)為熵壓縮樹(shù)碼前面提到就是允許一定D，把熵率壓縮最小，即，使率失真函數(shù)最小。Dmin123RD1為直接矢量量化；2為先作變換，再L-M算法；３對(duì)其各分量直接用L-M算法結(jié)論：矢量量化是熵壓縮分組編碼的最有效方法如圖①>②>③量化它包括標(biāo)量和矢量?jī)煞N，這是重點(diǎn)講標(biāo)量量化1

標(biāo)量量化適用范圍：連續(xù)無(wú)記憶信源2

標(biāo)量量化的概念：連續(xù)信號(hào)量化K個(gè)若干可能離散值舉例：A/D采集版量化量化概念A(yù)/D中的量化量化過(guò)程示意圖一個(gè)量化實(shí)例量化處理是使數(shù)據(jù)比特率下降的一個(gè)強(qiáng)有力的措施。量化輸入值動(dòng)態(tài)范圍很大，需要以多比特?cái)?shù)表示一個(gè)數(shù)值，量化輸出只能取有限個(gè)整數(shù)，稱(chēng)量化級(jí)。每個(gè)量化輸入被強(qiáng)迫歸一到與其接近的某個(gè)輸出，即量化到某個(gè)級(jí)。量化處理總是把一批輸入量化到一個(gè)輸出級(jí)上，所以量化是個(gè)多對(duì)一的處理過(guò)程，量化中由信息丟失，或者說(shuō)，會(huì)引起量化誤差（量化噪聲）。模擬量經(jīng)過(guò)A/D轉(zhuǎn)換，得到二進(jìn)制碼的過(guò)程，就是脈沖編碼調(diào)制（PCM）編碼過(guò)程，也稱(chēng)PCM編碼。

A/D轉(zhuǎn)換中的采樣和量化分別是對(duì)時(shí)間和模擬量進(jìn)行數(shù)字化的過(guò)程。量化量化概念A(yù)/D中的量化量化過(guò)程示意圖一個(gè)量化實(shí)例輸入輸出閾值代表級(jí)量化曲線(xiàn)量化量化概念A(yù)/D中的量化量化過(guò)程示意圖一個(gè)量化實(shí)例24位標(biāo)準(zhǔn)圖像8位（256色）標(biāo)準(zhǔn)圖像量化量化概念A(yù)/D中的量化量化過(guò)程示意圖一個(gè)量化實(shí)例預(yù)測(cè)編碼方法基本原理從相鄰數(shù)據(jù)之間有很強(qiáng)的相關(guān)性特點(diǎn)考慮，可以利用前面已經(jīng)出現(xiàn)的數(shù)值，進(jìn)行預(yù)測(cè)（估計(jì)），得到一個(gè)預(yù)測(cè)值，將實(shí)際值與預(yù)測(cè)值求差，對(duì)這個(gè)差值信號(hào)進(jìn)行編碼、傳送，這種編碼方法即成為預(yù)測(cè)編碼方法。預(yù)測(cè)編碼最佳的預(yù)測(cè)編碼：en=yn-un最小有三種不同的標(biāo)準(zhǔn)：最小均方誤差；最小平均絕對(duì)誤差；最大零誤差概率；DPCM基本原理轉(zhuǎn)入f(i,j)e(i,j)量化器預(yù)測(cè)器預(yù)測(cè)器編碼器解碼器信道傳輸e’(i,j)f’(i,j)輸出f(i,j)f’(i,j)f’(i,j)f(i,j)DPCM編、解碼原理圖預(yù)測(cè)編碼不帶量化器的DPCM線(xiàn)性預(yù)測(cè)編碼，屬于無(wú)失真編碼系統(tǒng)；帶有量化器的DPCM線(xiàn)性預(yù)測(cè)編碼，屬于有失真編碼系統(tǒng)。

DPCM線(xiàn)性預(yù)測(cè)系統(tǒng)是一個(gè)負(fù)反饋系統(tǒng)，對(duì)誤差有收斂性。發(fā)送端與接收端之間的誤差等于量化誤差。最佳量化器的設(shè)計(jì)，可利用人眼的視覺(jué)可見(jiàn)度閾值和視覺(jué)掩蔽效應(yīng)等生理特征，來(lái)確定量化器的級(jí)數(shù)和步距，使量化誤差總處于人眼難以覺(jué)察的范圍內(nèi)，達(dá)到主觀(guān)評(píng)定準(zhǔn)則的要求。

最佳量化預(yù)測(cè)編碼自適應(yīng)預(yù)測(cè)編碼ADPCM自適應(yīng)技術(shù)的概念是：預(yù)測(cè)器的預(yù)測(cè)系數(shù)和量化器的量化參數(shù)，能夠根據(jù)圖像的局部區(qū)域分布特點(diǎn)自動(dòng)調(diào)整。實(shí)踐證明，ADPCM編、解碼系統(tǒng)與DPCM編、解碼系統(tǒng)相比，不僅能改善恢復(fù)圖像的評(píng)測(cè)質(zhì)量和視覺(jué)效果，同時(shí)還能進(jìn)一步壓縮數(shù)據(jù)。

ADPCM系統(tǒng)包括自適應(yīng)預(yù)測(cè)，即預(yù)測(cè)系數(shù)的自適應(yīng)調(diào)整和自適應(yīng)量化，即量化器參數(shù)的自適應(yīng)調(diào)整兩部分內(nèi)容。預(yù)測(cè)編碼變換編碼原理定義：將空域圖像信號(hào)映射變換到另一個(gè)正交矢量空間（變換域或頻域），產(chǎn)生一批變換系數(shù)，對(duì)系數(shù)進(jìn)行編碼處理原理：信號(hào)在時(shí)域描述時(shí)信息冗余度大，變換后，參數(shù)獨(dú)立，去掉相關(guān)性，減少冗余，數(shù)據(jù)量大大減少。利用人的視覺(jué)特性，對(duì)高頻細(xì)節(jié)不敏感，可以濾除高頻系數(shù)，保留低頻系數(shù)。

變換原理在數(shù)學(xué)上的解釋信號(hào)在時(shí)域描述時(shí)信息冗余度大，變換后，參數(shù)獨(dú)立，數(shù)據(jù)量減少?？臻g內(nèi)的變換就是尋找一組新的規(guī)范正交基，求去原向量在新的正交基上的系數(shù)。利用人的視覺(jué)特性，對(duì)高頻細(xì)節(jié)不敏感，可以濾除高頻系數(shù)，保留低頻系數(shù)。用有限維線(xiàn)性組合去逼近原向量，投影定理。最佳正交變換K-L變換X1X2Y1Y2對(duì)相關(guān)向量求協(xié)方差矩陣，按照特征值的大小排列特征向量。變換域中能量集中到少數(shù)幾個(gè)變換系數(shù)上（特征值大的特征向量上的系數(shù)），編碼效率最高，誤差最小。K-L變換圖示3）

標(biāo)量量化涉及幾個(gè)性解指標(biāo)P243信息速率RK平均失真DK量化器輸出最大速率Mk=log2k顯然：取不同的{TK}和{qk},量化將有不同的RK，DK，MKTK:門(mén)限電平（k+1個(gè)）qk:電平值（k個(gè)）4）

均勻量化概念：量化間隔相等最優(yōu)均勻量化：使DK達(dá)到最小均勻量化例：對(duì)高斯信源即:Rk=1/4+1/2log(Pu/Dk)問(wèn)題：均勻量化不是DK最小的一個(gè)、提出一種Uoyd-Max算法5）Lioyd-Max算法思想：反復(fù)對(duì){TK}、{qk}在使DK最小的兩個(gè)必要條件進(jìn)行迭代（必要條件為：P235）Tk-1=1/2(qk-1+qk)∫(u-qk)p(u)du=0

則求出{Tk}{qk}.6)實(shí)例：（高斯信源）表6-2（P236）舉例說(shuō)明

輸出電平數(shù)K148162432最優(yōu)均勻量化10.1