第八章 變換編碼

第八章變換編碼第一節(jié)基本原理第二節(jié)離散正交變換第三節(jié)靜止圖像的變換編碼第四節(jié)MDCT變換編碼有何意義？本章之前，我們一直認為冗余度是數(shù)據(jù)固有的，但實際上，有時卻與不同的表示方法有很大關(guān)系。預(yù)測編碼希望通過對信源建模來盡可能精確地預(yù)測源數(shù)據(jù)；而本章則考慮將原始數(shù)據(jù)“變換”到另一個更為緊湊的表示空間，得到比預(yù)測編碼更高的數(shù)據(jù)壓縮。引言1、變換編碼的基本思想變換編碼(TransformCoding)的基本思想是將在通常的歐幾里德幾何空間(空間域)描寫的圖像信號映射變換到另外的向量空間(變換域)進行描寫，然后再根據(jù)圖像在變換域中系數(shù)的特點和人眼的視覺特性進行編碼。第一節(jié)基本原理圖像分解：減少變換的計算復(fù)雜度圖像變換：解除每個子圖像內(nèi)部像素之間的相關(guān)性，或者說將盡可能多的信息集中到盡可能少的變換系數(shù)上。壓縮：不是在變換中而是在量化變換系數(shù)時及編碼時取得的。第一節(jié)基本原理2、正交變換的幾何意義考慮兩個相鄰數(shù)據(jù)樣本x1與x2的聯(lián)合事件。第一節(jié)基本原理

用圖6.2的二維(2D)平面坐標表示，其中x1與x2軸分別表示相鄰兩樣本可能的幅度等級。由于信號變化緩慢，x1與x2同時出現(xiàn)相近幅度等級的可能性較大，故圖6.2陰影區(qū)內(nèi)45°斜線(x2=x1)附近的聯(lián)合事件出現(xiàn)的概率也就較大。不妨將此陰影區(qū)之邊界稱為相關(guān)圈：信源的相關(guān)性越強，相關(guān)圈就越加扁長，x1與x2呈現(xiàn)出“水漲船高”的緊密關(guān)聯(lián)特性，此時欲編碼圈內(nèi)各點的位置，就要對兩個差不多大的坐標值分別進行編碼；信源的相關(guān)性越弱，此相關(guān)圈就越加“方圓”，說明x1處于某一幅度等級時，x2可能出現(xiàn)在不相同的任意幅度等級上。第一節(jié)基本原理

現(xiàn)在若對該數(shù)據(jù)進行正交變換，從幾何上相當(dāng)于把圖6.2所示的(x1,x2)坐標系旋轉(zhuǎn)45°，變換成(y1,y2)坐標系。那么此時該相關(guān)圈正好處在y1上的投影就越大，而在y2上的投影則越小。因而從，y2坐標來看，任憑y1在較大范圍內(nèi)變換，而y2卻“巍然不動”或僅僅“微動”。這就意味著變量y1和y2之間的聯(lián)系，在統(tǒng)計上更加互相獨立。第一節(jié)基本原理因此，通過這種坐標系的旋轉(zhuǎn)變換，就能得到一組去掉大部分甚至全部統(tǒng)計相關(guān)性的另一種輸出樣本。而且樣本方差也將重新分布；在原坐標系中兩相鄰樣本常具有相同的方差

；但在新坐標系中卻有

，表明樣本能量向y1軸相對地集中了，雖然樣本的方差總和并未因坐標旋轉(zhuǎn)而變，即保持變換后各坐標軸上方差的不均勻分布，為數(shù)據(jù)壓縮編碼創(chuàng)造了條件。

以上幾何解釋可推廣到一串n個數(shù)據(jù)點或一塊m×n個像素的子圖像：將該數(shù)據(jù)串（或數(shù)據(jù)塊）看成n維（或m×n

維）空間中的一個點，則此時的正交變換從幾何上看不過是n維（或m×n

維）坐標系的一個旋轉(zhuǎn)。正交變換實現(xiàn)數(shù)據(jù)壓縮的物理本質(zhì)：經(jīng)過多維坐標系中適當(dāng)?shù)男D(zhuǎn)和變換，能夠把散布在各個坐標軸上的原始數(shù)據(jù)在新的、適當(dāng)?shù)淖鴺讼抵屑械缴贁?shù)坐標軸上。因此可能用較少的編碼位數(shù)來表示一組信號樣本，實現(xiàn)高效率的壓縮編碼。第一節(jié)基本原理第二節(jié)離散正交變換1、正交變換的定義

如果

是由N個信號樣本構(gòu)成的列向量(有時就稱X為矢量信號)，是一個

的矩陣，則

定義了X的一個線性變換。A也稱為此變換的和矩陣，而變換結(jié)果

也是一個N維的矢量信號，稱作X的像。(6.2-2)變換前的信號變換后的信號如果線性變換保持N維矢量X的模不變，則稱為正交變換。此時，A便為正交矩陣，構(gòu)成正交矩陣的沖要條件為

，I為單位矩陣。因此有

即：正交矩陣的轉(zhuǎn)置即為其逆矩陣。這不僅保證了正交矩陣A的逆矩陣A-1一定存在，而且無需求解；同時A-1還具有與A相同的元素，這就使硬件處理設(shè)備大為簡化。式(6.2-3)還保證了式(6.2-2)的X和Y一一對應(yīng)，因而能夠用反變換得到唯一確定的原始信號第二節(jié)離散正交變換(6.2-3)2、正交變換的性質(zhì)（1）能量守恒性 可以證明空間域中的數(shù)據(jù)平方和和變換域中的數(shù)據(jù)的平方和存在能量守恒關(guān)系，即第二節(jié)離散正交變換（2）熵保持性 如果把f(x,y)看作是一個具有一定熵值的隨機函數(shù)，那么變換系數(shù)F(u,v)的熵值和原來圖像信號f(x,y)的熵值相等。（3）去相關(guān)性(Decorrelation)當(dāng)輸入的數(shù)據(jù)高度相關(guān)時，變換后趨向于不相關(guān)。（4）能量集中性(EnergyCompaction)大部分正交變換趨向?qū)?shù)據(jù)的大部分能量集中到相對少數(shù)幾個系數(shù)上，由于整個能量守恒，因此這意味著許多變換系數(shù)只含有很少的能量。第二節(jié)離散正交變換第二節(jié)離散正交變換3、KL變換第二節(jié)離散正交變換

以矢量信號(X)的協(xié)方差矩陣

的歸一化正交特征向量(qi)所構(gòu)成的正交矩陣(Q)，對該矢量信號所作的正交變換(Y=QX)稱作Karhunen-Loeve變換(或特征向量變換，簡稱KL變換或KLT)。

由上述定義：為實現(xiàn)KTL首先要知道再根據(jù)此求出Q第二節(jié)離散正交變換解：①由

求特征值。令

，按

次序可解出：【例6-4】若已知隨機信號X的協(xié)方差矩陣

，求正交矩陣Q。第二節(jié)離散正交變換②求特征向量將

代入(6.2-6a)，有

，解這3個方程組：1)由

，得

，即

；2)由

，得

，即

；3)由

，得

，即

；第二節(jié)離散正交變換③得到歸一化正交矩陣：

。④代入式(6.2-5)驗證：正好是以

作為主對角元素的對角矩陣。其中，待定實常數(shù)可由歸一化正交條件即式(6.2-6b)解得：第二節(jié)離散正交變換KL變換的性質(zhì)：KLT使矢量信號的各個分量互不相關(guān)，即變換域信號的協(xié)方差矩陣為對角線型；KLT是在均方誤差準則下，失真最小的一種變換，故又稱最佳變換。對第二條性質(zhì)的解釋說明：

這個問題是從數(shù)據(jù)壓縮提出的。因為經(jīng)正交變換后矢量信號Y的分量個數(shù)并未減少，若要壓縮數(shù)據(jù)必須刪去能量較小的一些分量，這就帶來失真。設(shè)只保留m(m<N)個分量，則解碼時也只能恢復(fù)m個分量。若刪去的N-m個信號分量的均值為0，則可以證明：KLT可使恢復(fù)信號的均方誤差最小，且這個最小值等于變換域內(nèi)矢量信號被刪除的最小的(N-m)個方差之和，相當(dāng)于Y的協(xié)方差矩陣

最小N-m個對角元之和，即這就給編解碼器的設(shè)計帶來了方便，而且也便于失真和碼率的控制。第二節(jié)離散正交變換第二節(jié)離散正交變換4、離散余弦變換（1）一維DCT變換第二節(jié)離散正交變換（2）二維DCT變換

一個N×N像塊f(x,y)(x,y=0,1,…,N-1)的二維DCT定義為第二節(jié)離散正交變換DCT編碼和解碼過程DCT變換DCT逆變換原圖像除以量化系數(shù)取整1）編碼過程：2）解碼過程：壓縮圖像乘以量化系數(shù)取整壓縮圖像解壓圖像DCT編碼中對圖像帶來失真的主要原因如下：舍去高頻系數(shù)而使圖像產(chǎn)生模糊；對某些系數(shù)采用粗量化而產(chǎn)生顆粒狀結(jié)構(gòu)；像塊的劃分使相鄰像塊人為地造成亮度不連續(xù)，即塊效應(yīng)。1、變換矩陣的選擇正交變換的性質(zhì)能量守恒性：其對于數(shù)據(jù)壓縮的指導(dǎo)意義在于，只有當(dāng)空間域信號能量全部轉(zhuǎn)換到某個變換域后，有限個空間取樣值才能完全由有限個變換系數(shù)對于基矢量的加權(quán)來恢復(fù)。熵保持性：正交變換本身并不丟失信息，因此可以用傳送變換系數(shù)來達到傳輸信息的目的。去相關(guān)性：正交變換有可能使相關(guān)的空間域轉(zhuǎn)變?yōu)椴幌嚓P(guān)的變換域，使存在于相關(guān)性之中的數(shù)據(jù)冗余度得以去除。能量重新分配與集中：這是正交變換最重要的優(yōu)點，也是利用它能實現(xiàn)數(shù)據(jù)壓縮的物理本質(zhì)，此性質(zhì)DPCM并不具備。這條規(guī)律指導(dǎo)我們有可能利用此先驗知識在質(zhì)量允許的情況下，舍棄一些能量較小者，從而使數(shù)據(jù)率有較大的壓縮。

第三節(jié)靜止圖像的變換編碼第三節(jié)靜止圖像的變換編碼如果圖像信號為馬爾可夫模型，則典型正交變換的大致性能比較如下：正交變換能量集中性能從好到差的順序

正交變換運算量從小到大的排序綜合考慮圖像壓縮選DCT為變換矩陣性能較好。變換類型選定后，為實現(xiàn)方便起見，實用中的子圖像及二維變換矩陣常選的方陣，而變換矩陣階數(shù)M的選取原則一般有兩條：若M小，便于自適應(yīng)、計算速度快、實現(xiàn)簡單，但“方塊效應(yīng)”嚴重；若M大，去相關(guān)效果好但漸趨飽和。從概念上，M越大，計入的相關(guān)數(shù)據(jù)樣本越多，有利于改善性能；但當(dāng)數(shù)據(jù)塊足夠大后，若再加大M，則新加入的樣本與中心附近的樣本之間相關(guān)性甚小，對數(shù)據(jù)壓縮的好處不明顯，而計算復(fù)雜性將迅速增加。對于圖像編碼，現(xiàn)在最常用的子圖像塊大小為根據(jù)選定(或指定)的變換矩陣A及其階數(shù)(即圖像的分塊尺寸)完成正變換后，則整個編碼器的實現(xiàn)過程上要就是選擇變換域系數(shù)并對選中的系數(shù)按一定的準則與編碼。2、系數(shù)選擇與量化（1）系數(shù)選擇在變換域中選擇哪些系數(shù)進行量化編碼，略去哪些系數(shù)不予傳輸（接收端直接補零），對變換法壓縮編碼的性能有很大影響。原則上，應(yīng)該保留能量集中的、方差大的系數(shù)。系數(shù)選擇，實際上是在變換域的二次取樣，通常有以下兩種方法：區(qū)域編碼閾值編碼

第三節(jié)靜止圖像的變換編碼區(qū)域編碼：只對規(guī)定區(qū)域內(nèi)的變換系數(shù)進行量化編碼，略去區(qū)域外的系數(shù)。區(qū)域的形狀和大小取決于：圖像預(yù)濾波器的頻率響應(yīng)所需壓縮比的大小所選用的變換方法和變換塊的大小區(qū)域編碼的關(guān)鍵：選出能量相對集中的區(qū)域，以便保留大部分圖像能量，使得恢復(fù)圖像的質(zhì)量劣化不那么顯著。從統(tǒng)計意義上，變換系數(shù)的能量多半集中于低頻系數(shù)，所以編碼區(qū)域總?cè)≡诘皖l端。第三節(jié)靜止圖像的變換編碼區(qū)域編碼的缺點：有時大能量的系數(shù)也會出現(xiàn)在其他區(qū)域，舍掉它們會造成圖像質(zhì)量較大的損失（如邊緣模糊）；因為舍掉的多是高頻系數(shù)，總體效果呈現(xiàn)一種平滑了的感覺。區(qū)域編碼的優(yōu)點：編碼簡單對區(qū)域內(nèi)的編碼位數(shù)可預(yù)先分配，從而使變換塊的碼率為定值，有利于限制誤碼擴散。為了揚長避短，可預(yù)先設(shè)幾個區(qū)域，再根據(jù)實際系數(shù)的分布自動選取能量最大者，并將區(qū)域類別額外編碼通知接收端。第三節(jié)靜止圖像的變換編碼閾值編碼：不限定編碼區(qū)域，而是對整個變換塊事先設(shè)定一個門限，若某系數(shù)方差（或幅度絕對值）超過該閾值，就保留下來進行編碼傳輸，否則舍棄。優(yōu)點：有一定的自適應(yīng)能力，可以得到較區(qū)域編碼更好的圖像質(zhì)量。缺點：圖像中超過閾值的有效系數(shù)是隨機的，需要同時對它們的位置信息進行編碼；較區(qū)域編碼復(fù)雜，需要一定的技巧，否則得不償失。第三節(jié)靜止圖像的變換編碼（2）系數(shù)量化和比特分配標量量化分組量化矢量量化第三節(jié)靜止圖像的變換編碼幾個系數(shù)量化的例子先編碼，后對編碼系數(shù)量化。如前所述，對圖像進行變換編碼時，常選用8×8或16×16的方陣，即對大小為8×8或16×16的子圖像進行編碼。第三節(jié)靜止圖像的變換編碼【例6-5】JPEG、H.261/263和MPEG-1/2等國際標準均選擇了的二維DCT，則由式(6.2-14a)和(6.2-17a)，可直接寫出此時的二維DCT正、反變換(2D-FDCT和2D-IDCT)為：量化例1用于幀間編碼，即對預(yù)測誤差進行量化?！纠?-6】H.261建議對每一分塊的64個2D-FDCT系數(shù)用同一均勻量化器量化(即圖5.13中的“Q”)，得到量化后的DCT系數(shù)c(k,l),公式如下其中INT表示取整，S為該系數(shù)原來的符號，S=0表示正值，S=1表示負值，q為量化階(量化步長)，可用來控制圖像的壓縮比和重建質(zhì)量。反量化(即圖5.13中的“”)則為顯然，一般，量化過程引入了不可逆的信息壓縮。量化例2：用于幀內(nèi)編碼，對圖像的變換矩陣進行量化。第三節(jié)靜止圖像的變換編碼【例6-7】JPEG標準用具有64個獨立量化階Q(k,l)的量化分層表(亦稱量化矩陣)來分別規(guī)定對DCT域中64個系數(shù)的量化精度，使得某個系數(shù)X(k,l)的具體量化階取決于人眼對該頻率分量的視覺敏感性。理論上，對不同的彩色坐標系、空間分辨率、數(shù)據(jù)精度及應(yīng)用場合，應(yīng)該有不同的量化表，所以，JPEG并未統(tǒng)一規(guī)定一張“標準表”，只是對亮度和色度的水平樣本數(shù)為2:1、各樣本均為8位的源圖像格式及按式(6.3-3a)定義的2D-FDCT歸一化算法，建議分別采用圖6.5和6.6的量化表，可取得良好的主觀視覺效果。若表中各量化階再除以2，則重建圖像的主觀質(zhì)量往往與源圖像不可區(qū)分。因此，JPEG算法也可通過調(diào)整一個公共的比例因子(類似于H.261的q)來縮放對各系數(shù)的量化階。量化過程就是簡單地將變換系數(shù)除以相應(yīng)的量化階后四舍五入取整數(shù)，即第三節(jié)靜止圖像的變換編碼161110162440516112121419265860551413162440576956141722295187806218223756681091037724355564811041139249647887103121120101729295981121001039917182447999999991821266699999999242656999999999917669999999999999999999999999999999999999999999999999999999999999999999999999999圖6.5亮度(Luminance)量化表圖6.6色度(Chrominance)量化表是被量化階(實為視覺閾值加權(quán)矩陣)規(guī)范后的DCT系數(shù)。由式(6.3-6a)和圖6.5、圖6.6可見，為了更經(jīng)濟合理地利用有限的編位碼，對“高頻”系數(shù)和色度分量可以量化得更粗糙一些。反量化過程表示為第三節(jié)靜止圖像的變換編碼例題

MPEG-2的視頻編碼標準給出的均勻量化公式則為其中qp即為由碼率控制和自適應(yīng)量化所給出的公共控制因子。關(guān)鍵是MPEG-1和MPEG-2的量化加權(quán)矩陣Q既可用于幀內(nèi)編碼，也可用于幀間編碼。MPEG規(guī)定編碼器可根據(jù)圖像序列的特性來選擇Q，并通過標題信息通知解碼器。加權(quán)矩陣的選擇意味著可根據(jù)變化系數(shù)的重要性分配編碼位數(shù)，圖6.7給出了MPEG推薦的幀內(nèi)和幀間默認量化權(quán)矩陣。可見，對于幀間編碼，默認

，上式等價于H.261的式(6.3-5a)，表明MPEG量化器實際上綜合了H.261量化器和JPEG量化器。又由圖5.13可以看出，幀間編碼是對MC預(yù)測誤差圖像進行2D-FDCT的，其系數(shù)與主觀視覺之間的關(guān)系相對較弱且更為復(fù)雜，故對幀間編碼的64個系數(shù)均用同一個常數(shù)加權(quán)，亦在情理之中。第三節(jié)靜止圖像的變換編碼816192226272934161622242729343719222627293434382222262729343740222627293235404826272932354048582627293438465669272935384656698316161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616（a）幀內(nèi)量化矩陣

（b）幀間量化矩陣圖6.7MPEG默認的量化權(quán)矩陣3、順序編碼與漸進編碼問題：什么是順序編碼？什么是漸進編碼？為什么要進行漸進編碼？首先，與活動圖像相比，人眼更易于觀察到靜止圖像中的細節(jié)，因此要求所傳輸?shù)膱D像具有更高的清晰度。這就增加了傳輸時間。比如：對通常是逐行掃描順序傳輸?shù)膱D像信號，在普通電話信道中也往往需要幾秒甚至幾十秒才能自上而下、自左而右地逐步傳完整幅圖像。因此，如果能由粗到細逐漸浮現(xiàn)全圖，就有助于消除收看者的焦急等待；而且他還可以在對中間結(jié)果的圖像清晰度感到滿意的時候終止這幅圖像的傳輸。這不僅可能節(jié)約信道時間和費用，而且這種通信方式也更加靈活友好，對于上網(wǎng)查閱圖像庫的內(nèi)容時非常有用。第三節(jié)靜止圖像的變換編碼