多媒體技術(shù)之MPEG電視培訓課件

多媒體技術(shù)之MPEG電視培訓課件按照奈奎斯特()采樣理論，模擬電視信號經(jīng)過采樣和量化之后，數(shù)字電視信號的數(shù)據(jù)量大得驚人，當前的存儲器和網(wǎng)絡(luò)都還沒有足夠的能力支持這種數(shù)據(jù)傳輸率，因此就要對數(shù)字電視信號進行壓縮。13.1.1.601標準數(shù)據(jù)率13.1電視圖像的數(shù)據(jù)率2為了在、和彩色電視制之間確定一個共同的數(shù)字化參數(shù)，早在1982年國際無線電咨詢委員會()就制定了演播室質(zhì)量的數(shù)字電視編碼標準，這就是非常有名的.601標準。使用4:2:2的采樣格式，亮度信號Y的采樣頻率選擇為13.5，色差信號和的采樣頻率選擇為6.75，在傳輸通道上的數(shù)據(jù)傳輸率為270。13.1.1.601標準數(shù)據(jù)率3亮度(Y):

858樣本/行×525行/幀×30幀/秒×10比特/樣本≈135兆比特/秒()

864樣本/行×625行/幀×25幀/秒×10比特/樣本≈135兆比特/秒()():

429樣本/行×525行/幀×30幀/秒×10比特/樣本≈68兆比特/秒()

429樣本/行×625行/幀×25幀/秒×10比特/樣本≈68兆比特/秒()():

429樣本/行×525行/幀×30幀/秒×10比特/樣本≈68兆比特/秒()

429樣本/行×625行/幀×25幀/秒×10比特/樣本≈68兆比特/秒()13.1.1.601標準數(shù)據(jù)率4總計:27兆樣本/秒×10比特/樣本=270兆比特/秒實際上，在熒光屏上顯示出來的有效圖像的數(shù)據(jù)傳輸率并沒有那么高，亮度(Y):720×480×30×10≈104()

720×576×25×10≈104()色差():

2×360×480×30×10≈104()

2×360×576×25×10≈104()總計:～207如果每個樣本的采樣精度由10比特降為8比特，彩色數(shù)字電視信號的數(shù)據(jù)傳輸率降為166。13.1.1.601標準數(shù)據(jù)率5使用存儲器來存儲數(shù)字電視，數(shù)據(jù)傳輸率可達到1.4112，分配給電視信號的數(shù)據(jù)傳輸率為1.15，電視編碼器的輸出數(shù)據(jù)率要達到1.15。存儲166的數(shù)字電視信號就需要對它進行高度壓縮，壓縮比高達166/1.15≈144:1。13.1.2電視圖像數(shù)據(jù)率的估算13.1電視圖像的數(shù)據(jù)率61電視圖像壓縮技術(shù)不能達到這樣高的壓縮比。把和數(shù)字電視轉(zhuǎn)換成公用中分辨率格式的數(shù)字電視，彩色數(shù)字電視的數(shù)據(jù)傳輸率就減小到

352×240×30×8×1.5≈30()

352×288×25×8×1.5≈30()。把這種彩色電視信號存儲到盤上所需要的壓縮比為：30/1.15≈26:1。13.1.2電視圖像數(shù)據(jù)率的估算7電視圖像的數(shù)據(jù)率壓縮成平均為3.5～4.7時非專家難于區(qū)分電視圖像在壓縮前后的之間差別。使用存儲器來存儲數(shù)字電視，它的數(shù)據(jù)傳輸率可以達到10.08，但一張4.7的單面單層盤要存放133分鐘的電視節(jié)目，按照數(shù)字電視信號的平均數(shù)據(jù)傳輸率為4.1來計算，壓縮比要達到：166/4.10≈40:1。13.1.3電視圖像數(shù)據(jù)率的估算13.1電視圖像的數(shù)據(jù)率8如果電視圖像的子采樣使用4:2:0格式，每個樣本的精度為8比特，數(shù)字電視信號的數(shù)據(jù)傳輸率就減小到124，即

720×480×30×8×1.5≈124()

720×576×25×8×1.5≈124()使用來存儲720×480×30或者720×576×25的數(shù)字電視圖像所需要的壓縮比為：124/4.1≈30:1。13.1.3電視圖像數(shù)據(jù)率的估算9電視圖像數(shù)據(jù)壓縮利用的各種特性和采用的方法歸納在表13-1中。電視圖像本身在空間上和時間上都含有許多冗余信息，圖像自身的構(gòu)造也有冗余性。利用人的視覺特性也可對圖像進行壓縮，這叫做視覺冗余。基于云計算的游戲框架——交互式13.2.1簡介13.2數(shù)據(jù)壓縮算法10表13-1電視圖像壓縮利用的各種冗余信息13.2.1簡介種類內(nèi)容目前用的主要方法統(tǒng)計

特性空間冗余像素間的相關(guān)性變換編碼，預(yù)測編碼時間冗余時間方向上的相關(guān)性幀間預(yù)測，移動補償圖像構(gòu)造冗余圖像本身的構(gòu)造輪廓編碼，區(qū)域分割知識冗余收發(fā)兩端對人物的共有認識基于知識的編碼視覺冗余人的視覺特性非線性量化，位分配其他不確定性因素11圖像壓縮技術(shù)可以歸納成兩個要點：①在空間方向上，圖像數(shù)據(jù)壓縮采用壓縮算法來去掉冗余信息。②在時間方向上，圖像數(shù)據(jù)壓縮采用移動補償算法來去掉冗余信息。專家組定義了三種圖像：幀內(nèi)圖像I()預(yù)測圖像P()雙向預(yù)測圖像B()典型的排列如圖13-01所示。這三種圖像將采用三種不同的算法進行壓縮。13.2.1簡介12圖13-01專家組定義的三種圖像13.2.1簡介13幀內(nèi)圖像I不參照任何過去的或者將來的其他圖像幀，壓縮編碼采用類似壓縮算法，它的框圖如圖13-02所示。如果電視圖像是用空間表示的，則首先把它轉(zhuǎn)換成空間表示的圖像。每個圖像平面分成8×8的圖塊，對每個圖塊進行離散余弦變換。13.2.2幀內(nèi)圖像I的壓縮編碼算法13.2數(shù)據(jù)壓縮算法14變換后經(jīng)過量化的交流分量系數(shù)按照的形狀排序，然后使用無損壓縮進行編碼。交流分量系數(shù)用行程長度編碼，變換后經(jīng)過量化的直流分量系數(shù)用差分脈沖編碼，然后用霍夫曼編碼或者用算術(shù)編碼。它的編碼框圖如圖13-02所示。13.2.2幀內(nèi)圖像I的壓縮編碼算法15圖13-02幀內(nèi)圖像I的壓縮編碼算法框圖13.2.2幀內(nèi)圖像I的壓縮編碼算法16預(yù)測圖像的編碼是以圖像宏塊()為基本編碼單元，一個宏塊定義為I×J像素的圖像塊，一般取16×16。預(yù)測圖像P使用兩種類型的參數(shù)來表示：一種參數(shù)是宏塊的移動矢量，另一種參數(shù)是當前要編碼的圖像宏塊與參考圖像的宏塊之間的差值。移動矢量的概念可用圖13-03表示。13.2.3預(yù)測圖像P的壓縮編碼算法13.2數(shù)據(jù)壓縮算法17圖13-03移動矢量的概念13.2.3預(yù)測圖像P的壓縮編碼算法18求解差值的方法如圖13-04所示。假設(shè)編碼圖像宏塊是參考圖像宏塊的最佳匹配塊，它們的差值就是這兩個宏塊中相應(yīng)像素值之差。對所求得的差值進行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，和分量值。然后仿照壓縮算法對差值進行編碼。13.2.3預(yù)測圖像P的壓縮編碼算法19圖13-04預(yù)測圖像P的壓縮編碼算法框圖13.2.3預(yù)測圖像P的壓縮編碼算法20求解移動矢量的方法定義在圖13-05中。在求兩個宏塊差值之前，需要找出編碼圖像中的預(yù)測圖像編碼宏塊相對于參考圖像中的參考宏塊所移動的距離和方向，這就是移動矢量。計算出的移動矢量也要進行霍夫曼編碼。13.2.3預(yù)測圖像P的壓縮編碼算法21圖13-5移動矢量的算法框圖13.2.3預(yù)測圖像P的壓縮編碼算法22要使預(yù)測圖像更精度，就要求找到與參考宏塊最佳匹配的預(yù)測圖像編碼宏塊。最佳匹配是指這兩個宏塊之間的差值最小。通常以絕對值最小作為匹配判據(jù)，

也有以均方誤差最小作為匹配判據(jù)，

13.2.3預(yù)測圖像P的壓縮編碼算法23也有以平均絕對幀差最小作為匹配判據(jù)，其中，和分別是參考宏塊的移動矢量d(,)在X和Y方向上的矢量。對預(yù)測圖像的編碼就是尋找最佳匹配圖像宏塊，找到最佳宏塊之后就找到了最佳移動矢量d(,)。13.2.3預(yù)測圖像P的壓縮編碼算法24為減少搜索次數(shù)，有許多簡化算法用來尋找最佳宏塊，下面介紹其中的三種。1.二維對數(shù)搜索法(2)采用的匹配判據(jù)是為最小。搜索策略是沿著最小失真方向搜索。二維對數(shù)搜索方法如圖13-06所示。在搜索時，每移動一次就檢查5個搜索點。如果最小失真在中央或在邊界，就減少搜索點之間的距離。步驟1，2，…，5得到的近似移動矢量d為(i，2)、(i，4)、(2，4)、(2，5)和(2，6)，最后得到的移動矢量為d(2，6)。13.2.3預(yù)測圖像P的壓縮編碼算法25圖13-06二維對數(shù)搜索法13.2.3預(yù)測圖像P的壓縮編碼算法262.三步搜索法()這種搜索法與二維對數(shù)搜索法很接近。在開始搜索時，搜索點離(i，j)這個中心點很遠，第一步就測試8個搜索點，如圖13-07所示。在這個例子中，點(3，3)作為第一個近似的移動矢量d1；第二步，搜索點偏離(3，3)較近，找到的點假定為(3，5)；第三步給出了最后的移動矢量為d(2，6)。本例采用作為匹配判據(jù)。13.2.3預(yù)測圖像P的壓縮編碼算法27圖13-07三步搜索法13.2.3預(yù)測圖像P的壓縮編碼算法283.對偶搜索法()該法使用作為匹配判據(jù)，示于圖13-08。第一次搜索時，通過計算點(1，j)、(i，j)和(1，j)處的值來決定i方向上的最小失真。如果計算結(jié)果表明點(1，j)處的為最小，就計算點(2，j)處的，并從(i，j)，(1，j)和(2，j)的中找出最小值。直到在i方向上找到最小值及其對應(yīng)的點。假定在i方向上找到的點為(2，j)。在i方向上找到最小值對應(yīng)的點之后，就沿j方向去找最小值對應(yīng)的點，方法與i方向的搜索方法相同。最后得到的移動矢量為d(2，6)。13.2.3預(yù)測圖像P的壓縮編碼算法29圖13-08對偶搜索法在整個圖像壓縮過程中，尋找最佳匹配宏塊要占據(jù)相當多的計算時間，匹配得越好，重構(gòu)的圖像質(zhì)量越高。13.2.3預(yù)測圖像P的壓縮編碼算法30雙向預(yù)測圖像B的壓縮編碼框圖如圖13-09所示。具體計算方法與預(yù)測圖像P的算法類似。13.2.4雙向預(yù)測圖像B的壓縮編碼算法13.2數(shù)據(jù)壓縮算法31圖13-09雙向預(yù)測圖像B的壓縮編碼算法框圖13.2.4雙向預(yù)測圖像B的壓縮編碼算法32編碼器算法允許選擇I圖像的頻率和位置。I圖像的頻率是指每秒鐘出現(xiàn)I圖像的次數(shù)位置是指時間方向上幀所在的位置。I圖像的頻率為2。編碼器也允許在一對I圖像或者P圖像之間選擇B圖像的數(shù)目。I圖像、P圖像和B圖像數(shù)目的選擇依據(jù)主要是根節(jié)目的內(nèi)容。在實際應(yīng)用中還要考慮媒體的速率。13.2.5電視圖像的結(jié)構(gòu)13.2數(shù)據(jù)壓縮算法33一個典型的I、P、B圖像安排如圖13－10所示。編碼參數(shù)為：幀內(nèi)圖像I的距離為15，預(yù)測圖像(P)的距離為3。13.2.5電視圖像的結(jié)構(gòu)圖13-10電視幀編排34I、P和B圖像壓縮后的大小如表13-02所示，單位為比特。I幀圖像的數(shù)據(jù)量最大B幀圖像的數(shù)據(jù)量最小。

表13-2三種圖像的壓縮后的典型值13.2.5電視圖像的結(jié)構(gòu)圖像類型IPB平均數(shù)據(jù)/幀1格式(1.15)1500005000020000380002601格式(4.00)4000002000008000013000035為了適應(yīng)不同數(shù)據(jù)速率設(shè)備的應(yīng)用，專家組定義了三種質(zhì)量不同的編碼方式：信噪比可變性()空間分辨率可變性()時間分辨率可變性()13.32的配置和等級36信噪比可變性是指圖像質(zhì)量的折中，對于數(shù)據(jù)率比較低的解碼器使用比較低的信噪比，而對數(shù)據(jù)率比較高的解碼器則使用比較高的信噪比；空間分辨率可變性是指圖像的空間分辨率的折中，對于低速率的接受器使用比較低的圖像分辨率，而對于數(shù)據(jù)率比較高的接受器使用比較高的圖像分辨率；時間分辨率可變性是指圖像在時間方向上分辨率的折中，與空間分辨率類似。13.32的配置和等級372引入了“配置”和參數(shù)“等級”的概念。每種配置定義一套新的算法，每一個等級指定一套參數(shù)范圍(如圖像大小、幀速率和位速率)。13.32的配置和等級38配置定義質(zhì)量的可變性和彩色空間分辨率的句法子集。等級定義圖像分辨率和每種配置的最大位速率的參數(shù)集。例如，當前使用得最普遍的描述符是(,)，可譯成“基本配置@基本級電視”或者“基本句法子集@基本參數(shù)級”，它指的是具有這種特性的電視：幀速率為30幀/秒，分辨率為720×576×30，子采樣格式為4:2:0，位速率達15。13.32的配置和等級392標準期待大多數(shù)2設(shè)備都能夠支持這種電視。又如，(,)描述符指的是幀速率為30幀/秒、分辨率為1920×1152×60、子采樣格式為4:2:0、位速率達80的制電視。13.32的配置和等級40專家組建立了一個用來開發(fā)圖像和電視圖像編碼技術(shù)的模型，叫做“試驗?zāi)Ｐ汀被蛘呓凶觥膀炞C模型”。模型描述了一個核心的編碼算法平臺，包括編碼器、解碼器以及位流的語法和語義。本節(jié)就電視圖像的編碼和解碼的基本方法作一個簡單介紹。13.44電視圖像編碼414編碼算法支持由1和2提供的所有功能，包括對各種輸入格式下的標準矩形圖像、幀速率、位速率和隔行掃描圖像源的支持。4算法的核心是支持內(nèi)容基的編碼和解碼功能，也就是對場景中使用分割算法抽取的單獨物理對象進行編碼和解碼。4還提供管理這些電視內(nèi)容的最基本方法。13.4.1電視圖像對象區(qū)的概念424驗證模型引進了一個叫做“電視圖像對象區(qū)()”的概念。如圖13-11所示，上圖表示支持1和2的普通的4編碼器，下圖表示4的甚低速率電視圖像()的核心編碼器。4驗證模型假設(shè)每幀圖像被分割成許多任意形狀的圖像區(qū)，每個區(qū)都有可能覆蓋描述場景中感興趣的物理對象或者內(nèi)容，這種區(qū)被定義為圖像對象區(qū)。13.4.1電視圖像對象區(qū)的概念43圖13-11普通4編碼器和4核心編碼器13.4.1電視圖像對象區(qū)的概念44編碼器輸入的是任意形狀的圖像區(qū)，圖像區(qū)的形狀和位置也可隨幀的變化而改變。屬于相同物理對象的連續(xù)的電視圖像對象區(qū)()組成電視圖像對象()。例如，一個沒有背景圖像的正在演講的人，如圖13-11所示。4可單獨對屬于相同電視圖像對象()的電視圖像區(qū)()的形狀、移動和紋理信息進編碼和傳送，或者把它們編碼成一個單獨的電視圖像對象層()。13.4.1電視圖像對象區(qū)的概念45需要標識每個電視圖像對象層()的信息也包含在編碼后的位流中，這些信息包括各種電視圖像對象層()的電視圖像在接收端應(yīng)該如何進行組合，以便重構(gòu)完整的原始圖像序列。這樣就可以對每個電視圖像對象區(qū)()進行單獨解碼，提供了管理電視圖像序列的靈活性。13.4.1電視圖像對象區(qū)的概念464驗證模型對每個電視圖像對象()的形狀、移動和紋理信息進行編碼形成單獨的層，以便能夠單獨對電視圖像對象()進行解碼。如果輸入圖像序列只包含標準的矩形圖像，就不需要形狀編碼，在這種情況下，4使用的編碼算法結(jié)構(gòu)也就與1和2使用的算法結(jié)構(gòu)相同。13.4.2電視圖像編碼方案13.44電視圖像編碼474驗證模型對每個電視圖像對象區(qū)()使用的壓縮算法是在1和2標準的基礎(chǔ)上開發(fā)的，也是以圖像塊為基礎(chǔ)的混合和變換編碼技術(shù)。4編碼算法定義了幀內(nèi)電視圖像對象區(qū)()和幀間電視圖像對象區(qū)預(yù)測()，以及雙向預(yù)測電視圖像對象區(qū)()方式。在對電視圖像對象區(qū)()的形狀編碼之后，顏色圖像序列分割成宏塊進行編碼，如圖13-12所示。圖中的Y1、Y2、Y3和Y4表示亮度宏塊，U、V分別表示紅色差和藍色差宏塊。13.4.2電視圖像編碼方案48圖13-12電視圖像序列中的和編碼方式和宏塊結(jié)構(gòu)13.4.2電視圖像編碼方案49圖13-13描繪了4的編碼算法，用來對矩形和任意形狀的輸入圖像序列進行編碼。這個基本編碼算法結(jié)構(gòu)圖包含移動矢量的編碼，以及以離散余弦變換為基礎(chǔ)的紋理編碼。13.4.2電視圖像編碼方案50圖13-134編碼器的算法方框圖13.4.2電視圖像編碼方案514采用內(nèi)容基編碼方法的一個重要優(yōu)點是，使用合適的和專門的對象基移動預(yù)測工具可以明顯提高場景中電視圖像對象的壓縮效率。圖13-14表示4對電視圖像序列的編碼。左上角的圖是背景全景圖。右上角的圖是一個沒有背景的子圖像全景圖，可以把網(wǎng)球運動員當作是一個電視圖像對象()，經(jīng)常把這種可以獨立移動的小圖像稱為子圖像()。下面的圖是接收端合成的全景圖。在編碼之前這個子圖像全景圖從背景全背景圖序列中抽出來，然后分別對它們進行編碼、傳送和解碼，最后再合成。13.4.2電視圖像編碼方案52圖13-144電視序列編碼舉例13.4.2電視圖像編碼方案53“電視圖像分辨率”是指電視圖像空間分辨率和時間分辨率。空間分辨率是指一幀圖像包含的行數(shù)與每行顯示的像素數(shù)之乘積時間分辨率是指每秒種顯示或傳輸?shù)膱D像幀數(shù)。設(shè)置電視圖像分辨率可變編碼功能的目的：一是為了能夠靈活支持性能不同的各種電視接收或顯示設(shè)備，或者支持要求瀏覽電視數(shù)據(jù)庫等方面的應(yīng)用。二是提供分層次的電視圖像數(shù)據(jù)位流，這樣可按應(yīng)用所要求的先后次序進行傳輸。13.4.3電視圖像分辨率可變編碼13.44電視圖像編碼542也有電視圖像分辨率可變編碼功能，但它是以圖像的幀為基礎(chǔ)進行編碼。4電視圖像分辨率可變編碼是以任意形狀的電視圖像對象區(qū)()為基礎(chǔ)進行編碼。對那些沒有能力或者不愿意接收高分辨率圖像的接收器，它可以接收分辨率比較低的電視圖像，降低空間分辨率或者時間分辨率意味降低圖像的質(zhì)量。13.4.3電視圖像分辨率可變編碼55空間分辨率可變性和時間分辨率可變性的實現(xiàn)方法類似。圖13-15描述了多種分辨率電視圖像編碼方案。該方案提供三個層次的編碼/解碼，每一層都支持在不同空間分辨率下進行編碼/解碼。多種空間分辨率的實現(xiàn)是通過降低輸入電視信號的采樣率來獲得的。