音視頻編碼技術(shù)與格式大全

1、音視頻編碼技術(shù)與格式大全一、 常見視頻格式中采用的技術(shù) 當(dāng)PC開始擁有FPU（浮點(diǎn)處理器）后，PC如何處理多媒體信息的問題也被擺上臺(tái)面。無數(shù)專家開始為音頻視頻編碼技術(shù)運(yùn)用在PC上開始忙碌了，視頻技術(shù)也因此得到了飛快的進(jìn)步。1、無聲時(shí)代的FLC FLC、FLI是Autodesk開發(fā)的一種視頻格式，僅僅支持256色，但支持色彩抖動(dòng)技術(shù)，因此在很多情況下很真彩視頻區(qū)別不是很大，不支持音頻信號(hào)，現(xiàn)在看來這種格式已經(jīng)毫無用處，但在沒有真彩顯卡沒有聲卡的DOS時(shí)代確實(shí)是最好的也是唯一的選擇。最重要的是，Autodesk的全系列的動(dòng)畫制作軟件都提供了對(duì)這種格式的支持，包括著名的3D Studio X，因此這

2、種格式代表了一個(gè)時(shí)代的視頻編碼水平。直到今日，仍舊有不少視頻編輯軟件可以讀取和生成這種格式。但畢竟廉頗老矣，這種格式已經(jīng)被無情的淘汰。 2、載歌載舞的AVI AVIAudio Video Interleave，即音頻視頻交叉存取格式。1992年初Microsoft公司推出了AVI技術(shù)及其應(yīng)用軟件VFW（Video for Windows）。在AVI文件中，運(yùn)動(dòng)圖像和伴音數(shù)據(jù)是以交織的方式存儲(chǔ)，并獨(dú)立于硬件設(shè)備。這種按交替方式組織音頻和視像數(shù)據(jù)的方式可使得讀取視頻數(shù)據(jù)流時(shí)能更有效地從存儲(chǔ)媒介得到連續(xù)的信息。構(gòu)成一個(gè)AVI文件的主要參數(shù)包括視像參數(shù)、伴音參數(shù)和壓縮參數(shù)等。AVI文件用的是AVI R

3、IFF形式，AVI RIFF形式由字串“AVI”標(biāo)識(shí)。所有的AVI文件都包括兩個(gè)必須的LIST塊。這些塊定義了流和數(shù)據(jù)流的格式。AVI文件可能還包括一個(gè)索引塊。 只要遵循這個(gè)標(biāo)準(zhǔn)，任何視頻編碼方案都可以使用在AVI文件中。這意味著AVI有著非常好的擴(kuò)充性。這個(gè)規(guī)范由于是由微軟制定，因此微軟全系列的軟件包括編程工具VB、VC都提供了最直接的支持，因此更加奠定了AVI在PC上的視頻霸主地位。由于AVI本身的開放性，獲得了眾多編碼技術(shù)研發(fā)商的支持，不同的編碼使得AVI不斷被完善，現(xiàn)在幾乎所有運(yùn)行在PC上的通用視頻編輯系統(tǒng)，都是以支持AVI為主的。AVI的出現(xiàn)宣告了PC上啞片時(shí)代的結(jié)束，不斷完善的AV

4、I格式代表了多媒體在PC上的興起。 說到AVI就不能不提起英特爾公司的Indeo video系列編碼，Indeo編碼技術(shù)是一款用于PC視頻的高性能的、純軟件的視頻壓縮/解壓解決方案。Indeo音頻軟件能提供高質(zhì)量的壓縮音頻，可用于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)和多媒體應(yīng)用方案等。它既能進(jìn)行音樂壓縮也能進(jìn)行聲音壓縮，壓縮比可達(dá)8:1而沒有明顯的質(zhì)量損失。Indeo技術(shù)能幫助您構(gòu)建內(nèi)容更豐富的多媒體網(wǎng)站。目前被廣泛用于動(dòng)態(tài)效果演示、游戲過場(chǎng)動(dòng)畫、非線性素材保存等用途，是目前使用最廣泛的一種AVI編碼技術(shù)。現(xiàn)在Indeo編碼技術(shù)及其相關(guān)軟件產(chǎn)品已經(jīng)被Ligos Technology 公司收購。隨著MPEG的崛起

5、，Indeo面臨著極大的挑戰(zhàn)。 3、容量與質(zhì)量兼顧的MPEG系列編碼 和AVI相反，MPEG不是簡單的一種文件格式，而是編碼方案。 MPEG-1（標(biāo)準(zhǔn)代號(hào)ISO/IEC11172）制定于1991年底，處理的是標(biāo)準(zhǔn)圖像交換格式（standard interchange format，SIF）或者稱為源輸入格式（Source Input Format，SIF）的多媒體流。是針對(duì)1.5Mbps以下數(shù)據(jù)傳輸率的數(shù)字存儲(chǔ)媒質(zhì)運(yùn)動(dòng)圖像及其伴音編碼（MPEG-1 Audio,標(biāo)準(zhǔn)代號(hào)ISO/IEC 11172-3）的國際標(biāo)準(zhǔn),伴音標(biāo)準(zhǔn)后來衍生為今天的MP3編碼方案。MPEG-1規(guī)范了PAL制（352*288

6、，25幀/S）和NTSC制（為352*240，30幀/S）模式下的流量標(biāo)準(zhǔn)， 提供了相當(dāng)于家用錄象系統(tǒng)（VHS）的影音質(zhì)量，此時(shí)視頻數(shù)據(jù)傳輸率被壓縮至1.15Mbps,其視頻壓縮率為261。使用MPEG-1的壓縮算法，可以把一部120分鐘長的多媒體流壓縮到1.2GB左右大小。常見的VCD就是MPEG-1編碼創(chuàng)造的杰作。MPEG-1編碼也不一定要按PAL/NTSC規(guī)范的標(biāo)準(zhǔn)運(yùn)行，你可以自由設(shè)定影像尺寸和音視頻流量。隨著光頭拾取精度的提高，有人把光盤的信息密度加大，并適度降低音頻流流量，于是出現(xiàn)了只要一張光盤就存放一部電影的DVCD。DVCD碟其實(shí)是一種沒有行業(yè)標(biāo)準(zhǔn)，沒有國家標(biāo)準(zhǔn)，更談不上是國際標(biāo)

7、準(zhǔn)的音像產(chǎn)品。當(dāng)VCD開始向市場(chǎng)普及時(shí)，電腦正好進(jìn)入了486時(shí)代，當(dāng)年不少朋友都?jí)粝霌碛幸粔K硬解壓卡，來實(shí)現(xiàn)在PC上看VCD的夙愿，今天回過頭來看看，覺得真有點(diǎn)不可思議，但當(dāng)時(shí)的現(xiàn)狀就是486的系統(tǒng)不借助硬解壓是無法流暢播放VCD的，上萬元的486系統(tǒng)都無法流暢播放的MPEG-1被打上了貴族的標(biāo)志。隨著奔騰的發(fā)布，PC開始奔騰起來，直到后來Windows Media Player也直接提供了MPEG-1的支持，至此MPEG-1使用在PC上已經(jīng)完全無障礙了。 MPEG-2（標(biāo)準(zhǔn)代號(hào)IOS/IEC13818）于1994年發(fā)布國際標(biāo)準(zhǔn)草案（DIS），在視頻編碼算法上基本和MPEG-1相同，只是有了一

8、些小小的改良，例如增加隔行掃描電視的編碼。MPEG-2它追求的是大流量下的更高質(zhì)量的運(yùn)動(dòng)圖象及其伴音效果。MPEG-2的視頻質(zhì)量看齊PAL或NTSC的廣播級(jí)質(zhì)量，事實(shí)上MPEG-1也可以做到相似效果，MPEG-2更多的改進(jìn)來自音頻部分的編碼。目前最常見的MPEG-2相關(guān)產(chǎn)品就是DVD了，SVCD也是采用的MPEG-2的編碼。MPEG-2還有一個(gè)更重要的用處，就是讓傳統(tǒng)的電視機(jī)和電視廣播系統(tǒng)往數(shù)碼的方向發(fā)展。MPEG-3最初為HDTV制定，由于MPEG-2的快速發(fā)展，MPEG-3還未徹底完成便宣告淘汰。MPEG-4于1998年公布，和MPEG-2所針對(duì)的不同，MPEG-4追求的不是高品質(zhì)而是高壓

9、縮率以及適用于網(wǎng)絡(luò)的交互能力。MPEG-4提供了非常驚人的壓縮率，如果以VCD畫質(zhì)為標(biāo)準(zhǔn)，MPEG-4可以把120分鐘的多媒體流壓縮至300M。MPEG-4標(biāo)準(zhǔn)主要應(yīng)用于視像電話(Video Phone)，視像電子郵件(Video Email)和電子新聞(Electronic News)等，其傳輸速率要求較低，在4800-64000bits/sec之間，分辨率為176X144。MPEG-4利用很窄的帶寬，通過幀重建技術(shù)，壓縮和傳輸數(shù)據(jù)，以求以最少的數(shù)據(jù)獲得最佳的圖象質(zhì)量。 MJPEG，這并不是專門為PC準(zhǔn)備的，而是為專業(yè)級(jí)甚至廣播級(jí)的視頻采集與在設(shè)備端回放的準(zhǔn)備的，所以MJPEG包含了為傳統(tǒng)模

10、擬電視優(yōu)化的隔行掃描電視的算法，如果在PC上播放MJPEG編碼的文件，效果會(huì)很難看（如果你的顯卡不支持MJPEG的動(dòng)態(tài)補(bǔ)償），但一旦輸出到電視機(jī)端，你立刻會(huì)發(fā)現(xiàn)這種算法的好處。 4、屬于網(wǎng)絡(luò)的流媒體RealNetworks RealVideo，采用的是 RealNetworks 公司自己開發(fā)的 Real G2 Codec，它具有很多先進(jìn)的設(shè)計(jì)，例如，SVT （Scalable Video Technology）；雙向編碼（TwoEncoding，類似于VBR）。RealMedia 音頻部分采用的是 RealAudio ，可以接納很多音頻編碼方案，可實(shí)現(xiàn)聲音在單聲道、立體聲音樂不同速率下的壓縮。

11、最新的RealAudio竟然采用ATRAC3編碼方案，以挑戰(zhàn)日益成熟的MP3。Windows Media，視頻編碼采用的是非常先進(jìn)的 MPEG-4 視頻壓縮技術(shù)，被稱作 Microsoft MPEG-4 Video Codec，音頻編碼采用的是微軟自行開發(fā)的一種編碼方案，目前沒有公布技術(shù)資料，在低流量下提供了令人滿意的音質(zhì)和畫質(zhì)。最新的Windows Media Encoding Utility V8.0將流技術(shù)推向到一個(gè)新的高度，我們常見的ASF、WMV、WMA就是微軟的流媒體文件。事實(shí)上我們常見的MPG文件，也具有流媒體的最大特征邊讀邊放。 二、常見的編碼與常見的文件格式的對(duì)應(yīng)關(guān)系及其常用

12、用途 1、Audodesk FLC 這是一種古老的編碼方案，常見的文件后綴為FLC和FLI。由于FLC僅僅支持256色的調(diào)色板，因此它會(huì)在編碼過程中盡量使用抖動(dòng)算法（也可以設(shè)置不抖動(dòng)），以模擬真彩的效果。這種算法在色彩值差距不是很大的情況下幾乎可以達(dá)到亂真的地步，例如紅色A（R:255,G:0,B:0）到紅色B（R:255,G:128,B:0）之間的抖動(dòng)。這種格式現(xiàn)在已經(jīng)很少被采用了，但當(dāng)年很多這種格式被保留下來，這種格式在保存標(biāo)準(zhǔn)256色調(diào)色板或者自定義256色調(diào)色板是無損的，這種格式可以清晰到像素，非常適合保存線框動(dòng)畫，例如CAD模型演示?，F(xiàn)在這種格式很少見了。 2、Microsoft R

13、LE 這是微軟開發(fā)為AVI格式開發(fā)的一種編碼，文件擴(kuò)展名為AVI，使用了RLE壓縮算法，這是一種無損的壓縮算法，我們常見的tga格式的圖像文件就使用了RLE算法。 什么是RLE算法呢？這是一種很簡單的算法，舉一個(gè)很簡單的例子： 假設(shè)一個(gè)圖像的像素色彩值是這樣排列的：紅紅紅紅紅紅紅紅紅紅紅紅藍(lán)藍(lán)藍(lán)藍(lán)藍(lán)藍(lán)綠綠綠綠，經(jīng)過RLE壓縮后就成為了：紅12藍(lán)6綠4。這樣既保證了壓縮的可行性，而且不會(huì)有損失。而且可以看到，但顏色數(shù)越少時(shí)，壓縮效率會(huì)更高。由于Microsoft RLE僅僅支持256色，而且沒有抖動(dòng)算法，在色彩處理方面，F(xiàn)LC明顯的比Microsoft RLE要好很多。當(dāng)然這也不表示Micros

14、oft RLE一無是處，和FLC一樣，Microsoft RLE在處理相鄰像素時(shí)也沒有色染，可以清晰的表現(xiàn)網(wǎng)格。因此同樣可以優(yōu)秀的表現(xiàn)單色字體和線條。只要色彩不是很復(fù)雜，F(xiàn)LC能做的，Microsoft RLE也可以做到。由于AVI可以擁有一個(gè)音頻流，而且Windows系統(tǒng)給與了直接的支持，Microsoft RLE最常用的用途是，在256色顯示模式下，通過配合抓屏生成AVI的工具制作一個(gè)軟件的操作演示過程，以達(dá)到圖文并茂，形聲兼?zhèn)涞男Ч?3、Microsoft Video1 這也是由微軟提供的一個(gè)AVI編碼，任何Windows系統(tǒng)都自帶了了它的Codec，這個(gè)編碼支持真彩，畫面質(zhì)量很不錯(cuò)，

15、Microsoft Video1的壓縮效率非常低下，編碼后的文件龐大得讓人受不了。這個(gè)Microsoft Video1究竟有什么用呢？一般被用在保存一些沒有漸變的小型視頻素材方面。4、Indeo video R3.2 這個(gè)編碼由intel架構(gòu)實(shí)驗(yàn)室開發(fā)，對(duì)應(yīng)的文件格式是AVI，相對(duì)之前的流行的編碼，Indeo video R3.2最大的特點(diǎn)就是高壓縮比（當(dāng)然，比起現(xiàn)在的壓縮方案，實(shí)在是不值得一提），intel聲稱壓縮比可達(dá)8:1而沒有明顯的質(zhì)量損失，解碼速度也非常快，對(duì)系統(tǒng)要求不高，由于Windows9X中自帶Indeo video R3.2的Codec，所以Indeo video R3.2一

16、度成為了最流行的AVI編碼方案。有不少游戲的過場(chǎng)動(dòng)畫和啟動(dòng)動(dòng)畫都是Indeo video R3.2編碼的。Indeo video R3.2同樣不適合高要求的環(huán)境，在要表現(xiàn)細(xì)線條或大色彩值變化的漸變時(shí)，Indeo video R3.2會(huì)表現(xiàn)得非常糟糕。如果畫面的色彩值差異不是很大，也沒有明顯的色彩區(qū)域界限，Indeo video R3.2還是合適的，例如海天一色的場(chǎng)景。Indeo video R3.2已經(jīng)基本被淘汰，如果不是為了播放以前遺留的一些Indeo video R3.2編碼視頻，恐怕Windows ME/2000都不會(huì)有Indeo video R3.2的Codec了。 5、Indeo v

17、ideo 5.10 這個(gè)編碼方案同樣也是intel架構(gòu)實(shí)驗(yàn)室開發(fā)的，它繼承了Indeo video R3.2的優(yōu)點(diǎn)，對(duì)應(yīng)的文件格式仍然是AVI，解碼速度同樣非常快。Windows ME/2000自帶了Indeo video 5.1的Codec，很多游戲也適用Indeo video 5.10來編碼自己的演示動(dòng)畫。在沒有DivX普及前，這幾乎是最流行的AVI編碼了，由于微軟和intel的同時(shí)支持，這種編碼方案被廣泛采用。 6、None 顧名思義，這是一個(gè)沒有損失的視頻編碼方案，對(duì)應(yīng)的文件擴(kuò)展名為AVI。這種編碼幾乎是不壓縮的，文件大得驚人！那么這種編碼有什么用途呢？用途就是保存視頻素材，因?yàn)槭菬o損

18、的，保存素材非常合適，代價(jià)就是大量的存儲(chǔ)空間。 7、MPEG1 我們熟知的VCD就是MPEG1編碼的，對(duì)應(yīng)的文件擴(kuò)展名為MPG、MPEG或者DAT。事實(shí)上MPEG1可以工作于非PAL制和非NTSC制標(biāo)準(zhǔn)下。它可以自由設(shè)置數(shù)據(jù)流量和畫面尺寸，只是這樣非標(biāo)準(zhǔn)的文件無法直接刻錄成VCD。 8、MPEG2 DVD的視頻部分就是采用的MPEG2，SVCD同樣也采用了MPEG2編碼。對(duì)應(yīng)的文件擴(kuò)展名一般為VOB、MPG。MPEG2的設(shè)計(jì)目標(biāo)就是提供接近廣播級(jí)的高品質(zhì)輸出。 9、DivX DivX是近2年開始被大家認(rèn)識(shí)的，DivX 視頻編碼技術(shù)可以說是一種對(duì) DVD 造成威脅的新生視頻壓縮格式（有人說它是

19、DVD 殺手）對(duì)應(yīng)的文件擴(kuò)展名為AVI或者DivX，它由 Microsoft mpeg-4v3 修改而來，使用 MPEG-4 壓縮算法。據(jù)說是美國禁止出口的編碼技術(shù)。DivX最大的特點(diǎn)就是高壓縮比和不錯(cuò)的畫質(zhì)，更可貴的是，DivX的對(duì)系統(tǒng)要求也不高，只要主頻300的CPU就基本可以很流暢的播放了，因此從DivX誕生起，立刻吸引了大家的注意力。DivX擁有比Indeo video 5.10高太多的壓縮效率，編碼質(zhì)量也遠(yuǎn)遠(yuǎn)比Indeo video 5.10好，我實(shí)在想不出Indeo video 5.10還會(huì)有什么前途。 10、PICVideo MJPEG MJPEG是很多視頻卡支持的一種視頻編碼，

20、隨卡提供了Codec，安裝完成后可以象使用其它編碼一樣生成AVI文件。MJPEG編碼常用于非線性系統(tǒng)，批上了一層很專業(yè)的外衣。MJPEG的編碼質(zhì)量是相當(dāng)高的，是一種以質(zhì)量為最高要求的編碼，這種編碼的設(shè)置比較復(fù)雜，可以得到很高的壓縮比，但犧牲了解碼速度，如果要保證解碼速度，編碼后的壓縮比確不是很理想，如果您希望從專業(yè)的非線性系統(tǒng)上捕捉視頻，然后自行進(jìn)行處理，這種格式是很有必要去了解一些的。 11、RealNetworks RealVideo REAL VIDEO（RA、RAM）格式由Real Networks公司開發(fā)的，一開始就定位在視頻流應(yīng)用方面的，也可以說是視頻流技術(shù)的始創(chuàng)者。它可以在用 5

21、6K MODEM 撥號(hào)上網(wǎng)的條件實(shí)現(xiàn)不間斷的視頻播放。從RealVideo的定位來看，就是犧牲畫面質(zhì)量來換取可連續(xù)觀看性。其實(shí)RealVideo也可以實(shí)現(xiàn)不錯(cuò)的畫面質(zhì)量，由于RealVideo可以擁有非常高的壓縮效率，很多人把VCD編碼成RealVideo格式的，這樣一來，一張光盤上可以存放好幾部電影。REAL VIDEO存在顏色還原不準(zhǔn)確的問題，RealVideo就不太適合專業(yè)的場(chǎng)合，但RealVideo出色的壓縮效率和支持流式播放的特征，使得RealVideo在網(wǎng)絡(luò)和娛樂場(chǎng)合占有不錯(cuò)的市場(chǎng)份額。 12、Windows Media video Windows Media video就是微軟為

22、了和現(xiàn)在的Real Networks的RealVideo競(jìng)爭(zhēng)而發(fā)展出來的一種可以直接在網(wǎng)上觀看視頻節(jié)目的文件壓縮格式！由于它使用了MPEG4的壓縮算法，所以壓縮率和圖像的質(zhì)量都很不錯(cuò)。我們經(jīng)?？吹降腁SF和WMV就是Windows Media video。Windows Media video的編碼質(zhì)量明顯好于RealVideo，因?yàn)閃indows Media video是微軟的杰作，所以Windows系統(tǒng)給Windows Media video給與了很好的支持，Windows Media Player可以直接播放這些文件。 13、中國AVS編碼標(biāo)準(zhǔn)簡介如下：2002年,國家信息產(chǎn)業(yè)部科學(xué)技術(shù)

23、司批準(zhǔn)成立數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組,制定具有自主知識(shí)產(chǎn)權(quán)的AVS系列信源編碼標(biāo)準(zhǔn),AVS標(biāo)準(zhǔn)為信息技術(shù)先進(jìn)音視頻編碼系列標(biāo)準(zhǔn)的簡稱,它包括了系統(tǒng)、視頻、音頻、版權(quán)管理、文件格式、網(wǎng)絡(luò)傳輸?shù)葟囊曨l壓縮技術(shù)到系統(tǒng)規(guī)范的一整套標(biāo)準(zhǔn),AVS標(biāo)準(zhǔn)的制定和推廣對(duì)減輕國內(nèi)的音視頻相關(guān)產(chǎn)業(yè)的專利費(fèi)負(fù)擔(dān)以及提升核心競(jìng)爭(zhēng)力具有極其重要的意義。 與MPEG-4 AVC/H.264的baseline profile相比,AVS視頻增加了B幀interlace等技術(shù),因此其壓縮效率明顯提高,而與MPEG-4 AVC/H.264的main profile相比,又減少了CABAC等實(shí)現(xiàn)難度大的技術(shù),從而增強(qiáng)了可實(shí)現(xiàn)性

24、?；贏VS標(biāo)準(zhǔn)的上述優(yōu)點(diǎn),本文選擇對(duì)該標(biāo)準(zhǔn)進(jìn)行研究。 AVS視頻當(dāng)中具有特征性的核心技術(shù)包括:88整數(shù)變換、量化、幀內(nèi)預(yù)測(cè)、四分之一精度像素插值、特殊的幀間預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償、以及熵編碼、去塊效應(yīng)環(huán)內(nèi)濾波等。 l 幀間預(yù)測(cè)算法研究 AVS標(biāo)準(zhǔn)采用了1616、168、816和88的塊模式進(jìn)行運(yùn)動(dòng)補(bǔ)償,較少的塊模式(相比于MPEG-4 AVC/H.264),能降低運(yùn)動(dòng)矢量和塊模式編碼傳輸?shù)拈_銷,從而提高壓縮效率、降低編解碼實(shí)現(xiàn)的復(fù)雜度。而AVS采用不同的4抽頭濾波器進(jìn)行半像素插值和四分之一像素插值,在不降低性能的情況下減少了插值所需要的參考像素點(diǎn),降低了數(shù)據(jù)存取帶寬需求。AVS中的P幀預(yù)測(cè)可以利用至多

25、2幀的前向參考幀,而B幀采用前后各1個(gè)參考幀,P幀與B幀(包括后向參考幀)的參考幀數(shù)相同,其參考幀存儲(chǔ)空間與數(shù)據(jù)存取的開銷均不多于傳統(tǒng)視頻編碼。另外,AVS中B幀的雙向預(yù)測(cè)的多種模式的設(shè)定,也有效的節(jié)省了運(yùn)動(dòng)矢量的編碼開銷。 視覺特性表明,人眼對(duì)活動(dòng)圖像中的靜止部分和運(yùn)動(dòng)部分有著不同的分辨率要求,即對(duì)靜止部分有較高的空間分辨力和較低的時(shí)間分辨力,而對(duì)運(yùn)動(dòng)部分有著較低的空間分辨力和較高的時(shí)間分辨力。因此可以將圖像分割成靜止部分和運(yùn)動(dòng)部分分別進(jìn)行處理。對(duì)于靜止部分可以重復(fù)上一幀的數(shù)據(jù),對(duì)于運(yùn)動(dòng)部分則需設(shè)法測(cè)定其位移量,以位移量來預(yù)測(cè)其運(yùn)動(dòng),并將運(yùn)動(dòng)信息發(fā)送給接收端,以壓縮運(yùn)動(dòng)部分的數(shù)據(jù)量,構(gòu)成完整

26、的圖像,稱為圖像幀間編碼中的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。 運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄊ歉櫘嬅鎯?nèi)的運(yùn)動(dòng)情況對(duì)其加以預(yù)測(cè)以后再加以補(bǔ)償。這項(xiàng)技術(shù)的關(guān)鍵是運(yùn)動(dòng)矢量計(jì)算。通常的方法是采用塊匹配法。運(yùn)動(dòng)估計(jì)和補(bǔ)償是活動(dòng)圖像編碼和計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)。 能夠?qū)σ曨l序列進(jìn)行幀間編碼主要有兩個(gè)方面的依據(jù):首先,從信源的角度看,自然景物大多處于相對(duì)不變或緩變狀態(tài),且其運(yùn)動(dòng)狀態(tài)必然是連續(xù)的,這是幀間相關(guān)性存在的前提條件。其次,在用攝像機(jī)攝取圖像時(shí),根據(jù)不同場(chǎng)合的需要有不同的取景方式,這樣幀間相關(guān)性表現(xiàn)的形式也不相同。目前視頻編碼中考慮的主要是一些簡單形式。 幀間預(yù)測(cè)考慮的典型情況是頭肩序列,例如可視電話圖像,圖像的內(nèi)容通常是在一

27、個(gè)細(xì)節(jié)不十分復(fù)雜的背景前,一個(gè)活動(dòng)量不大的單人圖像。假定人的位置在第K幀與第K-1幀相比有一定的位移,可以將畫面分成3個(gè)各具特點(diǎn)的區(qū)域: 1.背景區(qū):這部分圖像一般是靜止的,前后兩幀的絕大部分?jǐn)?shù)據(jù)相同,有著極強(qiáng)的相關(guān)性,且只是對(duì)人物起陪襯作用。 2.運(yùn)動(dòng)物體區(qū):如將物體看作簡單的平面位移,則第K幀和第K-1幀的該部分?jǐn)?shù)據(jù)也是幾乎相同的,只是位置發(fā)生了改變,相關(guān)性還是極強(qiáng)的。這部分?jǐn)?shù)據(jù)需要運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。 3.暴露區(qū):這是指運(yùn)動(dòng)后所暴露出來的原來被物體蓋住的區(qū)域。如果有存儲(chǔ)器將這些暴露區(qū)的數(shù)據(jù)暫時(shí)存儲(chǔ),則再次經(jīng)遮蓋再暴露出來的數(shù)據(jù)與原來存儲(chǔ)的數(shù)據(jù)也是相同的,還是有強(qiáng)相關(guān)性。 雖然以上三類區(qū)域

28、的相關(guān)性是比較理想的劃分結(jié)果,實(shí)際中并無如此嚴(yán)格的劃分,但是它們?yōu)閹g編碼算法提供了重要依據(jù)。如果存在場(chǎng)景切換則談不上幀間相關(guān)性。l 結(jié)論 研究表明,人類視覺對(duì)圖像中的靜止部分有較高的分辨率,必須給予充分的空間(spatial)分辨率,即在傳輸靜止圖像或序列圖像的靜止部分時(shí),要保證較高的水平和垂直分辨率;但與此同時(shí),卻可以減少傳輸幀數(shù),在接收端,依靠幀存儲(chǔ)器把未傳輸?shù)膸a(bǔ)充出來,而按照一定周期傳輸?shù)臄?shù)據(jù)對(duì)幀存儲(chǔ)器刷新。因此對(duì)傳輸序列圖像而言,可恰當(dāng)降低時(shí)間(temporal)分辨率。另一方面,人的視覺對(duì)于序列圖像中的運(yùn)動(dòng)物體的空間分辨率將隨著物體的運(yùn)動(dòng)速度的增加而顯著降低,攝像器材的靈敏度也會(huì)

29、造成運(yùn)動(dòng)部分的靈敏度下降。此外,電視監(jiān)視器的顯示器件也有一定的積分模糊效應(yīng)。這樣在傳輸序列圖像中的運(yùn)動(dòng)物體時(shí),可以降低這部分圖像的清晰度,且這部分圖像的運(yùn)動(dòng)速度愈高,就可以用更低的圖像清晰度進(jìn)行傳輸。“AVS標(biāo)準(zhǔn)已經(jīng)具有了大規(guī)模應(yīng)用商業(yè)化推廣的條件?！弊蛉?，AVS產(chǎn)業(yè)聯(lián)盟秘書長張偉民透露，在產(chǎn)業(yè)化過程中，我國自主研發(fā)的數(shù)字音視頻編碼標(biāo)準(zhǔn)AVS得到了中國網(wǎng)通和中國電信兩大電信運(yùn)營商的支持。記者獲悉，10月9日中國網(wǎng)通在大連對(duì)使用AVS標(biāo)準(zhǔn)的IPTV系統(tǒng)進(jìn)行了驗(yàn)收，UT斯達(dá)康、中興通訊、華為以及上海貝爾阿爾卡特四大設(shè)備廠商率先過關(guān)，試驗(yàn)結(jié)果則表明AVS與國際上的最新標(biāo)準(zhǔn)已處于同一檔次。張偉民表示，

30、在大連實(shí)驗(yàn)的基礎(chǔ)之上，中國網(wǎng)通將繼續(xù)推進(jìn)AVS標(biāo)準(zhǔn)的商用，與此同時(shí)，中國電信也正在進(jìn)行AVS標(biāo)準(zhǔn)的測(cè)試。除了獲得電信運(yùn)營商的支持，AVS標(biāo)準(zhǔn)還在杭州得到了深層次的應(yīng)用。在試商用過程中，杭州地區(qū)基于AVS標(biāo)準(zhǔn)發(fā)射的電視節(jié)目內(nèi)容已經(jīng)有21套，并有望達(dá)到25套。談及AVS標(biāo)準(zhǔn)在其他領(lǐng)域的發(fā)展前景時(shí)，張偉民指出，手機(jī)電視的傳輸標(biāo)準(zhǔn)暫時(shí)處于撲朔迷離的階段，而AVS將面臨著洋標(biāo)準(zhǔn)H.264的競(jìng)爭(zhēng)。此外，由于不涉及到兼容、互聯(lián)互通的問題，AVS在視頻監(jiān)控系統(tǒng)中也應(yīng)該有很好的應(yīng)用。去年3月1日，國家標(biāo)準(zhǔn)委頒布實(shí)施AVS音視頻編碼國家標(biāo)準(zhǔn)，這項(xiàng)自主創(chuàng)新的成果最大的效益是把數(shù)字電視產(chǎn)業(yè)的專利使用費(fèi)從2.5美元降到

31、了1元人民幣。三、有關(guān)音頻編碼 自然界中的聲音非常復(fù)雜，波形極其復(fù)雜，通常我們采用的是脈沖代碼調(diào)制編碼，即PCM編碼。PCM通過抽樣、量化、編碼三個(gè)步驟將連續(xù)變化的模擬信號(hào)轉(zhuǎn)換為數(shù)字編碼。 1、什么是采樣率和采樣大?。ㄎ?bit）？ 聲音其實(shí)是一種能量波，因此也有頻率和振幅的特征，頻率對(duì)應(yīng)于時(shí)間軸線，振幅對(duì)應(yīng)于電平軸線。波是無限光滑的，弦線可以看成由無數(shù)點(diǎn)組成，由于存儲(chǔ)空間是相對(duì)有限的，數(shù)字編碼過程中，必須對(duì)弦線的點(diǎn)進(jìn)行采樣。采樣的過程就是抽取某點(diǎn)的頻率值，很顯然，在一秒中內(nèi)抽取的點(diǎn)越多，獲取得頻率信息更豐富，為了復(fù)原波形，一次振動(dòng)中，必須有2個(gè)點(diǎn)的采樣，人耳能夠感覺到的最高頻率為20kHz，

32、因此要滿足人耳的聽覺要求，則需要至少每秒進(jìn)行40k次采樣，用40kHz表達(dá)，這個(gè)40kHz就是采樣率。我們常見的CD，采樣率為44.1kHz。光有頻率信息是不夠的，我們還必須獲得該頻率的能量值并量化，用于表示信號(hào)強(qiáng)度。量化電平數(shù)為2的整數(shù)次冪，我們常見的CD位16bit的采樣大小，即2的16次方。采樣大小相對(duì)采樣率更難理解，因?yàn)橐@得抽象點(diǎn)，舉個(gè)簡單例子：假設(shè)對(duì)一個(gè)波進(jìn)行8次采樣，采樣點(diǎn)分別對(duì)應(yīng)的能量值分別為A1-A8，但我們只使用2bit的采樣大小，結(jié)果我們只能保留A1-A8中4個(gè)點(diǎn)的值而舍棄另外4個(gè)。如果我們進(jìn)行3bit的采樣大小，則剛好記錄下8個(gè)點(diǎn)的所有信息。采樣率和采樣大小的值越大，記

33、錄的波形更接近原始信號(hào)。 2、有損和無損 根據(jù)采樣率和采樣大小可以得知，相對(duì)自然界的信號(hào)，音頻編碼最多只能做到無限接近，至少目前的技術(shù)只能這樣了，相對(duì)自然界的信號(hào)，任何數(shù)字音頻編碼方案都是有損的，因?yàn)闊o法完全還原。在計(jì)算機(jī)應(yīng)用中，能夠達(dá)到最高保真水平的就是PCM編碼，被廣泛用于素材保存及音樂欣賞，CD、DVD以及我們常見的WAV文件中均有應(yīng)用。因此，PCM約定俗成了無損編碼，因?yàn)镻CM代表了數(shù)字音頻中最佳的保真水準(zhǔn)，并不意味著PCM就能夠確保信號(hào)絕對(duì)保真，PCM也只能做到最大程度的無限接近。我們而習(xí)慣性的把MP3列入有損音頻編碼范疇，是相對(duì)PCM編碼的。強(qiáng)調(diào)編碼的相對(duì)性的有損和無損，是為了告訴

34、大家，要做到真正的無損是困難的，就像用數(shù)字去表達(dá)圓周率，不管精度多高，也只是無限接近，而不是真正等于圓周率的值。 3、為什么要使用音頻壓縮技術(shù) 要算一個(gè)PCM音頻流的碼率是一件很輕松的事情，采樣率值采樣大小值聲道數(shù) bps。一個(gè)采樣率為44.1KHz，采樣大小為16bit，雙聲道的PCM編碼的WAV文件，它的數(shù)據(jù)速率則為 44.1K162 =1411.2 Kbps。我們常說128K的MP3，對(duì)應(yīng)的WAV的參數(shù)，就是這個(gè)1411.2 Kbps，這個(gè)參數(shù)也被稱為數(shù)據(jù)帶寬，它和ADSL中的帶寬是一個(gè)概念。將碼率除以8,就可以得到這個(gè)WAV的數(shù)據(jù)速率，即176.4KB/s。這表示存儲(chǔ)一秒鐘采樣率為44

35、.1KHz，采樣大小為16bit，雙聲道的PCM編碼的音頻信號(hào)，需要176.4KB的空間，1分鐘則約為10.34M，這對(duì)大部分用戶是不可接受的，尤其是喜歡在電腦上聽音樂的朋友，要降低磁盤占用，只有2種方法，降低采樣指標(biāo)或者壓縮。降低指標(biāo)是不可取的，因此專家們研發(fā)了各種壓縮方案。由于用途和針對(duì)的目標(biāo)市場(chǎng)不一樣，各種音頻壓縮編碼所達(dá)到的音質(zhì)和壓縮比都不一樣，在后面的文章中我們都會(huì)一一提到。有一點(diǎn)是可以肯定的，他們都?jí)嚎s過。 4、頻率與采樣率的關(guān)系 采樣率表示了每秒對(duì)原始信號(hào)采樣的次數(shù)，我們常見到的音頻文件采樣率多為44.1KHz，這意味著什么呢？假設(shè)我們有2段正弦波信號(hào)，分別為20Hz和20KHz

36、，長度均為一秒鐘，以對(duì)應(yīng)我們能聽到的最低頻和最高頻，分別對(duì)這兩段信號(hào)進(jìn)行40KHz的采樣，我們可以得到一個(gè)什么樣的結(jié)果呢？結(jié)果是：20Hz的信號(hào)每次振動(dòng)被采樣了40K/20=2000次，而20K的信號(hào)每次振動(dòng)只有2次采樣。顯然，在相同的采樣率下，記錄低頻的信息遠(yuǎn)比高頻的詳細(xì)。這也是為什么有些音響發(fā)燒友指責(zé)CD有數(shù)碼聲不夠真實(shí)的原因，CD的44.1KHz采樣也無法保證高頻信號(hào)被較好記錄。要較好的記錄高頻信號(hào)，看來需要更高的采樣率，于是有些朋友在捕捉CD音軌的時(shí)候使用48KHz的采樣率，這是不可取的！這其實(shí)對(duì)音質(zhì)沒有任何好處，對(duì)抓軌軟件來說，保持和CD提供的44.1KHz一樣的采樣率才是最佳音質(zhì)的

37、保證之一，而不是去提高它。較高的采樣率只有相對(duì)模擬信號(hào)的時(shí)候才有用，如果被采樣的信號(hào)是數(shù)字的，請(qǐng)不要去嘗試提高采樣率。 5、流特征 隨著網(wǎng)絡(luò)的發(fā)展，人們對(duì)在線收聽音樂提出了要求，因此也要求音頻文件能夠一邊讀一邊播放，而不需要把這個(gè)文件全部讀出后然后回放，這樣就可以做到不用下載就可以實(shí)現(xiàn)收聽了。也可以做到一邊編碼一邊播放，正是這種特征，可以實(shí)現(xiàn)在線的直播，架設(shè)自己的數(shù)字廣播電臺(tái)成為了現(xiàn)實(shí)。 四、各種主流音頻編碼（或格式）的介紹 1、PCM編碼 PCM 脈沖編碼調(diào)制是Pulse Code Modulation的縮寫。前面的文字我們提到了PCM大致的工作流程，我們不需要關(guān)心PCM最終編碼采用的是什么

38、計(jì)算方式，我們只需要知道PCM編碼的音頻流的優(yōu)點(diǎn)和缺點(diǎn)就可以了。PCM編碼的最大的優(yōu)點(diǎn)就是音質(zhì)好，最大的缺點(diǎn)就是體積大。我們常見的Audio CD就采用了PCM編碼，一張光盤的容量只能容納72分鐘的音樂信息。 2、WAVE 這是一種古老的音頻文件格式，由微軟開發(fā)。WAV是一種文件格式，符合 PIFF Resource Interchange File Format規(guī)范。所有的WAV都有一個(gè)文件頭，這個(gè)文件頭音頻流的編碼參數(shù)。WAV對(duì)音頻流的編碼沒有硬性規(guī)定，除了PCM之外，還有幾乎所有支持ACM規(guī)范的編碼都可以為WAV的音頻流進(jìn)行編碼。很多朋友沒有這個(gè)概念，我們拿AVI做個(gè)示范，因?yàn)锳VI和W

39、AV在文件結(jié)構(gòu)上是非常相似的，不過AVI多了一個(gè)視頻流而已。我們接觸到的AVI有很多種，因此我們經(jīng)常需要安裝一些Decode才能觀看一些AVI，我們接觸到比較多的DivX就是一種視頻編碼，AVI可以采用DivX編碼來壓縮視頻流，當(dāng)然也可以使用其他的編碼壓縮。同樣，WAV也可以使用多種音頻編碼來壓縮其音頻流，不過我們常見的都是音頻流被PCM編碼處理的WAV，但這不表示W(wǎng)AV只能使用PCM編碼，MP3編碼同樣也可以運(yùn)用在WAV中，和AVI一樣，只要安裝好了相應(yīng)的Decode，就可以欣賞這些WAV了。 在Windows平臺(tái)下，基于PCM編碼的WAV是被支持得最好的音頻格式，所有音頻軟件都能完美支持，

40、由于本身可以達(dá)到較高的音質(zhì)的要求，因此，WAV也是音樂編輯創(chuàng)作的首選格式，適合保存音樂素材。因此，基于PCM編碼的WAV被作為了一種中介的格式，常常使用在其他編碼的相互轉(zhuǎn)換之中，例如MP3轉(zhuǎn)換成WMA。 3、 MP3編碼 據(jù)說MP3的由來是由德國某工作室在研究如何抓取CD音軌時(shí)衍生出的計(jì)算機(jī)文件格式。MP3本身是一種壓縮與解壓縮的計(jì)算方式，用來處理高比率的聲音信息。它所生成的聲音文件音質(zhì)接近CD，而文件大小卻只有其十二分之一。MP3是MPEG 1 Layer 3的縮寫，也就是MPEG-1 Audio Layer-3的縮寫。而MPEG這名詞的含義是動(dòng)態(tài)影像壓縮，它是Moving Picture

41、Exp-erts Group的縮寫。我們所了解的VCD就是使用MPEG-1技術(shù)，而DVD則是使用更進(jìn)一步MPEG-2的技術(shù)。MP3是MPEG 里的一項(xiàng)技術(shù)分支，主要用來壓縮聲音。 一共分三個(gè)等級(jí)(Layer)，分別是Layer-1(MP1) ， Layer-2(MP2)和Layer-3(MP3)。MP3是利用 MPEG Audio Layer 3 的技術(shù)，將聲音用1:10甚至1:12的壓縮率，變成容量較小的文件。以一張光碟容量為650M為例，若以CD格式，它只能容納最多74分鐘的音樂；如果做成MP3格式，一張光碟就能放一百多首歌曲。由于MP3的體積小，音質(zhì)有非常接近CD，所以在國際互聯(lián)網(wǎng)上很快

42、流行起來，也成為個(gè)人電腦上重要的音頻格式。由于人耳只能聽到一定頻段內(nèi)的聲音，因此在人耳聽起來，MP3與CD卻沒有什么不同。當(dāng)然，MP3一種失真壓縮，就像圖形文件JPG一樣，因?yàn)槭д鎵嚎s，所以可以壓得很多，也可以調(diào)整壓縮比率，壓得越多失真也越多。從技術(shù)層面來看，是一種音頻壓縮技術(shù)的簡稱。由于這種壓縮方式的全稱叫 ，所以人們把它簡稱為。的音頻壓縮基于這樣一種考慮：因?yàn)槿硕荒苈牭揭欢l段內(nèi)的聲音，而其他更高或更低頻率的聲音對(duì)人耳是沒有用處的，所以技術(shù)就把這部分聲音去掉了，從而使得文件體積大為縮小，但在人耳聽起來，卻并沒有什么失真?？梢詫⒙曇粲玫膲嚎s率進(jìn)行壓縮。以一張光碟容量為為例，若以格式，它只能

43、容納最多分鐘的音樂；如果做成格式，一張光碟就能放一百多首歌曲。由于的體積小，音質(zhì)有非常接近，所以在國際互聯(lián)網(wǎng)上很快流行起來，也成為個(gè)人電腦上重要的音頻格式。同時(shí)，格式音樂的流行也帶動(dòng)了專用播放裝置的出現(xiàn)，并在近年來得到快速發(fā)展。目前市場(chǎng)上流行的設(shè)備從功能和性能上已經(jīng)遠(yuǎn)遠(yuǎn)超出了原來播放器的范疇，逐步發(fā)展成為集音頻播放（包括之外的音樂格式）、錄音復(fù)讀、文本閱讀、移動(dòng)存儲(chǔ)、收音等功能為一體的多媒體掌上設(shè)備。有的高端設(shè)備甚至還集成了音頻編輯處理、電影播放等功能。 MP3的優(yōu)點(diǎn) 由于大大壓縮了文件的體積，所以相同的空間能存儲(chǔ)更多的信息。由于沒有機(jī)械元件，全部是電子元件，所以不存在防震問題，更加適合運(yùn)動(dòng)時(shí)

44、欣賞音樂。另外，MP3可以隨心所欲的進(jìn)行音頻編輯處理，編輯自己喜愛的歌。 MP3的缺點(diǎn) MP3音頻壓縮技術(shù)是一種失真壓縮，因?yàn)槿硕荒苈牭揭欢l段內(nèi)的聲音，而其他更高或更低頻率的聲音對(duì)人耳是沒有用處的，所以MP3 技術(shù)就把這部分聲音去掉了，從而使得文件體積大為縮小。雖然聽上去MP3音樂仍舊具有接近CD的音質(zhì)，但畢竟要比CD稍遜一些。 4、OGG編碼 網(wǎng)絡(luò)上出現(xiàn)了一種叫Ogg Vorbis的音頻編碼，號(hào)稱MP3殺手！Ogg Vorbis究竟什么來頭呢？OGG是一個(gè)龐大的多媒體開發(fā)計(jì)劃的項(xiàng)目名稱，將涉及視頻音頻等方面的編碼開發(fā)。整個(gè)OGG項(xiàng)目計(jì)劃的目的就是向任何人提供完全免費(fèi)多媒體編碼方案！OGG

45、的信念就是：OPEN！FREE！Vorbis這個(gè)詞匯是特里普拉特柴特的幻想小說Small Gods中的一個(gè)花花公子人物名。這個(gè)詞匯成為了OGG項(xiàng)目中音頻編碼的正式命名。目前Vorbis已經(jīng)開發(fā)成功，并且開發(fā)出了編碼器。 Ogg Vorbis是高質(zhì)量的音頻編碼方案，官方數(shù)據(jù)顯示：Ogg Vorbis可以在相對(duì)較低的數(shù)據(jù)速率下實(shí)現(xiàn)比MP3更好的音質(zhì)！Ogg Vorbis這種編碼也遠(yuǎn)比90年代開發(fā)成功的MP3先進(jìn)，她可以支持多聲道，這意味著什么？這意味著Ogg Vorbis在SACD、DTSCD、DVD AUDIO抓軌軟件（目前這種軟件還沒有）的支持下，可以對(duì)所有的聲道進(jìn)行編碼，而不是MP3只能編碼

46、2個(gè)聲道。多聲道音樂的興起，給音樂欣賞帶來了革命性的變化，尤其在欣賞交響時(shí)，會(huì)帶來更多臨場(chǎng)感。這場(chǎng)革命性的變化是MP3無法適應(yīng)的。 和MP3一樣，Ogg Vorbis是一種靈活開放的音頻編碼，能夠在編碼方案已經(jīng)固定下來后還能對(duì)音質(zhì)進(jìn)行明顯的調(diào)節(jié)和新算法的改良。因此，它的聲音質(zhì)量將會(huì)越來越好，和MP3相似，Ogg Vorbis更像一個(gè)音頻編碼框架，可以不斷導(dǎo)入新技術(shù)逐步完善。和MP3一樣，OGG也支持VBR。 5、MPC 編碼 MPC又是另外一個(gè)令人刮目相看的實(shí)力派選手，它的普及過程非常低調(diào)，也沒有什么復(fù)雜的背景故事，她的出現(xiàn)目的就只有一個(gè)，更小的體積更好的音質(zhì)！MPC以前被稱作MP+，很顯然，可以看出她針對(duì)的競(jìng)爭(zhēng)對(duì)手是誰。但是，只要用過這種編碼