多媒體技術(shù)-數(shù)字視頻

1、第七章 數(shù)字視頻視頻信息的數(shù)字化視頻卡MPEG規(guī)范7.1模擬視頻和數(shù)字視頻數(shù)字視頻是指以數(shù)字化方式記錄的延續(xù)變化的圖像信息。例如VCD電影、DVD電影 模擬視頻模擬視頻是指在時(shí)間和幅度上(空間)都是延續(xù)的信號(hào)。比如：電視機(jī)、錄像機(jī)等均采用模擬視頻。 數(shù)字視頻7.2視頻數(shù)字化模擬視頻采樣方式的復(fù)雜性是空間的函數(shù)也是時(shí)間的函數(shù)隔行掃描方式模擬視頻數(shù)字化過(guò)程普通采用分量數(shù)字化方式1)先把復(fù)合視頻信號(hào)中的亮度和色度分別，得到Y(jié)UV或YIQ分量2)然后用三個(gè)模/數(shù)轉(zhuǎn)換器對(duì)三個(gè)分量分別進(jìn)展數(shù)字化3)最后再轉(zhuǎn)換成RGB空間。采樣格式根據(jù)電視信號(hào)的特征，亮度信號(hào)的帶寬是色度信號(hào)帶寬的兩倍數(shù)字化時(shí)可采用幅色采樣

2、法，即對(duì)信號(hào)的色差分量的采樣率低于對(duì)亮度分量的采樣率用Y：U：V來(lái)表示YUV三分量的采樣比例，那么數(shù)字視頻的采樣格式分別有4：1：1、4：2：2和4：4：4三種。分量采樣時(shí)采到的是隔行樣本點(diǎn)，要把隔行樣本組合成逐行樣本，然后進(jìn)展樣本點(diǎn)的量化，YUV到RGB顏色空間的轉(zhuǎn)換等等，最后才干得到數(shù)字視頻數(shù)據(jù)。數(shù)字視頻規(guī)范CCIR 601規(guī)范廣播級(jí)質(zhì)量的數(shù)字電視編碼規(guī)范目的：在PAL、NTSC和 SECAM電視制式之間確定共同的數(shù)字化參數(shù)該規(guī)范對(duì)采樣頻率、采樣構(gòu)造、顏色空間轉(zhuǎn)換等都作了嚴(yán)厲的規(guī)定。2、分辨率與幀率1、采樣頻率為f s13.5MHz3、不同的采樣格式下的數(shù)字視頻數(shù)據(jù)量：在視頻信息的處置及運(yùn)

3、用過(guò)程中緊縮和解緊縮技術(shù)非常必要。視頻緊縮包括對(duì)視頻信息本身的緊縮以及伴隨在視頻信息中的音頻信息的緊縮。 目前的規(guī)范：MPEG I、 MPEG II、MPEG 47.3 視頻文件的緊縮7.4 視頻卡及其分類(lèi)基于PC機(jī)的一種多媒體視頻信號(hào)處置平臺(tái)可以聚集的信息源有：視頻源音頻源激光視盤(pán)機(jī)錄像機(jī)攝像機(jī)視頻卡任務(wù)過(guò)程：信 源數(shù)字化硬件壓 縮存 儲(chǔ)傳 輸解緊縮作用將視頻信號(hào)延續(xù)轉(zhuǎn)換成計(jì)算機(jī)存儲(chǔ)的數(shù)字視頻信號(hào)，保管在計(jì)算機(jī)中或顯示在屏幕上。視頻采集卡視頻信號(hào)采集模塊音頻信號(hào)采集模塊總線(xiàn)接口模塊將模擬視頻信號(hào)轉(zhuǎn)換成數(shù)字視頻信號(hào)，并送到計(jì)算機(jī)中音頻信息采集過(guò)程中完成對(duì)聲音的預(yù)處置和模數(shù)轉(zhuǎn)換。實(shí)現(xiàn)對(duì)視頻、音頻

4、信息采集的控制，并將采樣、量化后的數(shù)字信息存儲(chǔ)到計(jì)算機(jī)內(nèi)部視 頻 采 集 卡圖形加速卡對(duì)二維或三維圖形數(shù)據(jù)進(jìn)展硬件加速處置視頻解壓卡用于視頻重放，可以非?？焖俚貙⒕o縮保管的數(shù)字視頻信號(hào)解緊縮并在顯示器上播放出來(lái)。電視卡電視轉(zhuǎn)換卡將規(guī)范的電視信號(hào)(NTSC、PAL等)轉(zhuǎn)換成VGA信號(hào)在計(jì)算機(jī)顯示。 將計(jì)算機(jī)VGA信號(hào)轉(zhuǎn)換成規(guī)范電視信號(hào)在電視上播放或進(jìn)展錄像。TV編碼器即使是運(yùn)動(dòng)的部分，也多為簡(jiǎn)單的平移。7.5 視頻的緊縮MPEG規(guī)范幀與幀之間的時(shí)間相關(guān)性：動(dòng)態(tài)圖像以每秒24或25幀播放，在如此短的時(shí)間內(nèi)，畫(huà)面常不會(huì)有大的變化。在畫(huà)面中變化的只是運(yùn)動(dòng)的部分，靜止的部分往往占有較大的面積。動(dòng)態(tài)圖像緊

5、縮的根本思緒用差別幀替代原來(lái)的幀，以提示幀間的相關(guān)性，這是動(dòng)態(tài)圖像緊縮的根本出發(fā)點(diǎn)。幀與幀之間存在相關(guān)性，因此可以將相鄰的畫(huà)面相減。例如將第1幀記作A，第2幀記作B，定義B=B-A。兩幀相減是將后一幀畫(huà)面B中的每一個(gè)點(diǎn)的像素值減去前一幀畫(huà)面A中相應(yīng)點(diǎn)的像素值，其結(jié)果稱(chēng)為差別幀。由于差別幀的緊縮是有損的。上述方式在緊縮和解緊縮時(shí)將發(fā)生誤差的積累，積累到一定程度，會(huì)呵斥很大的失真。差別幀也帶來(lái)了新的問(wèn)題假設(shè)只保管第1幀，其他幀采用差別幀。那么后面的每一幀都需求從前一幀計(jì)算出來(lái)，恢復(fù)時(shí)也必需一幀幀順序進(jìn)展。這樣就無(wú)法從想跳到的某一點(diǎn)進(jìn)展播放，很不方便。一旦某一幀數(shù)據(jù)出了問(wèn)題，后面的幀更無(wú)法恢復(fù)。關(guān)于

6、后兩點(diǎn)，可以采取運(yùn)動(dòng)補(bǔ)償?shù)姆椒右蕴幚?。?jīng)過(guò)計(jì)算兩個(gè)畫(huà)面中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)矢量，跟蹤畫(huà)面中的運(yùn)動(dòng)部分進(jìn)展預(yù)測(cè)，并經(jīng)過(guò)畫(huà)面挪動(dòng)去“迎合后續(xù)幀的方式來(lái)產(chǎn)生差別幀的方法，叫做“運(yùn)動(dòng)補(bǔ)償。圖像整體運(yùn)動(dòng)也是動(dòng)態(tài)圖像經(jīng)常采用的表現(xiàn)手法，假設(shè)干次簡(jiǎn)單的相減，差別幀就不能很好地提示相鄰幀之間的相關(guān)性，也不能夠得到高的緊縮比。差別幀只能提示活動(dòng)圖像中靜止部分的相關(guān)性。對(duì)差別幀比對(duì)原來(lái)的幀更難緊縮。MPEG規(guī)范Motion Picture Experts GroupMPEG-IMPEG-IIMPEG-IVMPEG-VIIMPEG-21MPEG -規(guī)范ISO/IEC11172-的目的傳輸速率1.5Mbps視頻信號(hào)電視

7、質(zhì)量亮度信號(hào)的分辨率360240色度信號(hào)的分辨率180120每秒30幀MPEG-規(guī)范的內(nèi)容MPEG系統(tǒng)ISO/IEC11172-1MPEG視頻ISO/IEC11172-2MPEG音頻ISO/IEC11172-3測(cè)實(shí)驗(yàn)證ISO/IEC11172-4MPEG涉及的問(wèn)題是視頻緊縮、音頻緊縮及多種緊縮數(shù)據(jù)流的復(fù)合和同步問(wèn)題。 MPEG對(duì)視頻和音頻緊縮的方法、緊縮后數(shù)據(jù)的儲(chǔ)存和傳輸?shù)母袷降确矫婢髁嗽敿?xì)的規(guī)定。例如：在視頻緊縮方面，采用運(yùn)動(dòng)補(bǔ)償來(lái)減少幀序列間的時(shí)間冗余信息；用離散余弦變換(DCT)技術(shù)來(lái)減少幀序列間的空間冗余信息；為處理高緊縮比和隨機(jī)播放的要求，還采用了預(yù)測(cè)和插補(bǔ)等幀間技術(shù)。 時(shí)間冗余量

8、的減少為了減少時(shí)間冗余量，MPEG將1/30秒時(shí)間間隔的幀序列電視圖像，以三種類(lèi)型的圖像格式表示：內(nèi)碼幀I預(yù)測(cè)幀P插補(bǔ)幀B另有第四種類(lèi)型幀是D幀，它是一種公用幀格式，僅僅用于實(shí)現(xiàn)快速查詢(xún)中。I幀，又稱(chēng)內(nèi)碼幀，是完好的獨(dú)立編碼的圖像，是不能由其他幀構(gòu)造的幀，必需存儲(chǔ)或傳輸。 P幀，也稱(chēng)為預(yù)測(cè)幀，經(jīng)過(guò)對(duì)它之前的I幀進(jìn)展預(yù)測(cè)，對(duì)預(yù)測(cè)誤差作有條件的存儲(chǔ)和傳輸。B幀，又稱(chēng)為雙向幀或插補(bǔ)幀，是根據(jù)其前后的I幀或者P幀的信息進(jìn)展插值編碼而獲得。該過(guò)程有時(shí)也稱(chēng)為雙向插值。運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)法運(yùn)動(dòng)補(bǔ)償插補(bǔ)法畫(huà)面上的運(yùn)動(dòng)部分在幀與幀之間必然有延續(xù)性，預(yù)測(cè)法根據(jù)這一特性，將當(dāng)前的圖像畫(huà)面看作是前面某時(shí)辰圖像的位移

9、，位移的幅度和方向在圖像畫(huà)面的各處可有不同。用插補(bǔ)的方法進(jìn)展運(yùn)動(dòng)的補(bǔ)償，可以大幅度地緊縮運(yùn)動(dòng)圖像的信息。MPEG的位流分層構(gòu)造有效性是MPEG緊縮算法需求對(duì)附加信息，如位移域、量化器步長(zhǎng)、預(yù)測(cè)器或插值類(lèi)型等，提供有效的管理。 MPEG視頻圖像數(shù)據(jù)流是一個(gè)分層構(gòu)造。目的是把位流中邏輯上獨(dú)立的實(shí)體分開(kāi)，防止語(yǔ)意模糊，并減輕解碼過(guò)程的負(fù)擔(dān)。對(duì)分層的要求是支持通用性、靈敏性和有效性。通用性的含義是使MPEG規(guī)范的語(yǔ)法規(guī)定可滿(mǎn)足不同的運(yùn)用要求；靈敏性可經(jīng)過(guò)視頻序列頭上所定義的許多參數(shù)來(lái)闡明；MPEG視頻位流分層構(gòu)造共包括6層：圖像序列層圖像組層圖像層宏塊片層宏塊層塊層隨機(jī)存取單元：上下文隨機(jī)存取單元：視

10、頻編碼根本編碼單元重同步單元運(yùn)動(dòng)補(bǔ)償單元DCT單元每一個(gè)層的開(kāi)場(chǎng)有一個(gè)頭，作為闡明參數(shù)。在圖像序列層的頭中，裝有視頻序列參數(shù)，如圖像寬度、圖像高度、像素長(zhǎng)寬比、楨率、位率、緩沖區(qū)尺寸等。 每一層支持一個(gè)確定的函數(shù)，或是一個(gè)信號(hào)處置函數(shù)DCT，運(yùn)動(dòng)補(bǔ)償，或是一個(gè)邏輯函數(shù)同步，隨機(jī)存取點(diǎn)等。MPEG-II系統(tǒng)支持的根本功能：解碼時(shí)多緊縮流的同步；將多個(gè)緊縮流交錯(cuò)成單個(gè)的數(shù)據(jù)流；解碼時(shí)緩沖器初始化；緩沖區(qū)管理和時(shí)間識(shí)別。 MPEG-II規(guī)范包括MPEG系統(tǒng)、MPEG視頻、MPEG音頻和一致性四大部分內(nèi)容。MPEG-II規(guī)范的系統(tǒng)功能是將一個(gè)或更多的音頻、視頻或其他的根本數(shù)據(jù)流合成單個(gè)或多個(gè)數(shù)據(jù)流，以

11、順應(yīng)于存儲(chǔ)和傳送。MPEG-視頻視頻分量的位速率范圍大約為2到15Mbps與MPEG-視頻體系向下兼容力求滿(mǎn)足數(shù)字存儲(chǔ)媒體、可視、數(shù)字電視、高明晰度電視HDTV、通訊網(wǎng)絡(luò)等領(lǐng)域的運(yùn)用。分辨率低 352288中 720480次高14401080高 19201080高速緊縮基于內(nèi)容交互基于內(nèi)容分級(jí)擴(kuò)展具有基于內(nèi)容方式表示的視頻數(shù)據(jù)MPEG-IV規(guī)范MPEG-是以?xún)?nèi)容為中心的描畫(huà)方法，對(duì)信息元的描畫(huà)更加符合人的心思，不僅可以獲得比現(xiàn)有規(guī)范更為優(yōu)越的性能，還提供了各種新的功能。特點(diǎn)復(fù)合。將各個(gè)VO的碼流復(fù)合成一個(gè)符合MPEG-4規(guī)范的位流?；趦?nèi)容的視頻編碼過(guò)程VO的構(gòu)成。先從原始視頻流中分割出VO。

12、編碼。對(duì)各VO分別獨(dú)立編碼，即對(duì)不同VO的運(yùn)動(dòng)信息、外形信息和紋理信息這三類(lèi)信息分別編碼，分配不同的碼字。在編碼和復(fù)合階段可以參與用戶(hù)的交互控制或由智能化算法進(jìn)展控制。7.6視頻文件格式一種MPEG多媒體格式用于緊縮和儲(chǔ)存音頻和視頻分辨率為 352 x 240 象素幀速率為每秒 25 幀(PAL)可提供與錄像帶同等質(zhì)量的視頻。MPEG1MPEG2一種MPEG多媒體格式用于緊縮、儲(chǔ)存音頻及視頻供廣播質(zhì)量的運(yùn)用程序運(yùn)用定義了支持添加封鎖式字幕和各種言語(yǔ)通道功能的協(xié)議。AVIAudio/Video Interleave音頻/視頻交錯(cuò),在A(yíng)VI文件中，運(yùn)動(dòng)圖像和伴音數(shù)據(jù)是以交錯(cuò)的方式存儲(chǔ)，并獨(dú)立于硬件

13、設(shè)備。讀取視頻數(shù)據(jù)流時(shí)能更有效地從存儲(chǔ)媒介得到延續(xù)的信息。一種用于 Windows 系統(tǒng)的 Microsoft 多媒體視頻格式。AVI格式主要參數(shù)視頻參數(shù)視窗尺寸(Video size)幀率(Frames per second)音頻參數(shù)WAV文件參數(shù)視頻與伴音的交錯(cuò)參數(shù)同步控制Synchronization緊縮參數(shù)AVI格式的特點(diǎn)提供無(wú)硬件視頻回放功能實(shí)現(xiàn)同步控制和實(shí)時(shí)播放可以高效地播放存儲(chǔ)在硬盤(pán)和光盤(pán)上的AVI文件提供了開(kāi)放的AVI數(shù)字視頻文件構(gòu)造：AVI文件可以再編輯AVI的緊縮算法沒(méi)有一致規(guī)范Microsoft公司推出AVI文件格式時(shí)，同時(shí)推出了一種緊縮算法由于A(yíng)VI的開(kāi)放性，其它公司的

14、緊縮算法也可參與其中。實(shí)現(xiàn)方法 把該算法的驅(qū)動(dòng)參與到Windows系統(tǒng)中DIVXMPEG4運(yùn)用 MPEG4 緊縮算法可以實(shí)現(xiàn)高緊縮比。文件擴(kuò)展名AVIDVDCD-ROMCD-ROM對(duì)計(jì)算機(jī)配置的要求CPU 主頻300MHz 以上64 兆的內(nèi)存8兆顯存的顯卡播放軟件Windows Media PlayerMPEG4 編碼器DIVX 5.0.5IDVX字幕支持軟件VobSubMOVMovie digital video technologyApple公司推出的一種視頻格式相應(yīng)的視頻運(yùn)用軟件為QuickTime。可以采用不緊縮或緊縮的方式緊縮算法包括Cinepak、Intel Indeo Video R3.2 和Video編碼。Real VideoReal Networks公司流媒體(Streaming Video)文件格式文件擴(kuò)展名RA、RAM、RMVBReal Networks 編碼RealProducerRealProducer Plus/Pro加強(qiáng)功能，需付費(fèi)購(gòu)買(mǎi)根本功能，可免費(fèi)下載在用 56K MODEM 撥號(hào)上網(wǎng)的條件下實(shí)現(xiàn)不延續(xù)的視頻播放ASFAdvanced Streaming Format采用 MPEG4 的緊縮算法一種流媒體格式網(wǎng)絡(luò)運(yùn)用的ASF圖象質(zhì)量比 V