多媒體技術應用4視頻處理技術(陳永強)

多媒體技術應用

chenyqwh@163.com2013-2014-22021/5/91第四章視頻處理技術4.1視頻概述

4.1.1視頻的視覺原理

4.1.2模擬視頻4.1.3數(shù)字視頻4.2常用視頻壓縮標準

4.2.1視頻壓縮原理

4.2.2MPEG

4.2.3H.26X4.3常用視頻處理軟件

4.3.1

WindowsMovieMaker

4.3.2AdobePremiere2021/5/92第四章視頻處理技術4.1視頻概述

4.1.1視頻的視覺原理4.1.2模擬視頻4.1.3數(shù)字視頻2021/5/93視覺是人類感知外部世界最重要的途徑之一，人類接受的所有信息中大約有70%來自視覺。視覺接受的信息可分為兩大類：靜止的和運動的。相對靜止的圖形圖像，視頻所含的信息量更豐富、更直觀、更生動。在多媒體技術中，視頻信息的獲取和處理無疑占有舉足輕重的地位，視頻處理技術在目前和將來都是多媒體應用的一個核心技術。2021/5/944.1.1視頻的視覺原理視頻與圖像是兩個既有聯(lián)系又有區(qū)別的概念：靜止的圖片稱為圖像，運動的圖像稱為視頻。二者的信源方式不同，圖像的輸入主要有掃描儀、數(shù)碼相機等設備，而視頻的輸入只能是電視接收機、攝像機、錄像機等可以輸入連續(xù)圖像信號的設備。

2021/5/954.1.1視頻的視覺原理視頻就其本質而言，就是其內容隨時間變化的一組動態(tài)圖像（每秒25或30幀），所以視頻又被稱為運動圖像或活動圖像。視頻信號具有內容隨時間而變化和有與畫面動作同步的聲音（伴音）兩大本質特征。2021/5/96所謂視覺暫留，是指人體的視覺器官在看到的物象消失后，仍可暫時保留視覺的印象。視覺印象在人的眼中大約可保持0.1s。如果兩個視覺印象之間的時間間隔不超過0.1s，那么前一個視覺印象尚未消失，而后一個視覺印象已經(jīng)產(chǎn)生，并與前一個視覺印象融合在一起，就形成視覺暫留現(xiàn)象。

動畫和電影利用的正是人眼的這一視覺暫留特性。

2021/5/974.1.2模擬視頻電視系統(tǒng)的發(fā)展前景是數(shù)字彩色電視，數(shù)字視頻的基礎是模擬視頻，而彩色電視又是在黑白電視的基礎上發(fā)展起來的。2021/5/984.1.2模擬視頻1.電視的基本原理2.電視制式2021/5/994.1.2模擬視頻1.電視的基本原理電視的基本工作原理為順序掃描和傳輸圖像信號，然后在接收端同步再現(xiàn)。主要有逐行掃描和隔行掃描兩種掃描方式。逐行掃描有圖像垂直清晰度高，空間處理效果好，有利于電視轉換和制式轉換，以及改善視頻壓縮效率等優(yōu)點。相對隔行掃描而言，逐行掃描主要有碼率高，行掃描頻率高和硬件復雜度增大等缺點。2021/5/9104.1.2模擬視頻1.電視的基本原理電視系統(tǒng)大都采用隔行掃描，因為隔行掃描能節(jié)省頻帶，且硬件實現(xiàn)簡單。隔行掃描的行集合為場，一幀由兩個場組成。一幀電視信號稱為一個全電視信號，由奇數(shù)場行信號、偶數(shù)場行信號及同步信號順序構成，見圖4-2。

2021/5/9114.1.2模擬視頻1.電視的基本原理圖4-2隔行掃描一幀信號的合成過程2021/5/9124.1.2模擬視頻2.電視制式電視制式就是用來實現(xiàn)電視圖像信號和伴音信號或其他信號傳輸?shù)姆椒?，電視圖像的顯示格式，以及這種方法和電視圖像顯示格式所采用的技術標準。對于模擬電視，有黑白電視制式、彩色電視制式及伴音制式等；對于數(shù)字電視，有圖像信號、音頻信號壓縮編碼格式（信源編碼）、TS流（TransportStream）編碼格式（信道編碼）、數(shù)字信號調制格式及圖像顯示格式等制式。

2021/5/9134.1.2模擬視頻2.電視制式為了實現(xiàn)黑白和彩色信號的兼容，色度編碼對副載波的調制有三種不同方法，形成了三種彩色電視制式：NTSC制式、PAL制式和SECAM制式。2021/5/9144.1.2模擬視頻2.電視制式1）NTSC制式即正交平衡調幅制式，1953年由美國全國電視標準委員會（NationalTelevisionSystemCommittee）制定，分為NTST-M、NTSC-N等，主要使用國家包括美國、加拿大、日本、韓國、菲律賓等。2021/5/9154.1.2模擬視頻2.電視制式2）PAL制式即正交平衡調幅逐行倒相制式。1967年由西德創(chuàng)立，主要使用國家包括中國、德國、英國、意大利、荷蘭等。分為PAL-B、PAL-I、PAL-M、PAL-N和PAL-D等，中國的電視播放制式為PAL-D。2021/5/9164.1.2模擬視頻2.電視制式3）SECAM制式即順序傳送與存儲彩色電視系統(tǒng)。1966年由法國研制成功，分為SECAM-D/K等。主要使用國家包括俄羅斯、前蘇聯(lián)和東歐國家及部分非洲國家。2021/5/9174.1.3數(shù)字視頻1.數(shù)字視頻的特點2.數(shù)字視頻的發(fā)展史3.數(shù)字視頻的常用格式2021/5/9184.1.3數(shù)字視頻1.數(shù)字視頻的特點數(shù)字視頻是模擬視頻數(shù)字化的結果。相對模擬視頻，數(shù)字視頻有如下特點：適合網(wǎng)絡應用再現(xiàn)性好便于編輯處理2021/5/9194.1.3數(shù)字視頻2.數(shù)字視頻的發(fā)展史自20世紀40年代計算機誕生以來，從計算機所能處理的信息類型這個角度來看，計算機大約經(jīng)歷了以下三個發(fā)展階段。

1）數(shù)值計算階段2）數(shù)據(jù)處理階段3）多媒體階段2021/5/9204.1.3數(shù)字視頻2.數(shù)字視頻的發(fā)展史初級階段，其主要特點就是在臺式計算機上增加簡單的視頻功能。主流階段，數(shù)字視頻在計算機中得到廣泛應用，成為主流。高級階段，普通個人計算機進入了成熟的多媒體計算機時代。2021/5/9214.1.3數(shù)字視頻3.數(shù)字視頻的常用格式視頻格式可以分為適合本地播放的本地影像視頻和適合在網(wǎng)絡中播放的網(wǎng)絡流媒體影像視頻兩大類。網(wǎng)絡流媒體影像視頻的廣泛傳播性使之正被廣泛應用于視頻點播、網(wǎng)絡演示、遠程教育、網(wǎng)絡視頻廣告等因特網(wǎng)信息服務領域。2021/5/9224.1.3數(shù)字視頻3.數(shù)字視頻的常用格式AVI英文全稱為AudioVideoInterleaved，即音頻/視頻交錯格式。顧名思義，是將語音和影像同步組合在一起的文件格式。RM（RealMedia）格式是RealNetworks公司開發(fā)的一種新型流式視頻文件格式。RMVB格式是一種由RM視頻格式升級延伸出的新視頻格式，它的先進之處在于RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式。2021/5/9234.1.3數(shù)字視頻3.數(shù)字視頻的常用格式MOV即QuickTime影片格式，它是Apple公司開發(fā)的一種音頻、視頻文件格式，用于存儲常用數(shù)字媒體類型。ASF是微軟公司W(wǎng)indowsMedia的核心。這是一種包含音頻、視頻、圖像以及控制命令腳本的數(shù)據(jù)格式。WMV的英文全稱為WindowsMediaVideo，也是微軟推出的一種采用獨立編碼方式，并且可以直接在網(wǎng)上實時觀看視頻節(jié)目的文件壓縮格式。2021/5/924第四章視頻處理技術4.2常用視頻壓縮標準4.2.1視頻壓縮原理4.2.2MPEG4.2.3H.26X2021/5/925視頻壓縮標準有H.26X和MPEG。比較而言，H.26X僅僅是視頻編碼的標準，而MPEG既包括視頻編碼標準，也包括音頻編碼標準和視音同步標準。2021/5/9264.2.1視頻壓縮原理視頻壓縮的目標是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。

1.基本概念2.壓縮策略2021/5/9274.2.1視頻壓縮原理1.基本概念（1）有損和無損壓縮

無損壓縮也即壓縮前和解壓縮后的數(shù)據(jù)完全一致。多數(shù)的無損壓縮都采用RLE行程編碼算法。有損壓縮意味著解壓縮后的數(shù)據(jù)與壓縮前的數(shù)據(jù)不一致。在壓縮的過程中要丟失一些人眼和人耳所不敏感的圖像或音頻信息，而且丟失的信息不可恢復。

（2）幀內和幀間壓縮

幀內（Intraframe）壓縮一般采用有損壓縮算法，幀內壓縮一般達不到很高的壓縮。幀間（Interframe）壓縮通過比較時間軸上不同幀之間的數(shù)據(jù)進行壓縮。幀間壓縮一般是無損的。

2021/5/9284.2.1視頻壓縮原理1.基本概念（3）對稱和不對稱編碼

對稱性（symmetric）是壓縮編碼的一個關鍵特征。對稱意味著壓縮和解壓縮占用相同的計算處理能力和時間，對稱算法適合于實時壓縮和傳送視頻。不對稱（asymmetric）編碼，不對稱或非對稱意味著壓縮時需要花費大量的處理能力和時間，而解壓縮時則能較好地實時回放，也即以不同的速度進行壓縮和解壓縮。（4）位速率

位速率是指在一個數(shù)據(jù)流中每秒鐘能通過的信息量。2021/5/9294.2.1視頻壓縮原理2.壓縮策略（1）去掉相關性視頻圖像數(shù)據(jù)有很強的相關性，也就是說有大量的冗余信息。其中冗余信息可分為空域冗余信息和時域冗余信息。使用幀間編碼技術可去掉時域冗余信息，包括以下三部分：運動補償運動表示運動估計使用幀間編碼技術和熵編碼技術可以去掉空域冗余信息，主要的編碼方法有：變換編碼量化編碼熵編碼2021/5/9304.2.1視頻壓縮原理2.壓縮策略（2）心理聲學音頻壓縮

心理聲學指“人腦解釋聲音的方式”。壓縮音頻的所有形式都是用功能強大的算法將聽不到的音頻信息去掉。

（3）心理視覺視頻壓縮

心理視覺視頻壓縮與和其對等的音頻壓縮相似。心理視覺模型去掉的不是聽不到的音頻數(shù)據(jù)，而是去掉眼睛不需要的視頻數(shù)據(jù)。

2021/5/9314.2.2MPEGMPEG的全稱應該是MovingPicturesExpertsGroup（即動態(tài)圖像專家組），由ISO與IEC于1988年聯(lián)合成立，致力于運動圖像（MPEG視頻）及其伴音編碼（MPEG音頻）標準化工作。這個專家組開發(fā)的標準稱為MPEG標準，到目前為止，MPEG的主要標準有五個：2021/5/9324.2.2MPEG1.MPEG-1（數(shù)字電視標準）2.MPEG-2（數(shù)字電視標準）3.MPEG-4（多媒體應用標準）4.MPEG-7（多媒體內容描述接口標準）5.MPEG-21（多媒體框架標準）2021/5/9334.2.2MPEG1.MPEG-1（數(shù)字電視標準）MPEG-1標準（ISO/IEC11172）制定于1992年，是針對1.5Mbps以下數(shù)據(jù)傳輸率的數(shù)字存儲媒體運動圖像及其伴音編碼設計的國際標準。2021/5/9344.2.2MPEG1.MPEG-1（數(shù)字電視標準）MPEG-1標準體系共分為以下5個部分:系統(tǒng)（System）：規(guī)定視頻數(shù)據(jù)、聲音數(shù)據(jù)及其他相關數(shù)據(jù)的同步；視頻（Video）：規(guī)定視頻數(shù)據(jù)的編碼和解碼；音頻（Audio）：規(guī)定聲音數(shù)據(jù)的編碼和解碼；一致性測試（ConformanceTesting）：詳細說明如何測試比特數(shù)據(jù)流（Bitstreams）和解碼器是否滿足MPEG-1前三個部分中所規(guī)定的要求，編碼器制造商和客戶均可以使用這些方法來測試編碼器產(chǎn)生的碼流是否正確；軟件仿真（SoftwareSimulation）：從技術角度來說，這部分不能算是標準，只是一種技術報告，描述了MPEG-1標準的前三個部分的軟件實現(xiàn)，但源代碼是不公開的。

2021/5/9354.2.2MPEG2.MPEG-2（數(shù)字電視標準）MPEG-2標準（ISO/IEC13818）制定于1994年，是針對3～10Mbps的數(shù)據(jù)傳輸率制定的運動圖像及其伴音編碼的國際標準。MPEG-2的編碼圖像被分為三類，分別稱為I幀，P幀和B幀。為更好地表示編碼數(shù)據(jù)，MPEG-2用句法規(guī)定了一個層次性結構。它分為六層，自上到下分別是：圖像序列層、圖像組、圖像、宏塊條、宏塊、塊。

2021/5/9364.2.2MPEG2.MPEG-2（數(shù)字電視標準）MPEG-2標準體系共分為以下9個部分：1）系統(tǒng)（System）2）視頻（Video）3）音頻（Audio）4）一致性測試（ConformanceTesting）5）軟件仿真（SoftwareSimulation）6）數(shù)字存儲媒體命令和控制擴展協(xié)議（DigitalStorageMediaCommandandControl，DSM-CC）7）高級音頻編碼（AdvancedAudioCoding，AAC）8）原計劃用于采樣精度為10位的音頻編碼，但由于工業(yè)界對此興趣不大，現(xiàn)已停止；9）規(guī)定了傳送碼流的實時接口。

2021/5/9374.2.2MPEG3.MPEG-4（多媒體應用標準）MPEG-4于1998年11月公布，是針對一定比特率下的視頻、音頻編碼，更加注重多媒體系統(tǒng)的交互性和靈活性。為此，MPEG-4引入了AV對象（Audio-VideoObjects），使得更多的交互操作成為可能。2021/5/9384.2.2MPEG3.MPEG-4（多媒體應用標準）MPEG-4對AV對象的操作主要有以下五種：1）采用AV對象來表示聽覺、視覺或者視聽組合內容；2）組合已有的AV對象來生成復合的AV對象，并由此生成

AV場景；3）對AV對象的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適

的網(wǎng)絡來傳輸這些AV對象數(shù)據(jù)；4）允許接收端的用戶在AV場景中對AV對象進行交互操作等；5）MPEG-4支持AV對象知識產(chǎn)權與保護。2021/5/9394.2.2MPEG3.MPEG-4（多媒體應用標準）MPEG-4標準則由以下6個主要部分構成：1）系統(tǒng)（System）2）視頻（Video）3）音頻（Audio）4）一致性測試（ConformanceTesting）5）參考軟件（ReferenceSoftware）6）多媒體傳送整體框架（DeliveriesMultimediaIntegration

Framework，DMIF）2021/5/9404.2.2MPEG4.MPEG-7（多媒體內容描述接口標準）MPEG-7的工作于1996年啟動，名稱叫做多媒體內容描述接口（MultimediaContentDescriptionInterface，MCDI），目的是制定一套描述符標準，用來描述各種類型的多媒體信息及它們之間的關系，以便更快更有效地檢索信息。2021/5/9414.2.2MPEG4.MPEG-7（多媒體內容描述接口標準）MPEG-7的處理鏈：特征抽取內容描述檢索工具MPEG-7的處理范圍圖4-3MPEG-7的范圍2021/5/9424.2.2MPEG4.MPEG-7（多媒體內容描述接口標準）MPEG-7的目標如下：①支持多種音頻和視覺的描述。②根據(jù)信息的抽象層次，提供一種描述多媒體材料的方法以便表示不同層次上的用戶對信息的需求。③支持數(shù)據(jù)管理的靈活性、數(shù)據(jù)資源的全球化和互操作性。2021/5/9434.2.2MPEG4.MPEG-7（多媒體內容描述接口標準）MPEG-7由以下幾部分組成：1）系統(tǒng)（System）2）描述定義語言（DescriptionDefinitionLanguage，DDL）3）視頻（Video）4）音頻（Audio）5）多媒體描述方案（MultimediaDescriptionSchemes，MMDS）6）參考軟件（ReferenceSoftware）7）一致性測試（ConformanceTesting）2021/5/9444.2.2MPEG5.MPEG-21（多媒體框架標準）制定MPEG-21標準的目的是：1）將不同的協(xié)議、標準、技術等有機地融合在一起。2）制定新的標準。3）將這些不同的標準集成在一起。2021/5/9454.2.2MPEG5.MPEG-21（多媒體框架標準）MPEG-21的基本框架要素包括：數(shù)字項目說明多媒體內容表示數(shù)字項目的識別和描述內容管理與使用知識產(chǎn)權管理和保護終端和網(wǎng)絡事件報告2021/5/9464.2.3H.26XH.26X是ITU-T研究和制定的一系列視頻編碼的國際標準。其中應用最為廣泛的是H.261、H.262、H.263和H.264。2021/5/9474.2.3H.26X1.H.2612.H.2623.H.2634.H.2642021/5/9484.2.3H.26X1.H.261H.261標準也稱p×64，是視頻編碼的先驅者。H.261標準的出發(fā)點是為了實現(xiàn)在綜合業(yè)務數(shù)字網(wǎng)（IntegratedServicesDigitalNetwork，ISDN）上進行電視電話和電視會議，主要針對實時編碼和解碼而設計的。2021/5/9494.2.3H.26X1.H.261與H.261有關的國際標準：H.320：窄帶可視電話系統(tǒng)和終端設備H.221：視聽電信業(yè)務中64～1920Kb/s信道的幀結構H.230：視聽系統(tǒng)的幀同步控制和指示信號H.242：不超過2Mb/s數(shù)字信道的視聽終端的通信標準

2021/5/9504.2.3H.26X2.H.262ITU-T于1990年成立了“ATM視頻編碼專家組”，負責制定適用于B-ISDN（BroadbandIntegratedServiceDigitalNetwork，寬帶綜合