淺析視頻和圖像編輯技術(shù)

1、.淺析視頻和圖像編輯技術(shù)摘要：多媒體存儲(chǔ)、壓縮技術(shù)以及網(wǎng)絡(luò)技術(shù)的發(fā)展使圖像和視頻信息日益劇增，在生活、娛樂、教育、醫(yī)療等諸多領(lǐng)域都產(chǎn)生了大量的圖片和視頻數(shù)據(jù)。用戶在進(jìn)行圖像、視頻信息的訪問時(shí)己不僅僅是被動(dòng)的瀏覽者，越來越多的用戶需要人性化的系統(tǒng)來輔助他們對(duì)信息進(jìn)行瀏覽、檢索、編輯以及制作等操作。來自電影、電視工業(yè)的經(jīng)驗(yàn)表明，對(duì)圖像或視頻進(jìn)行特殊的編輯、操作和處理，是與觀眾進(jìn)行交流、引發(fā)觀眾興趣的有效手段。關(guān)鍵詞：視頻，圖像，編輯技術(shù)視頻和圖像編輯的基本框架視頻圖像編輯是通過對(duì)視頻或圖像信息內(nèi)容分析，根據(jù)用戶或系統(tǒng)的需求編輯、處理信息的過程。傳統(tǒng)的編輯采用線性編輯技術(shù)，按照信息記錄順序，從磁帶中

2、重放數(shù)據(jù)來進(jìn)行編輯，其需要較多的外部設(shè)備，如放像機(jī)、錄像機(jī)、特技發(fā)生器、字幕機(jī)等，編輯制作流程十分復(fù)雜。線性編輯過程中，視頻或圖像的編輯、音頻編輯、特技效果、字幕處理需要分別在編輯機(jī)、調(diào)音臺(tái)、特技機(jī)、字幕機(jī)等不同的硬件設(shè)備中進(jìn)行處理，無法一次性合成，涉及到設(shè)備的使用和人員分工合作等問題，效率不高。素材檢索要按照時(shí)間順序操作，重復(fù)工作多，機(jī)器磨損大。在編輯過程中素材的順序不能調(diào)整，也不能隨意插入，限制了節(jié)目制作的靈活性。非線性編輯是于20世紀(jì)90年代提出的影視編輯制作技術(shù)，它將傳統(tǒng)視頻圖像編輯技術(shù)與計(jì)算機(jī)技術(shù)相結(jié)合，通過硬件和軟件的支持而實(shí)現(xiàn)。從狹義上講，非線性編輯是指編輯處理素材無需在存儲(chǔ)介質(zhì)

3、上重新安排它們的順序;從廣義上講，它是指在用計(jì)算機(jī)編輯視頻或圖像的同時(shí)還能實(shí)現(xiàn)特殊的處理效果;從本質(zhì)上講，非線性編輯就是把傳統(tǒng)視頻圖像編輯設(shè)備中的特技機(jī)、切換臺(tái)、錄像機(jī)、調(diào)音臺(tái)、編輯機(jī)、字幕機(jī)等設(shè)備用計(jì)算機(jī)平臺(tái)代替，對(duì)輸入的信號(hào)進(jìn)行數(shù)字化處理匯。非線性編輯借助計(jì)算機(jī)來進(jìn)行數(shù)字化制作，將傳統(tǒng)線性編輯要完成的工作放在計(jì)算機(jī)的非線性編輯系統(tǒng)中來實(shí)現(xiàn)。其實(shí)現(xiàn)不需要太多的外部設(shè)備，對(duì)素材的調(diào)用可以瞬間完成，不用反反復(fù)復(fù)地在磁帶上進(jìn)行尋找，突破傳統(tǒng)線性編輯的按時(shí)間順序處理的限制，可以按各種順序排列，改變了工作流程，縮短了制作周期。此外，非線性編輯對(duì)視頻或圖像只要通過一次上傳，就可以進(jìn)行多次的編輯，并且其信

4、號(hào)質(zhì)量始終不會(huì)降低，所以節(jié)省了人力、設(shè)備，大大提高了制作質(zhì)量和水平。目前大多數(shù)的電視電影制作機(jī)構(gòu)都采用了非線性編輯系統(tǒng)，非線性編輯系統(tǒng)通過視頻圖像編輯軟件以及硬件設(shè)備來實(shí)現(xiàn)。它的硬件系統(tǒng)是以高速CPU、SCSI硬盤陣列為基礎(chǔ)，由非線性編輯板卡、視頻卡或 IEEEI394卡、聲卡、專用板卡(如字幕卡或特技加卡)以及監(jiān)視器等外圍設(shè)備構(gòu)成。為了保證不同信號(hào)的輸入和輸出，非線性編輯系統(tǒng)帶有各種視頻接口，有的系統(tǒng)還帶有SDI標(biāo)準(zhǔn)的數(shù)字接口以保證視頻圖像的輸入和輸出質(zhì)量。非線性編輯系統(tǒng)的軟件系統(tǒng)主要基于UNIx、WINDOWS、05/2等系統(tǒng)平臺(tái)，由非線性編輯核心軟件、圖像動(dòng)畫處理、音頻處理等軟件組成?；?/p>

5、于計(jì)算機(jī)的數(shù)字非線性編輯技術(shù)使編輯手段得到很大的發(fā)展:通過計(jì)算機(jī)進(jìn)行的編輯處理，可以實(shí)現(xiàn)各種特效機(jī)所具有的特技功能;通過軟硬件的擴(kuò)展，可以產(chǎn)生特效機(jī)也無法實(shí)現(xiàn)的復(fù)雜特技效果。下面是幾個(gè)目前熱門的非線性編輯技術(shù):(l)鏡頭銜接視頻數(shù)據(jù)在形式上是一種無結(jié)構(gòu)性的數(shù)據(jù)，但它在內(nèi)容上又有著很強(qiáng)的邏輯結(jié)構(gòu)。正如一篇文檔的內(nèi)容可以分成段落、句子和詞語一樣，結(jié)構(gòu)化就是把視頻看作一種特殊的文檔，根據(jù)其內(nèi)在的時(shí)序結(jié)構(gòu)和關(guān)系合理地組織視頻數(shù)據(jù)，把它組織成類似于“段落”、“句子”或“詞語”等形式的內(nèi)容單元。通常，一段視頻可以分為幾個(gè)場景(也稱作故事單元)，每個(gè)場景又包含多個(gè)鏡頭。其中，一個(gè)鏡頭是指一系列連續(xù)記錄的圖像

6、幀，用于表示一個(gè)時(shí)間段或相同地點(diǎn)連續(xù)的動(dòng)作，鏡頭由攝像機(jī)一次攝像的開始和結(jié)束所決定;一個(gè)場景是指一連串語義相關(guān)的鏡頭，它們一般發(fā)生在相同的時(shí)間和地點(diǎn)，出現(xiàn)相同的人物或事件。根據(jù)內(nèi)容的粒度大小，視頻數(shù)據(jù)一般被結(jié)構(gòu)化為從大到小的4個(gè)層次:視頻、場景、鏡頭和圖像幀，實(shí)際領(lǐng)域中有著廣泛的應(yīng)用，如在科幻電影制作中，用于產(chǎn)生不同物體的變形;衛(wèi)星圖像、超聲圖像的處理中，它用于校正由于工具或方法的內(nèi)在限制而產(chǎn)生的圖像扭曲;在醫(yī)學(xué)圖像處理和三維重建中，變形用于定位、匹配等技術(shù)中去;在圖像編輯和藝術(shù)設(shè)計(jì)中，利用變形可達(dá)到某些特殊效果。（2）圖像變形圖像變形是當(dāng)今許多新技術(shù)的基礎(chǔ)，研究靈活快速的圖像變形技術(shù)不僅具有

7、重要的理論意義，而且還有巨大的實(shí)際應(yīng)用價(jià)值。目前的圖像變形技術(shù)主要是基于像素域進(jìn)行研究。圖像變形技術(shù)最早于1988年應(yīng)用在一部片名叫做“V八110w”的電影中，近年來，隨著計(jì)算機(jī)視頻技術(shù)的發(fā)展，越來越受到研究學(xué)者的廣泛關(guān)注。目前已經(jīng)提出多種圖像變形的算法，按照變形過程中是否需要特征基元的對(duì)應(yīng)，可以把變形技術(shù)分為兩類:基于特征基元對(duì)應(yīng)的圖像變形技術(shù)和基于非特征基元的圖像變形技術(shù)?；谔卣骰獙?duì)應(yīng)的圖像變形技術(shù)主要應(yīng)用在源圖像和目標(biāo)圖像之間有明顯的特征對(duì)應(yīng)關(guān)系的情況下，一般是使用幾何的點(diǎn)、線等，利用人機(jī)交互的方法勾畫圖像中的對(duì)應(yīng)特征，建立關(guān)聯(lián)，求得相應(yīng)的幾何變換函數(shù)，根據(jù)變換函數(shù)實(shí)現(xiàn)圖像的變形?；?/p>

8、于非特征基元的圖像變形技術(shù)主要應(yīng)用在源圖像和目標(biāo)圖像中難以提取特征基元的情況下，如火焰、瀑布、云彩等具有一定流動(dòng)性的對(duì)象。通常應(yīng)用物理的或數(shù)學(xué)的方法對(duì)其進(jìn)行圖像變換。(3)圖像和視頻的修復(fù)圖像和視頻修復(fù)的目的是對(duì)圖像和視頻目標(biāo)區(qū)域內(nèi)的像素以一種視覺可接受的方式進(jìn)行填充，其本質(zhì)上是一個(gè)帶約束的優(yōu)化問題。圖像修復(fù)主要通過破損區(qū)域周圍信息對(duì)圖像進(jìn)行修復(fù)。視頻修復(fù)技術(shù)通常利用運(yùn)動(dòng)估計(jì)技術(shù)，通過相鄰幀之間的互相補(bǔ)償，對(duì)各幀中的數(shù)據(jù)進(jìn)行修復(fù)。在過去的幾年中，研究者提出許多有關(guān)圖像和視頻修復(fù)的算法。相對(duì)于靜態(tài)圖像的修復(fù)，視頻修復(fù)更具有挑戰(zhàn)性。一方面，要處理的數(shù)據(jù)量大大增加，另一方面，必須要保持時(shí)間一致性。由

9、于人眼對(duì)運(yùn)動(dòng)信息更敏感，時(shí)間一致性要比圖像中的空間一致性更加重要，逐幀利用圖像修復(fù)算法將會(huì)引起視頻的抖動(dòng)。目前修復(fù)方法主要分成基于偏微分方程 (PDE)的方法和基于紋理合成的方法兩大類。基于偏微分方程的修補(bǔ)技術(shù)主要以像素級(jí)進(jìn)行處理，利用熱擴(kuò)散原理，將待修補(bǔ)區(qū)域周圍的信息由邊界向待修補(bǔ)區(qū)域內(nèi)部擴(kuò)散。由于PDE是基于圖像的幾何特征，通過像素間差分來實(shí)現(xiàn)擴(kuò)散，所以這些方法對(duì)局部非紋理的小區(qū)域修復(fù)有較好的復(fù)原效果，但PDE擴(kuò)散不能保持圖像紋理信息，因此在處理受損較大或紋理復(fù)雜的區(qū)域時(shí)會(huì)產(chǎn)生很大的失真，此外，求解偏微分方程需要大量的迭代運(yùn)算，以致處理速度非常慢。基于紋理合成的修復(fù)方法以圖像塊級(jí)進(jìn)行處理，

10、通過選擇性地拷貝圖像和視頻己知部分的像素點(diǎn)或者鄰域塊來填充待修復(fù)的區(qū)域。其對(duì)紋理修復(fù)有較好的結(jié)果，但對(duì)結(jié)構(gòu)信息的恢復(fù)能力有限。然而，當(dāng)同時(shí)應(yīng)用基于偏微分和紋理合成兩種算法進(jìn)行圖像或視頻修復(fù)時(shí)，首先需要判斷待修復(fù)區(qū)域適用于哪一種算法，要求找到一種能自適應(yīng)所有待修復(fù)目標(biāo)類型的判斷標(biāo)準(zhǔn)，這無疑給修復(fù)技術(shù)增加了難度。(4)視頻穩(wěn)像在很多情況下，由于拍攝環(huán)境與條件的限制，例如手持式終端拍攝視頻時(shí)人手的抖動(dòng)，獲得的視頻圖像會(huì)產(chǎn)生抖動(dòng)，出現(xiàn)畫面不穩(wěn)定現(xiàn)象，給觀測者和后期處理帶來諸多不便。為穩(wěn)定視頻畫面，提高視頻的主觀質(zhì)量，視頻穩(wěn)像技術(shù)成為人們研究的熱點(diǎn)。視頻穩(wěn)像也稱為電子穩(wěn)像，是指應(yīng)用計(jì)算機(jī)數(shù)字圖像處理和電

11、子技術(shù)的方法來直接確定圖像序列的幀間偏移，從而進(jìn)行補(bǔ)償?shù)姆椒?。與傳統(tǒng)的光學(xué)穩(wěn)像，機(jī)電穩(wěn)像方法相比，視頻穩(wěn)像具有更精確、靈活、易于操作等特點(diǎn)。視頻穩(wěn)像系統(tǒng)主要是由圖像預(yù)處理、運(yùn)動(dòng)檢測和運(yùn)動(dòng)補(bǔ)償三部分組成。Michele等人在反射模型的基礎(chǔ)上減少了亮度劇變時(shí)特征窗的匹配丟失現(xiàn)象，提高了特征匹配的魯棒性。采用幾何分析方法建立了視頻穩(wěn)像處理的數(shù)學(xué)模型，提出一種基于運(yùn)動(dòng)矢量的視頻穩(wěn)像算法。作者采用快速魯棒估計(jì)法獲得攝像機(jī)全局運(yùn)動(dòng)參數(shù)集，并對(duì)該參數(shù)集進(jìn)行濾波，濾除隨機(jī)抖動(dòng)帶來的運(yùn)動(dòng)噪聲。為了提高算法的可靠性，在全局運(yùn)動(dòng)估計(jì)之前對(duì)原始運(yùn)動(dòng)矢量進(jìn)行了時(shí)空濾波;在運(yùn)動(dòng)校正階段，引入了“重同步”機(jī)制防止差錯(cuò)累積。

12、該算法具有良好的去抖動(dòng)效果，能夠用于實(shí)時(shí)處理。用迭代最小二乘法求解，使用局部運(yùn)動(dòng)矢量和運(yùn)動(dòng)模型建立的線性參數(shù)系統(tǒng)獲得全局平移、旋轉(zhuǎn)及縮放運(yùn)動(dòng)等參數(shù)，最后通過迭代計(jì)算對(duì)運(yùn)動(dòng)參數(shù)進(jìn)行精確化。該算法對(duì)平移、旋轉(zhuǎn)及縮放運(yùn)動(dòng)的處理能力較高，能處理的運(yùn)動(dòng)幅度范圍以及運(yùn)動(dòng)參數(shù)的估計(jì)精度都比基于光流的算法有很大提高。數(shù)字視頻是傳統(tǒng)的視頻技術(shù)與計(jì)算機(jī)多媒體技術(shù)相結(jié)合的產(chǎn)物。自20世紀(jì)90年代中期以來，隨著計(jì)算機(jī)軟硬件環(huán)境和視頻音頻編輯的進(jìn)一步完善和發(fā)展，影視節(jié)目的后期制作進(jìn)入數(shù)字時(shí)代，視頻圖像編輯的觀念發(fā)生了重大變化。一套完善的非線性編輯系統(tǒng)中，除了最基本的對(duì)素材的剪輯功能外，還應(yīng)融合動(dòng)畫模型、數(shù)字特效和多視頻

13、合成等多種功能，從而使得非線性編輯系統(tǒng)為影視愛好者、制作者提供一個(gè)充分發(fā)揮其創(chuàng)造力和想象力的技術(shù)平臺(tái)。相關(guān)分析特征提取貫穿在整個(gè)視頻和圖像研究分析過程中，為信息處理建立從測量空間到特征空間的映射，以得到一些能夠更好描述事物本質(zhì)的有效特征。從特征提取的結(jié)果可以得到一些原始數(shù)據(jù)具有內(nèi)容表征性的描述子。特征提取存在于分析處理的各個(gè)流程中，在整個(gè)框架中處于一個(gè)非常重要的地位。視覺信息是視頻特征的一個(gè)重要來源，例如顏色、紋理、形狀和空間關(guān)系等。圖像的視覺特征可以直接用來描述幀的視覺內(nèi)容。早期的研究工作中，IBM推出的QBIC(QUeryByIinagecontent)系統(tǒng)和勸rage公司的勸rage系統(tǒng)

14、都是采用若干低層特征以及多特征聯(lián)合來實(shí)現(xiàn)視頻內(nèi)容的描述。其中，顏色是最有效和權(quán)重最大的檢索特征。視頻與圖像的重要區(qū)別在于視頻信息多了一個(gè)時(shí)間維度，即幀的內(nèi)容隨時(shí)間的流逝而發(fā)生變化。這種變化可以通過運(yùn)動(dòng)信息表達(dá)。運(yùn)動(dòng)信息對(duì)于描述理解視頻內(nèi)容具有非常重要的作用。目前已經(jīng)有了很多描述運(yùn)動(dòng)的方法或特征:參數(shù)化的全局運(yùn)動(dòng)估計(jì)方法可以產(chǎn)生攝像機(jī)運(yùn)動(dòng)或主運(yùn)動(dòng)的參數(shù)模型;非參數(shù)的運(yùn)動(dòng)估計(jì)方法可以產(chǎn)生位移場，人提出的運(yùn)動(dòng)紋理可以描述運(yùn)動(dòng)強(qiáng)度、主運(yùn)動(dòng)方向和時(shí)空運(yùn)動(dòng)模式等信息;Ngo等人使用了時(shí)序切片來描述運(yùn)動(dòng)信息并用于鏡頭檢索;MPEG一7也推薦了攝像機(jī)運(yùn)動(dòng)、運(yùn)動(dòng)軌跡、參數(shù)運(yùn)動(dòng)和運(yùn)動(dòng)活力等一系列描述符。視頻是多模

15、態(tài)特征的混合媒體，不僅僅是圖像幀序列，同時(shí)也包括音頻流和文本信息。利用語音、文本識(shí)別技術(shù)可以從視頻流中得到豐富的高層語義內(nèi)容。近年來，很多研究工作和系統(tǒng)通過融合多模態(tài)特征旨在減少語義的模糊性，從而得到更合理的效果。應(yīng)用前景、發(fā)展趨勢和研究機(jī)構(gòu)非線性編輯將計(jì)算機(jī)技術(shù)引入到編輯領(lǐng)域中，由于信息處理的數(shù)字化特性突破了線性的局限，使得表現(xiàn)形式更加豐富，制作的空間更加廣泛，編輯處理更加自由。隨著相關(guān)學(xué)科(如人工智能、認(rèn)知科學(xué))的發(fā)展，這個(gè)領(lǐng)域的研究將獲得長足的發(fā)展。根據(jù)系統(tǒng)的使用者，非線性編輯的應(yīng)用可以分為兩類:面向職業(yè)用戶的應(yīng)用和面向普通用戶的應(yīng)用。這兩類應(yīng)用有著很大的不同:前者面向經(jīng)過嚴(yán)格的培訓(xùn)、具

16、有一定專業(yè)技能的用戶，如電視臺(tái)或影視制作公司的相關(guān)工作人員;后者的用戶范圍非常廣泛。職業(yè)用戶不但要對(duì)畫面的布局、內(nèi)容進(jìn)行分析，同時(shí)對(duì)非線性編輯工具也需要具有專業(yè)的操作知識(shí)。普通用戶通常對(duì)系統(tǒng)的實(shí)時(shí)性要求較高，且其手中的設(shè)容層次內(nèi)從攝像機(jī)操作的角度來分析，鏡頭是組成視頻的基本物理單元，而場景卻是語義單位。導(dǎo)演和剪輯師首先將視頻幀序列劃分為一個(gè)個(gè)的鏡頭，再將鏡頭組合起來形成場景。雖然在視頻拍攝和剪輯時(shí)都是以場景為單位展開故事情節(jié)，但這個(gè)單位是導(dǎo)演和剪輯師安排、設(shè)計(jì)或構(gòu)思出來的，并不是物理存在的。鏡頭銜接是指把一個(gè)視頻片斷的每一個(gè)鏡頭按照一定的順序和手法連接起來，成為一個(gè)具有條理性和邏輯性的整體，其是為解決如何合理地銜接兩段視頻序列而開展的。通過鏡頭銜接，可以增強(qiáng)作品的藝術(shù)感染力，使作品成為一個(gè)呈現(xiàn)現(xiàn)實(shí)、交流思想、表達(dá)感情的整體。漸變切換是常用的非線性編輯中鏡頭銜接切換的方式，而淡入淡出和劃像則是最常用的漸變切換特技，一些復(fù)雜的非線性編輯特技都是在這兩種漸變特技的基礎(chǔ)上做出改進(jìn)。目前，針對(duì)鏡頭銜接技術(shù)的算法有很多，。Femando等人直接在壓縮域利用碼流中的運(yùn)動(dòng)矢量信息實(shí)現(xiàn)淡入淡出和劃像的算法，大大提高了切換速度。Aki0I在對(duì)圖像