遠(yuǎn)程教育中基于內(nèi)容的視頻檢索研究

1、遠(yuǎn)程教育中基于內(nèi)容的視頻檢索研究    【摘 要】視頻是遠(yuǎn)程教育中的重要內(nèi)容，由于視頻自身的特點(diǎn)，迫切需要基于內(nèi)容對(duì)視頻檢索進(jìn)行研究。本文首先提出視頻固有的特點(diǎn)，隨之基于內(nèi)容對(duì)其分析，并介紹了國(guó)內(nèi)外對(duì)視頻研究的現(xiàn)狀。 【關(guān)鍵詞】 視頻；基于內(nèi)容；檢索一、遠(yuǎn)程教育中基于內(nèi)容視頻研究的必要性在遠(yuǎn)程教育中數(shù)字視頻是多媒體教學(xué)信息系統(tǒng)中重要的數(shù)據(jù)類型,其特點(diǎn)是數(shù)據(jù)量大、信息量也大。如一幅24mm×36mm（即通常所說的35mm）的彩色照片，若以12um的間距進(jìn)行掃描，則形成三副彩色數(shù)字圖像。每幅彩色圖像由3000×

2、;2000pixel象素組成；如果每個(gè)象素用8bit數(shù)據(jù)量表示，那么三副數(shù)字圖像需用：3000×2000×8×3=144×106 bit，而一幅圖像只相當(dāng)于視頻中的一幀，假定播放速率為每秒25幀，則1s的數(shù)據(jù)量約為25MB，一個(gè)600兆的硬盤也只能存放24s的動(dòng)態(tài)圖像。因此對(duì)視頻數(shù)據(jù)的管理關(guān)鍵之一是對(duì)視頻數(shù)據(jù)的壓縮編碼和解碼。除此，視頻數(shù)據(jù)作為一種表達(dá)信息的媒體，具有內(nèi)容多樣性，如可指視頻中所含的語(yǔ)義內(nèi)容，也可指視頻中所含的顏色、紋理、物體運(yùn)動(dòng)、物體之間的關(guān)系、攝像機(jī)操作、物體大小形狀等。視頻數(shù)據(jù)還具有解釋的多樣性及模糊性，不同的人對(duì)同一段視頻

3、可能有不同的解釋。視頻檢索就是從大量的視頻數(shù)據(jù)中找到所需要的視頻片段。傳統(tǒng)的視頻檢索主要是通過快進(jìn)和快退等方法進(jìn)行人工查找，無(wú)法滿足多媒體數(shù)據(jù)庫(kù)的要求。早期的商用多媒體數(shù)據(jù)庫(kù)，如VOD系統(tǒng)，只能提供基于關(guān)鍵字的檢索或分類瀏覽功能，檢索的單位只局限于電影或整場(chǎng)比賽，對(duì)于更小的視頻片段，如一個(gè)場(chǎng)景或鏡頭的檢索，只能依靠傳統(tǒng)的快進(jìn)、快退等手段。而用戶常希望只要給出例子或特征描述，系統(tǒng)就能自動(dòng)地找到所需的視頻片段。視頻數(shù)據(jù)包含極其豐富的語(yǔ)義內(nèi)容，但在理論層次上，視頻是二維象素陣列的時(shí)間序列，與語(yǔ)義內(nèi)容并不直接相關(guān)。因此，要實(shí)現(xiàn)基于內(nèi)容的視頻檢索,必須突破傳統(tǒng)的基于一個(gè)或多個(gè)關(guān)鍵詞(或?qū)傩?建立索引和基

4、于表達(dá)式檢索的局限，直接對(duì)視頻內(nèi)容進(jìn)行分析，抽取特征和語(yǔ)義，并利用這些內(nèi)容特征建立索引。因此基于內(nèi)容的檢索就是指根據(jù)媒體和媒體對(duì)象的內(nèi)容語(yǔ)義及上下文聯(lián)系進(jìn)行檢索。二、基于內(nèi)容的視頻分析視頻數(shù)據(jù)模型的特點(diǎn)是：每個(gè)視頻數(shù)據(jù)都是一個(gè)復(fù)雜的實(shí)體，關(guān)系不是存在于各視頻數(shù)據(jù)塊之間，而是存在于視頻數(shù)據(jù)塊內(nèi)部。所以，首先要把視頻數(shù)據(jù)分解，分出結(jié)構(gòu)和層次。然后分析結(jié)構(gòu)中的各個(gè)對(duì)象，抽取各個(gè)對(duì)象的特征，并存儲(chǔ)這些屬性，使得用戶能夠根據(jù)視頻的內(nèi)容來檢索?；趦?nèi)容的視頻分析，是指根據(jù)特定的目的，從輸入視頻中提取關(guān)于內(nèi)容的相關(guān)信息的一切處理過程。為了實(shí)現(xiàn)基于鏡頭內(nèi)容的視頻檢索，視頻分析的基本過程包括鏡頭邊界的檢測(cè)、視頻

5、數(shù)據(jù)的低層特征自動(dòng)索引和視頻聚類。鏡頭邊界檢測(cè)通過視頻幀的比較，把視頻分割成基本的組成單元鏡頭；視頻數(shù)據(jù)的自動(dòng)索引包括關(guān)鍵幀的比較、靜止特征和運(yùn)動(dòng)特征的提取等；根據(jù)這些特征可以進(jìn)行視頻聚類。視頻分析基本過程如下：三、國(guó)內(nèi)外關(guān)于該課題的研究現(xiàn)狀 1. 切變檢測(cè)和鏡頭分割鏡頭是視頻的一種基本單元，它由時(shí)間上相連的一組幀圖像組成。鏡頭檢測(cè)是將視頻流切成一個(gè)個(gè)分離的鏡頭。這時(shí)需要確定鏡頭的時(shí)間邊界，或者說要檢測(cè)鏡頭的轉(zhuǎn)變或切換處。常見視頻節(jié)目中的鏡頭切換可分兩種：一種是直接切換，稱為切變；另一種是光學(xué)切換，是對(duì)應(yīng)場(chǎng)景的逐漸變化，稱為漸變。檢測(cè)這兩種切換的一種策略是順序檢測(cè)它們：先檢

6、切變，后檢漸變。輸入的視頻流是原始的視頻流或壓縮后的視頻流。對(duì)前者利用鄰域平均，對(duì)后者提取直流分量，都可得到待檢測(cè)的視頻流。鏡頭切換時(shí),視頻數(shù)據(jù)將發(fā)生一系列的變化，表現(xiàn)在顏色差異突然增大、新舊邊緣的遠(yuǎn)離、對(duì)象形狀的改變和運(yùn)動(dòng)的不連續(xù)性等各方面。鏡頭邊界檢測(cè)的目的就是尋找這些變化的規(guī)律。一般而言，同一個(gè)鏡頭內(nèi)的各幀之間差異較小，而不同鏡頭的幀間差異較大。 2. 關(guān)鍵幀提取鏡頭的關(guān)鍵幀就是反映該鏡頭中主要信息內(nèi)容的幀圖像。將各鏡頭檢測(cè)出來后，對(duì)每個(gè)鏡頭可提取關(guān)鍵幀，并用關(guān)鍵幀簡(jiǎn)潔地表達(dá)鏡頭。這是因?yàn)槊總€(gè)鏡頭都是在同一個(gè)場(chǎng)景下拍攝的，同一個(gè)鏡頭中的各幀圖像有相當(dāng)?shù)闹貜?fù)信息，關(guān)鍵幀

7、就是反映該鏡頭中主要信息內(nèi)容的幀圖像，一般一個(gè)鏡頭要用所提取出的一個(gè)或若干個(gè)幀圖像來表示。另外，用關(guān)鍵幀表示鏡頭使得可用基于圖像的技術(shù)對(duì)視頻鏡頭進(jìn)行檢索。3. 比較著名的圖像/視頻檢索系統(tǒng)QBIC：是IBM研制的商用圖像檢索系統(tǒng)，它支持：基于樣本圖像的查詢、用戶構(gòu)畫草圖、用戶繪制圖形、用戶選擇希望的紋理和顏色。VIRAGE：是VIRAGE INC 公司開發(fā)的基于內(nèi)容圖形搜索引擎，類似于QBIC，VIRAGE支持基于顏色、顏色布局、紋理、結(jié)構(gòu)等視覺信息的檢索，支持上述幾種原子查詢的組合查詢，用戶能根據(jù)自己的意愿調(diào)整某個(gè)查詢權(quán)重。PHOTOBOOK：MIT媒體實(shí)驗(yàn)室研

8、制的一組交互瀏覽和檢索工具，它實(shí)現(xiàn)形狀、紋理和人臉特征的提取和檢索。VISUALSEEK和WEBSEEK：VISUALSEEK是視覺特征搜索引擎，WEBSEEK是面向WEB 的文本/圖像搜索引擎，由COLUMBIA大學(xué)研制。NETRA：UCSB為ALEXANDRA數(shù)字圖書館項(xiàng)目研制的原型系統(tǒng)，它用顏色、紋理、形狀和分割后的圖像區(qū)域之間的空域關(guān)系等視覺特征。MARS：是Illinois at URBANA CHAMPAIGN 大學(xué)研制。BLOBWORLD：是UC BERKELEY 開發(fā)。它將原始圖像轉(zhuǎn)換為一組局部相關(guān)的顏色和紋理，使用戶觀看圖像內(nèi)部表示和查詢結(jié)果，讓用戶能夠直觀地改進(jìn)檢索結(jié)果。四、結(jié)語(yǔ)基于內(nèi)容的視頻檢索系統(tǒng)關(guān)鍵技術(shù)主要包括：鏡頭切變檢測(cè)和分割；關(guān)鍵幀和代表幀提?。灰曨l數(shù)據(jù)的索引；視頻數(shù)據(jù)表示；用戶查詢檢索等。參考文獻(xiàn)1&#