遠程教育中基于內(nèi)容的視頻檢索研究

1、遠程教育中基于內(nèi)容的視頻檢索研究    【摘 要】視頻是遠程教育中的重要內(nèi)容，由于視頻自身的特點，迫切需要基于內(nèi)容對視頻檢索進行研究。本文首先提出視頻固有的特點，隨之基于內(nèi)容對其分析，并介紹了國內(nèi)外對視頻研究的現(xiàn)狀。 【關(guān)鍵詞】 視頻；基于內(nèi)容；檢索一、遠程教育中基于內(nèi)容視頻研究的必要性在遠程教育中數(shù)字視頻是多媒體教學信息系統(tǒng)中重要的數(shù)據(jù)類型,其特點是數(shù)據(jù)量大、信息量也大。如一幅24mm×36mm（即通常所說的35mm）的彩色照片，若以12um的間距進行掃描，則形成三副彩色數(shù)字圖像。每幅彩色圖像由3000×

2、;2000pixel象素組成；如果每個象素用8bit數(shù)據(jù)量表示，那么三副數(shù)字圖像需用：3000×2000×8×3=144×106 bit，而一幅圖像只相當于視頻中的一幀，假定播放速率為每秒25幀，則1s的數(shù)據(jù)量約為25MB，一個600兆的硬盤也只能存放24s的動態(tài)圖像。因此對視頻數(shù)據(jù)的管理關(guān)鍵之一是對視頻數(shù)據(jù)的壓縮編碼和解碼。除此，視頻數(shù)據(jù)作為一種表達信息的媒體，具有內(nèi)容多樣性，如可指視頻中所含的語義內(nèi)容，也可指視頻中所含的顏色、紋理、物體運動、物體之間的關(guān)系、攝像機操作、物體大小形狀等。視頻數(shù)據(jù)還具有解釋的多樣性及模糊性，不同的人對同一段視頻

3、可能有不同的解釋。視頻檢索就是從大量的視頻數(shù)據(jù)中找到所需要的視頻片段。傳統(tǒng)的視頻檢索主要是通過快進和快退等方法進行人工查找，無法滿足多媒體數(shù)據(jù)庫的要求。早期的商用多媒體數(shù)據(jù)庫，如VOD系統(tǒng)，只能提供基于關(guān)鍵字的檢索或分類瀏覽功能，檢索的單位只局限于電影或整場比賽，對于更小的視頻片段，如一個場景或鏡頭的檢索，只能依靠傳統(tǒng)的快進、快退等手段。而用戶常希望只要給出例子或特征描述，系統(tǒng)就能自動地找到所需的視頻片段。視頻數(shù)據(jù)包含極其豐富的語義內(nèi)容，但在理論層次上，視頻是二維象素陣列的時間序列，與語義內(nèi)容并不直接相關(guān)。因此，要實現(xiàn)基于內(nèi)容的視頻檢索,必須突破傳統(tǒng)的基于一個或多個關(guān)鍵詞(或?qū)傩?建立索引和基

4、于表達式檢索的局限，直接對視頻內(nèi)容進行分析，抽取特征和語義，并利用這些內(nèi)容特征建立索引。因此基于內(nèi)容的檢索就是指根據(jù)媒體和媒體對象的內(nèi)容語義及上下文聯(lián)系進行檢索。二、基于內(nèi)容的視頻分析視頻數(shù)據(jù)模型的特點是：每個視頻數(shù)據(jù)都是一個復(fù)雜的實體，關(guān)系不是存在于各視頻數(shù)據(jù)塊之間，而是存在于視頻數(shù)據(jù)塊內(nèi)部。所以，首先要把視頻數(shù)據(jù)分解，分出結(jié)構(gòu)和層次。然后分析結(jié)構(gòu)中的各個對象，抽取各個對象的特征，并存儲這些屬性，使得用戶能夠根據(jù)視頻的內(nèi)容來檢索?；趦?nèi)容的視頻分析，是指根據(jù)特定的目的，從輸入視頻中提取關(guān)于內(nèi)容的相關(guān)信息的一切處理過程。為了實現(xiàn)基于鏡頭內(nèi)容的視頻檢索，視頻分析的基本過程包括鏡頭邊界的檢測、視頻

5、數(shù)據(jù)的低層特征自動索引和視頻聚類。鏡頭邊界檢測通過視頻幀的比較，把視頻分割成基本的組成單元鏡頭；視頻數(shù)據(jù)的自動索引包括關(guān)鍵幀的比較、靜止特征和運動特征的提取等；根據(jù)這些特征可以進行視頻聚類。視頻分析基本過程如下：三、國內(nèi)外關(guān)于該課題的研究現(xiàn)狀 1. 切變檢測和鏡頭分割鏡頭是視頻的一種基本單元，它由時間上相連的一組幀圖像組成。鏡頭檢測是將視頻流切成一個個分離的鏡頭。這時需要確定鏡頭的時間邊界，或者說要檢測鏡頭的轉(zhuǎn)變或切換處。常見視頻節(jié)目中的鏡頭切換可分兩種：一種是直接切換，稱為切變；另一種是光學切換，是對應(yīng)場景的逐漸變化，稱為漸變。檢測這兩種切換的一種策略是順序檢測它們：先檢

6、切變，后檢漸變。輸入的視頻流是原始的視頻流或壓縮后的視頻流。對前者利用鄰域平均，對后者提取直流分量，都可得到待檢測的視頻流。鏡頭切換時,視頻數(shù)據(jù)將發(fā)生一系列的變化，表現(xiàn)在顏色差異突然增大、新舊邊緣的遠離、對象形狀的改變和運動的不連續(xù)性等各方面。鏡頭邊界檢測的目的就是尋找這些變化的規(guī)律。一般而言，同一個鏡頭內(nèi)的各幀之間差異較小，而不同鏡頭的幀間差異較大。 2. 關(guān)鍵幀提取鏡頭的關(guān)鍵幀就是反映該鏡頭中主要信息內(nèi)容的幀圖像。將各鏡頭檢測出來后，對每個鏡頭可提取關(guān)鍵幀，并用關(guān)鍵幀簡潔地表達鏡頭。這是因為每個鏡頭都是在同一個場景下拍攝的，同一個鏡頭中的各幀圖像有相當?shù)闹貜?fù)信息，關(guān)鍵幀

7、就是反映該鏡頭中主要信息內(nèi)容的幀圖像，一般一個鏡頭要用所提取出的一個或若干個幀圖像來表示。另外，用關(guān)鍵幀表示鏡頭使得可用基于圖像的技術(shù)對視頻鏡頭進行檢索。3. 比較著名的圖像/視頻檢索系統(tǒng)QBIC：是IBM研制的商用圖像檢索系統(tǒng)，它支持：基于樣本圖像的查詢、用戶構(gòu)畫草圖、用戶繪制圖形、用戶選擇希望的紋理和顏色。VIRAGE：是VIRAGE INC 公司開發(fā)的基于內(nèi)容圖形搜索引擎，類似于QBIC，VIRAGE支持基于顏色、顏色布局、紋理、結(jié)構(gòu)等視覺信息的檢索，支持上述幾種原子查詢的組合查詢，用戶能根據(jù)自己的意愿調(diào)整某個查詢權(quán)重。PHOTOBOOK：MIT媒體實驗室研

8、制的一組交互瀏覽和檢索工具，它實現(xiàn)形狀、紋理和人臉特征的提取和檢索。VISUALSEEK和WEBSEEK：VISUALSEEK是視覺特征搜索引擎，WEBSEEK是面向WEB 的文本/圖像搜索引擎，由COLUMBIA大學研制。NETRA：UCSB為ALEXANDRA數(shù)字圖書館項目研制的原型系統(tǒng)，它用顏色、紋理、形狀和分割后的圖像區(qū)域之間的空域關(guān)系等視覺特征。MARS：是Illinois at URBANA CHAMPAIGN 大學研制。BLOBWORLD：是UC BERKELEY 開發(fā)。它將原始圖像轉(zhuǎn)換為一組局部相關(guān)的顏色和紋理，使用戶觀看圖像內(nèi)部表示和查詢結(jié)果，讓用戶能夠直觀地改進檢索結(jié)果。四、結(jié)語基于內(nèi)容的視頻檢索系統(tǒng)關(guān)鍵技術(shù)主要包括：鏡頭切變檢測和分割；關(guān)鍵幀和代表幀提取；視頻數(shù)據(jù)的索引；視頻數(shù)據(jù)表示；用戶查詢檢索等。參考文獻1&#