基于內(nèi)容的多媒體檢索技術(shù)

1、基于內(nèi)容的多媒體檢索技術(shù)摘要：基于內(nèi)容檢索是多媒體研究中的新興熱點(diǎn)，會(huì)逐漸在很多領(lǐng)域中得到廣泛的應(yīng)用，本文主要介紹了基于內(nèi)容的多媒體信息檢索的概念、特點(diǎn)、查詢(xún)和檢索過(guò)程、基于內(nèi)容的檢索、基于視頻的檢索以及基于內(nèi)容的多媒體信息檢索的研究方向。關(guān)鍵詞：基于內(nèi)容的檢索；多媒體；圖像檢索；視頻檢索1. 引言多媒體技術(shù)和Internet的發(fā)展將人們帶入巨大的多媒體信息海洋，并進(jìn)一步導(dǎo)致了超大型多媒體信息庫(kù)的產(chǎn)生，光憑關(guān)鍵詞是很難做到對(duì)多媒體信息的描述和檢索的，這就需要有一種針對(duì)多媒體的有效的檢索方式。如何有效的幫助人們快速、準(zhǔn)確地找到所需要的多媒體信息，成了多媒體信息庫(kù)所要解決的核心問(wèn)題。2. 多媒體檢

2、索技術(shù)原理與方法多多媒體檢索是一種基于內(nèi)容特征的檢索（CBR：content-based retrieval）。所謂基于內(nèi)容的檢索是對(duì)媒體對(duì)象的內(nèi)容及上下文語(yǔ)義環(huán)境進(jìn)行檢索，如圖像中的顏色、紋理、形狀，視頻中的鏡頭、場(chǎng)景、鏡頭的運(yùn)動(dòng)，聲音中的音調(diào)、響度、音色等。基于內(nèi)容的檢索突破了傳統(tǒng)的基于文本檢索技術(shù)的局限，直接對(duì)圖像、視頻、音頻內(nèi)容進(jìn)行分析，抽取特征和語(yǔ)義，利用這些內(nèi)容特征建立索引并進(jìn)行檢索。在這一檢索過(guò)程中，它主要以圖像處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)、圖像理解等學(xué)科中的一些方法為部分基礎(chǔ)技術(shù)，是多種技術(shù)的合成。與傳統(tǒng)的信息檢索相比，CBR有如下特點(diǎn)：(1)相似性檢索：CBR采用一種

3、近似匹配（或局部匹配）的方法和技術(shù)逐步求精來(lái)獲得查詢(xún)和檢索結(jié)果，摒棄了傳統(tǒng)的精確匹配技術(shù)，避免了因采用傳統(tǒng)檢索方法所帶來(lái)的不確定性。(2)直接從內(nèi)容中提取信息線索：CBR直接對(duì)文本、圖像、視頻、音頻進(jìn)行分析，從中抽取內(nèi)容特征，然后利用這些內(nèi)容特征建立索引并進(jìn)行檢索。(3)滿足用戶多層次的檢索要求：CBR檢索系統(tǒng)通常由媒體庫(kù)、特征庫(kù)和知識(shí)庫(kù)組成。媒體庫(kù)包含多媒體數(shù)據(jù)，如文本、圖像、音頻、視頻等；特征庫(kù)包含用戶輸入的特征和預(yù)處理自動(dòng)提取的內(nèi)容特征；知識(shí)庫(kù)包含領(lǐng)域知識(shí)和通用知識(shí)，其中的知識(shí)表達(dá)可以更換，以適應(yīng)各種不同領(lǐng)域的應(yīng)用要求。(4)大型數(shù)據(jù)庫(kù)(集)的快速檢索：CBR往往擁有數(shù)量巨大、種類(lèi)繁多的

4、多媒體數(shù)據(jù)庫(kù)，能夠?qū)崿F(xiàn)對(duì)多媒體信息的快速檢索?；趦?nèi)容的檢索體系通常如下圖所示:Figure 1基于內(nèi)容的檢索體系2.1基于內(nèi)容的靜態(tài)圖像檢索基于內(nèi)容的圖像檢索必須要對(duì)圖像進(jìn)行基于內(nèi)容的識(shí)別和解釋?zhuān)卣魈崛≡趫D像檢索中占有重要地位。圖像檢索所用到的基本特征有顏色、紋理、形狀、圖像的語(yǔ)義等等。2.2顏色檢索顏色是描述一幅圖像最直觀、有效的特征,由于顏色具有一定的穩(wěn)定性,所以是基于內(nèi)容的圖像檢索中應(yīng)用最廣泛的特征。對(duì)顏色進(jìn)行檢索主要是利用顏色空間直方圖進(jìn)行匹配。顏色數(shù)據(jù)在查詢(xún)時(shí),顏色特征的提取主要有互補(bǔ)顏色空間直方圖、直方圖交叉法、直方圖距離比較法、二次型距離算法等。采用基于顏色分布的匹配將獲得更

5、接近于被檢索內(nèi)容的視覺(jué)效果。2.3紋理檢索紋理是描述圖像的另一重要特征,圖像的紋理特征主要包括粗糙性、規(guī)則性、線條相似性、凸凹性、方向性和對(duì)比度。常用的檢索方法有共生矩陣均值方差法、頻譜分析和結(jié)構(gòu)方法以及基于視覺(jué)模型的多分辨率分析、隨機(jī)場(chǎng)模型等。紋理檢索在圖像分析和識(shí)別中起著重要的作用，它被廣泛應(yīng)用于氣象云圖、衛(wèi)星遙測(cè)圖像等。2.4形狀檢索形狀是描述圖像的本質(zhì)特征之一，可用面積、離心率、圓形度、形狀矩、曲率、分形維等全局和局部特征來(lái)表示，基于形狀的檢索對(duì)象可以分為基于二維形狀和基于三維形狀的檢索。形狀檢索的基礎(chǔ)是圖像邊緣的提取，常用檢索方法有針對(duì)圖像邊緣輪廓線進(jìn)行的檢索和針對(duì)圖形矢量特征進(jìn)行的

6、檢索。2.5基于內(nèi)容的視頻檢索視頻又稱(chēng)動(dòng)態(tài)圖像，通常包含了動(dòng)畫(huà)和影像，是一組序列圖像按時(shí)間順序的連續(xù)表現(xiàn)，其表示與圖像序列、時(shí)間關(guān)系都有關(guān)。幀、鏡頭和場(chǎng)景是視頻信息的基本組成部分，在視頻播放中，多個(gè)圖形按先后順序快速而連續(xù)地出現(xiàn)和消失，而這些單個(gè)的圖形就是組成視頻的最小單元幀，其中對(duì)動(dòng)態(tài)畫(huà)面起到變化、轉(zhuǎn)折和決定作用的稱(chēng)為關(guān)鍵幀；鏡頭表示通過(guò)攝像機(jī)的移動(dòng)操作形成一個(gè)事件或連續(xù)的動(dòng)作，它由一系列連續(xù)的幀組成；場(chǎng)景包含了多個(gè)鏡頭的組合，完整的視頻是由一個(gè)或多個(gè)場(chǎng)景組成的?；趦?nèi)容的視頻檢索就是要通過(guò)對(duì)視頻數(shù)據(jù)中所包含的視覺(jué)內(nèi)容進(jìn)行分析和特征提取，查找到符合要求的相似內(nèi)容片段。因此，其處理技術(shù)包括視頻

7、結(jié)構(gòu)的分析、視頻數(shù)據(jù)的自動(dòng)索引和視頻聚類(lèi)。2.6基于內(nèi)容的音頻檢索音頻是另外一種重要的媒體。音頻可以分為三種類(lèi)型：波形聲音、語(yǔ)音、音樂(lè)。波形聲音是將模擬聲音數(shù)字化后得到的數(shù)字音頻信號(hào)，它可以代表語(yǔ)音、音樂(lè)、自然界和合成的聲響；語(yǔ)音具有字詞、語(yǔ)法等語(yǔ)素，語(yǔ)音經(jīng)過(guò)識(shí)別可以轉(zhuǎn)換為文本,文本也是語(yǔ)音的一種腳本形式；音樂(lè)具有節(jié)奏、旋律或和聲等要素，是人聲和樂(lè)器音響等配合所構(gòu)成的一種聲音，可以用樂(lè)譜來(lái)表示。音頻信息檢索可以分為基于語(yǔ)音技術(shù)的檢索、音頻檢索和音樂(lè)檢索。語(yǔ)音檢索是以語(yǔ)音為中心的檢索，采用語(yǔ)音識(shí)別等處理技術(shù)；音頻檢索是以波形聲音為對(duì)象，用聲學(xué)特征來(lái)檢索；音樂(lè)檢索是以音樂(lè)為中心的檢索，利用音樂(lè)的音

8、符和旋律等音樂(lè)特性來(lái)檢索。3. 應(yīng)用前景基于內(nèi)容的多媒體檢索技術(shù)的日益成熟不僅將創(chuàng)造出巨大的社會(huì)價(jià)值，而且將改變?nèi)藗兊纳罘绞?。因?yàn)樗c傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，可以方便地實(shí)現(xiàn)海量多媒體數(shù)據(jù)的存儲(chǔ)和管理，與傳統(tǒng)Web搜索引擎技術(shù)相結(jié)合，它可以用來(lái)檢索HTML網(wǎng)頁(yè)中豐富的多媒體信息?；趦?nèi)容的多媒體檢索技術(shù)將會(huì)在以下領(lǐng)域中得到廣泛應(yīng)用:多媒體數(shù)據(jù)庫(kù)、知識(shí)產(chǎn)權(quán)保護(hù)、數(shù)字圖書(shū)館、數(shù)字檔案館、網(wǎng)絡(luò)多媒體搜索引擎、交互電視、藝術(shù)收藏和博物館管理、遙感和地球資源管理、遠(yuǎn)程教育、遠(yuǎn)程醫(yī)療、遠(yuǎn)程購(gòu)物、天氣預(yù)報(bào)、多媒體編輯(個(gè)人電子新聞業(yè)務(wù)、媒體寫(xiě)作)以及軍事指揮系統(tǒng)等等。多媒體信息檢索技術(shù)的應(yīng)用使多媒體信息檢索系統(tǒng)、多媒體數(shù)據(jù)庫(kù)，可視信息系統(tǒng)、多媒體信息自動(dòng)獲取和索引系統(tǒng)等應(yīng)用逐漸變?yōu)楝F(xiàn)實(shí)。4. 結(jié)語(yǔ)基于內(nèi)容的多媒體檢索是一個(gè)新興的研究領(lǐng)域，在國(guó)內(nèi)外仍處于研究、探索階段, 因此在基于內(nèi)容的檢索領(lǐng)域中仍然存在許多問(wèn)題。這些問(wèn)題主要包括多媒體特征的描述和特征的自動(dòng)提取、多媒體的同步技術(shù)、匹配和結(jié)構(gòu)的選擇問(wèn)題, 以及按多相似性特征為基礎(chǔ)的索引、查詢(xún)和檢索等。作為一個(gè)新興的研究領(lǐng)域，同時(shí)由于其檢索對(duì)象和范圍的多樣性，基于內(nèi)容的多媒體檢索還要解決多種檢索手段相結(jié)合的問(wèn)題, 以提高檢索效率。此外，更好地理解檢索內(nèi)容以