【畢業(yè)學(xué)位論文】（Word原稿）視覺(jué)信息檢索技術(shù) video information retrival-計(jì)算技術(shù)圖像識(shí)別

視覺(jué)信息檢索技術(shù) 博 士 生：施 智 平 指導(dǎo)老師：史忠植 研究員 中國(guó)科學(xué)院計(jì)算技術(shù)研究所 2005 年 1 月 目 錄 第 1 章 基于內(nèi)容的多媒體檢索技術(shù)綜述 . 3 第 2 章 圖像特征的提取與表達(dá) . 9 色特征的提取 . 9 理特征的提取 . 12 狀特征的提取 . 15 像的空間關(guān)系特征 . 19 維圖像特征的索引 . 20 第 3 章 相似度量方法 . 22 覺(jué)特征的相似度模型 . 22 像特征的性能評(píng)價(jià) . 24 第 4 章 視頻分割 . 29 . 29 C 圖像 . 32 . 34 第五章 視頻數(shù)據(jù)的瀏覽和檢索技術(shù) . 36 頻非線性瀏覽 . 36 頻數(shù)據(jù)的檢索 . 37 動(dòng)信息 . 37 動(dòng)信息的提取 . 38 動(dòng)信息的應(yīng)用 . 39 頻片斷分類方法 . 42 第六章總結(jié) . 43 第一部分 綜述 第 1 章 基于內(nèi)容的多媒體檢索技術(shù)綜述 基于內(nèi)容的多媒體信息檢索技術(shù)是數(shù)字圖書(shū)館的關(guān)鍵技術(shù)之一 ,是海量多媒體信息資源得以高效、充分地獲取和利用的技術(shù)支持。它的成熟發(fā)展和在數(shù)字圖書(shū)館建設(shè)中的推廣應(yīng)用 ,將從根本上提升數(shù)字圖書(shū)館的信息檢索能力和對(duì)用戶的信息貢獻(xiàn)力度。 1 關(guān)于基于內(nèi)容的多媒體信息檢索技術(shù) 對(duì)于數(shù)字圖書(shū)館環(huán)境下 ,以多媒體、超文本為主要存儲(chǔ)形式的海量數(shù)字化信息資源 ,關(guān)鍵詞已經(jīng)難以足夠形象和準(zhǔn)確 地描述多媒體信息所呈現(xiàn)的視覺(jué)或聽(tīng)覺(jué)感知 ,致使適用于文本信息資源的關(guān)鍵詞檢索方式顯得相形見(jiàn)絀 ,而基于內(nèi)容的多媒體信息檢索技術(shù)在數(shù)字圖書(shū)館建設(shè)中逐漸顯示出無(wú)比的優(yōu)越性。 所謂基于內(nèi)容的信息檢索 (對(duì)文本、圖像、音頻、視頻等媒體對(duì)象進(jìn)行內(nèi)容語(yǔ)義的分析和特征的提取 ,并基于這些特征進(jìn)行相似性匹配的信息檢索技術(shù)。它與傳統(tǒng)數(shù)據(jù)庫(kù)基于關(guān)鍵詞的檢索方式相比 ,具有如下特點(diǎn) : 破了關(guān)鍵詞檢索基于文本特征的局限 ,直接從媒體內(nèi)容中提取特征線索 ,使檢索更加接近媒體對(duì)象。 取特征的方法多種多樣 ,例如 ,可以提取圖像的形狀特征、顏色特征、紋理特征 ,視頻的動(dòng)態(tài)特征 ,音頻的音調(diào)特征等。 機(jī)交互式檢索?；趦?nèi)容的檢索系統(tǒng)通常采用參數(shù)調(diào)整方法、聚類分析方法、概率學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)方法等 ,通過(guò)人機(jī)交互的方式來(lái)捕捉和建立多媒體信息低層特征和高層語(yǔ)義之間的關(guān)聯(lián) ,即所謂相關(guān)反饋技術(shù)。其目的是在檢索過(guò)程中根據(jù)用戶的查詢要求返回一組檢索結(jié)果 ,用戶可以對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)和標(biāo)記 ,然后反饋給系統(tǒng) ,系統(tǒng)根據(jù)這些反饋信息進(jìn)行學(xué)習(xí) ,再返回新的查詢結(jié)果 ,從而使檢索結(jié)果更接近用戶的要求 。 似性匹配檢索?；趦?nèi)容的檢索是按照一定的匹配算法將需求特征與特征庫(kù)中的特征元數(shù)據(jù) (行相似性匹配 ,滿足一定相似性的一組初始結(jié)果按照相似度大小排列 ,提供給用戶。這與關(guān)鍵詞的精確匹配算法有明顯不同。 步求精的檢索過(guò)程。用戶通過(guò)瀏覽初始結(jié)果 ,可以從中挑選相似結(jié)果 ,或者選擇其中一個(gè)結(jié)果作為示例 ,進(jìn)行特征的調(diào)整 ,并重新進(jìn)行相似性匹配 ,經(jīng)過(guò)多次循環(huán)后不斷縮小查詢范圍 ,做到逐步求精 ,最終得到較為理想的查詢結(jié)果。 綜上所述 ,基于內(nèi)容的多媒體信息檢索技術(shù)的開(kāi)發(fā)重點(diǎn)和技術(shù)優(yōu) 勢(shì)主要包括以下兩項(xiàng) :對(duì)多媒體信息內(nèi)容特征的識(shí)別和描述技術(shù)、對(duì)特征的相似性匹配技術(shù)?？梢?jiàn) ,這種檢索技術(shù)是一項(xiàng)涉及面很廣的交叉學(xué)科的應(yīng)用技術(shù) ,需要利用圖像處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)、圖像理解等領(lǐng)域的知識(shí)作為基礎(chǔ) ,還需從認(rèn)知科學(xué)、人工智能、數(shù)據(jù)庫(kù)管理系統(tǒng)、人機(jī)交互、信息檢索等領(lǐng)域引入新的媒體數(shù)據(jù)表示和數(shù)據(jù)模型 ,從而設(shè)計(jì)出可靠、有效的檢索算法、系統(tǒng)結(jié)構(gòu)以及友好的人機(jī)界面。 2 基于內(nèi)容的圖像檢索 基于內(nèi)容的圖像檢索技術(shù)是通過(guò)分析圖像的內(nèi)容 ,提取其顏色、形狀、紋理等可視特征 ,建立特征索引 ,存儲(chǔ)于特征庫(kù)中 ;在檢 索時(shí) ,用戶只需把自己對(duì)圖像的模糊印象描述出來(lái) ,就可以通過(guò)多次的近似匹配 ,在大容量圖像庫(kù)中查詢到所需圖像。 于顏色特征的檢索 顏色是描述一幅圖像最簡(jiǎn)便而有效的特征 ,在基于顏色特征的檢索算法中通常用顏色直方圖來(lái)表示圖像的顏色特征。直方圖能較好地反映圖像中各顏色的頻率分布 ,橫軸表示顏色等級(jí) ,縱軸表示在一個(gè)顏色等級(jí)上 ,具有該顏色的像素在整幅圖像中所占的比例。直方圖可以對(duì)整幅圖像進(jìn)行最大匹配度檢索 ;如果用戶希望對(duì)圖像中的部分顏色加以指定 ,可以采用基于圖像分割的直方圖檢索方法 ,即將一幅圖像劃分為 nn 個(gè)子圖像 ,將對(duì)應(yīng)位置的子圖像顏色特征與數(shù)據(jù)庫(kù)中的圖像進(jìn)行對(duì)比匹配。 于紋理特征的檢索 紋理是基于內(nèi)容圖像檢索的一條主要線索 ,它包含了關(guān)于圖像表面的結(jié)構(gòu)安排和周圍環(huán)境的關(guān)系。在 70 年代初期 ,人提出了紋理特征的共生矩陣表示法。他首先根據(jù)像素間的方向和距離構(gòu)造一個(gè)共生矩陣 ,然后從共生矩陣中抽取有意義的統(tǒng)計(jì)量作為紋理表示。 人則從視覺(jué)的心理學(xué)角度提出了紋理表示方法 ,表示的所有紋理性質(zhì)都具有直觀的視覺(jué)意義 ,這使得 理表示在圖像檢索中非常具有吸引力 ,而且可以提 供一個(gè)更友好的用戶界面。進(jìn)入 90 年代 ,小波變換理論被應(yīng)用于紋理表示之中。 在基于圖像紋理特征的實(shí)際檢索中 ,一般采用示例查詢 (式。用戶給出一個(gè)所需圖像的示例 ,系統(tǒng)會(huì)按照示例搜索與之相似的圖像 ,用戶在這些相似圖像集合中確定檢索目標(biāo)。 于形狀特征的檢索 形狀是描述圖像內(nèi)容的本質(zhì)特征 ,在實(shí)際檢索中 ,形狀特征的表達(dá)和匹配經(jīng)常采用最為簡(jiǎn)便的方法 ,即用形狀參數(shù) (如矩、面積、周長(zhǎng)等定量測(cè)度來(lái)描述圖像形狀并進(jìn)行匹配 ;也可以分割圖像 ,進(jìn)行邊緣提取 ,得到目標(biāo)的輪廓線 ,針對(duì)輪廓線進(jìn)行形狀特征檢索。 于知識(shí)的圖像檢索 基于知識(shí)的圖像檢索也是基于內(nèi)容檢索的重要方法之一。圖像本身是一定數(shù)量的顏色像素點(diǎn)的集合 ,人類能夠識(shí)別出像素點(diǎn)集合的含義是人類以自身的知識(shí)賦予圖像意義的過(guò)程?；谥R(shí)的圖像檢索系統(tǒng)為用戶提供知識(shí)庫(kù) ,針對(duì)一個(gè)圖像需求 ,搜索引擎依次調(diào)入每一幅圖像的內(nèi)容描述 ,結(jié)合知識(shí)庫(kù)中的相關(guān)知識(shí) ,以圖像需求為目標(biāo)進(jìn)行推理 ,如果需求目標(biāo)得到滿足 ,則確定這幅圖像符合檢索要求。 3 基于內(nèi)容的視頻檢索 基于內(nèi)容的視頻信息檢索是當(dāng)前多媒體數(shù)據(jù)庫(kù)發(fā) 展的一個(gè)重要研究領(lǐng)域 ,它通過(guò)對(duì)非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析和處理 ,采用視頻分割技術(shù) ,將連續(xù)的視頻流劃分為具有特定語(yǔ)義的視頻片段 鏡頭 ,作為檢索的基本單元 ,在此基礎(chǔ)上進(jìn)行代表幀 (提取和動(dòng)態(tài)特征的提取 ,形成描述鏡頭的特征索引 ;依據(jù)鏡頭組織和特征索引 ,采用視頻聚類等方法研究鏡頭之間的關(guān)系 ,把內(nèi)容相近的鏡頭組合起來(lái) ,逐步縮小檢索范圍 ,直至查詢到所需的視頻數(shù)據(jù)。這里 ,視頻分割、代表幀和動(dòng)態(tài)特征提取是基于內(nèi)容的視頻檢索的關(guān)鍵技術(shù)。 于代表幀的檢索 代表幀 是用于描述一個(gè)鏡頭的關(guān)鍵圖像 ,它反映鏡頭的主要內(nèi)容。代表幀的選取方法很多 ,比較經(jīng)典的是幀平均法和直方圖平均法 ,其特征的提取與一般靜態(tài)圖像一樣 ,包括顏色特征、紋理特征和輪廓特征等。 視頻被抽象為代表幀之后 ,視頻檢索就變成按照某種相似度來(lái)檢索數(shù)據(jù)庫(kù)中與需求相似的代表幀。目前常用的查詢方式是示例查詢 ,即根據(jù)用戶提交的視頻例子 ,在視頻特征庫(kù)的支持下 ,檢索到相似的代表幀 ,用戶就可以通過(guò)播放觀看它代表的視頻片段 ,并挑選相似的圖像 ,選擇這些圖像中所有相近的代表幀 ,重新進(jìn)行更精確的查詢。 于動(dòng)態(tài)特征的檢索 視頻數(shù)據(jù)的動(dòng)態(tài)特征是檢索時(shí)用戶所能給出的主要內(nèi)容 ,例如 ,鏡頭的運(yùn)動(dòng)變化、運(yùn)動(dòng)目標(biāo)的大小變化、視頻目標(biāo)的運(yùn)動(dòng)軌跡等。這些動(dòng)態(tài)特征的提取與代表幀的提取不同 ,不能從靜態(tài)圖像中獲得 ,必須對(duì)整個(gè)視頻序列進(jìn)行分析。 基于動(dòng)態(tài)特征來(lái)搜索鏡頭是視頻檢索的進(jìn)一步要求。檢索時(shí)可以利用運(yùn)動(dòng)方向和幅度特征來(lái)檢索運(yùn)動(dòng)的主體目標(biāo) ,還可以將動(dòng)態(tài)特征與代表幀特征結(jié)合起來(lái) ,檢索出動(dòng)態(tài)特征相似但靜態(tài)特征不同的鏡頭。 頻瀏覽 視頻瀏覽是視頻數(shù)據(jù)庫(kù)的重要組成部分 ,當(dāng)用戶對(duì)所要檢索的目標(biāo)不十分明確時(shí) ,往往需要對(duì)視頻數(shù)據(jù)進(jìn) 行快速瀏覽以便尋找感興趣的內(nèi)容 ,目的是排除次要內(nèi)容 ,以較少的圖像盡可能全面地表達(dá)出所需視頻數(shù)據(jù)的主要內(nèi)容特征。 4 基于內(nèi)容的多媒體信息檢索系統(tǒng)開(kāi)發(fā)概況 統(tǒng) 由 究中心開(kāi)發(fā) ,是基于內(nèi)容的檢索系統(tǒng)的典型代表。 統(tǒng)允許使用示例圖像、用戶構(gòu)建的草圖、選擇的顏色和紋理模式、鏡頭和目標(biāo)運(yùn)動(dòng)以及其他圖形信息等 ,對(duì)大型圖像和視頻數(shù)據(jù)庫(kù)進(jìn)行查詢。 統(tǒng) 由 媒體實(shí)驗(yàn)室于 1994 年開(kāi)發(fā)研制。圖像在存儲(chǔ)時(shí)按人臉、形狀或紋理特性自動(dòng)分類 ,圖像根據(jù)類別通過(guò)顯著語(yǔ)義特征壓縮編碼。 統(tǒng) 這是新加坡國(guó)立大學(xué)開(kāi)發(fā)的一個(gè)基于內(nèi)容的檢索系統(tǒng)。其顯著的技術(shù)特色包括 :多種特征提取方法、多種基于內(nèi)容檢索方法、使用自組織神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜特征度量、建立基于內(nèi)容索引的新方法以及對(duì)多媒體信息進(jìn)行模糊檢索的新技術(shù)。 統(tǒng) 由美國(guó)哥倫比亞大學(xué)圖像和高級(jí)電視實(shí)驗(yàn)室開(kāi)發(fā)。它實(shí)現(xiàn)了互聯(lián)網(wǎng)上基于內(nèi)容的圖像 /視頻檢索系統(tǒng) ,提供了一套工具供人們?cè)?檢索圖像和視頻信息。 另外還有許多類似的系統(tǒng) ,例如 ,加利福尼亞 大學(xué) 校的 利諾依大學(xué)的 及哥倫比亞大學(xué)的 。 5 基于內(nèi)容的多媒體檢索技術(shù)的發(fā)展趨勢(shì) 基于內(nèi)容的多媒體信息檢索技術(shù)與傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)、 索引擎技術(shù)相結(jié)合 ,可以方便地實(shí)現(xiàn)海量多媒體信息資源的存儲(chǔ)和管理 ,并可以檢索 頁(yè)中豐富的多媒體信息。在可預(yù)見(jiàn)的將來(lái) ,基于內(nèi)容的多媒體檢索技術(shù)將會(huì)在數(shù)字圖書(shū)館建設(shè)中得到廣泛應(yīng)用。 但隨著多媒體內(nèi)容的增多和存儲(chǔ)技術(shù)的提高 ,目前的技術(shù)開(kāi)發(fā)還遠(yuǎn)遠(yuǎn)不夠 ,有待于進(jìn)行更深層次的研究和探索?；趦?nèi)容的 多媒體檢索技術(shù)的發(fā)展趨勢(shì)主要集中在以下幾方面 : 合的多特征檢索技術(shù) 多媒體具有各種視覺(jué)和聽(tīng)覺(jué)特征以及其他時(shí)間和空間關(guān)系 ,對(duì)于同一種特征 ,也有不同的表示方法 ,例如 ,同樣是顏色特征 ,可以有直方圖特征、顏色距 (顏色集(主顏色等多種特征表示法 ,它們從不同的角度表示媒體的特征。而如何有機(jī)地組織多種特征 ,并按照用戶的查詢要求合并各種特征的檢索結(jié)果 ,將是一個(gè)值得研究的問(wèn)題。 綜合還意味著采納其他學(xué)科領(lǐng)域的成果 ,如傳統(tǒng)的基于文本的信息檢索技術(shù)、人工智能技術(shù)等?；趦?nèi)容的檢索系統(tǒng)并不排斥傳統(tǒng)常規(guī)的檢索途徑 ,相反 ,要充分利用現(xiàn)有的文本檢索功能 ,并集成到基于內(nèi)容的檢索系統(tǒng)中 ,向用戶提供完備的檢索能力。 層概念和低層特征的關(guān)聯(lián) 人們?cè)谌粘Ｉ钪辛?xí)慣使用的事物概念 ,例如 ,樓房、汽車、海灘 等是用以表達(dá)具體含義的概念 ,在多媒體信息查詢中也經(jīng)常使用 ,而且屬于多媒體數(shù)據(jù)的高層語(yǔ)義內(nèi)容。目前 ,基于低層特征的檢索技術(shù)已基本成熟 ,如果能夠建立這些低層特征與高層語(yǔ)義概念的關(guān)聯(lián) ,將實(shí)現(xiàn)媒體語(yǔ)義的計(jì)算機(jī)自動(dòng)抽取。針對(duì)多媒體信息檢索系統(tǒng)而言 ,在響應(yīng)時(shí)間和大容量 數(shù)據(jù)庫(kù)約束的前提下 ,可以采用語(yǔ)義模板、用戶交互、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等方法 ,突破從低層特征獲取高層語(yǔ)義的壁壘。 維索引技術(shù) 對(duì)于大容量的多媒體數(shù)據(jù)庫(kù) ,在基于內(nèi)容的檢索過(guò)程中 ,特征矢量常常高達(dá) 102量級(jí) ,大大多于常規(guī)數(shù)據(jù)庫(kù)的索引能力 ,因此 ,需要研究新的索引結(jié)構(gòu)和算法 ,以支持快速檢索。目前 ,一般采用先減少維數(shù) ,再用適當(dāng)?shù)亩嗑S索引結(jié)構(gòu)的方法。雖然過(guò)去已經(jīng)取得了一些進(jìn)展 ,例如 ,但仍然需要研究和探索有效的高維索引方法 ,以支持多特征、異構(gòu)特征、權(quán)重、主鍵特征方面的查 詢要求。 序媒體的內(nèi)容結(jié)構(gòu)化 典型的時(shí)序媒體是視頻和音頻。它們是一種非結(jié)構(gòu)化的連續(xù)媒體流數(shù)據(jù) ,需要進(jìn)行結(jié)構(gòu)化分析和處理 ,才能進(jìn)行特征的提取。目前鏡頭分割技術(shù)相對(duì)成熟 ,計(jì)算機(jī)可以基于鏡頭進(jìn)行瀏覽。但是 ,對(duì)于一段鏡頭非常多的視頻 ,瀏覽起來(lái)很不方便。另外 ,鏡頭并不是人們關(guān)心的語(yǔ)義單元 ,而是些零散的剪切單元。因此 ,目前的研究熱點(diǎn)是結(jié)合多類特征 (音頻、視頻、文本等 )抽取視頻的語(yǔ)義和敘事結(jié)構(gòu) ,在多個(gè)層次上組織視頻內(nèi)容。 戶查詢接口 現(xiàn)代多媒體信息系統(tǒng)的一個(gè)重要特征就是信息獲取過(guò)程的可 交互性 ,用戶在系統(tǒng)中是主動(dòng)的。除了提供示例和描繪查詢的基本接口之外 ,用戶的查詢接口應(yīng)提供豐富的交互能力 ,使用戶在主動(dòng)的交互過(guò)程中表達(dá)對(duì)媒體語(yǔ)義的感知 ,調(diào)整查詢參數(shù)及其組合 ,最終獲得滿意的查詢結(jié)果。 第二部分 基于內(nèi)容的圖像檢索技術(shù) 近年來(lái)，隨著多媒體技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，全世界的數(shù)字圖像的容量正以驚人的速度增長(zhǎng)。無(wú)論是軍用還是民用設(shè)備，每天都會(huì)產(chǎn)生容量相當(dāng)于數(shù)千兆字節(jié)的圖像。這些數(shù)字圖像中包含了大量有用的信息。然而，由于這些圖像是無(wú)序地分布在世界各地，圖像中包含的信息無(wú)法被有效地訪問(wèn)和利用。這就 要求有一種能夠快速而且準(zhǔn)確地查找訪問(wèn)圖像的技術(shù)，也就是所謂的圖像檢索技術(shù)。自從 20世紀(jì) 70 年代以來(lái)，在數(shù)據(jù)庫(kù)系統(tǒng)和計(jì)算機(jī)視覺(jué)兩大研究領(lǐng)域的共同推動(dòng)下，圖像檢索技術(shù)已逐漸成為一個(gè)非常活躍的研究領(lǐng)域。數(shù)據(jù)庫(kù)和計(jì)算機(jī)視覺(jué)兩大領(lǐng)域是從不同的角度來(lái)研究圖像檢索技術(shù)的，前者基于文本的，而后者是基于視覺(jué)的。 基于文本的圖像檢索技術(shù)（ 歷史可以追溯到 20 世紀(jì)70 年代末期。當(dāng)時(shí)流行的圖像檢索系統(tǒng)是將圖像作為數(shù)據(jù)庫(kù)中存儲(chǔ)的一個(gè)對(duì)象，用關(guān)鍵字或自由文本對(duì)其進(jìn)行描述。查詢操作 是基于該圖像的文本描述進(jìn)行精確匹配或概率匹配，有些系統(tǒng)的檢索模型還是有詞典支持的。另外，圖像數(shù)據(jù)模型、多維索引、查詢?cè)u(píng)價(jià)等技術(shù)都在這樣一個(gè)框架之下發(fā)展起來(lái)。然而，完全基于文本的圖像檢索技術(shù)存在著嚴(yán)重的問(wèn)題。首先，目前的計(jì)算機(jī)視覺(jué)和人工智能技術(shù)都無(wú)法自動(dòng)對(duì)圖像進(jìn)行標(biāo)注，而必須依賴于人工對(duì)圖像做出標(biāo)注。這項(xiàng)工作不但費(fèi)時(shí)費(fèi)力，而且手工的標(biāo)注往往是不準(zhǔn)確或不完整的，還不可避免地帶有主觀偏差。也就是說(shuō)，不同的人對(duì)同一幅圖像有不同的理解方法，這種主觀理解的差異將導(dǎo)致圖像檢索中的失配錯(cuò)誤。此外，圖像中所包含的豐富的視覺(jué)特 征（顏色或紋理等）往往無(wú)法用文本進(jìn)行客觀地描述的。 90年代初期，隨著大規(guī)模數(shù)字圖像庫(kù)的出現(xiàn)，上述的問(wèn)題變得越來(lái)越尖銳。為克服這些問(wèn)題，基于內(nèi)容的圖像檢索技術(shù)（ 運(yùn)而生。區(qū)別于原有系統(tǒng)中對(duì)圖像進(jìn)行人工標(biāo)注的做法，基于內(nèi)容的檢索技術(shù)自動(dòng)提取每幅圖像的視覺(jué)內(nèi)容特征作為其索引，如色彩、紋理、形狀等。此后幾年中，這個(gè)研究領(lǐng)域中的許多技術(shù)發(fā)展起來(lái)，一大批研究性的或商用的圖像檢索系統(tǒng)被建立起來(lái)。這個(gè)領(lǐng)域的發(fā)展主要來(lái)歸功于計(jì)算機(jī)視覺(jué)技術(shù)的進(jìn)步，在文獻(xiàn) 中有對(duì) 這一領(lǐng)域的詳細(xì)介紹。 應(yīng)該認(rèn)識(shí)到，基于內(nèi)容的圖像檢索系統(tǒng)具有與傳統(tǒng)基于文本的檢索系統(tǒng)完全不同的構(gòu)架。首先，由于圖像依賴其視覺(jué)特征而非文本描述進(jìn)行索引，查詢將根據(jù)圖像視覺(jué)特征的相似度進(jìn)行。 用戶通過(guò)選擇具有代表性的一幅或多幅例子圖像來(lái)構(gòu)造查詢，然后由系統(tǒng)查找與例子圖像在視覺(jué)內(nèi)容上比較相似的圖像，按相似度大小排列返回給用戶。這就是所謂的通過(guò)例子圖像的檢索（ by 另外，基于內(nèi)容的檢索系統(tǒng)一般通過(guò)可視化界面和用戶進(jìn)行頻繁的交互，以便于用戶能夠方便地構(gòu)造查詢、評(píng)估檢索結(jié)果和改進(jìn)檢索結(jié)果。 基于內(nèi)容圖像檢索的體系結(jié)構(gòu)劃分為兩個(gè)子系統(tǒng)：特征抽取子系統(tǒng)和查詢子系統(tǒng)，如圖 2 圖像數(shù)據(jù) 目標(biāo)標(biāo)識(shí) 特征提取 索引 / 過(guò) 濾 檢索引擎 查詢接口 知識(shí)輔助 圖像 庫(kù) 特征 庫(kù) 知識(shí) 庫(kù) 用戶 特征提取子系統(tǒng) 查詢子系統(tǒng) 預(yù)處理 2于內(nèi)容圖像檢索的體系結(jié)構(gòu) 各個(gè)模塊的主要功能如下： 1預(yù) 處理 包括圖像格式的轉(zhuǎn)換、尺寸的統(tǒng)一，圖像的增強(qiáng)與去 噪 等功能，為圖像的特征提取打下基礎(chǔ)。 2 目標(biāo)標(biāo)識(shí) 目標(biāo)標(biāo)識(shí)為用戶提供一種工具，以全自動(dòng)或半自動(dòng)（需要用戶 干預(yù)）的方式標(biāo)識(shí)圖像中用戶感興趣的區(qū)域或目標(biāo)對(duì)象，以便針對(duì)目標(biāo)進(jìn)行特征提取并查詢。當(dāng)進(jìn)行整體內(nèi)容檢索時(shí)，利用全局特征，這時(shí)不用目標(biāo)標(biāo)識(shí)功能。目標(biāo)標(biāo)識(shí)是可選的。 3特 征提取 對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行特征提取，提取用戶感興趣的、適合檢索要求的特征。特征提取可以是全局性的，即整幅圖像，也可以是針對(duì)某個(gè)目標(biāo)的，即圖像中的子區(qū)域，如人臉等。 4. 數(shù)據(jù) 庫(kù) 生成的數(shù)據(jù)庫(kù)由圖像庫(kù)、特征庫(kù)和知識(shí)庫(kù)組成。圖像庫(kù)為數(shù)字化的圖像信息 ， 特征庫(kù)包含用戶輸入的特征和預(yù)處理自動(dòng)提取的內(nèi)容特征。知識(shí)庫(kù)包含專門和通用知識(shí) ， 有利于查詢優(yōu)化和快速匹配 ，知識(shí)庫(kù)中知識(shí)表達(dá)可以更換以適用各種不同的應(yīng)用領(lǐng)域。 接口 友好的人機(jī)交互界面是一個(gè)成功檢索系統(tǒng)不可缺少的條件，它可以大大提高檢索的效率。在基于內(nèi)容檢索中，由于特征值為高維向量，不具有直觀性，因此必須為其提供一個(gè)可視化的輸入手段。可采用的方式有三種：操縱交互輸入方式、模板選擇輸入方式和用戶提交特征樣板的輸入方式。同時(shí)應(yīng)支持多種特征的組合。另外，查詢 返 回的結(jié)果需要瀏覽，應(yīng)在用戶界面提供瀏覽功能。 檢索是利用特征之間的距離函數(shù)來(lái)進(jìn)行相似性檢索。模仿人的認(rèn)知過(guò)程，近似得到數(shù)據(jù)庫(kù)的認(rèn)知排隊(duì)，存 在一些不同的相似性測(cè)度算法，檢索引擎中包括一個(gè)較為有效可靠的相似性測(cè)度函數(shù)集。 7. 索引 /過(guò)濾 檢索引擎通過(guò)索引 /過(guò)濾模塊達(dá)到快速搜索的目的，從而可以應(yīng)用到大型數(shù)據(jù)庫(kù)中。過(guò)濾器作用于全部數(shù)據(jù)，過(guò)濾出的數(shù)據(jù)集合再用高維特征匹配來(lái)檢索。索引用于低維特征，可以用 在這一部分中，我們將主要討論有關(guān)基于內(nèi)容的圖像檢索方面的一些相關(guān)問(wèn)題和方法。第 2章中給出了一系列圖像視覺(jué)特征的提取、表達(dá)和索引方法。第 3章中討論了圖像相似度衡量方法和其它檢索相關(guān)技術(shù)。在第 4章中，我們介紹了圖像檢索中相關(guān)反饋的機(jī)制 和途徑。最后，第 5章中總結(jié)了現(xiàn)有的一些圖像檢索系統(tǒng)，并對(duì)這一領(lǐng)域的未來(lái)方向作出展望。 第 2 章 圖像特征的提取與表達(dá) 圖像特征的提取與表達(dá)是基于內(nèi)容的圖像檢索技術(shù)的基礎(chǔ)。從廣義上講，圖像的特征包括基于文本的特征（如關(guān)鍵字、注釋等）和視覺(jué)特征（如色彩、紋理、形狀、對(duì)象表面等）兩類。由于基于文本的圖像特征提取在數(shù)據(jù)庫(kù)系統(tǒng)和信息檢索等領(lǐng)域中已有深入的研究，本章中我們主要介紹圖像視覺(jué)特征的提取和表達(dá)。 視覺(jué)特征又可分為通用的視覺(jué)特征和領(lǐng)域相關(guān)的視覺(jué)特征。前者用于描述所有圖像共有的特征，與圖像的具體類型或內(nèi)容無(wú)關(guān) ，主要包括色彩、紋理和形狀；后者則建立在對(duì)所描述圖像內(nèi)容的某些先驗(yàn)知識(shí)（或假設(shè)）的基礎(chǔ)上，與具體的應(yīng)用緊密有關(guān)，例如人的面部特征或指紋特征等。由于領(lǐng)域相關(guān)的圖像特征主要屬于模式識(shí)別的研究范圍，并涉及許多專業(yè)的領(lǐng)域知識(shí)，在此我們就不再詳述，而只考慮通用的視覺(jué)特征。 對(duì)于某個(gè)特定的圖像特征，通常又有多種不同的表達(dá)方法。由于人們主觀認(rèn)識(shí)上的千差萬(wàn)別，對(duì)于某個(gè)特征并不存在一個(gè)所謂的最佳的表達(dá)方式。事實(shí)上，圖像特征的不同表達(dá)方式從各個(gè)不同的角度刻畫了該特征的某些性質(zhì)。在本章中，我們主要介紹那些由實(shí)踐證明對(duì)圖像檢索比 較有效的特征和相應(yīng)的表達(dá)方法。本章的第 1、 2、 3節(jié)中我們將分別介紹圖像的顏色、紋理和形狀特征，第 4節(jié)中介紹包含有空間信息的圖像特征，最后一節(jié)簡(jiǎn)述了多維索引技術(shù)和降低維度技術(shù)。 色特征的提取 顏色特征是在圖像檢索中應(yīng)用最為廣泛的視覺(jué)特征，主要原因在于顏色往往和圖像中所包含的物體或場(chǎng)景十分相關(guān)。此外，與其他的視覺(jué)特征相比，顏色特征對(duì)圖像本身的尺寸、方向、視角的依賴性較小，從而具有較高的魯棒性。 面向圖像檢索的顏色特征的表達(dá)涉及到若干問(wèn)題。首先，我們需要選擇合適的顏色空間來(lái)描述顏色特征；其次，我們 要采用一定的量化方法將顏色特征表達(dá)為向量的形式；最后，還要定義一種相似度（距離）標(biāo)準(zhǔn)用來(lái)衡量圖像之間在顏色上的相似性。在本節(jié)中，我們將主要討論前兩個(gè)問(wèn)題，并介紹顏色直方圖、顏色矩、顏色集、顏色聚合向量以及顏色相關(guān)圖等顏色特征的表示方法。 色直方圖 顏色直方圖是在許多圖像檢索系統(tǒng)中被廣泛采用的顏色特征。它所描述的是不同色彩在整幅圖像中所占的比例，而并不關(guān)心每種色彩所處的空間位置，即無(wú)法描述圖像中的對(duì)象或物體。顏色直方圖特別適于描述那些難以進(jìn)行自動(dòng)分割的圖像。 當(dāng)然，顏色直方圖可以是基于不同 的顏色空間和坐標(biāo)系。最常用的顏色空間是 因在于大部分的數(shù)字圖像都是用這種顏色空間表達(dá)的。然而， 此，有人提出了基于 為它們更接近于人們對(duì)顏色的主觀認(rèn)識(shí)。其中 的三個(gè)分量分別代表色彩（ 飽和度（ 值（ 從 給定 色空間的值 (r,g,b),r,g,b0,1, ,255， 則轉(zhuǎn)換到 間的 (h,s,v)值計(jì)算如下： 設(shè) ), 定義 , ： ),m i n ( ,),m i n ( ,),m i n ( 則 ),m 2 5 5/ 60),5(),m i n (),m ),3(),m i n (),m ),3(),m i n (),m ),1(),m i n (),m ),1(),m i n (),m ),5(其它和和和和和其中 r, g, b 0 1 , h 0 6, s, v 0 1 。從 1中找到。 計(jì)算 色的距離由多種不同的方法。例如在 2中提出了如下的顏色距離計(jì)算公式： 其中 ( (分別代表兩種 種相似度量方法相當(dāng)于一個(gè)圓柱形顏色空間中的歐拉距離，該空間中的顏色值表示為 (v)。在 3中這樣的圓柱空間被進(jìn)一步變形稱為圓錐性空間，其中的顏色表示為 (v)。這些改變使 低了直方圖對(duì) h和 計(jì)算顏色直方圖需要將顏色空間劃分成若干個(gè)小的顏色區(qū)間，每個(gè)小 區(qū)間成為直方圖的一個(gè) 個(gè)過(guò)程稱為顏色量化（ 然后，通過(guò)計(jì)算顏色落在每個(gè)小區(qū)間內(nèi)的像素?cái)?shù)量可以得到顏色直方圖。顏色量化有許多方法，例如向量量化、聚類方法或者神經(jīng)網(wǎng)絡(luò)方法。最為常用的做法是將顏色空間的各個(gè)分量（維度）均勻地進(jìn)行劃分。相比之下，聚類算法則會(huì)考慮到圖像顏色特征在整個(gè)空間中的分布情況，從而避免出現(xiàn)某些 量化更為有效。另外，如果圖像是 們可以預(yù)先建立從量化的 查找表（ 從而加快直方圖的計(jì)算過(guò)程。 上述的顏色量化方法會(huì)產(chǎn)生一定的問(wèn)題。設(shè)想兩幅圖像的顏色直方圖幾乎相同，只是互相錯(cuò)開(kāi)了一個(gè) 時(shí)如果我們采用 算兩者的相似度，會(huì)得到很小的相似度值。為了克服這個(gè)缺陷，需要考慮到相似但不相同的顏色之間的相似度。一種方法是采用二次式距離 4（見(jiàn) 另一種方法是對(duì)顏色直方圖事先進(jìn)行平滑過(guò)濾，即每個(gè) 樣，相似但不相同顏色之間的相似度對(duì)直方圖的相似度 也有所貢獻(xiàn)。 選擇合適的顏色小區(qū)間（即直方圖的 目和顏色量化方法與具體應(yīng)用的性能和效率要求有關(guān)。一般來(lái)說(shuō)，顏色小區(qū)間的數(shù)目越多，直方圖對(duì)顏色的分辨能力就越強(qiáng)。然而，不利于在大型圖像庫(kù)中建立索引。而且對(duì)于某些應(yīng)用來(lái)說(shuō)，使用非常精細(xì)的顏色空間劃分方法不一定能夠提高檢索效果，特別是對(duì)于不能容忍對(duì)相關(guān)圖像錯(cuò)漏的那些應(yīng)用。另一種有效減少直方圖 像素?cái)?shù)目最多）的 為這些表示主要顏色的 中大部分像素的顏色。實(shí)驗(yàn)證明這種方法并不會(huì)降低顏色直方圖的檢索效果。事實(shí)上，由于忽略了那些數(shù)值較小的 色直方圖對(duì)噪聲的敏感程度降低了，有時(shí)會(huì)使檢索效果更好。兩種采用主要顏色構(gòu)造直方圖的方法可以在文獻(xiàn) 5,6中找到。 色矩 另一種非常簡(jiǎn)單而有效的顏色特征使由 7。這種方法的數(shù)學(xué)基礎(chǔ)在于圖像中任何的顏色分布均可以用它的矩來(lái)表示。此外，由于顏色分布信息主要集中在低階矩中，因此僅采用顏色的一階矩（ 、二階矩（ 三階矩（ 足以表達(dá)圖像的顏色分布。與顏色直方圖相比，該方法的另一個(gè)好處在于無(wú)需對(duì)特征進(jìn)行向量化。顏色的三個(gè)低次矩在數(shù)學(xué)上表達(dá)為： 其中 此，圖像的顏色矩一共只需要 9個(gè)分量（ 3個(gè)顏色分量，每個(gè)分量上 3個(gè)低階矩），與其他的顏色特征相比是非常簡(jiǎn)潔的。在實(shí)際應(yīng)用中為避免低次矩較弱的分辨能力，顏色矩常和其它特征結(jié)合使用，而且一般在使用其它特征前起到過(guò)濾縮小范圍（ 作用。 色集 為支 持大規(guī)模圖像庫(kù)中的快速查找， 為對(duì)顏色直方圖的一種近似 8。他們首先將 并將顏色空間量化成若干個(gè) 后，他們用色彩自動(dòng)分割技術(shù)將圖像分為若干區(qū)域，每個(gè)區(qū)域用量化顏色空間的某個(gè)顏色分量來(lái)索引，從而將圖像表達(dá)一個(gè)二進(jìn)制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離和色彩區(qū)域的空間關(guān)系（包括區(qū)域的分離、包含、交等，每種對(duì)應(yīng)于不同得評(píng)分）。因?yàn)轭伾磉_(dá)為二進(jìn)制的特征向量，可以構(gòu)造二分 查找樹(shù)來(lái)加快檢索速度，這對(duì)于大規(guī)模的圖像集合十分有利。 色聚合向量 針對(duì)顏色直方圖和顏色矩?zé)o法表達(dá)圖像色彩的空間位置的缺點(diǎn)， 提出了圖像的顏色聚合向量（ 它是顏色直方圖的一種演變，其核心思想是將屬于直方圖每一個(gè) 果該 該區(qū)域內(nèi)的像素作為聚合像素，否則作為非聚合像素。假設(shè) i個(gè) 像的顏色聚合 向量可以表達(dá)為 。而 就是該圖像的顏色直方圖。由于包含了顏色分布的空間信息，顏色聚合向量相比顏色直方圖可以達(dá)到更好的檢索效果。 色相關(guān)圖 顏色相關(guān)圖（ 圖像顏色分布的另一種表達(dá)方式 16。這種特征不但刻畫了某一種顏色的像素?cái)?shù)量占整個(gè)圖像的比例，還反映了不同顏色對(duì)之間的空間相關(guān)性。實(shí)驗(yàn)表明，顏色相關(guān)圖比顏色直方圖和顏色聚合向量具有 更高的檢索效率，特別是查詢空間關(guān)系一致的圖像。 假設(shè) i) 則表示顏色為 c(i)的所有像素。顏色相關(guān)圖可以表達(dá)為： 其中 i, j 1, 2, , N， k 1, 2, , d， | 表示像素 色相關(guān)圖可以看作是一張用顏色對(duì) 索引的表，其中 的第 c(i)的像素和顏色為 c(j)的像素之間的距離小于 果考慮到任何顏色之間的相關(guān)性，顏色相關(guān)圖會(huì)變得非常復(fù)雜和龐大 (空間復(fù)雜度為 O(。一種簡(jiǎn)化的變種是顏色自動(dòng)相關(guān)圖（ 它僅僅考察具有相同顏色的像素間的空間關(guān)系，因此空間復(fù)雜度降到 O( 理特征的提取 紋理特征是一種不依賴于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺(jué)特征 12。它是所有物體表面共有的內(nèi)在特性，例如云彩、樹(shù)木、磚、織物等都有各自的紋理特征。紋理特征包含了物體表面結(jié)構(gòu)組織排列的重要信息以及它們與周圍環(huán)境的聯(lián)系 13。正因?yàn)槿绱?，紋理特征在基于內(nèi)容的圖像檢索中得到了廣泛的應(yīng)用，用戶可以通過(guò)提交包含有某種紋理的 圖像來(lái)查找含有相似紋理的其他圖像。 由于紋理特征對(duì)模式識(shí)別和計(jì)算機(jī)視覺(jué)等領(lǐng)域的重要意義，對(duì)紋理的分析研究在過(guò)去的三十年中取得了重大的成果。在本節(jié)中，我們將著重介紹那些在基于內(nèi)容的圖像檢索中所常用的那些紋理特征，主要有 回歸紋理模型、方向性特征、小波變換和共生矩陣等形式。 基于人類對(duì)紋理的視覺(jué)感知的心理學(xué)的研究， 14。別是粗糙度（ 對(duì)比度（ 方向度（ 線像度（ 規(guī)整度（ 粗略度（ 其中，前三個(gè)分量對(duì)于圖像檢索尤其重要5。接下來(lái)我們就著重討論粗糙度、對(duì)比度和方向度這三種特征的定義和數(shù)學(xué)表達(dá)。 粗糙度。粗糙度的計(jì)算可以分為以下幾個(gè)步驟進(jìn)行。首先，計(jì)算圖像中大小為 2k 2有 其中 k = 0, 1, , 5 而 g(i, j)是位于 (i, j)的 像素強(qiáng)度值。然后，對(duì)于每個(gè)像素，分別計(jì)算它在水平和垂直方向上互不重疊的窗口之間的平均強(qiáng)度差。 其中對(duì)于每個(gè)像素，能使 E 值達(dá)到最大（無(wú)論方向）的 k 值用來(lái)設(shè)置最佳尺寸x,y)=2k。最后，粗糙度可以通過(guò)計(jì)算整幅圖像中 達(dá)為 粗糙度特征的另一種該進(jìn)形式是采用直方圖來(lái)描述 不是像上述方法一樣簡(jiǎn)單地計(jì)算 種改進(jìn)后的粗糙度特征能夠表達(dá)具有多種不同紋理特征的圖像或區(qū)域，因此對(duì)圖像檢索更為有利。 對(duì)比度。對(duì)比度是通過(guò)對(duì)像素強(qiáng)度 分布情況的統(tǒng)計(jì)得到的。確切地說(shuō)，它是通過(guò) 4 = 4/ 4來(lái)定義的，其中 4 是四次矩而 2 是方差。對(duì)比度是通過(guò)如下公式衡量的 : 該值給出了整個(gè)圖像或區(qū)域中對(duì)比度的全局度量。 方向度。方向度的計(jì)算需要首先計(jì)算每個(gè)像素處的梯度向量。該向量的模和方向分別定義為 其中 別是通過(guò)圖像卷積下列兩個(gè) 3 當(dāng)所有像素的梯度向量都被計(jì)算出來(lái)后，一個(gè)直方圖 值。該直方圖首先對(duì) 的值域范圍進(jìn)行離散化，然后統(tǒng)計(jì)了每個(gè) 于給定閾值的像素?cái)?shù)量。這個(gè)直方圖對(duì)于具有明顯方向性的圖像會(huì)表現(xiàn)出峰值，對(duì)于無(wú)明顯方向的圖像則表現(xiàn)得比較平坦。最后，圖像總體的方向性可以通過(guò)計(jì)算直方圖中峰值的尖銳程度獲得，表示如下 : 上式中的 于某個(gè)峰值 p， 表該峰值所包含的所有的 p 是具有最高值的 回歸紋理模型 最近二十年中有大量的研究集中在應(yīng)用隨機(jī)場(chǎng)模型表達(dá)紋理特征，這方面 型取得了很大的成功。自回歸紋理模型（ 是 在 個(gè)像素的強(qiáng)度被描述成隨機(jī)變量，可以通過(guò)與其相鄰的像素來(lái)描述。如果 其強(qiáng)度值 g(s)可以表達(dá)為它的相鄰像素強(qiáng)度值的線性疊加與噪音項(xiàng) (s)的和，如下所示： 其中 是基準(zhǔn)偏差，由整幅圖像的平均強(qiáng)度值所決定， (r) 是一系列模型參數(shù)，用來(lái)表示不同相鄰位置上的像素的權(quán)值。 (s) 是均值為 0而方差為 2 的高斯隨機(jī)變量。通過(guò)上式可以用回歸法計(jì)算 參數(shù) 和標(biāo)準(zhǔn)方差 的值，它們反映了圖像的各種紋理特征。例如較高的 表示圖像具有很高的精細(xì)度，或較低的粗糙度。又比如，如果 很高，表明圖像具有垂直的方向性。最小誤差法（ 極大似然估計(jì)（ 以用來(lái)計(jì)算模型中的參數(shù)。此外， 具有與圖像的旋轉(zhuǎn)無(wú)關(guān)的特點(diǎn)。 定義合適的 的范圍。然而，固定大小的相鄰像素集合范圍無(wú)法很好地表達(dá)各種紋理特征。為此，有人提出過(guò)多維度的自回歸紋理模型（ 16，能夠在多個(gè)不同的相鄰像素集合范圍下計(jì)算紋理特征。文獻(xiàn) 17,18中給出了 驗(yàn)結(jié)果表明 波變換 小波變換（ 是一種常用的紋理分析和分類方法 19,20。小波變換指的是將信號(hào) 分解為一系列的基本函數(shù) mn(x)。這些基本函數(shù)都是通過(guò)對(duì)母函數(shù) (x)的變形得到，如下所示： 其中 m和 樣，信號(hào) f (x) 可以被表達(dá)為： 二維小波變換的計(jì)算需要進(jìn)行遞歸地過(guò)濾和采樣。在每個(gè)層次上，二維的信號(hào)被分解為四個(gè)子波段，根據(jù)頻率特征分別稱為 H。有兩種類型的小波變換可以用于紋理分析，其中是金字塔結(jié)構(gòu)的小波變換（ 樹(shù)樁結(jié)構(gòu)的小波變換（ 歸地分解 是對(duì)于那些主要信息包含在中頻段范圍內(nèi)的紋理特征，僅僅分解低頻的 此， 會(huì)分解其它的 小波變換表示的紋理特征可以用每個(gè)波段的每個(gè)分解層次上能量分布的均值和標(biāo)準(zhǔn)方差。例如 三層的分解， 般來(lái)說(shuō)，由 子集。此外，根據(jù)在文獻(xiàn) 21中所作的性能對(duì)比，不同的小波變換在對(duì)紋理分析方面沒(méi)有很顯著的差別。 它紋理特征 除了上述的 有許多其它的紋理特征。早在 70年代， 示紋理特征的方法 13。該方法對(duì)從數(shù)學(xué)角度研究了圖像紋理中灰度級(jí)的空間依賴關(guān)系。它首先建立一個(gè)基于象素之間方向性和距離的共生矩陣，然后從矩陣中提取有意義的統(tǒng)計(jì)量作為紋理特征。許多其他研究人 員沿著這個(gè)方向提出了擴(kuò)展的方案。例如 13中提出的統(tǒng)計(jì)特征，在實(shí)驗(yàn)中得出能量、相關(guān)性、慣量和熵是最有效的特征 22。 23能夠最大程度地減少空間和頻率的不確定性，同時(shí)還能夠檢測(cè)出圖像中不同方向和角度上的邊緣和線條。 24,25中提到了很多方法根據(jù)過(guò)濾輸出結(jié)果來(lái)描述圖像特征。 此外，