信息檢索第八章課件

2023/7/221第八章圖像檢索技術(shù)8.1圖像檢索技術(shù)概述8.2基于圖像內(nèi)容特征提取的檢索技術(shù)8.3基于多特征的圖像檢索技術(shù)8.4基于視覺(jué)特征的圖像檢索系統(tǒng)8.5典型的圖像檢索系統(tǒng)8.6圖像檢索技術(shù)的發(fā)展方向2023/7/222前言圖像檢索技術(shù)通常分為兩大類：基于文本的圖像檢索技術(shù)和基于內(nèi)容的圖像檢索技術(shù)。隨著大規(guī)模數(shù)字圖像數(shù)據(jù)庫(kù)的出現(xiàn)，基于文本的圖像檢索技術(shù)依然落伍，基于內(nèi)容的檢索技術(shù)自動(dòng)提取每幅圖像的視覺(jué)內(nèi)容特征作為其索引，如色彩、紋理、形狀等，它從一個(gè)新的視覺(jué)建立了圖像檢索的整體框架。2023/7/2238.1圖像檢索技術(shù)概述圖像的傳統(tǒng)管理方式是以文件系統(tǒng)為中心進(jìn)行展開(kāi)的，我們一直采用的是以文件管理圖像的方式?；趫D像內(nèi)容的檢索技術(shù)提高了檢索精度。2023/7/224一、圖像檢索一般模型如下圖所示：2023/7/225主要包括以下幾個(gè)方面：2023/7/226二、基于文本方式的圖像檢索技術(shù)20世紀(jì)70年代TBIR（text-basedimageretrieval）基于文本的圖像檢索技術(shù)沿用了文本檢索技術(shù)，利用文本描述的方式表示圖像的特征2023/7/227早期的TBIR：手工對(duì)圖像進(jìn)行注釋，工作量相當(dāng)大，不可避免的會(huì)帶來(lái)主觀性和不準(zhǔn)確性Internet環(huán)境下的TBIR：網(wǎng)頁(yè)信息的自動(dòng)采集和標(biāo)引技術(shù)索引方式：全文索引和關(guān)鍵詞索引Google、Yahoo和百度等搜索引擎所提供的圖像檢索服務(wù)，采用的都是TBIR技術(shù)2023/7/228TBIR的優(yōu)點(diǎn)：使用成熟的文本檢索和搜索引擎技術(shù)，符合人們的檢索習(xí)慣，實(shí)現(xiàn)簡(jiǎn)單2023/7/229TBIR的缺點(diǎn):標(biāo)注的準(zhǔn)確性差，也不能滿足用戶對(duì)圖像原始特征信息的檢索2023/7/2210三、基于知識(shí)和視覺(jué)特征的圖像檢索技術(shù)將人工智能領(lǐng)域的基于知識(shí)的處理方法引入到圖像處理領(lǐng)域，通過(guò)對(duì)圖像理解、只是表達(dá)、機(jī)器學(xué)習(xí)，并結(jié)合專家和用戶的先驗(yàn)知識(shí)，建立圖像知識(shí)庫(kù)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)庫(kù)的智能檢索。主要涉及地理信息系統(tǒng)、病人X照片的歸檔、檢索和診斷系統(tǒng)，以及人臉識(shí)別和指紋識(shí)別系統(tǒng)。2023/7/2211地理信息系統(tǒng)2023/7/2212人臉識(shí)別系統(tǒng):看看我像那個(gè)明星2023/7/2213指紋識(shí)別系統(tǒng)2023/7/2214四、基于內(nèi)容的圖像檢索技術(shù)對(duì)圖像的內(nèi)容，主要的方法是根據(jù)圖像的色彩、紋理、圖像對(duì)象的形狀以及他們的空間關(guān)系等內(nèi)容特征作為圖像的索引，計(jì)算查詢圖像和目標(biāo)圖像的相似距離，按照相似度匹配進(jìn)行檢索。2023/7/2215圖像內(nèi)容的層次模型2023/7/2216基于內(nèi)容的圖像檢索技術(shù)—（CBIR,Content-BasedImageRetrieval）更有效、更直接地反映圖像視覺(jué)信息必須基于圖像本身的屬性?，F(xiàn)在基于內(nèi)容圖像檢索已經(jīng)融入了相關(guān)反饋技術(shù)，讓用戶參與到檢索過(guò)程中，從而獲得知覺(jué)、語(yǔ)義上更加有意義的檢索結(jié)果。2023/7/2217五、圖像內(nèi)容描述的標(biāo)準(zhǔn)化國(guó)際標(biāo)準(zhǔn)化組織ISO／IEC制定的MPEG-7國(guó)際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的正式名稱為“多媒體內(nèi)容描述接口”（MultimediaContentDescriptionInterface），為各類多媒體信息提供一種標(biāo)準(zhǔn)化的描述，并將該描述與所描述的內(nèi)容相關(guān)聯(lián)，極大地促進(jìn)了對(duì)各種多媒體信息的快速查詢和訪問(wèn)。

2023/7/2218MPEG-7標(biāo)準(zhǔn)化的范圍包括：一系列的描述子（描述子是特征的表示法，一個(gè)描述子就是定義特征的語(yǔ)法和語(yǔ)義學(xué)）；一系列的描述結(jié)構(gòu)（詳細(xì)說(shuō)明成員之間的結(jié)構(gòu)和語(yǔ)義）；一種詳細(xì)說(shuō)明描述結(jié)構(gòu)的語(yǔ)言、描述定義語(yǔ)言（DDL）；一種或多種編碼描述方法。

2023/7/2219應(yīng)用：教育、娛樂(lè)、調(diào)查服務(wù)、地里信息系統(tǒng)、醫(yī)療應(yīng)用、電子購(gòu)物、電影、視頻和無(wú)線廣播歸檔等。2023/7/22208.2基于圖像內(nèi)容特征提取的檢索技術(shù)圖像的特征是人對(duì)圖像視覺(jué)感受的量化描述。圖像特征從各個(gè)方面描述了圖像的內(nèi)在語(yǔ)義，從而可以作為圖像的抽象表示。圖像特征包括圖像的文本特征和圖像視覺(jué)特征。-視覺(jué)特征分為通用特征和領(lǐng)域相關(guān)特征，前者包括顏色、紋理和性轉(zhuǎn)特征；后者與具體的應(yīng)用緊密相關(guān)，如人的面部特征和指紋特征。2023/7/2221一、基于顏色特征的圖像檢索基于顏色特征的圖像檢索需要解決兩個(gè)問(wèn)題：顏色的表示以及顏色特征的提取。顏色的表示取決于色彩空間的選擇，不同的場(chǎng)合采用的方式也是不同，常見(jiàn)的有HSV、RGB和YUV模型等。在基于顏色特征的索引算法中通常用顏色直方圖、累加直方圖，顏色矩和顏色集來(lái)表示圖像的顏色特征。2023/7/2222顏色特征優(yōu)勢(shì)和缺陷：是圖像物理特征中最直接的視覺(jué)特征，顏色特征非常穩(wěn)定，而且計(jì)算簡(jiǎn)單。不能很好的描述對(duì)象的空間特征對(duì)包含不同顏色集兩圖像之間的相似性判定仍然需要進(jìn)一步研究。2023/7/2223不同特征的檢索結(jié)果2023/7/2224二、基于紋理特征的圖像檢索紋理特征是一種不依賴于顏色或亮度的反應(yīng)圖像中同質(zhì)現(xiàn)象的視覺(jué)特征。它是所有物體表面共有的內(nèi)在特性。2023/7/2225通常利用以下四個(gè)特征量來(lái)表示圖像的紋理特征：反差能量2023/7/2226熵相關(guān)2023/7/2227三、基于形狀特征的圖像檢索技術(shù)基于形狀的檢索包括兩種：一是基于輪廓線的檢索，二是直接針對(duì)特定形狀的圖形進(jìn)行檢索?；谶吔绲谋硎荆捍矸椒ㄊ歉道锶~描述符。其基本思想是用對(duì)圖像進(jìn)行傅里葉變換得到的邊界作為形狀描述.其中一個(gè)優(yōu)點(diǎn)就是把二維問(wèn)題簡(jiǎn)化為一維問(wèn)題。基于區(qū)域的表示：代表方法是形狀無(wú)關(guān)矩。問(wèn)題：形狀邊界的自動(dòng)提取困難。2023/7/22281、形狀特征提取的一般幾何原理(1).矩形度(2).圓形度致密度邊界能量2023/7/2229(3).球狀性(4).偏心率2023/7/22302、圖像形狀提取的的一般描述（1）.邊界鏈碼（2）.一階差分鏈碼2023/7/2231（3）.傅里葉描述傅里葉變換是個(gè)可逆線性變換，在變換過(guò)程中信息沒(méi)有任何增減。傅里葉變換的高頻分量對(duì)應(yīng)一些圖像形狀細(xì)節(jié)，而低頻分量對(duì)應(yīng)圖像總體形狀，因此用一些低頻分量的傅里葉系數(shù)足以近似描述邊界形狀。2023/7/2232四、基于空間特征的圖像檢索技術(shù)顏色、紋理和形狀等多種特征反映的都是圖像的整體特征，而無(wú)法體現(xiàn)圖像中所包含的對(duì)象或物體。比如藍(lán)色的天空或蔚藍(lán)的海洋。2023/7/2233圖像空間關(guān)系特征是指圖像中分割出來(lái)的多個(gè)目標(biāo)之間的相互的空間位置或相對(duì)方向關(guān)系?？臻g位置信息可以分為兩類：相對(duì)空間位置信息和絕對(duì)空間位置信息。前一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的相對(duì)情況，如上下左右關(guān)系等。后一種關(guān)系強(qiáng)調(diào)的是目標(biāo)之間的距離大小以及方位。主要問(wèn)題：如何保證各種空間關(guān)系與圖像的旋轉(zhuǎn)無(wú)關(guān)，如何實(shí)現(xiàn)空間特征的相似度量從定性到定量的轉(zhuǎn)變。2023/7/22348.3基于多特征的圖像檢索技術(shù)鑒于利用圖像單個(gè)特征檢索的缺點(diǎn)，可以綜合利用圖像的顏色、紋理、形狀和空間特征的方法，計(jì)算特征提取向量。用戶可以根據(jù)需要調(diào)整各個(gè)特征之間的權(quán)重關(guān)系，以便滿足不同應(yīng)用情況的查詢。2023/7/22351、綜合顏色和形狀特征用此方法，不僅克服了疊加噪聲的影響，而且提高了旋轉(zhuǎn)變化時(shí)的穩(wěn)定性，可以減少誤匹配，從而提高檢索的精確度和準(zhǔn)確率。2023/7/22362、綜合形狀和空間特征3、綜合形狀和紋理特征4、綜合顏色、形狀和空間其中，分別為顏色、形狀和空間的加權(quán)，分別為顏色、形狀和空間的相似度。2023/7/22378.4基于視覺(jué)特征的圖像檢索系統(tǒng)基于視覺(jué)特征的圖像檢索技術(shù)能夠自動(dòng)提取每幅圖像的視覺(jué)特征作為其索引，如色彩、紋理和形狀等，查詢講根據(jù)圖像視覺(jué)特征進(jìn)行相似性計(jì)算。它一般可以通過(guò)可視化界面和用戶進(jìn)行頻繁的交互，便于用戶構(gòu)造查詢、評(píng)估和改進(jìn)檢索結(jié)果。2023/7/2238一、它的總體架構(gòu)如下：2023/7/2239二、圖像分割技術(shù)圖像分割是把圖像中互不相交，具有特殊含義的區(qū)域區(qū)分出來(lái)。因?yàn)榉指钆c人的主觀認(rèn)識(shí)有密切聯(lián)系，因此，到目前為止還不存在一種通用的方法。分割算法有：1、基于特征空間的2、基于圖像域3、基于模糊理論4、基于特定理論工具2023/7/22401、基于特征空間的分割方法由于分割過(guò)程中考察的圖像像素總具有一定的特征，因而可以把這些像素映射為一定特征空間中的點(diǎn)，從而將圖像分割轉(zhuǎn)化為特征空間中點(diǎn)的分類問(wèn)題。常用的手段包括特征閥值化技術(shù)和特征空間聚類技術(shù)。2023/7/22412、基于圖像域的分割方法根據(jù)采用的空間分組策略的不同，又可以細(xì)分為：分裂-合并技術(shù)、區(qū)域生長(zhǎng)技術(shù)、基于區(qū)域邊緣檢測(cè)技術(shù)。由于邊緣檢測(cè)并不能直接得到圖像區(qū)域，還需要區(qū)域填充、裂縫彌合等復(fù)雜的后處理，并且在預(yù)處理過(guò)程中采取去噪措施，一般復(fù)雜度較大。2023/7/22423、基于模糊理論的分割方法Prewit最早提出在圖像分割中使用模糊集；Sugeno提出模糊測(cè)度和模糊積分的概念，模糊測(cè)度用于度量模糊程度，模糊積分可以理解為模糊期望。2023/7/22434、基于特定理論工具的分割方法主要有：基于數(shù)學(xué)形態(tài)學(xué)的、利用神經(jīng)網(wǎng)絡(luò)的、基于小波分析和變換的、基于遺傳算法的分割方法等。2023/7/2244存在的不足：1、只考慮了圖像視覺(jué)特征的一致性，引入高層特征的兌現(xiàn)分割方法處于起步階段；2、準(zhǔn)確性與通用性一般較差，分割精度有待提高；3、分割方法復(fù)雜度較高，分割所需的計(jì)算時(shí)間較長(zhǎng)；4、缺乏通用有效的評(píng)價(jià)指標(biāo)2023/7/22455、相似性度量公式1．Minkowsky距離公式2．直方圖相交距離公式3．直方圖二次距離4．Mahalanobis距離公式（馬氏距離）2023/7/22466、圖像索引大致可以分六類：高維索引方法、降維方法、近似最近鄰方法、單一維空間映射方法、多重空間填充曲線方法和基于過(guò)濾的方法。2023/7/22478.5典型的圖像檢索系統(tǒng)簡(jiǎn)介IBM的QBIC(QueryByImageContent)是第一個(gè)商業(yè)性的CBIR系統(tǒng)。目前QBIC系統(tǒng)的基于內(nèi)容檢索技術(shù)已經(jīng)在IBM數(shù)字圖書(shū)館中得到了應(yīng)用，實(shí)現(xiàn)了自動(dòng)索引、歸并、對(duì)比、特征抽取和翻譯功能。還有哥倫比亞大學(xué)開(kāi)發(fā)的Visual-SEEK，MIT多媒體實(shí)驗(yàn)室開(kāi)發(fā)的PhotoBook，UCBerkeley開(kāi)發(fā)的Blobword系統(tǒng)等。2023/7/22488.6圖像檢索技術(shù)的研究熱點(diǎn)1.綜合特征檢索技術(shù)考慮到顏色、紋理、形狀和空間關(guān)系等特征各有特點(diǎn)，它們各自反映圖像某一方面的內(nèi)容，如果進(jìn)行綜合利用則有可能提高檢索性能。2.相關(guān)反饋檢索技術(shù)實(shí)現(xiàn)了人機(jī)交互，用戶根據(jù)先前檢索結(jié)果借助權(quán)重調(diào)整已有的查詢要求以給檢索系統(tǒng)提供更多更直接的信息，從而使系統(tǒng)能更好地滿足用戶的需求。2023/7/22493.基于語(yǔ)義的檢索技術(shù)人對(duì)圖像的理解主要是在語(yǔ)義層次