基于神經(jīng)網(wǎng)絡(luò)組合不同層的結(jié)果查詢方法

基于神經(jīng)網(wǎng)絡(luò)組合不同層的結(jié)果查詢方法

1總結(jié)如何快速有效地從各種圖像數(shù)據(jù)中收集和提取用戶所需的信息已成為圖像搜索的瓶頸。在文獻2特征屬性檢索s為了有效地支持基于內(nèi)容的圖像查詢，本文將圖像分為物理圖像和邏輯圖像。所謂物理圖像是指存儲實際圖像數(shù)據(jù)的圖像，邏輯圖像是指存儲圖像特征或語義的圖像。在基于內(nèi)容的圖像查詢中，一個實際的圖像查詢系統(tǒng)應(yīng)該既支持物理圖像信息的查詢，如圖像名、創(chuàng)建日期、圖像大小等，同時也應(yīng)該支持對邏輯圖像的查詢，如對圖像的可視特征、空間特征、語義特征的查詢。因此，支持基于內(nèi)容查詢的圖像數(shù)據(jù)庫的數(shù)據(jù)模型應(yīng)具有表示物理圖像實體的基本屬性，也應(yīng)該具有表示可視特征、空間特征、語義特征的特征屬性；既應(yīng)該支持按基本屬性的索引，也應(yīng)該支持按特征屬性的空間索引。為此，可以將圖像對象劃分為5個層次的對象：⑴AL(AttributeLevel)：描述圖像特性的文本集合。⑵PL(PhysicalLevel)：物理層，不包含圖像內(nèi)容，其操作也不涉及圖像數(shù)據(jù)內(nèi)部的邏輯組織。從檢索的角度看，圖像數(shù)據(jù)僅僅被看成是一串長的、無結(jié)構(gòu)的二進制流。⑶FL(FeatureLevel)：特征層，管理可度量的全局特征數(shù)。⑷PSL(PseudoSemanticLevel)：描述感興趣的區(qū)域及其關(guān)系。⑸SL(SemanticLevel)：描述對象的語義特征。在SL層，圖像對象由特征對象及其空間關(guān)系描述。特征被分為：基特征(derivedfeatures)，是指單一特征屬性，如顏色特征、形狀特征和紋理特征等。在特征層，每個對象可用它的特征來索引。組合特征(compositefeatures)，是指將幾個特征組合成一多屬性特征以反應(yīng)某一對象的內(nèi)容；概念特征(conceptualfeatures)是基特征或組合特征附加一定的知識后形成的圖像語義表示。在一個IR系統(tǒng)中，查詢結(jié)果可以用與用戶需要信息的相似程度最高的文檔集合來描述。因此，檢索模型定義為由一大類文檔和查詢的表示方法以及檢索函數(shù)組成的集合。文檔和查詢的表示方法由索引方法（或特征提取函數(shù)）生成。檢索函數(shù)由計算文檔與查詢的相似性度量方法組成。2.1多分辨率檢索如果兩幅圖像有相同的大小，并且在同一位置有相似的值，則它們是相似的。因此，在物理層，圖像的相似性度量可采用模板匹配等低層操作，即逐象素比較模板和子圖像。設(shè)Sue786Obj-data表示一圖像對象，S(i,j)表示圖像對象在(i,j)處象素，這里i=0,…,N-1,j=0,…,M-1；設(shè)S實際上，由于圖像噪聲和量化的影響以及圖像本身存在差異性，模板匹配往往不精確。因此，檢索的結(jié)果是和模板最近似的子圖像。由于這種操作比較費時，對于大的圖像庫一般不用。實際應(yīng)用時，可以對這一相關(guān)算法進行修改，采用多分辨率來計算相關(guān)。即首先在低分辨率計算相似度，通過設(shè)定的閾值過濾明顯不相似的圖像。如：運用小波變換的低頻部分計算相似度，過濾明顯不相似的圖像。2.2特征規(guī)范性編碼由于特征提取函數(shù)不同，得到的特征值的范圍也不一致。為保證在一個特征矢量內(nèi)每個特征分量處于同等重要的地位，需要對特征進行規(guī)范化。同樣，為保證在一個組合查詢中每個特征處于同等重要的地位，需要在特征間進行規(guī)范化，目的是將相似性值范圍轉(zhuǎn)換到[0,1]。在特征層，相似性計算涉及不同特征。盡管可以采用同一種度量方法，如歐氏距離來度量，但是，對所有特征都采用同一度量方法與人的視覺度量不一致，因此，對不同的特征應(yīng)采用不同的度量方法。2.3查詢對象區(qū)域特征的描述偽語義層的檢索包括圖像區(qū)域?qū)ο蟆⒖臻g信息以及空間關(guān)系的相似性檢索。空間關(guān)系定義為兩類：相對關(guān)系和絕對關(guān)系。相對關(guān)系指代表對象的符號間的相對空間關(guān)系，如符號A在符號B左邊等。絕對空間關(guān)系指圖像對象的固定位置關(guān)系。假定圖像區(qū)域?qū)ο笥蓞^(qū)域的特征和區(qū)域?qū)傩越M成。區(qū)域特征包括顏色特征、紋理特征和形狀特征，區(qū)域?qū)傩园▍^(qū)域的空間位置、尺寸和面積。其中區(qū)域位置(x,y)用區(qū)域的矩心表示，區(qū)域的尺寸用區(qū)域的最小外接矩形MBR的寬w和高h表示，區(qū)域的面積用區(qū)域的像素數(shù)表示。因此，一個區(qū)域?qū)ο罂梢员硎緸檠鹒,(x,y),(w,h),area妖。設(shè)查詢圖像假定圖像特征和圖像屬性已事先提取，偽語義層查詢步驟為：⑴單區(qū)域查詢；在目標圖像T的區(qū)域集t空間位置距離為：面積差度量為：最小MBR差度量為：整個區(qū)域的形似性度量為：⑵多區(qū)域查詢；多區(qū)域查詢由單區(qū)域查詢的結(jié)果組合而成。設(shè)查詢Q=邀Q多區(qū)域查詢過程為：先按單區(qū)域查詢找出與Q⑶空間對象關(guān)系匹配。設(shè)查詢圖像有K個區(qū)域，目標圖像有L個區(qū)域，則查詢圖像和目標圖像共有2.4語義對象的獲取偽語義層的對象是一些無意義的區(qū)域，而語義層對象則是在此基礎(chǔ)上給這些區(qū)域賦予一定的語義。語義層檢索一般與具體應(yīng)用有關(guān)，語義往往通過與專家交互獲得，語義對象的關(guān)系則自動獲得。語義層檢索時，一般先將實圖像轉(zhuǎn)換為虛圖像，檢索時，先對虛圖像檢索，然后通過虛圖像到實圖像的映射得到目標圖像。定義1給定一實圖像R定義2假定對象已具有語義信息，Q的空間關(guān)系查詢定義為一個四元組：(F,G,Rel,t)。這里(邀F∪G妖,Re)是虛圖像，t∈[0,1]是相似度閾值。F是必選對象，G是可選對象。只有R定義3設(shè)Q=(F,G,Rel,t)是一個查詢，且設(shè)Q,P3raken的合并以上，介紹了在各層單獨進行查詢時的相似性度量方法。對每一個抽象層來說，可以按相似度排序，相似度越高表明越相似。但是，由于不同層對最后結(jié)果所起的作用不同，最終查詢結(jié)果并不是各層搜索結(jié)果簡單的并，因而在合并不同層產(chǎn)生的結(jié)果集時，應(yīng)該考慮應(yīng)用非線性變換。一種這樣的變換是對檢索出來的圖像按相關(guān)度排序，然后用rank（排序號）最大或最小來合并結(jié)果。但是，這種合并方法存在一個重要問題：即對于不同層，由于rank不同，很難找到一種有效的方法來確定最終的rank。例如，設(shè)有一個查詢系統(tǒng)，對于數(shù)據(jù)庫中的圖像A,B，按源數(shù)據(jù)和特征查詢時的rank表5所示：從表可以看出，圖像A在源數(shù)據(jù)層更相似，而圖像B在特征層更相似。其平均rank很難反映查詢的總體rank。為此，本文提出了一種新的組合查詢方法，其系統(tǒng)結(jié)構(gòu)如圖1所示。圖1中，Q為提交的查詢。f基于圖1提出的結(jié)構(gòu)，本文采用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)組合查詢。該方法分為學(xué)習(xí)和檢索兩個階段。在學(xué)習(xí)階段，神經(jīng)網(wǎng)絡(luò)以各層度量得到的結(jié)果集作為輸入，通過訓(xùn)練樣本學(xué)習(xí)更新權(quán)值。檢索階段，使用新的權(quán)值組合查詢，并得到查詢結(jié)果。3.1輸出單元設(shè)圖像可以表示為不同對象層的集合神經(jīng)網(wǎng)絡(luò)的輸入單元是查詢圖像Q與訓(xùn)練圖像P之間在f如果選擇f設(shè)V輸出單元k產(chǎn)生的輸出可由下式給出：f是一個單向連續(xù)函數(shù)，且λ>03.2搜索步驟給定一個具有不同子查詢Q3.3測試數(shù)據(jù)的選取實驗中，輸入神經(jīng)元是圖象對在各粒度層的相似度，輸出是圖像對的整體相似度。為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，首先用已知輸出的數(shù)據(jù)集（訓(xùn)練數(shù)據(jù)）反饋給網(wǎng)絡(luò)，以用于計算最優(yōu)權(quán)值。為了測試該網(wǎng)絡(luò)，除了訓(xùn)練數(shù)據(jù)外，另外一個獨立的數(shù)據(jù)集合（測試數(shù)據(jù)）反饋給網(wǎng)絡(luò)。希望的輸出和網(wǎng)絡(luò)的輸出進行比較來確定網(wǎng)絡(luò)的精確性和有效性。為了獲得訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，作者選擇了400個圖像對，從人的視覺來看，它們一半相似，另一半不相似。正圖像（相似）輸出為1，負圖像輸出為0。作者用一半圖像對(