SURF算法在圖像檢索中的應(yīng)用

1、圖像檢索 與 SURF:Speeded-Up Robust Features快速穩(wěn)健特征點(diǎn)Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van GoolComputer Vision and Image Understanding, 200812:31:03SURF適用的領(lǐng)域1、圖像檢索2、圖像配準(zhǔn)3、目標(biāo)識(shí)別12:31:03圖像檢索簡(jiǎn)介1、基于文本的圖像檢索，TBIR(Text-Based Image Retrieval)2、基于內(nèi)容的圖像檢索，CBIR(Content-Based Image Retrieval)12:31:03TB

2、IR(Text-Based Image Retrieval)沿用傳統(tǒng)文本檢索技術(shù)將圖像名稱、大小、壓縮類型、作者、年代，以及其他標(biāo)簽信息保存在數(shù)據(jù)庫(kù)中，查詢檢索12:31:03CBIR(Content-Based Image Retrieval)支持傳統(tǒng)的文本查找也支持特征值查找、草圖查找、示例查找等12:31:03Google氣味搜索12:31:03Tencent SOSO氣味搜索12:31:03CBIR的兩個(gè)關(guān)鍵問題1、特征提取2、特征匹配12:31:03特征提取1、低層，視覺特征顏色、紋理、形狀等2、高層，語(yǔ)義內(nèi)容圖像中包含的物體物體之間的語(yǔ)義關(guān)系12:31:03特征提取12:31:03

3、語(yǔ)義鴻溝人和計(jì)算機(jī)之間，對(duì)于圖像相似性的判別依據(jù)的不同彌補(bǔ)的方法：相關(guān)反饋（Relevance Feedback）圖像分割（Image Segmentation）建立更復(fù)雜的分類模型12:31:03低層視覺特征的提取1、顏色2、紋理3、形狀12:31:03低層視覺特征的提取：顏色1、顏色直方圖(Color Histogram)2、顏色相關(guān)圖(Color Correlogram)3、顏色矩(Color Moment)4、顏色一致性矢量(Color Coherence Vectors, CCV)12:31:03低層視覺特征的提?。杭y理1、統(tǒng)計(jì)法2、結(jié)構(gòu)法3、模型法4、變換域檢測(cè)12:31:03低層

4、視覺特征的提?。盒螤?、基于邊緣檢測(cè)2、基于區(qū)域分割12:31:03SURF：介紹SURF (Speeded-Up Robust Feature)是一種高穩(wěn)定性的局部特征點(diǎn)檢測(cè)和描述算法，可用來(lái)檢測(cè)兩幅圖像之間的具有相同特征的點(diǎn)。12:31:03SURF：可用領(lǐng)域圖像檢索目標(biāo)識(shí)別圖像配準(zhǔn)3D重建12:31:03SURF：作者目標(biāo)快速興趣點(diǎn)檢測(cè)高鑒別度的興趣點(diǎn)描述快速描述子匹配對(duì)常用圖像變換的不變性圖像旋轉(zhuǎn)尺度變化亮度變化視角輕微變化12:31:03SURF：興趣點(diǎn)檢測(cè) 積分圖積分圖中任意一點(diǎn)I(I,j)的值，等于原圖像左上角區(qū)域像素的和：, I ()( ,)ii jjp iji jBCADSA

5、BCD = D B C + A12:31:03SURF：興趣點(diǎn)檢測(cè) 尺度變換圖像為I0(X)，X = (x, y)；圖像I( X, t )為初始圖像I0(X)經(jīng)過尺度參數(shù)為t ( t 0 )的尺度變換所得到的圖像；則算子Tt : I0(X) I( X, t )定義為尺度空間算子，算子族Ttt0就定義為尺度空間。12:31:03SURF：興趣點(diǎn)檢測(cè) 高斯函數(shù)經(jīng)過高斯變換得到的尺度空間稱為高斯尺度空間；高斯尺度空間的概念是由Witkin最早提出的，并經(jīng)Koenderink等人的研究工作得到進(jìn)一步的發(fā)展；Koenderink證明了高斯核函數(shù)是線性核函數(shù)，而Lindeberg又證明了高斯核函數(shù)是唯一的

6、線性核函數(shù)。12:31:03SURF：興趣點(diǎn)檢測(cè) 高斯函數(shù)模式分類，SVM，數(shù)據(jù)在低維線性不可分時(shí)，使用高斯核函數(shù)，映射到高維后可分。12:31:03SURF：興趣點(diǎn)檢測(cè) 高斯函數(shù)-5-4-3-2-1012345-5-4-3-2-101234500.020.040.060.080.10.12二 維 高 斯 曲 面 ， =1.212:31:03SURF：興趣點(diǎn)檢測(cè) Hessian矩陣對(duì)圖像中的點(diǎn)X = (x, y)，尺度為的Hessian矩陣H(X, )定義為：其中Lxx(X, )是尺度為的二維高斯函數(shù)的二階倒數(shù)與圖像I在X點(diǎn)處的卷積：12:31:07SURF：興趣點(diǎn)檢測(cè) Hessian矩陣高斯

7、二階倒數(shù)的離散化和近似：LyyDyyLxyDxy12:31:07用矩形濾波近似高斯函數(shù)，其近似Hessian行列式為：w is needed for the energy conservation between the Gaussian kernels and the approximated Gaussian kernels計(jì)算過程可用積分圖進(jìn)行加速SURF：興趣點(diǎn)檢測(cè) Hessian矩陣12:31:07Lowe的SIFT中通過不斷縮小圖像得到金字塔SUFT中只是增大高斯矩形濾波器，計(jì)算量小SURF：興趣點(diǎn)檢測(cè) 尺度空間12:31:07SURF將尺度空間劃分成若干組(Octaves),一個(gè)

8、組代表了固定數(shù)目的、逐步放大的濾波模板對(duì)同一個(gè)輸入圖像的一系列響應(yīng)。SURF：興趣點(diǎn)檢測(cè) 尺度空間3x23x2x212:31:073 x 3 x 3非最大化抑制SURF：興趣點(diǎn)檢測(cè) 尺度空間12:31:07通過計(jì)算尺度空間的Haar小波響應(yīng)在x，y方向的偏導(dǎo)數(shù)，來(lái)生成64D的描述子。1、以興趣點(diǎn)為中心，以6s（s為興趣點(diǎn)所在尺度）為半徑的圓形區(qū)域內(nèi)，確定主方向，以實(shí)現(xiàn)旋轉(zhuǎn)不變性；2、構(gòu)建一個(gè)沿主方向的正方形，并從中提取SURF描述子。SURF：興趣點(diǎn)描述12:31:07以興趣點(diǎn)為中心，6s為半徑的圓形區(qū)域內(nèi)，計(jì)算Haar小波響應(yīng)，小波邊長(zhǎng)為4s；用中心位于興趣點(diǎn)的=2s的高斯濾波器加權(quán)SURF

9、：興趣點(diǎn)描述 主方向12:31:07以興趣點(diǎn)為中心，用中心角為/3的滑動(dòng)窗口,計(jì)算窗口內(nèi)的x、y方向加權(quán)小波響應(yīng)的和，輸出一個(gè)向量，向量長(zhǎng)度最長(zhǎng)的方向，即為主方向SURF：興趣點(diǎn)描述 主方向12:31:07旋轉(zhuǎn)到主方向主方向以興趣點(diǎn)為中心，沿主方位構(gòu)建一個(gè)邊長(zhǎng)為20s的正方形，再等分為4*4的子區(qū)域在每個(gè)子區(qū)域等間距選取5*5個(gè)采樣點(diǎn)SURF：興趣點(diǎn)描述 描述子12:31:07旋轉(zhuǎn)到主方向主方向計(jì)算這些點(diǎn)的相對(duì)于主方向的Haar小波響應(yīng)（邊長(zhǎng)為2s），得到dx，dy用=3.3s的高斯濾波器加權(quán)SURF：興趣點(diǎn)描述 描述子12:31:07旋轉(zhuǎn)到主方向主方向每個(gè)4x4子區(qū)域的4D描述向量如下，一共64Dv = (dx, dy, |dx|, |dy|)SURF：興趣點(diǎn)描述 描述子12:31:07SURF：示例12:31:07SIFT的計(jì)算基于梯度方向SURF基于主方向，抗噪聲性更好SURF：示例12:31:07興趣點(diǎn)檢測(cè)時(shí)，計(jì)算了Hessian矩陣，可用拉普拉斯算子，即Hessian矩陣的跡，排除一大部分不匹配的點(diǎn)。SURF：快速匹配12:31:07馬氏距離（