計算機視覺-第05章1-圖像特征提取和匹配

人工智能學(xué)院人工智能視覺課程

圖像特征提取和匹配01項目導(dǎo)入02項目任務(wù)03項目目標(biāo)04知識鏈接05項目準(zhǔn)備06任務(wù)實施07任務(wù)拓展08項目小結(jié)第三章和第四章2024/1/153項目導(dǎo)入2024/1/154課堂討論2024/1/155我們?nèi)祟愒趺磁袛鄡蓮垐D片中的物體是否相似？項目導(dǎo)入-百度以文字搜圖2024/1/156項目導(dǎo)入-淘寶以圖搜圖2024/1/157項目導(dǎo)入-淘寶以圖搜圖2024/1/158課堂討論2024/1/159計算機怎么判斷兩張圖片中的物體是否相似？項目導(dǎo)入2024/1/1510特征點=[5,50,200]特征點=[5,200,20]特征點=[5,50,200]特征點=[5,50,200]01項目導(dǎo)入02項目任務(wù)03項目目標(biāo)04知識鏈接05項目準(zhǔn)備06任務(wù)實施07任務(wù)拓展08項目小結(jié)在Windows操作系統(tǒng)上使用Anaconda和PyCharm基于opencv-python庫讓電腦具有查找和定位視頻中給定品牌Logo的能力項目任務(wù)2024/1/151201項目導(dǎo)入02項目任務(wù)03項目目標(biāo)04知識鏈接05項目準(zhǔn)備06任務(wù)實施07任務(wù)拓展08項目小結(jié)知識目標(biāo)了解圖像搜索的概念和作用了解一些經(jīng)典的特征檢測算法及其優(yōu)缺點：SIFT、SURF、FAST、BRIEF、ORB了解常用匹配算法及其優(yōu)缺點：暴力匹配，KNN，F(xiàn)LANN技能目標(biāo)掌握特征描述符計算和匹配算法在opencv中的調(diào)用方式掌握基于特征匹配的目標(biāo)檢測和定位方法掌握定位結(jié)果的可視化方法項目目標(biāo)2024/1/1514職業(yè)素養(yǎng)目標(biāo)培養(yǎng)學(xué)生嚴(yán)謹(jǐn)、細(xì)致、規(guī)范的職業(yè)素質(zhì)培養(yǎng)學(xué)生團隊協(xié)作、表達溝通能力培養(yǎng)學(xué)生跟蹤新技術(shù)、創(chuàng)新設(shè)計能力培養(yǎng)學(xué)生的技術(shù)標(biāo)準(zhǔn)意識、操作規(guī)范意識、服務(wù)質(zhì)量意識等項目目標(biāo)2024/1/151501項目導(dǎo)入02項目任務(wù)03項目目標(biāo)04知識鏈接05項目準(zhǔn)備06任務(wù)實施07任務(wù)拓展08項目小結(jié)能夠在其他含有相同場景或目標(biāo)的相似圖像中以一種相同（或非常相似）的不變形式表示圖像或目標(biāo)同一個物體或場景，從不同的角度采集多幅圖片，有些地方能夠被識別出來是相同的這些具有‘尺度不變性的點或塊’稱為特征點經(jīng)常出現(xiàn)在圖像中拐角、紋理劇烈變化等地方不僅僅是一個點，還包括一系列局部的信息，本身可能是具有面積的一小塊區(qū)域知識鏈接-特征點2024/1/1517計算機中的圖像只是一串?dāng)?shù)據(jù)對圖像進行特征分析才能進一步去識別圖像中的物體知識鏈接-特征點的意義2024/1/1518以圖像拼接為例需要有一種統(tǒng)一的計算方法能夠告訴計算機不同圖片中同一物體的特征點，也就是得到了物體的位置和形態(tài)經(jīng)過提純模型進一步對所獲得的點進行建模這樣可以獲得兩幅圖片之間較為精確的位姿關(guān)系，從而對準(zhǔn)知識鏈接-特征點的意義2024/1/1519特征提取特征點查找描述符生成特征匹配知識鏈接-圖像匹配2024/1/1520

…

…描述符描述符知識問答2024/1/1521想要匹配兩張圖片，需要進行下述哪些活動？HarrisSIFTSURFFASTBRIEFORB知識鏈接-特征提取方法2024/1/1522講深了全是數(shù)學(xué)知識課堂比較枯燥效果也差我們盡量用圖和從代碼的角度來講會摻部分理論知識知識鏈接-特征提取方法2024/1/1523角點一類具有特定特征的點（特征點的一種）通常意義上來說，角點就是極值點即在某方面屬性特別突出的點是在某些屬性上強度最大或者最小的孤立點、線段的終點知識鏈接-Harris算法2024/1/1524課堂討論2024/1/1525角點讓我們想起了什么？角點讓我們想起了邊緣，想起了導(dǎo)數(shù)、偏導(dǎo)數(shù)和梯度一階導(dǎo)數(shù)(即灰度的梯度)的局部最大所對應(yīng)的像素點兩條及兩條以上邊緣的交點圖像中梯度值和梯度方向的變化速率都很高的點角點處的一階導(dǎo)數(shù)最大，二階導(dǎo)數(shù)為零，指示物體邊緣變化不連續(xù)的方向知識鏈接-Harris算法2024/1/1526Harris算法關(guān)注的就是角點知識鏈接-Harris算法2024/1/1527cv2.cornerHarris()用于進行角點檢測img-數(shù)據(jù)類型為float32的輸入圖像blockSize-角點檢測中要考慮的鄰域大小ksize-Sobel算法中使用的窗口大小k-Harris角點檢測方程中的自由參數(shù),取值參數(shù)為[0,04,0.06].知識鏈接-Harris算法2024/1/1528知識問答2024/1/1529Harris算法關(guān)注的是？去百度圖片上搜索“棋盤格”，下載該圖片，使用Harris算法檢測圖片的角點，顯示檢測出來的角點課堂練習(xí)2024/1/1530課堂練習(xí)2024/1/1531課堂練習(xí)2024/1/15322024/1/1533前面我們學(xué)習(xí)了角點還有另一種特征點斑點斑點通常是指與周圍有著顏色和灰度差別的區(qū)域斑點是一個區(qū)域，比角點的穩(wěn)定性好知識鏈接-斑點SIFT（ScaleInvariantFeatureTransform）最早解決了圖片旋轉(zhuǎn)、仿射變換、亮度變換和視角變換情況下，特征點數(shù)值差異過大的問題精度高，速度慢知識鏈接-SIFT算法2024/1/1534知識問答2024/1/15351999年，誰首先提出了尺度不變特征變換（SIFT）方法？知識鏈接-SIFT算法-從流程角度2024/1/1536知識鏈接-SIFT應(yīng)用實例2024/1/1537課堂討論2024/1/1538視頻中，他們都用到了哪些技術(shù)？知識鏈接-SIFT算法2024/1/1539熱鬧看完了還是要來點理論知識鏈接-SIFT算法-從技術(shù)角度2024/1/1540使用不同參數(shù)進行高斯模糊構(gòu)建尺度空間保證尺度不變性知識鏈接-SIFT算法-從技術(shù)角度2024/1/1541

像人眼一樣越遠越模糊越近越清楚SIFT利用高斯函數(shù)進行逐步模糊處理，從而產(chǎn)生尺度變換的假象其中σ就是尺度空間因子決定圖像模糊平滑程度知識鏈接-SIFT算法-從技術(shù)角度2024/1/1542

SIFT中的尺度空間層（Octave）尺度（scale）有多層每層有多張（不斷模糊）也有的地方用“組”即有多組每組有多層知識鏈接-SIFT算法-從技術(shù)角度2024/1/1543第一層第二層第三層第四層縮小一半大小知識鏈接-SIFT算法-從技術(shù)角度2024/1/1544以一個512*512的圖像I為例金字塔的層數(shù)=log2512-3=9-3=6a在0?log2min(m,n)之間取值每層6張（也可以改，比如3）課堂討論2024/1/1545在上述例子中，為什么我們要通過log2512來計算層數(shù)？512*512的圖像知識鏈接-SIFT算法-從技術(shù)角度2024/1/1546構(gòu)建第0層，將圖像的寬高都增加一倍為1024*1024（I0）第0張，I0

*G(x,y,20σ0)第1張，I0

*G(x,y,20kσ0)第2張，I0

*G(x,y,20k2σ0)構(gòu)建第1層，對I0降采樣，變?yōu)?12*512（I1）第0張，I1

*G(x,y,21σ0)第1張，I1

*G(x,y,21kσ0)第2張，I1

*G(x,y,21k2σ0)......知識鏈接-SIFT算法-從技術(shù)角度2024/1/1547計算高斯差異Difference

ofGaussianDoG（這個要記一下，別到時不知道是啥）一層中已經(jīng)高斯模糊的圖片，兩兩相減注意：在同一層內(nèi)，不同圖像的尺寸一樣，后一張圖像的高斯平滑因子σ是前一張圖像平滑因子的k倍（不斷模糊）知識鏈接-SIFT算法-從技術(shù)角度2024/1/1548計算高斯差異的公式知識鏈接-SIFT算法-從技術(shù)角度2024/1/1549知識鏈接-SIFT算法-從技術(shù)角度2024/1/1550找到特征點特征點由DoG空間的局部極值點組成找到DoG圖像中的最大/最小值中間的檢測點和它同尺度的8個相鄰點以及上下相鄰尺度對應(yīng)的9×2個點共26個點比較確保在尺度空間和二維圖像空間都檢測到極值點DoG圖像像素的強度低于某個閾值的去除知識鏈接-SIFT算法-從技術(shù)角度2024/1/1551計算特征點方向?qū)τ谠贒oG金字塔中檢測出的特征點，采集其所在高斯金字塔圖像3σ鄰域窗口內(nèi)像素的梯度和方向分布特征梯度模值如下公式知識鏈接-SIFT算法-從技術(shù)角度2024/1/1552計算特征點方向統(tǒng)計以特征點為原點，一定區(qū)域內(nèi)的圖像像素點使用直方圖統(tǒng)計鄰域內(nèi)像素的梯度和方向知識鏈接-SIFT算法-從技術(shù)角度2024/1/1553計算特征點方向梯度直方圖將0~360度的方向范圍分為36個柱，其中每柱10度直方圖的峰值方向代表了特征點的主方向為了增強匹配的魯棒性，只保留峰值大于主方向峰值n％（如80%）的方向作為該特征點的輔方向任何后面的計算都相對于這個方向進行，這確保了旋轉(zhuǎn)不變性知識鏈接-SIFT算法-從技術(shù)角度2024/1/1554對于每一個特征點，都擁有位置、尺度以及方向三個信息為每個特征點建立一個描述符，用一組向量將這個特征點描述出來使其不隨各種變化而改變，比如光照變化、視角變化等這個描述子不但包括特征點，也包含特征點周圍對其有貢獻的像素點知識鏈接-SIFT算法-從技術(shù)角度2024/1/1555Lowe實驗結(jié)果表明描述子采用4×4×8＝128維向量表征綜合效果最優(yōu)（不變性與獨特性）知識鏈接-SIFT算