《人工智能開源硬件與python編程實(shí)踐》課件-項(xiàng)目6-基于邊緣與角點(diǎn)檢測的圖像匹配-

1、人工智能開源硬件與python編程實(shí)踐課件-項(xiàng)目6-基于邊緣與角點(diǎn)檢測的圖像匹配-人工智能開源硬件與python編程實(shí)踐課件-項(xiàng)目6-基于情境導(dǎo)入無人機(jī)航拍得到的圖像，往往需要進(jìn)行圖像比對、拼接、整合等圖像配準(zhǔn)工作；圖像配準(zhǔn)技術(shù)的流程是：首先對兩幅圖像進(jìn)行特征提取得到特征點(diǎn)，再通過進(jìn)行相似性度量找到匹配的特征點(diǎn)對，然后通過匹配的特征點(diǎn)對得到圖像空間坐標(biāo)變換參數(shù)；特征提取是配準(zhǔn)技術(shù)中的關(guān)鍵，尋找準(zhǔn)確性高的特征提取方法將為特征匹配的成功提供保障。情境導(dǎo)入無人機(jī)航拍得到的圖像，往往需要進(jìn)行圖像比對、拼接、整任務(wù)與目標(biāo)了解圖像特征檢測與配準(zhǔn)技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能開源硬件設(shè)

2、計(jì)智能應(yīng)用系統(tǒng)的方法，掌握Python語言的編程方法；應(yīng)用人工智能開源硬件和Python相關(guān)算法模塊設(shè)計(jì)圖像匹配功能；針對生活應(yīng)用場景，進(jìn)一步開展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)具有實(shí)用價(jià)值的圖像匹配應(yīng)用系統(tǒng)。任務(wù)與目標(biāo)了解圖像特征檢測與配準(zhǔn)技術(shù)的基本原理、相關(guān)算法和應(yīng)知識拓展：圖像特征匹配技術(shù) 圖像特征匹配技術(shù)包括特征檢測、特征描述和特征匹配等方面；特征檢測過程主要是利用各種特征檢測子提取出圖像中比較明顯的形狀特征、紋理特征等；特征描述則是確定表征圖像特征信息的向量，也就是將從圖像區(qū)域提取的特征信息，按照一定的計(jì)算、存儲規(guī)則轉(zhuǎn)換為特征描述子信息結(jié)構(gòu)。不同圖像中的多個(gè)特征有著一定的關(guān)聯(lián)，通過歐氏距離或者漢明距離

3、進(jìn)行特征匹配。知識拓展：圖像特征匹配技術(shù) 圖像特征匹配技術(shù)包括特征檢測、特知識拓展：圖像特征提取 圖像特征包括顏色特征、紋理特征、形狀特征以及局部特征點(diǎn)等；斑點(diǎn)通常是指與周圍有著顏色和灰度差別的區(qū)域；角點(diǎn)則是圖像中一邊物體的拐角或者線條之間的交叉部分；特征檢測過程常常利用各種特征檢測子提取出圖像中比較明顯的形狀特征、紋理特征等 。知識拓展：圖像特征提取 圖像特征包括顏色特征、紋理特征、形狀知識拓展：角點(diǎn)檢測過程 提取檢測子。在兩張待匹配的圖像中尋找那些最容易識別的像素點(diǎn)（角點(diǎn)），比如紋理豐富的物體邊緣點(diǎn)等；提取描述子。對于檢測出的角點(diǎn)，用一些數(shù)學(xué)上的特征對其進(jìn)行描述，如梯度直方圖，局部隨機(jī)二值

4、特征等；匹配。通過各個(gè)角點(diǎn)的描述子來判斷它們在兩張圖像中的對應(yīng)關(guān)系。常用方法如 flann；去外點(diǎn)。去除錯(cuò)誤匹配的外點(diǎn)，保留正確的內(nèi)點(diǎn)。常用方法有Ransac, GTM。知識拓展：角點(diǎn)檢測過程 提取檢測子。在兩張待匹配的圖像中尋找知識拓展：圖像匹配基本方法 不同圖像的各個(gè)特征可能存在著關(guān)聯(lián)，通過歐氏距離或者漢明距離測度可以來比較這些特征，進(jìn)而匹配這些特征；高維度的圖像特征一般通過歐氏距離作為評判參數(shù)；二進(jìn)制特征由于其結(jié)構(gòu)簡潔，一般都是使用漢明距離進(jìn)行評判。知識拓展：圖像匹配基本方法 不同圖像的各個(gè)特征可能存在著關(guān)聯(lián)知識拓展：歐氏距離 指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者向量的自然長度（即該

5、點(diǎn)到原點(diǎn)的距離）；n維空間的歐氏距離計(jì)算公式是： 知識拓展：歐氏距離 指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離，或者知識拓展：漢明距離 漢明距離表示兩個(gè)（相同長度）字對應(yīng)位不同的數(shù)量，以d（x,y）表示兩個(gè)字x,y之間的漢明距離。對兩個(gè)字符串進(jìn)行異或運(yùn)算，并統(tǒng)計(jì)結(jié)果為1的個(gè)數(shù)，那么這個(gè)數(shù)就是漢明距離。漢明距在圖像處理領(lǐng)域也有這廣泛的應(yīng)用，是比較二進(jìn)制圖像非常有效的手段。漢明距離的本質(zhì)是兩個(gè)數(shù)異或后字符1的個(gè)數(shù)，可以直接使用異或?qū)崿F(xiàn)：def hammingDistance(self, x: int, y: int) - int: return bin(xy).count(1) 知識拓展：漢明距離 漢明

6、距離表示兩個(gè)（相同長度）字對應(yīng)位不同設(shè)計(jì)與實(shí)踐特征提取的實(shí)現(xiàn) 圖像匹配的實(shí)現(xiàn)Python綜合編程調(diào)試、驗(yàn)證及完善設(shè)計(jì)與實(shí)踐特征提取的實(shí)現(xiàn) 特征提取的實(shí)現(xiàn) （1）image.find_keypoints()方法，可以從ROI元組(x, y, w, h)中提取ORB鍵點(diǎn)；可以使用image.match_descriptor函數(shù)來比較兩組關(guān)鍵點(diǎn)，以獲取匹配區(qū)域；threshold是控制提取的數(shù)量的參數(shù)（取值0-255）。對于默認(rèn)的AGAST角點(diǎn)檢測器，該值應(yīng)在20左右。對于FAST角點(diǎn)檢測器，該值約為60-80。閾值越低，提取的角點(diǎn)會(huì)越多。 特征提取的實(shí)現(xiàn) （1）image.find_keypoin

7、t特征提取的實(shí)現(xiàn) （2）scale_factor參數(shù)介于1.35-1.5之間。較高的比例因子會(huì)使運(yùn)行更快，但圖像匹配相應(yīng)較差。corner_detector 是從圖像中提取特征點(diǎn)所使用的角點(diǎn)檢測器算法，可以是image.CORNER_FAST 或 image.CORNER_AGAST。 設(shè)置好圖形匹配應(yīng)用的攝像頭視頻采集工作參數(shù)，即可在指定的圖像區(qū)域內(nèi)啟動(dòng)圖像特征提取過程，Python編程方法如下： img.find_keypoints(max_keypoints=150, threshold=10, normalized=True)特征提取的實(shí)現(xiàn) （2）scale_factor參數(shù)介于1.3

8、圖像匹配的實(shí)現(xiàn) image.match_descriptor()方法，用于相似度的度量。這個(gè)測度值越接近0，LBPF特征點(diǎn)匹配得就越好。對于ORB描述符來說，函數(shù)返回的是kptmatch對象。 threshold 是用來為ORB鍵點(diǎn)過濾不明確匹配服務(wù)的。filter_outliers是用來為ORB特征點(diǎn)過濾異常值服務(wù)的。 圖像匹配的實(shí)現(xiàn) image.match_descriptor特征提取模塊 #第一次找當(dāng)前圖像中心區(qū)域的特征點(diǎn)kpts1 = img.find_keypoints(max_keypoints=150, threshold=10, scale_factor=1.25) draw_

9、keypoints(img, kpts1) #color=(255,0,0) img.draw_string(0, 0, FPS:%.2f%(clock.fps()特征提取模塊 #第一次找當(dāng)前圖像中心區(qū)域的特征點(diǎn)特征匹配模塊 kpts2 = img.find_keypoints(max_keypoints=150, threshold=10, normalized=True) if (kpts2): match = image.match_descriptor(kpts1, kpts2, threshold=100)#85 if (match.count()15):#10S led.red.o

10、n() led.green.on() led.blue.on() img.draw_rectangle(match.rect(),threshold=90) img.draw_cross(match.cx(), match.cy(), size=10) print(kpts2, matched:%d dt:%d%(match.count(), match.theta()特征匹配模塊 kpts2 = img.find_keypoi實(shí)驗(yàn)過程及程序運(yùn)行結(jié)果 實(shí)驗(yàn)中用到的兩支筆 對黑筆提取特征的情況圖像匹配結(jié)果實(shí)驗(yàn)過程及程序運(yùn)行結(jié)果 實(shí)驗(yàn)中用到的兩支筆 對黑筆提取特征的分析與思考比較歐氏距離與漢明距離的異同。自行編寫一個(gè)Python函數(shù)，實(shí)現(xiàn)對二進(jìn)制圖像特征的匹配。 項(xiàng)目5中介紹了利用閾值編輯工具自行設(shè)置顏色模型參數(shù)的方法，可否利用本項(xiàng)目提取物體特征參數(shù)的方法，將某種物體的特征參數(shù)保存成特征模板文件，方便后續(xù)應(yīng)用的使用?。針對某種應(yīng)用場景，例如