《人工智能開(kāi)源硬件與python編程實(shí)踐》課件項(xiàng)目4基于計(jì)算機(jī)視覺(jué)的物體形狀檢測(cè)

1、基于計(jì)算機(jī)視覺(jué)的物體形狀檢測(cè)人工智能開(kāi)源硬件與python編程實(shí)踐基于計(jì)算機(jī)視覺(jué)的物體形狀檢測(cè)人工智能開(kāi)源硬件與python情境導(dǎo)入視覺(jué)分揀機(jī)器人，利用視覺(jué)系統(tǒng)采集圖像，計(jì)算機(jī)系統(tǒng)進(jìn)行圖像處理，先完成特征點(diǎn)檢測(cè)、輪廓檢測(cè)等過(guò)程，再進(jìn)行圖像匹配或形狀識(shí)別。生活中經(jīng)常遇到需要對(duì)物體形狀進(jìn)行判斷的情形，自動(dòng)揀球機(jī)可以發(fā)現(xiàn)視野內(nèi)的乒乓球、高爾夫球、足球等圓形物體，餐盤(pán)識(shí)別系統(tǒng)可以發(fā)現(xiàn)矩形、圓形等指定形狀的餐盤(pán)。學(xué)習(xí)物體形狀檢測(cè)方法，了解相關(guān)應(yīng)用技術(shù)，具有實(shí)際意義。情境導(dǎo)入視覺(jué)分揀機(jī)器人，利用視覺(jué)系統(tǒng)采集圖像，計(jì)算機(jī)系統(tǒng)進(jìn)行任務(wù)與目標(biāo)了解圖像處理及圖形識(shí)別技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工

2、智能開(kāi)源硬件設(shè)計(jì)智能應(yīng)用系統(tǒng)的方法，掌握Python語(yǔ)言的編程方法；應(yīng)用人工智能開(kāi)源硬件和Python相關(guān)算法模塊設(shè)計(jì)物體形狀檢測(cè)功能；針對(duì)生活應(yīng)用場(chǎng)景，進(jìn)一步開(kāi)展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)具有實(shí)用價(jià)值的物體形狀檢測(cè)應(yīng)用系統(tǒng)。任務(wù)與目標(biāo)了解圖像處理及圖形識(shí)別技術(shù)的基本原理、相關(guān)算法和應(yīng)知識(shí)拓展：圖像預(yù)處理方法灰度化二值化圖像增強(qiáng)圖像去噪邊緣檢測(cè)知識(shí)拓展：圖像預(yù)處理方法灰度化知識(shí)拓展：灰度化灰度化是一種常用的圖像預(yù)處理方法，它將彩色圖像轉(zhuǎn)化為灰度圖像，應(yīng)用在圖像分析與識(shí)別等應(yīng)用中；在RGB空間中，空間的原點(diǎn)對(duì)應(yīng)的是黑色，距離原點(diǎn)最遠(yuǎn)的那個(gè)頂點(diǎn)對(duì)應(yīng)的是白色。原點(diǎn)和白色頂點(diǎn)的連線段上對(duì)應(yīng)了從黑色到白色的灰度值，

3、也稱亮度值；灰度圖像只含有亮度信息，不含色彩信息，其亮度是連續(xù)變化的，要表示灰度圖像就需要把亮度值進(jìn)行量化，通常把灰度劃分為256個(gè)灰度級(jí)，從0到255。知識(shí)拓展：灰度化灰度化是一種常用的圖像預(yù)處理方法，它將彩色圖知識(shí)拓展：二值化值化也是圖像預(yù)處理的一種技術(shù)，又稱圖像黑白化。通過(guò)二值化的處理，可以凸顯出圖像的輪廓。它將像素點(diǎn)的灰度值設(shè)置為0或者255，不采用其它灰度值，目的是使整個(gè)圖像都呈現(xiàn)出黑白效果。通過(guò)選取合適的閾值，將256個(gè)不同等級(jí)的灰度圖像進(jìn)行劃分，劃分結(jié)果仍然可以描繪圖像的整體或局部特征，這樣就實(shí)現(xiàn)了圖像的二值化。知識(shí)拓展：二值化值化也是圖像預(yù)處理的一種技術(shù)，又稱圖像黑白化知識(shí)拓展

4、：霍夫變換 圖像中的形狀檢測(cè)主要是偵測(cè)諸如直線、圓形、橢圓形、矩形等幾何形狀，常用的算法是霍夫變換。霍夫變換是通過(guò)直角坐標(biāo)系和極坐標(biāo)系之間的變換將圖像空間中具有相同特征的直線或者曲線映射到參數(shù)空間中的一個(gè)點(diǎn)上，然后在參數(shù)空間中對(duì)點(diǎn)進(jìn)行描述，使結(jié)果更易識(shí)別和檢測(cè)，最后用累加器進(jìn)行累加，從而把檢測(cè)圖形的問(wèn)題轉(zhuǎn)化為尋找最大累加值的問(wèn)題。 知識(shí)拓展：霍夫變換 圖像中的形狀檢測(cè)主要是偵測(cè)諸如直線、圓形知識(shí)拓展：霍夫變換的步驟用canny算子進(jìn)行邊緣輪廓提取。在做霍夫變換時(shí)，如果將所有的像素點(diǎn)都做映射處理，會(huì)導(dǎo)致計(jì)算量太大，一般都是先用canny算子對(duì)邊緣輪廓做提取，盡可能的去掉平滑區(qū)域的點(diǎn)，減少計(jì)算量；

5、利用二值化的方法以及開(kāi)閉等形態(tài)學(xué)操作提取輪廓，去掉噪聲等擾動(dòng)，求得在擬合線性方程時(shí)盡可能準(zhǔn)確；利用霍夫變換完成空間映射；用計(jì)數(shù)器統(tǒng)計(jì)出現(xiàn)次數(shù)最高的未知系數(shù)組合，如(,)等。 知識(shí)拓展：霍夫變換的步驟用canny算子進(jìn)行邊緣輪廓提取。在知識(shí)拓展：直線檢測(cè) 根據(jù)提取出的很多特征點(diǎn)(X0,Y0)，(X1,Y1)，.，(Xn,Yn)求待擬合直線Y=kX+b中的斜率k和偏移b。 通過(guò)任意兩點(diǎn)得到若干組（k,b），選取出現(xiàn)次數(shù)最多的一組(k,b)就是要求的參數(shù)。把圖像平面上的特征像素點(diǎn)映射到參數(shù)平面上，通過(guò)累計(jì)可能會(huì)出現(xiàn)幾組參數(shù)峰值點(diǎn)，可以檢測(cè)出圖像中的多條直線。 知識(shí)拓展：直線檢測(cè) 根據(jù)提取出的很多特征

6、點(diǎn)(X0,Y0)，(知識(shí)拓展：圓檢測(cè) 對(duì)圓的檢測(cè)本質(zhì)上就是求三個(gè)參數(shù)(x0,y0,r)，所以就可以通過(guò)任意三點(diǎn)求解三個(gè)未知數(shù)，然后對(duì)(x0,y0,r)這個(gè)集合投票，最終出現(xiàn)次數(shù)最多的一組參數(shù)就是決定圓方程的參數(shù)。 利用霍夫變換進(jìn)行圓檢測(cè)，就是將圖像空間中的邊緣特征像素點(diǎn)映射到參數(shù)空間，然后把參數(shù)空間中的坐標(biāo)點(diǎn)元素對(duì)應(yīng)的累加值進(jìn)行累加，最后根據(jù)累加值確定圓心和半徑。知識(shí)拓展：圓檢測(cè) 對(duì)圓的檢測(cè)本質(zhì)上就是求三個(gè)參數(shù)(x0,y0知識(shí)拓展：矩形檢測(cè) 基于窗口霍夫變換與閾值分割自動(dòng)識(shí)別圖像中的矩形策略：通過(guò)圖像窗口霍夫變換，提取霍夫圖像的峰值（對(duì)應(yīng)原始圖像的線段），當(dāng)四個(gè)峰值滿足某些幾何條件時(shí)，則檢測(cè)出

7、矩形。 知識(shí)拓展：矩形檢測(cè) 基于窗口霍夫變換與閾值分割自動(dòng)識(shí)別圖像中設(shè)計(jì)與實(shí)踐形狀檢測(cè)Python編程接口圓形檢測(cè)編程矩形檢測(cè)編程調(diào)試、驗(yàn)證及完善設(shè)計(jì)與實(shí)踐形狀檢測(cè)Python編程接口形狀檢測(cè)編程接口人工智能開(kāi)源控制板上集成的Python視覺(jué)庫(kù)中提供利用霍夫變換檢測(cè)直線、圓形、矩形的算法；提供find_lines方法進(jìn)行直線檢測(cè)；提供find_circles方法進(jìn)行圓形檢測(cè)；提供find_rects方法進(jìn)行矩形檢測(cè)。 形狀檢測(cè)編程接口人工智能開(kāi)源控制板上集成的Python視覺(jué)庫(kù)圓形檢測(cè)find_circles方法 image.find_circles()方法，使用霍夫變換在圖像中查找圓，返回一

8、個(gè)image.circle對(duì)象列表；x_stride是霍夫變換時(shí)需要跳過(guò)的x像素的數(shù)量。若已知圓較大，可增加 x_stride 。y_stride是霍夫變換時(shí)需要跳過(guò)的y像素的數(shù)量。若已知圓較大，可增加 y_stride 。threshold控制從霍夫變換中監(jiān)測(cè)到的圓。只返回大于或等于 threshold 的圓。應(yīng)用程序的正確的 threshold值取決于圖像。注意：一個(gè)圓的大小(magnitude)是組成圓所有索貝爾濾波像素大小的總和。 圓形檢測(cè)find_circles方法 image.find_圓形檢測(cè)例程while(True): img = sensor.snapshot().lens_

9、corr(1.3) #進(jìn)行鏡頭畸變校正，去除圖像中的魚(yú)眼效應(yīng)； for c in img.find_circles(threshold = 2500, x_margin = 10, y_margin = 10, r_margin = 10,r_min = 2, r_max = 100, r_step = 2): #以圓心（c.x(), c.y()）和半徑c.r()，用黃色畫(huà)圓； img.draw_circle(c.x(), c.y(), c.r(), color = (255, 255, 0) 圓形檢測(cè)例程while(True):經(jīng)驗(yàn)及調(diào)試方法image.circle對(duì)象有四個(gè)值：x，y，r

10、(半徑)和magnitude。magnitude是檢測(cè)圓的強(qiáng)度，值越高越好roi是一個(gè)用以搜索的矩形區(qū)域(x, y, w, h)，圖像操作范圍僅限于roi區(qū)域內(nèi)的像素。如果未指定，默認(rèn)的roi即整幅圖像。x_stride是霍夫變換時(shí)需要跳過(guò)的x像素的數(shù)量。若已知圓較大，可增加x_stride。y_stride 是霍夫變換時(shí)需要跳過(guò)的y像素的數(shù)量。若已知直線段較長(zhǎng)，可增加y_stride 。threshold 控制從霍夫變換中監(jiān)測(cè)到的圓。只返回大于或等于閾值的圓。一個(gè)圓的大小是組成圓的所有索貝爾濾波像素大小的總和。margin的分量x_margin、y_margin和r_margin用來(lái)控制所檢

11、測(cè)的圓的合并。r_min，r_max和r_step用來(lái)控制測(cè)試圓的半徑。 縮小測(cè)試圓半徑的數(shù)值可以提升搜索性能。閾值 threshold = 3500比較合適。如果視野中檢測(cè)到的圓過(guò)多，需要增大閾值；相反，如果視野中檢測(cè)到的圓過(guò)少，需要減少閾值。經(jīng)驗(yàn)及調(diào)試方法image.circle對(duì)象有四個(gè)值：x，y，矩形檢測(cè)find_rects方法 image.find_rects()方法用于查找圖像中的矩形，返回一個(gè)image.rect 對(duì)象的列表。該方法適用于檢測(cè)與背景形成鮮明對(duì)比的矩形。Threshold參數(shù)的取值要根據(jù)應(yīng)用場(chǎng)景的情況進(jìn)行調(diào)節(jié)。在矩形邊緣處所有像素上滑動(dòng)索貝爾算子并進(jìn)行累加，邊界值小

12、于threshold的矩形會(huì)進(jìn)入返回列表。 矩形檢測(cè)find_rects方法 image.find_re矩形檢測(cè)例程 while(True): clock.tick() img = sensor.snapshot() # find_rects中threshold應(yīng)設(shè)置為足夠高的值，以濾除在圖像中檢測(cè)到的具有低邊緣幅度的噪聲矩形。最適用與背景形成鮮明對(duì)比的矩形。 for r in img.find_rects(threshold = 25000): #查找矩形，閾值=10000 img.draw_rectangle(r.rect(), color = (255, 0, 0) #畫(huà)出矩形，顏色為紅色 for p in r.corners(): #找出矩形的四個(gè)角 img.draw_circle(p0, p1, 5, color = (0, 255, 0)# 四個(gè)角順時(shí)針畫(huà)出綠色的半徑為5像素的圓形矩形檢測(cè)例程 while(True):分析與思考find_rects方法可以快速實(shí)現(xiàn)矩形的檢測(cè)與追蹤。生活中經(jīng)常會(huì)遇到三角形、菱形等其它幾何形狀的物體（如圖），利用霍夫變換檢測(cè)直線的方法有助于這些形狀的檢測(cè)嗎？利用網(wǎng)絡(luò)查閱相關(guān)技術(shù)方法，給出解決方案。利用find_circles函數(shù)可以實(shí)現(xiàn)圓形物體的識(shí)別追蹤，實(shí)際生活