智能機器人創(chuàng)新實踐 課件 第八章 移動機器人視覺追蹤

智能機器人創(chuàng)新實踐第八章

移動機器人視覺追蹤

18移動機器人視覺追蹤2主要實現(xiàn)EAIbot移動機器人追蹤網(wǎng)球移動的項目。這個項目的實驗效果如下圖所示。這個項目旨在幫助讀者進一步掌握RGB-D相機的使用，通過兩種視覺目標(biāo)檢測實現(xiàn)方法，完成移動機器人視覺追蹤的任務(wù)。8移動機器人視覺追蹤3本次實驗為實現(xiàn)視覺追蹤的效果，采用了如下兩種方法實現(xiàn)：采用OpenCV實現(xiàn)目標(biāo)檢測

首先借助OpenCV將攝像頭所取每一幀圖像轉(zhuǎn)換為BGR格式圖片，通過目標(biāo)網(wǎng)球在圖片中的位置和面積大小來控制EAIbot機器人的運動。采用EasyDL物體檢測模型實現(xiàn)目標(biāo)檢測

在百度AI開放平臺EasyDL圖像中的物體檢測模塊創(chuàng)建并訓(xùn)練好目標(biāo)檢測模型，然后通過調(diào)用百度API接口完成目標(biāo)檢測，最后利用移動機器人的目標(biāo)跟蹤算法對目標(biāo)網(wǎng)球進行自動跟蹤。具體的項目執(zhí)行步驟如下圖所示。8移動機器人視覺追蹤4視覺追蹤原理：傳統(tǒng)目標(biāo)檢測算法

傳統(tǒng)目標(biāo)檢測算法分三步：選取區(qū)域，提取圖像特征和分類器分類。常用的圖像特征有四種：顏色、形狀、梯度和模式。顏色特征主要有RGB如圖、HSV和Colornames三種。RGB的優(yōu)點是能直觀表達(dá)顏色，如下圖。8移動機器人視覺追蹤5視覺追蹤原理：傳統(tǒng)目標(biāo)檢測算法

HSV(色調(diào)H、飽和度S和明度V)的優(yōu)點是受明亮度變化影響?。ㄈ缦聢D），ColorNames比RGB能更好的表達(dá)顏色。常見的有Color空間不變特征（color-SIFT）算法、HSV空間不變特征（HSV-SIFT）算法、色調(diào)直方圖不變特征（Hue-SIFT）算法。8移動機器人視覺追蹤6視覺追蹤原理：基于深度學(xué)習(xí)的目標(biāo)檢測算法

基于深度學(xué)習(xí)的目標(biāo)檢測主要是通過各種神經(jīng)網(wǎng)絡(luò)來實現(xiàn)目標(biāo)檢測，也可以細(xì)分為三種：基于候選區(qū)域的目標(biāo)檢測算法、基于回歸的目標(biāo)檢測算法和基于增強學(xué)習(xí)的目標(biāo)檢測算法。基于回歸的目標(biāo)檢測算法包括YOLO系列算法和SSD算法。①

其方式就是徹底去掉了region思想，直接在一個神經(jīng)網(wǎng)絡(luò)中進行回歸分類。②

其特點是算法速度快，但是檢測多個目標(biāo)時，有時會忽略較小的目標(biāo)而影響精度。8移動機器人視覺追蹤7基于EasyDL的物體檢測模型：EasyDL平臺簡介

EasyDL是一個專業(yè)面向于企業(yè)客戶和面向個人開發(fā)者用戶的零基礎(chǔ)門檻定制AI應(yīng)用開發(fā)服務(wù)平臺，為所有零算法基礎(chǔ)門檻的應(yīng)用開發(fā)者客戶提供了定制高精度AI模型應(yīng)用的專業(yè)服務(wù)，包括數(shù)據(jù)處理、模型開發(fā)訓(xùn)練、服務(wù)管理、模型應(yīng)用部署功能模塊，在本次實驗中要用到其中的物體檢測功能。8移動機器人視覺追蹤8基于EasyDL的物體檢測模型：模型訓(xùn)練

在本項目中，選取黃綠色網(wǎng)球作為目標(biāo)檢測對象，采取在不同環(huán)境下不同明亮程度所拍攝的網(wǎng)球圖片作為數(shù)據(jù)集。8移動機器人視覺追蹤9基于EasyDL的物體檢測模型：模型訓(xùn)練及評估

導(dǎo)入已創(chuàng)建好的數(shù)據(jù)集并進行標(biāo)注。在全部圖片標(biāo)注完成后，配置訓(xùn)練環(huán)境為TeslaGPU_P4_8G現(xiàn)存單卡_12核CPU_40G內(nèi)存，數(shù)據(jù)增強策略選取默認(rèn)配置。8移動機器人視覺追蹤10基于EasyDL的物體檢測模型：模型訓(xùn)練及評估

在模型訓(xùn)練完成后，另外選取不在數(shù)據(jù)集中的網(wǎng)球圖片，進行模型校驗，查看模型目標(biāo)檢測的準(zhǔn)確度。完成模型校驗，即可查看完整的模型評估報告。在報告中，可以看到模型訓(xùn)練的整體情況說明，包括基本結(jié)論、mAP、精確率、召回率。8移動機器人視覺追蹤11機器人視覺追蹤實