《鴻蒙機(jī)器人編程》課件-16-實(shí)踐課-圖像采集與目標(biāo)識(shí)別

實(shí)踐課-圖像采集與目標(biāo)識(shí)別課程介紹課程安排：介紹開(kāi)源視覺(jué)庫(kù)OpenCV以及如何將OpenCV在ROS中使用，并完成一個(gè)小小的視覺(jué)應(yīng)用。課程目的：掌握使用ROS和OpenCV進(jìn)行機(jī)器視覺(jué)應(yīng)用開(kāi)發(fā)所需基礎(chǔ)：了解攝像頭基本原理，掌握ROS、OpenCV編程基礎(chǔ)。?NXROBO20222OpenCVOpenCV的全稱是：OpenSourceComputerVisionLibrary。OpenCV是一個(gè)基于BSD許可（開(kāi)源）發(fā)行的跨平臺(tái)計(jì)算器視覺(jué)庫(kù)。實(shí)現(xiàn)了圖像處理和計(jì)算器視覺(jué)方面的很多通用算法，輕量而高效在OpenCV2.4之后，其架構(gòu)改為以C++為主(之前為C)，同時(shí)提供了Python、Java等語(yǔ)言的接口。OpenCV的官方網(wǎng)站是/。?NXROBO20223ROSperception一般來(lái)說(shuō)，ROS中已經(jīng)集成了OpenCV，所以不需要進(jìn)行額外的安裝操作。如果沒(méi)有安裝，推薦安裝ROSperception包，perception集成了OpenCV和開(kāi)源點(diǎn)云處理庫(kù)PCL以及其他機(jī)器人感知相關(guān)的包，輸入如果想要使用GPU加速等高級(jí)功能，那可能就需要自行編譯OpenCV庫(kù)了，ROS集成的OpenCV并不包含這些拓展模塊?NXROBO20224$sudoaptinstallros-<你的ROS版本>-perception

首先構(gòu)建包空間：然后進(jìn)入功能包的src文件夾，新建一個(gè)文件并命名為cv_tutorial.cpp在此文件中，定義了兩個(gè)類(lèi)ImageConverter、ImageProcessorImageConverter：負(fù)責(zé)訂閱ROS的topic，并將圖像格式進(jìn)行轉(zhuǎn)換。ImageProcessor：處理目標(biāo)識(shí)別?NXROBO20225$cd~/spark/src$catkin_create_pkgcv_tutorialcv_bridgeimage_transportroscppsensor_msgstd_msg編寫(xiě)一個(gè)目標(biāo)識(shí)別的程序ImageConverter類(lèi)?NXROBO20226ImageConverter類(lèi)在ROS中圖像數(shù)據(jù)是以Image消息的格式進(jìn)行傳輸?shù)?，然而OpenCV的圖像格式是cv::Mat，所以我們需要使用cv_bridge將消息轉(zhuǎn)換成Mat。這就是ImageConverter類(lèi)要實(shí)現(xiàn)的功能，具體使用Subscriber獲取圖像，用cv_bridge進(jìn)行圖像格式的轉(zhuǎn)換。其具體實(shí)現(xiàn)如下：其中，_it是image_transport::ImageTransport類(lèi)型，訂閱一個(gè)Topic，并注冊(cè)了一個(gè)回調(diào)函數(shù)imageCb，指定其在Topic有信息來(lái)到時(shí)如何處理消息，其中SUBSCRIBLE_TOPIC可以修改為其他用戶需要訂閱的Topic名。?NXROBO20227_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);回調(diào)函數(shù)：?NXROBO20228在回調(diào)函數(shù)中，首先使用cv_bridge將ROS的image消息轉(zhuǎn)換到OpenCV所能處理的Mat格式sensor_msgs::image_encodings::BGR8說(shuō)明當(dāng)前數(shù)據(jù)我們規(guī)定以8位BGR格式轉(zhuǎn)換。voidimageCb(constsensor_msgs::ImageConstPtr&msg){cv_bridge::CvImagePtrcv_ptr;try{

cv_ptr=cv_bridge::toCvCopy(msg,sensor_msgs::image_encodings::BGR8);}catch(cv_bridge::Exception&e){

ROS_ERROR("cv_bridgeexception:%s",e.what());

return;}cess(cv_ptr->image);}ImageProcessor類(lèi)ImageProcessor主要工作：提取當(dāng)前獲取圖像的邊緣和預(yù)存的模板圖像（在這里我們提供的是一個(gè)圓）進(jìn)行模板匹配在匹配度大于閾值的時(shí)候認(rèn)為當(dāng)前圖像中存在與預(yù)存模板相同的圖像，并將其在窗口中繪出。?NXROBO20229ImageProcessor類(lèi)?NXROBO202210初始化首先創(chuàng)建了一個(gè)120×120的3通道8位圖像，并使用cv::circle在其中心畫(huà)了一個(gè)圓作為范本

cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY)轉(zhuǎn)換模板為灰度圖像。?NXROBO202211voidinital(){cv::MattemplateImg(120,120,CV_8UC3);cv::circle(templateImg,cv::Point(60,60),50,cv::Scalar(255,255,255));cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY);}主處理函數(shù)函數(shù)將當(dāng)前獲取的圖像轉(zhuǎn)換為灰度圖，并進(jìn)行邊緣檢測(cè)，之后進(jìn)行模板匹配并輸出匹配結(jié)果。?NXROBO202212voidprocess(cv::Mat_img){cv::Matgray_img,edges,result;cv::cvtColor(_img,gray_img,CV_BGR2GRAY);cv::Canny(gray_img,edges,30,90);cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR);doubleminValue,maxValue;cv::PointminLoc,maxLoc;cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);}主處理函數(shù)cv::cvtColor(_img,gray_img,CV_BGR2GRAY)將當(dāng)前圖像轉(zhuǎn)換為灰度圖，便以進(jìn)行邊緣檢測(cè)。cv::Canny(gray_img,edges,30,90)使用canny操作數(shù)對(duì)圖像進(jìn)行邊緣檢測(cè)。cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR)進(jìn)行模板匹配，在本文中我們使用CV_TM_CCORR，即自相關(guān)匹配的方式進(jìn)行匹配，其輸出的值越大表示匹配度越高。cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);在圖像中尋找匹配結(jié)果最小和最大的位置。?NXROBO202213打印結(jié)果?NXROBO202214if(maxValue>THRESHOLD){std::cout<<"findacircleatx="<<maxLoc.x<<"y="<<maxLoc.y<<"Valueis:"<<maxValue<<std::endl;cv::rectangle(_img,maxLoc,cvPoint(maxLoc.x+this->_template.cols,maxLoc.y+this->_template.rows),cvScalar(0,0,255),5);}elsestd::cout<<"cannotfindacircle"<<std::endl;圖形顯示輸出當(dāng)最大匹配結(jié)果大于閾值時(shí)候，將其位置用方框表示出，并輸出其在圖像中的位置。方框的原點(diǎn)為范本匹配的最大值點(diǎn)，大小為范本的大小。?NXROBO202215cv::imshow(OPENCV_WINDOW,_img) //將當(dāng)前處理的圖像顯示。cv::imshow(TEMPLATE_WINDOW,this->_template)//將當(dāng)前模板顯示。cv::imshow(MATCH_WINDOW,_img);cv::imshow(TEMPLATE_WINDOW,this->_template);if('q'==cv::waitKey(3))exit(0);}編寫(xiě)CmakeLists.txt文件?NXROBO202216cmake_minimum_required(VERSION2.8.3)project(cv_tutorial)

find_package(catkinREQUIREDCOMPONENTSOpenCVREQUIREDcv_bridgeimage_transportroscppsensor_msgs)catkin_package()include_directories(${catkin_INCLUDE_DIRS}${OpenCV_INCLUDE_DIRS})add_executable(cv_tutorialsrc/cv_tutorial.cpp)target_link_libraries(cv_tutorial${catkin_LIBRARIES}${OpenCV_LIBRARIES})${OpenCV_LIBRARIES})編譯并運(yùn)行?NXROBO202217$catkin_make$roslaunchastra_launchastra.launch$rosruncv_tutorialcv_tutorial進(jìn)階應(yīng)用：不同主題的時(shí)間同步如果我們想同時(shí)使用圖像和相機(jī)信息怎么辦？如何保證時(shí)間同步？在/message_filtersmessage_filters是一個(gè)用于roscpp和rospy的實(shí)用功能庫(kù)。它包含有常用的消息“過(guò)濾”算法。消息過(guò)濾器收到一個(gè)消息，根據(jù)特定條件決定在稍后的時(shí)間里是否再將其吐出來(lái)。其中一個(gè)例子是時(shí)間同步器，它接收來(lái)自多個(gè)源的不同類(lèi)型的消息，并且僅當(dāng)在每個(gè)源上接收到消息具有相同時(shí)間戳的時(shí)才輸出它們。TimeSynchronizer濾波器通過(guò)包含在其報(bào)頭中的時(shí)間戳來(lái)同步輸入通道，并將它們輸出到一個(gè)單一的回調(diào)中，回調(diào)中采用相同數(shù)量的通道。C++的實(shí)現(xiàn)最多可以9個(gè)通道的同步。?NXROBO202218示例代碼#include<sensor_msgs/Image.h>#include<sensor_msgs/CameraInfo.h>usingnamespacesensor_msgs;usingnamespacemessage_filters;voidcallback(constImageConstPtr&image,constCameraInfoConstPtr&cam_info){//Solveallofperceptionhere...}intmain(intargc,char**argv){ros::init(argc,argv,"vision_node");ros::NodeHandlenh;message_filters::Subscriber<Image>image_sub(nh,"image",1);message_filters::Subscriber<CameraInfo>info_sub(nh,"camera_info",1);TimeSynchronizer<Image,CameraInfo>sync(image_sub,info_sub,10);sync.registerCallback(boost::bind(&callback,_1,_2));ros::spin();return0;}?NXROBO202219進(jìn)階應(yīng)用：圖像平面到三維世界的坐標(biāo)轉(zhuǎn)換使用image_geometry完成這一功能/image_geometry