《鴻蒙機(jī)器人比賽》課件-07 綜合應(yīng)用開發(fā)

綜合應(yīng)用開發(fā)課程內(nèi)容2?NXROBO20231.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用2.Pick&Place中的關(guān)鍵技術(shù)3.uArm編程控制實(shí)驗(yàn)4.Spark+uArm抓取實(shí)驗(yàn)1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用3?NXROBO2023機(jī)器視覺(jué)作業(yè)環(huán)境感知目標(biāo)定位目標(biāo)識(shí)別目標(biāo)跟蹤……機(jī)械臂關(guān)節(jié)空間點(diǎn)到點(diǎn)的運(yùn)動(dòng)運(yùn)動(dòng)笛卡爾空間點(diǎn)到點(diǎn)運(yùn)動(dòng)規(guī)劃碰撞檢測(cè)障礙物環(huán)境下的運(yùn)動(dòng)規(guī)劃……+=智能的機(jī)械臂應(yīng)用自主避障的運(yùn)動(dòng)自主pick&place操作自主拋光打磨自主焊接……1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用4?NXROBO2023運(yùn)行下列命令：$

roslaunch

marm_description

view_marm_with_kinect.launch1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用5?NXROBO2023marm_description/urdf/marm.urdf1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用6?NXROBO2023$

roslaunch

marm_gazebo

arm_world.launch仿真環(huán)境與上個(gè)例子完全相同1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用7?NXROBO2023$roslaunchmarm_moveit_configdemo_gazebo.launchMoveIt

！視覺(jué)集成1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用8?NXROBO2023運(yùn)動(dòng)控制1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用9?NXROBO2023marm_moveit_config/launch/demo_gazebo.launch(1)1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用10?NXROBO2023marm_moveit_config/launch/demo_gazebo.launch(2)1.機(jī)器視覺(jué)與機(jī)械臂應(yīng)用11?NXROBO2023marm_moveit_config/config/sensors_3d.yamlmarm_moveit_config/launch/marm_moveit_sensor_manager.launch.xml12?NXROBO2023pickplacepickplace能否通過(guò)攝像頭獲取pick和place的位姿呢？2.Pick&Place中的關(guān)鍵技術(shù)13?NXROBO2023視覺(jué)與控制的集成2.Pick&Place中的關(guān)鍵技術(shù)2.Pick&Place中的關(guān)鍵技術(shù)14?NXROBO202315?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)1)攝像頭標(biāo)定（內(nèi)參、外參）2)物體識(shí)別3)抓取姿態(tài)分析4)機(jī)器人運(yùn)動(dòng)規(guī)劃16?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)camera_calibration

：

/camera_calibration/1)攝像頭標(biāo)定17?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)visp_hand2eye_calibration

：

/visp_hand2eye_calibrationros

easy_handeye

：

/IFL-CAMP/easy_handeye1)攝像頭標(biāo)定18?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)

基于

OpenCV

的圖像定位find_object_2d

：

/object_recognitionobject_recognition

：

/object_recognition2)物體識(shí)別19?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)基于

PCL

的點(diǎn)云信息處理：

/pcl/Tutorials基于點(diǎn)云的物體識(shí)別2)物體識(shí)別20?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)3)抓取姿態(tài)分析21?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)agile_grasp

(點(diǎn)云)：

/agile_graspgraspit(仿真)

：

/graspitmoveit_simple_grasps(簡(jiǎn)單物體)：

/moveit_simple_grasps3)抓取姿態(tài)分析22?NXROBO20232.Pick&Place中的關(guān)鍵技術(shù)運(yùn)動(dòng)規(guī)劃23?NXROBO20233.uArm編程控制實(shí)驗(yàn)——MoveIt!控制參見：24?NXROBO20233.uArm編程控制實(shí)驗(yàn)——MoveIt!控制

$

roslaunch

swiftpro

pro_control.launchMoveIt!

控制

$

roslaunch

pro_moveit_config

demo.launch

$

rosrun

uarm_planning

moveit_fk_demo.py25?NXROBO20233.uArm編程控制實(shí)驗(yàn)——MoveIt!控制roslaunch

swiftpro

pro_control.launchroslaunchpro_moveit_configdemo.launch26?NXROBO20233.uArm編程控制實(shí)驗(yàn)——SDK接口moveit_fk_demo.py27?NXROBO20234