《機(jī)械臂智能控制》 課件 項(xiàng)目6　機(jī)械臂智能控制實(shí)戰(zhàn)-撲克牌識(shí)別與抓取

任務(wù)6-1撲克牌識(shí)別——數(shù)據(jù)集制作《智能機(jī)械臂控制》任務(wù)解析：撲克牌動(dòng)態(tài)抓取視覺(jué)抓取撲克牌識(shí)別機(jī)械臂抓取撲克牌動(dòng)態(tài)抓取坐標(biāo)變換S0:原圖S1:高斯模糊S2:RGB->HSVS3:腐蝕S4:二值化S5:輪廓標(biāo)識(shí)知識(shí)鏈接1：積木識(shí)別流程O(píng)penCV知識(shí)鏈接1：基于OpenCV的積木識(shí)別OpenCV傳統(tǒng)計(jì)算機(jī)視覺(jué)存在的問(wèn)題：易受到光照、角度等因素影響特征提取依賴人工設(shè)計(jì)的提取器泛化能力及魯棒性較差知識(shí)鏈接2：基于深度學(xué)習(xí)的撲克牌識(shí)別深度學(xué)習(xí)深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的三個(gè)典型應(yīng)用：

目標(biāo)分類目標(biāo)檢測(cè)語(yǔ)義分割知識(shí)鏈接2：基于深度學(xué)習(xí)的撲克牌識(shí)別深度學(xué)習(xí)第1步：在圖像中找到物體：前景和背景區(qū)分開(kāi)主體檢測(cè)知識(shí)鏈接2：基于深度學(xué)習(xí)的撲克牌識(shí)別深度學(xué)習(xí)第2步：判斷物體的種類（分類）？圖片分類知識(shí)鏈接3：PP-ShiTu圖像識(shí)別系統(tǒng)深度學(xué)習(xí)（1）PP-ShiTu輕量級(jí)通用圖像識(shí)別系統(tǒng)輸入圖像主體檢測(cè)物體特征提取向量檢索底庫(kù)圖片gallery（訓(xùn)練集圖片）底庫(kù)圖片gallery特征庫(kù)識(shí)別結(jié)果特征提取知識(shí)鏈接3：PP-ShiTu圖像識(shí)別系統(tǒng)深度學(xué)習(xí)（2）快速體驗(yàn)

PP-ShiTuandroiddemo任務(wù)實(shí)施：撲克牌數(shù)據(jù)集制作Step01：數(shù)據(jù)采集數(shù)據(jù)集【環(huán)境準(zhǔn)備】：新建文件夾：1_Materials，其中包含：新建文件夾程序文件Step01：數(shù)據(jù)采集數(shù)據(jù)集（1）

每個(gè)同學(xué)4張撲克牌，每張撲克牌不少于50張圖像要求：調(diào)整撲克牌姿態(tài)、背景、光照、角度等（2）保存圖片到文件夾。

文件夾命名：數(shù)字+花色字符

；例如：

方塊3對(duì)應(yīng)3DStep01：數(shù)據(jù)采集數(shù)據(jù)集（3）

規(guī)范圖片名稱通過(guò)pycharm運(yùn)行S11_changeFileName.py，修改圖片名稱：前綴為：數(shù)字+花色字符_學(xué)號(hào)末3位_

Step02：數(shù)據(jù)標(biāo)注數(shù)據(jù)集（1）使用labelImg，對(duì)采集的圖像進(jìn)行圖像標(biāo)注打開(kāi)圖像所在文件夾設(shè)置結(jié)果保存文件夾Step02：數(shù)據(jù)標(biāo)注數(shù)據(jù)集畫(huà)矩形打開(kāi)下一張（2）用矩形框選圖中撲克牌，類別命名規(guī)則：數(shù)字+花色字符?？蜻x撲克牌，輸入類別運(yùn)行S12_xml_splitPic.pyStep03：圖像分割數(shù)據(jù)集讀取標(biāo)注的XML配置文件截取圖像中的目標(biāo)物品生成單獨(dú)的物品圖像存儲(chǔ)Step03：圖像分割數(shù)據(jù)集原圖與標(biāo)注文件分割后的圖片運(yùn)行S13_dataSetSplit.pyStep04：數(shù)據(jù)集劃分?jǐn)?shù)據(jù)集將圖像數(shù)據(jù)集按照一定比例劃分為：訓(xùn)練集和測(cè)試集。Step05：數(shù)據(jù)集信息文件生成數(shù)據(jù)集與分類任務(wù)數(shù)據(jù)集不同，圖像檢索任務(wù)的數(shù)據(jù)集分為以下三部分：訓(xùn)練數(shù)據(jù)集（traindataset）：用來(lái)訓(xùn)練模型，使模型能夠?qū)W習(xí)該集合圖像特征。底庫(kù)數(shù)據(jù)集（gallerydataset）：用來(lái)提供圖像檢索任務(wù)中的底庫(kù)數(shù)據(jù)，該集合可與訓(xùn)練集或測(cè)試集相同，也可以不同，當(dāng)與訓(xùn)練集相同時(shí)，測(cè)試集的類別體系應(yīng)與訓(xùn)練集的類別體系相同。測(cè)試數(shù)據(jù)集（querydataset）：用來(lái)測(cè)試模型的好壞，通常要對(duì)測(cè)試集的每一張測(cè)試圖片進(jìn)行特征提取，之后和底庫(kù)數(shù)據(jù)的特征進(jìn)行距離匹配，得到識(shí)別結(jié)果，后根據(jù)識(shí)別結(jié)果計(jì)算整個(gè)測(cè)試集的指標(biāo)?！咀⒁狻坑?xùn)練集、底庫(kù)數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，均使用

txt

文件指定。Step05：數(shù)據(jù)集信息文件生成數(shù)據(jù)集目標(biāo)：生成含有數(shù)據(jù)集信息的txt文件。用途：分類模型訓(xùn)練、特征提取。內(nèi)容格式：數(shù)據(jù)的路徑數(shù)據(jù)的label信息數(shù)據(jù)的uniqueid。注：當(dāng)?shù)讕?kù)數(shù)據(jù)集和檢索時(shí)的查詢數(shù)據(jù)不同時(shí)，無(wú)需增加uniqueidStep05：數(shù)據(jù)集信息文件生成數(shù)據(jù)集運(yùn)行S14_process_format.py任務(wù)數(shù)據(jù)集任務(wù)6-1撲克牌數(shù)據(jù)集制作【作業(yè)提交】：

（1）數(shù)據(jù)采集圖片

截圖（2）使用LabelImg對(duì)采集圖像進(jìn)行圖像標(biāo)注，過(guò)程截圖（3）數(shù)據(jù)集圖像分割截圖（4）生成數(shù)據(jù)集信息文件截圖

任務(wù)6-2撲克牌識(shí)別——模型訓(xùn)練《智能機(jī)械臂控制》知識(shí)鏈接：基于深度學(xué)習(xí)的撲克牌識(shí)別深度學(xué)習(xí)第1步：在圖像中找到物體：前景和背景區(qū)分開(kāi)主體檢測(cè)預(yù)訓(xùn)練模型Picodet知識(shí)鏈接：基于深度學(xué)習(xí)的撲克牌識(shí)別深度學(xué)習(xí)第2步：判斷物體的種類（分類）？圖片分類我們要做的知識(shí)鏈接：PP-ShiTu圖像識(shí)別系統(tǒng)深度學(xué)習(xí)PP-ShiTu輕量級(jí)通用圖像識(shí)別系統(tǒng)輸入圖像主體檢測(cè)物體特征提取向量檢索底庫(kù)圖片gallery（訓(xùn)練集圖片）底庫(kù)圖片gallery特征庫(kù)識(shí)別結(jié)果特征提取任務(wù)實(shí)施：撲克牌——特征提取模型訓(xùn)練Step01：數(shù)據(jù)準(zhǔn)備模型訓(xùn)練準(zhǔn)備——數(shù)據(jù)集拷貝S3_dataset文件夾改名為：puke_dataset將puke_dataset拷貝到：PaddleClas-release-2.5\datasetStep01：數(shù)據(jù)準(zhǔn)備模型訓(xùn)練（1）指定：預(yù)訓(xùn)練模型存儲(chǔ)位置、訓(xùn)練設(shè)備

修改PaddleClas-release-2.5/ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yamlStep01：數(shù)據(jù)準(zhǔn)備模型訓(xùn)練（2）修改”訓(xùn)練”數(shù)據(jù)集配置

GeneralRecognitionV2_PPLCNetV2_base.yamlStep01：數(shù)據(jù)準(zhǔn)備模型訓(xùn)練（3）修改”驗(yàn)證”數(shù)據(jù)集配置

GeneralRecognitionV2_PPLCNetV2_base.yamlStep02：模型訓(xùn)練模型訓(xùn)練進(jìn)入PaddleClas-release-2.5目錄pythontools/train.py

-c

./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml-oDataLoader.Train.sampler.batch_size=8

-oGlobal.epochs=1Step02：模型訓(xùn)練模型訓(xùn)練Step03：模型評(píng)估模型訓(xùn)練進(jìn)入PaddleClas-release-2.5目錄pythontools/eval.py

-c./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml-oGlobal.pretrained_model="output/RecModel/latest"Step04：模型推理模型訓(xùn)練（1）導(dǎo)出推理模型將

*.pdparams

模型文件轉(zhuǎn)換成inference格式。pythontools/export_model.py-c./ppcls/configs/GeneralRecognitionV2/GeneralRecognitionV2_PPLCNetV2_base.yaml-oGlobal.pretrained_model="output/RecModel/latest"Step04：模型推理模型訓(xùn)練（2）獲取特征向量

測(cè)試使用inference格式模型，將輸入圖片轉(zhuǎn)換為對(duì)應(yīng)的特征向量。執(zhí)行命令：cddeploypythonpython/predict_rec.py-cconfigs/inference_rec.yaml-oGlobal.rec_inference_model_dir="../inference"Step04：模型推理模型訓(xùn)練（2）獲取特征向量

測(cè)試默認(rèn)圖片deploy\images\wangzai.jpgStep04：模型推理模型訓(xùn)練（2）獲取特征向量

測(cè)試圖片修改PaddleClas-release-2.5\deploy\configs\inference_rec.yaml任務(wù)實(shí)施模型訓(xùn)練任務(wù)6-2撲克牌——分類（特征提?。┠Ｐ陀?xùn)練【作業(yè)提交】：

（1）GeneralRecognitionV2_PPLCNetV2_base.yaml

修改后的文件

截圖（2）模型訓(xùn)練，過(guò)程截圖（3）模型評(píng)估，過(guò)程截圖

（4)模型推理（使用自己采集的圖像），過(guò)程截圖任務(wù)6-3撲克牌識(shí)別——向量檢索與系統(tǒng)測(cè)試《智能機(jī)械臂控制》知識(shí)鏈接：特征提取模型特征提取特征提取模型知識(shí)鏈接：PP-ShiTu圖像識(shí)別系統(tǒng)深度學(xué)習(xí)PP-ShiTu輕量級(jí)通用圖像識(shí)別系統(tǒng)輸入圖像主體檢測(cè)物體特征提取向量檢索底庫(kù)圖片gallery（訓(xùn)練集圖片）底庫(kù)圖片gallery特征庫(kù)識(shí)別結(jié)果特征提取知識(shí)鏈接：向量檢索向量檢索向量檢索：對(duì)于給定的查詢向量，與庫(kù)中所有的待查詢向量進(jìn)行特征向量相似度或距離計(jì)算，選取相似度最高的作為結(jié)果輸出。特征提取特征提取底庫(kù)圖片底庫(kù)圖片特征庫(kù)物體物體特征向量檢索Result任務(wù)實(shí)施：向量檢索與系統(tǒng)測(cè)試Step01：通用主體檢測(cè)模型下載檢測(cè)模型下載主體檢測(cè)模型picodet_PPLCNet/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.zipPaddleClas-release-2.5/deploy目錄下，新建文件夾models解壓到models目錄下輸入圖像主體檢測(cè)物體Step02：建立索引建立索引（1）索引文件配置

推理模型拷貝：

PaddleClas-release-2.5目錄下的inference

拷貝到：

PaddleClas-release-2.5\deploy\modelsStep02：建立索引建立索引（1）索引文件配置

修改：PaddleClas-release-2.5\deploy\configs\inference_general.yaml測(cè)試圖片路徑主體檢測(cè)模型分類識(shí)別模型不使用GPUStep02：建立索引建立索引（1）索引文件配置

修改：PaddleClas-release-2.5\deploy\configs\inference_general.yaml數(shù)據(jù)集路徑索引保存路徑數(shù)據(jù)集分割文件路徑分隔符替換為空格Step02：建立索引建立索引（2）修改索引庫(kù)編譯文件

修改PaddleClas-release-2.5/deploy/pythonpython/build_gallery.py分隔符修改為空格Step02：建立索引建立索引（3）建立索引庫(kù)

cdPaddleClas-release-2.5/deploypythonpython/build_gallery.py-cconfigs/inference_general.yamlStep03：系統(tǒng)測(cè)試系統(tǒng)測(cè)試dataset中，新建testImage文件夾，放入待測(cè)試的圖片。

cdPaddleClas/deploypythonpython/predict_system.py

-cconfigs/inference_general.yaml-oGlobal.infer_imgs="../dataset/puke_dataset/testImage/3D_106_001.JPG"-oIndexProcess.index_dir="../dataset/puke_dataset_index/index"推理參數(shù)文件測(cè)試圖片路徑庫(kù)索引路徑Step03：系統(tǒng)測(cè)試系統(tǒng)測(cè)試Step03：系統(tǒng)測(cè)試系統(tǒng)測(cè)試添加測(cè)試圖片puke\PaddleClas-release-2.5\dataset\puke_dataset\testImage通過(guò)pycharm打開(kāi)puke文件夾，運(yùn)行predict_pic.pyStep03：系統(tǒng)測(cè)試系統(tǒng)測(cè)試測(cè)試結(jié)果Step03：系統(tǒng)測(cè)試系統(tǒng)測(cè)試測(cè)試結(jié)果Step04：優(yōu)化與種類更新系統(tǒng)優(yōu)化如果識(shí)別率不高或者需要增加新的種類，則需再次采集圖片并創(chuàng)建索引。（1）參照任務(wù)6-1，采集數(shù)據(jù)、標(biāo)注數(shù)據(jù)、圖像分割。（2）將采集的圖片，拷貝到S3_dataset/train下相應(yīng)的文件夾，

運(yùn)行S11_changeFileName.py，將圖片重命名

。（3）運(yùn)行S3_dataset/S14_process_format.py生成圖像信息文件。（4）S3_dataset中文件和文件夾，拷貝到

PaddleClas-release-2.5\dataset\puke_dataset，覆蓋原來(lái)的文件。（5）更新索引庫(kù)：pythonpython/build_gallery.py-cconfigs/inference_general.yamlStep04：優(yōu)化與種類更新系統(tǒng)優(yōu)化【優(yōu)化流程】

采集現(xiàn)場(chǎng)圖片，增加每個(gè)類別的圖片數(shù)量，更新索引。

通過(guò)pycharm打開(kāi)puke文件夾，運(yùn)行predict_video.pyStep04：優(yōu)化與種類更新系統(tǒng)優(yōu)化現(xiàn)場(chǎng)視頻測(cè)試效果任務(wù)實(shí)施系統(tǒng)測(cè)試任務(wù)6-3向量索引與系統(tǒng)測(cè)試【作業(yè)提交】：

（1）inference_general.yaml

修改后的文件

截圖（2)模型測(cè)試結(jié)果（使用自己采集的圖像）截圖任務(wù)6-4撲克牌動(dòng)態(tài)抓取《智能機(jī)械臂控制》任務(wù)要求撲克牌抓取任務(wù)6-4撲克牌動(dòng)態(tài)抓取以任務(wù)5-6

積木動(dòng)態(tài)抓取為基礎(chǔ)，結(jié)合任務(wù)6-1、6-2、6-3，實(shí)現(xiàn)：4張撲克牌的識(shí)別、機(jī)械臂抓取和搬運(yùn)。任務(wù)實(shí)施：撲克牌動(dòng)態(tài)抓取Step01:工程文件管理?yè)淇伺谱ト⑷蝿?wù)5-6積木動(dòng)態(tài)抓取所有文件

拷貝到