手勢識別總結(jié)學習教案

1、會計學1手勢手勢(shush)識別總結(jié)識別總結(jié)第一頁，共20頁。 手勢手勢(shush)類型類型l 靜態(tài)手勢識別（手型）靜態(tài)手勢識別（手型）l 動態(tài)手勢識別（動作及軌跡）l RGB相機相機l 紅外相機（主動、被動）l 加速度傳感器l 深度相機（雙目、 結(jié)構(gòu)光、 TOF）第1頁/共20頁第二頁，共20頁。 基于手勢基于手勢(shush)分割分割 基于基于(jy)手勢檢測手勢檢測l 選擇合適的特征l 準備大量訓練樣本l 算法復雜度較高l 算法復雜度低l 難于分割完整的手勢l 對光照比較敏感第2頁/共20頁第三頁，共20頁。手勢手勢(shush)識識別別手勢手勢(shush)輸輸入入特征提取特征提取

2、誤差補償、濾波、預處理預處理手勢分割、手勢跟蹤、分類、建模訓練、匹配第3頁/共20頁第四頁，共20頁。第4頁/共20頁第五頁，共20頁。手勢手勢(shush)分分類器類器采集手勢采集手勢(shush)樣本樣本選擇分類選擇分類算法算法選擇選擇特征特征訓練訓練過程：識別過程：手勢類別及位手勢類別及位置置采集圖像采集圖像手勢分類手勢分類器器多尺度多尺度處理處理分類第5頁/共20頁第六頁，共20頁。圖中黑色矩形所有(suyu)像素值的和減去白色矩形所有(suyu)像素值的和。第6頁/共20頁第七頁，共20頁。1.將一幅圖片劃分(hu fn)為若干的子區(qū)域，對每個子區(qū)域內(nèi)的每個像素點都提取LBP特征。2

3、.在每個子區(qū)域內(nèi)建立LBP特征的統(tǒng)計直方圖。整個 圖片就由若干個統(tǒng)計直方圖組成第7頁/共20頁第八頁，共20頁。第8頁/共20頁第九頁，共20頁。第9頁/共20頁第十頁，共20頁。第10頁/共20頁第十一頁，共20頁。第11頁/共20頁第十二頁，共20頁。訓練訓練(xnlin)(xnlin)程序程序opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -pre

4、calcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL 訓練樣本訓練樣本opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pause第12頁/共20頁第十三頁，共20頁。 積極積極(jj)(jj)樣本多樣性樣本多樣性積極積極(jj)(jj)樣本背景隨機性樣本背景隨機性 消消極樣本結(jié)合場景極樣本結(jié)合場景 積極樣本旋轉(zhuǎn)積極樣本旋轉(zhuǎn)特征選擇特征選擇第13頁/共20頁第十四頁，共20

5、頁。 獲取獲取(huq)(huq)手勢的摳圖手勢的摳圖將手勢摳圖合成到隨機將手勢摳圖合成到隨機(su (su j)j)背景背景縮放到合適尺寸縮放到合適尺寸第14頁/共20頁第十五頁，共20頁。速率速率(sl)(sl)較快（較快（30-50ms30-50ms）對光照對光照(gungzho)(gungzho)不敏感不敏感對不同攝像機適用性強對不同攝像機適用性強對圖像質(zhì)量要求不高對圖像質(zhì)量要求不高第15頁/共20頁第十六頁，共20頁。 樣本樣本(yngbn)(yngbn)處理要求高（尺寸，背景，光處理要求高（尺寸，背景，光照，多樣）照，多樣） 后期升級訓練困難（手工后期升級訓練困難（手工(shugn

6、g)(shugng)裁剪裁剪或標注樣本）或標注樣本） 存存在一定程度誤判率（過擬合與泛化）在一定程度誤判率（過擬合與泛化） 特特征不具有旋轉(zhuǎn)不變形（識別固定姿態(tài)手勢）征不具有旋轉(zhuǎn)不變形（識別固定姿態(tài)手勢）第16頁/共20頁第十七頁，共20頁。采集采集(cij)(cij)多樣性樣本（多樣性樣本（20k20k） 將誤判圖片作為將誤判圖片作為(zuwi)(zuwi)消極樣本再訓練消極樣本再訓練 收收集實際識別圖片手工裁剪樣本集實際識別圖片手工裁剪樣本 使用其他的方法進行二次判斷（膚色驗證及使用其他的方法進行二次判斷（膚色驗證及SVMSVM）第17頁/共20頁第十八頁，共20頁。深度深度(shnd)(shnd)相機相機可分割出手型的二值圖像可分割出手型的二值圖像(t xin)(t xin)（手型輪廓），進而通（手型輪廓），進而通過輪廓特征進行手勢及動作識別。過輪廓特征進行手勢及動作識別。深度神經(jīng)網(wǎng)絡深度神經(jīng)網(wǎng)絡通過通過CNNCNN卷積神經(jīng)網(wǎng)絡自動選取特征進行識別，樣本量巨大（卷積神經(jīng)網(wǎng)絡自動選取特征進行識別，樣本量巨大（100k1