手勢識別開題報告

1、.基于手勢識別的移動機(jī)器人基于手勢識別的移動機(jī)器人控制研究控制研究碩士論文開題報告碩士論文開題報告.開題報告主要內(nèi)容開題報告主要內(nèi)容.人人-機(jī)器人交互方式：機(jī)器人交互方式：隨著智能機(jī)器人技術(shù)的發(fā)展，自然的、符合人類習(xí)慣的人機(jī)交互方式逐漸成為人們研究的熱點(diǎn)。選題背景與研究現(xiàn)狀選題背景與研究現(xiàn)狀傳統(tǒng)方式傳統(tǒng)方式鼠標(biāo)鍵盤手柄數(shù)據(jù)手套新型方式新型方式視覺語音力覺 觸覺這些在靈活性和實現(xiàn)精確控制方面存在限制符合人類交流習(xí)慣缺乏靈活性方便、直接、易于使用.選題背景與研究現(xiàn)狀選題背景與研究現(xiàn)狀國外：國外：英國Essex大學(xué)通過識別人臉，比較當(dāng)前人臉形狀和模板人臉形狀來估計人臉方向，從而控制智能輪椅。美國CM

2、U機(jī)器人實驗室實現(xiàn)了一種能夠按人體手勢及手臂動作做出簡單動作的清掃機(jī)器人。2007年，Md.Al-Amin Bhuiyan等人研究的通過人臉及人臉角度控制機(jī)器人AIBO的動作或者姿勢。2010年印度學(xué)者已經(jīng)實現(xiàn)應(yīng)用手勢遠(yuǎn)程控制機(jī)器人的運(yùn)動狀態(tài)為前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)和停止五個狀態(tài)。國內(nèi)：國內(nèi)：天津大學(xué)研究了漢語語音識別系統(tǒng)并用來控制機(jī)器人。上海大學(xué)研究識別手勢系統(tǒng)并將其成功地用于遠(yuǎn)程機(jī)器人控制系統(tǒng)。天津大學(xué)實現(xiàn)了依據(jù)操作者的體態(tài)動作圖像信息控制機(jī)器人的狀態(tài)。清華大學(xué)研究了一個手勢識別系統(tǒng)，選擇其中識別率較高的十種手勢類別作為人機(jī)互動信號應(yīng)用于電腦游戲中代替手柄。.選題背景與研究現(xiàn)狀選題背景與研

3、究現(xiàn)狀人人-機(jī)器人交互方式實例機(jī)器人交互方式實例.選題背景與研究現(xiàn)狀選題背景與研究現(xiàn)狀語音方式：語音方式：適應(yīng)性差（語音學(xué)上的差異、生理上的差異及發(fā)音習(xí)慣的差異）、強(qiáng)噪聲干擾環(huán)境下語音技術(shù)面臨較大困難，很難將控制信號識別出來。視覺方式：視覺方式：手勢、體態(tài)、人臉姿態(tài)手勢適應(yīng)性強(qiáng)，最為直觀、方便、自然研究難點(diǎn)研究難點(diǎn)：手勢本身具有多樣性、多義性及時間和空間上的差異性；人手是復(fù)雜變形體；背景復(fù)雜時，很容易將非手勢區(qū)域誤認(rèn)為手勢區(qū)域，如何去除非手部分。.研究內(nèi)容研究內(nèi)容 本課題以輪式移動機(jī)器人為實驗平臺，通過單個攝像頭對本課題以輪式移動機(jī)器人為實驗平臺，通過單個攝像頭對手勢進(jìn)行識別，進(jìn)而完成對移動機(jī)

4、器人的運(yùn)動狀態(tài)控制。手勢進(jìn)行識別，進(jìn)而完成對移動機(jī)器人的運(yùn)動狀態(tài)控制。主要的研究內(nèi)容可分為如下三個部分：主要的研究內(nèi)容可分為如下三個部分：（1）建立本課題手勢模板庫分為訓(xùn)練集和測試集兩類，在VC+環(huán)境下調(diào)用OpenCV機(jī)器視覺庫實現(xiàn)對模板庫中不同背景下圖片手勢分割。（2）編寫可視化軟件界面，并根據(jù)手勢輪廓、形狀或者紋理等提取手勢特征，應(yīng)用模式識別分類方法實現(xiàn)對手勢的分類及識別，并達(dá)到實時性，識別率達(dá)到95%以上。（3）應(yīng)用移動機(jī)器人平臺，選取手勢模板庫中識別率最高的七種手勢作為移動機(jī)器人的運(yùn)動狀態(tài)控制信號，分別控制移動機(jī)器人的前進(jìn)、后退、直線加速、直線減速、左轉(zhuǎn)、右轉(zhuǎn)和停止七種狀態(tài)。在不同實驗

5、環(huán)境（如光照、背景）下，對系統(tǒng)進(jìn)行整體調(diào)試。.研究方案研究方案系統(tǒng)構(gòu)成圖系統(tǒng)構(gòu)成圖.研究方案研究方案手勢模板庫手勢模板庫.手勢分割手勢分割:把圖像中的人手區(qū)域（前景）與其他區(qū)域（背景區(qū)域）劃分開?；谀w色信息檢測方法主要步驟是顏色空間變換和膚色建模。研究方案研究方案手勢分割方法手勢分割方法膚色建模方法膚色建模方法閾值化閾值化（膚色范圍）（膚色范圍）參數(shù)化參數(shù)化（高斯密度函數(shù)估計）（高斯密度函數(shù)估計）所需存儲空間小所需存儲空間小需要考察所選顏色空需要考察所選顏色空間中膚色分布的形態(tài)間中膚色分布的形態(tài)學(xué)習(xí)速度快學(xué)習(xí)速度快非參數(shù)化非參數(shù)化（統(tǒng)計直方圖）（統(tǒng)計直方圖）皮膚紋理檢測皮膚紋理檢測基于統(tǒng)計模

6、型方法基于統(tǒng)計模型方法（局部二值模式，（局部二值模式，LBP）基于信號處理方法基于信號處理方法（傅里葉變換或者小波變換）（傅里葉變換或者小波變換）簡單易行簡單易行選擇合適的顏色空間選擇合適的顏色空間需要大量統(tǒng)計樣本需要大量統(tǒng)計樣本需要存儲空間大需要存儲空間大是一種表述灰度圖像某像素點(diǎn)與周圍像素點(diǎn)大小關(guān)系的二進(jìn)制描述.研究方案研究方案特征提取方法特征提取方法手勢特征手勢特征:能刻畫手勢的本質(zhì)特征，要求對目標(biāo)的位移、旋轉(zhuǎn)及尺度縮放具有不變性。全局幾何特征全局幾何特征變換域幾何特征變換域幾何特征緊密度緊密度區(qū)域形狀偏心率區(qū)域形狀偏心率區(qū)域形狀實心率區(qū)域形狀實心率矩函數(shù)矩函數(shù)小波描繪子小波描繪子傅里葉

7、描述子傅里葉描述子對幾何矩進(jìn)行非線性組合，得到一組對于圖像平移、旋轉(zhuǎn)、尺度縮放都不變矩物體邊界點(diǎn)集合，進(jìn)行傅立葉變換形狀特征形狀特征面積面積.研究方案研究方案分類方法分類方法手勢分類手勢分類:通過特定的方法將提取的被識別對象的特征信息歸為某一類別，從而實現(xiàn)手勢識別。分類方法分類方法模板匹配方法模板匹配方法基于統(tǒng)計理論方法基于統(tǒng)計理論方法歐式距離分類方法歐式距離分類方法最大最小距離最大最小距離（ Hausdorff Hausdorff距離）距離）神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)方法支持向量機(jī)支持向量機(jī)（SVMSVM）BoostingBoosting以及以及AdaBoostAdaBoost算法算法隨著維數(shù)的增

8、大，計算量會增大，準(zhǔn)確度也會下降學(xué)習(xí)時間過長，甚至可能達(dá)不到學(xué)習(xí)的目的；體系結(jié)構(gòu)通用性差；推廣性差可能出現(xiàn)過分配避免過學(xué)習(xí)、維數(shù)災(zāi)難、局部極小等問題.研究方案研究方案控制部分控制部分UP-Voyager IIA移動機(jī)器人移動機(jī)器人硬件通訊層完成軟件與硬件之間的數(shù)據(jù)交互工作將硬件指令解析換算成控制算法中數(shù)據(jù)變量；調(diào)用控制函數(shù)生成對應(yīng)的硬件控制指令UP-Voyager系統(tǒng)數(shù)據(jù)流系統(tǒng)數(shù)據(jù)流.第一步：第一步：獲取手勢圖像，建立手勢模板庫，并分為訓(xùn)練集及測試集兩個大類獲取手勢圖像，建立手勢模板庫，并分為訓(xùn)練集及測試集兩個大類實驗方案設(shè)計實驗方案設(shè)計第二步：第二步：利用膚色信息和紋理特征完成手勢分割利用膚

9、色信息和紋理特征完成手勢分割第三步：第三步：利用不變矩和傅里葉描述子方法得到特征向量利用不變矩和傅里葉描述子方法得到特征向量第四步：第四步：利用訓(xùn)練集應(yīng)用支持向量機(jī)的方法進(jìn)行訓(xùn)練，然后測試手勢識別效果利用訓(xùn)練集應(yīng)用支持向量機(jī)的方法進(jìn)行訓(xùn)練，然后測試手勢識別效果第五步：第五步：應(yīng)用輪式移動機(jī)器人平臺進(jìn)行實驗，驗證手勢識別的實時控制性能應(yīng)用輪式移動機(jī)器人平臺進(jìn)行實驗，驗證手勢識別的實時控制性能. 在VC+環(huán)境中編寫程序，能夠?qū)崟r對采集的視頻圖像完成手勢分割及特征提取； 利用手勢模板庫應(yīng)用支持向量機(jī)方法完成對手勢特征的學(xué)習(xí)，實現(xiàn)對視頻實時手勢識別，達(dá)到“速度快，精度高”； 在不同實際環(huán)境下，能夠利用

10、定義的手勢控制移動機(jī)器人的七種運(yùn)動狀態(tài)； 發(fā)表一至二篇EI學(xué)術(shù)論文。預(yù)期成果預(yù)期成果. (1) 本人對VC+運(yùn)行環(huán)境和C+語言都有一定的基礎(chǔ)； (2) 本人曾學(xué)習(xí)過相關(guān)圖像處理知識，寫過相關(guān)圖像處理程序； (3) 實驗室在圖像處理方面的研究已取得相當(dāng)多的積累與成績；研究基礎(chǔ)研究基礎(chǔ)簡單背景閾值分割手勢簡單背景閾值分割手勢.利用傅里葉變換得到的相關(guān)利用傅里葉變換得到的相關(guān)特征參數(shù)：特征參數(shù)：0.034551;0.070123;0.038968;0.042986;0.003900;0.017425;0.010688;0.007627;0.010348;0.007532;研究基礎(chǔ)研究基礎(chǔ) 實驗室已經(jīng)具備條件：實驗室已經(jīng)具備條件：（1 1）計算機(jī)）計算機(jī)（2 2）輪式移動機(jī)器人）輪式移動機(jī)器人（3 3）機(jī)器人控制器）機(jī)器人控制器（4 4）數(shù)字）數(shù)字CCDCCD攝像機(jī)攝像機(jī) （5 5）開發(fā)軟件）開發(fā)軟件.進(jìn)度安排進(jìn)度安排2011年5月2011年6月 查閱資料，完成開題報告。2011年7月2011年8月 準(zhǔn)備資料，學(xué)習(xí)相關(guān)知識，并建立相關(guān)手勢庫2011年9月2012年3月 通過編程完成對標(biāo)準(zhǔn)手勢庫的訓(xùn)練，初步實現(xiàn)手勢識別，并通過實驗提