基于kinect機(jī)器人控制系統(tǒng)(共7頁)

1、 基于(jy)Kinect的機(jī)器人控制系統(tǒng)(kn zh x tn)鄭州大學(xué)2012年度大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(編號:2012CXSY052 )，武術(shù)表演機(jī)器人設(shè)計(jì)制作 陳敬德，趙文麗，梁洪濤(hn to)，王梓霖，張馳，毛曉波 （鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001）摘要：設(shè)計(jì)一款可以通過人體動作對機(jī)器人進(jìn)行控制的機(jī)器人控制系統(tǒng)。該系統(tǒng)由主機(jī)和從機(jī)兩部分組成，通過Kinect體感傳感器采集人體動作信息，在主機(jī)中進(jìn)行圖像處理解析出相應(yīng)的人體動作，然后通過無線傳輸單元向機(jī)器人發(fā)送相應(yīng)的控制指令，控制機(jī)器人做出響應(yīng)，完成相應(yīng)的一套動作或?qū)θ梭w動作進(jìn)行實(shí)時(shí)模仿。制作的機(jī)器人樣機(jī)運(yùn)行良好

2、，能夠根據(jù)人體左右手的動作和語音命令，做出正確的響應(yīng)。關(guān)鍵詞：Kinect；單片機(jī)；人機(jī)交互；機(jī)器人控制系統(tǒng) Robot Control System Based On Kinect CHEN Jing-de, MAO Xiao-bo, LIANG Hong-tao, WANG Zi-ling, ZHANG Chi (School of Electrical Engineering, Zhengzhou University, Zhengzhou 450001, China)Abstract: Design a robot control system through which the ro

3、bot can be controlled by gesture. The gesture information is collected by Kinect, and the PC extracts motion track through the technology of image processing subsequently and then transmits corresponding instructions wirelessly to the robot. In response, the robot imitates the gesture in real time o

4、r plays a set of specified actions. The prototype that has already been made functions well and can react to the gesture and voice command correctly.Keywords: Kinect; MCU; Human-Machine Interaction; Robot control system引言隨著機(jī)器人控制技術(shù)的迅猛發(fā)展，各類機(jī)器人已廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、國防、科研、教育以及人們的日常生活等諸多領(lǐng)域。但目前機(jī)器人的操控方式卻不乏單調(diào)，傳統(tǒng)意義上的控

5、制基本上是通過遙控器、按鈕、操作手柄來實(shí)現(xiàn)的。本文則提供了一種新的控制方式體感控制，即操作者可直接通過手勢對機(jī)器人進(jìn)行控制，巧妙地將Kinect體感技術(shù)與機(jī)器人控制技術(shù)結(jié)合，創(chuàng)造性地實(shí)現(xiàn)了機(jī)器人控制方式上的創(chuàng)新，實(shí)現(xiàn)更加自然的人機(jī)交互?？傮w結(jié)構(gòu)與工作原理本控制(kngzh)系統(tǒng)(xtng)以Kinect體感傳感器作為圖像采集工具，結(jié)合機(jī)器人控制技術(shù)，實(shí)現(xiàn)了人體動作對機(jī)器人的控制，使機(jī)器人更加(gnji)智能化。裝置由主機(jī)和從機(jī)兩部分組成，系統(tǒng)總體結(jié)構(gòu)如圖1所示。主機(jī)用于人體動作信息采集，然后進(jìn)行圖像處理，識別出人體動作，并負(fù)責(zé)把人體動作信息無線傳送給從機(jī)。主機(jī)系統(tǒng)由PC機(jī)、Kinect體感傳感

6、器、XL02-232AP1無線傳輸模塊組成。主機(jī)用于人體動作信息采集，然后進(jìn)行圖像處理，識別出人體動作，并負(fù)責(zé)把人體動作信息無線傳送給從機(jī)。 從機(jī)則是一個(gè)動作執(zhí)行機(jī)器人，它的控制系統(tǒng)由AVR atmega128單片機(jī)、無線傳輸模塊、語音模塊、BTS7970B直流電機(jī)驅(qū)動模塊等組成。它的機(jī)械結(jié)構(gòu)主要由多自由度的手臂和四輪驅(qū)動的底盤構(gòu)成。從機(jī)對信息進(jìn)行實(shí)時(shí)處理，控制機(jī)器人手臂各個(gè)關(guān)節(jié)旋轉(zhuǎn)相應(yīng)的角度，從而完成相應(yīng)的動作。 (a) 主機(jī)結(jié)構(gòu)圖 (b) 從機(jī)結(jié)構(gòu)圖 圖1 系統(tǒng)總體結(jié)構(gòu)圖系統(tǒng)硬件設(shè)計(jì)3.1 主機(jī) （1）Kinect體感傳感器：它是2010年由微軟對XBOX360體感周邊外設(shè)正式發(fā)布的名字，

7、具有動態(tài)捕捉，影像辨識，語音識別等功能?；谠摷夹g(shù)，可以利用手勢在游戲中開車、與其他玩家互動、通過互聯(lián)網(wǎng)與其他Xbox玩家分享圖片和信息等，這也顯示了它具有非常強(qiáng)大的圖像采集與處理功能。 Kinect可以同時(shí)獲取RGB和深度圖像數(shù)據(jù)，支持實(shí)時(shí)的全身的骨骼追蹤，并可以識別一系列的動作。圖2是它的外觀圖，左邊鏡頭為紅外線發(fā)射器，中間鏡頭是一般常見的RGB彩色攝像頭，右邊鏡頭是紅外線CMOS攝像頭所構(gòu)成的3D深度傳感器。微軟在2011年6月推出的Kinect for Windows SDK Beta使開發(fā)人員可以直接取得距離傳感器、彩色攝像機(jī)以及四單元麥克風(fēng)數(shù)組的原始數(shù)據(jù)流進(jìn)行應(yīng)用程序開發(fā)。此套SD

8、K能夠追蹤Kinect視野內(nèi)一位或兩位用戶的骨架映像，便于建立以體感操作的應(yīng)用程序。圖2 Kinect外觀(wigun)圖Kinect不同于普通攝像頭的是，它有感知(gnzh)世界的CMOS紅外傳感器。該傳感器通過黑白光譜的方式來感知環(huán)境，純黑代表無窮遠(yuǎn)，純白代表無窮近，黑白間的灰色地帶對應(yīng)(duyng)物體到傳感器的距離。它收集視野范圍內(nèi)的每一點(diǎn)，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成深度圖像流，實(shí)時(shí)3D地再現(xiàn)周圍環(huán)境。利用Kinect采集到的深度圖信息，可以得到一個(gè)20點(diǎn)的人體骨架結(jié)構(gòu)，其二維投影如圖3所示，前景分割與骨架提取該系統(tǒng)直接調(diào)用了SDK封裝函數(shù)，得到人體

9、20個(gè)節(jié)點(diǎn)的3維空間坐標(biāo)以及節(jié)點(diǎn)方向信息，進(jìn)而得到完整的人體骨架信息。運(yùn)用這些信息可以提取出人體姿態(tài)特征以及運(yùn)動特征，用于人體基本動作的識別。譬如，通過比較右手與頭部的Y軸坐標(biāo)差值的閾值變化，可以解析出右手是否舉起，如圖4所示。 圖3 kinect骨骼追蹤 圖4 右手半舉與高舉圖像解析（2）通訊模塊：XL02-232AP1無線模塊是UART接口半雙工無線傳輸模塊，可以工作在433MHz公用頻段。其傳輸距離約300m，其工作電壓+5V，低功耗，可以與單片機(jī)I/O口直接相連，發(fā)射模式下串口速率為1.2k115.2kbps，抗干擾能力強(qiáng)。連接電路如圖5所示。圖5 無線通信模塊(m kui)連接圖3.

10、2 從機(jī)（1）動作(dngzu)執(zhí)行機(jī)器人手臂動作(dngzu)控制本作品所使用的機(jī)器人有兩種結(jié)構(gòu)形式，分別是類人機(jī)器人和輪式機(jī)器人，不同點(diǎn)是一個(gè)是雙足站立的，一個(gè)是輪式的，它們每條手臂均由4個(gè)舵機(jī)構(gòu)成，通過控制每個(gè)舵機(jī)的旋轉(zhuǎn)角度可以得到不同的手臂動作和腿部動作，每8個(gè)舵機(jī)角度數(shù)據(jù)對應(yīng)于一個(gè)特定的手臂動作?？梢詫⒚總€(gè)手臂動作對應(yīng)的8個(gè)舵機(jī)角度封裝在一個(gè)結(jié)構(gòu)體數(shù)組中，需要時(shí)可以直接調(diào)用。類人機(jī)器人的腿部動作的控制也是如此。機(jī)器人手臂動作的執(zhí)行有兩種方式：根據(jù)從上位機(jī)傳來的動作指令，做出對應(yīng)的預(yù)先設(shè)定的一套動作；對人體的當(dāng)前動作進(jìn)行實(shí)時(shí)模仿，人體的動作信息解析出來后，在上位機(jī)中計(jì)算出對應(yīng)的各個(gè)角度

11、數(shù)據(jù)，然后將這些角度數(shù)據(jù)通過無線傳輸單元實(shí)時(shí)地傳送到機(jī)器人，機(jī)器人做出響應(yīng)，模仿當(dāng)前人體手臂動作。機(jī)器人平面運(yùn)動控制機(jī)器人平面運(yùn)動的控制針對的是輪式機(jī)器人，機(jī)器人的平面運(yùn)動方式大致有4種，分別是前進(jìn)，后退，左轉(zhuǎn)，右轉(zhuǎn)。這四種運(yùn)動方式對應(yīng)于4個(gè)指令數(shù)據(jù)，也同時(shí)對應(yīng)著4個(gè)操作者的手勢動作。通過真實(shí)的開車旋轉(zhuǎn)方向盤來控制機(jī)器車的旋轉(zhuǎn)，通過右手相對于左手的超前或落后來控制車的前進(jìn)和后退，解析出這4個(gè)動作后，只需發(fā)送對應(yīng)的4個(gè)指令數(shù)據(jù)即可。機(jī)器人硬件結(jié)構(gòu)如圖6所示。 圖6 機(jī)器人硬件(yn jin)結(jié)構(gòu) 圖7 電機(jī)驅(qū)動(q dn)連線圖（2）通訊(tngxn)模塊：同主機(jī)。（3）電機(jī)驅(qū)動模塊：BTS79

12、70B直流電機(jī)驅(qū)動，這是一款H橋有刷直流電機(jī)驅(qū)動模塊，適用3-24V的大功率直流電機(jī)，DC 10-29V 輸入直流電壓。在25V電壓下，額定持續(xù)輸出10A電流，適用于鋰電池直接供電。供電為25V 10A 時(shí)測得芯片工作頻率高達(dá)1MHz，驅(qū)動能力有了明顯的提高，響應(yīng)速度快。兩路PWM輸入，占空比可以在0-100%，是一般驅(qū)動所達(dá)不到的。具有瞬間制動能力以及做到全程速度精確控制。適用于鋰電池直接供電驅(qū)動的機(jī)器人或車模比賽?？刂品绞胶唵?，僅需要接3根輸入線即可控制電機(jī)制動及正反轉(zhuǎn)，其中GND引腳與單片機(jī)的GND相連，P引腳接單片機(jī)的PWM輸出引腳，R引腳接單片機(jī)的PC0引腳，用于對電機(jī)轉(zhuǎn)動方向的控制

13、。連接圖如圖7所示。（4）語音模塊：最大輸出功率為25W，具有30M存儲容量，可以通過8個(gè)按鍵觸發(fā)8段語音，也可以通過RS485/232給模塊指令觸發(fā)220段語音。（5）電源部分：采用的是3S鋰電池，容量為1500mAh，額定電壓11.1V，35C超大放電能力。系統(tǒng)軟件設(shè)計(jì)軟件設(shè)計(jì)采用模塊化處理方法，主機(jī)程序主要由主程序、Kinect初始化、圖像辨識、語音識別、串口通信等模塊組成，采用C#編寫，編譯環(huán)境為VS2010，使用部分環(huán)境庫函數(shù)。從機(jī)程序主要有主程序、串口通信、電機(jī)驅(qū)動、舵機(jī)驅(qū)動、動作函數(shù)等模塊組成。采用C語言編寫，編譯環(huán)境為Avr studio4，使用部分環(huán)境庫函數(shù)。系統(tǒng)程序流程如圖

14、8所示。 （a）主機(jī)(zhj)程序流程圖 (b) 從機(jī)程序(chngx)流程圖 圖8 系統(tǒng)(xtng)程序流程圖 Kinect將采集到的圖像信息傳送給上位機(jī)，上位機(jī)經(jīng)過圖像處理后識別出人體動作，并將處理后的結(jié)果輸出，如圖9所示。機(jī)器人實(shí)時(shí)模仿人體動作測試情況如圖10所示。 圖9 kinect圖像采集與動作識別 圖10 機(jī)器人實(shí)時(shí)模仿人體動作結(jié)論 操作者可以站在離Kinect體感傳感器3m左右的距離對機(jī)器人進(jìn)行體感操控。目前該機(jī)器人能夠?qū)崟r(shí)模仿左、右手各六個(gè)簡單的動作：高舉、半舉、平舉、擁抱、架起、放下。以及實(shí)時(shí)模仿單腿抬起動作。你還可以通過雙手模擬方向盤實(shí)時(shí)控制機(jī)器車的前后左右運(yùn)動，亦可通過語

15、音forward 、back 、turn left 、turn right來控制機(jī)器人的前后左右運(yùn)動（若想觀看動作視頻請與作者聯(lián)系）。 機(jī)器人在人們生活中承擔(dān)著越來越重要的作用，該系統(tǒng)則提供了一種新的控制方式體感控制，使機(jī)器人的控制更加靈活多樣，實(shí)現(xiàn)了更加自然的人機(jī)交互，具有較高的理論研究價(jià)值和先進(jìn)性。同時(shí)，通過手勢實(shí)時(shí)控制機(jī)器人的方式，能應(yīng)用于排爆、救援、醫(yī)療等諸多行業(yè)，具有廣闊的市場前景。在此基礎(chǔ)上可以根據(jù)工業(yè)生產(chǎn)等需要，研發(fā)出更多種類的自動化機(jī)器人，為創(chuàng)建自動化機(jī)器人體系提供積極的支持和幫助。參考文獻(xiàn)1 吳國斌,李斌,閻驥洲. kinect人機(jī)交互開發(fā)(kif)實(shí)踐M. 北京: 人民郵電

16、出版社, 2013.2 余濤. kinect應(yīng)用(yngyng)開發(fā)實(shí)戰(zhàn)M. 北京(bi jn): 機(jī)械工業(yè)出版社, 2013.3 微軟主編. Kinect for windows SDK程序設(shè)計(jì)指南M. 2011.4 Charles Petzold(美)主編. Windows Presentation Foundation 程序設(shè)計(jì)指南M, 電子工業(yè)出版社, 20085 張毅,張爍,羅元等.基于Kinect深度圖像信息的手勢軌跡識別及應(yīng)用J.計(jì)算機(jī)應(yīng)用研究,2012,29(9): 3547-3550.6 Tilak Dutta. Evaluation of the Kinect sensor

17、 for 3-D kinematic measurement in the workplaceJ. Applied Ergonomics, 2012,43(4):645-649.7 王奎,安平,張兆楊等. Kinect深度圖像快速修復(fù)算法J. 上海大學(xué)學(xué)報(bào)（自然科學(xué)版）, 2012,18(5):454-458.8 Leyvand,Tommer,Meekhof, Casey,Wei, Yi-Chen et al. Kinect Identity: Technology and ExperienceJ. Computer, 2011,44(4):94-96.9 邵雋,馬娜. 淺談基于Kinect的

18、應(yīng)用程序開發(fā)J.計(jì)算機(jī)光盤軟件與應(yīng)用, 2012,(8): 179-179,173.10 王明東.基于Kinect骨骼跟蹤功能實(shí)現(xiàn)PC的手勢控制J.漳州職業(yè)技術(shù)學(xué)院學(xué)報(bào), 2012,14(2):11-16.11 黃季冬.動態(tài)手勢識別技術(shù)研究與實(shí)現(xiàn)D. 武漢: 華中科技大學(xué), 2012.12 黃露丹,嚴(yán)利民.基于Kinect深度數(shù)據(jù)的人物檢測J.計(jì)算機(jī)技術(shù)與發(fā)展, 2013,(4): 119-121.13 馬建榮,章蘇靜,李鳳等.基于體感技術(shù)的親子互動游戲設(shè)計(jì)與實(shí)現(xiàn)J.中國電化教育, 2012,(9):85-88.14 余濤,葉金永,邵菲杰等.Kinect核心技術(shù)之骨架追蹤技術(shù)J.數(shù)字技術(shù)與應(yīng)用,2012,(10):115.15 趙汝海,桂貴生,朱穎斌等.基于16位單片機(jī)機(jī)器人控制技術(shù)的研究J.組合機(jī)床與自動化加工技術(shù),2007,(10):62-63