【基于Kinect的人機協(xié)作危險作業(yè)控制系統(tǒng)設計與功能實現(xiàn)5100字（論文）】

基于Kinect的人機協(xié)作危險作業(yè)控制系統(tǒng)設計與功能實現(xiàn)TOC\o"1-2"\h\u203461引言 0148902Kinect體感技術 0107402.1Kinect的硬件結(jié)構 1103642.2Kinect的工作原理 1273613系統(tǒng)開發(fā)環(huán)境與設計方案 2129683.1硬件環(huán)境 250203.2軟件開發(fā)環(huán)境 2226143.3系統(tǒng)設計方案 2251154系統(tǒng)功能實現(xiàn) 3207054.1虛擬體感鼠標 3257334.2人體動作識別 6摘要：隨著信息技術的蓬勃發(fā)展，計算機作為人們?nèi)粘９ぷ?、生活、學習、教育和娛樂等方面重要的工具，扮演著不可或缺的角色。同時人與計算機的交互方式也在逐漸變化，由傳統(tǒng)的鼠標、鍵盤和手柄等外設設備到基于觸控面板的觸控操作，但是人機協(xié)作方式依然屬于接觸式，不能脫離雙手操控具有約束性、復雜性和局限性等。伴隨著各種超大顯示屏、AR和虛擬現(xiàn)實等新技術的出現(xiàn)，基于計算機視覺的人機協(xié)作方式得到廣泛的重視和研究，通過攝像頭捕獲人體活動中的肢體信息和手勢信息等，然后通過計算機進行分析處理，識別各種姿勢和手勢的含義，實現(xiàn)人與計算機更加自然、直觀和簡潔的交互。通過微軟的Kinect體感設備，能高效且低成本的實時獲取人體的彩色圖像、深度圖像和骨骼數(shù)據(jù)等運動信息，使得人機協(xié)作方式實現(xiàn)更加簡單和多樣化。本文本文主要研究了基于Kinect的人機協(xié)作技術及其在危險作業(yè)控制系統(tǒng)中的應用。通過Kinect傳感器實時獲取人體各種運動信息，進行手勢識別和人體動作識別的研究，并根據(jù)研究結(jié)果實現(xiàn)一套人機協(xié)作系統(tǒng)。關鍵詞：Kinect；人機協(xié)作；動作識別；手勢識別1引言煤與天然氣，石油是我國最主要的大三能源。其中，作為最傳統(tǒng)的能源之一的煤炭資源，是目前我國最重要的能源之一，它的發(fā)展前景將直接影響到國家能源安全及社會主義現(xiàn)代化的實現(xiàn)。隨著我國燃煤，用電的需求越來越大，對煤礦資源的開采量也越來越大，與此同時，礦井事故的發(fā)生也越來越頻繁，危害最大的便是火災災害。經(jīng)研究，造成煤礦火災中工作人員的喪生的原因，除了礦山安全設備缺乏，還有一個重要的原因就是對工作人員的培訓不夠。由于礦井環(huán)境比較特殊，沒有辦法在礦上進行真實的逃生演練，而傳統(tǒng)的逃生培訓只是通過一些圖片及文字，根本無法達到培訓的效果。當真實的礦井火災來臨時，由于工作人員從未有過這種經(jīng)驗，內(nèi)心的恐懼以及無所適從會加大他催難的幾率。因此，模擬基于Kinect的人機協(xié)作危險作業(yè)控制系統(tǒng)便具有重大的意義。2Kinect體感技術2010年6月微軟的新一代體感設備Kinect上市，配合Xbox360主機顛覆了傳統(tǒng)的游戲操作的單一性和拘束性，給游戲玩家?guī)砣碌挠螒蝮w驗。Kinect體感設備創(chuàng)造了兩個月內(nèi)銷售800萬多臺的吉尼斯世界紀錄。Kinect的發(fā)布不僅給游戲開發(fā)者帶來新的活力，也使研究人員能低成本獲取視頻中人體各關節(jié)點三維坐標信息和場景深度信息等。隨后2013年微軟又發(fā)布了新的Kinect，稱為Kinectv2}Kinectv2在骨骼點精度、性能和抗干擾性較上一代Kinect明顯提升1301。2015年1月微軟將縮小化的Kinect應用于自家Holol:xns全息影像頭盔，提供精準且豐富的手勢操作等。2018年5月在微軟全球開發(fā)者大會上，微軟發(fā)布了全新的Kinect，稱為ProjectKinectforAzure，該設備主要應用于AI和VR等領域。2.1Kinect的硬件結(jié)構Kinectv2較上一代在性能和抗干擾性具有明顯優(yōu)勢，本課題的研究和實現(xiàn)是基于新一代的Kinectv2傳感器進行信息部分的采集。Kinectv2設備的其中6個主要組件結(jié)構和參數(shù)如下所示。（1）RGB攝像頭組件:該攝像頭可以實時傳輸可視范圍內(nèi)的彩色視頻圖像，其提供最大分辨率為1920*1080,30印s的彩色視頻流。（2）麥克風陣列組件:由4個成L形布局的麥克風組成，具有聲音過濾、噪聲消除和聲音采集等功能，提供I6kHz,16bit單聲道音頻，用于語言識別和聲源定位等。（3）紅外投影機組件:負責發(fā)射一束紅外光激光，然后光線在遇到障礙物時會發(fā)生反射，反射時產(chǎn)生光斑會被紅外攝像頭捕獲。（4）紅外攝像頭組件:負責接收反射產(chǎn)生的光斑，然后提供給后續(xù)的Soc芯片處理產(chǎn)生深度圖像。（5）USB3.0集線器組件:可以通過提供最高傳輸速率為S.OGbps保證各種視頻和音頻信息的傳輸，電源部分可以提供5}12W的輸出功率。（6）PS1080Soc芯片組件:該芯片組件堪稱Kinect設備的“心臟”，具有強大并行邏輯計算能力，將接收的紅外光譜進行分析產(chǎn)生視野范圍內(nèi)的人或物體的深度圖像，可以提供分辨率為512*424、30fps的深度視頻流。2.2Kinect的工作原理Kinect最重要的功能是提供場景中三維深度信息，通過紅外發(fā)射器和紅外接收器進行場景中信息采集，然后傳輸給內(nèi)部芯片進行處理后，輸出深度圖像數(shù)據(jù)。目前業(yè)內(nèi)主流探測場景中物體的深度信息主要有:荃于RGB攝像頭的雙目立體視覺，基于超聲波的雷達探測和基于3D結(jié)構光技術的深度探測等131微軟的Kinect的深度圖像形成就是采用類似于結(jié)構光的LightCoding技術方案，紅外發(fā)射器向背景空間投射一束紅外光，當紅外光遇到物體時因其表面的粗糙程度不同，會反射形成不同的光斑，相當于對空間中物體進行“光編碼13?1。如下圖2.2所示，Kinect在手部位形成的光斑，同時空間中的紅外線圖像會被紅外接收器采集到，傳輸給Kinect內(nèi)部的Soc芯片分析處理，從而得到Kinect視野范I}}內(nèi)的二維深度信息。深度圖像是普通的RGB彩色圖像的基礎上加上深度信息形成的灰度圖像，Kinect將RGB攝像頭采集信息和獲取的場景深度信息進行合并轉(zhuǎn)換。像素的灰度值大小反映了物體與Kinect攝像頭正面的水平距離關系，與Kinect越近灰度值越小，越遠則越大。深度圖像在提供更多場景空間的深度信息，同時減小光照變化等因素的干擾，使得在光線較暗時，仍然獲取場景中足夠的空間信息。Kinect基于深度圖像處理后提供骨骼跟蹤技術，對視野范圍中人體進行關節(jié)點的定位和追蹤，最新的Kinectv2可以同時顯示6個人物，且主動追蹤2個人物的全身25個骨骼點。Kinect深度圖像的產(chǎn)生涉及了計算機圖形視覺方面的眾多技術，包括多目標檢測、邊緣檢測、噪聲處理、輪廓提取和人體目標特征分類等，將人體從背景環(huán)境中剝離。由于人體各個部位在視頻中會出現(xiàn)相互重疊和遮擋等情況，分別從正面、反面、俯視等多角度去分析處理，結(jié)合大數(shù)據(jù)和機器學習訓練后的模型，最終確定圖像中局部像素為具體的骨骼點。Kinect的骨骼追蹤技術可以實現(xiàn)針對不同身高和體型的對象，從小孩到成人都可以準確實現(xiàn)骨骼識別和追蹤，同時對不同姿態(tài)時的骨骼點也能準確識別，比如下蹲、轉(zhuǎn)身和坐在椅子上等情況。Kinect體感設備是主要的硬件部分，相應的后臺軟件也異常強大，目前Kinect主要的SDK（SoftwareDevelopmentKit）有兩種分別是OpenNI和KinectforWindowsSDKoOpenNI是一種通用的自然語言交互框架，該框架支持多種語言、支持多平臺，由于是第三方提供相應提供的API接口和功能較少。KinectforWindowsSDK是微軟官方提供的，支持多種語言，提供的API接口豐富且強大，對開發(fā)者使用難度較低，但只支持Windows平臺。3系統(tǒng)開發(fā)環(huán)境與設計方案該系統(tǒng)平臺包括硬件設備和軟件兩個部分，硬件部分進行手勢和肢體動作視頻采集以及視頻圖像顯示，軟件部分進行運動視頻信息的處理和分析。3.1硬件環(huán)境(1)PC機兩臺，參數(shù)如下:操作系統(tǒng):Windows1064位專業(yè)版內(nèi)存:32GBCPU處理器:i7-8700k主頻4.OGHz顯卡:GTX1080Ti顯存頻率11008MHz顯存容量1IGB(2)Hitachi舊立投影儀五臺(3)深度傳感器Kinectv2一臺3.2軟件開發(fā)環(huán)境(1)開發(fā)工具:VisualStudio2017,C#VisualStudio2017是微軟在2017發(fā)布的開發(fā)工具，主要基于微軟自家的Windows桌面操作系統(tǒng)平臺打造的開發(fā)工具。(2)驅(qū)動工具:KinectforWindowsSDKv2.0KinectforWindowsSDK是微軟基于最新的體感傳感器KinectV2發(fā)布的SDK，適用于Windows平臺，通過KinectV2采集圖像和聲音等信息后，通過該SDK處理后，提供一系列的API讓開發(fā)者獲取各種彩色、深度、骨骼和語音等信息。(3)計算機視覺庫:OpenCV3.0OpenCV是英特爾在1999年建立的開源計算機視覺庫，該視覺庫集成眾多圖像處理、機器學習和計算機視覺等領域的各種算法和源代碼，用戶通過API直接調(diào)用相關函數(shù)實現(xiàn)，無需重復實現(xiàn)，對各種平臺如Windows,Linux,MacOS操作系統(tǒng)提供良好的支持，同時提供C++,C#,Python和MATLAB等語言支持。3.3系統(tǒng)設計方案3.3.1系統(tǒng)框架本文設計的人機協(xié)作危險作業(yè)控制系統(tǒng)，主要分為四大模塊:信息采集模塊，識別模塊，交互模塊和顯示模塊。系統(tǒng)的架構圖如下圖5.1所示:采集模塊:該模塊主要通過Kinectv2傳感器進行場景中人物的視頻圖像信息采集，通過KinectSDK進行各種信息預處理后提供后臺處理，通過API提供給識別模塊使用。識別模塊:該模塊是系統(tǒng)的核心模塊，主要包括手勢識別和動作識別，根據(jù)人物在不同的場景選擇手勢識別或動作識別，讓體驗者使用身體語言進行人機協(xié)作。交互模塊:識別模塊將身體動作識別后，會將對應的指令輸入給控制端，如手掌從左向右滑動對應下一頁、右手大拇指與食指成V字型對應鼠標單擊事件等;系統(tǒng)界面會提供手勢識別和動作識別中若干具體參數(shù)的設置，如Kinect的可視范圍、手勢識別的靈敏度和動作模板庫選擇等。顯示模塊:根據(jù)五臺投影儀及各種燈光搭建的全景全環(huán)繞虛擬環(huán)境，進行如網(wǎng)頁瀏覽、視頻播放和PPT展示等。圖5.1人機協(xié)作系統(tǒng)結(jié)構圖3.3.2系統(tǒng)流程整個人機協(xié)作系統(tǒng)從流程上劃分主要分為三個部分，分別為Kinect硬件層、手勢和動作識別層和應用層，如圖5.2所示人機協(xié)作系統(tǒng)流程圖，具體介紹如下。第一部分Kinect硬件層，主要通過Kinectv2硬件設備進行場景中的彩色圖像、深度圖像和骨骼信息的實時采集，并將采集后的信息實時通過USB3.0接口高速傳輸?shù)終inectSDK進行計算處理，并將計算結(jié)果以API形式提供給后續(xù)流程調(diào)用。第二部分手勢和動作識別層，手勢識別是基于Kinect獲取的彩色圖像、深度圖像和骨骼數(shù)據(jù)進行目標人體的手勢定位、分割、提取、平滑和輪廓采樣等處理后，提取手勢特征基于指尖檢測方法實現(xiàn)靜態(tài)手勢識別。人體動作識別主要是基于KinectforSDK提供的骨骼追蹤和骨骼坐標信息，實時追蹤距離Kinect垂直方向最近的人體，通過關鍵幀和人體結(jié)構向量進行人體運動特征提取，基于改進后的DTW算法和提前錄制好的標準動作模板庫進行人體動作的識別。第三部分應用層，通過Kinect的骨骼追蹤技術實現(xiàn)右手與鼠標映射的虛擬鼠標，基于上一層的識別技術進行指令輸入。在靜態(tài)手勢識別基礎上，實現(xiàn)手勢與鼠標事件(如單擊、雙擊和滾動等)一一映射;在人體動作識別上，實現(xiàn)日常12余種肢體動作識別與場景游戲互動。在不借助鼠標和鍵盤等外設輔助情況下，實現(xiàn)用戶與計算機自由流暢的交互體驗。4系統(tǒng)功能實現(xiàn)4.1虛擬體感鼠標選擇右手作為追蹤目標，根據(jù)實時獲取的右手骨骼坐標值進行骨骼坐標系與鼠標坐標系轉(zhuǎn)換。右手在移動操作時會產(chǎn)生抖動現(xiàn)象，若直接進行坐標系轉(zhuǎn)換，鼠標在顯示屏上會不停抖動。本文采用放大骨骼坐標系的方法來消除抖動，右手關節(jié)點B(x,y,z)的坐標系轉(zhuǎn)換鼠標坐標的公式如4-1所示。在圖4.1中圖點，分別表示同一個點在不同坐標的表示，width和heigth分別表示顯示屏幕的長和寬。鼠標坐標系中限制坐標系為0-65535之間。（4-1）計算機顯示器坐標系與鼠標坐標系按公式4-2進行轉(zhuǎn)換。（4-2）圖4.1同一點在三種坐標系轉(zhuǎn)換在實際場景應用中發(fā)現(xiàn)，由于超大顯示屏的原因，在虛擬鼠標進行快速移動和精準移動兩種不能兼具。本系統(tǒng)在鼠標移動上設計兩種移動模式，普通模式下是快速移動，當右手抬起與肩旁平行時為精準移動。在右手移動后暫停超過2秒后，系統(tǒng)會進入手勢識別狀態(tài)，根據(jù)手勢識別的結(jié)果與鼠標事件進行映射，如表4.1所示手勢與鼠標事件映射表。表4.1手勢與鼠標事件映射表基于KinectSDK提供的骨骼追蹤技術和本文的靜態(tài)手勢識別算法實現(xiàn)虛擬體感鼠標，通過雙手的移動和手勢代替?zhèn)鹘y(tǒng)的鼠標操作，其虛擬鼠標子系統(tǒng)工作的流程圖如圖4.2所示。圖4.2虛擬眼標操作流程圖4.2人體動作識別人體動作識別的系統(tǒng)主要包括兩個功能分別是，動作模板錄制和動作識別，其人體動作識別子系統(tǒng)的操作流程圖如圖4.3所示。圖4.3人體動作識別的系統(tǒng)界面(1)點擊系統(tǒng)界面的“Capture”按鈕，系統(tǒng)通過Kinectv2進行三秒內(nèi)的動作采集通過系統(tǒng)處理好保存為TXT文本的形式，一個動作處理后存儲為15KB左右，進行人工動作名稱標識后，點擊“Store”按鈕添加到動作模板庫中。(2)點擊系統(tǒng)界面的“Read”按鈕，將動作模板加載到系統(tǒng)內(nèi)存中，因為本系統(tǒng)動作模板以數(shù)據(jù)形式保存通常在1OOMB之內(nèi)，放在內(nèi)存中加速識別速度。(3)點擊系統(tǒng)界面的“start”按鈕，通過Kinectv2進行視野范圍內(nèi)的人體追蹤，Kinectv2可以同時顯示6個人的人體骨骼，并且最多對2個人進行骨骼追蹤，為了便于識別效果，系統(tǒng)進行只對距離Kinect水平距離最近的人進行動作識別，如圖5.10所示。為了便于進行動作的區(qū)分，系統(tǒng)進行3秒內(nèi)的輪詢?nèi)梭w動作信息采集，依次將識別結(jié)果放入一個隊列中，遠程的場景顯示系統(tǒng)通過socket方式進行輪詢