Kinect體感交互技術(shù)

現(xiàn)代通信理論與先進(jìn)技術(shù)之Kinect體感交互技術(shù)摘要：本文通過(guò)查閱國(guó)內(nèi)外相關(guān)文獻(xiàn)，了解了人機(jī)交互技術(shù)尤其是可以實(shí)現(xiàn)高效人機(jī)交互的Kinect體感技術(shù)的發(fā)展方向，并以此為研究基礎(chǔ)，綜述了Kinect體感技術(shù)的理論基礎(chǔ)和國(guó)內(nèi)外應(yīng)用現(xiàn)狀，討論了其廣泛應(yīng)用需要解決的技術(shù)難題，展望了其在人機(jī)交互領(lǐng)域的應(yīng)用前景，得出了Kinect體感技術(shù)有利于推動(dòng)人機(jī)交互的智能化進(jìn)展，是人機(jī)交互改革的又一個(gè)新起點(diǎn)的結(jié)論。關(guān)鍵詞：Kinect體感技術(shù)；人機(jī)交互；虛擬現(xiàn)實(shí)；人工智能引言繼鼠標(biāo)和多點(diǎn)觸摸之后，體感交互被稱之為“第三次人機(jī)交互革命的原點(diǎn)”。人機(jī)體感交互的出現(xiàn)是人與機(jī)器對(duì)話方式回歸自然的重要轉(zhuǎn)折，體現(xiàn)了人們對(duì)“以人為中心”設(shè)計(jì)理念的不斷追求。人機(jī)交互[[]董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2004,1(1):1-13.][]董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2004,1(1):1-13.與傳統(tǒng)輸入設(shè)備不同的是，kinect設(shè)備可以實(shí)現(xiàn)直接用使用者的身體來(lái)控制終端，用這種最自然的方式與終端進(jìn)行交互的特點(diǎn)貼近了人機(jī)交互對(duì)自然性的要求，kinect體感技術(shù)對(duì)人機(jī)交互理念的實(shí)現(xiàn)起到了重要的促進(jìn)作用。因此研究kinect體感技術(shù)在人機(jī)交互領(lǐng)域中的應(yīng)用對(duì)其今后的發(fā)展具有很大的必要性。1Kinect設(shè)備的基本介紹Kinect[[]EnriqueRamosMeglar.Arduino[]EnriqueRamosMeglar.ArduinoandKinectProjects[M].American:Apress.2012,23-34.[]JimGiles.InsidetheracetohacktheKinect[J].TheNewScientist,2010,208(2789):22-23.[]李斌，吳國(guó)斌.Kinect領(lǐng)人機(jī)交互變革[J].程序員，2011，（9）：100—103.1.1RGB攝像頭用來(lái)獲取640X480的彩色圖像，每秒鐘最多獲取30幀圖像，根據(jù)在Kinect設(shè)備視野范圍內(nèi)移動(dòng)的一個(gè)或兩個(gè)人的圖像進(jìn)行骨骼追蹤，可以追蹤到人體上的20個(gè)節(jié)點(diǎn)。1.23D深度傳感器分別為紅外發(fā)射器和紅外線COMS攝像機(jī)，用來(lái)偵測(cè)3D影像。1.3數(shù)組式麥克風(fēng)與Microsoft.Speech的語(yǔ)音識(shí)別API集成，使用一個(gè)具有消除噪音和回波的四元麥克風(fēng)組，能夠把聲源附近有效范圍之內(nèi)的各種信息捕捉到。用于語(yǔ)音識(shí)別并具有降噪功能?；谝陨瞎δ?，Kinect設(shè)備不需要使用任何控制器，只需依靠實(shí)時(shí)捕捉使用者的3D動(dòng)作、面部別和語(yǔ)音識(shí)別即可達(dá)到輸入的功能[[]ChangYJ,ChenSF,HuangJD.A[]ChangYJ,ChenSF,HuangJD.AKinect-basedsystemforphysicalrehabilitation:Apilotstudyforyoungadultswithmotordisabilities[J].ResDevDisabil,2011,32(6):2566—2570.圖1Kinect整體結(jié)構(gòu)圖2基于Kinect的人機(jī)交互的工作原理2.1

Kinect傳感Kinect追蹤處理流程的核心是一個(gè)無(wú)論周圍環(huán)境的光照條件如何，都可以讓Kinect感知世界的CMOS紅外傳感器。該傳感器通過(guò)黑白光譜的方式來(lái)感知環(huán)境：純黑代表無(wú)窮遠(yuǎn)，純白代表無(wú)窮近。黑白間的灰色地帶對(duì)應(yīng)物體到傳感器的物理距離。它收集視野范圍內(nèi)的每一點(diǎn)，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成景深圖像流，實(shí)時(shí)3D地再現(xiàn)周圍環(huán)境。就像你玩pinpointimpression3D針模玩具一樣，將你的手（或者臉，如果你愿意的話）按壓在這種玩具上，就可以產(chǎn)生你身體某一部位的簡(jiǎn)單3D模型。如圖2所示。圖2

pinpointimpression3D針模玩具

2.2尋找移動(dòng)部位Kinect需要做的下一件事是尋找圖像中較可能是人體的移動(dòng)物體，就像人眼下意識(shí)地聚焦在移動(dòng)物體上那樣。接下來(lái)，Kinect會(huì)對(duì)景深圖像進(jìn)行像素級(jí)評(píng)估，來(lái)辨別人體的不同部位。同時(shí)，這一過(guò)程必須以優(yōu)化的預(yù)處理來(lái)縮短響應(yīng)時(shí)間。Kinect采用分割策略來(lái)將人體從背景環(huán)境中區(qū)分出來(lái)，即從噪音中提取出有用信號(hào)。Kinect可以主動(dòng)追蹤最多兩個(gè)玩家的全身骨架，或者被動(dòng)追蹤最多四名玩家的形體和位置。在這一階段，我們?yōu)槊總€(gè)被追蹤的玩家在景深圖像中創(chuàng)建了所謂的分割遮罩，這是一種將背景物體（比如椅子和寵物等）剔除后的景深圖像（如圖3）。在后面的處理流程中僅僅傳送分割遮罩的部分，以減輕體感計(jì)算量。

圖3Kinect追蹤的骨架圖2.3Exemplar（模型）系統(tǒng)：判斷關(guān)節(jié)點(diǎn)真正的“魔術(shù)”在這里發(fā)生。分割化人的圖像的每一個(gè)像素都被傳送進(jìn)一個(gè)辨別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中。隨后該系統(tǒng)將給出了某個(gè)特定像素屬于哪個(gè)身體部位的可能性。比如，一個(gè)像素有80%的幾率屬于腳，60%的幾率屬于腿，40%的幾率屬于胸部。這時(shí)候并不是就把幾率最大的可能性當(dāng)作結(jié)果，而是將所有的這些可能性輸入到Exemplar（模型）系統(tǒng)進(jìn)行處理中并且等到最后階段再做判斷。數(shù)以TB計(jì)的數(shù)據(jù)被輸入到集群系統(tǒng)中來(lái)教會(huì)Kinect以像素級(jí)技術(shù)來(lái)辨認(rèn)手、腳以及它看到的其他身體部位。下圖（如圖4）就是我們用來(lái)訓(xùn)練和測(cè)試Exemplar的數(shù)據(jù)之一。圖4

訓(xùn)練和測(cè)試Exemplar的效果圖

2.4模型匹配：生成骨架系統(tǒng)處理流程的最后一步是使用之前階段輸出的結(jié)果，根據(jù)追蹤到的20個(gè)關(guān)節(jié)點(diǎn)來(lái)生成一幅骨架系統(tǒng)。Kinect會(huì)評(píng)估Exemplar輸出的每一個(gè)可能的像素來(lái)確定關(guān)節(jié)點(diǎn)。通過(guò)這種方式Kinect能夠基于充分的信息最準(zhǔn)確地評(píng)估人體實(shí)際所處位置如圖5所示。另外我們?cè)谀Ｐ推ヅ潆A段還可以附加一些輸出濾鏡來(lái)平滑輸出以及處理閉塞關(guān)節(jié)等特殊事件。

圖5生成的骨架圖3Kinect體感技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀Kinect傳感器憑借其特性已經(jīng)應(yīng)用在醫(yī)學(xué)、商業(yè)、計(jì)算機(jī)科學(xué)及機(jī)器人等很多領(lǐng)域，下面就其在相關(guān)領(lǐng)域的應(yīng)用進(jìn)行綜述。3.1Kinect在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究Kinect體感技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究目前主要體現(xiàn)在臨床醫(yī)學(xué)、遠(yuǎn)程手術(shù)、醫(yī)學(xué)教育和醫(yī)學(xué)數(shù)據(jù)調(diào)查四個(gè)方面。3.1.1臨床醫(yī)學(xué)在臨床手術(shù)中，有必要保持接受手術(shù)的病人周圍的一切都是無(wú)菌的。然而，在手術(shù)中，外科醫(yī)生還需要從計(jì)算機(jī)上查看患者的臨床影像資料，計(jì)算機(jī)不是無(wú)菌的。傳統(tǒng)的醫(yī)生查看資料的方式既耗時(shí)又增加患者的感染幾率。而在手術(shù)過(guò)程中借助Kinect設(shè)備可以有效的緩解這一弊端。由瑞士伯尼爾大學(xué)Michael.Tully教授等研究人員利用Kinect設(shè)備幫助醫(yī)生解放了雙手，醫(yī)生無(wú)需像傳統(tǒng)方式那樣親自接觸患者的影像資料，只需要用手做出擺動(dòng)就可以控制專為醫(yī)療圖像瀏覽而設(shè)計(jì)的圖像處理應(yīng)用程序——OsiriXPACS[[]喻學(xué)鋒，楊宣東，李凱揚(yáng).一種基于B/S模式的PACS的研究與實(shí)現(xiàn)[J].生物醫(yī)學(xué)工程學(xué)雜志，2004,21(3)：391-393.](picturearchivingandcommunicationsystem：醫(yī)學(xué)影像存檔與通信系統(tǒng))。該項(xiàng)研究利用Kinect非觸摸的體感方式[[]何貝，王貴錦，林行剛.結(jié)合Kinect深度圖的快速視頻摳圖算法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012,52(4):561-570.]可以更符合手術(shù)過(guò)程中的無(wú)菌化操作的要求并能有效避免手術(shù)過(guò)程中的交叉感染。國(guó)內(nèi)西京醫(yī)院骨科手術(shù)中也已經(jīng)實(shí)現(xiàn)了使用Kinect設(shè)備體感控制患者的影像資料。Kinect設(shè)備同樣在多倫多新寧醫(yī)院(SunnybrookHospital)得到了應(yīng)用，它允許外科醫(yī)生在手術(shù)過(guò)程中以不用手的姿勢(shì)來(lái)操縱計(jì)算機(jī)屏幕上的核磁共振成像圖像[]喻學(xué)鋒，楊宣東，李凱揚(yáng).一種基于B/S模式的PACS的研究與實(shí)現(xiàn)[J].生物醫(yī)學(xué)工程學(xué)雜志，2004,21(3)：391-393.[]何貝，王貴錦，林行剛.結(jié)合Kinect深度圖的快速視頻摳圖算法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012,52(4):561-570.[]http://www.aboutkidshealth.ca/Zh/News/NewsAndFeatures/Pages/Kinect-in-cancer-surgery.aspx[DB/OL].3.1.2遠(yuǎn)程手術(shù)遠(yuǎn)程手術(shù)是將虛擬現(xiàn)實(shí)技術(shù)與網(wǎng)絡(luò)技術(shù)結(jié)合，可以使得醫(yī)生根據(jù)傳來(lái)的現(xiàn)場(chǎng)影像對(duì)遠(yuǎn)程的患者進(jìn)行手術(shù)操作，其一舉一動(dòng)可轉(zhuǎn)化為數(shù)字信息傳遞至遠(yuǎn)程患者處，控制當(dāng)?shù)氐尼t(yī)療器械的虛擬現(xiàn)實(shí)系統(tǒng)。運(yùn)程手術(shù)的技術(shù)目前尚未成熟，而Kinect體感技術(shù)的介入可以增加遠(yuǎn)程手術(shù)的可行性。西雅圖華盛頓大學(xué)Biorobotics實(shí)驗(yàn)室的Chizeck等讓Kinect傳感器在遠(yuǎn)程手術(shù)過(guò)程中為外科醫(yī)生提供觸覺(jué)反饋。他們將PhantomOmni[[]HUANGTieTie,et.al.Observations[]HUANGTieTie,et.al.Observationsfavorthecrossingofphantomdividelines[J].ScienceChina,2010,53(3):562-5醫(yī)學(xué)教育德國(guó)慕尼黑工業(yè)大學(xué)的一名學(xué)術(shù)研究員發(fā)明了一款命名為“Themagicmirror—魔鏡”的設(shè)備。它是專門為方便解剖課程的教學(xué)所設(shè)計(jì)的，系統(tǒng)能夠制造一種鏡像的幻覺(jué)，讓使用者像是在身上開(kāi)個(gè)“洞”，看到自己的內(nèi)臟。Kinect體感技術(shù)在現(xiàn)代醫(yī)學(xué)教育中的研究，是現(xiàn)代醫(yī)學(xué)教育方式的一個(gè)新的突破，若能得到實(shí)際應(yīng)用則會(huì)對(duì)實(shí)現(xiàn)現(xiàn)代醫(yī)學(xué)教育跨越式的發(fā)展具有十分重要的意義。3.1.4醫(yī)學(xué)數(shù)據(jù)調(diào)查明尼蘇達(dá)大學(xué)研究院的教授kolaosPapanikolopoulos及研究員們借助Kinect感應(yīng)器觀察并分析兒童的反常行為和動(dòng)作，然后根據(jù)得到的客觀數(shù)據(jù)衡量?jī)和氖д{(diào)癥狀如孤獨(dú)癥、強(qiáng)迫癥等，與以往的評(píng)估方式相比，這種基于Kinect體感技術(shù)觀察和分析的方式會(huì)使得評(píng)估過(guò)程更簡(jiǎn)單數(shù)據(jù)也更真實(shí)。3.2Kinect在商業(yè)領(lǐng)域的應(yīng)用研究Kinect憑借其出色的互動(dòng)能力已經(jīng)在商業(yè)方面得到了實(shí)際應(yīng)用，如俄羅斯一家名為ARDoor的科技公司于2011年5月運(yùn)用Kinect體感外設(shè)技術(shù)發(fā)明的一款“試衣魔鏡”，當(dāng)購(gòu)物者站在這虛擬試衣鏡前時(shí)，裝置將自動(dòng)顯示試穿新衣以后的三維圖像。俄羅斯的高街時(shí)裝品牌TopShop在自己的店中安裝了這款“試衣魔鏡”，俄羅斯的消費(fèi)者們成為率先體驗(yàn)這一高科技所帶來(lái)的便利的受惠者。除了實(shí)際應(yīng)用的成果以外，還有一些取得較好效果的研究成果，如黃康泉[[]黃康泉，陳碧金，鄭博，徐芝琦.Kinect在視頻會(huì)議系統(tǒng)中的應(yīng)用[J].廣西大學(xué)學(xué)報(bào)，2011,36(1)308-313.[]黃康泉，陳碧金，鄭博，徐芝琦.Kinect在視頻會(huì)議系統(tǒng)中的應(yīng)用[J].廣西大學(xué)學(xué)報(bào)，2011,36(1)308-313.3.3Kinect在科技助殘領(lǐng)域的應(yīng)用研究殘障人是一個(gè)特殊困難的弱勢(shì)群體，如何使弱勢(shì)人群無(wú)障礙地融入到社會(huì)生活當(dāng)中一直都是各國(guó)關(guān)注的熱點(diǎn)，Kinect體感技術(shù)的出現(xiàn)為推動(dòng)這一改善事業(yè)的進(jìn)展起到了積極的作用，并且由已經(jīng)取得的研究成果體現(xiàn)出Kinect體感技術(shù)在改善殘疾人生活狀況方面有著十分重要的現(xiàn)實(shí)意義。如德國(guó)康斯坦茨大學(xué)的Michael.Zollner[[]MichaeZR,StephanHR,Hans-ChristianJR,etal.NAVI—AProof-of-ConceptofaMobileNavigationalAidforVisuallyImpairedBasedontheMicrosoftKinect[J].Human-ComputerInteraction-INTERACT2011,2011,6949:584-587.]等開(kāi)發(fā)的視覺(jué)障礙導(dǎo)航輔助（NavigationalAidsfortheVisuallyImpaired，NAVI）系統(tǒng)就實(shí)現(xiàn)了幫助盲人導(dǎo)航的功能，他們將Kinect設(shè)備固定在一個(gè)頭盔上，將連接到Arduino[[]EmsyconG．WisyM.Smartmessagelanguageversion1．02.[EB/OL].［2008-01-19］.http:∥/docs/SML_080711_102_eng.pdf.]主板上的震動(dòng)馬達(dá)裝在腰帶上，再通過(guò)USB接口連接到背部的筆記本上，耳中戴有藍(lán)牙耳機(jī)。當(dāng)Kinect掃描到前方有障礙物時(shí)，通過(guò)軟件的解讀，腰帶中的馬達(dá)會(huì)震動(dòng)，并且會(huì)發(fā)出轉(zhuǎn)向提醒。與傳統(tǒng)的導(dǎo)盲犬和手杖相比，這套系統(tǒng)能夠在很遠(yuǎn)的距離提前提醒障礙物和方向，顯示出了較強(qiáng)的實(shí)用性和有效性。羅元[[[]MichaeZR,StephanHR,Hans-ChristianJR,etal.NAVI—AProof-of-ConceptofaMobileNavigationalAidforVisuallyImpairedBasedontheMicrosoftKinect[J].Human-ComputerInteraction-INTERACT2011,2011,6949:584-587.[]EmsyconG．WisyM.Smartmessagelanguageversion1．02.[EB/OL].［2008-01-19］.http:∥/docs/SML_080711_102_eng.pdf.[]羅元，張毅.基于Kinect傳感器的智能輪椅手勢(shì)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)器人，2012,34(1):110-114.[]MichaelN.FinkJ.KumarV.Cooperativemanipulationandtransportationwithaerialrobots[J].AutonomousRobots,2011,30(1):73-86[]JiangQM.KumarV.Theinversekinematicsof3-Dtowing[M]//AdvancesinRobotKinematics:MotioninManandMachine.Part5.Berlin.Germany:Springer-Verlag,2010:321-328.3.4Kinect在機(jī)器人領(lǐng)域的應(yīng)用研究麻省理工學(xué)院的一個(gè)名為Warwick移動(dòng)機(jī)器人的團(tuán)隊(duì)，將Kinect設(shè)備和救援機(jī)器人結(jié)合到一起，設(shè)計(jì)出一款新的機(jī)器人—Kinectbot。這個(gè)機(jī)器人利用Kinect傳感器可以探測(cè)出人的存在，并且人們可以通過(guò)肢體動(dòng)作和聲音來(lái)控制這個(gè)機(jī)器人[[]Jose-JuanHernandez-Lopez,etal.DetectingobjectsusingcoloranddepthsegmentationwithKinectsensor[J].ProcediaTechnology,2012:196-204.]。Kinectbot還能利用Kinect設(shè)備的畫面捕捉技術(shù)，將自己[]Jose-JuanHernandez-Lopez,etal.DetectingobjectsusingcoloranddepthsegmentationwithKinectsensor[J].ProcediaTechnology,2012:196-204.3.5Kinect在智能家居的應(yīng)用研究現(xiàn)在已經(jīng)有很多人開(kāi)始著手將Kinect應(yīng)用于智能家居方面，目前已經(jīng)有人設(shè)計(jì)了一種基于Kinect的智能家具系統(tǒng)。它采用B/S架構(gòu)