Kinect-for-Windows-20入門介紹解析課件

KinectforWindows2.0

入門介紹12/22/2022KinectforWindows2.0

入門介紹12/提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介初識Kinect2010年，Kinect是微軟推出的最新的基于體感交互的人機交互設備。Kinect最初作為Xbox360游戲機的外接設備發(fā)布，利用即時動態(tài)追蹤、影像識別、麥克風輸入、語音識別等功能讓玩家擺脫傳統(tǒng)游戲手柄的束縛，通過自己的肢體動作來控制游戲。2012年，微軟并沒有將這一先進的技術局限在游戲行業(yè)，而是緊接著將Kinect技術推廣到Windows平臺，開發(fā)了KinectforWindows，旨在鼓勵眾多開發(fā)者設計基于Kinect體感交互技術的應用，從而在各個行業(yè)領域里改變人們工作、生活和娛樂的方式。2014年，微軟發(fā)布第二代KinectforWindows，從硬件上對第一代做了很大改進。與此同時，KinectforWindowsSDK也在不斷升級中。 第一代SDK1.8第二代SDK2.0PublicPreview初識Kinect2010年，Kinect是微軟推出的最新的基Kinect的最大創(chuàng)新之處

——對人機交互方式的變革傳統(tǒng)的人機交互方式：圖形用戶界面（GUI）特點：GUI要求用戶必須先學習軟件開發(fā)者預先設置好的操作，在傳統(tǒng)的顯示設備上進行交互。Kinect的人機交互方式：自然用戶界面（NUI）特點：NUI只需要用戶以最自然的方式（如動作、手勢、語音等）與機器互動。直觀地說，就是使用NUI的計算機不需要鍵盤和鼠標。你就是控制器?。╕ouarethecontroller?。狵inect宣言Kinect的最大創(chuàng)新之處

——對人機交互方式的變革傳第二代Kinect系統(tǒng)架構KinectDriversKinectRuntime.NetAPI.NetAppsNativeAPINativeAppsWinRTAPIWindowsStoreAppsC#,VB,JS,C++/CXPhysicalKinectSensor硬件層驅動層接口層應用層第二代Kinect系統(tǒng)架構KinectDriversKi提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介Kinectv2硬件結構PowerLightRGBCameraIREmittersIREmittersDepthSensorDepthSensorMicrophoneArrayKinectv2硬件結構PowerLightRGBCaKinectv2的“三只眼睛”和“四只耳朵”三只眼睛：彩色攝像頭、深度（紅外）攝像頭、紅外線投影機彩色攝像頭：用于拍攝視角范圍內的彩色視頻圖像。紅外投影機：主動投射近紅外光譜，照射到粗糙物體、或是穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機的反射斑點（稱為散斑），進而能被紅外攝像頭讀取。深度（紅外）攝像頭：分析紅外光譜，創(chuàng)建可視范圍內的人體、物體的深度圖像。四只耳朵：四元線性麥克風陣列聲音從4個麥克風采集，內置數(shù)字信號處理器DSP等組件，同時過濾背景噪聲，可定位聲源方向。Kinectv2的“三只眼睛”和“四只耳朵”三只眼睛：彩提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介KinectDataSources——6種數(shù)據(jù)源AudioColorInfraredDepthBodyIndexBodyKinectDataSources——6種數(shù)據(jù)源Aud分辨率：1920x108030or15fps（幀/秒）彩色圖像有多種格式可以選擇，如：Rgba，Yuv，Yuy2等ColorFrameSourceInfraredFrameSource分辨率：512x42430fps（幀/秒）每個像素16-bit分辨率：1920x1080ColorFrameSour測量范圍：0.5-4.5米每一個像素為16-bit，該數(shù)據(jù)表示從深度（紅外）攝像頭到該物體的距離，單位毫米。DepthFrameSourceBodyIndexFrameSourceKinect用一個字節(jié)表示當前深度坐標下該像素的人體編號。目前最大支持6人。每像素數(shù)據(jù)值

0-5：表示被跟蹤的人體索引編號-1（0xFF）：未發(fā)現(xiàn)人體測量范圍：0.5-4.5米DepthFrameSourceB測量范圍：0.5-4.5米幀數(shù)據(jù)是一個人體25個關節(jié)點的集合，每個幀都包含關節(jié)的3D位置和方向最多支持6個人體30fps（幀/秒）可以識別其中兩個人體的手勢人體跟蹤的三種狀態(tài)：NottrackedInferredTrackedBodyFrameSource測量范圍：0.5-4.5米BodyFrameSourceFrameFrameRef獲取并處理數(shù)據(jù)源的接口步驟：一種數(shù)據(jù)源（source）可以有多個閱讀器（reader）FrameFrameRef獲取并處理數(shù)據(jù)源的接口步驟：一種代表一個物理上的傳感器硬件實體一個應用程序可以調用多個傳感器，默認為1個1.TheKinectSensorclassthis.sensor=KinectSensor.GetDefault();

this.sensor.Open();

//MaketheworldabetterplacewithKinect

this.sensor.Close();SensorSourceReaderFrameFrameRefC#代表一個物理上的傳感器硬件實體1.TheKinectSe顯示數(shù)據(jù)源的元數(shù)據(jù)并為閱讀器（readers）提供獲取途徑傳感器每個數(shù)據(jù)類型提供一種數(shù)據(jù)源2.SourcesSensorSourceReaderFrameFrameRef顯示數(shù)據(jù)源的元數(shù)據(jù)并為閱讀器（readers）提供獲取途徑2提供獲取幀的途徑事件機制（觸發(fā)模型）輪詢機制（“拉”模型）同一個數(shù)據(jù)源可以創(chuàng)建多個閱讀器（readers）閱讀器（readers）可以被暫停3.ReadersSensorSourceReaderFrameFrameRefC#InfraredFrameReaderreader=sensor.InfraredFrameSource.OpenReader();reader.FrameArrived+=InfraredReaderFrameArrived;......提供獲取幀的途徑3.ReadersSensorSource發(fā)送幀事件參數(shù)

AcquireFrame()函數(shù)提供了獲得實際幀的方法

RelativeTime屬性提供了被引用幀的時間戳4.FramereferencesSensorSourceReaderFrameFrameRef發(fā)送幀事件參數(shù)4.FramereferencesSen提供獲取幀數(shù)據(jù)的途徑建立本地副本或直接訪問底層緩沖區(qū)包含了幀中的元數(shù)據(jù)如：彩色幀：幀格式、寬度、高度等更重要的是，它可以減少獲取幀的時間不會提供不需要處理的幀5.FramesSensorSourceReaderFrameFrameRef提供獲取幀數(shù)據(jù)的途徑5.FramesSensorSourc坐標系映射轉換AIPKinect中的三種坐標系：坐標映射API提供了三種坐標系的轉換方法坐標系映射轉換AIPKinect中的三種坐標系：坐標映射AP提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介Kinect高級功能手勢跟蹤與識別人臉識別語音識別3D建模：KinectFusion第三方框架：Unity3D、MATLAB、OpenCV附屬開發(fā)工具

Kinect高級功能手勢跟蹤與識別手勢跟蹤與識別Body：Handstates手勢跟蹤與識別Body：Handstates手勢跟蹤與識別Body：Handstates兩種基本屬性：HandLeftState,HandRightStateUnknownNottrackedOpenClosedLasso（半握拳）兩種置信度屬性：HandLeftConfidence,HandRightConfidenceHigh、Low手勢跟蹤與識別目前只支持兩個人DEMO手勢跟蹤與識別Body：Handstates兩種人臉識別探測校準定位表情通過body幀檢測人臉輸出面部外圍邊框標定面部5個關鍵點返回各關鍵點之間的位置關系確定表情人臉識別探測校準定位表情通過body幀檢測人臉標定面部5個關人臉識別

Body：Activities,Appearance,ExpressionsActivities面部活動EyeLeftClosedEyeRightClosedMouthOpenMouthMovedLookingAwayAppearance外貌WearingGlassesExpressions表情HappyNeutralDEMO人臉識別

Body：Activities,App語音識別基本功能：聲源定位 采用四元線性麥克風陣列，4個麥克風從4個角度采集聲源，經(jīng)過音頻處理后可以判斷出聲源的來源方向和大小。硬件設備靈敏度高，可以過濾背景噪聲，對人的聲音較敏感。語音識別基本功能：聲源定位語音識別基本功能：聲源定位 采用四元線性麥克風陣列，4個麥克風從4個角度采集聲源，經(jīng)過音頻處理后可以判斷出聲源的來源方向和大小。硬件設備靈敏度高，可以過濾背景噪聲，對人的聲音較敏感。擴展功能：語言識別

安裝相關插件和語言包：SpeechPlatformSDKv11、SpeechPlatformRuntimev11、K4WLanguageModels，可以根據(jù)已定義的語法識別出有限的詞組或短語，然后根據(jù)語音指令控制應用程序。目前不支持漢語。語音識別基本功能：聲源定位3D建模-KinectFusionKinect傳感器是一種RGB-D傳感器，即可以同時獲得環(huán)境顏色值（RGB）和深度值（depth）的傳感器。KinectFusion算法通過將Kinect采集到的深度數(shù)據(jù)進行匹配定位與融合來實現(xiàn)3D場景重構。KinectFusionV1算法流程：深度數(shù)據(jù)處理，是將傳感器原始的深度數(shù)據(jù)轉換成3D點云，得到點云中頂點的3維坐標和法向量；相機跟蹤，是將當前幀3D點云和由現(xiàn)有模型生成的預測的3D點云進行ICP(迭代最近點)匹配，計算得到當前幀相機的位姿；點云融合，是根據(jù)所計算出的當前相機位姿，使用TSDF點云融合算法將當前幀的3D點云融合到現(xiàn)有模型中；場景渲染，是使用光線跟蹤的方法，根據(jù)現(xiàn)有模型和當前相機位姿預測出當前相機觀察到的環(huán)境點云，一方面用于反饋給用戶，另一方面提供給相機跟蹤進行ICP匹配。3D建模-KinectFusionKinect傳感器是第三方框架：Unity3D、MATLABandOpenCVUnity3D是由UnityTechnologies開發(fā)的一個讓玩家輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容的多平臺的綜合型游戲開發(fā)工具，是一個全面整合的專業(yè)游戲引擎。微軟的Kinect提供對Unity3D的支持。已經(jīng)提供第三方工具包：Kinect.unityPackage微軟的KinectCommonBridge項目團隊致力于Kinect與第三方框架的結合。目前，KinectV2與MATLAB、OpenCV等框架的使用還在調試中待發(fā)布。第三方框架：Unity3D、MATLABandOpenC附屬開發(fā)工具

KinectStudiov2.0、VisualGestureBuilderv2.0KinectStudio可以像攝像機一樣，記錄原始的深度和彩色數(shù)據(jù)流，并在Kinect應用中重放。由此開發(fā)者可以使用預先記錄的數(shù)據(jù)流，避免了每次都親自站在Kinect前測試的麻煩。具體功能：從Kinectv2設備錄制樣本剪輯回放錄制的樣本剪輯直接從連接的KinectV2設備播放實時數(shù)據(jù)從錄制和播放的樣本剪輯中查看二維、三維坐標和數(shù)據(jù)……新推出的VisualGestureBuilder是專門用于姿勢（手勢）開發(fā)的工具套件。附屬開發(fā)工具

KinectStudiov2.0、VisKinectStudiov2.0KinectStudiov2.0提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介Kinect應用范圍計算機應用機器人視覺與控制3D建模物聯(lián)網(wǎng)智能化領域醫(yī)療領域教育領域電子商務領域Kinect應用范圍計算機應用提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介歡迎批評指正！歡迎批評指正！KinectforWindows2.0

入門介紹12/22/2022KinectforWindows2.0

入門介紹12/提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介初識Kinect2010年，Kinect是微軟推出的最新的基于體感交互的人機交互設備。Kinect最初作為Xbox360游戲機的外接設備發(fā)布，利用即時動態(tài)追蹤、影像識別、麥克風輸入、語音識別等功能讓玩家擺脫傳統(tǒng)游戲手柄的束縛，通過自己的肢體動作來控制游戲。2012年，微軟并沒有將這一先進的技術局限在游戲行業(yè)，而是緊接著將Kinect技術推廣到Windows平臺，開發(fā)了KinectforWindows，旨在鼓勵眾多開發(fā)者設計基于Kinect體感交互技術的應用，從而在各個行業(yè)領域里改變人們工作、生活和娛樂的方式。2014年，微軟發(fā)布第二代KinectforWindows，從硬件上對第一代做了很大改進。與此同時，KinectforWindowsSDK也在不斷升級中。 第一代SDK1.8第二代SDK2.0PublicPreview初識Kinect2010年，Kinect是微軟推出的最新的基Kinect的最大創(chuàng)新之處

——對人機交互方式的變革傳統(tǒng)的人機交互方式：圖形用戶界面（GUI）特點：GUI要求用戶必須先學習軟件開發(fā)者預先設置好的操作，在傳統(tǒng)的顯示設備上進行交互。Kinect的人機交互方式：自然用戶界面（NUI）特點：NUI只需要用戶以最自然的方式（如動作、手勢、語音等）與機器互動。直觀地說，就是使用NUI的計算機不需要鍵盤和鼠標。你就是控制器?。╕ouarethecontroller！）——Kinect宣言Kinect的最大創(chuàng)新之處

——對人機交互方式的變革傳第二代Kinect系統(tǒng)架構KinectDriversKinectRuntime.NetAPI.NetAppsNativeAPINativeAppsWinRTAPIWindowsStoreAppsC#,VB,JS,C++/CXPhysicalKinectSensor硬件層驅動層接口層應用層第二代Kinect系統(tǒng)架構KinectDriversKi提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介Kinectv2硬件結構PowerLightRGBCameraIREmittersIREmittersDepthSensorDepthSensorMicrophoneArrayKinectv2硬件結構PowerLightRGBCaKinectv2的“三只眼睛”和“四只耳朵”三只眼睛：彩色攝像頭、深度（紅外）攝像頭、紅外線投影機彩色攝像頭：用于拍攝視角范圍內的彩色視頻圖像。紅外投影機：主動投射近紅外光譜，照射到粗糙物體、或是穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機的反射斑點（稱為散斑），進而能被紅外攝像頭讀取。深度（紅外）攝像頭：分析紅外光譜，創(chuàng)建可視范圍內的人體、物體的深度圖像。四只耳朵：四元線性麥克風陣列聲音從4個麥克風采集，內置數(shù)字信號處理器DSP等組件，同時過濾背景噪聲，可定位聲源方向。Kinectv2的“三只眼睛”和“四只耳朵”三只眼睛：彩提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介KinectDataSources——6種數(shù)據(jù)源AudioColorInfraredDepthBodyIndexBodyKinectDataSources——6種數(shù)據(jù)源Aud分辨率：1920x108030or15fps（幀/秒）彩色圖像有多種格式可以選擇，如：Rgba，Yuv，Yuy2等ColorFrameSourceInfraredFrameSource分辨率：512x42430fps（幀/秒）每個像素16-bit分辨率：1920x1080ColorFrameSour測量范圍：0.5-4.5米每一個像素為16-bit，該數(shù)據(jù)表示從深度（紅外）攝像頭到該物體的距離，單位毫米。DepthFrameSourceBodyIndexFrameSourceKinect用一個字節(jié)表示當前深度坐標下該像素的人體編號。目前最大支持6人。每像素數(shù)據(jù)值

0-5：表示被跟蹤的人體索引編號-1（0xFF）：未發(fā)現(xiàn)人體測量范圍：0.5-4.5米DepthFrameSourceB測量范圍：0.5-4.5米幀數(shù)據(jù)是一個人體25個關節(jié)點的集合，每個幀都包含關節(jié)的3D位置和方向最多支持6個人體30fps（幀/秒）可以識別其中兩個人體的手勢人體跟蹤的三種狀態(tài)：NottrackedInferredTrackedBodyFrameSource測量范圍：0.5-4.5米BodyFrameSourceFrameFrameRef獲取并處理數(shù)據(jù)源的接口步驟：一種數(shù)據(jù)源（source）可以有多個閱讀器（reader）FrameFrameRef獲取并處理數(shù)據(jù)源的接口步驟：一種代表一個物理上的傳感器硬件實體一個應用程序可以調用多個傳感器，默認為1個1.TheKinectSensorclassthis.sensor=KinectSensor.GetDefault();

this.sensor.Open();

//MaketheworldabetterplacewithKinect

this.sensor.Close();SensorSourceReaderFrameFrameRefC#代表一個物理上的傳感器硬件實體1.TheKinectSe顯示數(shù)據(jù)源的元數(shù)據(jù)并為閱讀器（readers）提供獲取途徑傳感器每個數(shù)據(jù)類型提供一種數(shù)據(jù)源2.SourcesSensorSourceReaderFrameFrameRef顯示數(shù)據(jù)源的元數(shù)據(jù)并為閱讀器（readers）提供獲取途徑2提供獲取幀的途徑事件機制（觸發(fā)模型）輪詢機制（“拉”模型）同一個數(shù)據(jù)源可以創(chuàng)建多個閱讀器（readers）閱讀器（readers）可以被暫停3.ReadersSensorSourceReaderFrameFrameRefC#InfraredFrameReaderreader=sensor.InfraredFrameSource.OpenReader();reader.FrameArrived+=InfraredReaderFrameArrived;......提供獲取幀的途徑3.ReadersSensorSource發(fā)送幀事件參數(shù)

AcquireFrame()函數(shù)提供了獲得實際幀的方法

RelativeTime屬性提供了被引用幀的時間戳4.FramereferencesSensorSourceReaderFrameFrameRef發(fā)送幀事件參數(shù)4.FramereferencesSen提供獲取幀數(shù)據(jù)的途徑建立本地副本或直接訪問底層緩沖區(qū)包含了幀中的元數(shù)據(jù)如：彩色幀：幀格式、寬度、高度等更重要的是，它可以減少獲取幀的時間不會提供不需要處理的幀5.FramesSensorSourceReaderFrameFrameRef提供獲取幀數(shù)據(jù)的途徑5.FramesSensorSourc坐標系映射轉換AIPKinect中的三種坐標系：坐標映射API提供了三種坐標系的轉換方法坐標系映射轉換AIPKinect中的三種坐標系：坐標映射AP提綱Kinect體感傳感器簡介Kinect硬件結構Kinect基本接口與使用方法Kinect高級功能Kinect應用范圍Kinect初體驗——基于Kinect的室內監(jiān)控系統(tǒng)提綱Kinect體感傳感器簡介Kinect高級功能手勢跟蹤與識別人臉識別語音識別3D建模：KinectFusion第三方框架：Unity3D、MATLAB、OpenCV附屬開發(fā)工具

Kinect高級功能手勢跟蹤與識別手勢跟蹤與識別Body：Handstates手勢跟蹤與識別Body：Handstates手勢跟蹤與識別Body：Handstates兩種基本屬性：HandLeftState,HandRightStateUnknownNottrackedOpenClosedLasso（半握拳）兩種置信度屬性：HandLeftConfidence,HandRightConfidenceHigh、Low手勢跟蹤與識別目前只支持兩個人DEMO手勢跟蹤與識別Body：Handstates兩種人臉識別探測校準定位表情通過body幀檢測人臉輸出面部外圍邊框標定面部5個關鍵點返回各關鍵點之間的位置關系確定表情人臉識別探測校準定位表情通過body幀檢測人臉標定面部5個關人臉識別

Body：Activities,Appearance,ExpressionsActivities面部活動EyeLeftClosedEyeRightClosedMouthOpenMouthMovedLookingAwayAppearance外貌WearingGlassesExpressions表情HappyNeutralDEMO人臉識別

Body：Activities,App語音識別基本功能：聲源定位 采用四元線性麥克風陣列，4個麥克風從4個角度采集聲源，經(jīng)過音頻處理后可以判斷出聲源的來源方向和大小。硬件設備靈敏度高，可以過濾背景噪聲，對人的聲音較敏感。語音識別基本功能：聲源定位語音識別基本功能：聲源定位 采用四元線性麥克風陣列，4個麥克風從4個角度采集聲源，經(jīng)過音頻處理后可以判斷出聲源的來源方向和大小。硬件設備靈敏度高，可以過濾背景噪聲，對人的聲音較敏感。擴展功能：語言識別

安裝相關插件和語言包：SpeechPlatformSDKv11、SpeechPlatformRuntimev11、K4WLanguageModels，可以根據(jù)已定義的語法識別出有限的詞組或短語，然后根據(jù)語音指令控制應用程序。目前不支持漢語。語音識別基本功能：聲源定位3D建模-KinectFusionKinect傳感器是一種RGB-D傳感器，即可以同時獲得環(huán)境顏色值（RGB）和深度值（depth）的傳感器。KinectFusion算法通過將Kinect采集到的深度數(shù)據(jù)進行匹配定位與融合來實現(xiàn)3D場景重構。KinectFusionV1算法流程：深度數(shù)據(jù)處理，是將傳感器原始的深度數(shù)據(jù)轉換成3D點云，得到點