kinect傳感器及其相關(guān)應(yīng)用課件

kinect傳感器及其相關(guān)應(yīng)用Kinect結(jié)構(gòu)Kinect是微軟公司研制的一款體感外設(shè)，實(shí)際上是一種3D體感攝影機(jī)。該設(shè)備共有3個(gè)攝像頭，中間是RGB彩色攝像頭，左右兩邊分別為紅外投影機(jī)（紅外線發(fā)射器）和紅外攝像頭（CMOS紅外感應(yīng)設(shè)備）,用于深度探測。Kinect搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨著對焦物體移動(dòng)而轉(zhuǎn)動(dòng)。同時(shí)Kinect還內(nèi)置麥克風(fēng)陣列，用于語音識(shí)別Kinect深度圖像產(chǎn)生原理Kinect采用光編碼技術(shù)，可以直接獲取物體和攝像頭之間的距離。基本思想是通過連續(xù)光（近紅外線）對測量空間進(jìn)行編碼，再進(jìn)過CMOS感應(yīng)器得到編碼的光線，將數(shù)據(jù)傳遞給晶片（ps1080系統(tǒng)級(jí)芯片SoC）進(jìn)行運(yùn)算解碼，產(chǎn)生一張具有深度的圖像。核心一：結(jié)構(gòu)光技術(shù)，激光散斑。核心二：光源標(biāo)定，參考平面，相關(guān)運(yùn)算。Kinect三角投影法的基本原理Kinect用于檢測和識(shí)別手勢①膚色分割找到手的位置L*a*b顏色空間，b(23)1）RGB圖像→L*a*b顏色空間2）b=2,b=3時(shí)轉(zhuǎn)換圖像的兩個(gè)切片3）切片圖像轉(zhuǎn)換成二值圖像4）兩幅二值圖像進(jìn)行”和“操作A:手分割A(yù)1：RGB圖像A2：深度圖像A3：b=2A4：b=3A5：和操作后的膚色圖像A6：手分割二值圖像②通過K均值聚類分離手如果兩只手距離傳感器有相同距離，二值圖像僅會(huì)顯示一支手，K=2代表人只有兩只手③找到手掌中心

手掌比較寬大，可以近似為一個(gè)圓，兩種選擇：最小外接圓和最大內(nèi)切圓（最佳），最大內(nèi)切圓的中心近似為手掌中心。B:手指識(shí)別①找到凸包：用Graham掃描算法②檢測指尖和手指方向方向矢量和等腰三角形中頂角的二等分線平行設(shè)置最大閾值A(chǔ)Graham掃描算法尋找凸包首先找到點(diǎn)集P中y坐標(biāo)最小的點(diǎn)，如果y坐標(biāo)相等，找出x坐標(biāo)最小的點(diǎn)p0。以這個(gè)點(diǎn)p0為基準(zhǔn)，將其他點(diǎn)與之相連，夾角由小到大進(jìn)行排序，依次為p1,p2…p12。C:手勢呈現(xiàn)①手掌中心位置②手指數(shù)目③指尖位置④手指方向矢量手勢識(shí)別應(yīng)用

①剪刀-石頭-布游戲②手勢拖動(dòng)屏幕圖像：手掌中心決定拖動(dòng)位置③皮影戲優(yōu)點(diǎn)①基于廉價(jià)深度傳感器Kinect

②不需要任何輔助工具，數(shù)據(jù)庫和機(jī)器學(xué)習(xí)過程

③檢測出手掌和指尖位置及手指方向，獲得更復(fù)雜的手勢信息。

④實(shí)驗(yàn)證明能檢測大部分手勢，手水平放置或垂直放置

⑤當(dāng)手掌朝向傳感器打開時(shí)，檢測率達(dá)到95%。缺點(diǎn)：①手掌未朝向傳感器打開時(shí)，深度圖像中手掌的投影區(qū)特別小，不能檢測到手的位置。

計(jì)劃方案：使用多個(gè)傳感器，從多個(gè)方向來檢測手勢②不能很好地區(qū)分手部和肘部③手位于身體后方時(shí)，不能檢測手勢改進(jìn)：利用Kinect提供的骨骼圖像，基于深度圖像和骨骼圖像的一種手勢識(shí)別算法

基于深度圖像和骨骼圖像來實(shí)現(xiàn)動(dòng)態(tài)手勢識(shí)別兩步：a:對手的部位進(jìn)行追蹤，即在視頻流中每一幀中準(zhǔn)確找到手的位置;b:識(shí)別不同的手部動(dòng)態(tài)動(dòng)作。優(yōu)點(diǎn)：實(shí)時(shí)動(dòng)態(tài)手勢識(shí)別

對手的位置沒有限制

不受照明影響

手位于前方身體位于前方動(dòng)態(tài)手勢識(shí)別的應(yīng)用在遠(yuǎn)程操控中，通過手來控制汽車的前進(jìn)與后退；在講解PPT時(shí)，通過手來控制PPT翻頁；