基于攝像頭的手勢(shì)識(shí)別技術(shù)初步版本

1、基于攝像頭的手勢(shì)識(shí)別技術(shù)1、手勢(shì)識(shí)別的概念手勢(shì)是姿勢(shì)的一個(gè)子集，姿勢(shì)這個(gè)概念沒(méi)有精確的定義。 一般認(rèn)為，手勢(shì)概 念經(jīng)過(guò)人的于轉(zhuǎn)化為的于勢(shì)動(dòng)作，觀察者看到的是于勢(shì)動(dòng)作的圖像雎 1。手勢(shì)的 產(chǎn)生過(guò)程如圖1-1所示。手勢(shì)概念e 手勢(shì)動(dòng)作h 圖像v圖1-1手勢(shì)識(shí)別的過(guò)程則找一個(gè)從圖像 V到概念動(dòng)作G的變換而，如圖下所示。圖像到概念的變換心圖像VI手勢(shì)概念G1 ；2、手勢(shì)識(shí)別流程手勢(shì)識(shí)別流程包手勢(shì)圖像獲取、手勢(shì)分割、手勢(shì)特征提取、手勢(shì)識(shí)別四大部 分，如圖2-1所示。圖2-13 .手勢(shì)建模在手勢(shì)識(shí)別框架中，手勢(shì)模型是一個(gè)最基本的部分。根據(jù)不同的應(yīng)用背景， 于勢(shì)識(shí)別采用的模型會(huì)有不同，而對(duì)于不同的手勢(shì)模型，

2、采用的手勢(shì)檢測(cè)與跟蹤 算法、特征提取、識(shí)別技術(shù)也會(huì)有差別。手勢(shì)建模主要分為基于表觀的手勢(shì)模型 與基于三維的于勢(shì)模型?；诒碛^的手勢(shì)建模是一種二維建模，從二維平面觀察得到的平面圖像信息 描述于的特征?；诒碛^的手勢(shì)模型主要包括基于顏色的模型與基于輪廓的模型兩種?；陬伾氖謩?shì)模型是把手勢(shì)圖像看作像素顏色的集合，通過(guò)提取手部的顏 色的特征來(lái)描述手勢(shì)。基于顏色的手勢(shì)模型的常用特征是顏色直方圖。 基于輪廓的手勢(shì)模型是把手 看作一個(gè)輪廓，通過(guò)提取手部圖像中手的輪廓的幾何特征來(lái)描述手勢(shì)。4 .手勢(shì)檢測(cè)與跟蹤手勢(shì)檢測(cè)與跟蹤是手勢(shì)識(shí)別處理流程中最前端的處理部分，它處理從攝像頭獲取到手勢(shì)圖像（序列），從中檢測(cè)和

3、分割手勢(shì)對(duì)象。如果是動(dòng)態(tài)手勢(shì)識(shí)別，還要 對(duì)手進(jìn)行跟蹤?；谶\(yùn)動(dòng)信息的方法：基于運(yùn)動(dòng)信息的方法是假設(shè)在視頻中只有手是運(yùn)動(dòng)物體。其中一種方法是背景減法。它要求背景靜止不變，把視頻中的每幀與背景相減，背景相同的部分變?yōu)?零，不同的部分就認(rèn)為是運(yùn)動(dòng)的物體，即手。另一種方法是幀間差分法幀間差分，也稱(chēng)時(shí)域差分，是計(jì)算機(jī)視覺(jué)中最為簡(jiǎn)單快速的前景目標(biāo)（特是運(yùn)動(dòng)前景目標(biāo)）檢測(cè)方法。它是基于背景象素點(diǎn)的灰度值和位置都不變的這一則來(lái)檢測(cè)前景目標(biāo)的。 對(duì)同一手勢(shì)序列中相鄰兩幀圖像進(jìn)行差分運(yùn)算， 這樣能有的保留發(fā)生變化的部分，濾除圖像中保持不變的大部分背景區(qū)域。幀間的方法有很多變種，但最簡(jiǎn)單的就是在連續(xù)的視頻圖像幀間取

4、絕對(duì)分。S=|R1-R2|+|G1-G2|+|B1-B2|其中， R1, G1, B1 和 R2, G2, B2 分別是當(dāng)前圖像和前一幀圖像中各像素點(diǎn)的 RGB 分量，通過(guò)計(jì)算S 值并與事先給定的某一閡值 k 進(jìn)行比較，當(dāng) Sk 時(shí)，認(rèn)為此像素點(diǎn)屬于變化的區(qū)域，當(dāng)Sk 時(shí)，則認(rèn)為該像素點(diǎn)屬于未變化的區(qū)域，從而將其濾除，這樣便得到了一個(gè)新的輸出圖像。5 . 手勢(shì)特征提取手勢(shì)特征的提取是與手勢(shì)模型密切相關(guān)的，不同的手勢(shì)模型會(huì)有不同手勢(shì)特征。5.1 靜態(tài)手勢(shì)特征常用的靜態(tài)手勢(shì)特征有輪廓、位置、面積、手指分布等。手的輪廓特征可以連續(xù)的點(diǎn)來(lái)表示。通過(guò)邊緣檢測(cè)算法，把圖像區(qū)域的邊緣檢測(cè)出來(lái)，經(jīng)過(guò)進(jìn)行平滑和

5、多邊形擬合算法處理，得到多邊形的頂點(diǎn)的序列。在提取于的輪廓比較困難的情況下，或者為了提高計(jì)算效率，也可以通過(guò)計(jì) 算輪廓的特征作為手勢(shì)特征。例如 A Wilkowski 通過(guò)以手部圖像的外包矩形的邊為坐標(biāo)軸進(jìn)行投影計(jì)算得到輪廓的直方圖作為手的輪廓的特征， 如圖 5-1 所示。圖5-1手的輪廓特征手的位置特征是指手掌的質(zhì)心位置，質(zhì)心位置可以按公式5-1、公式5-2、公式5-3、公式5-4計(jì)算。手的面積特征通過(guò)計(jì)算手的輪廓的多邊形面積即可。對(duì)于二維圖像，質(zhì)心是通過(guò)計(jì)算零階距和x、Y的一階距得到的。假設(shè)二值化之后的圖像為I(x, Y),質(zhì)心(Xc, Yc)的計(jì)算公式如下：M 00I x,y5-1x y

6、M10xl x, y5-2x yM 01yl x, y5-3x yxcM10ycM01M 005-4于指特征的提取是一個(gè)關(guān)鍵的技術(shù)。經(jīng)典的手指提取方法是利用手指距離手學(xué)中心最遠(yuǎn)這個(gè)規(guī)律，把于的輪廓點(diǎn)的坐標(biāo)轉(zhuǎn)換成為以手掌中心位置為原點(diǎn)的極 坐標(biāo)系，然后分析輪廓曲線(xiàn)中的局部最大值(如圖5-2所示)，最后通過(guò)映射規(guī)則 把點(diǎn)的位置映射為手指。由于我們通過(guò)手勢(shì)的動(dòng)作實(shí)現(xiàn)冰雕或雪雕的“捏，擠”等動(dòng)態(tài)的動(dòng)作，所以下 面我們著重講解動(dòng)態(tài)手勢(shì)。動(dòng)態(tài)手勢(shì)特征在動(dòng)態(tài)于勢(shì)中，由于于在空間和時(shí)間兩個(gè)維度是都會(huì)發(fā)生變化，所以動(dòng)態(tài)手勢(shì)特征包含于的位置變化和手的形狀變化。手的位置變化可以通過(guò)計(jì)算手勢(shì)的當(dāng)前位置與上一個(gè)位置之間

7、和位置偏移量 得到。假設(shè)手的運(yùn)動(dòng)前后位置為(xi,yi)和(xi i,yi 1),則可以計(jì)算出運(yùn)動(dòng)方向的角 度 最后把t進(jìn)行量化得到對(duì)應(yīng)的方向編碼。圖：5-1手勢(shì)運(yùn)動(dòng)方向編碼通過(guò)計(jì)算于勢(shì)運(yùn)動(dòng)軌跡相鄰點(diǎn)之間位移，得到運(yùn)動(dòng)的方向編碼，組成手勢(shì)運(yùn)動(dòng)向量特征?；谀０迤ヅ涞姆椒ɑ谀０迤ヅ涞姆椒ㄊ遣杉o態(tài)手勢(shì)作為樣本，提取特征作為模板特征庫(kù)。 在識(shí)別時(shí)把輸入的手勢(shì)特征與模板庫(kù)的模板進(jìn)行匹配。其中比較經(jīng)典的使用彈性圖匹配(Elastic Graph Matching)方法。在基于模板的識(shí)別方法中比較重要的是定義特征的距離函數(shù)。距離函數(shù)需要 根據(jù)特征的特點(diǎn)來(lái)選取的。張國(guó)良、吳江琴、高文等人采用改進(jìn)的 Ha

8、usdoff距 離來(lái)進(jìn)行手勢(shì)識(shí)別。Hausdorff距離是用來(lái)度量?jī)蓚€(gè)集合之間的相似度，它的數(shù) 學(xué)定義如下：A和B是兩個(gè)集合，元素個(gè)數(shù)分別是 n和m。/ 一 片,/GB = M也也H(A.切tnax(*4耿亂尻A)柯4 切=max min | ab |A(B1) = maxiriin| 6一。| MA PM其中|a b表示元素a和b的距離。6、動(dòng)態(tài)手勢(shì)識(shí)別動(dòng)態(tài)手勢(shì)是具有時(shí)間和空間變化，手勢(shì)特征量化編碼之后成為時(shí)間上的符 號(hào)序列。目前有許多方法可以對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行分類(lèi)。直方圖(Histogram)圖像處理領(lǐng)域最基本的直方圖技術(shù)在某些情況下用于動(dòng)態(tài)手勢(shì)識(shí)別是非常有效的。直方圖能反映手勢(shì)序列的整體特征。雖然它丟失了序列的時(shí)間特征，但是在一些手勢(shì)種類(lèi)少而且運(yùn)動(dòng)軌跡區(qū)別明顯的手勢(shì)識(shí)別應(yīng)用，不失為一種好選 擇，它的識(shí)別處理效率很高。動(dòng)態(tài)時(shí)間規(guī)整(DTlr , Dynamic Time Warping)經(jīng)典方法動(dòng)態(tài)時(shí)間規(guī)整(DTW, Dynamic