答辯基于計(jì)算機(jī)視覺手勢識(shí)別技術(shù)

會(huì)計(jì)學(xué)1答辯基于計(jì)算機(jī)視覺手勢識(shí)別技術(shù)手勢識(shí)別技術(shù)的研究背景及意義手勢識(shí)別技術(shù)研究的意義

手勢識(shí)別的研究可以應(yīng)用于計(jì)算機(jī)輔助啞語教學(xué)、電視節(jié)目雙語播放、虛擬人的研究、電影制作中的特技處理、動(dòng)畫的制作、醫(yī)療研究、游戲娛樂等諸多方面，同時(shí)也有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們供更好的服務(wù)；另外，手勢的研究涉及到教學(xué)、計(jì)算機(jī)圖形學(xué)、機(jī)器人運(yùn)動(dòng)學(xué)、醫(yī)學(xué)等多學(xué)科。因此，手勢識(shí)別的研究是一個(gè)非常有意義的課題。

靜態(tài)手勢識(shí)別的基本流程第1頁/共22頁全文介紹本文主要研究內(nèi)容

手勢圖像預(yù)處理

手勢圖像分割

手勢特征提取

手勢圖像分類識(shí)別第2頁/共22頁手勢圖像預(yù)處理圖像的平滑空域平滑濾波：

均值濾波法：用所選窗口的所有像素點(diǎn)的平均值來代替窗口中心點(diǎn)的灰度值。

中值濾波法：把鄰域中的圖像的像素按灰度級(jí)排序后選擇該組的中間值作為像素值。

維納濾波法：維納濾波器是一種自適應(yīng)濾波器，主要根據(jù)區(qū)域內(nèi)的方差來調(diào)整濾波器輸出

圖像銳化圖像銳化就是補(bǔ)償圖像的輪廓，增強(qiáng)圖像的邊緣灰度有跳變的部分，使圖像的邊緣、輪廓線以及圖像的細(xì)節(jié)變的清晰。第3頁/共22頁手勢圖像預(yù)處理平滑濾波結(jié)果第4頁/共22頁手勢圖像預(yù)處理圖像銳化結(jié)果第5頁/共22頁手勢圖像分割色彩空間

RGB色彩空間YCrCb彩色空間

HSI色彩空間

圖像分割算法基于HSI色彩空間的分割算法

H,S,I三分量之間的相關(guān)性較小，可由色調(diào)H和飽和度S完成獨(dú)立于亮度的彩色區(qū)域分割。

RGB空間圖像轉(zhuǎn)換到HIS空間經(jīng)過多次試驗(yàn)確定色調(diào)和飽和度上下閾值根據(jù)閾值分類像素點(diǎn)第6頁/共22頁手勢圖像分割基于YCrCb色彩空間的分割

利用以下兩式進(jìn)行色彩空間的轉(zhuǎn)換，在轉(zhuǎn)換后的YCrCb色彩空間中進(jìn)行彩色閾值分割?；诟倪M(jìn)的RGB色彩空間的分割算法

利用傳統(tǒng)的方法在RGB空間進(jìn)行手勢分割，需分別設(shè)定R、G、B三個(gè)分量的閾值。由于亮度值為RGB三分量的平均(左式)，所以傳統(tǒng)方法受光照影響較大。第7頁/共22頁手勢圖像分割

經(jīng)大量研究發(fā)現(xiàn)，雖然RGB色彩模型易受光照影響，但是RGB三種色彩對應(yīng)三分量的色差值卻保持在一定的范圍之，即受光照影響不大。所以本文的改進(jìn)方法是基于三分量的色差的閾值分割。經(jīng)過大量的測算，得出如下式的閾值適合于本次實(shí)驗(yàn)手的膚色。

以上閾值可以得到較為理想的分割手勢下面對三種分割算法的分割效果進(jìn)行分析比較第8頁/共22頁手勢圖像分割分割出的手勢圖像分割前圖像HSI空間彩色分割結(jié)果HSI空間二值分割結(jié)果YCrCb空間二值分割結(jié)果改進(jìn)的RGB空間二值分割結(jié)果第9頁/共22頁手勢特征提取特征提取的目的降維，減小數(shù)據(jù)量

特征提取算法

基于小波變換的特征提取算法

首先要對手勢圖像進(jìn)行N級(jí)小波分解，得到3N+1幅子圖像，然后利用含有高頻成分的3N幅子圖像，求得一個(gè)長度為3N的向量。

基于Hu不變矩的圖像特征提取

Hu矩是一組經(jīng)典的幾何矩不變量，對圖像旋轉(zhuǎn)、比例和平移具有不變性。

第10頁/共22頁手勢特征提取Hu矩組是圖像中心矩前七個(gè)矩的函數(shù)，Hu將七個(gè)不變矩用作圖像特征向量，Hu矩組反映了圖像的本質(zhì)屬性。

基于Bamieh不變矩的特征提取算法為了減少計(jì)算量，Bamieh提出了Bamieh不變矩，其特征矢量的大小比其他不變矩的要小很多，用以下四個(gè)量值作為特征提取時(shí)的特征量。第11頁/共22頁手勢特征提取實(shí)驗(yàn)結(jié)果及分析

(a)

(b)

(c)

(d)

(e)

(f)(a)原始圖像128*128,(b)64*64圖像,(c)256*256圖像,(d)旋轉(zhuǎn)30°,(e)旋轉(zhuǎn)45°,(f)添加0.01的高斯噪聲第12頁/共22頁手勢特征提取小波變換特征提取結(jié)果原始圖像3.44143.13142.69202.74132.81023.30942.617364*643.45173.00742.79152.78322.81063.21872.6003256*2563.44873.07752.79432.72512.82233.29352.5607旋轉(zhuǎn)30°3.46023.16922.78792.71922.88893.37452.5102旋轉(zhuǎn)45°3.47623.09392.70432.68232.84613.49192.5132噪聲圖像3.40533.12602.70792.54232.81563.30352.40842.42582.59582.43193.50573.48593.12982.61432.82432.52312.59912.45903.47023.43333.05302.61102.91942.50172.53992.48013.47283.49543.09142.79932.82682.61622.53622.38743.66843.56393.16852.72632.81262.67712.54232.50393.62303.51943.15772.57032.74072.52232.33182.33103.51903.48893.13032.61262.8323第13頁/共22頁手勢特征提取Hu不變矩特征提取結(jié)果原始圖像1.47845.81677.24939.094519.69812.07917.02264*641.49415.63677.57638.300020.67711.43116.539256*2561.48165.79597.32158.995919.79111.70217.020旋轉(zhuǎn)30°1.48255.74917.18398.308720.14210.80517.262旋轉(zhuǎn)45°1.47235.94397.18508.306720.16210.80217.246噪聲圖像1.10314.97566.00757.567718.0369.600815.969第14頁/共22頁手勢特征提取Bamieh不變矩的特征提取結(jié)果原始圖像4.438318.5404.57425.137764*644.402118.6254.54815.0463256*2564.410118.9234.51514.9781旋轉(zhuǎn)30°4.407717.3784.64745.5888旋轉(zhuǎn)45°4.407418.0775.65265.5505噪聲圖像4.303418.5484.43685.5610第15頁/共22頁手勢特征提取三種手勢特征提取方法的比較

Hu不變矩的特征提取結(jié)果顯示：不變矩滿足大小和旋轉(zhuǎn)不變性，但Hu不變矩提取的特征向量在有噪聲存在時(shí)會(huì)發(fā)生較大變化；

小波變換特征提取結(jié)果對噪聲不太敏感，但是各個(gè)特征量之間差別較小，分類效果低。

Bamieh不變矩特征提取結(jié)果：滿足大小和旋轉(zhuǎn)不變性，對噪聲也不敏感。第16頁/共22頁手勢圖像分類識(shí)別人工神經(jīng)網(wǎng)絡(luò)BP學(xué)習(xí)算法工作信號(hào)正向傳播誤差信號(hào)反向傳播概率神經(jīng)網(wǎng)絡(luò)算法求和層輸入層模式層輸出層第17頁/共22頁手勢圖像分類識(shí)別手勢阿拉伯?dāng)?shù)字“1”期望值001001001001001BP算法結(jié)果0.013480.003930.978060.048420.210980.943720.105980.026930.999790.404590.159200.973670.307480.705720.66647手勢阿拉伯?dāng)?shù)字“2”期望值010010010010010BP算法結(jié)果0.223400.998790.013710.009000.998050.904220.010240.940760.099870.181380.969260.082190.966070.986220.97746手勢阿拉伯?dāng)?shù)字“3”期望值011011011011011BP算法結(jié)果0.098850.888210.877310.134410.913690.999850.372450.981170.943740.016220.865980.988810.092770.743370.86095手勢阿拉伯?dāng)?shù)字“4”期望值100100100100100BP算法結(jié)果0.955910.147940.012890.945560.161940.0641520.958580.176820.101070.929880.252040.183110.881250.032620.09776手勢阿拉伯?dāng)?shù)字“5”期望值101101101101101BP算法結(jié)果0.848280.0332810.986320.985080.317570.898300.809850.349960.845320.554320.886620.999700.098850.859920.99497第18頁/共22頁手勢圖像分類識(shí)別Bamieh不變矩提取特征送入PNN網(wǎng)絡(luò)的分類結(jié)果

手勢阿拉伯?dāng)?shù)字“1”期望值11111Pnn識(shí)別結(jié)果11111手勢阿拉伯?dāng)?shù)字“2”期望值22222Pnn識(shí)別結(jié)果22314手勢阿拉伯?dāng)?shù)字“3”期望值33333Pnn識(shí)別結(jié)