基于計(jì)算機(jī)視覺(jué)的機(jī)器人多點(diǎn)手預(yù)捕獲模式分類(lèi)方法

基于計(jì)算機(jī)視覺(jué)的機(jī)器人多點(diǎn)手預(yù)捕獲模式分類(lèi)方法

0預(yù)初清階段挖掘根據(jù)arbib等人提出的人類(lèi)物體取樣過(guò)程模型，機(jī)器人物體采集過(guò)程可分為三個(gè)階段：初始階段、預(yù)采階段和操作步驟。在逼近階段,機(jī)器人根據(jù)物體的外在特性,如空間姿態(tài),引導(dǎo)多指手逼近物體;在預(yù)抓取階段,運(yùn)用視覺(jué)系統(tǒng)獲得物體的形狀,大小等特性,來(lái)決定采取何種手勢(shì)抓取物體;在操作階段,也就是在手指接觸物體后,通過(guò)觸覺(jué)等其它感知信息形成閉環(huán)回路來(lái)調(diào)整抓取力的大小。本文主要研究抓取過(guò)程中的預(yù)抓取階段,在實(shí)現(xiàn)這階段的過(guò)程中,David等人采用基于專(zhuān)家系統(tǒng)的模糊規(guī)則方法;Medhat采用帶加強(qiáng)反饋的專(zhuān)家神經(jīng)網(wǎng)絡(luò)方法;參考文獻(xiàn)采用了基于支持向量機(jī)的方法;以上方法都屬于有監(jiān)督模式識(shí)別范疇,即需要知道學(xué)習(xí)樣本的先驗(yàn)知識(shí)。本文則采取了無(wú)監(jiān)督模式識(shí)別方法——聚類(lèi)分析方法實(shí)現(xiàn)對(duì)不規(guī)則形狀物體的預(yù)抓取模式分類(lèi)。1多次品的采集機(jī)器人多指手預(yù)抓取模式分類(lèi)的整個(gè)流程如圖1所示。Cutkosky提出的抓取分類(lèi)學(xué),如圖2所示。其決策過(guò)程為:首先通過(guò)其表面粗糙度來(lái)判斷是采用精密抓取還是強(qiáng)力抓取,粗糙度大的并且尺寸較小的物體可以采用精密抓取,而粗糙度小的,或者尺寸較大的物體則需采用強(qiáng)力抓取。然后通過(guò)判斷物體的圓度來(lái)決定是否采用球形抓取,確定采用球形抓取后,獲取物體的直徑,來(lái)決定需要幾個(gè)手指操作來(lái)抓取物體。對(duì)于不是球形的物體,還要通過(guò)物體的擺放姿態(tài)來(lái)決定多指手的抓取姿態(tài)。對(duì)于水平擺放的物體來(lái)說(shuō),其通過(guò)質(zhì)心的垂直軸長(zhǎng)的大小來(lái)決定抓取時(shí)需要的手指數(shù);同理,對(duì)于豎直擺放的物體,則多指手必須轉(zhuǎn)動(dòng)手腕進(jìn)行測(cè)面抓取,并判斷其通過(guò)質(zhì)心的水平軸長(zhǎng)來(lái)決定需要采用幾個(gè)手指抓取。當(dāng)物體大小超過(guò)某一尺度時(shí),則不能抓取。2圖像預(yù)處理的原理對(duì)經(jīng)數(shù)碼相機(jī)拍攝得到的數(shù)字圖像,進(jìn)行圖像預(yù)處理,閾值分割及形態(tài)學(xué)處理和形態(tài)學(xué)輪廓提取及細(xì)化3個(gè)步驟的處理,得到的圖像可以用于提取物體的各個(gè)特征。2.1基于ps/ln-lnsmin圖像的數(shù)字圖像特征,其符合以下的圖像數(shù)圖像預(yù)處理即是圖像增強(qiáng)的過(guò)程,包括二維中值濾波平滑和直方圖規(guī)定化增強(qiáng)2個(gè)空間域方法。為了配合人眼視覺(jué)系統(tǒng)的對(duì)數(shù)特性,使圖像直方圖滿足雙曲線形狀,則修正后要求的灰度分布函數(shù)為:Ps(s)=1/{s[ln(smax)-ln(smin)]}(1)式中smax,smin——灰度的最大值和最小值變換函數(shù)為:s=smin(smax/smin)∫r0Pr(w)dw(2)式中Pr(w)——式(1)中的分布函數(shù)2.2圖像的分割處理利用圖像的灰度統(tǒng)計(jì)信息提出一種快速有效的閾值分割方法,可以很好地將物體與背景有效分開(kāi)。算法過(guò)程:一幅灰度級(jí)為L(zhǎng)的圖像,圖像中灰度值為i的像素個(gè)數(shù)為n。去除像素個(gè)數(shù)為0的灰度值,組成序列像素Nk,并依次求出相鄰的4個(gè)灰度值的方差,確定某一閾值d,使Var(Nk,Nk+1,Nk+2,Nk+3)<d成立。則k即為分割閾值τ。應(yīng)用此閾值對(duì)圖像中的物體和背景進(jìn)行分割,可得到二值圖像。閾值分割可以很好地完成二值分割工作,但發(fā)現(xiàn)某些物體在分割后內(nèi)部和邊緣出現(xiàn)一些噪聲,影響輪廓的提取,因此采用形態(tài)學(xué)處理的方法作進(jìn)一步處理,即用數(shù)學(xué)形態(tài)學(xué)里的開(kāi)運(yùn)算和閉運(yùn)算,經(jīng)過(guò)這樣的處理后可以基本消除噪聲。2.3形態(tài)梯度相關(guān)的緣檢測(cè)許多常用的邊緣檢測(cè)算子通過(guò)計(jì)算圖像中局部小區(qū)域的差分來(lái)工作,而形態(tài)學(xué)邊緣檢測(cè)主要用到形態(tài)梯度的概念。設(shè)A表示圖像,B表示結(jié)構(gòu)元素,?表示膨脹運(yùn)算。這里采用的形態(tài)梯度為:Grad=(A?B)-A(3)由于通過(guò)上述方法提取出來(lái)的輪廓往往較粗,需要采用數(shù)學(xué)形態(tài)學(xué)對(duì)圖像輪廓進(jìn)一步細(xì)化。3刑罰執(zhí)行和圖像重構(gòu)通常人在抓取物體之前會(huì)考慮其各方面的特征,比如顏色特征、形狀特征和紋理特征等,其中姿態(tài)、大小、形狀和表面粗糙度等特征,是人在抓取時(shí)決定采取何種手勢(shì)抓取的最有效的依據(jù)。假定照相機(jī)鏡頭與物體的距離保持不變,結(jié)合圖像提取長(zhǎng)軸角,通過(guò)質(zhì)心的水平軸長(zhǎng)和垂直軸長(zhǎng),圓度(取值范圍為0～1)以及灰度共生矩陣中的角二階矩、熵分別作為物體姿態(tài)、大小、形狀和表面粗糙度特征。這6個(gè)特征值組成向量作為每一物體特征向量,其特征向量如表1所示。物體擺放姿態(tài)與長(zhǎng)軸角的關(guān)系定義為:當(dāng)π/4<θ<3π/4時(shí),物體為豎直擺放;其它情況則為水平擺放。圓度越接近1時(shí)表明物體越接近于圓形,二階矩越大,則物體表面粗糙度越大,反之則越小;同樣的,熵越小,則物體表面粗糙度越大,反之則越小。4模糊c的平均聚集模糊C均值算法(FCM算法)是一種基于劃分的聚類(lèi)算法,由Bezdek于1973年提出,作為硬C均值聚類(lèi)(HCM)方法的一種改進(jìn)。4.1自適應(yīng)的聚類(lèi)中心屬性或目標(biāo)函數(shù)FCM把n個(gè)向量Xi(i=1,2,…,n)分為C個(gè)模糊組的過(guò)程簡(jiǎn)述如下。根據(jù)模糊劃分規(guī)則,FCM的隸屬度矩陣U需要滿足的條件如下:算法開(kāi)始階段,用值在0～1的隨機(jī)數(shù)初始化隸屬度矩陣U。再根據(jù)迭代公式:調(diào)整聚類(lèi)中心和隸屬度矩陣,直至價(jià)值函數(shù)(或目標(biāo)函數(shù)):取得最小值。這里,Ci為第i聚類(lèi)中心,dij=‖Ci-Xj‖為第i個(gè)聚類(lèi)中心與第j個(gè)向量間的歐氏距離;且m∈[1,∞)是一個(gè)加權(quán)指數(shù),Pal等人從聚類(lèi)有效性方面的實(shí)驗(yàn)研究得到m的最佳選取區(qū)間為[1.5,2.5],若無(wú)特殊要求可取區(qū)間中值m=2。4.2類(lèi)中心聚類(lèi)分析算法上述算法由于不能確保FCM收斂于一個(gè)最優(yōu)解,算法的性能依賴于初始聚類(lèi)中心。為提高分類(lèi)正確率,采用改進(jìn)的FCM算法:在算法的第1階段,采用改進(jìn)的基于相似性閾值和最小距離原則的聚類(lèi)方法對(duì)樣本進(jìn)行粗聚類(lèi),并對(duì)聚類(lèi)結(jié)果計(jì)算得到各類(lèi)的類(lèi)中心;第2階段,以第1階段所得的類(lèi)中心作為初始聚類(lèi)中心,執(zhí)行標(biāo)準(zhǔn)的FCM算法。第1階段:a.將歐氏距離最近的2個(gè)樣本定為一類(lèi),選定距離閾值T,與該2樣本之一的距離在T之內(nèi)的所有樣本判屬此類(lèi)。b.在剩下的樣本中找到距離最近的一對(duì)樣本,若它們之間的距離大于T,則將這2個(gè)樣本分別定為一類(lèi);若它們之間的距離小于T,則選定距離閾值αT(0<α≤1),將與該2樣本之一的距離在αT之內(nèi)的所有樣本判屬此類(lèi)。c.重復(fù)上一步驟,直到所有樣本都被分類(lèi),若最后只剩一個(gè)樣本,則將該樣本單獨(dú)定為一類(lèi)。d.調(diào)整T及αT,直到所有樣本被聚成C類(lèi)。e.按下式計(jì)算得到各類(lèi)的類(lèi)中心Ci(i=1,2,…,C):式中nj——第ωj類(lèi)中所含樣本的個(gè)數(shù)第2階段:f.選擇常數(shù)e>0,置迭代次數(shù)k=0,以e的結(jié)果作為初始聚類(lèi)中心C(0)。g.根據(jù)C(k)按式(6)計(jì)算U(k)。h.根據(jù)C(k)和U(k)按式(7)計(jì)算代價(jià)函數(shù)J(k)。i.按式(5)進(jìn)一步調(diào)整類(lèi)別中心C(k+1)。j.檢驗(yàn),若|J(k+1)-J(k)|<e,則結(jié)束,輸出聚類(lèi)結(jié)果;否則,置k=k+1,返回g。5fcm聚類(lèi)分析實(shí)驗(yàn)采用的數(shù)據(jù)來(lái)自VanAmsterdam大學(xué)的實(shí)物圖片圖書(shū)館。因?yàn)楸疚募俣ㄕ障鄼C(jī)和物體間的距離固定,所以在實(shí)驗(yàn)中選擇了如圖3所示的,與現(xiàn)實(shí)中的物體比例相似的26種實(shí)物的彩色圖像,每幅圖像為192像素×144像素的點(diǎn)陣。采用的多指手模型如圖4所示,具有4個(gè)手指,大拇指有5個(gè)自由度,其余手指均為4個(gè)自由度。手掌的寬度為90mm(每個(gè)指寬為30mm,對(duì)應(yīng)到圖像中其每個(gè)指寬為20個(gè)像素),手掌的長(zhǎng)度為120mm,除大拇指外每個(gè)手指的長(zhǎng)度為120mm。對(duì)每幅圖像分別提取特征值組成特征向量Xi=[xi1,xi2,xi3,xi4,xi5,xi6],用采用高斯歸一化對(duì)這些特征向量進(jìn)行歸一化。設(shè)μj和σj分別表示各類(lèi)特征向量的均值和標(biāo)準(zhǔn)差,這樣各個(gè)特征轉(zhuǎn)變成具有N(0,1)分布的特征。即有:根據(jù)這些物體在某個(gè)角度的特征,結(jié)合人類(lèi)日常抓取策略,可以對(duì)它們進(jìn)行預(yù)抓取模式分類(lèi)。假設(shè)機(jī)器人多指手的姿態(tài)在抓取豎直擺放的物體時(shí)需要轉(zhuǎn)動(dòng)手腕進(jìn)行側(cè)面抓取,而對(duì)水平擺放的物體則可以直接正面抓取。其結(jié)果如表2所示(物體的編號(hào)按照?qǐng)D3中從左到右,從上到下的次序排列)。分別用2種FCM算法對(duì)經(jīng)過(guò)歸一化處理后的特征向量進(jìn)行聚類(lèi)分析,其中各參數(shù)的取值為:m=2,e=10-5,T=0.8,α=0.5。由于基本的FCM對(duì)初始聚類(lèi)中心比較敏感,所以進(jìn)行10次運(yùn)算,結(jié)果取其平均值。表3分別列出了迭代次數(shù)、運(yùn)算時(shí)間和準(zhǔn)確率。由表3可以發(fā)現(xiàn),基本的模糊C均值聚類(lèi)算法的初始聚類(lèi)中心是隨機(jī)產(chǎn)生,故容易陷入局部極小,不能得到完全正確的結(jié)果,而采用改進(jìn)的模糊C均值聚類(lèi)算法由于算法的第1階段可以直接得到較正確的分類(lèi)結(jié)果,第2階段進(jìn)一步執(zhí)行FCM算