（農(nóng)產(chǎn)品加工及貯藏工程專業(yè)論文）柑橘采摘機器人成熟果實定位及障礙物檢測研究.pdf

江蘇大學(xué)碩士學(xué)位論文 摘要 隨著農(nóng)業(yè)生產(chǎn)的飛速發(fā)展和農(nóng)業(yè)勞動力成本的迅速上升，農(nóng)業(yè)勞 動力的匱乏將成為許多發(fā)達國家和發(fā)展中國家共同面對的問題。目前 機器人技術(shù)在農(nóng)業(yè)上應(yīng)用研究越來越成為熱門課題，與工業(yè)機器人特 定的工作環(huán)境不同，農(nóng)業(yè)機器人主要在自然場景下工作，要面對更為 復(fù)雜多變的情況，有更多的問題需要解決。 本研究作為柑橘采摘機器人研究的一部分，利用雙目立體視覺技 術(shù)，研究自然場景下的成熟柑橘的識別和定位方法、障礙物( 樹枝) 的檢測方法，為未來開發(fā)收獲機器人采摘柑橘進行前期視覺系統(tǒng)方面 的準(zhǔn)備工作，這部分相關(guān)的研究也是水果收獲機器人實用化的關(guān)鍵。 本研究的主要內(nèi)容和方法如下： 1 成熟果實定位 果實定位主要通過識別和匹配等步驟完成。識別的目的是把成熟 柑橘從背景中識別出來，為空間定位做準(zhǔn)備。本研究利用對r g b 顏 色系統(tǒng)中的色差分量2 r g b 值進行迭代，自動尋找閡值的方法分割 柑橘圖像；將區(qū)域分割后的彩色圖像轉(zhuǎn)化為二值圖像；經(jīng)過形態(tài)學(xué)運 算消除噪聲；對圖像進行區(qū)域標(biāo)記，根據(jù)區(qū)域面積和區(qū)域最小外接矩 形長寬比設(shè)定閾值，去除小塊及非類圓形干擾區(qū)域；進行區(qū)域填充、 輪廓提取，并采用優(yōu)化圓形h o u g h 變換擬合出成熟果實圖像中的圓 心坐標(biāo)、半徑等特征值；然后以單個柑橘為匹配對象，采用基于特征 的立體匹配方法，加入柑橘的區(qū)域重心、外接矩形尺寸等特征值作為 江蘇大學(xué)碩十學(xué)位論文 匹配約束來實現(xiàn)左右兩幅圖像中對應(yīng)果實的唯一匹配，研究結(jié)果顯示 正確匹配率達8 0 以上。最后在對攝像機內(nèi)外部參數(shù)進行了標(biāo)定的情 況下，求得柑橘的空間三維坐標(biāo)，并利用激光測距儀進行了對比驗證， 當(dāng)測量距離小于等于1 5 m 時，平均誤差不超過1 。 2 障礙物檢測 為保持算法的可執(zhí)行性，障礙物檢測的步驟和果實定位基本相 同，采用對圖像2 r - g b 和2 g r b 色差分量值進行迭代，并結(jié)合圖 像灰度閾值法能快速有效的分割出圖像樹枝區(qū)域，通過圖像二值化、 形態(tài)學(xué)運算、區(qū)域標(biāo)記、空洞填充提取出圖像樹枝區(qū)域；通過區(qū)域細 線化提取樹枝骨架，并進行骨架修剪、恢復(fù)遮擋骨架等處理；然后找 出骨架中端點、分支點等特征點并記錄它們的連接關(guān)系；最后通過對 特征點的立體匹配恢復(fù)障礙物的三維信息。試驗表明障礙物的正確識 別率為6 7 3 ，當(dāng)障礙物實際距離大于1 5 m 時，識別誤差增大。 通過研究，在成熟水果識別、匹配和定位方面取得了較大進展， 提出了一種果實收獲機器人的障礙物檢測方法。本文的研究內(nèi)容對我 國開展農(nóng)業(yè)收獲機器人視覺識別技術(shù)領(lǐng)域的研究具有參考價值，為進 一步的研究打下了基礎(chǔ)，對提高我國農(nóng)業(yè)的國際競爭力有重要的經(jīng)濟 意義。 關(guān)鍵詞：識別，匹配，圓形h o u g h 變換，空間定位，障礙物 江蘇人學(xué)碩士學(xué)位論文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fa g r i c u l t u r a lp r o d u c t i o n ，t h ec o s to fa g r i c u l t u r e l a b o rf o r c ew i l lb e c o m em o r ea n dm o r ec o s i l y i nr e c e n ty e a r s ，t h ea g r i c u l t u r a l a p p l i c a t i o no fr o b o tt e c h n i q u eh a v ea l r e a d yb e c o m ep o p u l a ri s s u e ，b e c a u s eo ft h e s h o r t a g eo ft h ea g r i c u l t u r el a b o rf o r c eb o t hi nd e v e l o p e dc o u n t r i e sa n dd e v e l o p i n g c o u n t r i e s d i f f e r e n tf r o mi n d u s t r i a lr o b o t ，w h i c hw o r k si np a r t i c u l a re n v i r o n m e n t ，t h e a g r i c u l t u r er o b o tm a i n l yw o r k si nt h en a t u r a le n v i r o n m e n t ，a n dt h ea g r i c u l t u r er o b o t h a st of a c em o r ec o m p l i c a t e da n du n c e r t a i nc i r c u m s t a n c e ，t h u st h e r ea r em o r e p r o b l e m st ob er e s o l v e d a sap a r to fr e s e a r c ho nc i t r u sp i c k i n gr o b o t s ，t h i sr e s e a r c hu s e db i n o c u l a rs t e r e o v i s i o nt or e s e a r c h i n go nr e c o g n i t i o na n dl o c a t i o nm a t u r ec i t r u s ，o b s t a c l e ( b r a n c h e s ) d e t e c t i o nu n d e rn a t u r a le n v i r o n m e n t 乃em a i nc o n t e n t sa n dm e t h o d sa r ea sf o l l o w s ： 1 m a t u r ef r u i tl o c a t i o n t h em a i ns t e p st oc o m p l e t et h a ta r ei m a g er e c o g n i t i o na n ds t e r e om a t c h i n g t h e p u r p o s eo fi m a g er e c o g n i t i o ni sr e c o g n i z i n gm a t u r ec i t r u sr e g i o nf r o mi m a g et om a k e p r e p a r a t i o nf o rl o c a t i o n t h i sr e s e a r c hu s e di t e r a t eo n2 r - g bc h r o m a t i s mc o m p o n e n t i nr g bc o l o rs y s t e mt of i n d i n gt h r e s h o l da u t o m a t i c a l l yt os e g m e n to r i g i n a li m a g e t h e nt h es e g m e n t e di m a g e sw e r ec o n v e r t e dt ot w o - v a l u ei m a g e sa n de l i m i n a t e dn o i s e b ym o r p h o l o g i c a lo p e r a t i o n r e g i o nl a b e l i n gw a sd o n ea n de l i m i n a t e dr e g i o nw h i c h w a ss m a l lo rh a dg r e a td i f f e r e n c e sf r o mc i r c l eb yd e f i n i n gt h r e s h o l dw h i c hb a s e do n a r e aa n dl e n g t ht ow i d t hr a t i oo ft h es m a l l e s tc i r c u m s c r i b e dr e c t a n g l e so fe a c hr e g i o n t h e nr e g i o nf i l l i n ga n dc o n t o u re x t r a c t i o no p e r a t i o nw e r eb e e nd o n ea n du s e d i m p r o v e dc i r c u l a rh o u g ht r a n s f o r m a t i o n ( c m 3t of o u n do u tc i r c l ec e n t r ea n dr a d i u s o fe a c hr e g i o n sa p p r o a c h i n gr o u n d t h e nu s e df e a t u r e b a s e dm a t c ha n da d d e de x t r a c h a r a c t e r i s t i c ss u c ha sb a r y c e n t e ro fo r a n g er e g i o ni nt h ei m a g e ，s i z e so fe a c hr e g i o n s a p p r o a c h i n gr o u n dt og e tc o r r e c tm a t c hr e s u l t so fe a c hi m a g ep a i r e x p e r i m e n t a l r e s u l t ss h o wt h a tt h em a t c h i n ga c c u r a c yc a nr e a c ho v e r8 0 f i n a l l y , a f t e rc a l i b r a t e d t h ec a m e r ai n t e r i o ra n de x t e r i o rp a r a m e t e r s ，t h e3 - ds p a c ec o o r d i n a t eo fe a c ho r a n g e 江蘇人學(xué)碩士學(xué)位論文 w a sb e e no b t a i n e da n du s e dt h el a s e rr a n g ef i n d e rt ov e r i f i c a t i o na n dc o m p a r i s o n r e s u l t ss h o wt h a tt h ea v e r a g ee r r o rr a t i oi sb e l o w1 w h e nt h em e a s u r i n gd i s t a n c ei s n om o r et h a n1 5 m 2 o b s t a c l ed e t e c t i o n t oe n s u r ee x e c u t a b l eo fa l g o r i t h m s ，t h es t e p so fo b s t a c l ed e t e c t i o na r et h es a m e 觴t h a to fm a t u r ef r u i tl o c a t i o n u s e di t e r a t eo n2 r g ba n d2 g r bc h r o m a t i s m c o m p o n e n t ，c o m b i n e dw i t hg r a yt h r e s h o l dm e t h o dt os e g m e n ti m a g eq u i c k l ya n d e f f e c t i v e l y g o tt h eb r a n c hr e g i o n sb yi m a g eb i n a r y z a t i o n ，m o r p h o l o g i c a lp r o c e s s i n g ， r e g i o nl a b e l i n ga n df i l l i n g e x t r a c t e ds k e l e t o no fo b s t a c l eb yt h i n n i n ga n dd i ds o m e p r o c e s s e ss o 勰t op r u n i n gt h es k e l e t o na n dr e c o v e r i n gt h eo c c l u d e ds k e l e t o n t h e n o b t a i n e dt h ef e a t u r ep o i n t ss u c ha se n d p o i n t sa n db r a n c hp o i n t so ft h es k e l e t o n ， r e c o r d e dt h e i rc o n n e c t i n gr e l a t i o n s h i p f i n a l l yt h e3 di n f o r m a t i o no fo b s t a c l ew a s r e s t o r e db ys t e r e om a t c h i n go nf e a t u r ep o i n t s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e i d e n t i f i c a t i o na c c u r a c yo fo b s t a c l ec a nr e a c h6 7 3 ，t h ei d e n t i f i c a t i o ne r r o rr a t i ow a s i n c r e a s e dw h e nt h ea c t u a ld i s t a n c eo fo b s t a c l ei sm o r et h a n1 5 m t h r o u g ht h er e s e a r c h ，s o m ea c h i e v e m e n t sh a v e b e e nm a d e s u c ha sm a t u r ef r u i t r e c o g n i t i o n ，m a t c ha n dl o c a t i o n n i sr e s e a r c ha l s op r o v i d e sam e t h o df o rf r u i th a r v e s t r o b o tt od e t e c co b s t a c l e 。t h er e s e a r c hr e s u l t so ft h i sr e s e a r c hh a v er e f e r e n c ev a l u ef o r t h es t u d yo nv i s u a lr e c o g n i t i o ni nt h ef i e l do fh a r v e s tr o b o ti no u rc o u n t r y t h e ya l s o p r o v i d eab a s i sf o rf u r t h e rs t u d ya n dh a v ei m p o r t a n te c o n o m i cs i g n i f i c a n c et oe n h a n c e i n t e r n a t i o n a lc o m p e t i t i v ep o w e ro fo u rc o u n t r y sa g r i c u l t u r a l k e y w o r d s ：r e c o g n i t i o n ，m a t c h i n g ，c i r c u l a rh o u g ht r a n s f o r m a t i o n ( c h t ) ，s p m i m l o c a t i o n ，o b s t a c l e 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定， 同意學(xué)校保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版， 允許論文被查閱和借閱。本人授權(quán)江蘇大學(xué)可以將本學(xué)位論文的全部 內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手 段保存和匯編本學(xué)位論文。 本學(xué)位論文屬 學(xué)位論文作者聳名：i 憨w 2 0 0 9 年6 月1 6 7 日 年我解密后適用本授權(quán)書。 艚：黟玩 2 0 0 9 g 月易日 獨創(chuàng)性申明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下，獨 立進行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容以外，本 論文不包含任何其他個人或集體己經(jīng)發(fā)表或撰寫過的作品成果。對本 文的研究做出重要貢獻的個人和集體，均已在文中以明確方式標(biāo)明。 本人完全意識到本聲明的法律結(jié)果由本人承擔(dān)。 學(xué)位論文作者簽名： 2 0 0 9 年6 月占 江蘇大學(xué)碩士學(xué)位論文 1 1 研究目的和意義 第一章緒論弟一早瑁下匕 進入二十一世紀(jì)，我國的農(nóng)業(yè)和農(nóng)村經(jīng)濟發(fā)展正面臨新的機遇和挑戰(zhàn)。一方 面，由于加入w t o ，農(nóng)業(yè)和農(nóng)村經(jīng)濟發(fā)展正面臨著世界各地的沖擊和挑戰(zhàn)；另 一方面也給我國帶來了一次加快農(nóng)業(yè)和農(nóng)村經(jīng)濟發(fā)展以及對農(nóng)村經(jīng)濟結(jié)構(gòu)調(diào)整 的絕好的機遇。隨著農(nóng)業(yè)生產(chǎn)正朝著規(guī)?；⒍鄻踊?、精確化方向發(fā)展，農(nóng)業(yè)勞 動力的成本必然迅速上升，勞動力不足的現(xiàn)象也會日趨明顯，因而作為高科技的 機器人技術(shù)進入農(nóng)業(yè)領(lǐng)域變得越來越現(xiàn)實。 柑橘作為世界第一大類水果，2 0 0 2 全世界年貿(mào)易額達到8 2 億多美元，是僅 次于小麥和玉米的第三大貿(mào)易農(nóng)產(chǎn)品。過去3 0 年，世界柑橘產(chǎn)量增長了一倍， 據(jù)聯(lián)合國糧農(nóng)組織預(yù)測，到2 0 1 0 年，全球柑橘產(chǎn)量將達6 6 4 0 萬噸，中國具有發(fā) 展柑橘產(chǎn)業(yè)得天獨厚的自然條件，適宜栽培柑橘的地域廣闊，2 0 0 7 年栽培面積 達1 9 1 萬公頃，產(chǎn)量達到2 0 5 9 萬噸，中國柑橘種植面積和產(chǎn)量均躍居世界第一。 目前，中國入均消費柑橘鮮果1 0 5 蠔，比1 9 7 8 年的0 3 蠔增n - ；3 5 倍【。在柑 橘的生產(chǎn)作業(yè)中，收獲采摘約占整個作業(yè)量的4 0 - 5 0 ，由于采摘作業(yè)的復(fù)雜性， 采摘自動化程度很低。由于本世紀(jì)我國農(nóng)業(yè)勞動力將逐漸向社會其它產(chǎn)業(yè)轉(zhuǎn)移， 而且我國面臨著嚴(yán)重的入口老齡化問題，勞動力資源不足將逐漸變?yōu)楝F(xiàn)實，我國 柑橘產(chǎn)量大，季節(jié)性強，大量的成熟柑橘如不及時收獲和保存，由此造成的腐爛 和掉落將損失巨大，柑橘自動采摘機器人能夠降低人勞動強度，提高勞動生產(chǎn)率 和產(chǎn)品質(zhì)量，保證果實適時采收，因此，研究開發(fā)柑橘采摘機器人，具有重要的 意義。 機器人技術(shù)的研究和發(fā)展分幾個時代。第一代機器人很多是示教再現(xiàn)型工業(yè) 用機器人，即按預(yù)先規(guī)定好的程序反復(fù)動作，這類機器人不具備識別外界狀況的 功能。近幾年，利用各種傳感器技術(shù)檢測環(huán)境條件并進行工作的智能型第二代機 器人研究迅速展開，在環(huán)境條件受到嚴(yán)格控制的作業(yè)現(xiàn)場實現(xiàn)應(yīng)用。在此基礎(chǔ)上， 研究人員進一步研究開發(fā)具有計算機人工智能和推理功能的第三代機器人，并不 斷走向成熟。由于工作要求不同、使用行業(yè)不同，目前機器人研究領(lǐng)域形成了幾 江蘇大學(xué)碩上學(xué)位論文 代并存、共同發(fā)展的局面。即使足這樣，將現(xiàn)在的工業(yè)機器人系統(tǒng)直接應(yīng)用于農(nóng) 業(yè)，面對田間作業(yè)現(xiàn)場的不同環(huán)境和多變條件，還是無法滿足應(yīng)用要求。與工業(yè) 應(yīng)用的人工控制環(huán)境截然不同，農(nóng)業(yè)用機器入主要在自然環(huán)境下工作，要識別的 作業(yè)對象形狀、顏色等特征會因生長環(huán)境的不同而變化。如收獲水果時，機器人 需要從枝葉、地面、空間等雜亂背景中分辨出水果，并根據(jù)其成熟度有選擇地實 施操作，在不同的光照條件下，原本就很復(fù)雜的問題，又變得更為復(fù)雜。因此， 目前收獲機器人存在的問題主要有果實的識別率和采摘率不高、果實的平均采摘 周期較長等，解決收獲機器人果實的識別和定位問題的關(guān)鍵是視覺功能的智能 化。作為機器人的核心系統(tǒng)：即立體視覺系統(tǒng)的研究，成為機器人能否在農(nóng)業(yè)上 成功應(yīng)用的關(guān)鍵，使機器人能像人一樣，準(zhǔn)確識別和定位目標(biāo)，對實現(xiàn)機器人的 智能化以及機器人升級換代起決定性作用，因此這方面的研究成為焦點。 收獲機器人主要包括行走機構(gòu)、控制系統(tǒng)和機械手等幾大部分，其中機械手 是機器人的主要執(zhí)行部件，其構(gòu)造復(fù)雜，造價昂貴，是機器人的最重要組成部分。 在采摘蘋果、柑橘等高大果樹的果實時，機械手需要較大的工作空間【2 】，但實際 生長的果樹形態(tài)各異、參差不齊、許多果實生長在樹枝后面，或者在兩個樹枝之 間，而且這些果樹的樹枝較粗大，若機械手與這些樹枝相碰撞將造成機械手的損 壞，要想使機械手采摘到這些果實，必須避開樹枝，所以對于開發(fā)柑橘、蘋果等 收獲機器人，避障研究是必要的。要使機械手自動避障，必須先使機器人準(zhǔn)確的 識別障礙物，得到障礙物空間三維信息，然后通過空間建模和機械手路徑規(guī)劃實 現(xiàn)自動避障。目前在機器人導(dǎo)航以及汽車行業(yè)中，對機器人避障已進行了較廣泛 的研究，但在收獲機器人方面，對機械手避障的研究較少，目前開發(fā)出的收獲機 器人，如日本的茄子采摘機器人【3 】，荷蘭的黃瓜采摘機器人【4 】，美國的柑橘采摘機 器入等都沒有機械手避障功能，所采摘的都是表層的無障礙的果實，因此目前果 實收獲機器人的應(yīng)用范圍較窄，在有略硬樹枝等障礙物存在的情況下，機械手的 采摘較危險。為了增加收獲機器人的實用性，提高采摘的安全性，機械手必須能 自動避障，而如何準(zhǔn)確的識別和恢復(fù)障礙物三維信息則是機器人避障必須首先解 決的問題。 綜上所述，本研究的兩大主要內(nèi)容：柑橘采摘機器人果實定位和障礙物檢測， 是實現(xiàn)柑橘采摘機器人自動、快速、準(zhǔn)確、安全采摘果實的關(guān)鍵，是柑橘收獲機 2 江蘇大學(xué)碩士學(xué)位論文 器人發(fā)展必須首先解決的問題。 1 2 國外研究現(xiàn)狀 在果實識別和定位方面，國外對計算機視覺在農(nóng)產(chǎn)品收獲中應(yīng)用的研究起步 很早，尤其是在樹上果實的檢測方面做了很多工作，為我們的研究提供了許多寶 貴的經(jīng)驗。 機器視覺技術(shù)在果蔬收獲機器人中的應(yīng)用開始于1 9 6 8 年，美國學(xué)者s c h e r t z 和b r o w n 最早提出果實自動化采摘的想法。利用果實和葉子在電磁光譜的可見 光和紅外區(qū)域反射率的不同來檢測水果【5 一，在他們的文章中，建議果實的位置 可以通過光度信息測定，尤其是利用葉子和果實對可見光或者電磁光譜紅外部分 反光度的差異。同時文章中也指出了在果實自動化檢測中必須考慮的問題：( 1 ) 不均勻照明；( 2 ) 枝葉遮擋使得只有7 0 n1 0 0 的果實可以看到。 受s c h e r t z 和b r o w n 想法的啟發(fā)，各種有關(guān)果實自動化采摘的研究在世界各 地陸續(xù)開展起來。p a r r i s h 和g o k s e l 在1 9 7 7 年據(jù)上述理論，使用一臺b a v 照相 機和一個用于增強紅色蘋果和綠色葉子對比度的紅色光學(xué)濾波器，構(gòu)建了第一個 較為實用的蘋果識別視覺系統(tǒng)同，這項研究拓寬了收獲機器人研究的思路。他們 利用人造蘋果樹進行了一些試驗，但是沒有報道具體的檢測結(jié)果。 d e s n o n 等人報道了用于蘋果檢測的第一套彩色視覺系統(tǒng)【8 1 。通過對二值圖 像的處理能找到各水果的區(qū)域的中心。但是這種系統(tǒng)誤識別率較高，檢測時為了 避免視覺系統(tǒng)看到未被樹葉擋住的天空，要求在果樹后面實施遮擋，防止產(chǎn)生大 量虛假目標(biāo)【9 】。 1 9 8 7 年，w h i t t a k e r 1o 】首先提出基于形狀信息檢測果實的方法。他認為基于 局部像素顏色值的分析方法不適用于建立對顏色不敏感的處理系統(tǒng)，建議基于形 狀信息同時考慮局部像素顏色值和整體顏色值的內(nèi)在關(guān)系，在處理的過程中用到 了優(yōu)化圓形h o u g h 變換。該方法雖然僅限于理論上的探討，但是開辟了果實識 別的一個新的途徑。 f i l i n g w o r t h 等人【1 1 l 用一臺黑白攝像機拍攝得到灰度為2 5 6 級的灰度圖像，經(jīng) 過s o b d 算子處理得到每幅圖像的梯度矢量圖，通過閾值化得到邊界圖像和方向 圖像。方向圖像包括每個邊界的矢量方向和最大亮度變化方向，運用優(yōu)化的圓形 3 江蘇大學(xué)碩士學(xué)位論文 h o u g h 變換( c h t ) 檢測圖像中符合西紅柿輪廓的弧度。該研究采用人為給定閾 值的方法，不能適用光線變化。給定閾值對結(jié)果影響很大，最好的檢測準(zhǔn)確率為 6 8 。本文采用的迭代算法能根據(jù)采集圖像的亮度變化自動選擇分割閾值，很好 的解決光線變化問題。 h a r r e l l 等人對柑橘類采摘機器人( c p r ) 進行了研究【1 2 4 4 】。采用色調(diào)、飽 和度以及r g b 顏色信息進行分類，利用經(jīng)典的貝葉斯分類器，這種分類方法將 成熟的柑橘或其它水果像素從背景中分離比較有效。但是需要人工照明，并且當(dāng) 背景顏色和水果相似時，如大片枯葉、地面等雜物容易被誤識別成目標(biāo)，并且不 能檢測有遮擋的果實。 1 9 9 0 年，匈牙利和美國科研聯(lián)合基金會 1 5 】聯(lián)合研制丌發(fā)出蘋果收獲機器人。 該機器人用立體視覺系統(tǒng)自動檢測蘋果，給出檢測到的蘋果的空間位置。試驗結(jié) 果表明：可以找到4 1 的可視果實，同時出現(xiàn)了一些誤識別。他們認為出現(xiàn)這 樣的結(jié)果原因有兩方面：一是圖像分割時出現(xiàn)了一些錯誤的判斷，圖像上有些非 蘋果部分被判定是蘋果；二是利用立體視覺尋找果實上同一部分在兩幅圖像上的 對應(yīng)區(qū)域時，由于遮擋、重疊等緣故，當(dāng)果實在果樹深處時，沒有充分利用匹配 算法中的約束條件，如極線約束、唯一性約束、保序性約束等，在遍歷搜索過程 中導(dǎo)致多重匹配，出現(xiàn)虛假目標(biāo)，采用基于區(qū)域的匹配算法，在灰度分布相似區(qū) 域匹配不佳是該算法的缺陷。為此，本文采用基于特征的立體匹配算法，運用各 種約束條件，減少了定位誤差和虛假目標(biāo)的出現(xiàn)。 1 9 9 5 年，意大利的b u e m i 1 6 1 開發(fā)了用于溫室柑橘采摘的自動化系統(tǒng)。該視 覺系統(tǒng)使用彩色相機獲取圖像，并將顏色轉(zhuǎn)換到h i s 顏色系統(tǒng)下，利用色調(diào)和 飽和度對圖像進行分割，通過對同一場景兩幅不同的圖像進行空間匹配獲得三維 信息，試驗結(jié)果認為可以檢測到大約9 0 的成熟柑橘，出現(xiàn)的錯誤檢測，基本 上都是由遮擋問題造成的。 西班牙的c e r e s 1 7 1 等認為使用光學(xué)相機系統(tǒng)，造成錯誤檢測的原因是光照的 變化和場景中同果實和背景具有相同顏色或形狀屬性。1 9 9 8 年，他們在西班牙 a g r i b o t 工程中提出使用激光區(qū)域探測傳感器獲得圖像，利用形狀識別果實。 他們把檢測的目標(biāo)近似看作球體，把輪廓線、凸度、凸面、反射率四種不同的點 陣用于估計球體的參數(shù)：空間位置、半徑、反射率。分別利用人工樹和自然樹進 4 江蘇大學(xué)碩士學(xué)位論文 行了測試，研究表明8 0 的可視果實被探測到，沒有錯誤檢測。根據(jù)他們的視 覺識別系統(tǒng)，果實的空間位置可精確到l o m m 。 高橋照夫等人( 2 0 0 0 ) 利用雙目立體視覺對果園的蘋果進行定位研究。以紅 富士蘋果為采摘對象進行實驗，結(jié)果表明，目標(biāo)距離為1 - 4 m 的有效范圍內(nèi)測量 誤差較??；距離在1 2 0 5 m 時，誤差在- 4 2 之間；大于3 5 m 時誤差在7 加 之間。系統(tǒng)要求的光線強度控制在1 9 0 1 d x ，果實的重疊度應(yīng)小于o 5 。 荷蘭農(nóng)業(yè)環(huán)境工程研究所( i m a gb v ) ( 2 0 0 2 ) 研究開發(fā)了一種移動式黃瓜 收獲機器人樣機【1 8 1 ，該研究在荷蘭2 h m 2 的溫室罩進行。實驗結(jié)果表明，高峰期 需要4 臺機器人。每臺機器人每同工作1 8 h ，作業(yè)速度為1 0 秒根，相當(dāng)于1 2 個工 人每同6 h 的工作量。蔬菜果實收獲自動化可以節(jié)約果實收獲人工費用，但要滿足 商用產(chǎn)品的各種要求，還需對樣機加以改進和完善。 日本s h i m a n e 大學(xué)( 2 0 0 0 ) 構(gòu)建了一種收獲機器人視覺系統(tǒng)1 1 9 1 。b u l a n o n 2 0 l ( 2 0 0 2 ，日本) 根據(jù)顏色和灰度的組合特征對不同光照條件下的f u j i 蘋果進行 識別，成功率8 8 ，他們認為影響識別結(jié)果的主要因素是光照條件。 l i m s i r o r a t a n a 2 1 】等( 2 0 0 2 ，日本) 以木瓜為對象，利用橢圓傅立葉描繪子( e l l i p t i c f o u r i e rd e s c r i p t o r s ) 根據(jù)形狀在圖像上識別果實，為了優(yōu)化識別過程，采用了快 速傅立葉變換( f f t ) 和遺傳算法( g a ) ，最后結(jié)果認為這種方法是可行的，但 仍需進一步深入研究。目前，日本、荷蘭、美國、以色列等國都開展了果蔬收獲 機器人方面的研究工作，但是研究大都停留在理論或?qū)嶒炿A段，還沒真正實現(xiàn)商 業(yè)化【2 2 1 。 在機器人障礙物檢測方面，目前在機器人導(dǎo)航以及汽車行業(yè)中，對機器人避 障已進行了較廣泛的研究，但在收獲機器人方面，對機械手避障的研究較少，其 原因主要是農(nóng)業(yè)環(huán)境中由于背景的復(fù)雜性和光照的不穩(wěn)定性，障礙物的檢測較復(fù) 雜，因此這方面的研究任重而道遠。本文提出了一種障礙物檢測的方法，在收獲 機器人障礙物檢測方面做了一些基礎(chǔ)性的研究。 1 3 國內(nèi)研究現(xiàn)狀 國內(nèi)利用機器視覺技術(shù)在農(nóng)業(yè)收獲機器人方面的研究起步較晚。 1 9 9 7 年，吉林工業(yè)大學(xué)的楊秀坤等【捌提出利用計算機視覺對果實表面缺陷 5 江蘇大學(xué)碩士學(xué)位論文 進行檢測的方法。該方法首先對果實圖像進行濾波、增強等預(yù)處理，然后根據(jù)像 素顏色值，利用自適應(yīng)特征聚類神經(jīng)網(wǎng)絡(luò)和模糊加權(quán)決策樹相結(jié)合的方法對果實 表面缺陷進行檢測。實驗結(jié)果認為該方法優(yōu)于傳統(tǒng)的檢測方法。 。 2 0 0 1 年，南京農(nóng)業(yè)大學(xué)的張瑞合等【刎對自然環(huán)境下番茄的識別與定位進行 了研究，他們根據(jù)顏色特征識別番茄，利用雙目立體視覺從兩幅二維圖像中恢復(fù) 出番茄的三維空間坐標(biāo)，實驗結(jié)果認為當(dāng)目標(biāo)距離為3 0 0 - - 一4 0 0 m m 時，深度誤差 可以控制在3 - - 4 。 2 0 0 2 年，中國農(nóng)業(yè)大學(xué)的孫明等i 捌提出利用計算機視覺識別蘿卜幼苗。該 方法首先突出圖像中各像素的綠色顏色分量，然后結(jié)合亮度信息，采用最大方差 自動取閾值等方法識別目標(biāo)。 2 0 0 5 年，江蘇大學(xué)的蔡健榮等f 硐將r g b 顏色空間轉(zhuǎn)換到球形h i s 顏色系統(tǒng)， 并利用o t s u 算法自動獲取分割閾值，以成熟的西紅柿為對象，根據(jù)水果的顏色 信息和形態(tài)信息能夠識別出成熟水果，但對有遮擋或果實重疊的情況研究較少。 綜上所述，國內(nèi)對機器視覺在農(nóng)產(chǎn)品收獲和加工中的應(yīng)用進行了大量的研 究，但和國外仍存在一定差距，特別是在農(nóng)產(chǎn)品收獲應(yīng)用方面，國內(nèi)的研究很有 限。為了趕超國外先進水平，早日實現(xiàn)我國農(nóng)業(yè)生產(chǎn)自動化，必須進一步開展廣 泛和深入的研究。 1 4 研究內(nèi)容和方法 根據(jù)國內(nèi)外研究狀況，基于雙目立體視覺對自然環(huán)境下植株上的果實和障礙 物進行識別并確定其位置的構(gòu)想是可行的，本研究以柑橘為研究對象，以兩個光 軸平行的同型號c c d 攝像頭構(gòu)成雙目立體視覺系統(tǒng)，對大棚和田問生長的成熟 柑橘分別在不同時間、不同天氣下進行圖像采集，基于v c + + 6 0 平臺自行開發(fā) 了處理程序進行圖像處理，運用相關(guān)的圖像處理算法及空間測距理論，對處理結(jié) 果進行分析和計算，從而達到識別和定位的目的。本研究的主要內(nèi)容如下： 1 、柑橘果實定位 選擇合適的顏色系統(tǒng)，對圖像中目標(biāo)和背景進行合理分割，研究受環(huán)境影響 較小的分割方法；對分割出的圖像目標(biāo)區(qū)域，采用有效的特征識別方法，力求準(zhǔn) 確快速提取目標(biāo)區(qū)域特征，為立體匹配和空間定位做準(zhǔn)備；使用正確的立體匹配 6 江蘇火學(xué)碩士學(xué)位論文 方法對左右圖像的果實區(qū)域進行匹配，根據(jù)匹配的結(jié)果計算果實的空間位置，將 計算的結(jié)果同實際位置相比較，從而調(diào)整相應(yīng)算法，以達到準(zhǔn)確定位。 2 、障礙物檢測 主要步驟和果實定位相同，根據(jù)柑橘收獲機器人機械手自動采摘過程中遇到 的樹枝等主要障礙物的特點，研究對于障礙物的分割和提取方法，針對樹枝的多 樣性的特點，研究有效的特征提取、立體匹配和三維重建方法恢復(fù)樹枝三維信息， 本文提出了相應(yīng)的解決方案。 1 5 本章小結(jié) 本章首先介紹了研究的目的和意義，然后對國內(nèi)外研究情況做了介紹，最后 簡要的提出了本研究的主要內(nèi)容。 7 江蘇大學(xué)碩士學(xué)位論文 第二章雙目立體視覺系統(tǒng)簡介 眾所周知，人們從外界環(huán)境獲取的信息中，8 0 來自于視覺，其他來自于觸 覺、聽覺、嗅覺等感覺器官。當(dāng)人的眼睛從自己周圍的環(huán)境獲取大量信息，并傳 入大腦后，由大腦根據(jù)知識或經(jīng)驗，對信息進行加工、推理等處理工作，最后識 別、理解周圍環(huán)境，包括環(huán)境內(nèi)的對象物，如物體問的相對位置、形狀、大小、 顏色、紋理、運動還是靜止等。計算機視覺就是用計算機模擬人眼的視覺功能， 從圖像或圖像序列中提取信息，對客觀世界的三維景物和物體進行形態(tài)和運動識 別。計算機視覺研究的目的之一就是要尋找人類視覺規(guī)律，從而開發(fā)出從圖像輸 入到自然景物分析的圖像理解系統(tǒng)。 目前許多計算機視覺專家都是在馬爾( m a r r ) 創(chuàng)立的視覺計算理論框架下探 索。美國麻省理工學(xué)院人工智能實驗室的馬爾教授認為，視覺可分為三個階段， 第一階段是早期視覺，其目的是抽取觀察者周闡景物表面的物理特性，如距離、 表面方向、材料特性( 反射、顏色、紋理) 等，具體來說包括邊緣檢測、雙目立體 匹配、由陰影確定形狀、由紋理確定形狀、光流計算等；第二階段是二維半簡圖 或本征圖像，它是在以觀察者為中心的坐標(biāo)系中描述表面的各種特性，根據(jù)這些 描述可以重建物體邊界、按表面和體積分割景物，但在以觀察者為中心的坐標(biāo)系 中只能得到可見表面的描述，得不到遮擋表面的描述，故稱二維半簡圖；第三階 段是二維模型，視覺信息處理的最后一個層次，是用二維半簡圖中得到的表面信 息建立適用于視覺識別的三維形狀描述，這個描述應(yīng)該與觀察者的視角無關(guān)，也 就是在以物體為中心的坐標(biāo)系中，以各種符號關(guān)系和幾何結(jié)構(gòu)描述物體的三維結(jié) 構(gòu)和空間關(guān)系。 盡管馬爾視覺計算理論在解決具體問題時遇到了困難，但可以說，計算機視 覺有了長足的發(fā)展，其主流是沿著馬爾所指出的方向取得的。 根據(jù)以上的馬爾視覺理論，可以將計算機視覺分為二維視覺和三維也就是立 體視覺。二維視覺是把輸入圖像轉(zhuǎn)換成具有所希望特性的另一幅圖像，例如濾波、 銳化、圖像相加等；或者提取圖像的某些特征，例如邊緣提取、圖象分割等。立 體視覺研究最多的是馬爾提出的雙目立體視覺，由于立體視覺很多處理要以二維 8 江蘇人學(xué)碩上學(xué)位論文 視覺為基礎(chǔ)，如圖象分割、特征提取等。因此，可以認為立體視覺的研究包括了 對二維視覺信息的研究，這里主要介紹雙目立體視覺。雙目立體視覺是計算機視 覺的一個重要分支，它由不同位置的兩臺或者一臺攝像機經(jīng)過移動或旋轉(zhuǎn)拍攝同 一幅場景，通過計算空間點在兩幅圖像中視差，獲得該點的三維坐標(biāo)值。馬爾提 出了一種視覺計算理論并應(yīng)用在雙眼匹配上，使兩張有視差的平面圖產(chǎn)生有深度 的立體圖形，奠定了雙目立體視覺發(fā)展的理論基礎(chǔ)。相比其他類的體視方法，如 透鏡板三維成像、投影式三維顯示、全息照相術(shù)等，雙目體視直接模擬人類雙眼 處理景物的方式，可靠簡便，在許多領(lǐng)域均極具應(yīng)用價值，如微操作系統(tǒng)的位姿 檢測與控制、機器人導(dǎo)航與航測、三維測量學(xué)及虛擬現(xiàn)實等【韌。 雙目體視技術(shù)的實現(xiàn)可分為以下步驟：圖像獲取、攝像機標(biāo)定、特征提取、 圖像匹配和三維重建，下面對各個步驟作簡要介紹。 圖像獲取，雙目體視的圖像獲取是由不同位置的兩臺或者一臺攝像機( c c d ) 經(jīng)過移動或旋轉(zhuǎn)拍攝同一幅場景，獲取立體圖像對，兩c c d 平行放置或者成5 0 。到8 0 。之間的夾角。 攝像機的標(biāo)定，對雙目體視而言，c c d 攝像機、數(shù)碼相機是利用計算機技 術(shù)對物理世界進行重建前的基本測量工具，對它們的標(biāo)定是實現(xiàn)立體視覺基本而 又關(guān)鍵的一步。通常先采用單攝像機的標(biāo)定方法，分別得到兩個攝像機的內(nèi)、外 參數(shù)，再通過同一世界坐標(biāo)中的一組定標(biāo)點來建立兩個攝像機之間的位置關(guān)系。 特征點提取，立體像對中需要提取的特征點應(yīng)滿足以下要求：與傳感器類型 及抽取特征所用技術(shù)等相適應(yīng)，具有足夠的魯棒性和一致性。在進行特征點像的 坐標(biāo)提取前，需對獲取的圖像進行預(yù)處理，因為在圖像獲取過程中，存在一系列 的噪聲源，通過此處理可顯著改進圖像質(zhì)量，使圖像中特征點更加突出。 立體匹配，立體匹配是雙目體視中最關(guān)鍵、困難的一步。與普通的圖像配準(zhǔn) 不同，立體像對之間的差異是由攝像時觀察點的不同引起的，而不是由其它如景 物本身的變化、運動所引起的。根據(jù)匹配基元的不同，立體匹配可分為區(qū)域匹配、 特征匹配和相位匹配三大類。 三維重建，在得到空間任一點在兩個圖像中的對應(yīng)坐標(biāo)和兩攝像機參數(shù)矩陣 的條件下，即可進行空間點的重建。通過建立以該點的世界坐標(biāo)為未知數(shù)的4 個線性方程，可以用最小二乘法求解得該點的世界坐標(biāo)。實際重建通常采用外極 9 江蘇大學(xué)碩士學(xué)位論文 線約束法?？臻g點、兩攝像機的光心這三點組成的平面分別與兩個成像平面的交 線稱為該空間點在這兩個成像平面中的極線。一旦兩攝像機的內(nèi)外參數(shù)確定，就 可通過兩個成像平面上的極線的約束關(guān)系建立對應(yīng)點之間的關(guān)系，并由此聯(lián)立方 程，求得圖像點的世界坐標(biāo)值。對圖像的全像素的三維重建目前僅能針對某一具 體目標(biāo)，計算量大且效果不明顯，因此通常使用提取圖像中目標(biāo)區(qū)域的特征，通 過對圖像對中區(qū)域特征的處理達到目標(biāo)三維重建的目的。 本研究選用雙目立體視覺系統(tǒng)主要基于以下考慮： 1 ) 計算結(jié)果精度較高。用雙目立體視覺技術(shù)計算的結(jié)果其絕對誤差可達到 0 0 3 m m 以下【捌，可以達到要求； 2 ) 計算相對簡單。由于雙目立體視覺系統(tǒng)中雙攝像機的參數(shù)彼此一致，光軸 相互平行且垂直于基線( b a s e l i n e 通過兩攝像機光心的直線) ，構(gòu)成一共極性 ( e p i p o l a r ) 結(jié)構(gòu)，這樣可以縮小對應(yīng)的搜索空間，只在水平方向存在視差( x 1 x r ) ， 從而簡化了立體視覺中的匹配過程； 3 l 價格比較便宜。雙目立體視覺系統(tǒng)不需要對光源做特殊控制，相比其它主 動的測距方法，它不需要專門的主動光照射裝置，通常在自然光或一定環(huán)境光照 明的條件下，由相距一定距離的兩個攝像機各自攝取目標(biāo)的圖像，找出空間物點 在兩個圖像中的對應(yīng)點，就能得到點的距離信息。且系統(tǒng)的硬件組成比較簡單， 不需要昂貴的設(shè)備。 2 1 硬件組成 根據(jù)以上原理，本研究將兩個同型號的c c d 攝像機平行安裝在攝像機架上， 兩攝像機通過u s b 接口與同一臺電腦相連接構(gòu)成雙目立體視覺系統(tǒng)，如圖2 1 所示，該系統(tǒng)的硬件部分主要由兩個相同型號的c c d 攝像機、鏡頭、云臺( 支 架) 、激光測距儀和計算機等設(shè)備構(gòu)成。c c d 攝像頭用于圖像采集，激光測距儀 用于精確測距進行標(biāo)定和驗證，計算機用于圖像處理。在本研究中，圖像采集主 要在自然環(huán)境下進行，沒有采用人工照明。 1 0 馴 囊 圈2 1 機器視覺系統(tǒng)裝置示意圉 f i g2 1 i m a g eo f d c v i c c s o f c o m p u t e r v i s i o ns y s t e m 在6 u 劃圖像識別研究小，為了幽像采集與便使川數(shù)相機代特c c d 攝像 頭，掃1 ；州的犬。l 情況( 晴天、陰人) 和_ f | 攝條仲f ( 順光、逆光) 塒剛m 和笳景+ h 桔j “j 剛像采集，后圳的果宴旺配1 f | j 卒叫定位研究，利用雙li 體視菇采集圖像 進行匹配實驗，確定柑桶年障礙物的窄問化置。奉研究螋件系統(tǒng)再部分介糾如下： 毅牛h 機：n i k o n 一9 9 0 數(shù)碼柏機( 最人分辨率：2 0 4 8 1 5 3 6 、位深：真彩2 4 位、酗像格式：b m p ) ： c c d ：關(guān)叫l(wèi) u m e n e r a 公川i m 0 7 5 c 掣攝像頭( 所采集圖像的有效j t 寸：6 4 0 4 8 0 、_ 5 盤大幀頻率：6 0 e p s 、與f 乜脯的連接方i l = i ：u s b 接ii ) ； 鏡頭：| | 本c o m p u t a r 公州m 0 8 1 4 m p 和m 1 2 1 4 m p 兩種掣寫 噩像頭( 每種 鉭o j 抨兩個，焦距分別為8 m m 嗣j 1 2 m m ) ： 訓(xùn)算機：c p u 為a m d 公r da t h l o n ( t m ) 6 4p r o c e s s o r3 0 0 0 + ( 卡頻為18 g h z ) 弘菲窖機： ；艘光洲距儀：德田自刷得( h i l t i ) 公叫的p d3 0l a s e rr a n g em e t e r ； 采集地點：鎮(zhèn)江l m 卜山洲糶林場( 人) 、汁算機視覺研究夸( 。 。山) ； 采集時川：2 0 0 7 訂1 0 1 1 月價，2 0 0 8 年1 0 1 1h 份。 攝像頭史架為* 通的攝像 l 支架，n 】酬節(jié)攝像頭高度和抽攝角度，調(diào)協(xié)方式 為r 動涮竹( 門劬的響1 ，支架d 在丌發(fā)中) ，攝像頭安裝杠孔機玻璃扳r ，玻璃扳 ：j 有兩條窄梆i i t 仕州擻像火的桀線長度在6 c m 2 5 c m 之間調(diào)粘。 引一 江蘇大學(xué)碩上學(xué)位論文 2 2 相關(guān)圖像處理軟件 果實定位及障礙物檢測所用算法在m i c r o s o f tv c + + 6 0 平臺下開發(fā)，開發(fā)過 程中還使用了m a t l a b 7 0 4 和o p e n c v l 0 等圖像處理工具。 2 3 本章小結(jié) 本章主要介紹了雙目立體視覺系統(tǒng)的原理、組成，同時介紹了本研究所用的 硬件組成、軟件平臺及圖像采集的時間、地點、環(huán)境及方式。 江蘇大學(xué)碩上學(xué)