計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)中的應(yīng)用

計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)中的應(yīng)用

農(nóng)業(yè)基礎(chǔ)研究領(lǐng)域隨著科學(xué)技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)技術(shù)的應(yīng)用滲透到了不同的領(lǐng)域。目前,在農(nóng)業(yè)中的應(yīng)用主要有以下4個(gè)方面:(1)農(nóng)產(chǎn)品的品質(zhì)檢測(cè):水果、蔬菜的檢測(cè)與分級(jí);禽蛋、肉食類的檢測(cè)與分級(jí);經(jīng)濟(jì)作物的檢測(cè)與分級(jí),如煙葉、茶葉等;谷物籽粒的檢測(cè)與分級(jí),如大豆、花生、玉米、大米等。(2)收獲機(jī)器人:日本在這方面的研究較多,如摘水果機(jī)器人,溫室或大棚等設(shè)施農(nóng)業(yè)中的番茄、蘑菇、黃瓜、卷心菜、葡萄收獲機(jī)器人,擠奶機(jī)器人等。其機(jī)器視覺(jué)部分一般是CCD攝像機(jī)與激光掃描型距離傳感器相結(jié)合,從而完成對(duì)物體的三維綜合測(cè)量。(3)精細(xì)農(nóng)業(yè):所謂精細(xì)農(nóng)業(yè)(3S農(nóng)業(yè))即把地理信息系統(tǒng)(GIS)、地面定位系統(tǒng)(GPS)及遙感技術(shù)(RS)有機(jī)組裝在一起并應(yīng)用到現(xiàn)代農(nóng)業(yè)中,這是未來(lái)農(nóng)業(yè)發(fā)展的方向。在3S農(nóng)業(yè)中,機(jī)器視覺(jué)技術(shù)也起著重要作用,如利用多光譜遙感成像技術(shù)進(jìn)行農(nóng)作物產(chǎn)量的估測(cè),為中耕服務(wù)的雜草識(shí)別技術(shù),為植保服務(wù)的病、蟲(chóng)害識(shí)別與預(yù)報(bào)技術(shù),以及大型牧場(chǎng)的管理等。此外,還有農(nóng)業(yè)機(jī)械的自動(dòng)化導(dǎo)向視覺(jué)技術(shù)、秧苗移栽機(jī)的視覺(jué)技術(shù)等。(4)生物生長(zhǎng)狀態(tài)的監(jiān)控技術(shù):利用計(jì)算機(jī)視覺(jué)在設(shè)施農(nóng)業(yè)中進(jìn)行植物生長(zhǎng)狀態(tài)的檢測(cè)與控制、動(dòng)物行為的監(jiān)控、水產(chǎn)養(yǎng)殖中魚(yú)苗及蝦苗的監(jiān)控,農(nóng)業(yè)基礎(chǔ)研究中生物細(xì)胞的檢測(cè)及組織培養(yǎng)的檢測(cè)等。目前國(guó)內(nèi)外研究比較多的是農(nóng)產(chǎn)品的品質(zhì)檢測(cè)。在水果品質(zhì)檢測(cè)方面,國(guó)外除了進(jìn)行外部品質(zhì)(如大小、形狀、顏色、表面缺陷等)檢測(cè)外,還進(jìn)行其內(nèi)部品質(zhì)的無(wú)損檢測(cè),有些檢測(cè)項(xiàng)目已經(jīng)商品化,且能達(dá)到實(shí)時(shí)速度。在國(guó)內(nèi),水果的品質(zhì)檢測(cè)研究從90年代才開(kāi)始,僅停留在外部的品質(zhì)檢測(cè)上,且遠(yuǎn)沒(méi)達(dá)到實(shí)時(shí)檢測(cè)分級(jí)的水平。我國(guó)水果的生產(chǎn)在整個(gè)農(nóng)產(chǎn)品的生產(chǎn)中占有很大的比例,是重要的外貿(mào)出口產(chǎn)品。但由于產(chǎn)后處理不夠,使得外銷水果的品質(zhì)難以保證,在國(guó)際市場(chǎng)上缺乏競(jìng)爭(zhēng)力。其原因首先是檢測(cè)與分選的手段落后。在我國(guó),水果分級(jí)基本上仍由人工完成。人工分級(jí)的缺點(diǎn)主要有:勞動(dòng)量大,生產(chǎn)率低,分級(jí)標(biāo)準(zhǔn)難以實(shí)現(xiàn),分級(jí)精度不穩(wěn)定。因?yàn)樵谒旨?jí)標(biāo)準(zhǔn)中,著色面積和缺陷面積的度量,僅憑人的視覺(jué)難以精確區(qū)分,且人長(zhǎng)時(shí)間用眼,會(huì)造成疲勞及情緒的不穩(wěn)定,從而造成分級(jí)誤差的波動(dòng)。其次,水果的內(nèi)部品質(zhì)缺乏檢測(cè)手段,使水果的內(nèi)外品質(zhì)無(wú)法保證。因此,研究和開(kāi)發(fā)水果自動(dòng)實(shí)時(shí)分級(jí)系統(tǒng),選出高質(zhì)量的水果,為國(guó)家創(chuàng)取外匯,在我國(guó)具有重要的經(jīng)濟(jì)價(jià)值和廣闊的應(yīng)用前景。1質(zhì)的測(cè)定水果實(shí)時(shí)分級(jí)系統(tǒng)主要功能是水果外部品質(zhì)和內(nèi)部品質(zhì)的自動(dòng)檢測(cè)。水果的外部品質(zhì)檢測(cè)的項(xiàng)目有大小、形狀、顏色、表面缺陷等,內(nèi)部品質(zhì)無(wú)損檢測(cè)的項(xiàng)目為水果的硬度、糖含量、酸度、口味及某些內(nèi)部缺陷等。1.1自動(dòng)化檢測(cè)系統(tǒng)的缺陷水果的尺寸和顏色檢測(cè)技術(shù)已比較成熟,且在國(guó)外已經(jīng)實(shí)現(xiàn)自動(dòng)化檢測(cè),在國(guó)內(nèi)也有按重量或尺寸分級(jí)的系統(tǒng)。但果面的缺陷檢測(cè)卻一直成為水果實(shí)時(shí)分級(jí)的障礙。果面缺陷檢測(cè)的技術(shù)比較復(fù)雜,目前存在以下幾方面難題。1.1.1水果圖像級(jí)別與旋轉(zhuǎn)速度不一致在水果分選生產(chǎn)線上,輸送機(jī)構(gòu)輸送水果并把水果整個(gè)表面呈現(xiàn)給攝像機(jī),這是水果實(shí)時(shí)分級(jí)系統(tǒng)比較關(guān)鍵的組成部分,因?yàn)楫?dāng)水果通過(guò)時(shí),要求視覺(jué)系統(tǒng)能快速檢查每個(gè)水果的全部果面,即使很小的缺陷面積,也會(huì)使得水果級(jí)別發(fā)生很大變化。同時(shí),設(shè)計(jì)的視覺(jué)分級(jí)系統(tǒng)必須滿足高生產(chǎn)率的要求。在這方面,國(guó)外學(xué)者(Growe,1996,Tao,1996)采用滾子輸送帶使水果一邊移動(dòng)一邊自身轉(zhuǎn)動(dòng),從而使安裝在輸送帶上方的攝像機(jī)能采集到水果的多個(gè)面的圖像,達(dá)到全表面檢測(cè)的目的。但由于水果大小和形狀不規(guī)則,造成水果旋轉(zhuǎn)速度不一致且難以保證按同一軸線旋轉(zhuǎn)。此外,水果旋轉(zhuǎn)兩端的表面部分?jǐn)z像機(jī)無(wú)法采集到,因此,分級(jí)誤差較大。1.1.2梗、姜片和缺陷區(qū)的檢測(cè)Miller等(1991)對(duì)桃子的分選試驗(yàn)表明:因不能正確區(qū)分水果表面的缺陷和梗、萼凹陷區(qū),由此產(chǎn)生的分級(jí)誤差為25%左右。Rehkugler等(1986)利用機(jī)械定向機(jī)構(gòu)使蘋(píng)果梗、萼處于垂直方向并繞梗萼軸旋轉(zhuǎn),CCD線掃描攝像機(jī)可掃描蘋(píng)果的整個(gè)表面且形成一幅圖像,該方法的特點(diǎn)是由機(jī)械定向機(jī)構(gòu)定位水果梗、萼區(qū),攝像機(jī)對(duì)此區(qū)不需要再檢查。但因?yàn)槭芏ㄏ驒C(jī)構(gòu)速度的限制,還達(dá)不到實(shí)時(shí)分級(jí)的速度,試驗(yàn)結(jié)果為每分鐘選30個(gè)蘋(píng)果。Yang(1996)利用結(jié)構(gòu)光圖像與散射光圖像相結(jié)合來(lái)區(qū)分梗、萼區(qū)和缺陷區(qū),綜合兩方面圖像處理的結(jié)果,共抽取16個(gè)特征參數(shù),再利用BP神經(jīng)網(wǎng)絡(luò)區(qū)分蘋(píng)果的梗、萼區(qū)和缺陷區(qū),分辨精度為95%,但還需要進(jìn)一步把試驗(yàn)結(jié)果應(yīng)用于實(shí)際水果分選生產(chǎn)線中。Growe等(1996)采取在780nm附近帶域內(nèi),用結(jié)構(gòu)光由一黑白攝像機(jī)進(jìn)行水果表面的凹陷度檢測(cè);在750nm帶域內(nèi)的散射光照射下,由一黑白攝像機(jī)進(jìn)行水果表面的可疑缺陷區(qū)檢測(cè)。水果的輸送旋轉(zhuǎn)裝置及攝像機(jī)布置如圖1a所示,采用的雙錐滾筒輸送帶可使水果一方面沿水平方向作平移運(yùn)動(dòng),另一方面又繞自身水平軸作旋轉(zhuǎn)運(yùn)動(dòng)。兩個(gè)黑白CCD攝像機(jī)用來(lái)采集750nm附近的散射光圖像和780nm附近的結(jié)構(gòu)光圖像,水果旋轉(zhuǎn)一周攝取兩次圖像。兩個(gè)黑白攝像機(jī)采集的圖像經(jīng)過(guò)設(shè)計(jì)的接口電路后,被合成為一幅黑白圖像,合成過(guò)程如圖1b所示。圖像的處理由流水線圖像處理系統(tǒng)完成。試驗(yàn)結(jié)果表明:每個(gè)水果采集兩幅圖像時(shí),缺陷檢測(cè)的速度可達(dá)5個(gè)/s,但誤差較大,如對(duì)于蘋(píng)果,碰傷檢測(cè)的準(zhǔn)確率僅為51%。試驗(yàn)表明,要想得到較高的檢測(cè)精度,每個(gè)水果應(yīng)采集5幅以上的圖像,結(jié)構(gòu)光至少6條以上。此外,由于水果尺寸不同所造成各個(gè)水果旋轉(zhuǎn)速度的不一致,也是產(chǎn)生測(cè)量誤差的原因。徐娟(1997)及Nakano(1997)利用人工神經(jīng)網(wǎng)絡(luò)法對(duì)缺陷區(qū)和梗萼區(qū)進(jìn)行區(qū)分,試驗(yàn)表明神經(jīng)網(wǎng)絡(luò)的區(qū)分準(zhǔn)確率較低。在果面各種缺陷的快速檢測(cè)方面,Throop(1997)等人研究了多光譜測(cè)量技術(shù),對(duì)10個(gè)品種的蘋(píng)果的22種缺陷,在460～1030nm光譜范圍內(nèi),每隔10nm試驗(yàn)測(cè)定了它們的反射光譜特性,其中對(duì)3種蘋(píng)果同一種缺陷測(cè)量的結(jié)果如圖2所示。圖中縱坐標(biāo)的馬氏距離反映了水果缺陷區(qū)與正常區(qū)反射強(qiáng)度的差別程度,距離越大,兩者差別越大。由圖中曲線可看出:在中心為540nm、740nm、1030nm三波段附近,3種蘋(píng)果同一缺陷與正常區(qū)的反射強(qiáng)度的差別表現(xiàn)為最大或最小值,最后通過(guò)對(duì)3個(gè)波段的圖像進(jìn)行簡(jiǎn)單的減法和閾值處理,即可得到檢測(cè)的缺陷,下一步應(yīng)考慮實(shí)際應(yīng)用的實(shí)現(xiàn)。1.1.3缺陷透視的復(fù)雜模型校正Tao(1996)提出的球形變換法很好地解決了第一個(gè)問(wèn)題?；舅枷肴鐖D3所示:帶缺陷的原始物體圖像(OOI)與該物體反表面無(wú)缺陷的圖像(IOI)相加得到變換后的物體圖像(TOI),此圖像具有平面物體圖像的性質(zhì),而缺陷區(qū)低于該平面,然后經(jīng)過(guò)簡(jiǎn)單閾值處理即可得缺陷區(qū)。何東健(1997)提出了缺陷透視圖像面積發(fā)生畸變的校正方法,但對(duì)復(fù)雜形狀的缺陷區(qū)進(jìn)行校正,還存在一定的困難。Nakano(1997)利用一旋轉(zhuǎn)平臺(tái)使水果旋轉(zhuǎn),每旋轉(zhuǎn)18°CCD攝像機(jī)采集一幅圖像,蘋(píng)果旋轉(zhuǎn)一周可得20幅圖像,為消除蘋(píng)果球面面積的畸變,每幅圖像只保留中間13cm寬度的幅面,再全部合成一幅蘋(píng)果整個(gè)表面的展開(kāi)圖像,此法非常有效,但在分選生產(chǎn)線上實(shí)現(xiàn)比較困難。1.1.4蘋(píng)果對(duì)策圖像特征的提取國(guó)外一般采用高速圖像處理硬件與簡(jiǎn)單有效的圖像處理軟件相結(jié)合的途徑,來(lái)實(shí)現(xiàn)水果的實(shí)時(shí)分級(jí)。如Yang(1996)利用的是Transputer系統(tǒng)、結(jié)構(gòu)光法和洪水算法;Growe等(1996)研制的系統(tǒng),圖像的大部分工作由流水線圖像處理硬件系統(tǒng)完成;Tao(1996)采用的是專用Merlin圖像處理系統(tǒng)和簡(jiǎn)單有效的球形變換法,研制的蘋(píng)果分選系統(tǒng)已應(yīng)用到水果分選生產(chǎn)線上,其分選速度可達(dá)3165個(gè)/min。國(guó)內(nèi)研究者(劉禾,1998,徐娟,1997,楊秀坤,1997,何東健,1997)大多利用一般的微機(jī)和圖像采集卡,開(kāi)發(fā)了一些圖像處理和模式識(shí)別的新算法,如把人工神經(jīng)網(wǎng)絡(luò)、模糊理論、遺傳算法、圖像形態(tài)學(xué)、分形理論、小波理論及人工智能理論用于圖像特征的抽取和識(shí)別。但由于圖像處理的硬件速度太低,故只能限于靜態(tài)水果圖像分選的算法研究。此外,水果分級(jí)的算法應(yīng)具備人工分級(jí)的一些優(yōu)良性能,如學(xué)習(xí)與記憶功能,因?yàn)槟壳暗囊恍┓旨?jí)算法的訓(xùn)練樣本都比較少,而要分級(jí)的水果品種多變且量大。1.2水果的內(nèi)部質(zhì)量分析反映水果內(nèi)部品質(zhì)的主要指標(biāo)有硬度、糖含量、酸度、口味及內(nèi)部缺陷等。目前國(guó)內(nèi)外研究的主要方法和存在的問(wèn)題如下。1.2.1超聲波法水果的硬度可間接反映水果的成熟度、運(yùn)輸中的抗損壞性、儲(chǔ)藏期等。目前用于水果硬度檢測(cè)的方法主要有變形法和聲學(xué)法。變形法就是在一定時(shí)間內(nèi)給水果施加一定的動(dòng)態(tài)力或沖擊力,然后根據(jù)測(cè)得的變形量確定水果的硬度。如Schmilovitch等(1995)研制成功了棗子硬度自動(dòng)檢測(cè)系統(tǒng),其原理是把棗子放在兩平板之間,在上面板施加5～8N的動(dòng)態(tài)力,根據(jù)所測(cè)變形量的大小把棗子分成4個(gè)硬度等級(jí)。Delwiche(1991)利用沖擊法研制了蘋(píng)果硬度自動(dòng)檢測(cè)系統(tǒng),發(fā)現(xiàn)沖擊力會(huì)造成蘋(píng)果表面的輕微損傷。變形法只能測(cè)量水果表面的局部硬度,實(shí)際上,水果表面硬度變化較大,故限制了變形法的應(yīng)用。聲學(xué)法包括聲波脈沖響應(yīng)法和超聲波法,聲波脈沖響應(yīng)法(20～1500Hz)就是利用一麥克風(fēng)測(cè)量受輕微敲擊水果的聲波強(qiáng)度,由此確定水果的硬度。Armstrong等(1993)試驗(yàn)研究了所測(cè)聲波強(qiáng)度與水果硬度的關(guān)系,發(fā)現(xiàn)二者有很好的相關(guān)關(guān)系。此法的優(yōu)點(diǎn)是簡(jiǎn)單、無(wú)損,且能反映水果的整體硬度,缺點(diǎn)是必須注意周圍噪聲的絕緣及機(jī)械振動(dòng)的消除,此外水果形狀也影響測(cè)量精度。超聲波(>20000Hz)法是根據(jù)超聲波在水果等介質(zhì)中傳播時(shí),能量衰減系數(shù)的大小來(lái)確定水果硬度。但由于水果內(nèi)部含有較多氣隙且各向異性,故超聲波很難穿透整個(gè)水果。1.2.2超聲波輔助測(cè)量糖含量、酸度比較有潛力的檢測(cè)方法是近紅外法(NIR)和磁共振法(MR)。近紅外法又分穿透法、反射法和部分穿透法,部分穿透法原理如圖4所示。穿透法對(duì)水果不適應(yīng),反射法一般用于水果表面特征的檢測(cè),因此常用的方法是部分穿透法。由圖4可看出,在部分穿透法中,光線經(jīng)過(guò)的路徑比穿透法短,且入射光線與接收器有一夾角,此夾角的確定對(duì)測(cè)量起關(guān)鍵作用,此外二者之間必須加一隔板。884nm和834nm測(cè)得量的比值已用于桃子、蘋(píng)果(Slaughter,1995)糖含量的自動(dòng)測(cè)定。Slaughter等(1996)對(duì)西紅柿,在400～1100nm的光譜范圍內(nèi)進(jìn)行部分穿透性測(cè)量試驗(yàn),結(jié)果表明:800～1000nm范圍的信息對(duì)糖含量的確定最有用,測(cè)得的相關(guān)系數(shù)r=0.92,但酸度測(cè)量比較困難。Mizrach(1997)利用超聲波法試驗(yàn)研究了超聲波衰減系數(shù)和芒果硬度、糖含量、酸度的關(guān)系,但其超聲波測(cè)量探頭必須與果面接觸,故限制了在線的應(yīng)用。因此,利用近紅外多光譜技術(shù)測(cè)定水果內(nèi)部糖含量及其他成分是很有前途的,為達(dá)到實(shí)時(shí)應(yīng)用的目的,應(yīng)進(jìn)一步確定最合適的一兩個(gè)波段并與計(jì)算機(jī)視覺(jué)技術(shù)結(jié)合。磁共振及磁共振成像(MRI)技術(shù)也是測(cè)定水果內(nèi)部成分的有效方法,其依據(jù)是物質(zhì)內(nèi)部的某些原子核(H、C、P等)在外部磁場(chǎng)作用下,可與射頻區(qū)域的電磁波輻射相互作用。Chen等(1996)利用此法對(duì)鱷梨的成熟度和鮮杏梅的糖含量進(jìn)行了一些研究,得到了較好的結(jié)果。此法的主要缺點(diǎn)是設(shè)備昂貴。與水果的口味相關(guān)的化學(xué)成分主要是可揮發(fā)性芳香化合物,當(dāng)水果成熟時(shí),就會(huì)在周圍空氣中散發(fā)這種揮發(fā)性芳香氣體。Benady等(1995)研制的電子傳感器可以測(cè)量這種氣體的濃度。1.2.3他缺陷檢測(cè)西瓜的內(nèi)部空心用超聲波檢測(cè)已比較成熟。其他缺陷的檢測(cè),目前國(guó)外正研究利用X射線法、磁共振和磁共振成像技術(shù)等方法測(cè)量,因成本高及安全性等問(wèn)題,故很難在農(nóng)業(yè)中推廣應(yīng)用。2檢測(cè)與品質(zhì)的關(guān)系水果實(shí)時(shí)分級(jí)系統(tǒng)的進(jìn)一步研究應(yīng)從兩方面入手,一方面要加快水果外部品質(zhì)的計(jì)算機(jī)視覺(jué)實(shí)時(shí)分選技術(shù)的研究;另一方面也要進(jìn)行水果內(nèi)部品質(zhì)的無(wú)損檢測(cè)技術(shù)的研究。因?yàn)樗旨?jí)的主要目的是選出高質(zhì)量的水果,故水果內(nèi)外品質(zhì)的檢測(cè)技術(shù)都十分重要。在水果的外部品質(zhì)檢測(cè)方面,應(yīng)進(jìn)行多種技術(shù)集成的應(yīng)用研究。(1)對(duì)于水果整個(gè)表面機(jī)器視覺(jué)快速檢測(cè)的問(wèn)題,可采用機(jī)械與光學(xué)技術(shù)相結(jié)合,設(shè)計(jì)合理的傳送機(jī)構(gòu),既保證水果在傳送帶上比較平穩(wěn)地移動(dòng),又可由視覺(jué)系統(tǒng)快速檢測(cè)到水果的全部表面。盡量減小因水果不規(guī)則運(yùn)動(dòng)造成的分級(jí)誤差、損傷及圖像的模糊。(2)對(duì)于果梗、萼區(qū)與缺陷的檢測(cè)與視覺(jué)區(qū)分方面,應(yīng)采用多光譜技術(shù)與機(jī)器視覺(jué)技術(shù)相結(jié)合,研究水果圖像上可疑缺陷區(qū)的關(guān)鍵特征參數(shù)的抽取方法,得到簡(jiǎn)單、有效、快速的圖像處理和識(shí)別方法。(3)在球形果面造成的光反射強(qiáng)度呈曲面分布及曲面成像面積的畸變問(wèn)題,可從光照設(shè)計(jì)、圖像合成及軟件補(bǔ)償3方面綜合考慮。光照的充分設(shè)計(jì)可解決第一個(gè)問(wèn)題;多幅圖像的有效合成,可解決畸變問(wèn)題。我們通過(guò)試驗(yàn)表明:一個(gè)水果至少應(yīng)采集5幅圖像,然后再合成為一幅,可基本保證水果整個(gè)表面上缺陷的有效檢測(cè),以避免畸變誤差。軟件補(bǔ)償?shù)姆椒ū仨毢?jiǎn)單而有效,以適合高速的要求。(4)在實(shí)時(shí)系統(tǒng)的圖像處理器硬件設(shè)計(jì)方面,首先應(yīng)采取先進(jìn)的并行CP