計(jì)算機(jī)視覺技術(shù)在農(nóng)業(yè)中的應(yīng)用

計(jì)算機(jī)視覺技術(shù)在農(nóng)業(yè)中的應(yīng)用

農(nóng)業(yè)基礎(chǔ)研究領(lǐng)域隨著科學(xué)技術(shù)的發(fā)展，計(jì)算機(jī)視覺技術(shù)的應(yīng)用滲透到了不同的領(lǐng)域。目前,在農(nóng)業(yè)中的應(yīng)用主要有以下4個(gè)方面:(1)農(nóng)產(chǎn)品的品質(zhì)檢測:水果、蔬菜的檢測與分級;禽蛋、肉食類的檢測與分級;經(jīng)濟(jì)作物的檢測與分級,如煙葉、茶葉等;谷物籽粒的檢測與分級,如大豆、花生、玉米、大米等。(2)收獲機(jī)器人:日本在這方面的研究較多,如摘水果機(jī)器人,溫室或大棚等設(shè)施農(nóng)業(yè)中的番茄、蘑菇、黃瓜、卷心菜、葡萄收獲機(jī)器人,擠奶機(jī)器人等。其機(jī)器視覺部分一般是CCD攝像機(jī)與激光掃描型距離傳感器相結(jié)合,從而完成對物體的三維綜合測量。(3)精細(xì)農(nóng)業(yè):所謂精細(xì)農(nóng)業(yè)(3S農(nóng)業(yè))即把地理信息系統(tǒng)(GIS)、地面定位系統(tǒng)(GPS)及遙感技術(shù)(RS)有機(jī)組裝在一起并應(yīng)用到現(xiàn)代農(nóng)業(yè)中,這是未來農(nóng)業(yè)發(fā)展的方向。在3S農(nóng)業(yè)中,機(jī)器視覺技術(shù)也起著重要作用,如利用多光譜遙感成像技術(shù)進(jìn)行農(nóng)作物產(chǎn)量的估測,為中耕服務(wù)的雜草識別技術(shù),為植保服務(wù)的病、蟲害識別與預(yù)報(bào)技術(shù),以及大型牧場的管理等。此外,還有農(nóng)業(yè)機(jī)械的自動(dòng)化導(dǎo)向視覺技術(shù)、秧苗移栽機(jī)的視覺技術(shù)等。(4)生物生長狀態(tài)的監(jiān)控技術(shù):利用計(jì)算機(jī)視覺在設(shè)施農(nóng)業(yè)中進(jìn)行植物生長狀態(tài)的檢測與控制、動(dòng)物行為的監(jiān)控、水產(chǎn)養(yǎng)殖中魚苗及蝦苗的監(jiān)控,農(nóng)業(yè)基礎(chǔ)研究中生物細(xì)胞的檢測及組織培養(yǎng)的檢測等。目前國內(nèi)外研究比較多的是農(nóng)產(chǎn)品的品質(zhì)檢測。在水果品質(zhì)檢測方面,國外除了進(jìn)行外部品質(zhì)(如大小、形狀、顏色、表面缺陷等)檢測外,還進(jìn)行其內(nèi)部品質(zhì)的無損檢測,有些檢測項(xiàng)目已經(jīng)商品化,且能達(dá)到實(shí)時(shí)速度。在國內(nèi),水果的品質(zhì)檢測研究從90年代才開始,僅停留在外部的品質(zhì)檢測上,且遠(yuǎn)沒達(dá)到實(shí)時(shí)檢測分級的水平。我國水果的生產(chǎn)在整個(gè)農(nóng)產(chǎn)品的生產(chǎn)中占有很大的比例,是重要的外貿(mào)出口產(chǎn)品。但由于產(chǎn)后處理不夠,使得外銷水果的品質(zhì)難以保證,在國際市場上缺乏競爭力。其原因首先是檢測與分選的手段落后。在我國,水果分級基本上仍由人工完成。人工分級的缺點(diǎn)主要有:勞動(dòng)量大,生產(chǎn)率低,分級標(biāo)準(zhǔn)難以實(shí)現(xiàn),分級精度不穩(wěn)定。因?yàn)樵谒旨墭?biāo)準(zhǔn)中,著色面積和缺陷面積的度量,僅憑人的視覺難以精確區(qū)分,且人長時(shí)間用眼,會(huì)造成疲勞及情緒的不穩(wěn)定,從而造成分級誤差的波動(dòng)。其次,水果的內(nèi)部品質(zhì)缺乏檢測手段,使水果的內(nèi)外品質(zhì)無法保證。因此,研究和開發(fā)水果自動(dòng)實(shí)時(shí)分級系統(tǒng),選出高質(zhì)量的水果,為國家創(chuàng)取外匯,在我國具有重要的經(jīng)濟(jì)價(jià)值和廣闊的應(yīng)用前景。1質(zhì)的測定水果實(shí)時(shí)分級系統(tǒng)主要功能是水果外部品質(zhì)和內(nèi)部品質(zhì)的自動(dòng)檢測。水果的外部品質(zhì)檢測的項(xiàng)目有大小、形狀、顏色、表面缺陷等,內(nèi)部品質(zhì)無損檢測的項(xiàng)目為水果的硬度、糖含量、酸度、口味及某些內(nèi)部缺陷等。1.1自動(dòng)化檢測系統(tǒng)的缺陷水果的尺寸和顏色檢測技術(shù)已比較成熟,且在國外已經(jīng)實(shí)現(xiàn)自動(dòng)化檢測,在國內(nèi)也有按重量或尺寸分級的系統(tǒng)。但果面的缺陷檢測卻一直成為水果實(shí)時(shí)分級的障礙。果面缺陷檢測的技術(shù)比較復(fù)雜,目前存在以下幾方面難題。1.1.1水果圖像級別與旋轉(zhuǎn)速度不一致在水果分選生產(chǎn)線上,輸送機(jī)構(gòu)輸送水果并把水果整個(gè)表面呈現(xiàn)給攝像機(jī),這是水果實(shí)時(shí)分級系統(tǒng)比較關(guān)鍵的組成部分,因?yàn)楫?dāng)水果通過時(shí),要求視覺系統(tǒng)能快速檢查每個(gè)水果的全部果面,即使很小的缺陷面積,也會(huì)使得水果級別發(fā)生很大變化。同時(shí),設(shè)計(jì)的視覺分級系統(tǒng)必須滿足高生產(chǎn)率的要求。在這方面,國外學(xué)者(Growe,1996,Tao,1996)采用滾子輸送帶使水果一邊移動(dòng)一邊自身轉(zhuǎn)動(dòng),從而使安裝在輸送帶上方的攝像機(jī)能采集到水果的多個(gè)面的圖像,達(dá)到全表面檢測的目的。但由于水果大小和形狀不規(guī)則,造成水果旋轉(zhuǎn)速度不一致且難以保證按同一軸線旋轉(zhuǎn)。此外,水果旋轉(zhuǎn)兩端的表面部分?jǐn)z像機(jī)無法采集到,因此,分級誤差較大。1.1.2梗、姜片和缺陷區(qū)的檢測Miller等(1991)對桃子的分選試驗(yàn)表明:因不能正確區(qū)分水果表面的缺陷和梗、萼凹陷區(qū),由此產(chǎn)生的分級誤差為25%左右。Rehkugler等(1986)利用機(jī)械定向機(jī)構(gòu)使蘋果梗、萼處于垂直方向并繞梗萼軸旋轉(zhuǎn),CCD線掃描攝像機(jī)可掃描蘋果的整個(gè)表面且形成一幅圖像,該方法的特點(diǎn)是由機(jī)械定向機(jī)構(gòu)定位水果梗、萼區(qū),攝像機(jī)對此區(qū)不需要再檢查。但因?yàn)槭芏ㄏ驒C(jī)構(gòu)速度的限制,還達(dá)不到實(shí)時(shí)分級的速度,試驗(yàn)結(jié)果為每分鐘選30個(gè)蘋果。Yang(1996)利用結(jié)構(gòu)光圖像與散射光圖像相結(jié)合來區(qū)分梗、萼區(qū)和缺陷區(qū),綜合兩方面圖像處理的結(jié)果,共抽取16個(gè)特征參數(shù),再利用BP神經(jīng)網(wǎng)絡(luò)區(qū)分蘋果的梗、萼區(qū)和缺陷區(qū),分辨精度為95%,但還需要進(jìn)一步把試驗(yàn)結(jié)果應(yīng)用于實(shí)際水果分選生產(chǎn)線中。Growe等(1996)采取在780nm附近帶域內(nèi),用結(jié)構(gòu)光由一黑白攝像機(jī)進(jìn)行水果表面的凹陷度檢測;在750nm帶域內(nèi)的散射光照射下,由一黑白攝像機(jī)進(jìn)行水果表面的可疑缺陷區(qū)檢測。水果的輸送旋轉(zhuǎn)裝置及攝像機(jī)布置如圖1a所示,采用的雙錐滾筒輸送帶可使水果一方面沿水平方向作平移運(yùn)動(dòng),另一方面又繞自身水平軸作旋轉(zhuǎn)運(yùn)動(dòng)。兩個(gè)黑白CCD攝像機(jī)用來采集750nm附近的散射光圖像和780nm附近的結(jié)構(gòu)光圖像,水果旋轉(zhuǎn)一周攝取兩次圖像。兩個(gè)黑白攝像機(jī)采集的圖像經(jīng)過設(shè)計(jì)的接口電路后,被合成為一幅黑白圖像,合成過程如圖1b所示。圖像的處理由流水線圖像處理系統(tǒng)完成。試驗(yàn)結(jié)果表明:每個(gè)水果采集兩幅圖像時(shí),缺陷檢測的速度可達(dá)5個(gè)/s,但誤差較大,如對于蘋果,碰傷檢測的準(zhǔn)確率僅為51%。試驗(yàn)表明,要想得到較高的檢測精度,每個(gè)水果應(yīng)采集5幅以上的圖像,結(jié)構(gòu)光至少6條以上。此外,由于水果尺寸不同所造成各個(gè)水果旋轉(zhuǎn)速度的不一致,也是產(chǎn)生測量誤差的原因。徐娟(1997)及Nakano(1997)利用人工神經(jīng)網(wǎng)絡(luò)法對缺陷區(qū)和梗萼區(qū)進(jìn)行區(qū)分,試驗(yàn)表明神經(jīng)網(wǎng)絡(luò)的區(qū)分準(zhǔn)確率較低。在果面各種缺陷的快速檢測方面,Throop(1997)等人研究了多光譜測量技術(shù),對10個(gè)品種的蘋果的22種缺陷,在460～1030nm光譜范圍內(nèi),每隔10nm試驗(yàn)測定了它們的反射光譜特性,其中對3種蘋果同一種缺陷測量的結(jié)果如圖2所示。圖中縱坐標(biāo)的馬氏距離反映了水果缺陷區(qū)與正常區(qū)反射強(qiáng)度的差別程度,距離越大,兩者差別越大。由圖中曲線可看出:在中心為540nm、740nm、1030nm三波段附近,3種蘋果同一缺陷與正常區(qū)的反射強(qiáng)度的差別表現(xiàn)為最大或最小值,最后通過對3個(gè)波段的圖像進(jìn)行簡單的減法和閾值處理,即可得到檢測的缺陷,下一步應(yīng)考慮實(shí)際應(yīng)用的實(shí)現(xiàn)。1.1.3缺陷透視的復(fù)雜模型校正Tao(1996)提出的球形變換法很好地解決了第一個(gè)問題。基本思想如圖3所示:帶缺陷的原始物體圖像(OOI)與該物體反表面無缺陷的圖像(IOI)相加得到變換后的物體圖像(TOI),此圖像具有平面物體圖像的性質(zhì),而缺陷區(qū)低于該平面,然后經(jīng)過簡單閾值處理即可得缺陷區(qū)。何東健(1997)提出了缺陷透視圖像面積發(fā)生畸變的校正方法,但對復(fù)雜形狀的缺陷區(qū)進(jìn)行校正,還存在一定的困難。Nakano(1997)利用一旋轉(zhuǎn)平臺(tái)使水果旋轉(zhuǎn),每旋轉(zhuǎn)18°CCD攝像機(jī)采集一幅圖像,蘋果旋轉(zhuǎn)一周可得20幅圖像,為消除蘋果球面面積的畸變,每幅圖像只保留中間13cm寬度的幅面,再全部合成一幅蘋果整個(gè)表面的展開圖像,此法非常有效,但在分選生產(chǎn)線上實(shí)現(xiàn)比較困難。1.1.4蘋果對策圖像特征的提取國外一般采用高速圖像處理硬件與簡單有效的圖像處理軟件相結(jié)合的途徑,來實(shí)現(xiàn)水果的實(shí)時(shí)分級。如Yang(1996)利用的是Transputer系統(tǒng)、結(jié)構(gòu)光法和洪水算法;Growe等(1996)研制的系統(tǒng),圖像的大部分工作由流水線圖像處理硬件系統(tǒng)完成;Tao(1996)采用的是專用Merlin圖像處理系統(tǒng)和簡單有效的球形變換法,研制的蘋果分選系統(tǒng)已應(yīng)用到水果分選生產(chǎn)線上,其分選速度可達(dá)3165個(gè)/min。國內(nèi)研究者(劉禾,1998,徐娟,1997,楊秀坤,1997,何東健,1997)大多利用一般的微機(jī)和圖像采集卡,開發(fā)了一些圖像處理和模式識別的新算法,如把人工神經(jīng)網(wǎng)絡(luò)、模糊理論、遺傳算法、圖像形態(tài)學(xué)、分形理論、小波理論及人工智能理論用于圖像特征的抽取和識別。但由于圖像處理的硬件速度太低,故只能限于靜態(tài)水果圖像分選的算法研究。此外,水果分級的算法應(yīng)具備人工分級的一些優(yōu)良性能,如學(xué)習(xí)與記憶功能,因?yàn)槟壳暗囊恍┓旨壦惴ǖ挠?xùn)練樣本都比較少,而要分級的水果品種多變且量大。1.2水果的內(nèi)部質(zhì)量分析反映水果內(nèi)部品質(zhì)的主要指標(biāo)有硬度、糖含量、酸度、口味及內(nèi)部缺陷等。目前國內(nèi)外研究的主要方法和存在的問題如下。1.2.1超聲波法水果的硬度可間接反映水果的成熟度、運(yùn)輸中的抗損壞性、儲(chǔ)藏期等。目前用于水果硬度檢測的方法主要有變形法和聲學(xué)法。變形法就是在一定時(shí)間內(nèi)給水果施加一定的動(dòng)態(tài)力或沖擊力,然后根據(jù)測得的變形量確定水果的硬度。如Schmilovitch等(1995)研制成功了棗子硬度自動(dòng)檢測系統(tǒng),其原理是把棗子放在兩平板之間,在上面板施加5～8N的動(dòng)態(tài)力,根據(jù)所測變形量的大小把棗子分成4個(gè)硬度等級。Delwiche(1991)利用沖擊法研制了蘋果硬度自動(dòng)檢測系統(tǒng),發(fā)現(xiàn)沖擊力會(huì)造成蘋果表面的輕微損傷。變形法只能測量水果表面的局部硬度,實(shí)際上,水果表面硬度變化較大,故限制了變形法的應(yīng)用。聲學(xué)法包括聲波脈沖響應(yīng)法和超聲波法,聲波脈沖響應(yīng)法(20～1500Hz)就是利用一麥克風(fēng)測量受輕微敲擊水果的聲波強(qiáng)度,由此確定水果的硬度。Armstrong等(1993)試驗(yàn)研究了所測聲波強(qiáng)度與水果硬度的關(guān)系,發(fā)現(xiàn)二者有很好的相關(guān)關(guān)系。此法的優(yōu)點(diǎn)是簡單、無損,且能反映水果的整體硬度,缺點(diǎn)是必須注意周圍噪聲的絕緣及機(jī)械振動(dòng)的消除,此外水果形狀也影響測量精度。超聲波(>20000Hz)法是根據(jù)超聲波在水果等介質(zhì)中傳播時(shí),能量衰減系數(shù)的大小來確定水果硬度。但由于水果內(nèi)部含有較多氣隙且各向異性,故超聲波很難穿透整個(gè)水果。1.2.2超聲波輔助測量糖含量、酸度比較有潛力的檢測方法是近紅外法(NIR)和磁共振法(MR)。近紅外法又分穿透法、反射法和部分穿透法,部分穿透法原理如圖4所示。穿透法對水果不適應(yīng),反射法一般用于水果表面特征的檢測,因此常用的方法是部分穿透法。由圖4可看出,在部分穿透法中,光線經(jīng)過的路徑比穿透法短,且入射光線與接收器有一夾角,此夾角的確定對測量起關(guān)鍵作用,此外二者之間必須加一隔板。884nm和834nm測得量的比值已用于桃子、蘋果(Slaughter,1995)糖含量的自動(dòng)測定。Slaughter等(1996)對西紅柿,在400～1100nm的光譜范圍內(nèi)進(jìn)行部分穿透性測量試驗(yàn),結(jié)果表明:800～1000nm范圍的信息對糖含量的確定最有用,測得的相關(guān)系數(shù)r=0.92,但酸度測量比較困難。Mizrach(1997)利用超聲波法試驗(yàn)研究了超聲波衰減系數(shù)和芒果硬度、糖含量、酸度的關(guān)系,但其超聲波測量探頭必須與果面接觸,故限制了在線的應(yīng)用。因此,利用近紅外多光譜技術(shù)測定水果內(nèi)部糖含量及其他成分是很有前途的,為達(dá)到實(shí)時(shí)應(yīng)用的目的,應(yīng)進(jìn)一步確定最合適的一兩個(gè)波段并與計(jì)算機(jī)視覺技術(shù)結(jié)合。磁共振及磁共振成像(MRI)技術(shù)也是測定水果內(nèi)部成分的有效方法,其依據(jù)是物質(zhì)內(nèi)部的某些原子核(H、C、P等)在外部磁場作用下,可與射頻區(qū)域的電磁波輻射相互作用。Chen等(1996)利用此法對鱷梨的成熟度和鮮杏梅的糖含量進(jìn)行了一些研究,得到了較好的結(jié)果。此法的主要缺點(diǎn)是設(shè)備昂貴。與水果的口味相關(guān)的化學(xué)成分主要是可揮發(fā)性芳香化合物,當(dāng)水果成熟時(shí),就會(huì)在周圍空氣中散發(fā)這種揮發(fā)性芳香氣體。Benady等(1995)研制的電子傳感器可以測量這種氣體的濃度。1.2.3他缺陷檢測西瓜的內(nèi)部空心用超聲波檢測已比較成熟。其他缺陷的檢測,目前國外正研究利用X射線法、磁共振和磁共振成像技術(shù)等方法測量,因成本高及安全性等問題,故很難在農(nóng)業(yè)中推廣應(yīng)用。2檢測與品質(zhì)的關(guān)系水果實(shí)時(shí)分級系統(tǒng)的進(jìn)一步研究應(yīng)從兩方面入手,一方面要加快水果外部品質(zhì)的計(jì)算機(jī)視覺實(shí)時(shí)分選技術(shù)的研究;另一方面也要進(jìn)行水果內(nèi)部品質(zhì)的無損檢測技術(shù)的研究。因?yàn)樗旨壍闹饕康氖沁x出高質(zhì)量的水果,故水果內(nèi)外品質(zhì)的檢測技術(shù)都十分重要。在水果的外部品質(zhì)檢測方面,應(yīng)進(jìn)行多種技術(shù)集成的應(yīng)用研究。(1)對于水果整個(gè)表面機(jī)器視覺快速檢測的問題,可采用機(jī)械與光學(xué)技術(shù)相結(jié)合,設(shè)計(jì)合理的傳送機(jī)構(gòu),既保證水果在傳送帶上比較平穩(wěn)地移動(dòng),又可由視覺系統(tǒng)快速檢測到水果的全部表面。盡量減小因水果不規(guī)則運(yùn)動(dòng)造成的分級誤差、損傷及圖像的模糊。(2)對于果梗、萼區(qū)與缺陷的檢測與視覺區(qū)分方面,應(yīng)采用多光譜技術(shù)與機(jī)器視覺技術(shù)相結(jié)合,研究水果圖像上可疑缺陷區(qū)的關(guān)鍵特征參數(shù)的抽取方法,得到簡單、有效、快速的圖像處理和識別方法。(3)在球形果面造成的光反射強(qiáng)度呈曲面分布及曲面成像面積的畸變問題,可從光照設(shè)計(jì)、圖像合成及軟件補(bǔ)償3方面綜合考慮。光照的充分設(shè)計(jì)可解決第一個(gè)問題;多幅圖像的有效合成,可解決畸變問題。我們通過試驗(yàn)表明:一個(gè)水果至少應(yīng)采集5幅圖像,然后再合成為一幅,可基本保證水果整個(gè)表面上缺陷的有效檢測,以避免畸變誤差。軟件補(bǔ)償?shù)姆椒ū仨毢唵味行?以適合高速的要求。(4)在實(shí)時(shí)系統(tǒng)的圖像處理器硬件設(shè)計(jì)方面,首先應(yīng)采取先進(jìn)的并行CP