基于計算機視覺的作物行自動定位技術(shù)

1、基于計算機視覺的作物行自動定位技術(shù)袁佐云1毛志懷1中國農(nóng)業(yè)大學(xué)工學(xué)院,100083email:hehelex摘要: 本文針對多行農(nóng)作物圖像,提出了基于計算機視覺的作物行中心線定位方法。首先運用過綠值分割作物和背景,然后將圖像劃分為若干水平圖像條,對圖像條列向指標(biāo)值進(jìn)行累加,在累加值曲線上求取顯著峰點的位置。最后,對位置點進(jìn)行線性回歸,得到作物的行中心線。實驗結(jié)果表明了該方法的有效性。關(guān)鍵字曲線峰點;作物行;中心線;過綠特征1.引言由于化學(xué)肥料、化學(xué)農(nóng)藥以及化學(xué)除草劑等在農(nóng)業(yè)生產(chǎn)中的大量使用,造成了諸如環(huán)境污染、生態(tài)惡化、農(nóng)藥殘留以及資源浪費等大量影響人類社會可持續(xù)發(fā)展的問題。農(nóng)業(yè)工程、環(huán)境以及

2、生態(tài)等各方面的專家學(xué)者紛紛從不同的角度研究解決問題的方法。在農(nóng)業(yè)工程領(lǐng)域,研制具有定時、定量和定位等作業(yè)能力的視覺導(dǎo)航的農(nóng)業(yè)機械受到國內(nèi)外的普遍關(guān)注1,2。在田間作業(yè)過程中,作業(yè)機械利用視覺導(dǎo)航系統(tǒng)識別出農(nóng)作物的行邊界作為行走路徑,根據(jù)作業(yè)機械與行走路徑的相對位置計算出控制量,通過轉(zhuǎn)向機構(gòu)調(diào)節(jié)其位置從而跟蹤期望路徑,完成作業(yè)過程。農(nóng)作物行中心線一般是指農(nóng)作物在播種或栽培過程中,其種子或幼苗的植入點所構(gòu)成的直線。農(nóng)業(yè)機械在作業(yè)過程中,要求視覺導(dǎo)航系統(tǒng)能夠在較短時間內(nèi)確定作物行的中心位置,以保證其準(zhǔn)確地對農(nóng)作物進(jìn)行作業(yè)操作。2.作物行中心線的定位研究現(xiàn)狀目前常用的行定位方法有:Hough變換法3,

3、4、透視法5等。Hough變換法通過將圖像空間的直線轉(zhuǎn)化為參數(shù)空間上的點,對所有可能落在直線邊界上的點進(jìn)行累加統(tǒng)計完成檢測任務(wù)。由于這種方法利用圖像的全局特性,因此魯棒性很強,受噪聲和直線間隔的影響小;同時,Hough 變換運用統(tǒng)計方法檢測參數(shù)空間,計算過程中數(shù)據(jù)處理量大,處理時間長。透視法是利用作物行在圖像平面內(nèi)匯聚到一點的特性來獲取透視點,通過透視點得到作物行中心線的分布。由于該方法利用了作物行的透視點,所以對包含不完整作物行圖像也能夠精確定位;同時,透視法在處理靠近田頭作物圖像時,由于作物行的長度不足以計算出透視點的位置,從而無法定位出行的位置信息6。本文采用峰點檢測法,處理步驟少,計算

4、量小,能夠快速有效地定位出作物行的位置。該方法通過計算圖像條列向累加值曲線峰點,獲取作物行中心的位置,然后運用最小二乘法對定位點進(jìn)行線性回歸,從而確定農(nóng)作物的行中心線。3.作物行中心線的定位處理過程在農(nóng)作物圖像處理過程中,為了得到良好的定位結(jié)果,一般需要對圖像進(jìn)行預(yù)處理,消除圖像上光照不均與陰影的影響,得到作物行與土壤背景的區(qū)分指標(biāo);然后將圖像劃分成若干圖像條,根據(jù)圖像條中的過綠特征值(Excess Green,運用峰點檢測法自動計算作物行的中心位置;最后,運用最小二乘法對所有圖像條上的位置點進(jìn)行線性回歸,得到的回歸直線即為農(nóng)作物的行中心線。該方法的流程圖如圖1所示。 圖1 行中心線定位算法流

5、程圖Fig. 1 Flowchart of the algorithm of crop row centre lines localization3.1 圖像的預(yù)處理根據(jù)三基色學(xué)原理,視覺上能夠感受到的任何一種顏色可以由紅(R、綠(G、藍(lán)(B三種基本顏色按一定比例混合得到,因此,一幅彩色圖像可以分解為三幅由R、G、B分量各自組成的圖像。作物在不同的光照條件下,圖像上各個像素的R、G、B分量值也隨之發(fā)生變化。為了減少不同光照條件對圖像造成的影響,在圖像處理之前需要對圖像進(jìn)行預(yù)處理,消除光照條件對圖像產(chǎn)生的影響。呂朝輝等人6在分割秧苗圖像的研究過程中,發(fā)現(xiàn)運用圖像中R 、G 、B 值歸一化后顏色分

6、量代替原有顏色分量,可以有效地克服光照變化和陰影的影響。 設(shè)r 、g 、b 分別為R 、G 、B 進(jìn)行歸一化后顏色分量,各個分量歸一化過程如下:B G R Rr +=B G R Gg +=(1B G R Bb +=通常情況下,作物圖像上的背景即土壤具有較高的r 值和b 值,而g 值總是小于作物的g 值。利用r-g 、g-b 、r/g 以及2g-r-b 等指標(biāo)來區(qū)分作物與背景是非常有效的。其中,最為有效的區(qū)分指標(biāo)是過綠特征值2g-r-b 7。因此,本文中運用過綠特征值作為區(qū)分作物與土壤背景的指標(biāo),在后面的運算中均以過綠特征值運算操作。圖2為大豆的原圖像及過綠特征值構(gòu)成的圖像,原始圖像是在強光下拍

7、攝的,作物行間存在作物的陰影;經(jīng)過預(yù)處理以后,在過綠特征圖像上,陰影的影響已消除,從圖2b 中可以清晰地分辨出大豆與土壤。3.2 圖像分割與作物行中心線的定位采用條播方法播種的農(nóng)作物,作物行呈直線狀,行與行之間呈平行關(guān)系,作物行間距基本相等。在圖像采集過程中,由于受到拍攝角度與距離影響,圖像上農(nóng)作物的行間結(jié)構(gòu)上發(fā)生了變化,各行匯聚到圖像上部或圖像上部外的某一點。圖像處理過程中,將圖像水平劃分成若干等間距的圖像條,作物行與圖像條相交區(qū)域內(nèi)必然存在農(nóng)作物8。對圖像條進(jìn)行運算處理后,得到作物行的中心點。所有圖像條處理完后,得到作物行的中心點的位置,然后運用最小二乘法對每行作物中心點進(jìn)行線性回歸,可以

8、得到作物行的中心線方程。因此,本文中將圖像水平劃分成十個等間距的細(xì)長圖像條。間距的大小取決于圖像的高度以及圖像條的個數(shù)。圖3為圖2b 分割后的圖像。 a .原始圖像b .過綠特征值形成的灰度圖像圖2. 大豆圖像 Fig 2 The images of soybean3.2.1 圖像條的劃分設(shè)原始圖像的尺寸為H W ×,單位為像素,分割后的圖像條的大小為h W ×,(j i p 為圖像條上(i,j 處指標(biāo)過綠特征值,(j sum 為圖像條上第j 列上所有像素點的指標(biāo)累加值,m 為圖像條上所有列向累加值的平均值。計算過程如下:=hi j i p j s 1,(, j=1,2,W

9、 (2=Wj j s W m 1(1 , j=1,2,W(3式中 行下標(biāo)i=1,2,h ,h 為圖像條的高度 列下標(biāo)j=1,2,W , W 為圖像條的寬度 圖3. 圖2.b 水平分割后的圖像條Fig.3 Greyscale image in Fig.2.b divided into horizontal strips3.2.2 圖像條上作物行的定位圖像條與作物行相交的區(qū)域中存在作物,該區(qū)域上的指標(biāo)值要比附近范圍高出許多,在(j sum 曲線圖(圖5表現(xiàn)為突出的波峰。因此,本文根據(jù)曲線上突出波峰的位置,確定作物行的邊界,然后求出邊界中點,該點即為行中心點,具體處理步驟如下:1 對圖像條逐列掃描,

10、求取每一列的指標(biāo)值總和(j s ,同時計算所有元素的平均值m 。 2 對(j s 逐個掃描,求取升降點個數(shù)并記錄其位置。判斷規(guī)則如下:如果1(1(+<<j s m j s ,則j 為上升點;如果1(1(+>>j s m j s ,則j 為下降點。3 在初始點的基礎(chǔ)上,根據(jù)升降點之間的距離,確定作物行邊界定位點,剔除非定位點。如果升降點之間距離小于平均距離,則認(rèn)為此對升降點為非定位點。反之,為邊界定位點。 4 確定行中心定位點。計算升降點之間的中點,該中點即為行中心定位點。5 確定單行作物的位置點。重新對所有的定位點進(jìn)行組合,將屬于同一行作物的行中心定位點存儲到二維數(shù)組p

11、ositionij。6 確定作物行中心直線方程:利用最小二乘法對二維數(shù)組positionij中的位置點進(jìn)行擬合,得到作物行的中心直線方程。 a劃分后的圖像條(圖 3 中第 5 條圖像條 7 6 列向累加值 5 4 3 2 1 0 1 51 101 151 201 列下標(biāo) 251 301 b列向指標(biāo)累加值曲線 圖4. 圖像條及其對應(yīng)的列向指標(biāo)累加值曲線圖 Fig.4 The strip and its curve of column summation of excess green value 4 實驗結(jié)果與分析 為了驗證峰點檢測法的定位效果，研究過程中選用了30幅大豆圖像進(jìn)行處理。原始圖像為

12、 24bits真彩圖像，大小為320×240像素（圖5） ，分割后圖像條的大小為320×16像素。 從處理后的圖像(圖5中的圖像為原始大小的50%中可以看出，峰點檢測法檢測出定位點基 本上落在農(nóng)作物的中心上，對定位點進(jìn)行最小二乘法擬合后的直線與實際作物行的分布相符。 圖 5. 大豆圖像的定位結(jié)果 Fig.5 The result of soybean after localization 5 結(jié)論 本文通過對真彩色農(nóng)作物圖像預(yù)處理后，獲得圖像的過綠特征值。然后將過綠特征圖像水 平劃分成若干圖像條，對圖像條進(jìn)行列向累加求和，在該值的基礎(chǔ)上運用峰點法檢測出作物行 的位置。從實驗

13、結(jié)果看出，利用峰點檢測法能準(zhǔn)確地識別出作物行的中心直線，滿足視覺導(dǎo)航 作業(yè)的要求；由于本算法只涉及了求和運算，數(shù)據(jù)處理速度快，能夠在較短的時間內(nèi)檢測出作 物行的中心位置，同時，由于圖像被水平劃分成等間距圖像條，與整幅圖像相比，數(shù)據(jù)處理量 大大減少。 參考文獻(xiàn) 1 楊為民，李天石，賈鴻社.農(nóng)業(yè)機械及其視覺導(dǎo)航研究J.農(nóng)業(yè)工程學(xué)報，2004，20(1:160165 2 毛文華, 王一鳴, 張小超. 實時識別行間雜草的機器視覺系統(tǒng)J.農(nóng)業(yè)工程學(xué)報，2003，19(5:114117 3 Billingsley,J.,M. Schoenfisch. Vision-Guidance of Agricult

14、ural VehiclesJ.Autonomous Robots, 1995,(2:6576. 4 Reid,J.F.,et at. Detecting crop rows using the Hough transform. Paper no.3042 ASAE summer meeting,College Station Texas,June,1986 5 John A.Marchant ,Renaud Brivot . Real-Time Tracking of Plant Rows Using a Hough TransformJ. Real Time Imaging,1995,1:3

15、63371 6 呂朝輝， 陳曉光, 吳文福等。 用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行秧苗圖像分割J。 農(nóng)業(yè)工程學(xué)報， 2001， 17(3： 146148 7 Woebbecke,D.M. et al.Color indices for weed identeification under various soil,residue,and lighting conditionsJ. Transactions of ASAE, 1995,38(1:259269 8 H.T. Sogaard,H.J.Olsen. Determination of crop rows by image analysis withou

16、t segmentationJ. Computers and electronics in agriculture,2003,38:141158 Automatically Locate Crop Rows Based on Computer Vision ZuoYun YUAN , ZhiHuai MAO College of Engineering, China Agriculture University, Beijing, China 100083 Abstract A method based on computer vision detection for locating crop rows centre lines, was described in this paper. Firstly, the row crop and background were divided by the excess green value. Secondly, the image strips were divided by crop image horizontally and the position was calculated by detecting the peak on the cu