基于主元神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路跟蹤 - 圖文-

1、文章編號(hào):100220446(20050320247205基于主元神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路跟蹤*李青,鄭南寧,馬琳,程洪(西安交通大學(xué)人工智能與機(jī)器人研究所,陜西西安710049摘要:在概率的框架內(nèi),基于主元神經(jīng)網(wǎng)絡(luò),提出了一種新的蒙特卡羅道路跟蹤技術(shù),用于自主陸地車輛在非結(jié)構(gòu)化道路上的導(dǎo)航.使用直線道路模型表示道路邊緣,并對(duì)其狀態(tài)利用二階自回歸模型進(jìn)行預(yù)測(cè);在H SV 彩色空間將顏色信息和局部空間特征相結(jié)合,利用主元神經(jīng)網(wǎng)絡(luò)提取主成分;根據(jù)道路邊緣窗的統(tǒng)計(jì)特性,利用粒子濾波器進(jìn)行道路狀態(tài)的估計(jì).實(shí)驗(yàn)結(jié)果表明,該方法能夠魯棒地進(jìn)行非結(jié)構(gòu)化道路跟蹤.關(guān)鍵詞:主元神經(jīng)網(wǎng)絡(luò);粒子濾波器;自主陸地車輛;

2、非結(jié)構(gòu)化道路跟蹤中圖分類號(hào):TP24文獻(xiàn)標(biāo)識(shí)碼:BT rack i ng of Unstructured R oadBa sed on P r i nci pa l C o m ponen t Ana lysis N eura l N et worksLI Q i n g,Z HENG N an2ning,MA L i n,C HENG H ong(In s tit u t e of Arti fici a l Intelli gence and Robotics,Xi p an J iaot ong Un i ve rsit y,X i p an710049,ChinaAb stra ct:

3、W ith i n a probabilisti c fra m ework,based on pri nc i pa l co m ponent ana l ys i s neura lne t w orks,a nove lM onte C arlo track i ng techn i que is suggested for autono m o us navigati on of l and veh icles on unstructured roads.The stra i ght road model i s used to represent road edges and i

4、ts sta t us is predicted by the second2orde r au t oregressi ve m ode.l Col or i nfor m a tio n and l oca l spa ti a l features are co mb i ned i n t he H S V col or space i n orde r to o b tain pri nc i pal co m ponents by princ i pa l co m ponent ana l ysi s neura l net works.The status of t he ro

5、ad i s esti m ated by particle filte rs accordi ng to statistical fea t ures of road edge windo ws.Exper i m enta l results sho w t hat t he unstructured road track i ng can be robustl y rea lized by t he me t hod.K eyword s:pr i nci pa l co mpo nent analysis neural ne t w orks;pa rtic l e filter;au

6、to no m ous l and veh icle;unstructured road track i ng.1引言(Introduction由于自主陸地車輛在軍事和民用方面的巨大應(yīng)用潛力,近年來人們對(duì)它的研究越來越感興趣.然而建造自主車輛是一項(xiàng)復(fù)雜且具有挑戰(zhàn)性的工作,美國國防部在2004年3月份舉辦了一項(xiàng)名為/D ARPA Grand Cha ll e nge0的比賽,懸賞100萬美元,獎(jiǎng)勵(lì)能夠在規(guī)定的時(shí)間內(nèi)沿規(guī)定的路線從洛杉磯出發(fā)最先到達(dá)拉斯維加斯的自主車輛,遺憾的是沒有一輛能夠到達(dá)目的地,以后該項(xiàng)獎(jiǎng)金每年遞增100萬美元,直至2008年,其目的就是加速陸地自主車輛的發(fā)展.實(shí)際的道路往往

7、可分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路兩類,自主車輛的關(guān)鍵技術(shù)之一就是道路跟蹤.結(jié)構(gòu)化道路一般是指高速公路和部分結(jié)構(gòu)化較好的公路,這類道路具有清晰的車道線和道路邊界,車道線一般為白色或黃色的連續(xù)線或短劃線.因此,在這種情況下,道路檢測(cè)問題可以簡化為車道線或道路邊界檢測(cè)問題.非結(jié)構(gòu)化道路一般指結(jié)構(gòu)化程度較低的道路,例如城市交通道路、鄉(xiāng)村道路等.由于這類道路沒有車道線和清晰的道路邊界,因而這是一項(xiàng)困難的任務(wù):環(huán)境的變化會(huì)影響路況,道路的形狀多種多樣,同時(shí)車輛也在經(jīng)歷復(fù)雜的動(dòng)態(tài)運(yùn)動(dòng).針對(duì)非結(jié)構(gòu)化道路,研究人員采取了多種不同的方法.文獻(xiàn)1 3中已經(jīng)提出了一些成功的算法,用于非結(jié)構(gòu)化道路的跟蹤.但是這些算法仍然

8、存在一些問題:難以得到和保持精確的道路模型;要求復(fù)雜的算法以定位和搜尋道路特征;計(jì)算量大.本文中,作者基于主元神經(jīng)網(wǎng)絡(luò),在概率的框架內(nèi),提出了一種新的蒙特卡洛跟蹤技術(shù),用于自主車輛在非結(jié)構(gòu)化道路上的跟蹤.直線道路模型和粒子濾波器的應(yīng)用能夠跟蹤模糊的道路邊界;彩色空間第27卷第3期2005年5月機(jī)器人ROBOT Vo.l27,No.3M ay,2005*基金項(xiàng)目:國家自然科學(xué)基金優(yōu)秀創(chuàng)新研究群體資助項(xiàng)目(60024301.收稿日期:2004-06-08變換、局部空間特征和主成分分析的使用,有利于該算法適應(yīng)不同的路況.本文第二節(jié)討論了道路在圖像平面內(nèi)的狀態(tài)方程;第三節(jié)提出了針對(duì)顏色和局部空間特征的

9、道路主元分析方法;第四節(jié)描述了結(jié)合邊緣窗統(tǒng)計(jì)特性,使用粒子濾波器進(jìn)行變量估計(jì)的過程;第五節(jié)敘述了對(duì)鄉(xiāng)村道路視頻處理的實(shí)驗(yàn)結(jié)果;第六節(jié)給出了結(jié)論,并對(duì)下一步工作進(jìn)行了展望.2 道路模型(R oad m odel如何以適當(dāng)?shù)膮?shù)來簡潔地表示道路的形狀和位置,并把這組參數(shù)定義為一個(gè)狀態(tài),這對(duì)于道路跟蹤問題很重要.我們引入一種有效地表示道路狀態(tài)的方案,將道路跟蹤問題變?yōu)轭A(yù)測(cè)濾波器問題.對(duì)于非結(jié)構(gòu)化道路,一般情況下使用兩條直線就足以表示道路形狀,滿足實(shí)際應(yīng)用的需要1,2.設(shè)在t 時(shí)刻有一幅圖像,其圖像平面坐標(biāo)系為(x,y,如圖1所示.直線L B 和RB 分別表示道路的左邊緣和右邊緣在圖像平面上的透視投影

10、,y H 固定,左邊緣用x 坐標(biāo)x LL (t和x L H (t表示,右邊緣用x 坐標(biāo)x R H (t和x RL (t表示.雖然這是一個(gè)簡單的模型,但適合跟蹤大多數(shù)非結(jié)構(gòu)化道路.將這些變量中的每一個(gè)都建模為一個(gè)獨(dú)立的二階自回歸動(dòng)態(tài)系統(tǒng),把t 時(shí)刻的狀態(tài)定義為:x t =(x LL (t,x L H (t,x R H (t,x RL (t(1于是道路在攝像機(jī)中成像這一動(dòng)態(tài)系統(tǒng)可以表示為:x t+1=A x t +Bx t-1+Cv t , v t N (0,2(2 定義該系統(tǒng)的矩陣A 、B 、C 和2未知,它們可以通過啟發(fā)式方法來確定,可以通過一組已經(jīng)被正確跟蹤的有代表性的序列來學(xué)習(xí),也可以用E

11、 M 算法進(jìn)行自適應(yīng)調(diào)整.為簡單起見,我們暫時(shí)使用4個(gè)獨(dú)立的特殊動(dòng)態(tài)方程來表示,A =d ia (2,2,2,2T,B =dia (-1,-1,-1,-1T,C =dia (1,1,1,1T ,其中x LL (t、x LH (t、x R H (t和x RL (t的標(biāo)準(zhǔn)差分別取為:1p i x e l/f ra me ,0.5pi x e l/f ra me ,0.5pixel/fra me 和1p i x e l/f ra me .圖1 直線道路模型和需要進(jìn)行主元分析的感興趣區(qū)域F i g .1 The straig ht m ode l of t he road and t he i nte

12、resti ng area i n wh ich the pri nc i pal co m ponents are ana l yzed3 非結(jié)構(gòu)化道路的主元分析(Pr incipa l co m 2ponen t ana lysis of un structur ed road主元分析(PC A,Princi p al Co mponent Analysis是統(tǒng)計(jì)模式識(shí)別和信號(hào)處理中將數(shù)據(jù)從高維空間映射到低維空間的降維方法.該方法通過尋找圖像數(shù)據(jù)的主要統(tǒng)計(jì)特征,即主元向量,來增強(qiáng)圖像有用信息,降低噪聲和光照變化的影響.PCA 將輸入特征空間轉(zhuǎn)換為新的空間,以使輸入量在特征空間中的區(qū)分度最大

13、,也就是提供了一種方式,用一些有效的特征值來表示原始的特征集,并且保留了數(shù)據(jù)集中大部分固有的信息.為了減少陰影、亮度等對(duì)彩色圖像的影響,我們使用了H S V 彩色空間.當(dāng)亮度分量過大和過小時(shí),色度和飽和度變得不穩(wěn)定,因此這樣的像素沒有包含在訓(xùn)練數(shù)據(jù)集中.本文除使用了圖像的顏色外,還使用了圖像的局部空間特征作為輸入量.將每個(gè)像素的H S V 彩色成分看作是前3個(gè)輸入量,將從相鄰像素提取出的附加空間特征看作是其余的輸入量4.令N (r,c表示像素(r,c的鄰域,通常N (r,c被看作是33或55的模板,像素是模板的中心像素.除顏色之外的局部空間特征能夠從該鄰域內(nèi)提取出來,這樣有助于道路跟蹤.也就是

14、說,使用N (r,c的彩色值,得到f k ,(k =4,5,K +3等圖像局部空間特征.對(duì)該局部空間特征沒有任何限制,但最好采用簡單的表達(dá)形式,以加快處理速度.本文使用了單層前向神經(jīng)網(wǎng)絡(luò)進(jìn)行主成分分析,使用通用H ebb ian 算法進(jìn)行訓(xùn)練:如果一條突觸的兩個(gè)神經(jīng)元同時(shí)受到激勵(lì),則那條突觸的權(quán)重有248 機(jī) 器 人2005年5月選擇地增加,否則那條突觸被削弱和消除.G HA 在訓(xùn)練階段的實(shí)現(xiàn)和輸出Z 如下所示5:$w ,j i (n=G z i (nf i (n-G z j (n E jk=1w k ,i (nz k (n (3z j (n =E Mi=1w,j i(n f i (n ,j

15、=1,Nw ,j i (n +1=w ,j i (n +$w ,j i (n,i =1,M j =1,N Z =wF本文中,輸入向量為6維特征向量F,輸出向量取作3維,w 是PCA 系數(shù)矩陣.為了加快處理速度,僅僅在H S V 三個(gè)顏色分量上各使用了Pre w itt 模板提取垂直邊緣,因?yàn)閷?duì)于道路而言,垂直邊緣一般比水平邊緣明顯一些.表達(dá)式為:f 3+k (r,c=13I k (r +1,c -1-I k (r +1,c +1+I k (r,c -1-I k (r,c +1+I k (r -1,c -1-I k (r -1,c +1k =1,2,3(44 概率跟蹤(Probab ilisti

16、c track ing在視覺跟蹤問題中,相對(duì)于隱變量而言,觀測(cè)數(shù)據(jù)的似然是非線性的、多模的,因此卡爾曼濾波器及其擴(kuò)展形式在視覺跟蹤中的應(yīng)用受到限制,然而,這種遞歸可以在序列蒙特卡洛框架內(nèi)實(shí)現(xiàn).序列蒙特卡洛法在時(shí)間序列濾波和視覺跟蹤得到應(yīng)用6,7.4.1 統(tǒng)計(jì)模型對(duì)于非結(jié)構(gòu)化道路,道路表面和路邊具有不同的統(tǒng)計(jì)特征,或者是顏色方面的,或者是紋理方面的.通過第3節(jié)的主元分析,可以找出最具有區(qū)分度的特征,我們利用這些特征建立統(tǒng)計(jì)模型.如圖2(a 所示,使用一個(gè)梯形A BCD 表示道路邊緣的鄰域,并定義為邊緣窗,直線EF 將梯形A BC D 分成兩個(gè)小梯形A EFD 和EBCF,線段A B 和DC 為常

17、量,點(diǎn)E 和F 分別是A B 和DC 的中點(diǎn).主成分的統(tǒng)計(jì)特征隨EF 的變化而變化,本文定義統(tǒng)計(jì)模型如下:z(r,c=z 1(r,c+z 2(r ,c+z 3(r,c,z 1,z 2,z 3為主元神經(jīng)網(wǎng)絡(luò)的輸出特征 (5s 1=1N 1-1E (r ,cI A BC Dz(r,c-1N 1E (r ,cI A BCDz(r,c2,N 1為梯形A BCD 內(nèi)像素的總數(shù)s 2=1N 2-1E (r ,cI A EFDz(r,c-1N 2E(r ,cI A EFDz(r,c2,N 2為梯形A EFD 內(nèi)像素的總數(shù)s 3=3N 3-1E(r ,cI EBCF z(r,c-1N 3E(r ,cI EBC

18、 Fz(r,c2,N 3為梯形EBCF 內(nèi)像素的總數(shù)s =s 1s 2+s 1s 3(a直線EF 恰好是道路的邊緣; (b梯形ABC D 在路面上; (c梯形A BCD 位于非路區(qū)域;(d梯形A BCD 的一部分位于道路區(qū)域,一部分位于非路區(qū)域,且EF 不平行于道路邊緣的切線方向圖2 邊緣窗的不同位置F i g .2 D iff e rent pos iti ons of t he boundary w i ndo w邊緣窗在圖像內(nèi)4種有代表性的位置可歸結(jié)如下:#s 1大,但是s 2和s 3小,當(dāng)直線EF 恰恰是道路邊緣時(shí),見圖2(a;#s 1、s 2和s 3都小,當(dāng)梯形A BCD 位于道路區(qū)

19、域時(shí),見圖2(b;#s 1、s 2和s 3都小,當(dāng)梯形A BCD 位于非路區(qū)域時(shí),見圖2(c;#s 1、s 2和s 3都大,當(dāng)梯形A BCD 的一部分位于道路區(qū)域內(nèi),另一部分位于非路區(qū)域內(nèi),且EF 不平249第27卷第3期李青等: 基于主元神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路跟蹤行于道路邊緣的切線方向時(shí),見圖2(d.由此可見直線EF 越接近道路邊緣,s 的值就越大.對(duì)于彎曲的道路邊緣,由于透射投影的關(guān)系,其成像在圖像下部也近似為直線,同樣可以利用該方法進(jìn)行統(tǒng)計(jì)分析.當(dāng)梯形A BC D 從圖2(b水平移動(dòng)到圖2(c 時(shí),s 1、s 2和s 3的變化如圖3(a 所示,s 的變化如圖3(b 所示;當(dāng)梯形A BC

20、D 從圖2(a旋轉(zhuǎn)到圖2(d 時(shí),s 的變化如圖3(c 所示 .圖3 (a當(dāng)梯形A BCD 從圖2(b水平移動(dòng)到圖2(c時(shí),s 1、s 2和s 3的變化(帶的曲線表示s 1,帶o 的曲線表示s 2,帶#的曲線表示s 3;(b當(dāng)梯形ABCD 從圖2(b水平移動(dòng)到圖2(c時(shí),s 的變化;(c當(dāng)梯形A BC D 從圖2(a旋轉(zhuǎn)到圖2(d時(shí),s 的變化.F i g .3 (aVar i atio n of s 1,s 2and s 3when trapezoi d A BCD d isplacing fro m F i g .2(bto F i g .2(chor izo n tall y(/x 0r

21、epresenti ng s 1,/o 0represen ti ng s 2,and /*0representi ng s 3;(bVar i a ti on of s when trapezoi d A BCD d isplaci ng fro m F i g .2(bto F i g .2(c;(cVar i a tio n of s when trapezoi d A BCD d i sp l ac i ng fro m F i g .2(ato F i g .2(d.4.2 使用粒子濾波器進(jìn)行狀態(tài)估計(jì)為了估計(jì)車輛前方的道路位置和形狀,我們選用了粒子濾波器,即CONDE NS AT I

22、 O N 算法6.粒子濾波器最初用于解決干擾背景下曲線的跟蹤問題,而這恰恰也是道路跟蹤的情況.粒子濾波器是指一種在給定圖像的觀測(cè)值后,對(duì)狀態(tài)空間x (t的概率分布進(jìn)行估計(jì)的一種機(jī)制.狀態(tài)分布由一組粒子對(duì)x,P 來近似,x 是狀態(tài)向量,P 是權(quán)重,它反映了該粒子作為系統(tǒng)真實(shí)狀態(tài)表示的合理性.非常重要的一點(diǎn)是:該方法不需要對(duì)實(shí)際的分布有任何假設(shè),能夠表示任意的、多模的分布,特別適用于復(fù)雜背景下利用卡爾曼濾波器進(jìn)行跟蹤失效的情況.權(quán)值的選取是粒子濾波器能否得到成功應(yīng)用的一個(gè)關(guān)鍵,本文取P mi +1=K exp (K s(t作為每個(gè)粒子的權(quán)值,K 為歸一化常數(shù).這樣做的原因是如果直接使用s 作為權(quán)值

23、,則各個(gè)粒子之間的區(qū)分度較小,不能夠?qū)αＷ舆M(jìn)行有效的選擇,故采用指數(shù)的形式,并乘以一個(gè)大于1的常數(shù)K 7.輸入x(t,該算法可以歸納如下:#初始化當(dāng)前的粒子集:x mt,m =1,M;#預(yù)測(cè):對(duì)于m =1,M ,根據(jù)二階自回歸方程計(jì)算 x mt +1;#賦權(quán)值:對(duì)于m =1,M 計(jì)算各個(gè)粒子的權(quán)值;#選擇:對(duì)于m =1,M,在1,M 集合上從離散概率P ki +1k 中采樣索引A (m ,并設(shè)x mt +1= x A (mt +1.4.3 感興趣區(qū)域的確定從前面的分析可以看出,在進(jìn)行道路跟蹤時(shí),并沒有用到圖像的所有區(qū)域,據(jù)此可以減少運(yùn)算量.根據(jù)預(yù)測(cè)的狀態(tài),確定一個(gè)感興趣區(qū)域,只對(duì)該區(qū)域進(jìn)行主元

24、分析即可.該感興趣區(qū)域(見圖1,以道路的左邊緣為例由下式?jīng)Q定:x 1=m i n m=1,Mx LL (t+1/t-w l2x 2=max m=1,M x LL(t+1/t+w l2x 3=max m=1,M x LH (t+1/t+w h2x 4=m i n m=1,Mx LH (t+1/t-w h2(6這里w h 和w l 分別是邊緣窗的上、下邊長度.另外,為了進(jìn)一步減少計(jì)算量,可以隔若干幀對(duì)PCA NN 進(jìn)行一次訓(xùn)練,將訓(xùn)練結(jié)果用于隨后幾幀主元的提取.這是因?yàn)橄噜弾g在彩色和局部空間特征的分布上相差不大,主元神經(jīng)網(wǎng)絡(luò)的權(quán)值向量基本相同.整個(gè)算法的實(shí)現(xiàn)如圖4所示.250 機(jī) 器 人200

25、5年5月 圖4 算法實(shí)現(xiàn)框圖F i g .4 F l o w chart of a l gor it hm i m p l ementatio n5 實(shí)驗(yàn)結(jié)果(E xp er i m ent results道的跟蹤,該方法目前存在一些困難,而其它一些算法同樣面臨這樣的問題2.該方法的計(jì)算量取決于粒子的多少及邊緣窗的大小 .(左側(cè)第二道線表示道路的左邊緣,右側(cè)第二道線表示道路的右邊緣,左、右第一、三道線之間的區(qū)域表示邊緣窗圖5 跟蹤序列中具有代表性的兩幀F(xiàn) i g .5 Two typica l fram es of the tracked sequence6 結(jié)論(Con clusion本文提

26、出了一種非結(jié)構(gòu)化道路跟蹤方法,道路模型遞歸預(yù)測(cè)使得只需要處理圖像的一小部分而沒有丟失重要的信息.由于使用概率框架下的粒子濾波,當(dāng)跟蹤短時(shí)間內(nèi)失效時(shí),系統(tǒng)能夠自動(dòng)初始化并恢復(fù)跟蹤.由于直線道路模型所用的參數(shù)較少,故對(duì)噪聲不敏感.因?yàn)镻C A NN 提取出彩色圖像的主元,故能夠適應(yīng)光照的變化及路面和非路面表面的變化.雖然共有4個(gè)狀態(tài)參數(shù)需要估計(jì),但是對(duì)兩條道路邊緣的處理是獨(dú)立的,實(shí)際上使用了兩個(gè)濾波器,每個(gè)只需要估計(jì)兩個(gè)參數(shù),運(yùn)算量不大.如果結(jié)合道路寬度的先驗(yàn)知識(shí),則可以利用道路路況較好的一側(cè)來彌補(bǔ)另一側(cè)的跟蹤精度.我們下一步的工作是提高它的實(shí)時(shí)性,并進(jìn)行更廣泛的場地試驗(yàn).參考文獻(xiàn) (Refere

27、n ces1Tu rk M A,M orgenthal er D C,Gre mban K D,et al .VI TS :a v i s i onsyste m f or au tono m ous land veh icle navigati on J.I EEE Transac 2ti on s on Patt ern Anal ys i s and M ach i ne Intelligen ce ,1988,10(3:342-361.2Jeong H,Oh Y,Park J H,et al .V isi on 2based adapti ve and recu r 2si ve track i ng of unpaved road sJ.Pattern Recogn it