基于機(jī)器視覺(jué)的智能車輛障礙物檢測(cè)方法研究

1、V ol119N o14公路交通科技2002年8月JOURNA L OF HIGHWAY AND TRANSPORT ATION RESEARCH AND DEVE LOPMENT 文章編號(hào):10020268(200204012604收稿日期:20010806基于機(jī)器視覺(jué)的智能車輛障礙物檢測(cè)方法研究李斌,王榮本,郭克友(吉林大學(xué)交通學(xué)院,吉林長(zhǎng)春130025摘要:著重闡述基于機(jī)器視覺(jué)的前方車輛障礙物檢測(cè)方法。首先根據(jù)公路上前方車輛的先驗(yàn)特征模型,建立障礙物探測(cè)的感興趣區(qū),以縮小搜索區(qū)域;隨后提出一種新的對(duì)稱變換算子,用于檢測(cè)障礙物車輛的對(duì)稱軸,并確定障礙物車輛的矩形輪廓。為進(jìn)一步提高障礙物檢測(cè)

2、的實(shí)時(shí)性,采用遞歸模板匹配法對(duì)障礙物進(jìn)行跟蹤。試驗(yàn)表明上述方法是有效的。關(guān)鍵詞:智能車輛;機(jī)器視覺(jué);對(duì)稱變換中圖分類號(hào):U49116文獻(xiàn)標(biāo)識(shí)碼:AStudy on Machine Vision Ba sed Obstacle Detection and Recognition Methodfor Intelligent VehicleLI Bin,WANG Rongben,G UO K eyou(T ransportation C ollege of Jilin University,JilinChangchun130025,ChinaAbstract:A leading vehicle de

3、tection and recognition method based on machine vision is mainly described in this paper.Firstly,in or2 der to reduce the searching area,an area of interest(AOIfor the obstacle is g otten based on the image contour detection and the priori knowledge of the leading vehicle on the road.Secondly,a new

4、symmetry trans form operator used to search for the symmetry axis of the leading vehicle in the image is proposed,and its the rectangle contour is obtained using the hough trans form.Then the concept of sym2 metry distance is introduced to validate the leading vehicle.Further m ore,in order to im pr

5、ove real time obstacle detection,a recursive tem plate matching method is established to track the leading vehicles location in the image.The experiment results indicate its validity. K ey words:Intelligent vehicle;Machine vision;Symmetry trans form探測(cè)障礙物和預(yù)測(cè)危險(xiǎn)是智能車輛不可缺少的重要功能。對(duì)前方車輛進(jìn)行實(shí)時(shí)自動(dòng)探測(cè)和識(shí)別對(duì)于保持安全車距、防

6、止發(fā)生碰撞事故具有十分重要的意義,也是安全行駛的前提條件。視覺(jué)是人類觀察世界、認(rèn)識(shí)世界的重要功能手段,駕駛員駕駛車輛過(guò)程中所需要信息的90%來(lái)自視覺(jué)1。而從圖像處理與模式識(shí)別發(fā)展起來(lái)的計(jì)算機(jī)視覺(jué)(也稱機(jī)器視覺(jué),能夠利用圖像和圖像序列來(lái)識(shí)別和認(rèn)知三維世界,使計(jì)算機(jī)實(shí)現(xiàn)人的視覺(jué)系統(tǒng)的某些功能。因此機(jī)器視覺(jué)已成為目前智能車輛及安全輔助駕駛中信息獲取手段的主要途徑。本文立足機(jī)器視覺(jué)技術(shù),提出了一種比較系統(tǒng)的障礙物實(shí)時(shí)探測(cè)識(shí)別方法。試驗(yàn)驗(yàn)證了它的有效性。1基于先驗(yàn)知識(shí)的車輛特征模型通常,人們對(duì)待識(shí)別和定位的目標(biāo)都具有先驗(yàn)知識(shí),人類視覺(jué)系統(tǒng)之所以能識(shí)別和分辨千差萬(wàn)別的目標(biāo),也是長(zhǎng)期積累先驗(yàn)知識(shí)或者說(shuō)是訓(xùn)練

7、學(xué)習(xí)的結(jié)果。公路上行駛的前方車輛在灰度圖像中主要呈現(xiàn)以下后視特征:11形狀特征。大體為矩形,而且滿足特殊的形狀比例,寬一般在12m之間,高一般在13m之間。21邊界特征。底部水平線、左右兩側(cè)的垂直邊、后車窗、保險(xiǎn)杠、車牌在圖像中呈明顯的邊界特征。31灰度特征。一般情況下,車輛在圖像中與背景灰度有顯著差異。可考慮離線建立背景的灰度特征模型,以便在線時(shí)和車輛的灰度進(jìn)行比較。41對(duì)稱性特征。車輛的對(duì)稱特征包括灰度對(duì)稱、水平邊緣和垂直邊緣對(duì)稱。51位置特征。一般位于車道線內(nèi)。61序列圖像特征。前方車輛在圖像序列中呈一定的連續(xù)性 。圖1障礙物探測(cè)識(shí)別流程圖71動(dòng)態(tài)變化特征。車輛特征模型應(yīng)是動(dòng)態(tài)變化的。距

8、離不同所呈現(xiàn)的特征是不同的。例如,當(dāng)車輛距離較遠(yuǎn)時(shí),往往僅灰度特征較明顯,但隨著車輛逐漸靠近,其形狀、邊界和對(duì)稱特征也逐步明顯。本文提出的車輛障礙物檢測(cè)方法,首先從中選取部分有效特征,運(yùn)用大量的先驗(yàn)知識(shí),對(duì)車輛進(jìn)行探測(cè)和識(shí)別。障礙物檢測(cè)過(guò)程可以分為兩個(gè)階段:首先利用先驗(yàn)知識(shí)探測(cè)前方車輛,形成障礙物假設(shè)和感興趣區(qū),然后在感興趣區(qū)中確認(rèn)識(shí)別障礙物。在連續(xù)的圖像序列中,當(dāng)前方車輛障礙物被確認(rèn)后,后續(xù)圖像中采用遞歸模板匹配法跟蹤障礙物目標(biāo)。車輛障礙物檢測(cè)流程如圖1。2障礙物探測(cè)及感興趣區(qū)的建立211障礙物搜索區(qū)域的縮小行駛在公路上的車輛都有一定的位置特征,不失一般性。假設(shè)當(dāng)前車輛始終在同一車道內(nèi)行駛,

9、則當(dāng)前車道以外的障礙物并不影響當(dāng)前車輛行駛安全。因此本文的研究對(duì)象限于當(dāng)前車道內(nèi)的前方車輛。也就是說(shuō),搜索障礙物的區(qū)域可由整個(gè)圖像縮小為由兩條車道線相交組成的三角區(qū)域,如圖2左邊所示。若當(dāng)前車輛在車道正中央平行于車道線行駛,則理想情況下,兩車道線的交點(diǎn)即為延伸焦點(diǎn)FOE (F ocus of Ex 2pend ,FOE 在圖像中的位置是不變的。根據(jù)上述約束縮小搜索區(qū)域有利于縮短障礙物檢測(cè)時(shí)間。車道線檢測(cè)方法在筆者以前的工作和論文中已有體現(xiàn)2,在此不再贅述。212障礙物探測(cè)對(duì)于高速運(yùn)動(dòng)的車輛,盡可能早的發(fā)現(xiàn)前方障礙物對(duì)于其安全行駛是非常必要的,所以應(yīng)對(duì)障礙物進(jìn)行預(yù)前探測(cè)。為此本文采用的攝像機(jī)由高

10、分辨率的黑白CC D 和25mm 的長(zhǎng)焦鏡頭組成。當(dāng)障礙物較遠(yuǎn)時(shí),其位于圖像的FOE 延伸焦點(diǎn)附近,幾乎可以看作是靜止的,對(duì)其很難進(jìn)行運(yùn)動(dòng)檢測(cè),只能利用障礙物車輛的特征模型。但是障礙物距離遠(yuǎn)則成像較小,例如車寬2m ,距離80m 左右時(shí)成像大小僅為約40pixels ,在這種情況下,特征也不易抽取,進(jìn)行水平邊緣和垂直邊緣檢測(cè)以及對(duì)稱檢測(cè)意義均不大?；诖?本文將障礙物檢測(cè)分為兩個(gè)階段,即初步探測(cè)階段和確認(rèn)識(shí)別階段。當(dāng)障礙物距離較遠(yuǎn)時(shí),可根據(jù)障礙物的早期特征線索進(jìn)行探測(cè),形成障礙物假設(shè)目標(biāo),并隨著障礙物的逐步靠近,對(duì)障礙物進(jìn)行確認(rèn)識(shí)別。從另一方面講,障礙物遠(yuǎn),對(duì)當(dāng)前車輛的安全威脅小,可以先進(jìn)行初

11、步探測(cè);隨著障礙物越來(lái)越近,雖然對(duì)當(dāng)前車輛的安全威脅越來(lái)越大,但障礙物恰好被逐步確認(rèn)識(shí)別。一般車輛包含許多水平結(jié)構(gòu),如底部水平陰影線、后車窗、保險(xiǎn)杠、車牌等。當(dāng)車輛距離較遠(yuǎn)時(shí),圖像上水平邊緣聚集的特點(diǎn)較明顯,可作為探測(cè)障礙物車輛的線索。具體步驟如下:11根據(jù)車輛在圖像上水平邊緣聚集的特點(diǎn),對(duì)圖像進(jìn)行水平S obel 變換(如圖2右,增強(qiáng)水平邊緣。21在兩車道線確定的三角搜索區(qū)域內(nèi),以每行象素的灰度均值為度量,自下而上逐行掃描?；跈C(jī)器視覺(jué)的智能車輛障礙物檢測(cè)方法研究李斌等31一般而言,灰度均值階躍變化所在行(均值突變行的位置對(duì)應(yīng)著障礙物車輛的最下邊緣(主要是由車輛底部的陰影造成,即探測(cè)到可能的

12、障礙物車輛。41若在整個(gè)搜索區(qū)域內(nèi)沒(méi)有灰度均值突變,則認(rèn)為當(dāng)前車道內(nèi)沒(méi)有障礙物 。圖2水平S obel 變換213感興趣區(qū)的建立根據(jù)統(tǒng)計(jì)規(guī)律,灰度均值突變行附近區(qū)域存在障礙物車輛的幾率非常大。因此可以此為基礎(chǔ)建立矩形形狀的感興趣區(qū)AOI (Area of Interest 。AOI 應(yīng)適當(dāng)大于車輛的實(shí)際尺寸。具體步驟如下:11以灰度均值突變行下方第k 行(k 的值由實(shí)際標(biāo)定而得,本文中k =5作為AOI 的底邊,求該底邊與兩車道線的交點(diǎn)。21分別由左右交點(diǎn)向上引豎直線作為AOI 的兩側(cè)邊。高度的選取根據(jù)車輛形狀的先驗(yàn)知識(shí),盡量將車輛全部包含在AOI 中。本文采用43的高寬比,如圖3所示的矩形框

13、即為獲得的AOI 。圖3感興趣區(qū)AOIAOI 的建立意味著已形成障礙物假設(shè)目標(biāo)。下一步工作就是在AOI 中對(duì)假設(shè)目標(biāo)進(jìn)行確認(rèn)識(shí)別。3障礙物的識(shí)別確認(rèn)本文基于車輛的矩形邊緣特征和對(duì)稱特性來(lái)確認(rèn)識(shí)別目標(biāo)車輛,以提高識(shí)別的有效性。在建立AOI 過(guò)程中,為了將可能的障礙物區(qū)域全部包括其中,AOI 的區(qū)域比實(shí)際的障礙物車輛要大(如圖3。因此,在確認(rèn)障礙物前,應(yīng)首先獲得障礙物在AOI 中的具體位置。為此,本文基于車輛的灰度對(duì)稱性,提出一種搜索車輛對(duì)稱軸的對(duì)稱變換方法。311對(duì)稱軸求取利用對(duì)稱變換ST (Symmetry T rans form 算子對(duì)AOI 進(jìn)行對(duì)稱變換,然后利用H ough 變換檢測(cè)垂直

14、的對(duì)稱軸。算子窗口的大小為(2k +1×(2k +1,中心位于(i ,j ,k 值可根據(jù)實(shí)際情況選取,本文中k =9。采用窗口模板操作,ST i ,j 表示操作結(jié)束后賦給窗口中心位置的灰度值,模板運(yùn)算公式如下ST i ,j =M i ,j E i ,j 255(1M i ,j =e -|m i ,j |(2m i ,j =r =+k r =-ks =+ks =-k gi -r ,j -s s 3(3E i ,j=-l =255l =0p lln pl+(1-p l ln (1-p l (4式中,m i ,j 為窗口中灰度的三階中心矩3;M i ,j 為窗口中灰度對(duì)稱度量的權(quán)值;E i

15、 ,j 為窗口中灰度的熵權(quán)值4(已經(jīng)規(guī)一化;p l 為窗口內(nèi)灰度值l 出現(xiàn)的概率,在這里用頻率近似代替。熵權(quán)值的引入,主要是為了消除灰度一致區(qū)域(如路面對(duì)對(duì)稱度量的影響。如果沒(méi)有考慮熵權(quán)值,灰度一致區(qū)域則表現(xiàn)為很高的對(duì)稱性。由于熵表示信息量的多少,因此灰度一致區(qū)域的熵是很小的,而公式中加入熵因子將有效抑制灰度一致區(qū)域的影響。對(duì)AOI 進(jìn)行對(duì)稱變換后,對(duì)稱軸灰度被加強(qiáng),其它區(qū)域被弱化。如圖4所示 。圖4 對(duì)稱軸求取圖5車輛輪廓312確定車輛矩形輪廓在對(duì)原灰度圖像進(jìn)行垂直S obel 邊緣檢測(cè)基礎(chǔ)上,在AOI 內(nèi)進(jìn)行垂直方向H ough 變換,檢測(cè)垂直直線,即車輛障礙物的兩側(cè)邊界輪廓,并結(jié)合的對(duì)稱

16、軸位置,對(duì)車輛障礙物進(jìn)行初步確認(rèn),即兩邊界應(yīng)對(duì)稱分布在軸線兩側(cè)。313對(duì)稱性度量通過(guò)前面的運(yùn)算,已經(jīng)得到對(duì)稱軸線和車輛矩形輪廓,下面用連續(xù)對(duì)稱的概念從數(shù)值上刻畫對(duì)稱的程度。對(duì)稱性是車輛的重要特征。根據(jù)連續(xù)性對(duì)稱度量概念,引入對(duì)稱距離(Symmetry Distance 5,即把一給定的圖形變換為其相應(yīng)的對(duì)稱圖形所需要的最小“能公路交通科技2002年第4期量”(efforts or energy。對(duì)稱距離SD可從數(shù)值上刻畫其對(duì)稱的程度。對(duì)稱距離通過(guò)求矩形框內(nèi)對(duì)稱軸線兩側(cè)對(duì)應(yīng)象素灰度值g left和g right之間的均方誤差獲得,即SD=E(g left-g right2(5 SD越小表示當(dāng)前矩

17、形區(qū)域內(nèi)對(duì)稱程度越高。當(dāng)SD小于一閾值時(shí),即可確認(rèn)障礙物的存在( 如圖6。閾值的選取應(yīng)根據(jù)先驗(yàn)統(tǒng)計(jì)規(guī)律。本文閾值取95。圖6障礙物確認(rèn)314試驗(yàn)驗(yàn)證為驗(yàn)證以上算法的有效性,以吉林大學(xué)交通學(xué)院智能車輛課題組研制的JUTI V2智能車輛為平臺(tái)進(jìn)行道路試驗(yàn)。JUTI V2以機(jī)器視覺(jué)為導(dǎo)航方式,其圖像采集系統(tǒng)由分辨率為640×480的普通黑白CC D和25mm鏡頭組成,探測(cè)距離可達(dá)80m左右。圖像處理基于普通臺(tái)式計(jì)算機(jī)(Pentium II450M MX。道路試驗(yàn)結(jié)果表明,利用上述算法進(jìn)行前方車輛障礙物檢測(cè),誤檢率為1123%,漏檢率僅為0142%,平均檢測(cè)時(shí)間為42ms,基本可以滿足實(shí)時(shí)性

18、要求。說(shuō)明本文算法是有效的。針對(duì)存在的誤檢和漏檢現(xiàn)象,筆者將在今后的工作中采用傳感器數(shù)據(jù)融合方法進(jìn)行解決。4障礙物跟蹤前面介紹的前方車輛探測(cè)和確認(rèn)識(shí)別方法是針對(duì)單幀靜態(tài)圖像的。一般情況下,障礙物目標(biāo)被確認(rèn)后,并不會(huì)馬上消失,其在序列圖像中是連續(xù)存在的。即障礙物目標(biāo)的位置有一定的連續(xù)性,其特征有很大的相關(guān)性。因此如果利用這種連續(xù)性和相關(guān)性,來(lái)對(duì)障礙物進(jìn)行動(dòng)態(tài)跟蹤,勢(shì)必比每一次都要搜索整個(gè)路面來(lái)探測(cè)要節(jié)省很多時(shí)間,從而可提高障礙物檢測(cè)的實(shí)時(shí)性和可靠性。圖7所示的跟蹤算法是一種遞歸的模板匹配法,采用此方法,建立AOI時(shí)不需要每次都進(jìn)行車道檢測(cè)和車輛探測(cè),而是直接利用前一幀圖像已獲得的障礙物信息,在當(dāng)前幀圖像中尋找AOI。模板匹配法采用的模板可以基于障礙物的邊界、輪廓、灰度等特征。由于邊界、輪廓在很大程度上依賴于特征提取算法, 計(jì)算時(shí)間也較長(zhǎng)。因此本文采用灰度特征模板。用相關(guān)系數(shù)度量匹配程度,見(jiàn)式6。圖7遞歸模板匹配跟蹤算法框圖模板是動(dòng)態(tài)變化的?？偸且郧耙粠?/p>