一種識別交通燈光的新方法

一種識別交通燈光的新方法

0交通燈光識別城市環(huán)境中的智能車輛必須具備以下視覺能力：障礙物檢測和跟蹤、行人檢測和跟蹤、交通標(biāo)志識別和交通信號識別[7、8、9、10、11、12和13]等。本文主要研究針對智能車輛的交通信號燈的檢測與識別。國內(nèi)外的研究團(tuán)隊(duì)對交通信號燈的檢測與識別做了大量的工作。YehuShen等用HSV空間中H、S的均值和方差來分割圖像,進(jìn)而用區(qū)域性質(zhì)來判斷圓形區(qū)域以識別交通信號燈,呂國豪等提出了用基于HSI顏色空間分割的方法來檢測和識別交通信號燈,Jin-HyungPark等通過K均值聚類的方法,檢測交通信號燈的候選區(qū)域,然后應(yīng)用簡單的圓形檢測方法來識別交通信號燈。但是這3種方法在復(fù)雜環(huán)境下,可能喪失對交通信號燈的識別能力。HwangTae-Hyun等用CIE色度閾值來分割圖像,并分割區(qū)域,最后用高斯模板進(jìn)行識別,徐成等用Lab顏色空間分割交通信號燈的候選區(qū)域,然后用模板匹配的方法識別交通信號燈,文中給出的實(shí)驗(yàn)數(shù)據(jù)表示具有較高的識別準(zhǔn)確率,但是只選擇了水平方向的交通信號燈模板,通用性不足。Lindner等提出了基于顏色空間的信號燈檢測與識別,但是實(shí)時(shí)性比較差。RaouldeCharette等應(yīng)用聚光燈檢測和模板匹配的方法來識別交通信號燈。這種方法雖然檢測和識別精確,但是識別代價(jià)較大,實(shí)時(shí)性不高?；谏鲜龇椒ǖ娜秉c(diǎn),本文提出了一種基于圓形度和顏色直方圖的識別交通信號燈的方法。首先,對原始圖像進(jìn)行預(yù)處理,轉(zhuǎn)換為二值圖像,并應(yīng)用形態(tài)學(xué)濾波法對其濾波。預(yù)處理后,計(jì)算候選區(qū)域的圓形度并檢測,根據(jù)圓形度的檢測結(jié)果來標(biāo)定交通信號燈區(qū)域。最后,把標(biāo)定的區(qū)域圖像進(jìn)行顏色空間轉(zhuǎn)換,用顏色直方圖的方法對其分量H進(jìn)行分布統(tǒng)計(jì),從而判別交通信號燈的類型。1交通健康檢測數(shù)據(jù)處理在城市環(huán)境中,交通信號燈的背景比較復(fù)雜,有很多外在的干擾,如前方汽車尾燈、道路兩邊的建筑顏色、樹木、行人穿的衣服等,而且,在各種不同的光照環(huán)境中,交通信號燈的顏色變化比較大,顏色閾值不容易選取。使用顏色分割的方法很難把交通信號燈的區(qū)域與周圍環(huán)境分開。所以,不能采用常有的顏色閾值分割方法。本文提出了一種基于圓形度和顏色直方圖的識別交通信號燈的方法,該方法的識別框架如圖1所示。交通信號燈的識別步驟:(1)車載攝像頭采集視頻,并把視頻轉(zhuǎn)換為圖像幀,幀率為25幀/s。(2)對圖像進(jìn)行預(yù)處理,首先增強(qiáng)圖像的對比度,并轉(zhuǎn)換為二值圖像,然后應(yīng)用形態(tài)學(xué)濾波,過濾圖像中不符合形態(tài)學(xué)準(zhǔn)則的小區(qū)域。(3)對預(yù)處理后的圖像應(yīng)用圓形度方法和背板顏色信息檢測,排除非交通信號燈的小區(qū)域。(4)把檢測后的區(qū)域圖像從RGB空間轉(zhuǎn)換到HSV空間,進(jìn)而用顏色直方圖對色調(diào)H進(jìn)行分布統(tǒng)計(jì),根據(jù)其分布特征來識別交通信號燈的類型。下面是圖像預(yù)處理和檢測交通信號燈的過程:因?yàn)榻煌襞c周圍景物的色差比較大,如果直接在原圖上處理,會出現(xiàn)較多誤檢,在此首先用tophat算法,它在較亮的背景中求暗的像素的聚集體,或者在較暗的背景中求較亮像素聚集體非常有效。Tophat算法如下式中:f(x,y)———輸入圖像,b(x’,y’)———結(jié)構(gòu)元素,Db———b的定義域。用原圖像先腐蝕后膨脹的圖像與原圖的差作為變換后的圖像,其中圖像的腐蝕和膨脹如下定義其中,在每個(gè)平移位置,旋轉(zhuǎn)的結(jié)構(gòu)元素的值與圖像像素值相加并計(jì)算出最大值(fue09ab)(x,y)=max{f(x-x′,y-y′)+b(x′-y′)|(x′,y′)∈Db}其中,在每個(gè)平移后位置,結(jié)構(gòu)元素值會減少圖像的像素值,所得到的值是最小值。本文中選取11×11的矩形作為tophat算法的結(jié)構(gòu)元素,增強(qiáng)對比度后的圖像如圖2(b)所示。把tophat變換后的圖像轉(zhuǎn)換為灰度圖像,轉(zhuǎn)換公式為式中:(x,y)———像素點(diǎn)的坐標(biāo)值,R,G,B———原始圖像的三通道分量,g———從轉(zhuǎn)換后的灰度圖像。再把灰度圖像用閾值T進(jìn)行分割,即通過實(shí)驗(yàn),當(dāng)T取38時(shí),可以獲得較好的分割效果,本文采用T=38作為分割閾值,得到一幅如圖3(a)所示的二值圖像。然后對二值圖像進(jìn)行標(biāo)記,標(biāo)記的小區(qū)域?yàn)镽egioni(i=1,2,3…,N),根據(jù)小區(qū)域的不同形態(tài)進(jìn)行濾波。形態(tài)學(xué)濾波采用的準(zhǔn)則如下:(1)圖像中的小區(qū)域Regioni(i=1,2,3…,N),Weighti為小區(qū)域Regioni的寬度,Highi為小區(qū)域Regioni的寬度,小區(qū)域的寬高比Ratioi取為由于圓形的交通信號燈圖像區(qū)域近似為正方形,取0.5<Ratioi<1.5對圖像進(jìn)行濾波。(2)過濾有較大空洞的區(qū)域。交通信號燈在車輛行駛的距離內(nèi)拍攝到的顏色變化都是連續(xù)的,區(qū)域內(nèi)部基本上都是完整的,不會出現(xiàn)較大的空洞,因此為了標(biāo)記出交通信號燈的區(qū)域,需要過濾掉空洞較大的區(qū)域。(3)圖像中小區(qū)域的面積為Areai,而包圍它的最小凸包面積為ConvexAreai,則該小區(qū)域的飽和度為由于交通信號燈區(qū)域?yàn)閳A形,不會有較大的凹陷,取Saturation>0.8對圖像進(jìn)行濾波。應(yīng)用形態(tài)學(xué)濾波后的二值圖像如圖3(b)所示。從圖中看出,通過圖像的預(yù)處理,圖像中留下了較少的區(qū)域,以進(jìn)行圓形度檢測。預(yù)處理后,應(yīng)用圓形度方法來檢測圓形區(qū)域。文獻(xiàn)應(yīng)用圓形度的方法識別圓形交通標(biāo)志牌,但是在交通信號燈的檢測中,還沒有使用過。圓形度檢測的公式如下所示式中:F———圓形度,Bi———區(qū)域周長,Ai———區(qū)域面積。對于一個(gè)標(biāo)準(zhǔn)圓,F的取值應(yīng)為4π。圖像預(yù)處理后,已經(jīng)排除了一些不符合形態(tài)學(xué)濾波的小區(qū)域作為候選區(qū)域。對于余下的標(biāo)記區(qū)域,重新對這些區(qū)域進(jìn)行排序,標(biāo)記為Remaini(i=1,2,3…,M),以小區(qū)域的像素個(gè)數(shù)作為區(qū)域的近似面積Ai,以小區(qū)域邊界上的像素個(gè)數(shù)作為近似為區(qū)域的周長Bi,利用式(6)計(jì)算出各個(gè)區(qū)域的圓形度。由于面積和周長用像素個(gè)數(shù)來近似,且交通燈的區(qū)域較小,計(jì)算的小區(qū)域的圓形度偏離了數(shù)學(xué)計(jì)算的結(jié)果4π。由多次實(shí)驗(yàn)的結(jié)果,可取圓形度F的在[8,10.5]之間。如果小區(qū)域i的圓形度F大于8,小于10.5,記錄該區(qū)域的標(biāo)記號i。判斷小區(qū)域的圓形度后,符合圓形的區(qū)域可能超過1個(gè),或者檢測到的1個(gè)圓形區(qū)域是非交通信號燈的區(qū)域。這時(shí),就需要利用交通信號燈的燈板信息。一般的交通信號燈的燈板有橫板和豎板兩種不同形式。這里以豎板交通信號燈為例,如圖4所示。如果單個(gè)信號燈的直徑為L,一個(gè)燈板高度略大于3×L,寬度略大于L。正常情況下,在同一個(gè)時(shí)刻,只可能有一個(gè)信號燈正常工作,其它兩個(gè)燈的區(qū)域的顏色基本上與燈板的顏色接近。經(jīng)圓形度方法過濾后,余下的候選區(qū)域都符合圓形特征。此時(shí)需要判斷該圓形區(qū)域4個(gè)領(lǐng)域是否為黑色的燈板。取該區(qū)域的外接矩形的長和寬的最大值為L。在該區(qū)域的上下左右4個(gè)方向取4個(gè)與該矩形相等的鄰接矩形,記為Neighbor{U,D,L,W},如圖4(b)所示。鄰接矩形區(qū)域的RGB這3個(gè)通道的均值為如果該區(qū)域RGB這3個(gè)通道的顏色均值都小于20,則認(rèn)為該區(qū)域?yàn)橐粋€(gè)黑色矩形區(qū)域。如果4個(gè)區(qū)域中有一個(gè)為黑色區(qū)域,則認(rèn)為該區(qū)域?yàn)橐粋€(gè)交通信號燈區(qū)域,并從原圖像中截取該區(qū)域的彩色圖像,以識別交通信號燈的顏色。否則認(rèn)為該區(qū)域?yàn)榉墙煌ㄐ盘枱魠^(qū)域。圓形度和背板檢測后的圖像如圖5(a)所示。為了清楚其間,在原圖像中標(biāo)定出檢測到的圓形區(qū)域,如圖5(b)所示。2紅黃綠3種顏色交通設(shè)備的顏色信息把從原圖像中截取的交通信號燈區(qū)域圖像從RGB空間轉(zhuǎn)換到HSV空間,進(jìn)而使用顏色直方圖的統(tǒng)計(jì)量信息,對交通信號燈的類型進(jìn)行識別,并寫入文本文件中,以供其它程序調(diào)用。HSV(hue,saturation,value)表示色相、飽和度和亮度。顏色信息主要由色調(diào)H區(qū)分。用顏色直方圖對色調(diào)H進(jìn)行統(tǒng)計(jì),基本上可以分開信號燈的顏色(紅,黃,綠)。在Matlab中,歸一化后,HSV的3個(gè)分量值均在0~1之間。紅黃綠3種顏色交通信號燈的色調(diào)H的范圍如下:紅色交通信號燈區(qū)域:[0,0.0667]∪[0.9058,1];綠色交通信號燈區(qū)域:[0.2549,0.5882]。首先將彩色區(qū)域圖像從RGB空間轉(zhuǎn)換為HSV空間圖像。然后用顏色直方圖統(tǒng)計(jì)色調(diào)H在紅黃綠3種顏色范圍內(nèi)的像素個(gè)數(shù)Number{R,Y,G},區(qū)域總的像素個(gè)數(shù)記為Total。兩者的比率為則可得交通信號燈顏色的判斷如下為了便于理解,對截取的交通信號燈區(qū)域圖像,紅黃綠3種顏色交通信號燈的顏色直方圖如圖6所示。從圖中可以看出,用顏色直方圖統(tǒng)計(jì)可以較好的區(qū)分紅黃綠三色信息。3在不同光照下的識別用車載攝像頭在交通路口采集的視頻,取3段視頻,然后轉(zhuǎn)換為幀率為25幀/s的圖像幀。在Matlab中對上述圖像應(yīng)用算法1、算法2以及本文提出的方法進(jìn)行交通信號燈的識別。識別率如表1所示。算法1由于要提取先驗(yàn)的紅綠燈的顏色的均值和方差,和算法2是基于HSI空間的顏色信息,這些信息在不同的場景、光照等條件下,顏色值變化比較大,很難找到一個(gè)統(tǒng)一的閾值來分割圖像。所以,算法1和算法2在不同的光照下識別率變化很大,而本文的算法比較穩(wěn)定,在不同的光照下都能得到較為滿意的識別效果。圖7為實(shí)驗(yàn)中,本文算法識別到的紅黃綠3種顏色交通信號燈的在原圖像中的位置。在交通信號燈變化的時(shí)候,有一個(gè)閃爍的時(shí)間,而這時(shí)檢測不到任何交通信號燈?？梢愿鶕?jù)連續(xù)未檢測到的交通信號燈幀數(shù)及幀率來判定交通信號燈是否閃爍,從而為智能車輛行駛提供及時(shí)的交通信號燈信息。實(shí)驗(yàn)表明,通過用本文提出的交通信號燈識別方法,能夠有效的檢測到交通燈位置并識別交通燈的類型,且識別率在97%以上。4交通燈光類型的檢測方法在交通信號燈的檢測和識別研究中,大部分論文都是基于顏色分割的方法,來識別交通信號燈。但是由于光照、相機(jī)的曝光率和城市環(huán)境的復(fù)雜度等因素的影響,很難找到統(tǒng)一的閾值來分割紅綠黃交通信號燈的顏色。從而給識別交通信號燈造成了困難。本文為提高檢測和識別效率,兼顧識別的速度,提出了基