基于數(shù)學(xué)形態(tài)學(xué)的汽車車牌圖像處理方法

基于數(shù)學(xué)形態(tài)學(xué)的汽車車牌圖像處理方法

0影響有很大的影響圖像分割包括將圖像劃分為具有不同屬性的區(qū)域，提取感興趣目標(biāo)的技術(shù)和過程。在劃分時，首先，根據(jù)目標(biāo)和背景的初驗(yàn)知識在圖像中標(biāo)記和定位目標(biāo)和背景，然后識別目標(biāo)，從背景或其他偽目標(biāo)中分離。然而，在實(shí)際應(yīng)用中，快速有效地將感覺目標(biāo)從復(fù)雜背景中分離出來是一個難以解決的問題。本文的目的就是要研究出一種將汽車的牌照從復(fù)雜的背景中分割出來,以便進(jìn)一步識別的方法.由于車輛圖象自然背景及車身背景都很豐富,且光照條件(白天,黑夜)、天氣條件(陰、雨、霧、雪)也對車輛圖象有很大影響;另一方面,由于車牌本身會有不同程度的模糊、磨損和變形.這些都給車牌定位帶來很大困難,所以需要進(jìn)行一系列預(yù)處理.為了準(zhǔn)確快速地進(jìn)行車牌定位,人們提出了很多分割算法,其中大部分分割算法都是基于車牌的不同特征進(jìn)行的,目前所利用的車牌特征有:(1)車牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)特征;(2)車牌的幾何特征,即車牌的高、寬及高寬比;(3)車牌區(qū)域的紋理特征,即穿過車牌的水平直線,其灰度呈現(xiàn)連續(xù)的峰、谷、峰分布;(4)車牌區(qū)域圖象的水平(垂直)投影特征;(5)車牌形狀特征及字符排列格式特征,如車牌有矩形邊框;(6)頻譜特征.其分割方法有多種:如運(yùn)用Hough變換,通過檢測直線來提取車牌邊界區(qū)域;使用灰度分割及區(qū)域生長來進(jìn)行區(qū)域分割;使用紋理特征分析技術(shù)等等.但是Hough變換方法在車牌區(qū)域變形或圖象被污損時,失效的可能性會大大增加;相比之下,灰度分割卻比直線檢測的方法要穩(wěn)定,但當(dāng)圖象有許多與車牌的灰度非常相似的區(qū)域時,該方法也無能為力;另外,紋理分析在遇到類似于車牌紋理特征的其他干擾時,車牌定位正確率也會受到影響.由于在具有復(fù)雜背景的汽車圖象中,非車牌區(qū)域可能會具有車牌區(qū)域的某一特征,所以若僅使用車牌的單一特征來分割車牌,效果往往不好,而綜合利用車牌的多個特征,則可以有效地濾除偽車牌,以獲得目標(biāo)車牌.在以往的車牌分割算法中,也考慮了綜合運(yùn)用各種車牌特征來提高車牌定位準(zhǔn)確性的問題.在上述算法中,由于采用物體的形態(tài)特征來進(jìn)行圖象分析,容易實(shí)現(xiàn)并行處理,且能較好的滿足車牌定位的實(shí)時性要求,因此,本文結(jié)合車牌紋理及車牌幾何形狀的特點(diǎn),設(shè)計(jì)了一種基于數(shù)學(xué)形態(tài)學(xué)的車牌定位方法,與其他傳統(tǒng)分析方法相比,該方法在定位準(zhǔn)確度、運(yùn)算速度和抗干擾能力上有明顯優(yōu)勢.1象象處理與分析方法數(shù)學(xué)形態(tài)學(xué)的應(yīng)用幾乎覆蓋了圖象處理的每個領(lǐng)域,包括抑制噪聲、特征提取、邊緣檢測、圖象分割、文字識別、圖象編碼壓縮等圖象處理問題.迄今為止,還沒有一種方法能像數(shù)學(xué)形態(tài)學(xué)那樣,既有堅(jiān)實(shí)的理論基礎(chǔ)和簡潔、樸素、統(tǒng)一的基本思想,又具有如此廣泛的實(shí)際應(yīng)用價值.數(shù)學(xué)形態(tài)學(xué)圖象處理的基本思想,是利用一個稱為結(jié)構(gòu)元素的探針來收集圖象的信息.當(dāng)探針在圖象中不斷移動時,不僅可根據(jù)圖象各個部分間的相互關(guān)系來了解圖象的結(jié)構(gòu)特征,而且利用數(shù)學(xué)形態(tài)學(xué)基本運(yùn)算還可以構(gòu)造出許多非常有效的圖象處理與分析方法.其最基本的形態(tài)運(yùn)算是腐蝕和膨脹.按定義,二值圖象上目標(biāo)邊界點(diǎn)是指位于目標(biāo)內(nèi)部,且至少有一個鄰點(diǎn)位于目標(biāo)之外的像素.用B代表結(jié)構(gòu)元素,對工作空間A(被處理的圖象)中的每一點(diǎn)x,腐蝕和膨脹的定義分別為腐蝕:A?B=∩{A-b:b∈B}(1)膨脹:A⊕B=∪{A+b:b∈B}(2)腐蝕具有使目標(biāo)縮小、目標(biāo)內(nèi)孔增大,以及外部孤立噪聲消除的效果;膨脹是將圖象中,與目標(biāo)物體接觸的所有背景點(diǎn)合并到物體中的過程,結(jié)果是使目標(biāo)增大、孔洞縮小,可填補(bǔ)目標(biāo)中的空洞,使其形成連通域.在數(shù)學(xué)形態(tài)學(xué)圖象處理中,除了腐蝕和膨脹這兩種基本運(yùn)算外,還有兩種非常重要的運(yùn)算方法,即開運(yùn)算和閉運(yùn)算.其定義如下:開運(yùn)算:A○B(yǎng)=(A?B)⊕B(3)閉運(yùn)算:A●B=(A⊕B)?B(4)其中,先腐蝕、后膨脹的過程稱為開運(yùn)算,它具有消除圖象上細(xì)小物體,并在物體影像纖細(xì)處(目標(biāo)狹窄區(qū))分離物體和平滑較大物體邊界的作用;先膨脹后腐蝕的過程稱為閉運(yùn)算,它具有填充物體影像內(nèi)細(xì)小空洞,連接鄰近物體和平滑邊界的作用.2車牌分割的局部特征盡管汽車圖象的背景很復(fù)雜,但車牌區(qū)域中的字符目標(biāo)卻有一定的規(guī)律,如穿過車牌的水平直線,其灰度就呈現(xiàn)連續(xù)的峰、谷、峰的紋理分布,其一維灰度特征如圖1(b)所示.而牌照字符目標(biāo)圖象,則具有如下特點(diǎn):(1)牌照字符與牌照底交界處有較大的灰度值跳變;(2)牌照內(nèi)有多個字符,基本成水平排列,形成一個矩形區(qū)域;(3)不同圖象中,牌照的大小、位置雖不確定,但牌照大小變化有一定范圍,因此如何將上述3種車牌區(qū)域特點(diǎn)都被車牌分割算法所利用,是本文研究的重點(diǎn).如圖1所示,車牌字符灰度具有如下特征:當(dāng)橫向掃描線通過車牌圖象時,車牌區(qū)的灰度跳變明顯,但跳變寬度不超過兩倍字符寬度,而且在車牌區(qū)內(nèi)跳變密集分布(如圖1(b)所示).而其他區(qū)域,灰度變化不明顯或者灰度跳變不密集分布.任何分割算法,由于都是基于分割對象的特征,以及根據(jù)與周圍特征的差異來分割圖象的,所以車牌分割選取可靠的參數(shù)是關(guān)鍵性的問題.本文則選取車牌紋理及車牌幾何形狀作為特征來對車牌進(jìn)行定位.車牌紋理雖具有很強(qiáng)的穩(wěn)定性和可識別性,但如何描述才能更加貼近車牌紋理是決定車牌正確分割的關(guān)鍵.一些研究者采用水平密集跳變數(shù)作為車牌紋理特征,雖能較好定位出“準(zhǔn)車牌”,但由于定位出的“準(zhǔn)車牌”較多,因而為后續(xù)準(zhǔn)確定位車牌帶來了難度,這是因干擾及車體影像的局部灰度跳變特征與簡單的車牌紋理描述特征相似所致.但進(jìn)一步觀察發(fā)現(xiàn),車牌灰度密集跳變的間距具有一定的寬度,其最大跳變寬度為兩倍車牌字符寬度,因此可利用這一特征來進(jìn)行識別.如在實(shí)際的拍攝環(huán)境(十字路口,地下停車場等),設(shè)有相應(yīng)的檢測設(shè)備(如車輛檢測線圈),當(dāng)汽車闖紅燈時,檢測設(shè)備即被觸發(fā),并立即采集圖象,從觸發(fā)到采集圖象的時間小于40ms,如車以100km/s行駛速度算,也只走了1m,由于圖象中車牌大小變化很小(拍攝距離大于6m),因此可以把車牌字符間距作為可靠的特征來參與車牌定位的識別.為增強(qiáng)車牌大小變化的兼容性,本文取最大車牌字符間距a(單個車牌字符間距)和字符高度4b(4b為單個車牌字符高度)作為形態(tài)濾波的參數(shù).3重點(diǎn)特征模型的編碼由于一些研究者只考慮車牌紋理結(jié)構(gòu),而忽視車牌整體結(jié)構(gòu),或由于只考慮車牌整體結(jié)構(gòu),而忽視細(xì)小紋理結(jié)構(gòu),從而造成錯誤分割.這主要是由于細(xì)小紋理結(jié)構(gòu)與車牌整體結(jié)構(gòu)較難協(xié)調(diào)統(tǒng)一所致.近幾年來,研究者注意到基于兩種以上特征的車牌定位分割方法,具有更高的準(zhǔn)確度,并研究出了很多算法,如基于車牌顏色和車牌幾何形狀的定位分割方法;基于車牌紋理水平密集跳變和車牌形狀的定位分割算法;基于邊緣提取和車牌形狀的定位分割算法等等.在上述的算法中,盡管也綜合考慮了兩種以上的車牌特征,但因基于各特征的定位算法都是獨(dú)立處理、串行工作的,難于相互協(xié)調(diào),致使定位出的偽車牌數(shù)增加,從而增大了車牌定位的難度.近幾年來,隨著數(shù)學(xué)形態(tài)學(xué)在圖象處理中的廣泛運(yùn)用,如今把數(shù)學(xué)形態(tài)學(xué)運(yùn)用于車牌定位的分割算法,雖已屢見不鮮,但仍存在以下缺點(diǎn):(1)由于在圖象處理的前期工作中,采用數(shù)學(xué)形態(tài)學(xué)的開(閉)運(yùn)算,進(jìn)行圖象處理后,依然存在大量不符合車牌長度的短線和孤立點(diǎn),因此給后期的車牌定位帶來很大干擾和不確定因素;(2)由于預(yù)處理工作的不徹底,還需要進(jìn)行一系列的基于點(diǎn)的數(shù)學(xué)形態(tài)學(xué)開閉運(yùn)算,因此運(yùn)算速度明顯下降,而本文綜合運(yùn)用了數(shù)學(xué)形態(tài)學(xué)和評價函數(shù)方法,由于更貼近地表述了車牌的綜合特征及與周圍的差異特性,并極大地避免了因“偽車牌“的出現(xiàn),而造成錯誤分割的問題,因此具有更準(zhǔn)確的分割效果和更強(qiáng)的抗干擾性能.作者運(yùn)用數(shù)學(xué)形態(tài)學(xué)的膨脹算法,結(jié)合信號處理中的帶通濾波算法,把紋理結(jié)構(gòu)與車牌整體結(jié)構(gòu)特征相統(tǒng)一,由于兼顧兩種車牌特征而大大減少了誤判的概率,因此具有很高的識別率.在進(jìn)行數(shù)學(xué)形態(tài)學(xué)運(yùn)算前,先需將車牌圖象二值化,本文采用的掃描差分二值化閾值迭代算法的步驟如下:(1)將圖象中的任意點(diǎn)Ii,j與相鄰點(diǎn)Ii-1,j相減,然后取絕對值,存入矩陣Mi,j,令迭代次數(shù)k=1.(2)將矩陣Mi,j中的任意點(diǎn)mi,j與指定閾值T進(jìn)行比較(如果k=1,則取T=110∑i=110TiΤ=110∑i=110Τi),然后將整個圖象二值化.如mi,j>T,則為1,否則為0.(3)運(yùn)用數(shù)學(xué)形態(tài)學(xué)的膨脹算法.取長度為(2a+1)的一維結(jié)構(gòu)元素B對二值圖象A進(jìn)行膨脹運(yùn)算.膨脹運(yùn)算后,在車牌區(qū)的橫向掃描線上,因峰、谷、峰的紋理特征相互融合而轉(zhuǎn)變?yōu)榫哂幸欢▽挾鹊拿}沖,如圖1(c)所示.該脈沖寬度可近似視為車牌寬度.(4)對橫向掃描線上的方波進(jìn)行直線帶通濾波.其中,對方波寬度小于車牌長度或大于2倍車牌長度的直線,即認(rèn)為是干擾,予以濾除.(5)計(jì)算滿足帶通濾波規(guī)則的直線總數(shù)p,以及滿足帶通濾波規(guī)則的掃描線上的灰度跳變總數(shù)g,若不滿足評價函數(shù)f(p,g),且k=k+1,則轉(zhuǎn)步驟2,否則轉(zhuǎn)步驟6.(6)執(zhí)行數(shù)學(xué)形態(tài)學(xué)的線開運(yùn)算(線運(yùn)算類似于數(shù)學(xué)形態(tài)學(xué)的點(diǎn)運(yùn)算,只是以直線為運(yùn)算單位).如圖2(b)、圖3(b)所示,車牌區(qū)域在垂直方向上也是連續(xù)的.假定單個車牌字符高度為4b,則取長度為(2b+1)的一維結(jié)構(gòu)元素B對二值圖象A進(jìn)行開運(yùn)算,而這種開運(yùn)算將濾除小于2b高度的偽車牌區(qū).如果最大垂直連續(xù)區(qū)域小于車牌字符高度4b,則減小閾值T,且令k=k+1,并跳轉(zhuǎn)到步驟2,否則轉(zhuǎn)步驟7.(7)對處理過的二值圖象進(jìn)行水平和垂直投影,定位出車牌區(qū)域.掃描差分二值化閾值T的選取貫穿于程序流程的始終.閾值的選取分為如下兩種方法:(1)將當(dāng)前時刻以前的最近歷史記錄(取10幅汽車圖象)的掃描差分閾值T,取均值,作為當(dāng)前圖象掃描差分二值化閾值T的初始值,該方法的目的是為了跟蹤光照強(qiáng)弱的變化,當(dāng)光照條件很好時,差分二值化閾值普遍提高,當(dāng)光照變暗時,差分二值化閾值普遍減小,以減少閾值的搜索時間;(2)采取迭代方法來改進(jìn)閾值,算法流程如上所述.當(dāng)光照強(qiáng)度變化時,圖象中目標(biāo)與背景的對比度也相應(yīng)地變化,例如,當(dāng)光線變強(qiáng)(弱)時,一方面,圖象中觀測物體邊緣的相鄰像素間的差分值也在相應(yīng)地變大(小);另一方面,對于拍攝的實(shí)際汽車圖象,由于具有類似紋理、長度、寬度及高寬比的塊區(qū)域,因此車牌區(qū)域具有最大(至少是次優(yōu)值)的連續(xù)跳變差分閾值.根據(jù)這些觀察結(jié)果,配以相應(yīng)的評價函數(shù)f(p,g),以適應(yīng)閾值變化.評價函數(shù)f(p,g)如下:H≤p≤4H;0.8Lp<g<1.2Lp.其中,H為字體像素高度,H=4b,L為車牌內(nèi)單線跳變數(shù),一般取L=14.同時為避免干擾,特提出如下兩個參數(shù):即滿足帶通濾波規(guī)則的直線總數(shù)p,以及滿足帶通濾波規(guī)則的掃描線上的灰度跳變總數(shù)g,當(dāng)閾值T較低時,則滿足帶通濾波規(guī)則的直線總數(shù)p和灰度跳變總數(shù)g都會增加.p的引入是為了限制滿足帶通濾波規(guī)則的直線過多或過少,g的引入是為了濾除由于燥聲干擾和路面凸凹不平所形成的“偽車牌”.當(dāng)直線總數(shù)p<H時,則閾值T=T-ΔT,當(dāng)直線總數(shù)p>4H時,則T=T+ΔT;同樣,當(dāng)直線總數(shù)p滿足評價函數(shù)時,則僅需判斷跳變總數(shù)g,再通過調(diào)整閾值T來滿足跳變總數(shù)g的要求.由圖2(b)、圖3(b)可見,盡管圖象背景復(fù)雜,但經(jīng)過水平膨脹及直線帶通濾波后,大部分干擾可被濾除,車牌區(qū)雖已經(jīng)顯示出來,但仍然存在干擾,因此需再經(jīng)過垂直方向的腐蝕運(yùn)算,以極大程度地濾除干擾.另外,圖象經(jīng)過垂直方向上的開運(yùn)算后,還需將其進(jìn)行水平(垂直)投影.這樣經(jīng)過上述處理后,存在的干擾區(qū)就很少了,且界線分明,很容易定位車牌,從而避免了傳統(tǒng)定位方法在投影時,因干擾過多而引起的錯誤定位.并且由于評價函數(shù)f(p,g)的引入,使算法對干擾具有很強(qiáng)的魯棒性,而評價函數(shù)中直線總數(shù)p和水平灰度跳變總數(shù)g的引入,就是為抑制高頻和低頻干擾,而在性能指標(biāo)中所加的限制.例如,由于一些水泥地面也具有局部灰度劇烈跳變的特性,但其跳變特性屬于大于車牌紋理跳變頻率的高頻特性或不滿足帶通濾波的寬度特性,當(dāng)掃描差分閾值T較低時,水平灰度跳變總數(shù)g會急劇增大,甚至?xí)^評價函數(shù)f(p,g)的限制,因此應(yīng)根據(jù)評判準(zhǔn)則來提高差分閾值T=T+ΔT,將干擾予以濾除,以便通過抑制干擾來尋找到最佳車牌區(qū)域.4充分發(fā)揮了美國函數(shù)和一般圖象處理的發(fā)揮.在圖象處理時,對于描述對象的圖像,一般在百為了驗(yàn)證本文算法的定位效果,對在不同照明條件下所采集到的一系列汽車圖象進(jìn)行了大量的實(shí)驗(yàn).實(shí)驗(yàn)是采用不同自然背景及車身背景,不同光照條件(白天,黑夜)的車輛圖象進(jìn)行車牌定位.實(shí)驗(yàn)結(jié)果如表1所示,其定位總正確率為98.5%.整個程序運(yùn)算簡潔、快速,而且能正確定位.在圖象處理過程中,都是基于數(shù)學(xué)形態(tài)學(xué)運(yùn)算,且基本上全是加減運(yùn)算.為了提高處理速度,程序?qū)⒍S形態(tài)濾波