基于卷積神經(jīng)網(wǎng)絡(luò)的車牌照字符識(shí)別研究

1、第十二屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議基于卷積神經(jīng)網(wǎng)絡(luò)的車牌照字符識(shí)別研究陸璐 張旭東 趙瑩 高雋臺(tái)肥工業(yè)大學(xué)計(jì)算機(jī)學(xué)院圖像與信息處理研究室合肥230009:lulu2120163conl摘要:針對(duì)傳統(tǒng)車牌識(shí)別算法中字符識(shí)別率偏低的缺點(diǎn),本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的議別方法,通過對(duì)車牌字符圖像的 樣本學(xué)習(xí),優(yōu)化神經(jīng)網(wǎng)絡(luò)每層的權(quán)值參數(shù),從而在很大程度上提高車牌的字符識(shí)別率。仿真結(jié)果表明,采用卷積神經(jīng)網(wǎng)絡(luò)的 識(shí)別方法對(duì)車牌照中的字符進(jìn)行識(shí)別,正確識(shí)別牢可以到達(dá)99%,識(shí)別率和抗干擾性明顯優(yōu)于其他識(shí)別方法.關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)字符識(shí)別率樣本學(xué)習(xí)The Vehicle License Plate Charact

2、er Recognition Using Convolutional Neural NetwoksLu lu,Zhang Xu-dong,Zhao Ying,Gao Jun(School ofcomputer andinformation,HefeiUmvcrsity ofTcchnology,Hefei,230009;lulu212163cort3Abstract:In allusionthe low character recognition rate in the traditional recogmtion tasks ofvehicle license.the paper propo

3、ses a new recognition method using Convolutional Neural Networks.After the leaming of character samples,the parameters of the Network are optimized and the recognition rate is improved greatly.Test shows that the correct character recognition rate can reach 99pereent by using this method,far better

4、than the traditional methodsKey words:Convolutional Neural Networks,character recognition rate,samples learning1引言隨著現(xiàn)代交通的迅猛發(fā)展,車牌自動(dòng)識(shí)別技術(shù) 在現(xiàn)實(shí)生活中逐漸得以廣泛應(yīng)用,成為計(jì)算機(jī)視覺 與模式識(shí)別技術(shù)在智能交通領(lǐng)域應(yīng)用的重要研究 課題之一。傳統(tǒng)的識(shí)別方法如邏輯特征法,統(tǒng)計(jì)模式法, 模糊模式法,句法結(jié)構(gòu)法等都能進(jìn)行車牌識(shí)別。邏 輯特征法對(duì)需通過眾多規(guī)則的推理達(dá)到識(shí)別目標(biāo)的 問題,有很好的效果,但當(dāng)樣品有缺損,背景不清 晰,規(guī)則不明確甚至有歧義時(shí),效果不好;統(tǒng)計(jì)模 式法

5、比較成熟,能考慮到干擾、噪聲等影響,識(shí)別 模式類型能力強(qiáng),但難以描述模式的性質(zhì),難以從 整體角度考慮識(shí)別問題:模糊模式具有相當(dāng)強(qiáng)的抗 干擾、抗畸變能力,允許樣品有相當(dāng)程度的干擾與 畸變,但其準(zhǔn)確合理的隸屬度函數(shù)往往難以建立; 句法結(jié)構(gòu)法采用規(guī)則和文法來表達(dá)模式類別和判別 條件,對(duì)圖像畸變的抗干擾能力較強(qiáng),但當(dāng)存在十 擾及噪盧時(shí),抽取基元困難,且易失誤。人工神經(jīng) 網(wǎng)絡(luò)所具有的非線性特性、大量的并行分布結(jié)構(gòu)以 及學(xué)習(xí)和歸納能力使其在諸如建模、時(shí)間序列分析、 模式識(shí)別、信號(hào)處理以及控制等方面得到廣泛的應(yīng) 用。尤其而對(duì)缺少物理或統(tǒng)計(jì)理解、觀察數(shù)據(jù)中存 在著統(tǒng)計(jì)變化等棘手問題,神經(jīng)網(wǎng)絡(luò)能夠提供較為基金項(xiàng)

6、目:國(guó)家自然科學(xué)基金項(xiàng)目(60375011、安徽省優(yōu)秀青年科技基金(04042044和安徽省重點(diǎn)科研項(xiàng)目(03021012 第一作者簡(jiǎn)介:陸璐(1982一,女,碩七研究生,主要研究方向智能信息處理。陸璐等:基于卷襁神經(jīng)網(wǎng)絡(luò)的車牌照字符識(shí)別研究有效的解決方法?！?。卷積神經(jīng)網(wǎng)絡(luò)是為識(shí)別二維形 狀而特殊設(shè)計(jì)的一個(gè)多層感知器。它具有一些傳 統(tǒng)技術(shù)所沒有的優(yōu)點(diǎn):良好的容錯(cuò)能力、并行處 理能力和自學(xué)習(xí)能力,可處理環(huán)境信息復(fù)雜,背 景知識(shí)不清楚,推理規(guī)則不明確情況下的問題, 允許樣品有較大的缺損、畸變,運(yùn)行速度快,自 適應(yīng)性能好,具有較高的分辨率。本文將卷積神 經(jīng)網(wǎng)絡(luò)應(yīng)用于車牌照字符的識(shí)別,實(shí)驗(yàn)證明了該 方

7、法是有效可行的。2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是近年發(fā)展起來,并引起廣泛 重視的一種高效識(shí)別方法。20世紀(jì)60年代,Hubel 和Wiesel在研究貓腦皮層中用于局部敏感和方 向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)HJ阻有 效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜件,繼而提出了卷 積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks一簡(jiǎn)稱 CNN14J。現(xiàn)在,CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的 研究熱點(diǎn)之一,特別是在模式分類領(lǐng)域,由于該 網(wǎng)絡(luò)避免了劉圖像的復(fù)雜前期預(yù)處理,可以直接 輸入原始圖像,因而得到了更為廣泛的應(yīng)用。 K Fukushima在1980年提出的新t別機(jī)是卷積神 經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)嘲絡(luò)

8、。隨后,更多的科研工 作者對(duì)該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。其中,具有代表性的 研究成果是Mexander和Taylor提出的“改進(jìn)認(rèn) 知機(jī)”,該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避免 ,耗時(shí)的誤差反向傳播。一般地,CNN的基本結(jié)構(gòu)包括兩層,其一為 特征提取層,每個(gè)神經(jīng)元的輸入與前一層的局部 接受域相連,并提取該局部的特征。一旦該局部 特征被提取后,它與其它特征問的位置關(guān)系也隨 之確定下來;其二是特征映射層,嘲絡(luò)的每個(gè)計(jì) 算層由多個(gè)特征映射組成,每個(gè)特征映射是一個(gè) 平面,平面上所有神經(jīng)元的權(quán)值相等。特征映射 結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積 網(wǎng)絡(luò)的激活函數(shù),使得特征映射具有位移不變性。 此外,由

9、于一個(gè)映射面上的神經(jīng)元共享權(quán)值,因 而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中 的每一個(gè)卷積層都緊跟著一個(gè)用來求局部平均與 二次提取的計(jì)算層,這種特有的兩次特征提取結(jié) 構(gòu)減小了特征分辨率。CNN主要用來識(shí)別位移、縮放及其他形式扭 曲不變性的二維圖形。 由于CNN的特征檢測(cè)層 通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí),所以在使用CNN時(shí), 避免了顯示的特征抽取,而隱式地從訓(xùn)練數(shù)據(jù)中 進(jìn)行學(xué)習(xí)151;再者由于同一特征映射面上的神經(jīng) 元權(quán)值相同,所以網(wǎng)絡(luò)可以并行學(xué)習(xí),這也是卷 積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)。 卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語 音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性,其布 局更接近于實(shí)

10、際的生物神經(jīng)網(wǎng)絡(luò),權(quán)值共享降低 了網(wǎng)絡(luò)的復(fù)雜性,特別是多維輸入向量的圖像町 以直接輸入剛絡(luò)這一特點(diǎn)避免了特征提取和分類 過程中數(shù)據(jù)重建的復(fù)雜度。3車牌字符識(shí)別系統(tǒng)一個(gè)完整的車牌自動(dòng)識(shí)別系統(tǒng)主要包括圖像 采集與預(yù)處理、車牌定位與寧符分割、字符識(shí)別 幾個(gè)模塊喇,如圖I所示。i戮_一磊五r+豸麗L+疊 圖1車牌自動(dòng)識(shí)別系統(tǒng)框圖(The vehicle license plate recognition system圖1中,圖像采集與預(yù)處理模塊對(duì)動(dòng)態(tài)采集 到的圖像進(jìn)行處理,以克服噪聲干擾,改善識(shí)別 效果,主要包括圖像增強(qiáng)以濾除噪聲、校正不均 勻光照,增強(qiáng)對(duì)比度使圖像具有可辨性以及對(duì)車 牌的傾斜校正便于

11、定位等處理;車牌定位模塊是 在動(dòng)態(tài)采集的圖像巾,自動(dòng)找到車牌的位置,常 用算法包括基于車牌形狀特性的定位算法,基 于車牌區(qū)域灰度變化特征的定位算法,基于矢量 量化的車牌定位算法,基于彩色車牌圖像的定位 算法:字符分割模塊則在車牌圖像上自動(dòng)提取單 個(gè)字符的圖像,常用的方法可蚍分為兩人類,一 類算法是對(duì)每一字符采片j陰影掩膜技術(shù)進(jìn)行編 碼,提取字符特征,另一類是利用字符固定寬度、 間距的固定比例關(guān)系等先驗(yàn)知識(shí)來提取單一字 符;字符識(shí)別模塊是最后的處理模塊,完成對(duì)每 個(gè)字符圖像的識(shí)別,常用方法包括模板匹配法和 神經(jīng)網(wǎng)絡(luò)法等,本文采用的是神經(jīng)網(wǎng)絡(luò)識(shí)別法。根據(jù)是否進(jìn)行特征提取,神經(jīng)網(wǎng)絡(luò)字符識(shí)別 系統(tǒng)可分

12、為兩人類:有特征提取部分的識(shí)別系統(tǒng) 和無特征提取部分的識(shí)別系統(tǒng)。前者實(shí)際上是傳 統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法技術(shù)的結(jié)合,這種方法可310第十二屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議以充分利用人的經(jīng)驗(yàn)來獲取模式特征以及神經(jīng)網(wǎng) 絡(luò)分類能力來識(shí)別字符,特征提取必須能反應(yīng)整 個(gè)字符的特征,才能達(dá)到較高的識(shí)別率;后者則 省去特征抽取,將整個(gè)字符直接作為神經(jīng)網(wǎng)絡(luò)的 輸入。這種方式雖然在一定程度上增加了神經(jīng)網(wǎng) 絡(luò)結(jié)構(gòu)的復(fù)雜度,但是網(wǎng)絡(luò)的抗干擾性能和識(shí)別 率較前者都有很大的提高。本文中將要采用的 CNN就屬于第二類神經(jīng)網(wǎng)絡(luò)。4基于卷積神經(jīng)網(wǎng)絡(luò)的車牌照字符 識(shí)別方法為了提高車牌字符的識(shí)別率,本文采用一種 改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別

13、機(jī)完成字符識(shí)別 7J,其網(wǎng)絡(luò)結(jié)構(gòu)81如圖2所示。圖2神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)fNetworks圖2巾,S層為簡(jiǎn)單(simple神經(jīng)元組成的 神經(jīng)層,完成特征提取,其輸入連接是可變的, 并在學(xué)習(xí)過程中不斷更正。C層則是由復(fù)雜 (complex神經(jīng)元組成的神經(jīng)層,它的輸入連接 是固定的,小可修改,顯示感受野被激勵(lì)位置的 近似變化。網(wǎng)絡(luò)中c層的最后一層為識(shí)別層,給 出模式識(shí)別的結(jié)果。經(jīng)過學(xué)習(xí),網(wǎng)絡(luò)可以自動(dòng)地 識(shí)別輸入模式,而不受輸入圖片扭吐,縮放和位 移的影響。 來正確識(shí)別所有樣本:%4層是網(wǎng)絡(luò)的輸出層即識(shí) 別層,顯示網(wǎng)絡(luò)最終的模式識(shí)別結(jié)果。差異提取層%的輸出如式(1所示。 姒小:?！?州t吲。ouo(n+

14、v】,ol:1'2 (1 式中,%(f是神經(jīng)元連接的強(qiáng)度,該層有2個(gè)神經(jīng)元平面,當(dāng)k=2時(shí),為加強(qiáng)中心神經(jīng)元, k=1時(shí),代表抑止中心神經(jīng)元,如是v的半徑。 U6層每個(gè)神經(jīng)元的所有輸入連接還必須滿足一個(gè) 約束條件即%(v=o,才能起到差異提取的 作用。悱如s層s神經(jīng)元的響應(yīng)函數(shù)如式(2所示:州¨嚆。I蠱籌竺叫,。1(2式中,(I SI【v,r,k(o是上一層c神經(jīng)元 "cf10+V,Jr至該層s神經(jīng)元的連接函數(shù),同一神 經(jīng)元平面的所有神經(jīng)元的輸入連接是相同的。舅是 第,層s神經(jīng)元的閩值,A。,是v的半徑。當(dāng)f=1時(shí), UCI-I,茁即為“G(n,k,此時(shí),Kcf l

15、=2。在識(shí) 別過程中,弧。層s神經(jīng)元的最大輸出決定最終的 識(shí)別結(jié)果。除【0。層外,其余三層C層的c神經(jīng)元響從圖2中可以看出,網(wǎng)絡(luò)由輸入層,差異提 應(yīng)函數(shù)如式(3所示取層U,、4組S層和4層C層組成,主要流程圖如下;“叫嗡嘲啦鵲喝啦嘲嘲。其中差異提取層對(duì)應(yīng)于視網(wǎng)膜巾的中心細(xì)胞,由加強(qiáng)中心感受野神經(jīng)元平面和抑制中心神經(jīng)元平面兩部分構(gòu)成,【0層的輸出作為第一個(gè)S層的輸入; U。,層中的s神經(jīng)元通過有監(jiān)督訓(xùn)練,提取輸入圖像 中不同方向的邊緣成分,它的輸出作為L(zhǎng)0。的輸入; 第二組和第三組中S層的神經(jīng)元是無監(jiān)督競(jìng)爭(zhēng)學(xué)列 的自組織神經(jīng)元;U4層通過監(jiān)督競(jìng)爭(zhēng)學(xué)習(xí)的訓(xùn)I練 式中,nd(V是c層的輸入。5實(shí)驗(yàn)結(jié)

16、果(35.1實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)共分兩步進(jìn)行,前期對(duì)攝取到的車牌圖 片進(jìn)行預(yù)處理包括定位,分割等.后期首先選取陸璐等:基于卷積神經(jīng)網(wǎng)絡(luò)的車牌照字符識(shí)別研究理想預(yù)處理?xiàng)l件下得到的200個(gè)20X36的樣本圖片(每個(gè)字符為20個(gè)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),得到各層的權(quán)值,閾值及神經(jīng)元細(xì)胞平面數(shù),然后使用優(yōu)化后的神經(jīng)網(wǎng)絡(luò)識(shí)別機(jī)完成對(duì)200個(gè)20×36的(每個(gè)字符為20個(gè)測(cè)試樣本字符圖像的識(shí)別,正確識(shí)別率達(dá)到99%,結(jié)果如圖3所示。圓圈口圈園圈3待識(shí)別圖像(Recognized picture識(shí)別結(jié)果為:80459與傳統(tǒng)的識(shí)別方法比較如表1所示,表1識(shí)別結(jié)果比較表識(shí)別方法 識(shí)別率卷詘神經(jīng)網(wǎng)絡(luò)法 模板匹配法H 結(jié)

17、構(gòu)特丌法 99% 95% 94%由表1的統(tǒng)計(jì)結(jié)果可以看出,基于卷積神經(jīng) 網(wǎng)絡(luò)的車牌字符識(shí)別方法可毗獲得99%的正確 識(shí)別率,明顯優(yōu)于結(jié)構(gòu)法,模板匹配法等傳統(tǒng)識(shí) 別方法。5.2結(jié)果分析實(shí)驗(yàn)結(jié)果表明CNN用于車牌識(shí)別切實(shí)可行, 訓(xùn)練樣本空間覆蓋越完備則識(shí)別率越高。卷積神 經(jīng)剛絡(luò)通過避免顯式地特征提取過程,隱式地從 訓(xùn)練樣奉中獲取對(duì)構(gòu)筑訓(xùn)練樣本空間貢獻(xiàn)較大的 特征,與傳統(tǒng)網(wǎng)絡(luò)相比有更高的識(shí)別率和抗干擾 性。諺別失敗原因是由于該類樣本在訓(xùn)練樣本庫 中未曾出現(xiàn)或出現(xiàn)較少。 6結(jié)論本文利用神經(jīng)剛絡(luò)的優(yōu)勢(shì),采用種改進(jìn)的 基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別機(jī)制對(duì)車牌照中的字符 進(jìn)行識(shí)別。該識(shí)別方法通過對(duì)理想預(yù)處理?xiàng)l件下

18、的車牌字符圖片的學(xué)習(xí),優(yōu)化了網(wǎng)絡(luò)系統(tǒng)中各層 的權(quán)值參數(shù),大大提高了車牌照中的字符識(shí)別率。 但實(shí)際應(yīng)用中,前期預(yù)處理會(huì)出現(xiàn)車牌定位不清, 字符分割錯(cuò)誤等缺點(diǎn),這些都會(huì)影響識(shí)別效果, 降低網(wǎng)絡(luò)的實(shí)際識(shí)別率。所以,在今后的工作中, 會(huì)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)提出進(jìn)一步的改進(jìn),使之可以識(shí)別 預(yù)處理較差條件下的車牌寧符。參考文獻(xiàn)I】 高雋,智能信息處理方法導(dǎo)論【北京:機(jī)械T業(yè)出版社 20042】 邊肇棋,模式iJ2SlJ CM北京:北清華大學(xué)出版社。1987f3高雋,I神經(jīng)呵絡(luò)臆理及仿真實(shí)伊tJfMj北京;機(jī)槭工業(yè)出|豉 社.200344Claus Neubauer-Evaluation of Convolutional Neural Networks for Visual Recognition,Neuml Netwoks,vol9,rio 4,pp 685696(1998【5】5BaoQing Li,Baoxin Li Bdiding Pattem Classifiers Us岫 Convolufional NeuKd Networks Ncllral Networks.vol 5.no 8 PP308l-3085f6】 唐衩f=:車牌識(shí)別系統(tǒng)的T作原理廈其應(yīng)用現(xiàn)代電子工程 ,2004,2,(1666917】 K Fukushima N