一種基于形狀特征的車牌字符識(shí)別方法

一種基于形狀特征的車牌字符識(shí)別方法

識(shí)別車牌符號(hào)是識(shí)別漢字、英文字母和數(shù)字符號(hào)的具體應(yīng)用。這是車牌識(shí)別系統(tǒng)的核心。它將經(jīng)車牌定位、分割后的字符作為輸入,提取字符的特征,構(gòu)建合理分類器,輸出字符識(shí)別結(jié)果。車牌識(shí)別系統(tǒng)需全天候在室外工作,受空氣粉塵的影響、光照條件的變化以及其他不可預(yù)測(cè)的干擾,導(dǎo)致采集到的車牌圖像已被噪聲污染,車牌字符模糊、大小粗細(xì)不一和傾斜角度各異等難以處理的情況,因此,提取具有良好區(qū)分度和魯棒性的字符特征是車牌字符識(shí)別過(guò)程中的關(guān)鍵。到目前為止,用于字符識(shí)別的特征已有很多種了,如字符的輪廓特征、字符在水平或垂直方向的投影分布、字符的寬高比、字符的連通區(qū)域、字符的筆順和筆畫密度、字符的重心位置、字符的過(guò)線特征等。這些特征大多屬于字符圖像的點(diǎn)特征,在提取之前需對(duì)字符進(jìn)行歸一化、細(xì)化、傾斜矯正等處理,以確保特征的區(qū)分度和魯棒性。這一過(guò)程不僅繁瑣耗時(shí),也因細(xì)化等造成的字符畸變而使字符的有效信息丟失,拒識(shí)率和誤識(shí)率偏高。人眼根據(jù)對(duì)字符結(jié)構(gòu)、輪廓的直觀度量來(lái)進(jìn)行字符識(shí)別,即根據(jù)字符的形狀特征來(lái)辨認(rèn)和區(qū)分每個(gè)字符,若能精確表征和提取字符的形狀特征,就能準(zhǔn)確快速地區(qū)分不同的字符。因此,經(jīng)過(guò)對(duì)字符形狀特征的研究,提出了兩種字符特征,即字符的凹凸性和彎曲度,這不同于字符的局部特征,它們是一種基于字符整體形狀的特征,在提取前不需要對(duì)字符作歸一化、細(xì)化、傾斜校正的預(yù)處理,避免了因細(xì)化、傾斜校正造成字符形變所帶來(lái)的拒識(shí)、誤識(shí)和處理時(shí)間。另外,在本文所提出的凹凸性和彎曲度特征的基礎(chǔ)上,結(jié)合交點(diǎn)數(shù)特征,新設(shè)計(jì)了一種基于字符形狀特征的車牌字符分類器,該分類器根據(jù)字符的凹凸性、彎曲度、交點(diǎn)數(shù)特征對(duì)字符進(jìn)行由粗到細(xì)的分類,它不需要樣本圖像,識(shí)別效率高。1車牌字符的預(yù)處理與一般的字符識(shí)別相比,車牌字符識(shí)別有其自身的特點(diǎn)。首先是字符集小、字符結(jié)構(gòu)簡(jiǎn)單,除去車牌上的漢字字符,共有25個(gè)大寫英文字母(字母“I”除外)以及0～9這10個(gè)阿拉伯?dāng)?shù)字,字母“O”與數(shù)字0的形狀相同,要分類的字符類別較少,并且是機(jī)器印刷體;受攝像機(jī)分辨率和成像角度的限制,字符將會(huì)發(fā)生向左或向右的傾斜畸變,且字符的分辨率較低;另外,受室外環(huán)境變化(光線、粉塵等)的影響大,使得采集到的車牌字符已被污染,變得模糊,大小和粗細(xì)不一;再就是車牌識(shí)別系統(tǒng)的實(shí)時(shí)性要求高于一般的字符識(shí)別。車牌字符識(shí)別的關(guān)鍵之一是提取具有良好區(qū)分度和魯棒性的字符特征。如前所述,已有的特征大多屬于字符圖像的點(diǎn)特征,在提取這些特征之前需對(duì)字符進(jìn)行歸一化、細(xì)化、傾斜矯正等預(yù)處理。其中,字符細(xì)化通過(guò)提取字符的骨架,消除因?yàn)楣庹兆兓纫蛩厮鹱址旨?xì)不一的情況,雖然近年來(lái)有許多研究人員對(duì)細(xì)化算法所提取目標(biāo)的骨架中存在著偽分支、毛刺、斷裂這些缺陷和運(yùn)行耗時(shí)問(wèn)題進(jìn)行了改進(jìn),但這些問(wèn)題仍然存在。又由于車牌字符受噪聲污染的影響,經(jīng)閾值處理后的車牌字符本身就存在著毛刺和空洞,再對(duì)車牌字符進(jìn)行細(xì)化處理,上述缺陷就表現(xiàn)得更加明顯,不僅復(fù)雜、繁瑣和耗時(shí),而且由于毛刺、分叉、斷裂對(duì)字符的影響,使得經(jīng)細(xì)化處理后字符在形狀上發(fā)生嚴(yán)重的形變。圖1(b)(d)(f)分別為(a)(c)(e)的細(xì)化結(jié)果,由于字符本身的毛刺和空洞,細(xì)化后的字符中存在著較強(qiáng)的毛刺與偽分支,讓字符的形狀發(fā)生了變化,影響了字符識(shí)別的準(zhǔn)確率。1.1字符圖像的賦值模式不同于局部的點(diǎn)特征,凹凸性是字符的整體特征,是對(duì)字符結(jié)構(gòu)和輪廓的一種度量,在提取前,無(wú)須對(duì)字符進(jìn)行歸一化、細(xì)化、傾斜矯正處理。凹凸性也可用于手寫數(shù)字識(shí)別。本文凹凸性的提取過(guò)程如下:a)背景賦值。它是從字符圖像的所有背景點(diǎn)(即白色點(diǎn),這里指二值圖像中像素值為1的點(diǎn))出發(fā),向右、右下、下、左下、左、左上、上、右上八個(gè)方向(圖2)發(fā)出八條射線,判斷射線是否與字符的前景點(diǎn)(黑色點(diǎn),像素值為0)相交,有幾條射線相交,則將該背景點(diǎn)的值賦為幾。如圖2,給字符“U”任一背景點(diǎn)賦值。b)凹凸性提取。凹凸性包括字符圖像結(jié)構(gòu)中的圈和凹區(qū)域,圈是指賦值背景后字符圖像中像素值為8且周圍值為0的區(qū)域;凹區(qū)域是指賦值背景中像素值為5、6、7的區(qū)域。c)凹區(qū)域模式。在字符凹凸性基礎(chǔ)上,將字符圖像賦值背景中的凹區(qū)域作進(jìn)一步劃分,具體定義描述如下:上凹區(qū)tC:任意背景點(diǎn)左邊、右邊、下邊均可以找到字符的凹區(qū)域;下凹區(qū)bC:任意背景點(diǎn)左邊、右邊、上邊均可以找到字符的凹區(qū)域;左凹lC:任意背景點(diǎn)右邊可以找到字符的凹區(qū)域;右凹rC:任意背景點(diǎn)左邊可以找到字符的凹區(qū)域;左上凹ltC:任意背景點(diǎn)上邊可以找到字符,而下邊不能找到字符的左凹區(qū);左下凹lbC:任意背景點(diǎn)下邊可以找到字符,而上邊不能找到字符的左凹區(qū);右上凹rtC:任意背景點(diǎn)上邊可以找到字符,而下邊不能找到字符的右凹區(qū);右下凹rbC:任意背景點(diǎn)下邊可以找到字符,而上邊不能找到字符的右凹區(qū)。圖3為凹凸域模式。本文的凹凸性特征提取方法簡(jiǎn)單高效,特征不受字符大小、粗細(xì)變化的影響,魯棒性強(qiáng)。1.2彎曲度的生成通過(guò)字符的凹凸性特征已能對(duì)字符進(jìn)行粗分類,但有些字符(如字符“D”與“O”,字符“8”與“B”等)的凹凸性相同,還需要使用其他的字符特征進(jìn)行細(xì)分類。通過(guò)對(duì)字符形狀進(jìn)一步的研究,字符“O”的左輪廓彎曲程度明顯強(qiáng)于字符“D”的左輪廓,這一結(jié)論也適用于字符“8”與字符“B”,因此,可以用彎曲度這一字符形狀特征對(duì)字符進(jìn)行細(xì)分類。字符彎曲度r定義為:定義1字符彎曲度r是字符圖像左(右)輪廓點(diǎn)中最左(右)邊點(diǎn)L到字符左(右)輪廓上、下端點(diǎn)所構(gòu)成線段的歐式距離DTB和該線段DLP的比值,如式(1)。在提取字符彎曲度時(shí),首先掃描字符圖像得到其左(右)輪廓線并同時(shí)求出左輪廓線的上端點(diǎn)T(Tx,Ty)、下端點(diǎn)B(Bx,By)與最左(右)點(diǎn)L(Lx,Ly),再計(jì)算點(diǎn)T到點(diǎn)B的距離DTB,點(diǎn)L到線段TB上的投影點(diǎn)P,并計(jì)算點(diǎn)L到點(diǎn)P的距離DLP。R=DLPDTB=(Lx?Px)2+(Ly?Py)2√(Tx?Bx)2+(Ty?By)2√R=DLΡDΤB=(Lx-Ρx)2+(Ly-Ρy)2(Τx-Bx)2+(Τy-By)2(1)1.3農(nóng)業(yè)保險(xiǎn)界面點(diǎn)數(shù)特征當(dāng)字符的凹凸性和彎曲度相同時(shí),進(jìn)一步采用字符的交點(diǎn)數(shù)特征進(jìn)行分類。交點(diǎn)數(shù)特征是指在水平或垂直方向上掃描字符時(shí)與字符相交的次數(shù),如字符“D”在水平與垂直方向上的交點(diǎn)數(shù)均為2,字符“B”在水平方向上的交點(diǎn)數(shù)為2、垂直方向上的交點(diǎn)數(shù)為3。2大寫字母分類在本文所提出的凹凸性和彎曲度特征的基礎(chǔ)上,結(jié)合交點(diǎn)數(shù)特征,新設(shè)計(jì)了一種基于字符形狀特征的車牌字符分類器,該分類器根據(jù)字符的凹凸性、彎曲度、交點(diǎn)數(shù)特征對(duì)字符進(jìn)行由粗到細(xì)的分類,它不需要樣本圖像,識(shí)別效率高。首先根據(jù)凹凸性(圈和凹區(qū)域的位置)對(duì)數(shù)字字符2～9和25個(gè)英文大寫字母共33個(gè)字符(在車牌字符集中,字符“I”不會(huì)出現(xiàn),“0”與“O”形狀相同,字符“1”可根據(jù)其寬高比來(lái)識(shí)別)進(jìn)行粗分類,然后再根據(jù)彎曲度、交點(diǎn)數(shù)進(jìn)行細(xì)分類。設(shè)計(jì)出的分類器如表1所示。其中:CN為圈數(shù)目,hPN為水平方向掃描交點(diǎn)數(shù),vpN為垂直方向掃描交點(diǎn)數(shù),bCN為下凹區(qū)數(shù)目,lR為左彎曲度,rR為右彎曲度,lC為左凹區(qū),rC為右凹區(qū),tC為上凹區(qū),bC為下凹區(qū),rtC為右上凹,rbC為右下凹,ltC為左上凹,caR為凹區(qū)域與字符總面積比例。分類器根據(jù)字符凹凸性、彎曲度、交點(diǎn)數(shù)等形狀特征的邏輯組合進(jìn)行分類,如字符“A”,可根據(jù)其有一個(gè)圈(CN=1)、無(wú)左右凹(lC=0&rC=0)、有下凹(bC=1)來(lái)與其余字符相區(qū)別,即CN=1,lC=0&rC=0,bC=1。該分類器簡(jiǎn)單,只需對(duì)相應(yīng)字符特征所構(gòu)成的邏輯表達(dá)式進(jìn)行判別,沒(méi)有復(fù)雜繁瑣的計(jì)算,不需要樣本圖像,是一種簡(jiǎn)單快速有效的分類器。3優(yōu)化下的車牌識(shí)別實(shí)驗(yàn)本文方法的實(shí)驗(yàn)程序在CxImage圖像處理框架下,使用C++編寫,在HPPresarioV3000筆記本電腦(IntelT20801.73GHzCPU,1GB內(nèi)存,VistaHomeBasic操作系統(tǒng))上運(yùn)行,對(duì)進(jìn)出于攀枝花營(yíng)口、云甸和會(huì)理這三個(gè)礦物運(yùn)輸站點(diǎn)采集到的大量不同光照條件和不同環(huán)境下質(zhì)量較差的車牌圖像字符和在停車場(chǎng)中采集到的車牌圖像字符作為測(cè)試集,對(duì)分割后的字符進(jìn)行二值、去噪處理后,分別使用本文的識(shí)別方法與模板匹配、BP神經(jīng)網(wǎng)絡(luò)對(duì)大小為45×120的字母和數(shù)字字符進(jìn)行識(shí)別。實(shí)驗(yàn)中,確保所抽取車牌圖像中覆蓋了所有字母和數(shù)字字符的前提下,從測(cè)試集中隨機(jī)地抽取了2368張車牌圖片,對(duì)約有14208個(gè)字符進(jìn)行了測(cè)試。圖4列舉了測(cè)試集中的部分車牌字符。在用模板匹配與BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別時(shí),提取的是經(jīng)過(guò)細(xì)化與傾斜矯正后字符的網(wǎng)格點(diǎn)特征(前景像素占網(wǎng)格像素總數(shù)的比例,實(shí)驗(yàn)中使用的是5×5的網(wǎng)格),樣本庫(kù)由每一字符的35個(gè)樣本圖像構(gòu)成,圖5列舉了樣本圖像的部分示例。模板匹配的識(shí)別中以待測(cè)字符與樣本庫(kù)中樣本的最小歐氏距離作為分類準(zhǔn)則;BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為:輸入層、隱含層和輸出層,各層的節(jié)點(diǎn)數(shù)分別為25、50、5,輸入層與隱含層、隱含層與輸出層間的權(quán)值學(xué)習(xí)率分別為0.05、0.047。實(shí)驗(yàn)結(jié)果如表2所示。結(jié)果表明本文方法不僅改進(jìn)了字符的識(shí)別率,而且識(shí)別速度也提高了1倍左右,本文方法是一種高效的車牌識(shí)別算法。在對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析后發(fā)現(xiàn),字符斷裂和毛刺是影響本文方法拒識(shí)率和誤識(shí)率的主要原因,它們影響了字符形狀結(jié)構(gòu)特征的提取,使得粗分類失敗。在圖6(a)中的字符“A”由于毛刺的影響,其凹凸性變?yōu)橐粋€(gè)圈、一個(gè)下凹、一個(gè)右上凹,在分類器中沒(méi)有這樣的字符,因此被拒識(shí);(b)中的字符“8”同樣因?yàn)槊痰拇嬖诟淖兞似浒纪剐缘奶崛”痪茏R(shí);(c)中的字符“8”由于字符斷裂被誤識(shí)為字符“0”或“O”;(d)～(f)也因?yàn)樽址麛嗔训脑虮痪茏R(shí)?？梢?jiàn),車牌字符的閾值和去噪處理效果的好壞對(duì)識(shí)別結(jié)果有很大的影響。4車牌字符識(shí)別方法如何提高實(shí)際應(yīng)用中車牌識(shí)別系統(tǒng)字符識(shí)別的準(zhǔn)確率和速度仍然是一個(gè)值得