模式識別_車牌識別文檔(共14頁)

1、實際環(huán)境(hunjng)下汽車牌照識別方法的研究與實現(xiàn)1 設(shè)計(shj)要求(yoqi)與準備本次設(shè)計是研究生一年級上學(xué)期的模式識別課程的課程設(shè)計，設(shè)計內(nèi)容是實際環(huán)境下汽車牌照識別方法的研究與實現(xiàn)。設(shè)計有兩個主要要求：完成對實際環(huán)境下的汽車牌照部分圖像的抽取；對抽取出來的牌照經(jīng)過相關(guān)處理之后，對其上的字符內(nèi)容進行識別。基于課程設(shè)計的要求，需要進行實際環(huán)境下的汽車牌照識別，由于條件限制，不能用類似于學(xué)校門口的牌照硬件獲取實際環(huán)境下的汽車照片，因此自行采集了一些汽車照片，用它們作為設(shè)計時的調(diào)試材料。概述2.1汽車牌照識別現(xiàn)狀車牌識別技術(shù)在實際生產(chǎn)生活中十分常見。在學(xué)?；蛘邌挝坏拈T口，在停車場門口，

2、經(jīng)?？梢钥吹綌z像頭，汽車駛來，系統(tǒng)會自動拍攝汽車的照片，然后將照片中屬于汽車牌照的部分提取出來，然后通過相應(yīng)的處理手段，識別出車牌，然后送到后臺處理系統(tǒng)，或與后臺數(shù)據(jù)庫進行比對，以查看該車是否屬于合法進入，或者記錄下該車的入場時間，等離場時進行計費統(tǒng)計等工作。此外，在交通中車牌識別的應(yīng)用也有非常重要的意義，例如電子警察，對于違規(guī)車輛自動識別記錄，或者在罪犯抓捕時，通過車牌識別鎖定相關(guān)車輛，然后調(diào)集警力等。通過平時在學(xué)校門口或者超市停車場的觀察，發(fā)現(xiàn)現(xiàn)在的車牌識別系統(tǒng)已經(jīng)達到了非常成熟的程度，幾乎可以在無人值守的情況下保持正常、準確的運轉(zhuǎn)。其中牽扯到一系列的硬件、軟件的配合，據(jù)觀察，有些系統(tǒng)是有

3、后臺計算機，整個汽車門禁系統(tǒng)相當于一個終端，連接到后臺計算機上，但是大多數(shù)應(yīng)該都是基于單片機的系統(tǒng)，也就是在系統(tǒng)中有單片機，運行著車牌識別程序。國內(nèi)外有很多研究和工作致力于解決車牌是別中的各種問題，例如車牌區(qū)域的選定，例如車牌字符的切割，例如車牌字符的匹配，都有很多相關(guān)的工作。2.2汽車牌照識別用到的技術(shù)與準備在本次設(shè)計中，整個程序都是用Matlab完成，因為之前對Matlab不是很熟悉，因此再設(shè)計前學(xué)習(xí)了Matlab的相關(guān)內(nèi)容。車牌識別可以使用很多Matlab提供的函數(shù)，從而大大減輕對于圖像處理等操作所耗費的時間和精力。在本次設(shè)計(shj)的條件下，很大一部分工作都是對自行拍攝(pish)的

4、照片進行處理，因此用到了很多圖形圖像處理的技術(shù)，由于此前圖像(t xin)方面的基礎(chǔ)不足，因此也了解了一些圖形圖像學(xué)方面的知識。除了圖像圖像學(xué)方面的技術(shù)，另一個主要的技術(shù)就是字符切割與識別技術(shù)。這其中需要用到模式識別課程上的分類思想和知識。我們參考了相關(guān)文獻，雖然沒有將一些比較好的想法全部實現(xiàn)，但是開闊了思路，在以后的工作和學(xué)習(xí)中遇到相關(guān)問題的時候，對問題的處理有一定的幫助。3 基本原理與設(shè)計思路汽車牌照識別主要可以分為4個步驟：首先是汽車圖像獲取，然后是汽車牌照區(qū)域的確定，然后是對車牌區(qū)域的處理與字符分割，最后是對分割出來的字符進行識別。大致流程圖如圖1所示。開始輸入圖像尋找車牌區(qū)域?qū)W習(xí)調(diào)整

5、重新尋找區(qū)域確定是否合理 否 是字符切割學(xué)習(xí)調(diào)整重新切割切割是否合理 否識別 是結(jié)束圖1 汽車牌照識別的流程概要從圖1中可以(ky)看出，在本次試驗(shyn)要求下，系統(tǒng)(xtng)的關(guān)鍵組成部分有：（1）汽車牌照區(qū)域的確定；（2）汽車牌照字符的切割；（3）切割后字符的識別這三部分。下面是我們對每一重要組成部分的理解。首先是汽車牌照區(qū)域的確定。我們自行拍攝的照片如圖2所示。圖2 自行拍攝的用于試驗設(shè)計的照片從這個圖片上，很容易想到車牌區(qū)域的確定可以按照顏色進行。因此一開始我們想到的方法是，獲取一張圖片之后，從上往下進行掃描，當某一行的藍色像素點的個數(shù)大于某個閾值之后，那么這部分就可能是車牌區(qū)

6、域。掃描過程中，找出藍色像素數(shù)量最大的一行，然后從這一行分別向上、向下掃描，不管向上還是向下掃描，如果藍色像素的數(shù)量小于某一閾值就停止掃描，這就分別確定了車牌區(qū)域的上下邊界。然后用同樣的方法左右掃描，這樣就可以找到左右邊界，左右邊界確定以后，就可以圈定車牌所屬的區(qū)域了。但是這種方法對于光照條件較好、沒有發(fā)生偏色，并且少有藍色背景干擾的情況下比較有效，如果有藍色干擾背景，或者車牌區(qū)域有偏色的情況下，就不是很理想。例如，對于老師給的如圖3所示的照片，這種簡單的統(tǒng)計像素點就沒有效果。圖3 老師提供的汽車圖片因此(ync)，我們繼續(xù)(jx)觀察圖片，在顏色(yns)統(tǒng)計的方法上提出了兩種改進方式：第一

7、種方式是統(tǒng)計藍色像素點之后，再統(tǒng)計同一行（列）上的白色像素點個數(shù)，如果這一行（列）上的白色像素點也達到一個閾值，那么說明這個區(qū)域可能是車牌區(qū)域。第二種方式是，發(fā)現(xiàn)照片中汽車會有周圍的環(huán)境有將強的差別，而藍色的干擾區(qū)域一般是出現(xiàn)在圖片的上、左、右三個方位，因此在掃描的時候，可以不從照片最上面和最左邊開始掃描，而是選定某一個地方，這個地方的背景干擾不多，而且不至于把汽車的牌照截出去。我們認為這里其實可以用某些邊緣提取或者是物體形態(tài)學(xué)的相關(guān)方法來實現(xiàn)，但是最終沒有實現(xiàn)好。其次是汽車牌照字符的切割。在設(shè)計初期，我們先手動截取了車牌區(qū)域的圖片進行分析。如圖4所示。圖4 汽車牌照的區(qū)域我們分析了這張圖片的

8、特點，發(fā)現(xiàn)汽車牌照區(qū)域的圖片結(jié)構(gòu)相對簡單，顏色構(gòu)成不復(fù)雜，因此可以按照圖5所示的步驟進行操作。傾斜矯正灰度化二值化字符切割圖5 汽車牌照字符分割的主要步驟灰度化利用matlab提供的函數(shù)rgb2gray(圖片)即可，灰度化之后，圖像就變成了一個二維矩陣，這樣信息量大大減少，不必要的信息變少，留下的都是車牌識別中需要關(guān)心的主要信息。像圖4中所示的圖片，灰度化之后也很難進行處理，因此需要進行傾斜校正。傾斜校正的時候利用matlab提供的radon(圖片,range);進行，先求一個傾斜角，然后按照傾斜角進行旋轉(zhuǎn)。然后為了進一步壓縮圖像的不必要信息，需要對車牌照片進行二值化，也就是將照片中灰度級大于

9、某個閾值的的所有點都置成255，小于某個閾值的所有點都置成1，這樣，圖片中就只有兩種點：純白和純黑，這樣就可以抓住主要特征進行分析了。但是在進行二值化處理的時候，遇到了一個問題，就是老師給的照片提出出車牌區(qū)域之后，二值化的結(jié)果是全黑的。因為我們當時設(shè)置的閾值是125，而老師提供的照片光照強度比較暗，因此就導(dǎo)致車牌字符所在的區(qū)域的像素值也較低，因此將這一部分也變成了黑色。這個問題可以通過matlab提供的函數(shù)level = graythresh(tempLicence);tempLicence=im2bw(tempLicence,level);進行(jnxng)處理(chl)，第一個函數(shù)gray

10、thresh的含義(hny)是，matlab會通過對圖片進行分析，找一個合適的閾值，這個閾值能將圖片灰度值相對較高和相對較低的點區(qū)分開來，避免了全黑或者全白的情況。得到了如圖6所示的二值化圖片之后，我們對其進行了分析。圖6 經(jīng)過處理后的車牌圖像拿到這幅圖像之后的下一個要解決的問題就是將其分割成七個小部分，每個小部分對應(yīng)的是一個漢字、字母或者數(shù)字。在這么做之前，首先要對圖片進行分析，發(fā)現(xiàn)圖片的中央?yún)^(qū)域是有用的信息，而周圍的點都是干擾，應(yīng)該將它們截取掉。我們將這個圖片向Y方向和X方向進行投影，得到了圖7、圖8所示的兩幅圖像。圖7 二值圖Y軸方向的投影通過對圖7進行分析，我們發(fā)現(xiàn)，圖片上、下兩部分的

11、干擾與車牌之間在投影之后有很大的差別，很明顯，它們之間有著明顯的斷層。我們可以利用它們之間的斷層，對車牌的上下干擾部分進行裁剪。我們采用的方法是：首先找到圖像的中央，然后從中央向兩端分別掃描，每一個方向如果遇到第一個值小于閾值，并且下一個值也小于閾值的時候，就認定找到了字符與邊框干擾的邊界，記下這個值，進行切割就可以去除上下邊框。 a)切除(qich)上下邊框(binkung)之前的投影 b)切除(qich)上下邊框之后的投影圖9 二值圖向X軸方向的投影然后對圖9進行分析，我們發(fā)現(xiàn)向X軸方向的投影特征不如Y軸那么明顯，干擾部分也出現(xiàn)了與車牌區(qū)域很相似的波峰，而且字符與字符之間也存在著間隔，因此

12、不能像切除上下邊框那樣切除左右邊框。后來我們想，索性不切除左右邊框，反正只要我能把字符切割出來就行，左右邊框可以丟棄，只要不切到它們，它們就不會像上下邊框那樣對識別造成影響。我們發(fā)現(xiàn)，車牌的圓點是一個可利用的特征。它出現(xiàn)在第三或者第四個位置，而且它的值明顯小于左右兩個字符的值，因此只要找到圓點的位置，就可以以它為參照，向前、向后分別找到其他的字符了。確定圓點的步驟如下頁圖10所示。在圖10中，我們的思路是先將二值圖片向X軸方向的投影從左之右進行遍歷，找出其中所有的值小于閾值的點（我們手動設(shè)為1，即如果這個方向上投影的黑點個數(shù)為零，那么就判定這個地方出現(xiàn)了中斷），這個點就是出現(xiàn)了字符中斷的區(qū)域。

13、在遍歷的時候，為了防止把一些漢字間的中斷切掉，我們改進了方法，只有這個點的值小于閾值，而且它前面或者后面一個點的值大于閾值，才可以判定它是一個中斷坐標。把這些區(qū)域的坐標標注出來之后，將這些坐標兩兩組成一對，每一對對應(yīng)的就是一個有字符的區(qū)域。然后就對這些區(qū)域的寬度相加求和，求出來之后，從前往后找到第一個寬度大于平均值的點，那么這個地方要么是邊框干擾，要么是漢字，就從這個區(qū)域往后繼續(xù)遍歷，找到的第一個寬度小于平均值的區(qū)域，這個區(qū)域必然是圓點區(qū)域。找出圓點區(qū)域之后，往前兩個區(qū)域就是漢字區(qū)域，往前一個就是第一個字母，然后相應(yīng)地后面的字母或者數(shù)字也就能確定出來了。這樣做可以解決大多數(shù)經(jīng)過準確定位之后的車

14、牌切割問題，但是抗干擾性不高。因為有些車牌本身不干凈，在車牌上也分布著一些干擾因素，這樣就無法正常提取了。做完車牌切割這一重要工作之后，就可以生成七個小圖片，每個圖片保存一個字符，將它們存儲到本地文件夾下，分別命名為1.jpg至7.jpg。在保存的時候，需要預(yù)先將它們的尺寸按照模板的比例進行調(diào)整，本設(shè)計用的是網(wǎng)上找的模板，這些模板的尺寸是14*22，因此在存儲的時候，調(diào)用matlab的imresize(char2,22,14)方法保存切割后的圖像。掃描結(jié)束？ 是從左向右掃描圖像 否該點是否是臨界點 否 是將該點加入臨界點列表結(jié)束？ 是 否 是將臨界點組成可能是字符的區(qū)域查看下一個區(qū)域的寬度是否

15、大于平均值 否 是從這個地方繼續(xù)往后找是否小于平均值否 是該區(qū)域就是圓點區(qū)域圖10 找出圓點區(qū)域(qy)的過程流程(lichng)圖最后(zuhu)是進行匹配識別經(jīng)過我們的觀察，我們發(fā)現(xiàn)裁剪生成以后的字符的圖像如圖11所示。 圖11 裁剪后的字符圖像我們感覺這些圖像比較規(guī)整，在與模板匹配的時候可以采用距離算法。首先我們從最簡單的求差開始。首先讀入待識別的字符對應(yīng)的圖片，然后將這個圖片與所有的模板做差（為了盡量減少計算量，可以對不同的位置采用不同的方法，例如第一位一定是漢字，因此就不與除漢字意外的其他字符進行比較）。做差后得到一個矩陣，對這個矩陣進行統(tǒng)計，首先定義一個變量，用于存儲模板與待識別字

16、之間的距離，對這個矩陣中的值進行統(tǒng)計，凡是非0的點，包括1或者-1，都將總的距離加一。最后，對于這個待識別的字，找出與它的距離最小的模板的編號，根據(jù)這個編號得到相應(yīng)的字符。也可以采用歐式距離，過程與上面類似，不過算的是每個模板到這個待識別的字符的歐式距離，然后進行比較。這種直接求距離的方式，優(yōu)點是簡單，因此我們在此選擇基于距離的模板匹配進行識別。但是這種方式的劣勢也是很明顯的，那就是抗干擾性太差，如果字體有傾斜，或者提取后的字跡不清晰，那么很容易識別出錯。至此我們的時間不夠改進成別的方式，暫時采用這種方式，但是我們調(diào)查了其他的方式，以及別人解決前面幾個步驟時做的較好的工作，在第六部分，分析與總

17、結(jié)中進行記錄與總結(jié)，以便擴展思維和以后進行改進?？傮w上說，經(jīng)過上述幾個步驟，就可以對于給出的實景汽車照片進行識別了。4 實現(xiàn)4.1 用戶界面設(shè)計開始時，我們對Matlab的了解很少，因此就將每個部分單獨實現(xiàn)，沒有統(tǒng)一的界面。直到最近，我們了解了一下matlab界面設(shè)計，用figure命令打開一個控制面板，就可以像java的NetBeans或者VC+那樣通過拖控件設(shè)計界面了。因此，我們設(shè)計了程序的界面，如圖12所示。界面中包含了課程設(shè)計所要求的一切步驟的顯示界面與互動操作接口，可以很方便地實現(xiàn)動態(tài)交互。界面各部分的功能在界面上都有標注，在此就不詳細描述。圖12 汽車(qch)牌照識別程序界面4.

18、2 車牌區(qū)域(qy)定位該部分(b fen)采用的是根據(jù)顏色定位的方法。該部分功能的實現(xiàn)在mainFrame中的function pushbutton2_Callback(hObject, eventdata, handles)函數(shù)下實現(xiàn)。首先定義四個變量，分別為Yup、Ydown、Xleft、Xright，分別用于存儲車牌區(qū)域的四個邊界。在獲得圖片之后，首先從上向下掃描圖片，掃描圖片的時候，藍色像素點的判斷為：if(blueWhiteImage(i,j,1)=55)&(blueWhiteImage(i,j,2)=46)&(blueWhiteImage(i,j,3)=75) 這幾個數(shù)值在實際開

19、發(fā)中我們進行了不斷的調(diào)整，這種方式的弊端也愈發(fā)明顯：對于不同的照片，判斷某像素是否是藍色像素的時候，需要調(diào)整這些點。這樣就非常費時，而且通用性不強。因此基于顏色的車牌識別是不太完善的方法。而且如果車牌的顏色本來就不是藍色的，那么就難以識別。即使向前面所述的，又加上白色像素點的統(tǒng)計，也依然不能解決這個問題。我們了解了其他的方式，在后面記錄下來，以供以后使用?？傊?，在這次設(shè)計中，我們暫時采用基于顏色的定位方式。最終，如果照片光照、色彩比較正常，那么會按照要求在照片中將車牌區(qū)域用紅色框框起來，并且將圖片切割下來，存放在界面的左下方的子框中，如圖13所示。圖13 圈定(qun dn)車牌區(qū)域(qy)4

20、.3 車牌字符(z f)分割實現(xiàn)以及字符識別車牌字符分割的辦法在上一部分已經(jīng)詳細講述，這一部分就不再贅述。在最終程序的展現(xiàn)中，這一部分是與車牌識別和在一起的，字符分割和車牌識別都在點擊識別車牌按鈕之后進行，相應(yīng)的代碼也寫在了一起。其實這種編碼習(xí)慣非常不好，我之前經(jīng)常用Java寫程序，編碼最忌諱的就是太多的功能集中在一起。在后續(xù)改進中，可以將每個小步驟提成一個函數(shù)，便于修改、擴展和維護。在識別的時候，將剪切好的字符的圖片讀入，然后二值化之后與每個模板進行對比，先識別漢字，在模板庫中漢字是第46號到第66號，因此第一位只要與這些模板進行對比就可以，之后將后面的與第0號到第35號進行比對。由于比對的

21、結(jié)果是通過switch將字符存在一個數(shù)組中，因此最后用set(handles.edit6,string,matchResult(2)（matchResult(2)是存放待顯示識別結(jié)果字符的數(shù)組元素）顯示字母的時候，會將字母對應(yīng)的ASIC碼顯示出來，因此在顯示之前加一個判斷，如果其值10則直接顯示，否則用char(matchResult(2)將其轉(zhuǎn)化成字符后顯示即可?？傊?，點擊識別車牌按鈕之后，會將上述所有的處理進行完畢之后，應(yīng)該可以得到最終的結(jié)果。識別的效果如圖14所示。a)正確(zhngqu)識別自己拍攝(pish)的照片 b）正確(zhngqu)識別老師提供的照片圖14 最終識別完成后的結(jié)

22、果顯示5 測試我們用自己拍的照片和老師拍提供的照片分別進行了測試，在編碼過程中，主要是用自己拍的照片進行的測試（這些照片在作業(yè)文件夾中一并提交）。經(jīng)過測試，自己拍攝的照片，基本能識別，但是對于老師給的照片，大約三分之一能定位，識別率較低。而且對于晚上拍的照片，基本不能識別。用老師給的照片的識別情況為：白天：大約35張可以正確圈定車牌，但是很多不能把字符全部正確的識別出來，例如粵識別成蘇、蘭等，B識別成8等。夜晚的暫時不能識別。6 分析總結(jié)這次課程設(shè)計，總體來說實現(xiàn)效果不理想，原因是在設(shè)計中并沒有采取優(yōu)秀的算法，而是采用了比較簡單的方法。但是這次設(shè)計總體上增加了我們對于模式識別課程的認識，通過解

23、決一個實際的問題，讓我們熟悉了相關(guān)的思想，一些算法雖然沒在設(shè)計中實現(xiàn)，但是卻讓我們對其了解，或許在以后的工作或?qū)W習(xí)中能夠用上。下面就設(shè)計中遇到的問題進行分析總結(jié)。首先(shuxin)是車牌定位的問題(wnt)。我們采用(ciyng)的基于顏色的像素點統(tǒng)計定位法魯棒性很差，容易受到環(huán)境影響。然后是車牌分割的問題。在車牌分割的時候，除了上面介紹的問題，有時會出現(xiàn)如圖15所示的情況。在切除上下邊框的時候，將下半部分也切掉了，分析其原因，通過向左的投影直方圖可以發(fā)現(xiàn)，這時候粵字下半部分對應(yīng)的幾行的投影為零。圖片字符下面部分的筆畫明明連接著，但是不知道為什么會投影為零。為了 a)裁剪邊框把文字也裁掉 b

24、)此時對應(yīng)的Y軸投影的直方圖圖15 去除邊框的時候遇到的問題通過分析，我們找邊框的時候，是從中間向兩邊掃面，遇到小于閾值的點，就認為它是字符與非字符噪音的分界點。但是在圖15b)中，在60到70之間的空間顯然包括了車牌下半部分的文字部分，而真正的分解點應(yīng)該是80稍微往前一點的地值區(qū)域。目前我們想通過多次掃描，即先從后掃描，再從后向前掃描，再從中間掃描，如果三次掃描得到的兩個邊界點分別做差，如果它們的差值在一定范圍內(nèi)，就取它們的平均值，如果差值大于某個值，就采用其他手段，但是目前還在討論中。至于字符的匹配問題，前面已經(jīng)講述過。對于如圖16所示的夜晚的照片，我們的程序不能識別。圖16 夜晚的照片很

25、顯然，夜晚的時候，各種色彩很難分辨，用基于顏色的識別方式很難進行識別。經(jīng)過觀察，我們認為車燈是一個很重要的噪聲影響。因此，我們計劃首先將車燈部分去除掉，去除的方法一開始是將車牌灰度化，然后將亮度超過一個閾值的部分變成灰度為125的點，這樣就得到了圖17所示的結(jié)果。這時候，車燈的明顯干擾就已經(jīng)不存在了，下一步可以利用基于邊緣的提取方法將車牌提取出來，然后就可以按照后續(xù)的方法進行分割、識別了。我們沒有采用基于邊緣的提取方法，因此這個也就沒有繼續(xù)做下去。下面記錄一些我們了解的其他的解決方法，以供以后學(xué)習(xí)使用。圖17 將車燈(ch dn)屏蔽掉之后(zhhu)的效果基于(jy)邊緣檢測的車牌提?。哼@種

26、方法首先是進行灰度變換，它們認為彩色照片包含大量顏色信息，屬于無用信息，因此首先進行灰度轉(zhuǎn)換?；叶绒D(zhuǎn)換之后，進行邊緣提取，邊緣是圖像的重要特征，圖像理解和分析的第一步往往就是邊緣檢測。目前，邊緣檢測已成為計算機視覺研究領(lǐng)域最活躍的課題之一，在工程應(yīng)用中占有十分重要的地位。車牌的一個重要特征就是在該區(qū)域存在大量的邊緣信息，所以邊緣檢測對于我們進行車牌識別來說也是相當重要。邊緣是以圖像的局部特征不連續(xù)的形式出現(xiàn)的，也就是指圖像局部亮度變化最顯著的部分，如灰度值的突變、顏色的突變、紋理結(jié)構(gòu)的突變等，同時邊緣也是不同區(qū)域的分界處。圖像邊緣有方向和幅度兩個特性，通常沿邊緣的走向灰度變化平緩，垂直于邊緣走

27、向灰度變化劇烈。由于邊緣是圖像上灰度變化最劇烈的地方，傳統(tǒng)的邊緣檢測就利用這個特點，通過計算圖像中像素的梯度值來確定邊緣點。常用的圖像邊緣提取算子有Roberts算子、sobel算子、Prewitt算子、Laplacian算子等，它們的模板分別如下：(1)Roberts梯度算子：(2)Sobel算子：(3)Prewitc算子(sun z)：(4)Laplacian算子(sun z)：BP神經(jīng)網(wǎng)絡(luò)進行(jnxng)的車牌識別本次設(shè)計的一個遺憾的地方就是沒能應(yīng)用神經(jīng)網(wǎng)絡(luò)的知識。在設(shè)計的時候甚至現(xiàn)在，對于神經(jīng)網(wǎng)絡(luò)都掌握得不是特別深刻。優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以根據(jù)環(huán)境的差異動態(tài)調(diào)整，進行識別，其特殊條件下的識別率較高，例如這種方法對于車牌面積較小的情況有著非常好的識別效果。我們了解