數(shù)字圖像處理-車(chē)牌識(shí)別資料

1、圖像模式識(shí)別(m sh sh bi)應(yīng)用專(zhuān)題：車(chē)牌識(shí)別技術(shù)圖像分析處理技術(shù)的綜合(zngh)應(yīng)用共五十六頁(yè)一、車(chē)牌識(shí)別(shbi)技術(shù)簡(jiǎn)介車(chē)牌識(shí)別是現(xiàn)代交通管理的重要措施，是智能交通系統(tǒng)的重要環(huán)節(jié)內(nèi)容：車(chē)牌識(shí)別系統(tǒng)是采用數(shù)字?jǐn)z像技術(shù)和計(jì)算機(jī)信息管理技術(shù)，對(duì)運(yùn)行車(chē)輛實(shí)現(xiàn)智能管理的綜合運(yùn)用技術(shù)理論基礎(chǔ)：數(shù)字圖像處理和模式識(shí)別(m sh sh bi)車(chē)牌識(shí)別技術(shù)具有典型性，容易推廣到其它識(shí)別對(duì)象共五十六頁(yè)主要(zhyo)應(yīng)用領(lǐng)域主要應(yīng)用場(chǎng)合(1) 公安卡口(k ku)(2) 高速公路收費(fèi)管理(3) 城市道路監(jiān)控系統(tǒng)(電子警察)(4) 海關(guān)車(chē)輛管理(5) 停車(chē)場(chǎng)管理(6) 車(chē)輛流量統(tǒng)計(jì)共五十六頁(yè)車(chē)牌識(shí)

2、別技術(shù)(jsh)現(xiàn)狀完整的車(chē)牌自動(dòng)識(shí)別系統(tǒng)由圖像釆集、圖像處理、模糊(m hu)識(shí)別等模塊組成； 在現(xiàn)有的技術(shù)條件下，車(chē)牌識(shí)別系統(tǒng)均無(wú)法達(dá)到100%的識(shí)別率，好的識(shí)別系統(tǒng)可達(dá)95%以上； 先進(jìn)識(shí)別系統(tǒng)的識(shí)別時(shí)間在一百毫秒以下；基于視頻技術(shù)的識(shí)別系統(tǒng)，可方便地進(jìn)行圖像回放、檢索； 其它識(shí)別系統(tǒng)：條形碼識(shí)別、射頻標(biāo)識(shí)識(shí)別等。 共五十六頁(yè)有關(guān)(yugun)識(shí)別率的統(tǒng)計(jì)數(shù)據(jù)各環(huán)節(jié)的識(shí)別率：（1）牌照定位 98%（2）單字分割 97.8%（3）車(chē)牌識(shí)別(shbi) 95%從上面統(tǒng)計(jì)情況可看出，目前單項(xiàng)識(shí)別率均達(dá)到95%以上，但總識(shí)別率僅能達(dá) 91%以上，仍需進(jìn)一步提高。共五十六頁(yè)系統(tǒng)(xtng)組成車(chē)牌

3、識(shí)別系統(tǒng)組成(z chn)共五十六頁(yè)識(shí)別(shbi)流程主要由三部分組成圖像捕獲一般(ybn)采用CCD攝像頭，包括整車(chē)圖像或牌照(一般(ybn)為彩色圖像)后兩步由計(jì)算機(jī)實(shí)現(xiàn)關(guān)鍵部分是第三步：字符識(shí)別（OCR）共五十六頁(yè)識(shí)別(shbi)步驟具體識(shí)別步驟如下(不是唯一的)：(1) 獲取整車(chē)或局部圖像；(2) 對(duì)獲取車(chē)輛數(shù)字圖像進(jìn)行(jnxng)預(yù)處理；(3) 車(chē)牌定位；(4) 二值轉(zhuǎn)換；(5) 車(chē)牌分類(lèi)；(6) 車(chē)牌分割；(7) 字符識(shí)別；(8) 結(jié)果優(yōu)化(車(chē)牌模糊識(shí)別)。共五十六頁(yè)二、車(chē)牌定位(dngwi)與分割車(chē)牌定位：通過(guò)(tnggu)車(chē)牌區(qū)域的特征來(lái)判別牌照的位置，將車(chē)牌從圖像中分割出

4、來(lái)步驟：(1)彩色圖像灰度化(2)圖像增強(qiáng)(3)邊緣檢測(cè)(4)模板匹配(5)輸出牌照子圖像共五十六頁(yè)CCD 輸出(shch)CCD捕獲(bhu)的汽車(chē)圖像共五十六頁(yè)灰度圖像(t xin)彩色圖像灰度化共五十六頁(yè)灰度增強(qiáng)(zngqing)灰度增強(qiáng)(zngqing)改變對(duì)比度共五十六頁(yè)邊緣(binyun)提取(方法多種)定位(dngwi)、分割后輸出下步工作是對(duì)分割輸出進(jìn)行字符識(shí)別共五十六頁(yè)車(chē)徽邊緣提取(tq)與識(shí)別 共五十六頁(yè)1、彩色圖像灰度化CCD攝像頭輸出的圖像一般是24位真彩色圖像，需進(jìn)行(jnxng)灰度化，使不同顏色車(chē)體統(tǒng)一化，同時(shí)實(shí)現(xiàn)快速處理兩種制式都可以采用PAL制： 亮度NTSC

5、制：亮度共五十六頁(yè)2、對(duì)比度增強(qiáng)(zngqing)利用灰度變換增強(qiáng)對(duì)比度，突出車(chē)牌區(qū)一般采用(ciyng)截取式變換 ：常采用下式共五十六頁(yè)3、邊緣(binyun)檢測(cè)主要方法(1) 對(duì)圖像進(jìn)行直分析處理(2) 提取車(chē)牌區(qū)域(qy)邊界(3) 灰度點(diǎn)運(yùn)算(4) 模板匹配(5) 算子法(6) 形態(tài)學(xué)處理(7) 其它邊緣提取方法共五十六頁(yè)車(chē)牌圖像(t xin)特征車(chē)牌定位與分割的理論與方法是根據(jù)車(chē)牌圖像的特點(diǎn)來(lái)確定的車(chē)牌圖像主要特征有：(1) 車(chē)牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)(tngj)特征(2) 車(chē)牌的幾何特征(3) 車(chē)牌區(qū)域的灰度分布特征(4) 車(chē)牌區(qū)域的水平、垂直投影特征(5) 車(chē)牌形狀特征和

6、字符排列格式特征(6) 車(chē)牌的形態(tài)學(xué)特征(7) 頻譜特征共五十六頁(yè)車(chē)牌圖像(t xin)的組成組成：省份漢字(或其他漢字)+字母或阿拉伯?dāng)?shù)字，共7位，即 X1X1X3X4X5X6X7例：川AK0387尺寸：寬 45mm、高 90mm、間隔符寬10mm、單元(dnyun)間隔 12mm字符筆畫(huà)在豎直方向是連通的牌底與字符顏色對(duì)照大，邊緣非常豐富四類(lèi)：藍(lán)底白字、黃底黑字、黑底白字、 白底黑字共五十六頁(yè)定位(dngwi)分割難點(diǎn)抓拍圖像受環(huán)境因素干擾，特別環(huán)境光的干擾，環(huán)境光太強(qiáng)時(shí)，圖像淡薄，對(duì)比度變差；車(chē)尾有其它字符，使車(chē)牌定位困難；車(chē)牌大都存在污染(wrn)而變臟；車(chē)牌部分被遮擋；車(chē)牌圖像為運(yùn)動(dòng)

7、圖像，拍攝時(shí)產(chǎn)生失真。共五十六頁(yè)環(huán)境光太強(qiáng)車(chē)牌圖像(t xin)太弱共五十六頁(yè)文字(wnz)干擾其他字符(z f)干擾共五十六頁(yè)車(chē)牌污染(wrn)車(chē)牌被污染(wrn)共五十六頁(yè)部分(b fen)被擋車(chē)牌字符(z f)下邊被遮擋共五十六頁(yè)運(yùn)動(dòng)(yndng)失真車(chē)牌字符因運(yùn)動(dòng)(yndng)失真共五十六頁(yè)梯度(t d)法邊緣提取梯度法(一階偏微分)又稱(chēng) Roberts算子一種利用局部差分法提取(tq)邊緣(銳化)的方法 F(j,k) f(j,k+1) F(j+1,k)共五十六頁(yè)邊緣(binyun)模板法邊緣模板是一種算子，常用(chn yn)的有Sobel算子Sobel算子是一種由兩個(gè)卷積構(gòu)成的梯度

8、模板分別檢測(cè)水平邊緣和垂直邊緣，運(yùn)算結(jié)果是一幅邊緣圖像共五十六頁(yè)P(yáng)rewitt算子邊緣(binyun)提取與Sobel算子類(lèi)似(li s)，這也是一種邊緣模板，僅是模板權(quán)系數(shù)不一樣輸出：共五十六頁(yè)快速(kui s)邊緣檢測(cè)在車(chē)牌系統(tǒng)中還常采用一種更簡(jiǎn)單的模板來(lái)提取邊緣(對(duì)于有干擾的圖像效果不理想)特點(diǎn)：運(yùn)算(yn sun)速度快，車(chē)牌筆畫(huà)輪廓突出，而車(chē)體其他部分輪廓不突出共五十六頁(yè)掩模匹配(ppi)法銳化：羅比遜模板(mbn)、普雷外特模板(mbn)、柯赤模板(mbn)上述三種模板均可用于邊緣提取，車(chē)牌檢測(cè)常用柯赤(Krisch)模板,由8個(gè)算子組成共五十六頁(yè)高斯(o s)-拉普拉斯算子法二階

9、微分算子該算子對(duì)噪聲(zoshng)不敏感(55)輸出:共五十六頁(yè)哈夫(Hough)變換提取(tq)直線利用圖像全局特性將邊緣(binyun)像素連接起來(lái)形成區(qū)域封閉邊界的一種方法原理：將二維空間(x,y)平面中的直線用二維極坐標(biāo)(,)空間表示將直線 表示為：即將(x,y)平面的直線變換為r-空間的一個(gè)點(diǎn)該方法亦用于傾斜校正共五十六頁(yè)哈夫(Hough)變換(binhun)原理共五十六頁(yè)模板(mbn)匹配用與圖像中車(chē)牌一樣大小的已知模板，在經(jīng)對(duì)比度增強(qiáng)后的圖像中，從起點(diǎn)(0,0)開(kāi)始，逐步平移一一匹配，尋找最佳(zu ji)區(qū)域匹配公式：最大值為輸出已知模板并不是某個(gè)具體的車(chē)牌，而是具有車(chē)牌統(tǒng)計(jì)

10、特性的通用模板，是一種模糊匹配共五十六頁(yè)形態(tài)學(xué)處理確定(qudng)車(chē)牌位置將圖像二值化,通過(guò)膨脹、腐蝕操作(cozu)定位共五十六頁(yè)車(chē)牌定位(dngwi)算法之一(1) 對(duì)原始圖像進(jìn)行基于方向區(qū)域距離測(cè)度的彩色邊緣檢測(cè)得到原始邊緣圖像(2) 對(duì)原始邊緣圖像中的每一邊緣點(diǎn)進(jìn)行邊緣顏色對(duì)檢測(cè)，獲得候選車(chē)牌邊緣圖像(3) 對(duì)候選車(chē)牌邊緣圖像進(jìn)行閉運(yùn)算(yn sun)獲得連通域圖像(4) 計(jì)算各連通域的寬高比，剔除不在閾值范圍內(nèi)的連通域，若只剩下一個(gè)連通域，則可確認(rèn)為車(chē)牌區(qū)域，轉(zhuǎn)(7)共五十六頁(yè)車(chē)牌定位(dngwi)算法之一(5) 若還有多于一個(gè)連通域，則計(jì)算(j sun)r。剔除不在閾值范圍內(nèi)的連

11、通域，若只剩下一個(gè)連通域，則可確認(rèn)為車(chē)牌區(qū)域，轉(zhuǎn)(7)(6) 若還有多于一個(gè)連通域，則對(duì)其進(jìn)行彩色邊緣檢測(cè)然后進(jìn)行水平掃描，統(tǒng)計(jì)每行灰度值為1的個(gè)數(shù)N，如果有連續(xù)M行以上Nn1,n2，則可認(rèn)為此連通域?yàn)檐?chē)牌區(qū)域(7) 在原始圖像中提取車(chē)牌圖像共五十六頁(yè)其它(qt)方法：自適應(yīng)邊界搜索法 利用(lyng)倒L型、水平直線、垂直直線這些結(jié)構(gòu)元素搜索、定位字符，然后找出符合一定格式的字符群，即認(rèn)為是車(chē)牌。 共五十六頁(yè)其它方法(fngf)：區(qū)域生長(zhǎng)法 對(duì)邊緣圖像進(jìn)行均勻性區(qū)域生長(zhǎng)，以獲得潛在的車(chē)牌區(qū)域，然后利用車(chē)牌的幾何特征以及車(chē)牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計(jì)(tngj)特征刪除偽車(chē)牌，獲取真實(shí)車(chē)牌。共

12、五十六頁(yè)其它(qt)方法：形態(tài)學(xué)運(yùn)算法 灰度圖像數(shù)學(xué)形態(tài)學(xué)運(yùn)算法則利用車(chē)牌形狀(xngzhun)特征、字符排列格式特征，對(duì)預(yù)處理后的灰度圖像進(jìn)行一系列的形態(tài)學(xué)運(yùn)算，得到直線與一定數(shù)目的字符相鄰的區(qū)域即認(rèn)為是車(chē)牌。 共五十六頁(yè)其它方法(fngf)： DFT變換法 DFT變換法是先對(duì)圖像逐行做DFT變換，然后把頻率系數(shù)逐行累加平均并根據(jù)這些(zhxi)平均值做出頻譜曲線，根據(jù)頻譜曲線中的“峰”的起始點(diǎn)位置確定車(chē)牌水平位置，對(duì)這一水平區(qū)域逐行做DFT變換可確定車(chē)牌豎直位置。雖然上述車(chē)牌定位算法已在實(shí)踐中取得成功，但對(duì)于車(chē)輛實(shí)時(shí)監(jiān)控系統(tǒng)來(lái)說(shuō)上述方法所需的時(shí)間仍然偏長(zhǎng)。 共五十六頁(yè)其它方法：圖像差分(c

13、h fn)投影法 基于圖像差分投影法：將車(chē)輛灰色圖像按水平方向求差分圖，然后按垂直方向求差分，最后對(duì)差分后的車(chē)輛圖像分別在水平和垂直方向投影，按照(nzho)給定的車(chē)牌尺寸范圍找出可似車(chē)牌區(qū)域；按照水平和垂直方向投影得出有可能的車(chē)牌區(qū)域有三個(gè)，包括兩個(gè)車(chē)燈區(qū)，由于車(chē)燈區(qū)在尺寸和字符數(shù)上不符合常規(guī)車(chē)牌特征，所以即可排除，從而僅剩下唯一的車(chē)牌區(qū)域，再?gòu)幕疑珗D像中切出真正的車(chē)牌區(qū)圖像。共五十六頁(yè)三、車(chē)牌字符識(shí)別技術(shù)(jsh)與通用的OCR識(shí)別方法類(lèi)似模板匹配法首先對(duì)字符二值化，并歸一化字符尺寸，然后進(jìn)行模板匹配，選取擇最匹配輸出神經(jīng)網(wǎng)絡(luò)匹配法，兩種算法：(1) 先對(duì)各字符進(jìn)行特征提取，利用特征訓(xùn)練網(wǎng)

14、絡(luò)(wnglu)分類(lèi)器，然后用分類(lèi)器識(shí)別字符(2) 由網(wǎng)絡(luò)對(duì)輸入圖像自動(dòng)提取特征并識(shí)別共五十六頁(yè)1、預(yù)處理車(chē)牌經(jīng)定位、分割檢出后，基本上具有被識(shí)別的條件，但還需做適當(dāng)預(yù)處理預(yù)處理：(1) 圖像(t xin)二值化在彩色圖像灰度化后，因車(chē)牌類(lèi)型不同，會(huì)出白底黑字和黑底白字兩種，需要統(tǒng)一為一種(2) 字符分割共五十六頁(yè)2、二值化二值化的關(guān)鍵是閾值(y zh)的選擇二種方法：全局閾值、局部閾值全局閾值其中hl是灰度值為l的像素個(gè)數(shù)。共五十六頁(yè)3、傾斜(qngxi)校正提取的車(chē)牌圖像有可能是傾斜的，為了便于識(shí)別，需對(duì)圖像進(jìn)行傾斜度校正方法(fngf)：哈夫(Hough)變換計(jì)算車(chē)牌圖像上、下邊界直線計(jì)

15、算邊界直線的傾斜度 P傾斜度校正共五十六頁(yè)拍攝(pish)造成的傾斜字符共五十六頁(yè)二值化后的傾斜(qngxi)字符共五十六頁(yè)4、尺寸(ch cun)歸一化字符的大小歸一化可以簡(jiǎn)單地用統(tǒng)計(jì)分析法來(lái)完成歸一化內(nèi)容:(1) 位置歸一化，即把字符移到規(guī)定的位置上， 使字符的質(zhì)心對(duì)中，也可字符邊框定位(2) 大小歸一化，使被識(shí)別(shbi)字符具有同樣大小共五十六頁(yè)5、字符識(shí)別識(shí)別方法較多匹配法識(shí)別采用相關(guān)(xinggun)函數(shù)作為相似度測(cè)度其中，T為模板，S為模板覆蓋下的圖像子塊，i、j為子塊左上角坐標(biāo)，M、N為模板長(zhǎng)和寬共五十六頁(yè)6、字符(z f)優(yōu)化按照(nzho)上述車(chē)牌定位和切割方法取得的單個(gè)

16、字符圖像，可能存在字符與邊框相連、字符變形和字符斷裂等情況，為此在真正識(shí)別之前需要對(duì)字符位圖作進(jìn)一步的技術(shù)處理；常用的方法是將用于識(shí)別的字符位圖按新的點(diǎn)陣大小重新采樣，然后搜索字符位圖的準(zhǔn)確上下左右邊界值，依照字符位圖的寬高值和新的邊界值重新確定字符像素點(diǎn)，并排除非字符情況，如左右邊界值之差過(guò)小、上下邊界差過(guò)小等情況即認(rèn)為非字符。共五十六頁(yè)7、字符(z f)類(lèi)型民用(mnyng)車(chē)漢字：京、津、晉、冀、蒙、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、川、貴、云、藏、陜、甘、青、寧、新，渝” ；英文字母：除“I”外的“AZ”其他字母；數(shù)字：09；數(shù)字和字母：“WJ”、“警”+

17、 09 ；軍用車(chē)漢字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；民用車(chē)尾字：包括“09、學(xué)、試、領(lǐng)、港”等字。 共五十六頁(yè)8、標(biāo)準(zhǔn)(biozhn)特征庫(kù)將切分下來(lái)的字符圖像變換到4040的點(diǎn)陣空間上，按照水平和垂直方向提取二值特征、按照字符結(jié)構(gòu)(jigu)在水平、垂直、左、右四個(gè)方向的幾何投影圖像特征建立多維特征庫(kù)，其中標(biāo)準(zhǔn)漢字從宋體字庫(kù)中選取，字母及數(shù)字從OCR-A字庫(kù)中選取。對(duì)標(biāo)準(zhǔn)字符分別進(jìn)行歸一化、輪廓化和特征抽取，標(biāo)準(zhǔn)模板就是從中抽取特征得到的特征向量。共五十六頁(yè) 10、字符(z f)匹配兩種主要方法：模板匹配法和人工神經(jīng)網(wǎng)絡(luò)算法；模板匹配

18、算法首先把待識(shí)別字符二值化，并將其尺寸大小縮放為字符數(shù)據(jù)庫(kù)中模板的大小，然后與所有的模板進(jìn)行匹配，最后選最佳(zu ji)匹配作為結(jié)果；基于人工神經(jīng)網(wǎng)絡(luò)的算法主要有兩種：(1) 一種是先對(duì)待識(shí)別字符進(jìn)行特征提取，然后用所獲得的特征來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類(lèi)器；(2) 另一種方法是直接把待處理圖像輸入網(wǎng)絡(luò)，由網(wǎng)絡(luò)自動(dòng)實(shí)現(xiàn)特征提取直至識(shí)別出結(jié)果。前一種方法識(shí)別結(jié)果與特征提取有關(guān)，而特征提取比較耗時(shí)，因此特征提取是關(guān)鍵。共五十六頁(yè)期末考試(q m ko sh)要求1、開(kāi)卷2、每人一套題3、兩大類(lèi)型題：綜合基礎(chǔ)(jch)題、綜合應(yīng)用題4、基礎(chǔ)題要求： 基本概念、基本原理、簡(jiǎn)易計(jì)算5、應(yīng)用題要求：變換、分割、形態(tài)學(xué)處理帶計(jì)算器或筆記本電腦共五十六頁(yè)內(nèi)容摘要圖像模式識(shí)別應(yīng)用。車(chē)牌識(shí)