基于神經(jīng)網(wǎng)絡的車牌照字符識別改進方法研究.doc

- 西 南 交 通 大 學 畢業(yè)設計（論文） 基于神經(jīng)網(wǎng)絡的車牌照字符識別改進方法 研究 年 級: 學 號: 20052295 姓 名: 專 業(yè): 自動化（交通信息工程及控制方向） 指導老師: 二零零九年六月 院 系 信息科學與技術(shù)學院 專 業(yè) 自動化（交通信息工程及控制） 年 級 2005 級 姓 名 題 目 基于神經(jīng)網(wǎng)絡的車牌照字符識別改進方法研究 指導教師 評 語 指導教師 (簽章) 評 閱 人 評 語 評 閱 人 (簽章) 成 績 答辯委員會主任 (簽章) 年 月 日 西南交通大學本科畢業(yè)設計(論文) 第 i 頁 畢畢 業(yè)業(yè) 設設 計計 任任 務務 書書 班 級 交控 1 級 學生姓名 周波 學 號 20052295 專 業(yè) 自動化（交通信息工程及控制） 發(fā)題日期：2009 年 1 月 1 日 完成日期：2009 年 6 月 15 日 題題 目目 基于神經(jīng)網(wǎng)絡的車牌照字符識別改進方法研究 題目類型： 工程設計 技術(shù)專題研究 理論研究 軟硬件產(chǎn)品開發(fā) 一、一、設計任務及要求設計任務及要求 車牌照識別是智能交通系統(tǒng)的一個重要課題，在車輛管理、不停車收費等系統(tǒng)中有廣泛應 用。目前，基于神經(jīng)網(wǎng)絡的字符識別技術(shù)在車牌照識別領域中已經(jīng)得到比較普遍的應用，但是 由于車牌字符識別算法的相對復雜性，因此我們需要設計一種改進算法來提高車牌照識別系統(tǒng) 的魯棒性和實時性。具體要求如下： 1. 對輸入的字符圖像（包括數(shù)字和英文字母）進行字符特征提取 2. 通過神經(jīng)網(wǎng)絡方法訓練樣本和自學習，識別字符并給出結(jié)果 3. 設計一種改進算法以提高字符識別的精確度和快速性 4. 輸入圖像中可以含有多個數(shù)字和字母 5. 每張圖片的處理時間不能大于 1s 二、二、應完成的硬件或軟件實驗應完成的硬件或軟件實驗 1. 利用 matlab 或 vc+編程實現(xiàn)車牌照字符的識別技術(shù) 2. 設計一個人機交互界面能輸入車牌照字符圖像并顯示字符識別的結(jié)果 三、三、應交出的設計文件及實物（包括設計論文、程序清單或磁盤、實驗裝置或產(chǎn)品等）應交出的設計文件及實物（包括設計論文、程序清單或磁盤、實驗裝置或產(chǎn)品等） 1. 畢業(yè)設計論文（必須完全符合學校規(guī)范，內(nèi)容嚴禁有絲毫的抄襲剽竊） 2. cd-r（含論文，程序，程序使用說明書，演示視頻，盤面標注班級，姓名，專業(yè)，日期） 3.英文翻譯按學校規(guī)定，導師無特殊要求 西南交通大學本科畢業(yè)設計(論文) 第 ii 頁 四、四、指導教師提供的設計資料指導教師提供的設計資料 1. 研究報告介紹（包括課題背景、動機、內(nèi)容、意義） 2. 計劃說明書 3. 部分英文文獻資料和 medialab lpr 圖像數(shù)據(jù)庫 五、五、要求學生搜集的技術(shù)資料（指出搜集資料的技術(shù)領域）要求學生搜集的技術(shù)資料（指出搜集資料的技術(shù)領域） 1. 本課題相關(guān)領域國內(nèi)外重要論文及資料 2. matlab、c+編程指南 六、六、設計進度安排設計進度安排 第一部分 查閱相關(guān)資料，學習相關(guān)編程語言 （2 周） 第二部分 編制程序并進行軟件調(diào)試 （8 周） 第三部分 撰寫畢業(yè)論文 （5 周） 評閱及答辯 畢業(yè)論文修改和參加答辯 （1 周） 指導教師： 年 月 日 系主任審查意見： 審 批 人： 年 月 日 西南交通大學本科畢業(yè)設計(論文) 第 iii 頁 注：設計任務書審查合格后，發(fā)到學生手上。 西南交通大學信息科學與技術(shù)學院 2008 年制 摘 要 車牌字符識別是智能交通系統(tǒng)的一個重要課題，在車輛管理、不停車收費等系 統(tǒng)中有廣泛應用。目前，基于神經(jīng)網(wǎng)絡的字符識別技術(shù)在車牌照識別領域中已經(jīng)得 到比較普遍的應用，但是由于車牌字符識別算法的相對復雜性，因此我們需要設計 一種改進算法來提高車牌照識別系統(tǒng)的魯棒性和實時性。 字符識別是模式識別領域的一項傳統(tǒng)的課題，這是因為字符識別不是一個孤立 的問題，而是模式識別領域中大多數(shù)課題都會遇到的基本問題。字符識別也是加快 人機信息交流的有效手段。目前有許多資料以圖書形式存在，如果用手工的方式進 行錄入的話，不僅效率地下，而且容易出錯。在這種要求下，字符識別有了出現(xiàn)的 必要。在這篇文章中主要是利用神經(jīng)元網(wǎng)絡控制來實現(xiàn)對字符圖像的處理，從而實 現(xiàn)字符識別的功能。 神經(jīng)網(wǎng)絡模式識別方法是近些年提出的新方法，為字符研究提供了一種新手段， 它具有一些傳統(tǒng)技術(shù)沒有的優(yōu)點：良好的容錯能力，較強的分類能力，有并行處理 能力和自學習能力。因而，采用神經(jīng)網(wǎng)絡識別方式是一種很好的選擇。本文首先對 字符圖像進行預處理并提取出字符的圖像特征；然后用神經(jīng)網(wǎng)絡方法對數(shù)字和英文 字符進行識別，得出結(jié)果和顯示出識別時間；最后提出一些改進算法以提高字符識 別的精確度和快速性。 關(guān)鍵詞：關(guān)鍵詞：字符識別； 圖像處理；特征提取； 神經(jīng)網(wǎng)絡 西南交通大學本科畢業(yè)設計(論文) 第 iv 頁 abstract the character recognition of license plate is an important subject of intelligent transportation system, and is used widely in the vehicle management system and electronic toll collection system. at present, the character recognition technology based on neural network has been used widely in the field of license plate recognition, but due to the relative complexity of plate character recognition algorithm, we need to design an improved algorithm to improve the robustness and real-time ability of the license plate recognition system. character recognition is a traditional subject in the field of pattern recognition, this is because character recognition is not a single problem, but a basic one which will be encountered in most subjects in the field of pattern identification. character recognition is also an effective means to accelerate the process of man-computer communication. currently, at present ，there are lots of material in the books， and if they are inputted manually, it would be not only inefficient, but also error-prone. so, there is a need for the appearance of character recognition in this case. in this paper, neural network control is mainly used to achieve the purpose of character image processing, thus the function of character recognition has been realized. the method of neural network pattern recognition is a new method brought up in recent years, and has provided a new means for character research. it has some advantages which traditional technology didnt have, such as good fault-tolerant capability, strong capability of classification, parallel processing and self-learning. therefore, its a good choice to adopt the method of neural network recognition. in this paper, firstly, character image was pre-processed and the image feature of character was extracted; then, by using the method of neural network recognition, numbers and english characters were recognized and the result was obtained and recognition time was displayed. lastly, some 西南交通大學本科畢業(yè)設計(論文) 第 v 頁 improved algorithms were introduced to improve the accuracy and rapidity of the character recognition. keywords: character recognition; image processing; feature extraction; neural network 西南交通大學本科畢業(yè)設計(論文) 第 vi 頁 目 錄 摘 要iii abstractiv 第 1 章 緒 論1 1.1 國內(nèi)外研究現(xiàn)狀及研究意義.1 1.1.1 國內(nèi)外研究現(xiàn)狀1 1.1.2 研究意義3 1.2 研究內(nèi)容及方法.5 1.2.1 研究內(nèi)容5 1.2.2 研究方法5 1.3 字符圖像識別的總體方案設計.5 1.4 本文結(jié)構(gòu)安排.6 第 2 章 圖像預處理8 2.1 引言.8 2.2 圖像灰度化.8 2.3 圖像二值化.10 2.4 圖像歸一化.11 2.5 圖像的反色處理.12 2.6 本章小結(jié).13 第 3 章 基于神經(jīng)網(wǎng)絡的字符識別14 3.1 神經(jīng)網(wǎng)絡字符識別的過程.14 3.2 bp 神經(jīng)網(wǎng)絡模型和算法18 3.2.1 bp 神經(jīng)網(wǎng)絡模型.18 3.2.2 bp 神經(jīng)網(wǎng)絡學習算法.18 3.3 神經(jīng)網(wǎng)絡算法改進.22 3.4 本章小結(jié).23 第 4 章 字符識別的時間分析性和精確度分析24 4.1 字符識別的時間分析性.24 4.2 字符識別的精確分析.26 第 5 章 軟件設計27 5.1 系統(tǒng)流程.27 5.2 系統(tǒng)界面.27 結(jié) 論33 西南交通大學本科畢業(yè)設計(論文) 第 vii 頁 致 謝34 參考文獻35 西南交通大學本科畢業(yè)設計（論文） 第 1 頁 第 1 章 緒 論 1.1 國內(nèi)外研究現(xiàn)狀及研究意義 1.1.1 國內(nèi)外研究現(xiàn)狀 字符作為信息溝通與交流的重要載體，在人們的日常工作和生活中起著重要作 用，因此字符識別技術(shù)成為人機交互界面研究的主要內(nèi)容之一。字符識別是模式識 別領域的一項傳統(tǒng)的課題，它在現(xiàn)代日常生活的應用越來越廣泛，比如汽車車牌牌 照的自動識別系統(tǒng)、聯(lián)機手寫識別系統(tǒng).字符識別由于應用條件不同，解決的方法也 各異。 隨著全世界的經(jīng)濟飛速發(fā)展，信息技術(shù)日新月異。人工智能等計一算機技術(shù)的 迅猛發(fā)展使得信息的自動處理能力不斷提高，并且廣泛地應用于人們的生產(chǎn)和生活 實際當中，極大地推動了人類的進步和社會的發(fā)展。隨著人們生活節(jié)奏的不斷加快， 汽車的普及已經(jīng)成為必然趨勢，交通系統(tǒng)的管理能力也相應的需要極大的提高，所 以車輛的自動管理即智能交通系統(tǒng)的開發(fā)就越來越成為社會現(xiàn)實中需要迫切解決的 問題。在這個大背景下，基于計算機視覺的圖像處理及模式識別技術(shù)就越來越得到 人們的關(guān)注，這也為智能交通管理系統(tǒng)的深入研究并且早日進入實際應用領域提供 了非常好的契機。車輛牌照自動識別系統(tǒng)已成為計算機視覺與模式識別應用的重要 研究課題之一。 在模式識別領域中，有的技術(shù)已經(jīng)初步進入了實用階段，比如指紋識別，虹膜 識別等；語音識別，手寫漢字識別等也取得了飛速的進展。而車牌識別系統(tǒng) 是一個涉及到圖像處理，模式識別，計算機視覺，軟件工程等多個方面的技術(shù)的系 統(tǒng)。由于整個系統(tǒng)需要解決的問題相當復雜，車牌識別在實際上只得到了初步的應 用。例如在識別過程中不同的天氣，亮度，環(huán)境光都會對車牌的定位造成一定的困 難，車牌本身的缺陷或傾斜對字符切分會造成很大的影響，復雜而且難以預計的非 車牌區(qū)域更是給車牌的準確識別帶來了極大的困難。盡管近幾年來研究者們也對這 些問題提出了很多相應的解決方法，但是在識別的速度，正確率上還是有著很大的 不足。尤其是近些年來，隨著人們生活水平的提高，私家車的擁有量越來越高，各 類公路街道也不斷拓寬，同時駕駛員素質(zhì)卻是參差不齊，眾多因素使得需要識別的 圖像背景越來越復雜，交通系統(tǒng)的壓力也越來越大，從而智能交通系統(tǒng)也成為了圖 像處理人工智能領域的一個熱點項目。車牌號碼的識別是智能交通系統(tǒng)的重要組成 部分，其主要功能是從視頻監(jiān)控視頻（實時處理或錄像）中分析并且處理采集到的 圖像，捕獲到含有汽車牌照的關(guān)鍵幀，對這類幀進行識別處理，依次對圖像中車牌 的位置進行定位，對定位好的車牌進行旋轉(zhuǎn)，切分等操作，最后對切分好的單個字 西南交通大學本科畢業(yè)設計（論文） 第 2 頁 符進行識別，從而提取出汽車牌照的完整信息。這套系統(tǒng)在出入控制路口，高速公 路收費站，公路流量監(jiān)控，違章車輛監(jiān)控等方面都可以使用。只要是可以放置攝像 頭或照相機的地方都可以方便的應用。 綜上所述，對車牌識別技術(shù)的研究以及相關(guān)應用系統(tǒng)的開發(fā)都具有重大的現(xiàn)實 意義以及實用價值，同時也擁有廣大的商業(yè)應用前景。 本文采用的基于 bp(back-propagation)神經(jīng)網(wǎng)絡進行字符識別是一種新的識別方 法，它具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點，如識別速度較快，分類能力強，且具有較 好的容錯性能和自學習能力。與其它方法相比， bp 神經(jīng)網(wǎng)絡不需要了解網(wǎng)絡的內(nèi) 部細節(jié)和過程，實現(xiàn)相對簡單，還有自我改進和學習的優(yōu)點，很容易為識別系統(tǒng)增 加學習特性，易適應各種書寫風格發(fā)生的變化。 20 世紀 80 年代中期，美國很多學者就完整地提出了反向傳播學習算法，簡稱 為 bp 算法，bp 算法因其良好的非線性映射能力和柔軟的網(wǎng)絡結(jié)構(gòu)，目前已被廣泛 應用于模式識別、數(shù)據(jù)預測、圖像處理等各個領域，它的理論發(fā)展也日趨成熟。近 年來，人們圍繞如何加速傳統(tǒng) bp 網(wǎng)絡的收斂速度及盡量陷入局部最優(yōu)解等問題做 了大量的研究工作，并提出了許多改進的方案1-3。本文在詳細研究 bp 算法及改進 算法基礎上，通過“車牌識別”4對標準 bp 算法和改進 bp 算法進行了比較研究。 字符圖像模式是人們對要識別的字符圖像的定義和描述，圖像模式類是具有某 些集合、紋理和數(shù)字描述體的共同特性樣本客體的集合。圖像模式識別是對表征事 物或物理現(xiàn)象的各種形式的物理數(shù)據(jù)、圖像信息進行處理和分析，以對圖像進行描 述、辨認、分析和解釋的過程。圖像模式識別的研究是將圖像處理、特征定義與變 換、分類方法、數(shù)字計算等各種技術(shù)綜合應用，自動的識別和分類物體圖像中的幾 何目標、區(qū)域紋理和數(shù)學描述體的目標過程。 一般的圖像模式識別系統(tǒng)由 5 個基本模塊組成，包括圖像數(shù)據(jù)采集圖像數(shù)據(jù)和 預處理、特征建立及分析、分類器設計、模板匹配。任何一種模式識別方法的實現(xiàn) 都需要由客體，首先要通過各種數(shù)據(jù)采集設備、數(shù)字圖像攝像頭、模擬圖像 a/d 轉(zhuǎn) 換卡或者將各種物理變量轉(zhuǎn)換為計算機能表達的二維或三維數(shù)字圖像。這種由數(shù)字 圖像組成的空間為模式空間，計算機必須從這些眾多的圖像數(shù)字信息中抽取和提煉 重要和簡約有效的特征信息，這在系統(tǒng)處理的前期需要包括消除噪聲、分離背景、 圖像分割等級是處理，去掉一些非重要的信息，然后對識別樣板的物體或者區(qū)域的 特征進行分析計算和交換，采用合理的方法和技術(shù)對特征進行選擇。提取和訓練以 建立和形成模式的特征庫，對待識別的樣本模式分類和模型匹配在已經(jīng)建立的特征 空間和特征樣本庫的基礎上依據(jù)合理的分類器方法而得到的結(jié)果。 一般的圖像模式識別系統(tǒng)主要下例部分組成：圖像信息獲取、圖像預處理、圖 像特征提取、識別結(jié)果輸出。通常的圖像識別系統(tǒng)具體的模塊構(gòu)成如圖 1-1 所示。 西南交通大學本科畢業(yè)設計（論文） 第 3 頁 圖像輸入圖像信息獲取圖像預處理圖像特征提取識別結(jié)果輸出 圖 1-1 圖像識別系統(tǒng)模塊構(gòu)成 車牌字符識別涉及模式分類，圖像處理，神經(jīng)網(wǎng)絡等多方面的技術(shù)。與一般的 印刷體字符識別相比，有其自身的特點，它實際上是對依附在車牌上的印刷體文字 進行識別。車牌字符識別技術(shù)，是文字識別技術(shù)與車牌圖像自身特點協(xié)調(diào)兼顧的綜 合性技術(shù)。由于環(huán)境光照的強弱程度以及色彩、車牌的整潔度、攝像機的 j 性能、 拍攝時的車輛牌照的傾斜角度、鏡頭軸線與車牌法線的夾角以及車輛運動等因素的 影響使牌照中的字符可能出現(xiàn)比較嚴重的模糊、歪斜、缺損或污跡干擾，這些都給 字符識別帶來了難度。 40 年代以來，人們在研究人腦機理的基礎上，廣泛開展模仿腦模型的人工神經(jīng) 網(wǎng)絡理論的研究。由于人工神經(jīng)網(wǎng)絡具有與人腦相似的高度并行性、良好的容錯性 和聯(lián)想記憶功能、自適應和自學習能力等特點，特別是以改進型 bp 網(wǎng)絡為代表的 神經(jīng)網(wǎng)絡具有良好的自學習能力、強大的分類能力、容錯能力和魯棒性，可以實現(xiàn) 輸入到輸出的非線性映射，因此神經(jīng)網(wǎng)絡在字符識別領域得到越來越多的應用5。 在日常生活中，大量的數(shù)字化信息需要進行手工錄入，耗時且由于長時間工作 引起疲勞不可避免地產(chǎn)生差錯，日益成為阻礙信息化發(fā)展的瓶頸問題。如何將人們 從這種煩瑣的簡單重復勞動中解放出來，是模式識別領域中的一類重要問題6。 近年來，隨著國民經(jīng)濟的蓬勃發(fā)展，高速公路、高等級公路及大型停車場越來 越多，汽車的數(shù)量也在猛增，這就給交通管理提出了更高的要求。因此，汽車牌照 的自動識別技術(shù)在公共安全及交通管理中具有特別重要的實際應用意義。 目前，國內(nèi)外汽車牌照的識別技術(shù)有 ic 卡識別技術(shù)、條形碼識別技術(shù)、圖像處 理技術(shù)、人工神經(jīng)網(wǎng)絡識別技術(shù)7。前面三種方法存在著使用成本高、識別速度慢等 缺點。由于人工神經(jīng)網(wǎng)絡識別技術(shù)有良好的自適應性、自組織性，很強的學習功能、 聯(lián)想功能、容錯功能、識別率高、抗干擾能力強等優(yōu)點，因此越來越多地受到人們 的廣泛關(guān)注與應用。目前廣泛采用的是基于 bp 算法的多層前饋神經(jīng)網(wǎng)絡。 1.1.2 研究意義 隨著圖像處理和識別的技術(shù)和計算機、多媒體、智能機器人、專家系統(tǒng)的不斷 發(fā)展，越來越多的系統(tǒng)應用了圖像模式識別技術(shù)，如圖像模式識別在氣象分析，工 業(yè)生產(chǎn)應用，交通信息管理，農(nóng)業(yè)生產(chǎn)應用，醫(yī)學分析，生物信息檢測，文字信息 處理等方面得到了廣泛的應用8。 西南交通大學本科畢業(yè)設計（論文） 第 4 頁 1. 圖像模式識別應用一 該模式識別已經(jīng)在天氣氣象預報分析，衛(wèi)星遙感圖片 分析，自然災害預測等方面得到了廣泛的應用。 2. 圖像模式識別應用二 該模式識別在工業(yè)生產(chǎn)和質(zhì)量檢驗等方面得到了實際 應用9。圖紙掃描識別系統(tǒng)可將手繪圖紙和藍圖轉(zhuǎn)換為矢量圖形輸入到諸如 autocad 繪圖系統(tǒng)中，加工工作面表面質(zhì)量的圖形化檢測使工作效率大大提高， 基于圖像分析的流水線上的啤酒質(zhì)量檢測系統(tǒng)極大地提高了工作效率。 3. 圖像模式識別應用三 該模式識別在交通信息管理方面得到了積極的應用， 車輛智能化，信息化的管理在很大程度上都得益于模式識別技術(shù)的進步，車牌自動 定位和識別系統(tǒng)，車輛流量分析系統(tǒng)，駕駛員面部狀態(tài)分析系統(tǒng)，交通標記自動識 別和分析系統(tǒng)，車輪軸承紅外圖像分析系統(tǒng)都為交通信息智能化，交通安全運行提 供了技術(shù)支持。 4. 圖像模式識別應用四 該模式識別在農(nóng)業(yè)生產(chǎn)中得到了廣泛的應用，基于衛(wèi) 星圖像的土壤分析，水利資源利用，農(nóng)業(yè)災害預測得到廣泛應用，基于圖像的流水 線上的葡萄干的分線擇選系統(tǒng)大大提高了產(chǎn)品質(zhì)量和生產(chǎn)效率。 5. 圖像模式識別應用五 該模式識別在醫(yī)學圖像分析統(tǒng)計方面得到了成功應用， 紅血球，白血球識別和計數(shù)系統(tǒng)大大減輕了醫(yī)療檢測人員的工作負擔，b 超圖像病 理組織自動分析系統(tǒng)提高了診斷效率，紅外乳腺檢測系統(tǒng)為預防婦科疾病發(fā)揮了巨 大作用。 6. 圖像模式識別應用六 該模式識別在生物信息處理方面有了非常大的進展， 語音識別，指紋識別，字跡鑒定，虹紋分析，掌紋識別系統(tǒng)為特種金融行業(yè)和安全 系統(tǒng)提供了非常重要的辨別工具。 7. 圖像模式識別應用七 該模式識別在信息處理方面取得了實際意義的應用， 印刷體識別錄入系統(tǒng)，手寫數(shù)字輸入系統(tǒng)，以畫草圖方式的工程圖紙輸入系統(tǒng)使信 息交流跨越了媒體間的距離10。 車牌字符識別技術(shù)的根本性在于自動識讀出車輛的唯一身份證，車牌號碼，是 車輛管理的直觀依據(jù)，對車輛車牌的直接識別，符合車輛管理的需要，同時，由于 不需要被識別車輛主動參與，管理全面、與法律無沖突，擺脫了人工查看圖片識讀 車牌號碼的工作，由于這一智能化的技術(shù)，頓時使車輛管理的技術(shù)水平跨上了一個 新臺階，雖然任何車輛管理系統(tǒng)最終都不可能完全擺脫人的參與，但畢竟在降低人 工勞動強度、提高管理效率、增加管理的客觀性方面起到了巨大的推動作用。 隨著越來越多的家庭開始擁有車輛，車牌識別系統(tǒng)為自動化的智能交通管理、 智能物業(yè)管理提供了高效、實用的手段。 西南交通大學本科畢業(yè)設計（論文） 第 5 頁 1.2 研究內(nèi)容及方法 1.2.1 研究內(nèi)容 車牌照識別是智能交通系統(tǒng)的一個重要課題，在車輛管理、不停車收費等系統(tǒng) 中有廣泛應用。目前，基于神經(jīng)網(wǎng)絡的字符識別技術(shù)在車牌照識別領域中已經(jīng)得到 比較普遍的應用，但是由于車牌字符識別算法的相對復雜性，因此我們需要設計一 種改進算法來提高車牌照識別系統(tǒng)的魯棒性和實時性。具體方法過程如下。 1.對輸入的字符圖像（包括數(shù)字和英文字母）進行字符特征提??； 2.通過神經(jīng)網(wǎng)絡方法訓練樣本和自學習，識別字符并給出結(jié)果； 3.設計一種改進算法以提高字符識別的精確度和快速性。 1.2.2 研究方法 車牌的識別問題是現(xiàn)代交通工程領域中研究的重點和熱點問題之一。本文主要 對車牌字符的識別作了詳細介紹，對識別過程中的一些關(guān)鍵技術(shù)進行了概述。 1.首先對車牌字符的預處理(包括圖像灰度化、圖像二值化、圖像反白處理)作 了簡單的介紹，然后對其進行特征提取提取； 2.最后就是對處理好的字符進行識別。本文采用了兩層層 bp 神經(jīng)網(wǎng)絡識別方 法，對神經(jīng)網(wǎng)絡的構(gòu)成、學習規(guī)則、bp 算法及網(wǎng)絡的設計與訓練作了詳細的介紹。 神經(jīng)網(wǎng)絡模式識別方法是字符識別的一個重要研究方向，本文選取的網(wǎng)絡模式 是兩層層 bp 網(wǎng)絡，除此之外，徑向基網(wǎng)絡、hopfield 網(wǎng)絡、art 網(wǎng)絡在模式識別 中的應用也非常廣泛，可考慮將 bp 網(wǎng)絡與其它不同網(wǎng)絡結(jié)合起來進行識別，以期 得到更高的網(wǎng)絡識別性能。 訓練樣本的選擇對神經(jīng)元網(wǎng)絡的識別結(jié)果有著重大的影響，因此，合理地選擇 訓練樣本，并采用更加合理的最優(yōu)化算法使神經(jīng)網(wǎng)絡的收斂速度進一步的提高。 1.3 字符圖像識別的總體方案設計 字符圖像識別，可以認為是字符圖像的模式識別，它是模式識別技術(shù)在圖像領 域中的具體運用。模式識別的研究對像基本上可概括為兩大類：一類是有直覺形象 的如圖像、相片、圖案、文字等等;另一類是沒有直覺形象而只有數(shù)據(jù)或信息波形的 如語聲、心電脈沖、地震波等等。但是，對模式識別來說，無論是數(shù)據(jù)、信號還是 平面圖形或立體景物都是除掉它們的物理內(nèi)容而找出它們的共性，把具有同一共性 的歸為一類，而具有另一種共性的歸為另一類。模式識別研究的目的是研制能夠自 動處理某些信息的機器系統(tǒng)，以便代替人完成分類和辨別的任務。 本文的字符識別系統(tǒng)可分為 5 個主要部分，如圖 1-2 所示。 西南交通大學本科畢業(yè)設計（論文） 第 6 頁 字符圖像讀取 圖像預處理 字符圖像識別 識別結(jié)果輸出 時間輸出 圖 1-2 字符圖像識別的簡單框圖 第一部分是字符圖像的讀取，就是在測試庫里面讀入字符圖像，相當于對被識 別字符圖像信息的獲取，對字符圖像識別來說，就是把字符圖像等信息系統(tǒng)輸入設 備數(shù)字化后以備后續(xù)處理。 第二部分是圖像的預處理。預處理的目的是去除干擾、噪聲、及差異，將原始 圖像變?yōu)檫m合于計算機進行特征提取的形式。它包括圖像的灰度化、二值化、歸一 化、圖像反色處理等。 第三部分是字符圖像的識別，本文采用的基于 bp 神經(jīng)網(wǎng)絡進行字符識別的方 法，它具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點，如識別速度較快，分類能力強，且具有較 好的容錯性能和自學習能力。與其它方法相比， bp 神經(jīng)網(wǎng)絡不需要了解網(wǎng)絡的內(nèi) 部細節(jié)和過程，實現(xiàn)相對簡單， 而其人工神經(jīng)網(wǎng)絡識別技術(shù)有良好的自適應性、自 組織性，很強的學習功能、聯(lián)想功能、容錯功能、識別率高、抗干擾能力強等優(yōu)點， 因此越來越多地受到人們的廣泛關(guān)注與應用。目前廣泛采用的是基于 bp 算法的多 層前饋神經(jīng)網(wǎng)絡。 第四部分是識別結(jié)果的輸出，即通過神經(jīng)網(wǎng)絡對字符進行識別后輸出字符識別 的結(jié)果。 第五部分就是時間輸出，即字符圖像在經(jīng)過處理到識別出結(jié)果的時間。 1.4 本文結(jié)構(gòu)安排 在基于神經(jīng)網(wǎng)絡車牌照字符識別方法中，最主要的核心就是字符圖像的預處理、 西南交通大學本科畢業(yè)設計（論文） 第 7 頁 神經(jīng)網(wǎng)絡方法訓練樣本和自學習及識別字符并輸出結(jié)果，因此第二章給出字符圖像 預處理基本理論和過程；在第三章則主要介紹了神經(jīng)算法以及字符識別過程，第四 章主要是對系統(tǒng)參數(shù)進行分析；第五章則是對本系統(tǒng)界面作了簡單的介紹。 西南交通大學本科畢業(yè)設計（論文） 第 8 頁 第 2 章 圖像預處理 2.1 引言 圖像預處理是圖像間的變化處理，是圖像前期的分析準備，目的是使圖像中的 字符圖像更加簡練、獨特性更強、信息量最少而其唯一。圖像預處理著眼于圖像之 間的變換，圖像預處理的當前處理步驟對后面處理步驟有較大的影響，圖像的前后 處理結(jié)果有些的不可逆的。例如，通過對圖像灰度的拉伸使物體間的區(qū)別加大，通 過灰度化的開運算或閉運算使圖像中白色或黑色小區(qū)域得到加強，通過各向異性擴 散處理得到區(qū)域均勻而邊界無損的圖像。圖像預處理屬于基礎層次的操作，一般情 況下，只涉及圖像本身的性質(zhì)，而不涉及關(guān)于圖像內(nèi)容的知識，基本操作必須盡量 減少對后繼目標對像分析的特征量的損失。 圖像預處理重要包括圖像平滑、變換、增強、恢復、濾波等功能，具體算法和 技術(shù)包括灰度化、二值化、二值化開運算、二值化閉運算、灰度化開運算、灰度化 閉運算、中值濾波、均值濾波、高斯濾波、各向異性擴散、gabor 濾波、小波分析 等，這些技術(shù)對圖像的與處理結(jié)果各不相同，而圖像預處理在模式識別系統(tǒng)中目的 只有一個，就是為特征量的獲取提供充足、完整和緊湊的圖像信息。 本文對圖像的預處理主要是首先對字符圖像進行灰度化，將字符圖像轉(zhuǎn)化為灰 度圖像即將字符圖像轉(zhuǎn)變?yōu)榛叶葓D像；然后再將灰度圖像轉(zhuǎn)換為二值圖像，二值處 理是將字符圖像上的點的灰度值置成 0 或 255，也就是整個圖像呈現(xiàn)出明顯的黑白 效果，隨后再將二值化圖像歸一化，最后就是圖像的反色處理。流程圖如圖 2-1 所 示。 原始圖像圖像灰度化圖像二值化圖像歸一化圖像反色處理 圖 2-1 圖像預處理流程圖 2.2 圖像灰度化 將字符圖像轉(zhuǎn)化成灰度圖像的過程就稱為圖像的灰度化處理。彩色圖像中每個 像素的顏色由紅 r、綠 g、藍 b 三部分決定，每個分量有 255 種取值，這樣一個像 素點就可以有 1600 多萬種顏色的變化范圍。而灰度圖像是紅 r、綠 g、藍 b 三個分 量相同的一種特殊的彩色圖像，其中一個像素點的變化范圍為 255 種，所以在數(shù)字 圖像處理中一般是先將各種圖像轉(zhuǎn)變?yōu)榛叶葓D像以便后繼圖像處理的計算量變得少 一些灰度圖像的描述與彩色圖像的描述一樣仍然反映了整幅字符圖像的整體和局部 的色彩和亮度等級的分布和特征。圖像的灰度處理用下面的方法來實現(xiàn)：在 yuv 的顏色空間中，y 分量的圖像物理意義是字符圖像中各個點的亮度，又該值反映亮 西南交通大學本科畢業(yè)設計（論文） 第 9 頁 度等級，根據(jù) rgb 和 yuv 顏色變化的關(guān)系可以建立 y 與 r、g、b 三個顏色分量 的對應關(guān)系：y=0.3r+0.5g+0.11b，以這個亮度值來表達圖像的灰度值。 彩色圖像中像素點的 r、g、b 分量是不等的，如紅色用 rgb 結(jié)構(gòu)來表示為 rgb (255, 0, 0)、藍色為 rgb (0, 0, 255)。而灰度像素點的 r、g、b 的分量是相等 的，既顏色中的含量 r = g= b，用 rgb 表示為(0,0,0)、(1, 1, 1)(255,255,255)，其 中 rgb (0, 0, 0) 為黑色，rgb (255, 255, 255) 為白色，界于兩者之間的為灰度顏色。 彩色位圖與灰度位圖的像素點的 r、g、b 分量之間有如公式(2-1)對應關(guān)系。 (2-1) 0.2990.5870.114 0.2990.5870.114 0.2990.5870.114 rr gg bb g 灰度彩色 = 有了這個公式， 就能將一副彩色圖像轉(zhuǎn)化為灰度圖。 而本論文中通過利用 matlab 中 rgb2gray 函數(shù)將字符圖像轉(zhuǎn)換成灰度圖像， 通過調(diào)用函數(shù) i=rgb2gray(x)后圖像效果如圖 2-2 所示。 其中 i處理后的圖像； x原字符圖像； a)原圖像 b)灰度圖像 西南交通大學本科畢業(yè)設計（論文） 第 10 頁 c)原圖像 d)灰度圖像 圖 2-2 字符圖像轉(zhuǎn)換為灰度圖像 2.3 圖像二值化 圖像的二值化處理是將字符圖像上的點的灰度值置成 0 或 255，也就是整個圖 像呈現(xiàn)出明顯的黑白效果。即將 256 個亮度等級的灰度圖像通過適當?shù)拈撝颠x取而 獲得仍然可以反映圖像整體和局部特征的二值圖像，本文所選取的二值化閾值是 0.5。在數(shù)字圖像處理中，二值圖像占有非常重要的地位，特別是在實用的字符圖像 處理系統(tǒng)中。要進行二值圖像的處理與分析，首先需要把灰度圖像二值化，得到二 值圖像，這樣再對圖像做進一步的處理時，圖像的集合性質(zhì)只與像素值為 0 和 255 的點的位置有關(guān)，不再涉及像素的多級值，使處理變得簡單，而其數(shù)據(jù)的處理和壓 縮量較小。 在本文中所有的灰度大于或等于閾值 0.5 的像素點判定為屬于字符圖像的特征， 其灰度用 255 表示，否則這些像素點都被排除在字符區(qū)域以外，灰度值為 0，表示 字符背景或例外的物體區(qū)域。通過調(diào)用 matlab 中的函數(shù)中的 im2bw 函數(shù)來實現(xiàn) 將灰度圖像轉(zhuǎn)化為二值圖像，其中的亮度閾值是通過手動調(diào)試來確定的。原字符圖 像經(jīng)過處理后得到的二值圖像如圖 2-3 所示。 西南交通大學本科畢業(yè)設計（論文） 第 11 頁 a)灰度圖像 b)二值圖像 c)灰度圖像 d)二值圖像 圖 2-3 灰度圖像轉(zhuǎn)化為二值圖像 2.4 圖像歸一化 不少人認為將圖像歸一化為 59 像素二值圖像是最理想的，但圖像的尺寸越小， 識別的速度就越高，網(wǎng)絡訓練也越快。而實際上，相對于要識別的字符圖像，59 像素圖像太小了。在經(jīng)過圖像的歸一化后，圖像信息會丟失很多，這是進行圖像識 別，準確率不高。圖像的特征是圖像識別的唯一依據(jù)，它對字符圖像的識別過程起 著非常重要的作用。圖像的各種特征含義不同、單位不同，如對于基于神經(jīng)的字符 識別可能包含字符整體特征、幾何特征、紋理特征等多個特征，有的特征變化了 0.5 就是變化了各個特征的 50%，而有的特征變化 0.5，知識改變了這個特征的 0.2%， 如果比進行圖像歸一化，這樣就很難得到識別的結(jié)果。 本文是將字符圖像都歸一化為 1616 像素的二值圖像。歸一化處理并沒有改變 西南交通大學本科畢業(yè)設計（論文） 第 12 頁 圖像的對比度，歸一化處理很簡單，首先讀入的像素矩陣最大值為 256，最小值為 1，就是說歸一化之后所有的像素值都在0，1區(qū)間內(nèi)。二值圖像經(jīng)過歸一化處理 后的圖像如圖 2-4 所示。 a)二值圖像 b)歸一化后的圖像 c)二值圖像 d)歸一化后的圖像 圖 2-4 二值圖像的歸一化 2.5 圖像的反色處理 對彩色圖像的 r、g、b 各彩色分量取反的技術(shù)就是圖像的反色處理，這在處理 二值化圖像的連通域選取時非常重要。如在本文中字符圖像的連通域用黑色來表示， 所以我們對經(jīng)過二值化后的圖像進行取反，將原字符圖像的二值化圖像轉(zhuǎn)化為黑底 白字的字符圖像。圖像的反色處理圖例如圖 2-5 所示。 西南交通大學本科畢業(yè)設計（論文） 第 13 頁 a)原字符圖像 b)反色處理后的字符圖像 c)原字符圖像 d)反色處理后的字符圖像 圖 2-5 圖像的反色處理 2.6 本章小結(jié) 圖像預處理是圖像間的變化處理，是圖像前期的分析準備，目的是使圖像中的 字符圖像更加簡練、獨特性更強、信息量最少而其唯一。本章主要介紹了圖像預處 理過程中字符圖像間變化的過程由圖像的灰度化、二值化、圖像的歸一化、及其圖 像的反色處理部分組成，而且就其各個部分的實現(xiàn)過程作了詳細的介紹。 西南交通大學本科畢業(yè)設計（論文） 第 14 頁 第 3 章 基于神經(jīng)網(wǎng)絡的字符識別 3.1 神經(jīng)網(wǎng)絡字符識別的過程 本文在神經(jīng)網(wǎng)絡字符圖像識別實現(xiàn)的過程當中，分解成兩個大塊，就是圖像預 處理模塊和識別模塊。其中圖像預處理模塊在對圖像進行了一系列變換后把最后提 取到的字符提交給識別模塊，然后進行識別并給處結(jié)果。 本系統(tǒng)總的流程為圖像預處理，特征提取，經(jīng)過神經(jīng)網(wǎng)絡樣本訓練最后是神經(jīng) 網(wǎng)絡的識別并顯示結(jié)果。 在圖像預處理中，針對本系統(tǒng)的神經(jīng)網(wǎng)絡識別，對每一幅圖像都必須有特征提 取，把提取的特征在神經(jīng)網(wǎng)絡中進行訓練和識別。 整個系統(tǒng)的程序?qū)崿F(xiàn)分為圖像預處理和神經(jīng)網(wǎng)絡識別兩大模塊。在圖像預處理 的過程當中，采用了如同前面圖像預處理處理的技術(shù)，最后把每個字符的特征提取 出來。特征提取采用最簡單的逐象素特征提取方法，對圖像進行逐行逐列的掃描當 遇到黑色象素時取其特征值為 0，遇到白色象素時取其特征值為 1，這樣當掃描結(jié) 束以后就形成了一個維數(shù)與圖像中象素點的個數(shù)相同的特征向量矩陣。簡單來講， 其功能就是把歸一化樣本的每個象素都作為特征提取出來，這里就得到了每幅圖像 就有歸一化后的 1616 的 256 個特征值。流程圖如圖 3-1 所示。 開始 讀入圖像 圖像預處理 特征提取 神經(jīng)網(wǎng)絡識別 結(jié)束 圖 3-1 神經(jīng)網(wǎng)絡識別流程圖 第一部分是字符圖像的讀取，就是在測試庫里面讀取字符圖像，相當于對被識 別字符圖像信息的獲取，對字符圖像識別來說，就是把字符圖像等信息系統(tǒng)輸入設 備數(shù)字化后以備后續(xù)處理。如圖 3-2 所示。 西南交通大學本科畢業(yè)設計（論文） 第 15 頁 圖 3-2 字符圖像的輸入 第二部分進行圖像的預處理后對字符圖像進行特征提取。對字符圖像進行預處 理主要是首先對字符圖像進行灰度化，將字符圖像轉(zhuǎn)化為灰度圖像即將字符圖像轉(zhuǎn) 變?yōu)榛叶葓D像；然后再將灰度圖像二值化圖像，二值化處理是將字符圖像上的點的 灰度值置成 0 或 255，也就是整個圖像呈現(xiàn)出明顯的黑白效果，隨后再將二值化圖 像歸一化，最后就是圖像的反色處理等技術(shù)對字符圖像進行特征提取。如圖 3-3 所 示。 a) 圖像灰度化 西南交通大學本科畢業(yè)設計（論文） 第 16 頁 b) 圖像二值化 c) 圖像歸一化 西南交通大學本科畢業(yè)設計（論文） 第 17 頁 d) 圖像反色 圖 3-3 字符圖像預處理 第三部分是字符圖像的識別，采用的基于 bp 神經(jīng)網(wǎng)絡進行字符識別的方法， 它具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點，如識別速度較快，分類能力強，且具有較好的 容錯性能和自學習能力，有良好的自適應性、自組織性，很強的學習功能、聯(lián)想功 能、容錯功能、識別率高、抗干擾能力強等優(yōu)點即誤差反向傳播神經(jīng)網(wǎng)絡，其思想 是不斷的訓練權(quán)值，并設有一個標準的輸出，每次訓練以后得到的實際輸出與標準 的輸出比較，設置一個最小誤差，達到一個誤差是就表示網(wǎng)絡訓練好了， 對字符進 行識別后輸出字符識別的結(jié)果，如圖 3-4 所示。否則繼續(xù)訓練，達到一定的訓練次 數(shù)，還沒有達到這個標準表示網(wǎng)絡的設置有問題。 西南交通大學本科畢業(yè)設計（論文） 第 18 頁 圖 3-4 神經(jīng)網(wǎng)絡的識別結(jié)果顯示 3.2 bp 神經(jīng)網(wǎng)絡模型和算法 3.2.1 bp 神經(jīng)網(wǎng)絡模型 通常我們說的 bp 神經(jīng)網(wǎng)絡的模型，即誤差反向傳播神經(jīng)網(wǎng)絡，本文思想是不 斷的訓練權(quán)值，并設有一個標準的輸出，每次訓練以后得到的實際輸出與標準的輸 出比較，設置一個最小誤差，達到一個誤差是就表示網(wǎng)絡訓練好了，否則繼續(xù)訓練， 達到一定的訓練次數(shù)，還沒有達到這個標準表示網(wǎng)絡的設置有問題。本文采用的 bp 神經(jīng)網(wǎng)絡模型有網(wǎng)絡有輸入層節(jié)點，輸出層節(jié)點、隱含層節(jié)點，隱含層節(jié)點與外界 沒有直接聯(lián)系，但是隱含層狀態(tài)改變，會影響輸入與輸出的關(guān)系。層與層之間采用 全互連方式。網(wǎng)絡的每個輸入節(jié)點表示圖像特征向量的一個分量數(shù)據(jù)。 bp 網(wǎng)絡模型實現(xiàn)了多層網(wǎng)絡學習的設想。當給定網(wǎng)絡的輸入模式時，它由輸入 層單元送到隱含層單元，經(jīng)隱含層單元逐層處理后再送到輸出層單元，由輸出層單 元處理后產(chǎn)生一個輸出模式，故稱為前向傳播。如果輸出響應與期望輸出模式有誤 差，且不滿足要求，那就轉(zhuǎn)入誤差后向傳播，即將誤差值沿連接通路逐層向后傳送， 并修正各層的連接權(quán)值達到網(wǎng)絡要求。 3.2.2 bp 神經(jīng)網(wǎng)絡學習算法 bp 神經(jīng)網(wǎng)絡如圖 3-5 所示。網(wǎng)絡有輸入層節(jié)點、輸出層節(jié)點，而且具有隱含層 節(jié)點，它們有外界沒有聯(lián)系，但其轉(zhuǎn)臺改變會影響輸入有輸出的關(guān)系。 西南交通大學本科畢業(yè)設計（論文） 第 19 頁 . . . . . . . . . . . . 輸入層 隱含層 輸出層 圖 3-5 bp 神經(jīng)網(wǎng)絡 bp 網(wǎng)絡是一種神經(jīng)網(wǎng)絡學習算法。其由輸入層、中間層、輸出層組成的階層型 神經(jīng)網(wǎng)絡，中間層可擴展為多層。相鄰層之間各神經(jīng)元進行全連接，而每層各神經(jīng) 元之間無連接，當一對學習模式提供給網(wǎng)絡后，各神經(jīng)元獲得網(wǎng)絡的輸入響應產(chǎn)生 連接權(quán)值。然后按減小希望輸出與實際輸出誤差的方向，從輸出層經(jīng)各中間層逐層 修正各連接權(quán)，回到輸入層。此過程反復交替進行，直至網(wǎng)絡的全局誤差趨向給定 的極小值，即完成學習的過程。bp 神經(jīng)網(wǎng)絡的結(jié)構(gòu)如圖 3-6 所示。 bp 神經(jīng)網(wǎng)絡學習算法具體過程： 設有 m 層神經(jīng)網(wǎng)絡，如果在輸入層加上輸入模式 p，并設第 k 層 i 單位輸入的 總和為，輸出為，由 k-1 層的第 j 個神經(jīng)元到 k 層的第 i 個神經(jīng)元的集合權(quán)值 k i u k i v 為，各個神經(jīng)云的輸入與輸出關(guān)系函數(shù)是 f，則各變量之間的關(guān)系如公式(3-1)(3-2)所 ij w 示。 (3-1)() kk ii vf u (3-2) 1kk iijj j uw v 其中輸入與輸出函數(shù) f 選用 s 型函數(shù)如(3-3)所示。 1 ( ) 1 x f x e (3-3) 這個算法的學習過程，由正向傳播和反向傳播組成。正向傳播過程中，輸入模 式從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層 神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則輸入反向傳播，將誤差信號 沿原來的連接通路返回，通過修正各神經(jīng)元的權(quán)值，是的誤差信號最小。 西南交通大學本科畢業(yè)設計（論文） 第 20 頁 初始化 給定輸入向量和目標期望輸出 求隱含層、輸出層各單元輸出 求目標期