基于FPGA的車牌識(shí)別系統(tǒng).ppt

1、基于FPGA車牌識(shí)別系統(tǒng),指導(dǎo)老師：翟建芳 小組成員：鄒玉龍茍旭博 于洋李少華,項(xiàng)目背景,隨著經(jīng)濟(jì)與生活水平的提高，車輛的數(shù)目日益增多，對(duì)車輛的自動(dòng)化管理顯得日益重要。 總體上看，對(duì)車輛的管理，已經(jīng)成為國(guó)家交通運(yùn)輸?shù)闹匾獌?nèi)容。 傳統(tǒng)的車輛管理系統(tǒng)是在對(duì)圖像進(jìn)行采集后進(jìn)行存儲(chǔ)，之后傳送至計(jì)算機(jī)內(nèi)進(jìn)行人工識(shí)別。 如果單靠人工進(jìn)行管理，浪費(fèi)了大量的精力與物力。 很顯然，傳輸圖像有許多多余，而且這種工作對(duì)于人類來(lái)說(shuō)很枯燥與無(wú)價(jià)值。,項(xiàng)目產(chǎn)品特點(diǎn),本系統(tǒng)采用FPGA來(lái)做車牌自動(dòng)識(shí)別，能在以下幾個(gè)方面應(yīng)用并體現(xiàn)出優(yōu)越性： 停車場(chǎng)亂停車輛：在交通不是繁忙地段可以傳輸文字。 車輛的追蹤：可以根據(jù)該車輛在數(shù)據(jù)庫(kù)

2、的信息，查出該車出現(xiàn)過(guò)位置 節(jié)約存儲(chǔ)空間 節(jié)約人力資源 體積小，可靠性高,理論基礎(chǔ),模式識(shí)別、數(shù)字圖像處理、數(shù)字信號(hào)處理以及概率統(tǒng)計(jì)理論基礎(chǔ)，通過(guò)FPGA的靈活編程實(shí)現(xiàn)自己計(jì)算方法。通過(guò)功能仿真、綜合后仿真和時(shí)序仿真后，確保編寫出的模塊正確性，就可以把編寫好的各個(gè)功能模塊下載到FPGA內(nèi)部或者片外的配置器件中。,硬件平臺(tái),FPGA(現(xiàn)場(chǎng)可編程邏輯陣列) 本系統(tǒng)采用Xilinx公司SPARTAN-3E和Virtex-5進(jìn)行測(cè)試，Virtex中嵌入了PowerPC處理器，在SPARTAN-3E上使用Microblaze軟核系統(tǒng)開(kāi)發(fā)，在Virtex-5中實(shí)現(xiàn)軟件硬件化。,開(kāi)發(fā)流程,FPGA系統(tǒng)開(kāi)發(fā)流

3、程可分為軟件與硬件，從硬件寄存器操作和算法程序代碼編寫兩方面進(jìn)行開(kāi)發(fā)。,軟件平臺(tái),*)Xilinx ISE：仿真，對(duì)算法、關(guān)鍵路徑、流水線、有限狀態(tài)機(jī)等優(yōu)化，軟核與EDK的應(yīng)用。 *)Synplify：綜合下載到FPGA *)Modelsim：功能仿真 *)Xilinx AccelDSP:數(shù)字信號(hào)處理工具 *)Xilinx platform studio(XPS):在集成環(huán)境GUI中創(chuàng)建完成嵌入式設(shè)計(jì) *)Xilinx software development kit(SDK):對(duì)XPS的一些補(bǔ)充，包括中斷定時(shí)器控制等 *)可編程網(wǎng)表構(gòu)造(platform generator):以及驗(yàn)證測(cè)試軟

4、件,系統(tǒng)功能確定,圖像數(shù)據(jù)傳送到FPGA上，通過(guò)算法實(shí)現(xiàn)將車牌上字符顯示在LCD上,研發(fā)預(yù)期成果,系統(tǒng)指標(biāo),性能：以O(shè)（n）=1s實(shí)現(xiàn)識(shí)別功能。 成本：spartan-3e(700元) virtex-5(10290元)； 開(kāi)發(fā)人員費(fèi)用（0元）； 模式識(shí)別、數(shù)字圖像處理視頻（0元）； 相關(guān)FPGA書籍以及網(wǎng)絡(luò)資源（0元）； 功耗：本身傳輸字符小容量并且使用交流電。 功耗因素影響較弱。 可靠性：達(dá)到60%識(shí)別率，車牌傾斜角度不超過(guò)10度內(nèi)， 可以成功識(shí)別。,系統(tǒng)階段產(chǎn)品時(shí)間,階段分析,階段一：理論調(diào)研 對(duì)車牌涉及的圖像、算法、模式識(shí)別、FPGA、總線協(xié)議知識(shí)進(jìn)行調(diào)研作為理論基礎(chǔ)。 階段二：分割字符

5、 將圖像數(shù)據(jù)輸入FPGA中，基于常用的垂直投影算法，使用變換的分割閾值，經(jīng)過(guò)迭代循環(huán)，達(dá)到字符分割。 階段三：識(shí)別 車牌上的字符由字母，數(shù)字，漢字構(gòu)成。由模式識(shí)別中的聚類來(lái)看一共是26+10+34個(gè)聚類中心，對(duì)采集來(lái)的數(shù)據(jù)進(jìn)行濾波等處理后進(jìn)行聚類 結(jié)構(gòu)匹配，由于已知是70個(gè)聚類，所以采用K均值聚類法來(lái)進(jìn)行分類決策 算法：在FPGA上使用軟核對(duì)其進(jìn)行K均值迭代計(jì)算，將樣本與已經(jīng)有的聚類通過(guò)最小距離進(jìn)行匹配。這里K中聚類的數(shù)目、初始值、模塊集合分布會(huì)影響算法速度，如果可以優(yōu)化出能快速選中相鄰的聚類，可以大大的提高實(shí)時(shí)要求。 階段四：定位 車牌的提取，采用多個(gè)特征（顏色分量，灰度圖，形狀大?。┻M(jìn)行對(duì)

6、車牌的定位提取出車牌圖像，F(xiàn)PGA上并行處理后給出決策判定。 階段五（*）：傳輸 通過(guò)通信協(xié)議進(jìn)行對(duì)經(jīng)過(guò)處理的圖像數(shù)據(jù)與PC的互聯(lián)。,關(guān)鍵技術(shù)分析,字符分割：將背景中有意義的單個(gè)字符提取出來(lái)，為識(shí)別打下基礎(chǔ)。 字符分割技術(shù)有許多比如：車牌區(qū)域紋理特征、數(shù)學(xué)形態(tài)學(xué)、Hough變換都能分割字符。 本系統(tǒng)字符分割流程：二值化-搜索字符邊界-執(zhí)行分割 由于字符塊在豎直方向上的投影必然在字符間取得局部最小，因此字符 正確分割位置應(yīng)該在上述局部最小值附近，所以采用垂直投影方法實(shí)現(xiàn)。 這里是基于車牌已經(jīng)定位情況。明確白色灰度值255，黑色灰度值0。 分割流程：二值化-搜索字符邊界-執(zhí)行分割 *)二值化：將灰

7、度圖像選取一個(gè)適當(dāng)?shù)拈撝底優(yōu)楹诎讏D像，可以根據(jù)需求 設(shè)置不同的閾值以便進(jìn)行分割。 *)尋找字符邊框：豎直掃描圖像出現(xiàn)灰度值連續(xù)超過(guò)某個(gè)定值，確定上下 邊界；橫向掃描圖像出現(xiàn)灰度值連續(xù)超過(guò)某個(gè)定值，確定左右邊界。也 可以采用Hough變換（原坐標(biāo)系下對(duì)應(yīng)的線在參數(shù)左邊系下呈現(xiàn)成點(diǎn)）求得。 *)字符分割：垂直投影就是豎直邊界內(nèi)掃描，小于某個(gè)定值即進(jìn)行分割。,字符識(shí)別：由于涉及模式識(shí)別、圖像處理、人工智能、計(jì)算機(jī) 等學(xué)科，識(shí)別方法多種多樣。 主要識(shí)別方法有：統(tǒng)計(jì)識(shí)別、結(jié)構(gòu)識(shí)別、神經(jīng)網(wǎng)絡(luò)字符識(shí)別、模板匹配字符識(shí)別。由于圖像環(huán)境復(fù)雜，統(tǒng)計(jì)和 結(jié)構(gòu)識(shí)別兩種傳統(tǒng)方法并不可靠，目前主要采用后兩類。 *)神經(jīng)網(wǎng)

8、絡(luò)字符識(shí)別具有良好容錯(cuò)、分類、并行 處理能力，但是為 了保證識(shí)別率需要大量樣本，這就需要長(zhǎng)時(shí)間學(xué)習(xí)。 *)模板匹配字符識(shí)別相對(duì)算法簡(jiǎn)單，速度較快主要有簡(jiǎn)單模板匹配、 外圍輪廓匹配、投影序列匹配、外圍輪廓投影匹配等。 本系統(tǒng)主要研究神經(jīng)網(wǎng)絡(luò)和模板匹配兩種方法。目前掌握知識(shí)還有所欠缺，邊做邊學(xué)。,關(guān)鍵技術(shù)分析,關(guān)鍵技術(shù)分析,車牌定位：車牌圖像中并不只包含車牌，還有車身、背景以及噪聲。 目的：在復(fù)雜環(huán)境中準(zhǔn)確快速找出車牌位置。 方法：水平灰度特征提取、邊緣檢測(cè)定位、車牌顏色特征提取、 Hough變換定位、小波變換、數(shù)學(xué)形態(tài)學(xué)等理論方法。 由于水平灰度特征對(duì)車體顏色依賴性、邊緣檢測(cè)后續(xù)工作依然復(fù)雜、小

9、波變換在FPGA上實(shí)現(xiàn)難度等特點(diǎn)，并且由于理論到實(shí)踐以及代碼實(shí)現(xiàn)有所差別，本系統(tǒng)將測(cè)試主要使用顏色特征提取，也將實(shí)驗(yàn)Hough變換定位或者更多的方法進(jìn)行實(shí)驗(yàn)。 其中顏色特征提取根據(jù)每個(gè)顏色都是由RGB分量構(gòu)成而RGB與灰度圖關(guān)系轉(zhuǎn)換成灰度圖像，由于車牌大部分是藍(lán)白和黑黃所以設(shè)定特定的閾值來(lái)進(jìn)行局部二值化后，從底部開(kāi)始水品掃描，由于字符的存在，通過(guò)黑白變化的次數(shù)來(lái)確定字符上下界。,階段開(kāi)發(fā)管理,實(shí)現(xiàn)客戶需要主要功能：即識(shí)別車牌。 開(kāi)發(fā)中，每2周開(kāi)次30分鐘例行會(huì)議，每周4人輪流寫份周報(bào)，提高交流溝通。 第二階段完成能交付客戶識(shí)別字符功能，與用戶交流（根據(jù)用戶需求看能否省略如疆等字符識(shí)別），給予充

10、足時(shí)間對(duì)主要需求進(jìn)行測(cè)試。 第三階段完成交付客戶車牌定位功能，根據(jù)進(jìn)度分析用戶是否需要變更或者額外功能。,風(fēng)險(xiǎn)估計(jì),1、管理和設(shè)計(jì)風(fēng)險(xiǎn)（40%） 類似的成熟產(chǎn)品已經(jīng)出現(xiàn)，需要在別人的基礎(chǔ)上面，做得更好。 項(xiàng)目的時(shí)間很有限，需要完成的工作比較重。 2、技術(shù)風(fēng)險(xiǎn)（50%） 需要學(xué)習(xí)模式識(shí)別、數(shù)字圖像處理、數(shù)字信號(hào)處理以及概率統(tǒng)計(jì)理論基礎(chǔ)課程和FPGA，以及一些軟件的使用。 需要攻克一些技術(shù)難點(diǎn)。 文字和圖像定位技術(shù)。 文字和圖像分割技術(shù)。 文字和圖像提取技術(shù)。 文字和圖像存儲(chǔ)技術(shù)。 將文字和圖像數(shù)據(jù)和FPGA關(guān)聯(lián)的技術(shù)。 模糊識(shí)別，排除環(huán)境干擾等等的技術(shù)。 節(jié)省流量技術(shù)。 3、保證產(chǎn)品的穩(wěn)定性與識(shí)別率（10%）,任務(wù)分解，成員分工,工程開(kāi)發(fā)避免不了人力分配，考慮到考試等外界因素，在我們這次系統(tǒng)開(kāi)發(fā)中兩個(gè)人負(fù)責(zé)一個(gè)功能模塊，不但防止人員變動(dòng)造成產(chǎn)品延期，也能促進(jìn)成員對(duì)系統(tǒng)整體了解。,當(dāng)前進(jìn)度,按照課本以及相關(guān)FPGA書籍上測(cè)試程序在開(kāi)發(fā)板上實(shí)驗(yàn)（包括點(diǎn)亮LED、LCD庫(kù)內(nèi)字符顯示、開(kāi)關(guān)控制LED和LCD），加深對(duì)FPGA了