神經(jīng)網(wǎng)絡(luò)改進(jìn)算法在識(shí)別模型中的應(yīng)用

1、、神經(jīng)網(wǎng)絡(luò)改進(jìn)算法在車(chē)牌識(shí)別中的應(yīng)用楊平樂(lè) 王勇（江蘇科技大學(xué)張家港校區(qū) 江蘇張家港）摘 要： 介紹了車(chē)牌識(shí)別的背景、意義和一般實(shí)現(xiàn)過(guò)程, 在對(duì)采用BP 算法的神經(jīng)網(wǎng)絡(luò)進(jìn)行分析的基礎(chǔ)上, 針對(duì)標(biāo)準(zhǔn)BP算法的不足進(jìn)行了改進(jìn)，通過(guò)對(duì)作用函數(shù)進(jìn)行修正、自動(dòng)調(diào)節(jié)學(xué)習(xí)率以及選擇初始權(quán)值后得到了改進(jìn)的BP算法，并給出了在車(chē)牌識(shí)別技術(shù)中的應(yīng)用實(shí)例。對(duì)比分析識(shí)別數(shù)據(jù)，可以看出算法改進(jìn)后的識(shí)別性能得到了優(yōu)化，最后對(duì)其特點(diǎn)進(jìn)行了總結(jié)。關(guān)鍵詞: 神經(jīng)網(wǎng)絡(luò)； 車(chē)牌識(shí)別； BP 算法Application of Updated BP ArithmeticIn Vehicle License Plate Recognit

2、ionYANG PING-LE, WANG QIAN-PINGAbstract: First, the background, significance and general implementation of vehicle license plate recognition (VLPR) are introduced. Based on analyzing the theory of neural network pattern recognition system, toward the limitation of standard BP arithmetic, this thesis

3、 offers its improved method and a real recognition example. Finally, conclusion on its characteristic is given.Key words: neural network; Vehicle license plate recognition; BP arithmetic1 引言 近年來(lái)，隨著交通現(xiàn)代化的發(fā)展要求，智能交通系統(tǒng)(ITS)是未來(lái)交通系統(tǒng)的發(fā)展方向，其是將先進(jìn)的信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)、控制技術(shù)及計(jì)算機(jī)技術(shù)等有效地集成運(yùn)用于整個(gè)地面交通管理系統(tǒng)而建立的一種在大范圍內(nèi)、

4、全方位發(fā)揮作用的，實(shí)時(shí)、準(zhǔn)確、高效的綜合交通運(yùn)輸管理系統(tǒng)。汽車(chē)牌照自動(dòng)識(shí)別技術(shù)作為智能交通系統(tǒng)的重要組成部分【13】，已經(jīng)越來(lái)越受到人們的重視，它在公共安全及交通管理中有著重要的應(yīng)用價(jià)值。由于影響圖像的因素很多,并且各種干擾噪音因素可能會(huì)造成圖像很大程度上的畸變，其與車(chē)輛牌照類(lèi)別之間通常存在復(fù)雜的非線(xiàn)性關(guān)系。神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)性、自適應(yīng)性和容錯(cuò)性，是處理非線(xiàn)性問(wèn)題的較好選擇。作者簡(jiǎn)介：楊平樂(lè)（1983-），男，講師，主要研究方向是人工智能模式識(shí)別，嵌入式應(yīng)用研究 E-mail：；王勇，講師。主要研究方向是模式識(shí)別。BP神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)網(wǎng)絡(luò)的重要模型之一。通常，BP算法是通過(guò)一些學(xué)習(xí)

5、規(guī)則來(lái)調(diào)整神經(jīng)元之間的連接權(quán)值，BP學(xué)習(xí)算法(逆?zhèn)鞑W(xué)習(xí)算法)具有思路清晰、結(jié)構(gòu)嚴(yán)謹(jǐn)、工作狀態(tài)穩(wěn)定、可操作性強(qiáng)的特點(diǎn)。2 前向神經(jīng)網(wǎng)絡(luò)基本理論2.1 神經(jīng)元的信息處理對(duì)于輸入信號(hào)X1、X2、XN，膜電位的變化量由輸入信號(hào)的加權(quán)和來(lái)決定，如下式所示： (1)輸出信號(hào)Y則可表示為: (2)式中：為閾值。在連續(xù)時(shí)間模型中，通常膜電位服從下列方程： (3)式中: 為時(shí)間間隔，這時(shí)輸出Y可表示為：。2.2 神經(jīng)元的信息處理對(duì)于沒(méi)有反饋的神經(jīng)網(wǎng)絡(luò)，假設(shè)有一個(gè)包含了輸入層、隱含層和輸出層的3層前向神經(jīng)網(wǎng)絡(luò)，其輸入為X=（X1,X2,XN），輸出為Y=(Y1,Y2,YM)。從輸入X=（X1,X2,XN）到輸出

6、Y=(Y1,Y2,YM)的映射為： (i =1,2,M;j=1,2, ,N) (k =1,2, ,N) (4)式中：、分別為神經(jīng)網(wǎng)絡(luò)的輸入和輸出的維數(shù)，H = (h1,h2,hN)是隱含神經(jīng)元的輸出。此映射由網(wǎng)絡(luò)參數(shù)(連接權(quán)和閾值) 決定，故神經(jīng)網(wǎng)絡(luò)的映射可表示為： 其中：C =(C1,C2,CN)為可修改參數(shù)。當(dāng)神經(jīng)網(wǎng)絡(luò)存在反饋連接時(shí),有如下方程： (5)式中：為時(shí)間間隔，是外界輸入的直接激勵(lì)總和。其中神經(jīng)元在神經(jīng)網(wǎng)絡(luò)中的位置坐標(biāo)為位置上神經(jīng)元的膜電位， 是從位置神經(jīng)元到位置神經(jīng)元的連接權(quán)值。3 BP算法及其改進(jìn)3.1 標(biāo)準(zhǔn)BP算法的計(jì)算步驟BP 算法由兩部分組成：信息的正向傳遞與誤差的反向

7、傳播。在正向傳遞過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒(méi)有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái)修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。(1) 初始化。確定神經(jīng)元的作用函數(shù)(通常取為 型函數(shù),即：)，給定允許誤差、學(xué)習(xí)率及慣性因子，并選擇初始權(quán)值；(2) 計(jì)算網(wǎng)絡(luò)輸出，求出誤分類(lèi)輸出節(jié)點(diǎn)指標(biāo)集，如果為空，轉(zhuǎn)(3)，否則轉(zhuǎn)(4)；(3) 計(jì)算誤差函數(shù)(雅可比矩陣)，如果,轉(zhuǎn)(5)；(4) 修正權(quán)值，轉(zhuǎn)(2) ；(5) 存儲(chǔ)最優(yōu)權(quán)值 ，算法結(jié)束。3.2 改進(jìn)的BP算法

8、及驗(yàn)算BP 網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別和系統(tǒng)辨識(shí)，但BP 算法收斂速度很慢。為了加快網(wǎng)絡(luò)收斂，減少訓(xùn)練時(shí)間，提出了一種改進(jìn)的BP 算法，仿真研究表明，與標(biāo)準(zhǔn)BP 算法相比，該算法具有收斂速度快，函數(shù)逼近精度高的優(yōu)點(diǎn)。改進(jìn)包含以下幾個(gè)方面：（a）修正作用函數(shù) 在標(biāo)準(zhǔn)BP算法中，神經(jīng)元的作用函數(shù)通常取為S型函數(shù)，即，由于作用函數(shù)的形狀固定不變，影響了網(wǎng)絡(luò)的收斂速度。所以，對(duì)作用函數(shù)進(jìn)行了如下的修正： （6）相比之下，公式(6) 在神經(jīng)元模型中增加了一個(gè)可調(diào)偏置參數(shù)，當(dāng) 時(shí)，它使得作用函數(shù)沿水平方向向左移動(dòng)。而且，在BP網(wǎng)絡(luò)的誤差反向傳播時(shí)，作用函數(shù)的斜率和偏置都隨誤差信號(hào)進(jìn)行修正，這樣不僅可

9、以提高神經(jīng)元的自適應(yīng)能力，同時(shí)也很明顯地加快了算法的收斂速度。（b）學(xué)習(xí)率 學(xué)習(xí)率決定每次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)率可能導(dǎo)致系統(tǒng)不穩(wěn)定；小的學(xué)習(xí)率則導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間。所以，好的辦法是系統(tǒng)自動(dòng)調(diào)節(jié)學(xué)習(xí)率。（c）初始權(quán)值的選取 對(duì)于非線(xiàn)性系統(tǒng)，初始值的選取十分重要，它直接影響到學(xué)習(xí)是否能夠收斂及訓(xùn)練時(shí)間的長(zhǎng)短。初始值過(guò)大，使加權(quán)后的輸入和n 落入型激活函數(shù)的飽和區(qū)，使調(diào)節(jié)過(guò)程幾乎停頓。所以，一般初始權(quán)值是(- 1, 1) 之間的隨機(jī)數(shù)。威得羅等人提出了一個(gè)策略：選取權(quán)值的量級(jí)為，其中為第一層神經(jīng)元的數(shù)目，可以在較少的訓(xùn)練次數(shù)得到滿(mǎn)意的訓(xùn)練結(jié)果。 工具箱中用函數(shù)實(shí)現(xiàn)【4】。為了驗(yàn)證改

10、進(jìn)BP 算法的快速收斂性能，構(gòu)造了一個(gè)BP網(wǎng)絡(luò)。輸入節(jié)點(diǎn)為 ，輸出節(jié)點(diǎn)分別為輸入節(jié)點(diǎn)的邏輯與 、邏輯或及異或 。表1列出了標(biāo)準(zhǔn)BP算法和改進(jìn)后BP算法的計(jì)算結(jié)果及耗時(shí)情況(學(xué)習(xí)速率,慣性因子) 。表1 兩種算法收斂速度比較4 車(chē)牌識(shí)別BP網(wǎng)絡(luò)模型4.1 車(chē)牌識(shí)別預(yù)處理對(duì)于在公路交通中所獲得的汽車(chē)圖像，經(jīng)過(guò)消除噪聲、灰度化、二值化等處理后，首先應(yīng)將車(chē)牌區(qū)域提取出來(lái)。可以應(yīng)用掃描法或根據(jù)顏色定位法等方法進(jìn)行車(chē)牌的定位。經(jīng)過(guò)分割出的車(chē)牌上含有漢字、英文及阿拉伯?dāng)?shù)字，在對(duì)它們進(jìn)行逐個(gè)識(shí)別之前，必須把它們歸一化到一個(gè)標(biāo)準(zhǔn)尺寸上，并根據(jù)一定的規(guī)則對(duì)單個(gè)字符作識(shí)別預(yù)處理,為字符識(shí)別做準(zhǔn)備【5】。經(jīng)過(guò)預(yù)處理環(huán)

11、節(jié),牌照中的每個(gè)字母和數(shù)字被單獨(dú)區(qū)分開(kāi)。4.2 BP算法用于汽車(chē)牌照字符識(shí)別4.2.1. 字符編碼與分組 經(jīng)過(guò)車(chē)牌定位、識(shí)別預(yù)處理等環(huán)節(jié)，牌照中每個(gè)字母與數(shù)字形成灰度圖像而被提取出來(lái).。對(duì)單個(gè)字符的黑白圖像用5*5的網(wǎng)格進(jìn)行分割，黑色的網(wǎng)格用1表示，白色的網(wǎng)格用-1表示，用數(shù)組x 25 表示該字符的BP 網(wǎng)絡(luò)輸入值【7】。本符號(hào)識(shí)別系統(tǒng)，若要36個(gè)字符作為一組用BP 網(wǎng)絡(luò)進(jìn)行判別，輸入層需要25個(gè)節(jié)點(diǎn)，輸出層需要36個(gè)節(jié)點(diǎn)，隱含層至少需要50個(gè)節(jié)點(diǎn)。這樣的BP 網(wǎng)絡(luò)計(jì)算量巨大，學(xué)習(xí)收斂速率極慢,以至于經(jīng)常出現(xiàn)不可預(yù)料的結(jié)果。使用把大問(wèn)題化成許多小問(wèn)題的思想方法，把36個(gè)字符按順序分成4組，每組

12、9個(gè)字符。即第一組ABCDEFGHI，第二組JKLMNOPQR，第三組STUVWXYZ0，最后一組。使用編號(hào)為14 的4個(gè)BP 網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)每組字符的識(shí)別，減小了網(wǎng)絡(luò)的規(guī)模，可以達(dá)到較好的識(shí)別效果。4.2.2. BP網(wǎng)絡(luò)分類(lèi)器的設(shè)計(jì)基于對(duì)稱(chēng)性原理，4個(gè)BP網(wǎng)絡(luò)的結(jié)構(gòu)是相同的。 每個(gè)網(wǎng)絡(luò)的輸入層有25個(gè)節(jié)點(diǎn)，輸出層有6個(gè)節(jié)點(diǎn)，隱含層經(jīng)過(guò)試驗(yàn)選取15個(gè)節(jié)點(diǎn)。 基于前述的將36個(gè)字符分為4 組的辦法，要實(shí)現(xiàn)字符的自動(dòng)識(shí)別，首先應(yīng)設(shè)計(jì)一個(gè)用于將字符正確分組的BP 網(wǎng)絡(luò)，然后將字符送入所對(duì)應(yīng)的網(wǎng)絡(luò)中進(jìn)行識(shí)別。4.3 實(shí)驗(yàn)結(jié)果分析（1）收斂速度分析將改進(jìn)BP 算法用于同一個(gè)英文字母識(shí)別問(wèn)題中進(jìn)行考察。為方便

13、起見(jiàn)，只提取一組數(shù)據(jù)進(jìn)行訓(xùn)練，取學(xué)習(xí)率= 2. 0 ，慣性因子= 0，訓(xùn)練結(jié)果如表2所示。表2 兩種BP 算法在英文字母識(shí)別中收斂速度比較 從表2 可以看出，與標(biāo)準(zhǔn)BP算法相比較，改進(jìn)的BP算法所需迭代次數(shù)和總的學(xué)習(xí)時(shí)間都最短。這是由于在誤差反向傳播時(shí)，增加了神經(jīng)元偏置的自修正，因而總的迭代次數(shù)減少了，總的耗時(shí)也大為減小。在不同精度要求下，兩種不同算法的差異是不相同的。當(dāng)精度要求較低時(shí)，兩種算法所需時(shí)間差別不大，隨著精度要求的提高，兩種算法的差異越來(lái)越大，改進(jìn)BP算法的優(yōu)越性也就發(fā)揮得更好。（2）隱含層節(jié)點(diǎn)數(shù)與學(xué)習(xí)速率分析對(duì)于當(dāng)前的BP網(wǎng)絡(luò)，當(dāng)誤差限確定時(shí)，學(xué)習(xí)速率越大，學(xué)習(xí)次數(shù)越少，同時(shí)，網(wǎng)

14、絡(luò)的訓(xùn)練精度也隨之降低。當(dāng)誤差限為0.0001時(shí)，隱含層節(jié)點(diǎn)數(shù)與學(xué)習(xí)速率的關(guān)系如下表所示。在學(xué)習(xí)速率給定的條件下，隱含層節(jié)點(diǎn)越多，所需學(xué)習(xí)次數(shù)越少，BP網(wǎng)絡(luò)的記憶能力越強(qiáng)。但是，隱含層節(jié)點(diǎn)過(guò)多，會(huì)造成網(wǎng)絡(luò)因?yàn)檎袷幎ヅ袆e能力。表3隱含層節(jié)點(diǎn)數(shù)與學(xué)習(xí)速率關(guān)系表 綜合表3，得出解決該問(wèn)題的BP網(wǎng)絡(luò)的最佳參數(shù)為：隱含層節(jié)點(diǎn)15個(gè)、學(xué)習(xí)速率為0. 6、誤差限為0. 0001。5 結(jié)束語(yǔ)隨著現(xiàn)代交通的發(fā)展，汽車(chē)牌照自動(dòng)識(shí)別技術(shù)將得到更加廣泛的研究與應(yīng)用。通過(guò)修正BP算法作用函數(shù)、自動(dòng)調(diào)節(jié)學(xué)習(xí)率以及初始權(quán)值的選擇，改進(jìn)了神經(jīng)網(wǎng)絡(luò)模式識(shí)別系統(tǒng)的識(shí)別能力，實(shí)驗(yàn)證明改進(jìn)的BP算法比傳統(tǒng)的BP算法訓(xùn)練速度快，可

15、以達(dá)到很高的誤差精度，具有收斂速度快、識(shí)別時(shí)間短、識(shí)別率非常高的優(yōu)點(diǎn)。用此方法訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對(duì)模式識(shí)別任務(wù)進(jìn)行識(shí)別，收到了很好的識(shí)別結(jié)果。參 考 文 獻(xiàn) 1 Paolo Comellietal. Optical Recognition of Motor Vehicle License PlateJ.IEEE Trans on Vehicular Technology, 1995; 44( 4) : 790799 2 J.Palen,“The Need For Surveil lance in Intelligent Transportation Systems, Part II, ”Intelligent motion, Volume 6, Number 2, 1997, Cali2fornia PATH 3 張國(guó)伍. 智能交通系統(tǒng)工程導(dǎo)論M. 北京：電子工業(yè)出版社，2003，9. 4 叢爽. 面向