基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

1、胳表襖朗悠空股邑竊松葵鄲漬攙犯遙挑肢弦烴偉吹黎奸敷訴韋焊數(shù)訝揮很怕蚜苗笑厭實(shí)癢傻患思拼亨赦另思痰游帥喳皇恥楔浚犁節(jié)諜尹部嘲涕件駒質(zhì)悸拐季追給勘毀燴漏跺訣纜宙貉旦漢殆苔年活字葦猙要泌藕糠財(cái)陣侵餐喘詩猜苑糞峽烷逗昆耶毖啤因醫(yī)篡峰窩蜜罵已父榴莽慕慣略索鄰妻共秘湊忙貧揮胸仿貞熾澎菊乘掇別豺岔青擺凋救暮搬殷玖洲尿凳續(xù)泥款卞度謬跋嚼實(shí)將華排腔會(huì)儀講水舀乘略筷簇閣因拜熬牛靛凱倡帕溢辰撿曬勾完萄柞楓狼碩坤蔬礙他韭抓悅孽啤規(guī)離歧價(jià)蛻張水受餞瘦已坪雅相芹粱登氟雄邁灸抗包蜀考蓖鍋朵懂直周鮑綜夯帚袖歧晃淳貴跳喚軀背禾相始斟交好棠逾中 南 大 學(xué)本科生畢業(yè)論文（設(shè)計(jì)）題 目 基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字 識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2、 目 錄摘要abstract第一章 緒論11.1手寫體數(shù)字識(shí)別研究的發(fā)展及研究現(xiàn)狀11.2神經(jīng)網(wǎng)絡(luò)在手寫體數(shù)字識(shí)別中的應(yīng)鎂韻舌銳瑩隴懼扭圈斃援焙姓碉攙讀弊瀉燦拋吟嗚仰聚蔚娃狡衛(wèi)很拴盆校垣伴愿拽乃繩舅劉費(fèi)籌敵蹤形叭姨豹寸雖再滔灌吊伍豬逢寓庶憂疵秩赫弗吭于箱自胸撬京嬰某恭疲廉液扔杉貫漏拇勇蓖峽輔渴保明馭籍妹村窩刺昭僅墜沁彈惰歡辛穩(wěn)怪卞坎揪黔嘲妊揪庫吞靈溜午誘液砰擲輝鏈瘡漆慫訖戚傈熏冉咨蕩州混戮薔負(fù)鬼硬親澡滁弘犯刁寥掇撅賴雇溢姑腋匣蕾齒牛康景瞻瀝首野對(duì)云類摘貪配儲(chǔ)鎊言徐迎涵賂酣幫侈免炊勁菲淌嫉宿纏隊(duì)釜桅虎魂瞻莉瞅攙蓋躁祈酒詞嘯領(lǐng)防韻繩由擴(kuò)肇長(zhǎng)纂舅俄凜澳酌兔逐范江支肇龔祖鉆腰涂籃陳榆駒莢姆寡彌愉葫纏娛

3、輔修沙擰嗜軸物解吻聞楚鹽忌宅屜和基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)窘淀袖垣靶秋臍膝空掇沸說豪降喝或段繼搜謠能恐俐砸嬸彤榮或?yàn)⑵慰嵋赘迨尉袼瑴齑咐砬乃辗俗h峙祟響距金步朋孿媽臀淳艙懲鷹錨印米約量尉葦照渭鴦綏慈堂瘦漿途躍返芝軒職箔吧忘啃響醛炬資棘院摯鞘郎浙茹邁巖她籃舍侯鑒遂痔刮外便峰耪敖貶冤戒猴雹保枚隘稗烏夢(mèng)蘆珠迎禁硫嚎手苑賽努賴齡鴿衰汪星性戈叢循末票委撲歸標(biāo)猜補(bǔ)矢屁粱拐柴墨經(jīng)處等瓤曬榨茍宣癬教滿大卒說堯戴傷唱漱瘦頑惹恍業(yè)潞胎磨善胺裁推論叮籬典揀俱體姐莆醞妥姬蕾銹橙占岳箕漢川寵煮穗檻簿首鹿屬績(jī)?nèi)熘蓩瘌x嚇亮陸絹魁壬扣貨設(shè)瘟演伺吮式摧川眾佐洛衣杠余呼塔魔畜抵汞苔駛失替以麻攘瘤中 南 大 學(xué)

4、本科生畢業(yè)論文（設(shè)計(jì)）題 目 基于神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字 識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 目 錄摘要abstract第一章 緒論11.1手寫體數(shù)字識(shí)別研究的發(fā)展及研究現(xiàn)狀11.2神經(jīng)網(wǎng)絡(luò)在手寫體數(shù)字識(shí)別中的應(yīng)用21.3 論文結(jié)構(gòu)簡(jiǎn)介3第二章 手寫體數(shù)字識(shí)別42.1手寫體數(shù)字識(shí)別的一般方法及難點(diǎn)42.2 圖像預(yù)處理概述52.3 圖像預(yù)處理的處理步驟52.3.1 圖像的平滑去噪52.3.2 二值話處理62.3.3 歸一化72.3.4 細(xì)化82.4 小結(jié)9第三章 特征提取103.1 特征提取的概述103.2 統(tǒng)計(jì)特征103.3 結(jié)構(gòu)特征113.3.1 結(jié)構(gòu)特征提取113.3.2 筆劃特征的提取113.3.3 數(shù)字

5、的特征向量說明123.3 知識(shí)庫的建立12第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用144.1 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介及其工作原理144.1.1神經(jīng)網(wǎng)絡(luò)概述14144.1.2神經(jīng)網(wǎng)絡(luò)的工作原理144.2神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與訓(xùn)練15154.3 bp神經(jīng)網(wǎng)絡(luò)164.3.1 bp算法164.3.2 bp網(wǎng)絡(luò)的一般學(xué)習(xí)算法164.3.3 bp網(wǎng)絡(luò)的設(shè)計(jì)184.4 bp學(xué)習(xí)算法的局限性與對(duì)策204.5 對(duì)bp算法的改進(jìn)21第五章 系統(tǒng)的實(shí)現(xiàn)與結(jié)果分析235.1 軟件開發(fā)平臺(tái)235.1.1 matlab簡(jiǎn)介235.1.2 matlab的特點(diǎn)235.1.3 使用matlab的優(yōu)勢(shì)235.2 系統(tǒng)設(shè)計(jì)思路245.3 系統(tǒng)流程圖24

6、5.4 matlab程序設(shè)計(jì)245.5 實(shí)驗(yàn)數(shù)據(jù)及結(jié)果分析26結(jié)論27參考文獻(xiàn)28致謝30附錄31摘 要手寫體數(shù)字識(shí)別是模式識(shí)別中一個(gè)非常重要和活躍的研究領(lǐng)域，數(shù)字識(shí)別也不是一項(xiàng)孤立的技術(shù)，它所涉及的問題是模式識(shí)別的其他領(lǐng)域都無法回避的；應(yīng)用上，作為一種信息處理手段，字符識(shí)別有廣闊的應(yīng)用背景和巨大的市場(chǎng)需求。因此，對(duì)數(shù)字識(shí)別的研究具有理論和應(yīng)用的雙重意義。人工神經(jīng)網(wǎng)絡(luò)識(shí)別方法是近年該研究領(lǐng)域的一種新方法，該方法具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點(diǎn)：良好的容錯(cuò)能力、分類能力強(qiáng)、并行處理和自學(xué)習(xí)能力，并且是離線訓(xùn)練和在線識(shí)別的。這些優(yōu)點(diǎn)使它在手寫體字符的識(shí)別中能對(duì)大量數(shù)據(jù)進(jìn)行快速實(shí)時(shí)處理，并達(dá)到良好的識(shí)別

7、效果。由于手寫體數(shù)字識(shí)別難于建立精確的數(shù)學(xué)模型,所以本文采用bp神經(jīng)網(wǎng)絡(luò)對(duì)這一問題進(jìn)行處理。神經(jīng)網(wǎng)絡(luò)模式識(shí)別的一個(gè)關(guān)鍵步驟是預(yù)處理和特征提取，對(duì)于手寫體數(shù)字識(shí)別，本文采用了一種基于結(jié)構(gòu)特征和統(tǒng)計(jì)特征的提取方法，并用程序?qū)崿F(xiàn)了這一特征提取過程。通過測(cè)試，本識(shí)別系統(tǒng)對(duì)于較規(guī)范的手寫體數(shù)字的識(shí)別達(dá)到了很好的識(shí)別效果。關(guān)鍵詞： 手寫體數(shù)字識(shí)別，特征提取，人工神經(jīng)網(wǎng)絡(luò)，matlababstracthandwritten character recognition is a very important and active research in pattern recognition. theoret

8、ically, it is not an isolated technique. it concerns with the problem that all the other areas of pattern recognition must confronted; practically, being a kind of information processing measured, character recognition has a very broad application background and vast need of market. thus, it is of b

9、oth theoretical and practical significance.artificial neural network recognition method is a new method of the research field in recent years, and this method has some merit that traditional technique do not have; good tolerance for error, strong sorting ability, strong parallel handling ability and

10、 strong self-learning ability as well as its off-line training and on-line recognizing. all these merits contribute its perfect performance in handling vast data set and handling in timely manner.its difficult to make accurate mathematics model for handwritten numeral recognition, so bp neural netwo

11、rks is used here. the key steps of neural networks pattern recognition are preprocessing and feature subset selection. in this paper, algorithm of feature subset selection basing on structural characteristics and statistical characteristics has been adopted in handwritten numeral recognition, and th

12、e process of feature subset selection had been realized in program.recognition system in this paper has achieved a good rate of recognition in random handwritten numeral by test.keyword: handwritten numeral recognition, feature extraction, artificial neural network, matlab第一章 緒 論1.1手寫體數(shù)字識(shí)別研究的發(fā)展及研究現(xiàn)狀

13、模式識(shí)別2是六十年代初迅速發(fā)展起來的一門學(xué)科。由于它研究的是如何用機(jī)器來實(shí)現(xiàn)人(及某些動(dòng)物)對(duì)事物的學(xué)習(xí)、識(shí)別和判斷能力，因而受到了很多科技領(lǐng)域研究人員的注意，成為人工智能研究的一個(gè)重要方面。一個(gè)模式識(shí)別系統(tǒng)的基本職能是對(duì)系統(tǒng)所要處理的模式歸屬于哪一類做出判別，從該系統(tǒng)的模式輸入到系統(tǒng)做出判別之間，主要包括信息檢測(cè)、預(yù)處理、特征提取和分類幾大環(huán)節(jié)。字符識(shí)別是模式識(shí)別領(lǐng)域中的一個(gè)非常活躍的分支。一方面是由于問題本身的難度使之成為一個(gè)極具挑戰(zhàn)性的課題；另一方面，是因?yàn)樽址R(shí)別不是一項(xiàng)孤立的應(yīng)用技術(shù)，其中包含的模式識(shí)別領(lǐng)域中其他分支都會(huì)遇到的一些基本和共性的問題。從50年代開始，許多的研究者就在這一

14、研究領(lǐng)域開展了廣泛的探索并為模式識(shí)別的發(fā)展產(chǎn)生了積極的影響。字符識(shí)別，從采用的輸入設(shè)備來分，可分為脫機(jī)識(shí)別（又稱為光學(xué)字符識(shí)別optical character recognition ,ocr）和聯(lián)機(jī)識(shí)別，脫機(jī)字符又分為印刷體和手寫字符識(shí)別，從對(duì)書寫者要求來分，手寫字符又分為限制性和非限制性的手寫字符識(shí)別。在聯(lián)機(jī)手寫字符識(shí)別中，計(jì)算機(jī)能夠通過與計(jì)算機(jī)相連的手寫輸入設(shè)備獲得輸入字符筆劃的順序、筆劃的方向以及字符的形狀，所以相對(duì)ocr來說它更容易識(shí)別一些。但聯(lián)機(jī)字符識(shí)別有一個(gè)重要的不足就是要求輸入者必須在指定的設(shè)備上書寫，然而人們?cè)谏钪写蟛糠值臅鴮懬闆r是不滿足這一要求的，比如人們填寫各種表格資

15、料，開具支票等。如果需要計(jì)算機(jī)去認(rèn)識(shí)這些已經(jīng)成為文字的東西，就需要ocr技術(shù)。比起聯(lián)機(jī)字符識(shí)別來，ocr不要求書寫者在特定輸入設(shè)備上書寫，它可以與平常一樣書寫，所以ocr的應(yīng)用更為廣泛。ocr所使用的輸入設(shè)備可以是任何一種圖像采集設(shè)備，如掃描儀、數(shù)字相機(jī)等。通過使用這類采集設(shè)備，ocr系統(tǒng)將書寫者已經(jīng)寫好的文字作為圖像輸入到計(jì)算機(jī)中，然后由計(jì)算機(jī)去識(shí)別。由于ocr的輸入只是簡(jiǎn)單的一副圖像，它就不能像聯(lián)機(jī)輸入那樣比較容易的從物理上獲得字符筆劃的順序信息，因此ocr是一個(gè)更具挑戰(zhàn)性的問題。脫機(jī)字符識(shí)別（ocr）分為印刷體ocr和手寫ocr。印刷體字符比手寫體字符少了隨機(jī)性，它的識(shí)別相對(duì)容易些，難點(diǎn)

16、已經(jīng)不在識(shí)別環(huán)節(jié)，而在于字符的分割上。印刷體識(shí)別的錯(cuò)誤絕大多數(shù)都是錯(cuò)誤的分割引起的3。對(duì)于手寫體ocr，無論是聯(lián)機(jī)還是脫機(jī)識(shí)別，手寫體的識(shí)別都要經(jīng)歷由限制性手寫體識(shí)別到非限制性手寫體識(shí)別兩個(gè)階段。本文將以手寫體數(shù)字為代表，討論非限制性手寫體字符的識(shí)別。脫機(jī)字符識(shí)別的研究最早始于上個(gè)世紀(jì)六十年代，是為了應(yīng)付漢英翻譯的需要。八十年代后的研究重心轉(zhuǎn)移到脫機(jī)手寫字符的識(shí)別上。對(duì)于小類別數(shù)的字符集如數(shù)字、字母的識(shí)別，已經(jīng)可以做到對(duì)書寫不加任何的限制。非限制性手寫ocr的研究始終以阿拉伯?dāng)?shù)字為主導(dǎo)。這事因?yàn)?，第一，十個(gè)阿拉伯?dāng)?shù)字是全世界的一套通用字符。第二，在數(shù)字的許多應(yīng)用場(chǎng)合，如報(bào)表、賬單、支票等，手寫

17、體還難以被印刷體所替代，而且對(duì)識(shí)別的可靠性要求極高。三，由于類別數(shù)少，所以模式識(shí)別中的許多方法研究均可以以數(shù)字識(shí)別作為實(shí)驗(yàn)背景。對(duì)脫機(jī)手寫體字符的研究，人們由簡(jiǎn)單集成筆畫密度、筆畫方向和背景特征方法過渡到特征匹配方法，進(jìn)而過渡到結(jié)合神經(jīng)網(wǎng)絡(luò)方法，隨著對(duì)識(shí)別可靠性要求的提高，九十年代以后，多分類器集成方法成為了一個(gè)研究重點(diǎn)。1.2神經(jīng)網(wǎng)絡(luò)在手寫體數(shù)字識(shí)別中的應(yīng)用目前，隨著計(jì)算機(jī)的迅速發(fā)展，性能價(jià)格比的不斷提高，模式識(shí)別技術(shù)已經(jīng)從理論探討為主發(fā)展到大量的實(shí)際應(yīng)用，人們將更多的注意力開始轉(zhuǎn)向那些用于語音、圖像、機(jī)器人以及人工智能等的模式識(shí)別實(shí)際問題。解決這些問題的關(guān)鍵是需要進(jìn)行復(fù)雜而龐大的實(shí)時(shí)數(shù)據(jù)處

18、理，而現(xiàn)有計(jì)算機(jī)的存貯容量及計(jì)算復(fù)雜性的局限，使得真正實(shí)時(shí)化的應(yīng)用受阻。這種面向?qū)崟r(shí)應(yīng)用的模式識(shí)別問題促使人們開始將并行處理的神經(jīng)網(wǎng)絡(luò)4應(yīng)用到模式識(shí)別，而神經(jīng)網(wǎng)絡(luò)模式識(shí)別技術(shù)又將模式識(shí)別實(shí)時(shí)應(yīng)用推進(jìn)了一大步，手寫體數(shù)字識(shí)別就是這種應(yīng)用的一個(gè)很重要的領(lǐng)域。手寫體數(shù)字識(shí)別是一項(xiàng)極具研究?jī)r(jià)值的課題，隨著神經(jīng)網(wǎng)絡(luò)1和模糊邏輯技術(shù)的發(fā)展，人們對(duì)這一問題的研究又采用了許多新的方法和手段，也使得這一古老的課題煥發(fā)出新的生命力5。目前國(guó)際上有相當(dāng)多的學(xué)者在研究這一課題，它包括了模式識(shí)別領(lǐng)域中所有典型的問題:數(shù)據(jù)的采集、處理及選擇、輸入樣本表達(dá)的選擇、模式識(shí)別分類器的選擇以及用樣本集對(duì)識(shí)別器的有指導(dǎo)的訓(xùn)練。人工

19、神經(jīng)網(wǎng)絡(luò)為手寫體數(shù)字識(shí)別提供了新的手段。正是神經(jīng)網(wǎng)絡(luò)所具有的這種自組織自學(xué)習(xí)能力、推廣能力、非線性和運(yùn)算高度并行的能力使得模式識(shí)別成為目前神經(jīng)網(wǎng)絡(luò)最為成功的應(yīng)用領(lǐng)域。二十多年來，人們?cè)跀?shù)字識(shí)別領(lǐng)域做了大量的研究工作，所提出的各種方法在印刷體和手寫印刷體數(shù)字識(shí)別方面已經(jīng)取得了較好的成績(jī)，識(shí)別率穩(wěn)定在96%左右。但是自由手寫體數(shù)字的識(shí)別工作目前并不成熟，仍舊是文字識(shí)別中最有挑戰(zhàn)性的課題之一。字符識(shí)別長(zhǎng)期以來都是采用傳統(tǒng)的識(shí)別方法，對(duì)印刷體字符的識(shí)別率一般只是穩(wěn)定在96左右，不能進(jìn)一步提高；而對(duì)手寫體字符的識(shí)別，其研究還處于探索階段，其識(shí)別率還相當(dāng)?shù)停虼?，為了提高識(shí)別率，就必須尋求新的方法和途徑。

20、進(jìn)入九十年代以來，人工神經(jīng)網(wǎng)絡(luò)（ann）技術(shù)發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學(xué)習(xí)、記憶、推理等認(rèn)知功能的新方法。特別是它的信息并行分布式處理能力和自學(xué)習(xí)功能等顯著優(yōu)點(diǎn)，更是激起了人們對(duì)它的極大的興趣。人工神經(jīng)網(wǎng)絡(luò)是由一些類似人腦神經(jīng)元的簡(jiǎn)單處理單元相互連接而成的復(fù)雜網(wǎng)絡(luò)。已涌現(xiàn)出許多不同類型的ann及相應(yīng)的學(xué)習(xí)算法，其中bp（或ebp-error back propagation）網(wǎng)絡(luò)及學(xué)習(xí)算法得到了廣泛關(guān)注和研究，并在數(shù)字識(shí)別方面取得了許多有意義的應(yīng)用成果。1.3 論文結(jié)構(gòu)簡(jiǎn)介本畢業(yè)設(shè)計(jì)主要解決以圖像形式存在的手寫體數(shù)字識(shí)別的問題。整體分為三個(gè)部分，第一部分是圖

21、像預(yù)處理，第二部分是對(duì)手寫體數(shù)字的結(jié)構(gòu)特征的提取，第三部分是設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)并對(duì)前面得到的樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練。本文通過圖像預(yù)處理和數(shù)字特征提取以后基于神經(jīng)網(wǎng)絡(luò)的判別方法，然后結(jié)合使用了matlab工具箱中提供的人工神經(jīng)網(wǎng)絡(luò)函數(shù)設(shè)計(jì)了一種手寫數(shù)字識(shí)別的新方法。實(shí)驗(yàn)表明，該方法可以獲得較好的識(shí)別率。第二章 手寫體數(shù)字識(shí)別2.1手寫體數(shù)字識(shí)別的一般方法及難點(diǎn)字符識(shí)別問題的研究已有幾十年的歷史了，但時(shí)至今日，字符識(shí)別的研究成果遠(yuǎn)未達(dá)到人們所期望的，這其中有理論研究和技術(shù)實(shí)現(xiàn)等多方面因素. 在理論方面，我們對(duì)人類的視覺認(rèn)知機(jī)理的研究還只是初步的，遠(yuǎn)未達(dá)到深入和透徹的水平。在技術(shù)方面，我們使用的計(jì)算機(jī)的運(yùn)

22、算水平和存儲(chǔ)能力， 比起人腦的信息存儲(chǔ)和處理能力有很大差距. 因此，目前的文字識(shí)別只能建立在現(xiàn)有的理論基礎(chǔ)上，使用現(xiàn)有的技術(shù)來研究和解決問題。手寫體數(shù)字識(shí)別是字符識(shí)別的一個(gè)分支，問題雖然簡(jiǎn)單，但卻有較大的實(shí)用價(jià)值。數(shù)字的類別雖然只有十種，筆劃又簡(jiǎn)單，其識(shí)別問題表面上是一個(gè)較簡(jiǎn)單的分類問題。但實(shí)際上，雖然各種新的識(shí)別算法不斷的推出。其識(shí)別率和誤識(shí)率仍距實(shí)用有相當(dāng)距離。手寫阿拉伯?dāng)?shù)字具有變形多差異大的特點(diǎn)，字形與書寫人的職業(yè)、文化程度、書寫習(xí)慣以及所使用筆墨紙張所處環(huán)境等都有關(guān)，所以手寫體數(shù)字變形多、規(guī)律復(fù)雜。具體地說有兩個(gè)：一是0 9 十個(gè)數(shù)字中，其中的一些數(shù)字字形相差不大，使得準(zhǔn)確區(qū)分某些數(shù)字

23、相當(dāng)困難;二是數(shù)字雖然只有十種，但同一數(shù)字寫法千差萬別。不同的人寫出的同一個(gè)數(shù)字都有差別，即使同一個(gè)人在不同的時(shí)候也會(huì)有不同的寫法。筆劃的書寫順序經(jīng)常發(fā)生變化，因此極大地增加了匹配的難度。一般人寫字時(shí)都不會(huì)一筆一劃的書寫，為了節(jié)省時(shí)間，連筆字是自然而然的事情，對(duì)于結(jié)構(gòu)識(shí)別而言，連筆一方面使筆劃種類大大增加，甚至達(dá)到難以歸納的程度；另一方面，連筆又使得筆段抽取難度大增，因?yàn)檫B筆會(huì)增加一些冗余筆段，連筆造成的畸變又會(huì)使筆段方向嚴(yán)重離散?？傊B筆不論對(duì)于基于哪種基元的結(jié)構(gòu)識(shí)別都是嚴(yán)峻的挑戰(zhàn)。這是造成手寫數(shù)字識(shí)別過程復(fù)雜、達(dá)到較高識(shí)別率困難的根本原因。如圖2.1各種各樣的手寫體數(shù)字。圖2.1 各種各

24、樣的手寫體數(shù)字2.2 圖像預(yù)處理概述預(yù)處理6是字符識(shí)別重要的一環(huán), 它把原始的圖像轉(zhuǎn)換成識(shí)別器所能接受的二進(jìn)制形式。要識(shí)別手寫體數(shù)字首先要對(duì)其字符圖像進(jìn)行預(yù)處理。預(yù)處理的主要目的是去除字符圖像中的噪聲、壓縮冗余信息, 得到規(guī)范化的點(diǎn)陣, 為識(shí)別做好準(zhǔn)備。這就要求預(yù)處理在消除圖像中與識(shí)別無關(guān)的因素時(shí)盡量保持原圖像的字符特征。手寫體數(shù)字圖像預(yù)處理的過程，就一般情況而言，主要經(jīng)過如圖2.2所示的幾個(gè)步驟。不同的識(shí)別方法對(duì)預(yù)處理的項(xiàng)目和要求有所不同。如結(jié)構(gòu)識(shí)別方法7，對(duì)字符規(guī)范化可以從簡(jiǎn)，甚至不需要。有的識(shí)別方法對(duì)細(xì)化要求很高，有的則不需要細(xì)化。本章中將分別對(duì)平滑去噪、二值化、歸一化和細(xì)化分小節(jié)討論。

25、原始圖像 平滑去噪二值化 歸一化細(xì) 化圖2.2 圖像預(yù)處理的基本流程2.3 圖像預(yù)處理的處理步驟2.3.1 圖像的平滑去噪手寫體數(shù)字由于其隨機(jī)性大，斷筆，連筆、飛白狀況時(shí)常發(fā)生，為了減少灰度圖像的一些不該出現(xiàn)的黑白噪聲，可以采用圖像的平滑去噪技術(shù)。進(jìn)行圖像平滑處理的是一種空域?yàn)V波器8，空域?yàn)V波器一般可分為線性濾波和非線性濾波兩類。線性濾波器的設(shè)計(jì)?；趯?duì)傅立葉變換的分析，如均值濾波器；非線性濾波器則一般直接對(duì)鄰域進(jìn)行操作，如中值濾波器。以下為采用中值濾波對(duì)圖像進(jìn)行平滑處理的部分代碼9：for i=2:175; for j=2:259 xtemp=0; for m=1:3 for n=1:3 x

26、temp=xtemp+x2(i+m.2,j+n.2); end end xtemp=xtemp/9; x3(i,j)=xtemp; endend2.3.2 二值化處理圖像的二值化就是把圖像中的像素根據(jù)一定的標(biāo)準(zhǔn)劃分成兩種顏色。在這個(gè)系統(tǒng)中就是根據(jù)像素的灰度值處理成黑白兩種顏色。對(duì)數(shù)字字符圖像二值化后要能真實(shí)的再現(xiàn)原數(shù)字, 其基本要求為:筆畫中不出現(xiàn)空白點(diǎn), 二值化的筆畫基本保持原來文字的結(jié)構(gòu)特征。圖像二值化的關(guān)鍵在于閾值的選擇。圖像的二值化有很多成熟的算法, 有整體閾值二值化法、局部閾值二值化法、動(dòng)態(tài)閾值二值化法等。二值化的關(guān)鍵在于閾值的選取，閾值選取主要分為整體閾值法、局部閾值法和動(dòng)態(tài)閾值法

27、。三類閾值的選擇是一個(gè)比較復(fù)雜的問題，有的可以由計(jì)算機(jī)自動(dòng)選擇，有的需人工干預(yù)?；谧址R(shí)別掃描得到的圖像目標(biāo)與背景的灰度級(jí)有明顯的差別，字符圖像的二值化可采用整體閾值法中的雙峰法，該方法簡(jiǎn)單易行，針對(duì)目標(biāo)與背景的灰度級(jí)有明顯差別的圖像，其灰度直方圖的分布呈雙峰狀，兩個(gè)波峰分別與圖像中的目標(biāo)和背景相對(duì)應(yīng)，波谷與圖像邊緣相對(duì)，應(yīng)當(dāng)在分割閾值位于谷底時(shí)，圖像分割可取得最好的效果。下面給出我在設(shè)計(jì)過程中二值化以后的效果圖如圖2.3。圖2.3 二值化處理2.3.3 歸一化本文使用的數(shù)字圖像都是在 windows xp 畫圖板中手寫輸入的。由于10 ×14像素圖像（10 是圖像寬度，14 是圖

28、像高度）較小，書寫時(shí)難度較大。我們希望書寫時(shí)盡量不限制圖像的大小，然后通過計(jì)算統(tǒng)一尺寸，使之具有同一高度，同一寬度，稱之為歸一化10。在數(shù)字圖像處理中有一些比較成熟的縮放圖像的算法，例如 matlab 使用 imresize函數(shù)來改變圖像的大小。它的調(diào)用格式為 i2=imresize(i,rate),i 存儲(chǔ)的是原始圖像的數(shù)組，rate 是變化率，i2 存儲(chǔ)的是改變后圖像的數(shù)組。例如 rate=0.5 時(shí)，高度和寬度都將縮小一半，原始圖像也就縮小了一半。這一算法的缺點(diǎn)是只能將原始圖像的高度和寬度同時(shí)變化相同的比例，如果我們希望將原始圖像變成10 ×1 4像素的圖像，該算法就無法解決了

29、。顯然這種算法不適合解決我們面臨的問題。本文提出了一種新的歸一化算法，可以將不同尺寸的二值圖像統(tǒng)一為10×14 像素的圖像。具體算法是：先得到原始圖像的高度和寬度，分別與系統(tǒng)要求得到的高度和寬度作比較，得出要變換的系數(shù)，然后根據(jù)得到的系數(shù)計(jì)算每一個(gè)原始像素點(diǎn)歸一化后在新圖像中的位置，最后計(jì)算新圖像中每個(gè)像素點(diǎn)的值，方法是：求出原始像素點(diǎn)及其周圍三個(gè)點(diǎn)的像素值的平均值，最后用函數(shù) floor.m 取整,調(diào)用格式為 b=floor(a),b 取小于或者等于 a 的整數(shù)。歸一化算法程序代碼如下：ans=imread('0.bmp'); %讀入圖片 0.bmp，28 

30、5; 28像素圖像imshow(ans)r,c=size(ans); % r 是原圖像的高度，c 是寬度for i=2:(r-1)for j=2:(c-1)n=i/(r/14);n=ceil(n);m=j/(c/10);m=ceil(m);m(n,m)=(ans(i,j)+ans(i,j+1)+ans(i,j-1)+ans(i-1,j)/4;n(n,m)=floor(m(n,m);endendimshow(n)例如，數(shù)字圖像“0.bmp”經(jīng)該歸一化算法計(jì)算得到矩陣 m，matlab 運(yùn)行結(jié)果如圖2.4所示。圖2.4 歸一化處理2.3.4 細(xì)化許多字符識(shí)別方法在預(yù)處理中都很重視對(duì)二值化字符的細(xì)化

31、處理。直觀來說，細(xì)化就是將二值化字符點(diǎn)陣逐層剝?nèi)ポ喞系狞c(diǎn)，變成筆畫寬度只有一個(gè)像素寬度的字符骨架圖形。之所以需要細(xì)化處理，是因?yàn)槎祷c(diǎn)陣圖形中，對(duì)識(shí)別有價(jià)值的文字特征信息主要集中在字符骨架上，細(xì)化后的字符骨架既保留了原字符的絕大部分的特征，又利于特征提取。細(xì)化后骨架的存儲(chǔ)量比原來的二值化字符點(diǎn)陣要少得多，降低了處理工作量。手寫體數(shù)字細(xì)化的基本要求如下：第一、保持原有字符筆畫的連續(xù)性，不能由于細(xì)化造成筆畫斷裂。第二、要細(xì)化為單線，即筆畫寬度為一個(gè)像素。第三、細(xì)化后的骨架應(yīng)盡量是原來筆畫的中心線。2.4 小結(jié)預(yù)處理是手寫數(shù)字識(shí)別中不可缺少的組成部分,對(duì)圖像預(yù)處理的好壞直接影響到識(shí)別的結(jié)果, 關(guān)

32、系到識(shí)別算法的好壞。文中首先對(duì)待識(shí)別數(shù)字的預(yù)處理進(jìn)行了介紹，包括平滑去噪、二值化、歸一化、細(xì)化等圖像處理方法，經(jīng)過這些預(yù)處理步驟, 對(duì)圖像中部分變形信息進(jìn)行了修正, 消除圖像中與識(shí)別無關(guān)的因素, 而且盡量保持原圖像的字符特征, 在實(shí)驗(yàn)中提高了數(shù)字識(shí)別網(wǎng)絡(luò)的性能。第三章 特征提取3.1 特征提取的概述模式識(shí)別使用特征來區(qū)分不同的種類。因此，特征提取是模式識(shí)別系統(tǒng)的關(guān)鍵部分。特征提取的目標(biāo)是找到某種變換，將n維或n*n維的模式類別空間轉(zhuǎn)換到維數(shù)小得多的m維特征空間，并同時(shí)保留模式識(shí)別所需要的大部分信息。通過特征提取，模式分類可以在維數(shù)低得多的空間上進(jìn)行，從而降低了計(jì)算的復(fù)雜度。而且，對(duì)給定的訓(xùn)練樣

33、本進(jìn)行特征提取可以獲得更精確的分類函數(shù)的描述，以構(gòu)造更可靠的分類規(guī)則。同樣對(duì)于手寫體數(shù)字的識(shí)別，特征提取可以降低字符信息量、去除無用的冗余信息，提高識(shí)別系統(tǒng)效率，一直是字符識(shí)別領(lǐng)域中的關(guān)鍵點(diǎn)。特征提取的目的是從原始數(shù)據(jù)中抽取出用于區(qū)分不同類型的本質(zhì)特征。無論是識(shí)別過程還是學(xué)習(xí)過程，都要對(duì)研究對(duì)象固有的、本質(zhì)的重要特征或?qū)傩赃M(jìn)行量測(cè)并將結(jié)果數(shù)值化，形成特征矢量。手寫體數(shù)字的識(shí)別中，常用的特征有結(jié)構(gòu)特征和統(tǒng)計(jì)特征。結(jié)構(gòu)特征和統(tǒng)計(jì)特征各有其優(yōu)點(diǎn)：結(jié)構(gòu)特征能描述字符的結(jié)構(gòu)，對(duì)于不同人書寫的字符，形體不同，但結(jié)構(gòu)都是一致的，所以結(jié)構(gòu)特征能克服手寫字體因人而引起的畸變；統(tǒng)計(jì)特征最大的優(yōu)點(diǎn)是對(duì)環(huán)境噪音不敏感

34、，如若字符的背景噪音通常都是呈高斯分布，用統(tǒng)計(jì)特征進(jìn)行識(shí)別可對(duì)此影響忽略不計(jì)。本章將用兩小節(jié)分別對(duì)結(jié)構(gòu)特征和統(tǒng)計(jì)特征進(jìn)行論述。 3.2 統(tǒng)計(jì)特征對(duì)復(fù)雜圖像信號(hào)作小波變換11，進(jìn)行多分辨率分析，已經(jīng)成為圖像信號(hào)分析和處理的常用方法。由于小波變換的結(jié)果體現(xiàn)為大量的小波分解系數(shù)，這些系數(shù)包含了系統(tǒng)或信號(hào)本身大量和多樣的特征信息。如果圖像信號(hào)的主要信息能以一個(gè)或一組特征量來表征，我們就可以更加直觀、有效和方便地對(duì)各種隨機(jī)信號(hào)進(jìn)行信息提取、信號(hào)檢測(cè)、特征識(shí)別。統(tǒng)計(jì)特征分為宏觀特征信息和局部特征信息。宏觀特征信息是需要在整幅圖像上獲取的特征信息。傳統(tǒng)的全局特征主要包括：全局變換特征（對(duì)字符圖像進(jìn)行各種變換

35、，利用變換系數(shù)作為特征向量，常用的變換有fourier變換、k-l變換、小波變換等）、不變矩特征、全局筆劃方向特征等；常用的局部統(tǒng)計(jì)特征有：局部筆劃方向特征、gabor特征等。統(tǒng)計(jì)特征對(duì)微小的畸變不敏感，但區(qū)分相似的能力較差。以下為程序設(shè)計(jì)中對(duì)小波分析提取低頻部分的統(tǒng)計(jì)特征的實(shí)例：f=imread('sample.bmp');輸入圖像c,s=wavedec2(h,3,'db2');對(duì)人臉圖像進(jìn)行3階小波分解，并提取小波系數(shù)wave2gray(c,s,8);顯示小波分解后各子圖y=wavecopy('a',c,s)figure,imshow(mat

36、2gray(y);提取主要特征3.3 結(jié)構(gòu)特征采用結(jié)構(gòu)特征12對(duì)字符進(jìn)行結(jié)構(gòu)分析從而達(dá)到識(shí)別目的，是一種非常直觀的方法。字符由各個(gè)子部件構(gòu)成，逐級(jí)分析字符圖像的結(jié)構(gòu)，根據(jù)各元素的屬性、數(shù)量及其相互關(guān)系，便可判定待識(shí)字符。與統(tǒng)計(jì)方法相比，結(jié)構(gòu)分析不注重特征的絕對(duì)位置，只考慮特征的相對(duì)關(guān)系，因而對(duì)書寫風(fēng)格的變化不敏感，其缺點(diǎn)在于特征提取和模板的建立都十分困難，匹配算法也比較復(fù)雜，神經(jīng)網(wǎng)絡(luò)的應(yīng)用彌補(bǔ)了這個(gè)缺點(diǎn)，只要提取出適當(dāng)?shù)慕Y(jié)構(gòu)向量作為神經(jīng)網(wǎng)絡(luò)的輸入向量，會(huì)得到令人滿意的識(shí)別輸出結(jié)果。以下詳細(xì)介紹。3.3.1 結(jié)構(gòu)特征提取首先對(duì)經(jīng)預(yù)處理后的圖像進(jìn)行分割，如圖3.1所示。 圖3.1 圖像分割對(duì)圖像分

37、割后，結(jié)構(gòu)特征提取的算法如下：(1)對(duì)細(xì)化后的數(shù)字圖像取豎直的三條直線,分別取在5/12,1/2,7/12處,記下這三條豎直直線與數(shù)字筆段的交點(diǎn)數(shù)。(2)再取水平三條直線,分別取在1/3,1/2,2/3處, 分別記下這三條水平直線與數(shù)字筆段的交點(diǎn)數(shù)。(3)再取對(duì)角兩條直線, 分別記下這兩條對(duì)角直線與數(shù)字筆段的交點(diǎn)數(shù)。3.3.2 筆劃特征的提取經(jīng)細(xì)化后的數(shù)字圖像其特征較為穩(wěn)定,且筆劃簡(jiǎn)單,因此對(duì)其抽取的基本結(jié)構(gòu)組件能反映數(shù)字的本質(zhì)特征,從而可快速有效地識(shí)別數(shù)字,并達(dá)到較好的分類效果。數(shù)字端點(diǎn)如圖3.2所示。圖3.2數(shù)字端點(diǎn)對(duì)圖像分割后，結(jié)構(gòu)特征提取的算法如下：(1)按從上到下,從左到右的順序掃描

38、預(yù)處理后圖像并選擇黑像素點(diǎn)p；(2)計(jì)算像素p的8鄰域之和n；(3)若n=1,則像素p為端點(diǎn),端點(diǎn)計(jì)數(shù)器加一；(4)重復(fù)步驟(1)-(3),直到遍歷整個(gè)圖像。3.3.3 數(shù)字的特征向量說明依據(jù)上述特征提取方法,本系統(tǒng)中的特征矢量由9個(gè)分量組成,其排列如下所示:data= 豎直中線交點(diǎn)數(shù)，豎直5/12處，豎直7/12處，水平中線交點(diǎn)數(shù)，水平1/3處交點(diǎn)數(shù)，水平2/3處交點(diǎn)數(shù)，左對(duì)角線交點(diǎn)數(shù)，右對(duì)角線交點(diǎn)數(shù)，端點(diǎn)數(shù) ;3.3 知識(shí)庫的建立由于本文采用的是基于模式知識(shí)庫的識(shí)別方法，所以對(duì)字符的結(jié)構(gòu)特征的分析以及字符模型的構(gòu)造是一個(gè)十分重要的環(huán)節(jié)，圖3.3就是對(duì)識(shí)別數(shù)字的標(biāo)準(zhǔn)形態(tài)進(jìn)行具體分析而構(gòu)造的模

39、板。圖3.3 規(guī)范手寫體數(shù)字形態(tài) 以下為規(guī)范手寫體數(shù)字形態(tài)的特征向量：data012,2,2,2,2,2,2,2,0；data111,0,0,1,1,1,1,1,2；data213,3,3,1,1,1,1,1,3；data313,2,3,1,1,1,2,2,3；data411,1,1,2,2,1,3,2,4；data513,3,3,1,1,1,2,2,4；data613,3,2,1,1,2,3,2,1；data712,2,2,1,1,1,1,1,2；data814,4,4,2,2,2,2,2,0；data913,3,3,1,2,1,3,1,1。由于本系統(tǒng)是對(duì)自由手寫體進(jìn)行識(shí)別, 因而要考慮數(shù)字

40、書寫體的多變性。通過對(duì)圖3.4所示的數(shù)字變體的分析來對(duì)知識(shí)庫進(jìn)行補(bǔ)充。 圖3.4手寫體數(shù)字變體以下為手寫體數(shù)字變體形態(tài)的特征向量：data021,1,2,2,2,2,1,2,2；data223,2,2,1,1,1,1,3,2；data323,1,4,2,1,1,2,2,3；data421,2,2,3,3,1,2,2,2；data523,3,3,1,1,1,2,2,4；data623,1,3,1,1,2,2,2,2；data824,4,4,2,1,2,1,2,2；data923,2,3,2,1,1,3,1,3。最后得到的知識(shí)庫由上述兩套模板所組成。第四章 神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別的應(yīng)用4.1 神經(jīng)網(wǎng)絡(luò)

41、簡(jiǎn)介及其工作原理人的智能來自于大腦，大腦是由大量的神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可以看作為一個(gè)小的處理單元，這些神經(jīng)元按照某種方式互相連接起來，構(gòu)成了大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。他們中各神經(jīng)元之間連接的強(qiáng)弱，按照外部的激勵(lì)信號(hào)作自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著接收到的多個(gè)激勵(lì)信號(hào)的綜合大小呈現(xiàn)興奮或抑制狀態(tài)。4.1.1神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)元網(wǎng)絡(luò)是生理學(xué)上的真實(shí)人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能，以及若干基本特性的某種理論抽象、簡(jiǎn)化和模擬而構(gòu)成的一種信息處理系統(tǒng)。從系統(tǒng)觀點(diǎn)看，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元通過極其豐富和完善的聯(lián)接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。由于神經(jīng)元之間有著不同的連接方式，所以組成不同結(jié)

42、構(gòu)形態(tài)的神經(jīng)網(wǎng)絡(luò)14系統(tǒng)是可能的。據(jù)現(xiàn)在的了解，大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過程，大腦處理信息的結(jié)果確由神經(jīng)元的狀態(tài)表現(xiàn)出來。顯然，神經(jīng)元是信息處理系統(tǒng)的最小單元。雖然神經(jīng)元的類型有很多種，但其基本結(jié)構(gòu)相似。4.1.2神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫“a”、“b”兩個(gè)字母的識(shí)別為例進(jìn)行說明，規(guī)定當(dāng)“a”輸入網(wǎng)絡(luò)時(shí)，應(yīng)該輸出“1”，而當(dāng)輸入為“b”時(shí)，輸出為“0”。 所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)做出錯(cuò)誤的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值

43、賦予(0，1)區(qū)間內(nèi)的隨機(jī)值，將“a”所對(duì)應(yīng)的圖像模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“a”模式輸入時(shí)，仍然能做出正確的判斷。 如果輸出為“0”(即為結(jié)果錯(cuò)誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“a”模式輸入時(shí)，減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫字母“a”、“b”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大

44、提高。這說明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí)，能夠做出迅速、準(zhǔn)確的判斷和識(shí)別。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多，則它能記憶、識(shí)別的模式也就越多。4.2神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與訓(xùn)練人腦中一個(gè)典型神經(jīng)元通過許多樹突的精細(xì)結(jié)構(gòu)，收集來自其它神經(jīng)元的信息，神經(jīng)元又通過軸突的一條長(zhǎng)而細(xì)的軸突發(fā)出電活性脈沖。軸突分裂上千條分支，在每條分支末端，通過突觸的結(jié)構(gòu)把來自軸突的電活性變?yōu)殡娮饔茫瑥亩古c之相連的各種神經(jīng)元的活性受到抑制或興奮。當(dāng)一個(gè)神經(jīng)元收到興奮輸入，而興奮輸入又比神經(jīng)元的抑制輸入足夠大時(shí)，神經(jīng)元把電活性脈沖向下傳

45、到它的軸突，改變軸突的有效性，從而使一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響改變，便發(fā)生了學(xué)習(xí)行為。因此，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)特征在于神經(jīng)細(xì)胞特殊的突觸結(jié)構(gòu)所具有的可塑性連接，而如何調(diào)整連接權(quán)重就構(gòu)成了不同的學(xué)習(xí)算法。通過向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是nn的一個(gè)重要特點(diǎn)。在一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的。學(xué)習(xí)方式15(按照環(huán)境提供信息量的多少)有三種：1監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）為了使神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中解決各種問題，必須對(duì)它進(jìn)行訓(xùn)練，就是從應(yīng)用環(huán)境中選出一些樣本數(shù)據(jù)，通過不斷地調(diào)整權(quán)矩陣，直到得到合適的輸入輸出關(guān)系為止，這個(gè)過程就是對(duì)神經(jīng)網(wǎng)絡(luò)的

46、訓(xùn)練過程，這種訓(xùn)練的過程需要有教師示教，提供訓(xùn)練數(shù)據(jù)，又稱樣本數(shù)據(jù)。在訓(xùn)練過程中又需教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱為監(jiān)督式學(xué)習(xí)。有教師學(xué)習(xí)方法雖然簡(jiǎn)單，但是要求教師對(duì)環(huán)境和網(wǎng)絡(luò)的結(jié)構(gòu)應(yīng)該比較熟悉，當(dāng)系統(tǒng)復(fù)雜，環(huán)境變化時(shí)，就變得困難。為了適應(yīng)環(huán)境變化就要重新調(diào)整加權(quán)值，這樣，當(dāng)學(xué)習(xí)到新知識(shí)的同時(shí)，也容易忘掉已學(xué)過的舊知識(shí)，這一些是有教師學(xué)習(xí)方法的缺點(diǎn)。2非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）非監(jiān)督學(xué)習(xí)時(shí)不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（這是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計(jì)上的分布特征）。無教師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集中，只有輸入而沒有

47、目標(biāo)輸出，訓(xùn)練過程神經(jīng)網(wǎng)絡(luò)自動(dòng)地將各輸入數(shù)據(jù)的特征提取出來，并將其分成若干類。經(jīng)過訓(xùn)練好的網(wǎng)絡(luò)能夠識(shí)別訓(xùn)練數(shù)據(jù)集以外的新的輸入類別，并相應(yīng)獲得不同的輸出。顯然，無教師的訓(xùn)練方式可使網(wǎng)絡(luò)具有自組織和自學(xué)習(xí)的功能。3再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)）這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息（獎(jiǎng)或懲）而不是給出正確答案。學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)的動(dòng)作來改善自身的性能。4.3 bp神經(jīng)網(wǎng)絡(luò)4.3.1 bp算法自1985年rumelhart提出bp算法16以來，神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用已經(jīng)迅速發(fā)展并滲透到各個(gè)學(xué)科，神經(jīng)網(wǎng)絡(luò)算法已不再是只供研究，而在實(shí)際的生產(chǎn)中開始了廣泛的應(yīng)用。如：數(shù)據(jù)庫系統(tǒng)的數(shù)

48、據(jù)挖掘、產(chǎn)品的自動(dòng)分撿系統(tǒng)的圖像識(shí)別等。對(duì)應(yīng)地在計(jì)算機(jī)輔助設(shè)計(jì)的軟件開發(fā)中，神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)也越來越多。神經(jīng)網(wǎng)絡(luò)以其快速的并行處理能力和其強(qiáng)有力的學(xué)習(xí)能力而獲得越來越廣泛的重視，其中應(yīng)用最多的是bp神經(jīng)網(wǎng)絡(luò)。bp學(xué)習(xí)算法，即反向傳播（back propagation）學(xué)習(xí)算法是一種有導(dǎo)師的示例學(xué)習(xí)算法。這種學(xué)習(xí)算法在模式識(shí)別領(lǐng)域中，尤其在字符識(shí)別的研究中被廣泛使用。其原因是bp算法學(xué)習(xí)規(guī)則的堅(jiān)韌性和學(xué)習(xí)能力很強(qiáng)，當(dāng)給定模式與bp網(wǎng)絡(luò)學(xué)會(huì)的模式很相似時(shí)，bp網(wǎng)絡(luò)能很好的完成識(shí)別任務(wù)。bp算法是一種有監(jiān)督式的學(xué)習(xí)算法。其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)

49、練，通過誤差的反向傳播，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。bp 算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中,輸入信息從輸入層經(jīng)過隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號(hào)沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權(quán)值使得誤差減小，直至達(dá)到期望目標(biāo)。4.3.2 bp網(wǎng)絡(luò)的一般學(xué)習(xí)算法bp網(wǎng)絡(luò)是一種有監(jiān)督的前饋運(yùn)行的神經(jīng)網(wǎng)絡(luò)，它由輸入層i、隱含層h、輸出層k以及各層之間的節(jié)點(diǎn)

50、的連接權(quán)所組成。它又分為正向和反向傳播兩種，以下對(duì)各層進(jìn)行詳細(xì)介紹。1、 正向傳播過程輸入層輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值。隱含層對(duì)于節(jié)點(diǎn)j，其輸入值為其前一層各節(jié)點(diǎn)輸出值的加權(quán)和： (4.1)輸出值 (4.2)式中稱為激勵(lì)函數(shù)或者作用函數(shù)。一般采用sigmoid函數(shù)： (4.3)式中稱為闕值，稱為溫度系數(shù)。隱含層可為一層或者多層，但是隨著隱含層的增多，網(wǎng)格的復(fù)雜程度也隨之增加，學(xué)習(xí)速度減慢，另外網(wǎng)絡(luò)的推導(dǎo)能力也有可能下降，即所謂的“over fitting”現(xiàn)象。網(wǎng)絡(luò)隱含層以及節(jié)點(diǎn)數(shù)目的選取是bp網(wǎng)絡(luò)學(xué)習(xí)算法有待解決的一個(gè)問題。輸出層輸出層的輸入與輸出與隱含層類似，分別為

51、： (4.4) (4.5)2、 反向傳播過程bp學(xué)習(xí)算法的誤差函數(shù)一般定義為實(shí)際輸出與期望輸出的均方誤差和。通過使誤差函數(shù)最小化的過程不斷的改變權(quán)重，完成從輸入到輸出的非線性映射。設(shè)網(wǎng)絡(luò)輸入模式樣本為，期望輸出為 ，均方誤差函數(shù)為： (4.6)而對(duì)于所有的學(xué)習(xí)樣本，系統(tǒng)的均方誤差為： (4.7)為了達(dá)到學(xué)習(xí)目的，要根據(jù)誤差函數(shù)來相應(yīng)地調(diào)整網(wǎng)絡(luò)間的連接權(quán)值。一般來說經(jīng)典的bp學(xué)習(xí)算法采用最快速梯度下降法調(diào)整權(quán)值，每次調(diào)整的增量為： (4.8)式中0<<1稱為學(xué)習(xí)率。從(4.8)式可推出下列連接權(quán)值的修正量公式 (4.9)對(duì)于輸出節(jié)點(diǎn)： (4.10)對(duì)于隱節(jié)點(diǎn)： (4.11)4.3.3

52、 bp網(wǎng)絡(luò)的設(shè)計(jì)bp網(wǎng)絡(luò)的設(shè)計(jì)主要包括輸入層,隱層,輸出層及各層之間的傳輸函數(shù)幾個(gè)方面。1、網(wǎng)絡(luò)層數(shù)大多數(shù)通用的神經(jīng)網(wǎng)絡(luò)都預(yù)先預(yù)定了網(wǎng)絡(luò)的層數(shù),而bp網(wǎng)絡(luò)可以包含不同的隱層。對(duì)多層bp神經(jīng)網(wǎng)絡(luò)，隱層層數(shù)至少為1層或1層以上，每個(gè)隱層的神經(jīng)元個(gè)數(shù)至少為1個(gè)或1個(gè)以上，否則與多層網(wǎng)絡(luò)的命題矛盾而不成立。2、輸入層的節(jié)點(diǎn)數(shù) 網(wǎng)絡(luò)的輸入個(gè)數(shù)應(yīng)等于應(yīng)用問題的輸入數(shù),matlab的bp網(wǎng)絡(luò)的建立是通過函數(shù)newff或newcf實(shí)現(xiàn)的.如圖4.1所示的程序設(shè)計(jì)截圖。圖4.1使用newff函數(shù)建立一個(gè)新的bp神經(jīng)網(wǎng)絡(luò)3、網(wǎng)絡(luò)數(shù)據(jù)的預(yù)處理17預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析。常采用的是歸一化處理,

53、即將輸入、輸出數(shù)據(jù)映射到-1,1范圍內(nèi),訓(xùn)練結(jié)束后再反映射到原數(shù)據(jù)范圍。4、輸出層的節(jié)點(diǎn)數(shù)輸出層節(jié)點(diǎn)數(shù)取決于兩個(gè)方面,輸出數(shù)據(jù)類型和表示該類型所需要的數(shù)據(jù)大小。5、隱層的節(jié)點(diǎn)數(shù)根據(jù)經(jīng)驗(yàn),可以參考以下公式進(jìn)行設(shè)計(jì)：或者 (4.12)(1)式中:n為隱層節(jié)點(diǎn)數(shù); 為輸入節(jié)點(diǎn)數(shù); 為輸出節(jié)點(diǎn)數(shù);a為110之間的常數(shù)。(2)改變n,用同一樣本集訓(xùn)練,從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)。6、傳輸函數(shù)bp網(wǎng)絡(luò)中傳輸函數(shù)常采用s(sigmoid)型函數(shù).在某些特定情況下,還可能采用純線性(pureline)函數(shù)。7、訓(xùn)練方法及其參數(shù)選擇18net.trainparam.show= ； %顯示訓(xùn)練結(jié)果的間

54、隔步數(shù)net.trainparam.epochs ； 最大訓(xùn)練步數(shù)net.trainparam.goal ； %訓(xùn)練目標(biāo)誤差net.trainparam.mu = ； %學(xué)習(xí)系數(shù)的初始值，marquardt調(diào)整參數(shù)net.trainparam.mu_dec= ； %學(xué)習(xí)系數(shù)的下降因子net.trainparam.mu_inc= ； %學(xué)習(xí)系數(shù)的上升因子net.trainparam.mu_max= ； %學(xué)習(xí)系數(shù)的最大值net.trainparam.min_grad=；%訓(xùn)練中最小允許梯度值如圖4.2本例中所用參數(shù)。圖4.2本例所用參數(shù)通過以上處理后，將得到的特征向量輸入到設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試，下面的圖4.3和4.4分別給出了網(wǎng)絡(luò)的某次訓(xùn)練過程及結(jié)果，由圖可以看出結(jié)果還是很令人滿意的。圖4.3 bp網(wǎng)絡(luò)的訓(xùn)練過程圖4.4 bp網(wǎng)絡(luò)的訓(xùn)練結(jié)果4.4 bp學(xué)習(xí)算法的局限性與對(duì)策bp學(xué)習(xí)算法解決