基于SVM和BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別

摘要科技開展日新月異，智能識(shí)別推陳出新。如今是信息化時(shí)期，數(shù)字識(shí)別在很多智能領(lǐng)域上運(yùn)用廣泛，擁有普遍的使用遠(yuǎn)景，因此探索這項(xiàng)技術(shù)有其重要的實(shí)際意義。由于手寫數(shù)字在寫法上千差萬別，且數(shù)字間字形差異相對(duì)較小，使得識(shí)別系統(tǒng)的開發(fā)具有很大的挑戰(zhàn)性。當(dāng)前手寫數(shù)字識(shí)別采用的技術(shù)有Bayes判別法、決策樹法、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)〔SupportVectorMachines，SVM〕等。誕生于20世紀(jì)90年代的SVM技術(shù)是機(jī)器學(xué)習(xí)研究的熱點(diǎn)，因其良好的泛化性能成為了數(shù)字識(shí)別領(lǐng)域的熱門方法。本開發(fā)系統(tǒng)借助MATLAB平臺(tái)實(shí)現(xiàn)完成SVM的手寫數(shù)字識(shí)別功能，同時(shí)與BP神經(jīng)網(wǎng)絡(luò)的識(shí)別作比照，并利用了MNIST數(shù)據(jù)庫作擴(kuò)展與分析。對(duì)識(shí)別的結(jié)果進(jìn)行探究，得出使識(shí)別精準(zhǔn)度出現(xiàn)誤差的主要因素有手寫體數(shù)字的標(biāo)準(zhǔn)程度、筆畫字跡粗細(xì)和清晰，以及訓(xùn)練樣本的數(shù)量等。關(guān)鍵詞手寫數(shù)字識(shí)別；神經(jīng)網(wǎng)絡(luò)；SVMAbstractTechnologicaldevelopmentchangesrapidly,andintelligentrecognitioninnovatesconstantly.Intheinformationera,numeralrecognitionhasbroadapplicationprospectsinmanypatternareaswithacommonvision,soitisofgreatpracticalsignificancetoexplorethistechnology.Asaresultofhandwrittennumeralvarywidelyinthewordinganddigitalshapedifferenceisrelativelysmall,makingrecognitionsystemdevelopmentisagreatchallenge.Atpresent,Bayesdiscriminantanalysis,decisiontreemethod,neuralnetworkandsupportvectormachine(referredtoasSVM)arethemainmethodsofrecognitionofhandwriting.SVMtechnology,whichwasbornin1990s,isahottopicinmachinelearningresearch.Becauseofitsgoodgeneralizationperformance,ithasbecomeapopularmethodinthefieldofnumeralrecognition.ThesystemusestheMATLABtorealizethehandwrittennumeralrecognitionbasedonSVM,atthesametimewiththerecognitionofBPneuralnetworkforcomparison,andusingtheMNISTdatabasetoextendandanalysis.Toresearchtheresultsofrecognition,itcomestoconclusionthatthemainfactorsaffectingtheaccuracyoftherecognitionincludethespecificationofthehandwrittennumeral,thethicknessandtheclarityofthestrokes,andthenumberofthetrainingsamples.Keywordshandwrittennumeralrecognition;neuralnetwork;SVM目錄摘要 IAbstract II第1章緒論 11.1課題研究的背景和意義 11.2國內(nèi)外研究現(xiàn)狀及分析 11.3課題研究的主要內(nèi)容 21.4本章小結(jié) 2第2章手寫數(shù)字識(shí)別綜述 32.1預(yù)處理技術(shù) 32.1.1圖像二值化 32.1.2圖像去噪銳化 32.1.3圖像分割細(xì)化 32.1.4圖像歸一化 32.2特征提取技術(shù) 42.3手寫數(shù)字識(shí)別方法 42.3.1決策樹法 4貝葉斯判別法 52.3.3神經(jīng)網(wǎng)絡(luò) 72.3.4支持向量機(jī) 92.4本章小結(jié) 9第3章支持向量機(jī) 103.1SVM概述 103.1.1VC維 103.1.2結(jié)構(gòu)風(fēng)險(xiǎn)最小原理 103.2SVM的原理 113.2.1二分類支持向量機(jī) 123.3SVM的優(yōu)缺點(diǎn) 133.4標(biāo)準(zhǔn)支持向量機(jī) 133.4.1線性分劃 133.4.2非線性分劃 153.5核函數(shù) 163.6SVM參數(shù)優(yōu)化 173.6.1徑向基核函數(shù) 183.6.2遺傳算法 183.7本章小結(jié) 20第4章BP神經(jīng)網(wǎng)絡(luò) 214.1BP神經(jīng)網(wǎng)絡(luò)概述 214.2BP神經(jīng)網(wǎng)絡(luò)原理及性能 214.2.1BP神經(jīng)網(wǎng)絡(luò)算法流程 214.2.2數(shù)據(jù)歸一化 224.2.3BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練 224.2.4BP神經(jīng)網(wǎng)絡(luò)參數(shù) 234.2.5BP神經(jīng)網(wǎng)絡(luò)函數(shù) 244.3本章小結(jié) 25第5章手寫數(shù)字識(shí)別的設(shè)計(jì)和實(shí)現(xiàn) 265.1基于SVM的手寫數(shù)字識(shí)別 265.1.1設(shè)計(jì)目標(biāo) 26樣本圖片選取 26設(shè)計(jì)與實(shí)現(xiàn) 285.2BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別 33設(shè)計(jì)目標(biāo) 335.2.2樣本圖片選擇 34設(shè)計(jì)與實(shí)現(xiàn) 355.2.4結(jié)果分析 405.3MNIST數(shù)據(jù)庫的擴(kuò)展 40樣本圖片獲取 40樣本圖片處理 415.3.3樣本訓(xùn)練及識(shí)別 41結(jié)果分析 435.4實(shí)驗(yàn)結(jié)果分析 445.5系統(tǒng)調(diào)試及問題解決 445.6本章小節(jié) 45結(jié)論 46參考文獻(xiàn) 47致謝 48附錄 49第1章緒論1.1課題研究的背景和意義數(shù)字識(shí)別主要有印刷體與手寫體識(shí)別，由于存在人體差異和個(gè)人習(xí)慣的不同，即使是同一個(gè)數(shù)字，每個(gè)人書寫的情況都會(huì)千差萬別。手寫數(shù)字識(shí)別技術(shù)在不同的數(shù)字?jǐn)?shù)據(jù)庫實(shí)驗(yàn)中已得到了較為滿意的識(shí)別識(shí)別效果，然而將其使用到手寫文檔中，其識(shí)別的精準(zhǔn)度仍難以到達(dá)實(shí)際要求。手寫數(shù)字是借助電子儀器去自動(dòng)區(qū)分人手寫出來的數(shù)字。盡管由于筆畫、字型等因素還未能在計(jì)算機(jī)上做到全部都正確識(shí)別，但其在各方面應(yīng)用早已十分廣泛，多存在于辦公和教學(xué)自動(dòng)化、銀行票據(jù)自動(dòng)識(shí)別、郵政自動(dòng)分揀等技術(shù)領(lǐng)域當(dāng)中。在日常生活和工作中，每天都會(huì)接觸大量的數(shù)字信息，尤其是處理各種各樣的數(shù)字文檔工作，如賬單、、號(hào)碼、物流編號(hào)等，一些極其關(guān)鍵的數(shù)字信息的誤判往往極易造成巨大損失，在要求較為苛刻的國防、金融等領(lǐng)域更是不能出現(xiàn)絲毫過失。如何利用現(xiàn)代化技術(shù)，使人們從這些繁重且細(xì)致繁瑣的工作中解放出來，提高識(shí)別正確率、記錄準(zhǔn)確率及其效率已成為一個(gè)亟待解決的問題。智能識(shí)別在當(dāng)代科技應(yīng)用中日趨普及，科學(xué)技術(shù)以及物質(zhì)需求的持續(xù)抬高，數(shù)字識(shí)別的準(zhǔn)確率和速度都有了更大的提升。數(shù)字不僅構(gòu)建了數(shù)學(xué)根底，也承載著信息內(nèi)容；不僅在數(shù)學(xué)上發(fā)揮著作用，也是人們溝通、交流和學(xué)習(xí)的主要工具。由數(shù)字組合成的各種代碼或符號(hào)應(yīng)用廣闊，是人類生活和科技進(jìn)步不可或缺的組成局部，基于這個(gè)原因，手寫數(shù)字的智能識(shí)別就具有重大的實(shí)際意義[1]。1.2國內(nèi)外研究現(xiàn)狀及分析20世紀(jì)初期，德國科學(xué)家運(yùn)用光學(xué)相互比照技術(shù)第一次實(shí)現(xiàn)了機(jī)器識(shí)別文字符號(hào)；50年代起，西方國家為了更好進(jìn)行信息的處理、保存和保密，開始著手對(duì)西文光學(xué)字符識(shí)別〔OCR〕的研究；20世紀(jì)中葉，全球很多國家開始了探索數(shù)字識(shí)別。美國科技巨頭IBM公司最早開發(fā)了相關(guān)的產(chǎn)品，這款產(chǎn)品只能認(rèn)識(shí)制定好的字符所印刷出來的文字或符號(hào)。1970年左右，我國初步對(duì)符號(hào)的識(shí)別作綜合探索。清華大學(xué)在1989年推出了OCR軟件，著手對(duì)漢字和數(shù)字的識(shí)別進(jìn)行研究，并在手寫漢字和數(shù)字識(shí)別等領(lǐng)域上取得了巨大的成功。1963年,Vapnik首次提出了支持向量〔SV〕方法；歷經(jīng)20年磨練，美國研究者隨后在有限樣本的機(jī)器學(xué)習(xí)問題上挖掘了〔SVM〕。跟隨科技開展和國外研究的步伐，我國的SVM理論研究在性能優(yōu)化和訓(xùn)練識(shí)別上也取得了一定進(jìn)展。歷經(jīng)幾十年，數(shù)字識(shí)別技術(shù)在不斷的改良下已經(jīng)得到了很大進(jìn)步，判斷準(zhǔn)確度也越來越高。利用作識(shí)別已經(jīng)在各類數(shù)據(jù)庫里獲得了較好的成果。分析目前在這方面取得的進(jìn)展，比對(duì)海內(nèi)外研究的成果和關(guān)注的方向，手寫數(shù)字識(shí)別需深入研究解決存在的兩大難點(diǎn)，即速度與準(zhǔn)確性都需到達(dá)更高的水平[2]。假以時(shí)日假設(shè)對(duì)該算法進(jìn)行相應(yīng)改良及優(yōu)化，該技術(shù)就能獲得更長遠(yuǎn)的進(jìn)步。1.3課題研究的主要內(nèi)容本次設(shè)計(jì)研究的主要內(nèi)容包括：1、手寫數(shù)字識(shí)別方法綜述。介紹常用的幾種方法，并進(jìn)行簡要比擬。2、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)的簡介。介紹比照兩種方法的開展、技術(shù)原理和特點(diǎn)，分析支持向量機(jī)如何進(jìn)行學(xué)習(xí)和實(shí)現(xiàn)，BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和參數(shù)確定，為應(yīng)用在手寫數(shù)字識(shí)別進(jìn)行可行性討論。3、手寫數(shù)字識(shí)別的設(shè)計(jì)與實(shí)現(xiàn)。借助MATLAB平臺(tái)編程作仿真實(shí)驗(yàn)，首先對(duì)手寫數(shù)字圖像進(jìn)行標(biāo)準(zhǔn)化預(yù)處理，建立算法進(jìn)行參數(shù)尋優(yōu)，最后對(duì)測試集進(jìn)行識(shí)別和結(jié)果分析。4、Mnist數(shù)據(jù)庫的擴(kuò)展識(shí)別。篩選局部圖像，借助SVM法對(duì)其作識(shí)別和比擬分析。1.4本章小結(jié)本章扼要概述該課題的研究背景、近況及主要內(nèi)容，并從多個(gè)角度表達(dá)對(duì)其研究的重要意義。第2章手寫數(shù)字識(shí)別綜述手寫數(shù)字識(shí)別過程大致分成、、等幾個(gè)過程，預(yù)處理為能獲得正確的有關(guān)數(shù)字的特性作了根底，而得到有關(guān)的數(shù)字特征那么保證了最后分類的有效性[3]。2.1預(yù)處理技術(shù)預(yù)處理技術(shù)，包括了尺寸和位置歸一化等多個(gè)方面，通常借助它來消除數(shù)字圖像中包含的噪音、壓縮并剔除多余的且與判別無關(guān)的數(shù)據(jù)信息，為進(jìn)一步提取特征做出不可或缺的鋪墊，提升整個(gè)系統(tǒng)性能、判別準(zhǔn)確率和速率[4]。預(yù)處理包括了以下幾個(gè)方面，如圖2-1。圖2-1預(yù)處理過程2.1.1圖像二值化二值化是把灰度圖像轉(zhuǎn)變成黑白兩個(gè)等級(jí)，根據(jù)其像素的種類再進(jìn)一步選擇具體操作措施。通過二值化將圖像中的數(shù)字目標(biāo)從圖像中提取出來。將原有圖像中那些能夠表達(dá)其輪廓特征作射影處理后，再保存下來，把那些表達(dá)不了的局部全部都作剔除處理。經(jīng)過這一步操作處理之后，就能獲得該圖像中有關(guān)構(gòu)成數(shù)字的輪廓和特征的有用信息。2.1.2圖像去噪銳化反色操作后噪聲來源一般有：數(shù)字圖像本身就存在的污損、孤立點(diǎn)；圖片本身存在的底色在作二值化處理后造成了新噪聲出現(xiàn)。圖片本身導(dǎo)致的噪聲干擾能借助自適應(yīng)二值化算法去優(yōu)化；圖像中存在的筆劃的凹凸、孤立墨點(diǎn)的情況，可以通過選擇適當(dāng)?shù)慕Y(jié)構(gòu)元素去消除，或利用小波變換的時(shí)頻局部化及小波基剔除圖像局部高頻化的噪聲。數(shù)字圖像的模糊邊沿可以采用銳化來實(shí)現(xiàn)快速聚焦，改善清晰度。2.1.3圖像分割細(xì)化圖像分割是指依照?qǐng)D像中的各局部像素劃分成互不相同的子區(qū)域，更方便更有效地對(duì)數(shù)字后續(xù)作進(jìn)一步單獨(dú)處理和對(duì)數(shù)字包含信息的提取，常見的分割方法有閾值分割、區(qū)域分割和邊緣檢測分割等。細(xì)化是為了去除輸入噪音，保存初始圖像特有的幾何特性，在保存最初筆劃的連續(xù)性和特征的前提下，從字符邊界逐層移除輪廓黑點(diǎn)像素。手寫數(shù)字由于存在著書寫位置上下、角度位置偏差等人為不可抗拒因素，都會(huì)明顯增大訓(xùn)練的包袱還會(huì)影響識(shí)別識(shí)別效果，分割細(xì)化后仍需對(duì)數(shù)字再作出位置矯正逼近處理。2.1.4歸一化由于原有圖片中的數(shù)字大小都各有不同，故而需要作歸一化操作，以便讓其得到統(tǒng)一。歸一化是對(duì)每個(gè)不同大小尺寸的數(shù)字子圖像進(jìn)行縮放射影到統(tǒng)一大小的字符樣本中，使其能夠具有大概相同的尺寸，便于后續(xù)作特征提取和分類識(shí)別。2.2特征提取技術(shù)該局部是整個(gè)操作的重中之重，其特性信息量的獲得直接關(guān)系到最終的效果。提取的方法有：結(jié)構(gòu)特征和統(tǒng)計(jì)特征。結(jié)構(gòu)特征識(shí)別方法是從字符的結(jié)構(gòu)或者造型中獲取到最能夠代表其形狀的某類根本信息，類似如橫豎撇捺、左右彎鉤、交叉等。這種方法能夠很好地識(shí)別字符筆畫的細(xì)小改變，但文法相對(duì)復(fù)雜、對(duì)背景復(fù)雜的圖像識(shí)別率較低。統(tǒng)計(jì)特征識(shí)別方法是對(duì)字符信息進(jìn)行全體統(tǒng)計(jì)學(xué)分析比擬，采用像素密度特征、數(shù)形變換、模板適配等技術(shù)，識(shí)別相對(duì)穩(wěn)定，抗噪聲強(qiáng)，但不能檢測到字符的筆畫變化情況、字符復(fù)雜的幾何和拓?fù)浣Y(jié)構(gòu)，識(shí)別出錯(cuò)的概率依然不小。綜合以上兩種方法的優(yōu)劣所在，現(xiàn)階段手寫數(shù)字特征提取技術(shù)已逐漸趨于對(duì)結(jié)構(gòu)與統(tǒng)計(jì)特征方法的相結(jié)合。本設(shè)計(jì)采取了統(tǒng)計(jì)的方法，即把數(shù)字圖片作反色處理后，再對(duì)像素進(jìn)行統(tǒng)計(jì)分析獲取其特性。特征提取技術(shù)如圖2-1所示。圖2-2特征提取技術(shù)2.3手寫數(shù)字識(shí)別方法2.3.1決策樹法一種從上到下的樹形結(jié)構(gòu)。其根本思想如圖2-3所示。圖2-3決策樹根本思想用一個(gè)邏輯判斷說明其內(nèi)部節(jié)點(diǎn)〔非葉節(jié)點(diǎn)〕，如：形式為。其中：圖2-4決策樹結(jié)構(gòu)圖決策樹優(yōu)點(diǎn)有：=1\*GB3①準(zhǔn)確性高、速度快，易于解釋和理解；=2\*GB3②根本上無需對(duì)要作判別的數(shù)據(jù)作處理，即使需要，該準(zhǔn)備工作也是很容易處理，而其它方法必須先作剔除冗余的操作。然而，其缺點(diǎn)也是很明顯，主要表現(xiàn)在：=1\*GB3①當(dāng)存在信息類別多且數(shù)目不統(tǒng)一情況時(shí)，出錯(cuò)的速度在某種程度上會(huì)出現(xiàn)很大幅度的增加。=2\*GB3②內(nèi)部節(jié)點(diǎn)的判別具有明確性，這種明確性可能會(huì)帶來誤導(dǎo)。2.3.2貝葉斯判別法貝葉斯〔Bayes〕判別方法是按照Bayes統(tǒng)計(jì)思想的應(yīng)用，根據(jù)最小風(fēng)險(xiǎn)代價(jià)判決或最大似然比進(jìn)行判決。Bayes決策法主要有以下兩類。〔1〕基于最小錯(cuò)誤率的Bayes決策依照樣本庫中樣本的密度函數(shù)，借助Bayes算出待識(shí)變量在各狀態(tài)的概率。在哪個(gè)狀態(tài)下最大就把它劃為哪一類。、、…、〔能看作是其指數(shù)、、…、所有取數(shù)〕，借助經(jīng)驗(yàn)或估計(jì)可得：的先驗(yàn)概率分別為、、…、。顯然有：〔=1，2，…，〕且〔2-1〕各總體對(duì)應(yīng)的維、、…、，在得到一個(gè)樣本的情形后，借助Bayes公式計(jì)算該樣本來自第個(gè)總體的后驗(yàn)概率：〔2-2〕當(dāng)存在：時(shí)，那么：判來自第個(gè)總體?！?〕基于最小風(fēng)險(xiǎn)的Bayes決策依照樣本庫中樣本的及損失函數(shù)，借助Bayes得到概率，再根據(jù)后驗(yàn)概率和損失函數(shù)計(jì)算出各種識(shí)別結(jié)果的損失，其中錯(cuò)判損失最小的即為最后的識(shí)別結(jié)果。把錯(cuò)判成第個(gè)總體的平均損失定義為：〔2-3〕：損失函數(shù)，表示將樣品錯(cuò)判的損失。當(dāng)時(shí)，有：=0；當(dāng)時(shí)，有：>0。當(dāng)存在：，那么：判來自第個(gè)總體。實(shí)際上，錯(cuò)判造成的損失認(rèn)為是等同的，即：〔2-4〕識(shí)別流程圖如下列圖2-5。圖2-5Bayes判別法的流程圖2.3.3神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)〔ANN〕簡稱〔NN〕，該系統(tǒng)是按照彼此之間某些相連的關(guān)系互相銜接組成。作為效果明顯的智能方法，被以受重用者的身份普遍地應(yīng)用于識(shí)別等領(lǐng)地。神經(jīng)網(wǎng)絡(luò)因訓(xùn)練時(shí)間和分類時(shí)間太長，一般不用于大字符集的直接分類。網(wǎng)絡(luò)的識(shí)別能力并不會(huì)受到層數(shù)目太大的作用，但在一定程度上增加層數(shù)，能夠使得，能更加迅速地把連接值約束并收攏到滿足要求為止[5]。常見網(wǎng)絡(luò)結(jié)構(gòu)有以下三類。1、前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)元單向傳輸，且無回饋存在。常見的BP神經(jīng)網(wǎng)絡(luò)即屬于該類型。結(jié)構(gòu)如下列圖2-6所示。圖2-6前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2、反應(yīng)神經(jīng)網(wǎng)絡(luò)非單向傳輸，有回饋傳到輸入，運(yùn)行一定時(shí)長后才能趨于穩(wěn)定。典型的反應(yīng)型神經(jīng)網(wǎng)絡(luò)有：Hopfield網(wǎng)絡(luò)、Elman網(wǎng)絡(luò)、波耳茲曼機(jī)。該網(wǎng)絡(luò)結(jié)構(gòu)圖如下列圖2-7所示。圖2-7反應(yīng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3、自組織神經(jīng)網(wǎng)絡(luò)一種“無師自通〞的網(wǎng)絡(luò)模型，自動(dòng)尋求樣本中的本質(zhì)屬性和內(nèi)在的規(guī)律，對(duì)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)進(jìn)行改動(dòng)。Kohonen映射網(wǎng)絡(luò)就是屬于該類神經(jīng)網(wǎng)絡(luò)。自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2-8所示。圖2-8自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.3.4支持向量機(jī)該算法是由Vapnik等人在基于原那么，對(duì)線性分類器提出的最正確設(shè)計(jì)準(zhǔn)那么。最開始的應(yīng)用即是在手寫字符的識(shí)別上。美國郵政效勞局利用郵政標(biāo)準(zhǔn)的手寫數(shù)字庫做了測試比照，發(fā)現(xiàn)SVM方法比其他復(fù)雜的神經(jīng)網(wǎng)絡(luò)算法效果好，從而推廣了SVM在模式識(shí)別和函數(shù)擬合等領(lǐng)域的運(yùn)用。具體將在第3章作詳細(xì)介紹。2.4本章小結(jié)本章簡要介紹了預(yù)處理、特征提取技術(shù)以及決策樹、Bayes判別法、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等分類器的原理，為選擇SVM和BP神經(jīng)網(wǎng)絡(luò)作為設(shè)計(jì)的平臺(tái)建立了根底。第3章支持向量機(jī)3.1SVM概述1963年,首次提出了支持向量〔SV〕方法；幾年后重建，并初步實(shí)現(xiàn)了推廣SVM走向非線性分化；1990年前后，美國貝爾實(shí)驗(yàn)室研究者，在有限習(xí)問題上建立了支持向量機(jī)[6]。3.1.1VC維描述集合的大小或豐富度的定量指標(biāo)。假設(shè)中函數(shù)對(duì)個(gè)區(qū)分類別，假設(shè)想將之分兩類，可以有，說明能將數(shù)量為的。VC維置信區(qū)間就是可以被。3.1.2結(jié)構(gòu)風(fēng)險(xiǎn)最小原理對(duì)于分類問題，訓(xùn)練樣本集由個(gè)樣本〔，〕〔，；=1，2，…，〕構(gòu)成，借助，得到分類方程：，令其損失函數(shù)為：〔3-1〕其中：結(jié)構(gòu)風(fēng)險(xiǎn)最小在于：〔3-4〕圖3-1結(jié)構(gòu)風(fēng)險(xiǎn)最小化原那么如圖3-1，：。3.2SVM的原理作為一種分類器，當(dāng)給定一些標(biāo)記好的訓(xùn)練樣本，支持向量機(jī)能將不同類樣本在樣本空間進(jìn)行分割，輸出一個(gè)最優(yōu)化的超平面。假設(shè)給定局部分屬兩類的二維點(diǎn)，這些點(diǎn)可以通過直線進(jìn)行分割。圖3-2二維點(diǎn)進(jìn)行直線分割圖3-2中可以發(fā)現(xiàn)，有多種可能的直線將樣本分開，我們的目標(biāo)是找到一條直線與所有點(diǎn)的距離最遠(yuǎn)。而SVM本質(zhì)是找出一個(gè)，滿足其同全部訓(xùn)練集數(shù)據(jù)的最小距離最大化。上述的分屬兩類的二維點(diǎn)，其最優(yōu)分割直線如圖3-3。圖3-3二維點(diǎn)最優(yōu)超平面支持向量機(jī)是由訓(xùn)練集中抽取的小子集組成的，關(guān)鍵在于輸入和輸入空間的向量之間的內(nèi)積核。支持向量機(jī)體系結(jié)構(gòu)如下3-4所示。圖3-4支持向量機(jī)的結(jié)構(gòu)圖其中，為核函數(shù)，大致分為如下幾類：：；〔3-5〕：，；〔3-6〕：，；〔3-7〕兩層感知器核函數(shù)：?！?-8〕3.2.1二分類支持向量機(jī)C-SVM具體形式如下：〔1〕設(shè)訓(xùn)練集：其中，，；為特征向量?！?〕選取恰當(dāng)?shù)暮撕瘮?shù)與參數(shù)，構(gòu)建及求解最優(yōu)解：〕，1，…，〔3-9〕得到最優(yōu)解：。〔3〕選取的一個(gè)正分量，并據(jù)此計(jì)算閾值：〔3-10〕〔4〕構(gòu)造決策樹函數(shù)：〔3-11〕3.3SVM的優(yōu)缺點(diǎn)SVM大致優(yōu)點(diǎn)如下：1、通用性：可以用在各類函數(shù)中用來構(gòu)建新函數(shù)；2、魯棒性：不需要微調(diào)；3、可操作性：使用上并不需借助復(fù)雜方法作支撐4、理論上完善：基于VC推廣性理論框架。然而，其缺點(diǎn)也是很明顯，主要表現(xiàn)在：1、算法缺乏普遍性：不適宜用于大數(shù)據(jù)量的使用，費(fèi)時(shí)長2、假設(shè)使用于分類問題上缺乏有效的對(duì)存儲(chǔ)空間的規(guī)劃3.4標(biāo)準(zhǔn)支持向量機(jī)3.4.1線性分劃支持向量機(jī)是基于線性可分情況的前提下，發(fā)現(xiàn)某個(gè)可行并且最符合特征的超平面，不僅能夠到達(dá)分類的需求，到達(dá)最精準(zhǔn)，且其左右兩邊的空白范圍最大化。下列圖3-5所示，一個(gè)二維平面〔一個(gè)超平面在二維空間中可以理解成一條直線〕，平面上有兩種不同的數(shù)據(jù)點(diǎn)，一種為“〞，另一種為“〞，中間線代表某滿足要求的，把這兩種數(shù)據(jù)點(diǎn)隔開。圖3-5線性可分SVM假設(shè)分類函數(shù)為，顯然，當(dāng)時(shí)，是位于超平面上的點(diǎn)。如圖3-6，在左右兩邊，存在著同其平行的兩個(gè)。對(duì)于所有滿足的點(diǎn)，對(duì)應(yīng)的值為-1；那么對(duì)應(yīng)的數(shù)據(jù)點(diǎn)，即：〔3-12〕圖3-6線性分類最優(yōu)示意圖每一個(gè)標(biāo)準(zhǔn)越大，那么由所定義的線性分類器一般性錯(cuò)誤就越小。要獲得分類間隔最大，可將求解最正確超平面問題轉(zhuǎn)變?yōu)槎我?guī)劃問題，如下，=1，2，…，〔3-13〕：〔3-14〕：〔3-15〕受：、約束，且問題求解受庫恩-塔克〔KKT〕附加條件控制：〔3-16〕可知：；；。得到最優(yōu)分類函數(shù)：〔3-17〕3.4.2非線性分劃實(shí)際問題中，分類樣本通常都是非線性可分的，為方便處理讓盡可能多訓(xùn)練點(diǎn)能被正確分類，在規(guī)劃中引進(jìn)松弛變量，獲得規(guī)劃問題：，=1，2，…，〔3-18〕：〔3-19〕對(duì)偶形式：〔3-20〕受：、的約束，且問題求解受庫恩-塔克〔KKT〕附加條件控制：，〔3-21〕而：的樣本點(diǎn)對(duì)應(yīng)的向量為支持向量可知：〔1〕當(dāng)時(shí)，樣本點(diǎn)有：點(diǎn)位于到分類面距離為的某標(biāo)準(zhǔn)超平面。〔2〕當(dāng)時(shí)，存在：點(diǎn)到分類平面距離小于=1\*GB3①，點(diǎn)被錯(cuò)分；=2\*GB3②，點(diǎn)分類正確。圖3-7中，a，b分別表示線性及非線性可分?jǐn)?shù)據(jù)滿足的最正確超平面。為“〞、“〞，支持向量為“〞。在圖a中，虛線〔即為分類線〕均是非支持向量；圖b中，有一個(gè)支持向量〔類別為“〞〕被錯(cuò)誤分類()。圖3-7a:線性可分?jǐn)?shù)據(jù)；b:非線性可分?jǐn)?shù)據(jù)3.5核函數(shù)實(shí)際應(yīng)用中，分類數(shù)據(jù)一般是非線性可分的，通過構(gòu)造非線性映射，找到一個(gè)非線性的分類面分劃數(shù)據(jù)空間。核方法通過使用不是線性的特性投影，把低度空間的線性非可以進(jìn)行再分類的信息射影進(jìn)高度空間，使得處理更簡單化，把不可分的轉(zhuǎn)化為可分的，也避開了高維空間產(chǎn)生的維數(shù)難題。核函數(shù)表現(xiàn)了兩類不同樣本彼此之間相近程度。針對(duì)一個(gè)特定的問題，只要確定訓(xùn)練樣本集的相似矩陣是有效的半正定矩陣，就可以使用SVM算法來訓(xùn)練。SVM獲得的只與內(nèi)積〔別稱：點(diǎn)積〕有關(guān)，利用某個(gè)核函數(shù)又能夠表示內(nèi)積使用SVM方法得到的學(xué)習(xí)機(jī)器只涉及特征空間中的內(nèi)積。由于在一定的程度上能夠借助使用某個(gè)核函數(shù)取代點(diǎn)積，所以也能夠借助它去代替。下列圖3-8是針對(duì)二類分布的樣本。圖a中，要將兩類樣本別離需要用一個(gè)橢圓形的非線性分類器，而圖b，借助兩階多項(xiàng)式把信息射影進(jìn)三度空間中，只需要一個(gè)線性的分類面就能把區(qū)分開兩種不同的樣本。圖3-8二維樣本分類SVM中每一個(gè)核函數(shù)各自都有與其相對(duì)應(yīng)的一種互不一致的不是線性的射影。常用的核函數(shù)主要有：1〕線性核函數(shù)：；〔3-22〕2〕多項(xiàng)式核函數(shù)：，；〔3-23〕3〕徑向基〔高斯〕核函數(shù)：，；〔3-24〕4〕兩層感知器核函數(shù)：。〔3-25〕對(duì)于同一個(gè)的數(shù)據(jù)集，使用不同的核函數(shù)以及同一核函數(shù)的不同參數(shù)，其效果都不盡相同，因此如何根據(jù)數(shù)據(jù)的特性采用哪個(gè)核函數(shù)以及如何確定核函數(shù)的參數(shù)成了機(jī)器學(xué)習(xí)中的研究熱點(diǎn)。3.6SVM參數(shù)優(yōu)化利用SVM作區(qū)分類別試驗(yàn)時(shí)，必須將有關(guān)參數(shù)作調(diào)改處理方可獲得相對(duì)滿意的預(yù)期類別準(zhǔn)確率，其中最最重要的兩個(gè)是懲罰因子和核參。本設(shè)計(jì)是使用核函數(shù)和算法并且借助向量機(jī)來求得全局最正確解。3.6.1徑向基核函數(shù)。當(dāng)遠(yuǎn)離時(shí)函數(shù)取值很小。常見的有高斯函數(shù)，表示為：〔3-26〕式中，為高斯函數(shù)中心，為高斯函數(shù)方差。3.6.2遺傳算法遺傳算法(GeneticAlgorithm，GA)又稱基因進(jìn)化算法，是美國人創(chuàng)作創(chuàng)造的某類解決的指令，是以生物遺傳同進(jìn)化為根底的，能夠滿足非簡單系統(tǒng)更優(yōu)秀的自動(dòng)調(diào)節(jié)處理的優(yōu)化技術(shù)[7]，該算法開始出現(xiàn)于20世紀(jì)中后期，再經(jīng)過20年的磨練，在1990年前后到達(dá)了興盛的巔峰階段。圖3-9為遺傳算法循環(huán)流程圖：圖3-9遺傳算法流程圖尋找最正確因子。流程如圖3-10：圖3-10利用GA優(yōu)化SVM參數(shù)〔c&g〕的算法流程圖3.7本章小結(jié)本章介紹了SVM的相關(guān)理論，概述了SVM的開展、原理技術(shù)和優(yōu)點(diǎn)等，并著重分析了標(biāo)準(zhǔn)向量機(jī)在線性劃分和非線性劃分下的應(yīng)用，以及核函數(shù)和GA對(duì)SVM參數(shù)的尋優(yōu)。第4章BP神經(jīng)網(wǎng)絡(luò)4.1BP神經(jīng)網(wǎng)絡(luò)概述BP神經(jīng)網(wǎng)絡(luò)〔BPNN〕屬于多層前饋網(wǎng)絡(luò)，各層只同相鄰層彼此聯(lián)接，同層彼此不相聯(lián)，且層與層沒有回饋相連現(xiàn)象存在。當(dāng)輸出層同期望輸出出現(xiàn)誤差時(shí)，進(jìn)入誤差反向傳播，依照預(yù)測的出入不斷地改正不同層的連接值，使得其減小到可以被滿意肯定為止。4-1。圖4-14.2BP神經(jīng)網(wǎng)絡(luò)原理及性能4.2.1BP神經(jīng)網(wǎng)絡(luò)算法流程。如圖4-2：圖4-2BP神經(jīng)網(wǎng)絡(luò)算法流程圖4.2.2數(shù)據(jù)歸一化數(shù)據(jù)歸一化，它用于在網(wǎng)絡(luò)預(yù)測前，對(duì)數(shù)據(jù)信息進(jìn)行處理，將搜集到的數(shù)據(jù)信息，進(jìn)一步全部的變換成介于0到1范圍內(nèi)，回避由于輸入輸出的數(shù)量級(jí)不同而導(dǎo)致產(chǎn)生過失比擬大。把數(shù)據(jù)歸一化常用以下兩種方式：〔1〕?！?-1〕其中，數(shù)據(jù)序列最大數(shù)，數(shù)據(jù)序列最小數(shù)?！?〕平均數(shù)方差法?！?-2〕其中，數(shù)據(jù)的平均值，數(shù)據(jù)的方差。4.2.3BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，步驟流程為：圖4-3BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程圖〔1〕隱含層輸出：〔4-3〕〔2〕輸出層預(yù)測輸出：〔4-4〕〔3〕預(yù)測誤差計(jì)算：〔4-5〕〔4〕權(quán)值更新：；；〔4-6〕〔5〕閾值更新：〔4-7〕其中：4.2.4BP神經(jīng)網(wǎng)絡(luò)參數(shù)1.隱含層節(jié)點(diǎn)數(shù)隱含層節(jié)點(diǎn)數(shù)在一定程度上對(duì)預(yù)測準(zhǔn)確的比率起不少作用，有：=1\*GB3①節(jié)點(diǎn)數(shù)太少：限制了網(wǎng)絡(luò)的學(xué)習(xí)，影響訓(xùn)練的準(zhǔn)確率；=2\*GB3②節(jié)點(diǎn)數(shù)太多：會(huì)加大訓(xùn)練的時(shí)長，容易過擬合了網(wǎng)絡(luò)?？山柚韵隆?-8〕的式子進(jìn)行確定：〔4-8〕其中，、、分別是、、的節(jié)點(diǎn)數(shù)量；是介于0到10范圍內(nèi)的常數(shù)[8]。一般是先根據(jù)公式〔4-8〕估計(jì)的大概范圍，再用試湊來找到最正確值。普遍來說，適當(dāng)增多節(jié)點(diǎn)數(shù)，分類的誤差值一般是先減小而后增大。2.隱含層隱含層分兩種，第一種是單層，另一種是多層。它們的區(qū)分，在于層數(shù)的不同，當(dāng)然，它們之間也有聯(lián)系。多個(gè)單隱含層一起構(gòu)成了多隱含層，因此后者具有更高的測試準(zhǔn)確度，更強(qiáng)的泛化性能和更長的時(shí)訓(xùn)。根據(jù)網(wǎng)絡(luò)訓(xùn)練時(shí)長和精準(zhǔn)度決定隱含層層數(shù)的多少，在精度要求實(shí)現(xiàn)下，單一的映射選取單層可以加快效率；為了提高網(wǎng)絡(luò)測試的精準(zhǔn)度，復(fù)雜的那么需要選取多層的。3.學(xué)習(xí)速率學(xué)習(xí)率的大小在范圍之內(nèi)，要得到越大程度的權(quán)值修改和越快的網(wǎng)絡(luò)學(xué)習(xí)速率，就需要選取越大的。過大會(huì)導(dǎo)致震蕩現(xiàn)象在權(quán)值的學(xué)習(xí)過程中出現(xiàn)，過小將造成網(wǎng)絡(luò)過慢收斂，難以得到不變動(dòng)的權(quán)值。變學(xué)習(xí)速率方法是指伴隨著學(xué)習(xí)不停地進(jìn)行，在進(jìn)化一開始擁有較大的學(xué)習(xí)率和收斂快速的網(wǎng)絡(luò)，將會(huì)持續(xù)地減小并最終趨向穩(wěn)定。變學(xué)習(xí)速率計(jì)算公式如下：〔4-9〕式中，為最大學(xué)習(xí)速率；為最小學(xué)習(xí)速率；為最大迭代數(shù)；為當(dāng)前迭代數(shù)。4.附加動(dòng)量利用梯度修正法進(jìn)行權(quán)值和閾值的學(xué)習(xí)，過程很緩慢，因?yàn)椴⑽纯紤]經(jīng)驗(yàn)的積累，而是從預(yù)測誤差的負(fù)梯度角度進(jìn)行修正。利用附加動(dòng)量的途徑可以使得該問題有所改善。附加動(dòng)量的權(quán)值學(xué)習(xí)公式：〔4-10〕式中，、、分別為、、時(shí)刻的權(quán)值；為動(dòng)量學(xué)習(xí)率。4.2.5BP神經(jīng)網(wǎng)絡(luò)函數(shù):；:；:；:。有:、、、、等；:。有:、、、、等；:[8]。:；:；:；:；:；:；:[8]。：；：[8]。4.節(jié)點(diǎn)傳遞〔轉(zhuǎn)移〕函數(shù)1〕函數(shù)：。2〕函數(shù)：。3〕函數(shù)：。由于BPNN中預(yù)測精準(zhǔn)度受到隱含層同輸出層節(jié)點(diǎn)傳遞函數(shù)影響，一般來說，多用于前者，而多用于后者。4.3本章小結(jié)本章概述了BPNN的相關(guān)理論，介紹了該網(wǎng)絡(luò)特點(diǎn)，著重介紹了其原理技術(shù)、以及其如何構(gòu)建、訓(xùn)練和實(shí)現(xiàn)預(yù)測的能力，并說明了相關(guān)函數(shù)。第5章手寫數(shù)字識(shí)別的設(shè)計(jì)和實(shí)現(xiàn)5.1基于SVM的手寫數(shù)字識(shí)別本次設(shè)計(jì)采用的開發(fā)平臺(tái)是MATLAB，SVM工具為LIBSVM工具箱。MATLAB自帶的SVM實(shí)現(xiàn)函數(shù)與LIBSVM的差異：=1\*GB3①M(fèi)ATLAB中的SVM實(shí)現(xiàn)函數(shù)僅有的模型是；而LIBSVM工具箱有、、和等多種模型可供使用。=2\*GB3②MATLAB中的SVM實(shí)現(xiàn)函數(shù)只能解決分類問題；而LIBSVM工具箱不僅支持分類問題，也支持回歸問題。=3\*GB3③MATLAB中帶有的SVM實(shí)現(xiàn)函數(shù)只能解決二分類，而對(duì)于多分類問題是無法應(yīng)對(duì)的；而LIBSVM采用一對(duì)一法支持多分類。=4\*GB3④MATLAB中帶有的SVM實(shí)現(xiàn)函數(shù)假設(shè)是使用核函數(shù)時(shí)是不能對(duì)作調(diào)整處理；而LIBSVM工具箱可以。=5\*GB3⑤LIBSVM工具箱采用序列最小最優(yōu)算法處理最優(yōu)問題；而MATLAB中的SVM處理最優(yōu)問題有：經(jīng)典二次規(guī)劃、序列最小最優(yōu)和最小二乘法等等。5.1.1設(shè)計(jì)目標(biāo)SVM可用于模式類別區(qū)分及非線性回歸，并且在其他領(lǐng)域中也表達(dá)了其優(yōu)異的。關(guān)于SVM的研究和拓展，包括算法本身的改良和實(shí)際應(yīng)用，都持續(xù)被提出來。因此，借助SVM這種方式作識(shí)別的識(shí)別處理已成為大致的趨向。對(duì)于SVM在手寫數(shù)字識(shí)別中的應(yīng)用，目前已經(jīng)從不同的方面提出了許多改良算法，但仍然存在以下問題：〔1〕訓(xùn)練大規(guī)模數(shù)據(jù)集的問題。目前尚未找到同大范圍樣本有作用的SVM。〔2〕核函數(shù)與核參數(shù)的選擇問題。支持向量機(jī)方法目前存在最大的困難就是核的攫取，怎樣按照現(xiàn)實(shí)樣本數(shù)據(jù)選擇和建立適宜的核函數(shù)、怎樣設(shè)置參數(shù)等尚缺少相關(guān)的知識(shí)來決定。針對(duì)這些問題，本設(shè)計(jì)做了較好的平衡，設(shè)計(jì)了一個(gè)簡單實(shí)用的識(shí)別程序，設(shè)計(jì)目標(biāo)為：找到恰當(dāng)?shù)姆诸惙椒ê陀?xùn)練數(shù)據(jù)集，將識(shí)別過程流程化，找到適合的，對(duì)SVM的有效性作檢驗(yàn)。5.1.2樣本圖片選取為提高識(shí)別的準(zhǔn)確度和識(shí)別速度，分析識(shí)別率和誤判情況，選取了兩組樣本圖片進(jìn)行實(shí)驗(yàn)。從“0〞至“9〞，每個(gè)手寫數(shù)字圖片名稱統(tǒng)一為“num*_*〞，第一個(gè)*為圖片上的數(shù)字值，第二個(gè)*為該數(shù)字的編號(hào)。如此給每張圖片制作標(biāo)簽，用來判斷識(shí)別的準(zhǔn)確率。〔1〕樣本圖片=1\*ROMANI訓(xùn)練樣本=1\*ROMANI：數(shù)字圖片從“0〞到“9〞各有5張，像素大小是，格式為“〞。測試樣本=1\*ROMANI：數(shù)字圖片從“0〞到“9〞各有3張，像素大小是，格式為“〞。圖5-1訓(xùn)練樣本=1\*ROMANI圖片圖5-2測試樣本=1\*ROMANI圖片〔2〕樣本圖片=2\*ROMANII訓(xùn)練樣本=2\*ROMANII：數(shù)字圖片從“0〞到“9〞各有10張，像素大小是，格式為“〞。測試樣本=2\*ROMANII：數(shù)字圖片從“0〞到“9〞各有3張，像素大小是，格式為“〞。圖5-3訓(xùn)練樣本=2\*ROMANII圖片圖5-4測試樣本=2\*ROMANII圖片5.1.3設(shè)計(jì)與實(shí)現(xiàn)基于SVM的識(shí)別流程分五步走：圖5-5SVM識(shí)別流程圖〔1〕圖像預(yù)處理：后批量剪裁，圖片轉(zhuǎn)化成標(biāo)準(zhǔn)像素。〔2〕圖像特征提?。菏褂媒y(tǒng)計(jì)識(shí)別進(jìn)行提取。〔3〕訓(xùn)練訓(xùn)練集：載入訓(xùn)練樣本，后生成樣本矩陣。〔4〕建立支持向量機(jī)：借助并使用來找到最符合特征的最正確參數(shù)?！?〕預(yù)測測試集：載入測試集，預(yù)處理后作處理。5.1.3.1圖像預(yù)處理由于圖片中數(shù)字的大小和位置不盡相同，為了消除這些影響，首先對(duì)每張圖片做標(biāo)準(zhǔn)化預(yù)處理：將每張圖片進(jìn)行二值化反色預(yù)處理后，批量剪裁，轉(zhuǎn)變成像素為。經(jīng)過該操作后，變成1，那么為0，即原來的數(shù)字圖片經(jīng)過上述操作后變成是黑底白字[9]。處理前后的圖片如下圖。圖5-6原始圖片〔左〕與預(yù)處理圖片〔右〕5.1.3.2圖像特征處理完成二值化后，用統(tǒng)計(jì)識(shí)別法來獲取特征。提取數(shù)字的輪廓，將圖像分成大小為的小區(qū)域，變換產(chǎn)生特征變量，獲得所有輪廓像素點(diǎn)方向信息進(jìn)行統(tǒng)計(jì),生成的屬性矩陣形式，其中的行代表字符特征向量。如圖5-7所示。圖5-7訓(xùn)練樣本矩陣5.1.3.3建立支持向量機(jī)建立,采取核函數(shù)并利用算法找尋最正確參數(shù)。本設(shè)計(jì)中程序代碼尋優(yōu)如下：〔1〕設(shè)置相關(guān)參數(shù)〔2〕進(jìn)行參數(shù)尋優(yōu)5.1.3.4訓(xùn)練訓(xùn)練集載入訓(xùn)練圖片進(jìn)行訓(xùn)練，獲取最正確參數(shù)和適度曲線?！?〕訓(xùn)練〔2〕訓(xùn)練集上查看識(shí)別能力〔3〕訓(xùn)練時(shí)間記錄〔4〕最正確參數(shù)獲取和適應(yīng)度曲線訓(xùn)練樣本=1\*ROMANI：圖5-8訓(xùn)練樣本=1\*ROMANI適應(yīng)度曲線Accuracy綜上：最正確參數(shù)：懲罰參數(shù)，核參數(shù)；建立的在訓(xùn)練集上的識(shí)別率是；訓(xùn)練時(shí)間為，最正確適應(yīng)度為。訓(xùn)練樣本=2\*ROMANII：圖5-9訓(xùn)練樣本=2\*ROMANII適應(yīng)度曲線Accuracy綜上：最正確參數(shù)：懲罰參數(shù)，核參數(shù)；建立的在訓(xùn)練集上的識(shí)別率是；訓(xùn)練時(shí)間為：，最正確適應(yīng)度為。5.1.3.5預(yù)測測試集對(duì)測試樣本作反色處理后，借助已建立的支持向量機(jī)識(shí)別圖片中的數(shù)字?！?〕測試樣本=1\*ROMANI：測試樣本=2\*ROMANII：〔2〕測試結(jié)果分析：=1\*GB3①樣本=1\*ROMANI：Columns1through17的第6個(gè)數(shù)字對(duì)應(yīng)標(biāo)簽值為“1〞，即該手寫數(shù)字圖片值為“1〞，被錯(cuò)識(shí)別為“7〞；Columns18through30的第11個(gè)數(shù)字對(duì)應(yīng)標(biāo)簽值為“9〞，即該手寫數(shù)字圖片值為“9〞，被錯(cuò)識(shí)別為“7〞。測試樣本的識(shí)別率為93.3333%〔28/30〕，即有兩個(gè)樣本被誤判。在每個(gè)數(shù)字只有5個(gè)訓(xùn)練樣本的情況下，這樣的識(shí)別效果是可以接受的。=2\*GB3②樣本=2\*ROMANII：Columns1through30所有數(shù)字標(biāo)簽與識(shí)別結(jié)果一致，即所有數(shù)字被正確識(shí)別，測試樣本的識(shí)別率為100%〔30/30〕?？偨Y(jié)：增多訓(xùn)練圖片數(shù)量，將會(huì)有效地提升數(shù)字的識(shí)別準(zhǔn)確度，減小出錯(cuò)。5.2BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別5.2.1設(shè)計(jì)目標(biāo)人工神經(jīng)網(wǎng)絡(luò)因其高效學(xué)習(xí)能力，在圖像識(shí)別等各類智能中作為受重用者已經(jīng)被廣泛地使用。針對(duì)其中的前饋神經(jīng)網(wǎng)絡(luò)特點(diǎn)，設(shè)計(jì)一個(gè)可行且高效的BP神經(jīng)網(wǎng)絡(luò)，將獲取的數(shù)字特征送人網(wǎng)絡(luò)進(jìn)行訓(xùn)練后能對(duì)10個(gè)數(shù)字作區(qū)分，并準(zhǔn)確輸出被測數(shù)字及誤差值。BP的過程，如下列圖5-11：圖5-10BP5.2.2樣本圖片選擇訓(xùn)練樣本為40幅格式的手寫體數(shù)字圖像，從“0〞至“9〞每個(gè)數(shù)字均有4幅圖片；測試樣本為20幅格式的手寫體數(shù)字圖像，從“0〞至“9〞每個(gè)數(shù)字各有2幅圖片，圖片大小是像素。如下列圖所示。圖5-11訓(xùn)練樣本圖片圖5-12測試樣本圖片5.2.3設(shè)計(jì)與實(shí)現(xiàn)5.2.3.1圖片預(yù)處理將每幅圖片反色處理轉(zhuǎn)化為二值圖像，截取二值圖像中數(shù)字的最大區(qū)域，轉(zhuǎn)化成標(biāo)準(zhǔn)的像素的圖像。把圖片分為八個(gè)獨(dú)立區(qū)域計(jì)算各自的圖像密度，作為特征向量，合并其他區(qū)域的圖像密度作為其他局部特征向量。5.2.3.2圖片讀取以讀入圖片的方式對(duì)輸入的每一張圖片作特征提取處理[10]。采用8421碼對(duì)數(shù)字0-9作二進(jìn)制編碼。數(shù)字“0〞可以借助目標(biāo)輸出向量來表示；假設(shè)想獲得的數(shù)字是“1〞，可以借助；同理，如果想要的數(shù)字是“9〞，那么可以借助使用目標(biāo)輸出向量表達(dá)。5.2.3.3神經(jīng)網(wǎng)絡(luò)訓(xùn)練〔1〕BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建其中：訓(xùn)練網(wǎng)絡(luò)前，用命令初始化，通過、初始化各層之間的連接權(quán)值，保證初始值不變。〔2〕網(wǎng)絡(luò)訓(xùn)練參數(shù)配置各參數(shù)分別表示為：〔3〕網(wǎng)絡(luò)訓(xùn)練與仿真〔4〕預(yù)測輸出及誤差〔5〕預(yù)測結(jié)果及輸出=1\*GB3①網(wǎng)絡(luò)運(yùn)行：如下列圖5-13所示。圖5-13網(wǎng)絡(luò)訓(xùn)練運(yùn)行結(jié)果=2\*GB3②輸出結(jié)果：如下列圖5-14所示。均方誤差：訓(xùn)練次數(shù)：訓(xùn)練精度：圖5-14BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練輸出結(jié)果5.2.3.4神經(jīng)網(wǎng)絡(luò)測試及識(shí)別〔1〕網(wǎng)絡(luò)測試〔2〕圖片識(shí)別讀入某一待測圖片，調(diào)用特征提取函數(shù)進(jìn)行數(shù)字識(shí)別?！?〕識(shí)別誤差〔4〕測試及識(shí)別結(jié)果=1\*GB3①網(wǎng)絡(luò)測試誤差=2\*GB3②識(shí)別結(jié)果1〕讀入的測試圖片為“〞，即對(duì)應(yīng)的數(shù)字是“0〞。2〕讀入的測試圖片為“〞，即對(duì)應(yīng)的數(shù)字是“4〞。3〕讀入的測試圖片為“〞，即對(duì)應(yīng)的數(shù)字是“6〞。5.2.4結(jié)果分析該簡單的BPNN系統(tǒng)以讀入圖片方式，實(shí)現(xiàn)從數(shù)字0到9這10個(gè)數(shù)字的識(shí)別識(shí)別功能，有較高準(zhǔn)確率。相比SVM的整體的識(shí)別，缺陷明顯，只能單一進(jìn)行測試，每次只能對(duì)一張圖片進(jìn)行測試。訓(xùn)練及識(shí)別樣本都是選擇清晰標(biāo)準(zhǔn)，比擬容易識(shí)別的手寫數(shù)字，且缺乏有效的大量訓(xùn)練數(shù)據(jù)的充分訓(xùn)練，該網(wǎng)絡(luò)預(yù)測存在著一定的誤差。5.3MNIST數(shù)據(jù)庫的擴(kuò)展數(shù)據(jù)庫中數(shù)字都放在一個(gè)歸一化固定了尺寸大小為圖片的中心，分。由中的二值化手寫數(shù)字圖片庫和組成，其中為測試，為訓(xùn)練。數(shù)據(jù)庫的訓(xùn)練集是中的3萬張圖片和中的3萬張圖片構(gòu)成的；分別由和中的5000個(gè)圖片構(gòu)成了測試集，保證了寫手不相交。該擴(kuò)展，將利用SVM算法對(duì)所選取的MNIST里面圖片作識(shí)別測試處理工作。5.3.1樣本圖片獲取MNIST數(shù)據(jù)庫的圖像數(shù)據(jù)都保存在二進(jìn)制文件中，經(jīng)過解碼轉(zhuǎn)換成普通的、圖片格式。從中分別提取了兩組數(shù)據(jù)：數(shù)據(jù)組=1\*ROMANI：訓(xùn)練樣本數(shù)為80，圖片格式為“〞，測試樣本數(shù)為80，圖片格式為“〞，訓(xùn)練和測試的數(shù)字圖片“0〞至“9〞各有8張。數(shù)據(jù)組=2\*ROMANII：訓(xùn)練樣本數(shù)為100，圖片格式為“〞，測試樣本數(shù)為100，圖片格式為“〞，訓(xùn)練和測試的數(shù)字圖片“0〞至“9〞各有10張。5.3.2樣本圖片處理對(duì)每幅圖片做成反色處理轉(zhuǎn)化為二值圖像，歸一化轉(zhuǎn)化成標(biāo)準(zhǔn)的大小像素的圖像，標(biāo)準(zhǔn)化處理后的圖像為黑底白字的圖像。用統(tǒng)計(jì)法作獲取特性的處理，并作分割操作處理成小塊，每小塊大小是。如下列圖5-15是字符“5〞的圖像預(yù)處理提取完字符輪廓，用8-方向表示的效果圖。圖5-15數(shù)字“5〞的8-方向表示5.3.3樣本訓(xùn)練及識(shí)別數(shù)據(jù)組=1\*ROMANI：訓(xùn)練情況及自適應(yīng)曲線：圖5-16訓(xùn)練樣本=2\*ROMANI適應(yīng)度曲線Accuracy最正確參數(shù)：懲罰參數(shù)，核參數(shù)；建立的在訓(xùn)練集上的識(shí)別率是；訓(xùn)練時(shí)間為：，最正確適應(yīng)度為測試識(shí)別結(jié)果：數(shù)據(jù)組=2\*ROMANII：訓(xùn)練情況及自適應(yīng)曲線：圖5-17訓(xùn)練樣本=2\*ROMANII適應(yīng)度曲線Accuracy最正確參數(shù)：懲罰參數(shù)，核參數(shù)；建立的在訓(xùn)練集上的識(shí)別率是；訓(xùn)練時(shí)間為：，最正確適應(yīng)度為。測試識(shí)別結(jié)果：5.3.4結(jié)果分析MNIST數(shù)據(jù)庫樣本量超大，運(yùn)行時(shí)間很長，本設(shè)計(jì)設(shè)計(jì)的SVM算法適用于理論方法的驗(yàn)證，只能針對(duì)少量的數(shù)據(jù)進(jìn)行運(yùn)行，因此只篩選局部的圖片進(jìn)行識(shí)別。相比數(shù)據(jù)組=1\*ROMANI，數(shù)據(jù)組=2\*ROMANII在圖片的選擇上，偏向于選擇數(shù)字筆跡較整齊和清晰的圖片，且訓(xùn)練樣本大，因此識(shí)別效率更高，到達(dá)了97%。而數(shù)據(jù)組=1\*ROMANI的識(shí)別率到達(dá)了83.75%，這樣的識(shí)別效果是可以接受的，再增加訓(xùn)練樣本的數(shù)量可以有效提高識(shí)別效率。美國貝爾實(shí)驗(yàn)室曾采取不同方法對(duì)MNIST做過檢測工作，其識(shí)別的情況為：表5-1MNIST數(shù)據(jù)庫在分類器的實(shí)驗(yàn)結(jié)果5.4實(shí)驗(yàn)結(jié)果分析表5-2實(shí)驗(yàn)樣本選擇及識(shí)別結(jié)果樣本情況識(shí)別率錯(cuò)誤數(shù)SVM樣本I訓(xùn)練：50張28/30=93.33%2測試：30張樣本II訓(xùn)練：100張30/30=100%0測試：30張MNIST樣本I訓(xùn)練：80張67/80=83.75%13測試：80張樣本II訓(xùn)練：100張97/100=97%3測試：100張根據(jù)實(shí)驗(yàn)結(jié)果可知，訓(xùn)練樣本的數(shù)量影響著識(shí)別的結(jié)果。在MNIST圖片的選擇上，由于人為的在樣本I和樣本II的選擇上做了處理，數(shù)據(jù)組=2\*ROMANII在圖片的選擇上，偏向于選擇數(shù)字筆跡較整齊和端正，且訓(xùn)練樣本大，因此識(shí)別效率更高。數(shù)據(jù)組I受數(shù)字筆跡的和樣本量的影響，出錯(cuò)量相對(duì)大些。綜上，影響手寫數(shù)字識(shí)別準(zhǔn)確度的主要因素有手寫體數(shù)字的規(guī)程程度、筆畫的粗細(xì)和訓(xùn)練樣本的數(shù)量[11]。相比擬，BP神經(jīng)網(wǎng)絡(luò)需要進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)和訓(xùn)練，且只能單一進(jìn)行測試，比SVM的整體的識(shí)別，操作難且缺陷明顯，支持向量機(jī)法更加簡單、可操作性強(qiáng)、穩(wěn)定性好。下的手寫數(shù)字，即使只有小局部的樣本數(shù)據(jù)也能擁有較好的識(shí)別效果。5.5系統(tǒng)調(diào)試及問題解決本系統(tǒng)是基于SVM和BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別的具體設(shè)計(jì)及實(shí)現(xiàn)，調(diào)試過程中主要出現(xiàn)的狀況問題和處理方法：1、建立SVM在運(yùn)行過程中出錯(cuò)。處理方法：檢查發(fā)現(xiàn)是忽略了對(duì)libsvm工具箱函數(shù)的有效調(diào)用，重新在正確路徑下仍運(yùn)行出錯(cuò)；將程序從命令窗口挪移至新建的M文件后能如期運(yùn)行。2、SVM樣本圖片訓(xùn)練時(shí)間過長。處