人工智能基礎(chǔ)與應(yīng)用-人工智能分門別類幫你分而治之-人工智能案例手寫數(shù)字識(shí)別

案例一

手寫數(shù)字識(shí)別授課:目錄零一提出問(wèn)題零二解決方案零三預(yù)備知識(shí)目錄零四任務(wù)一——數(shù)字圖片信息轉(zhuǎn)存為txt文件零五任務(wù)三——構(gòu)建KNN模型任務(wù)五——評(píng)估模型效果零六零七零八零九任務(wù)四——訓(xùn)練KNN模型任務(wù)二——批量生成樣本數(shù)據(jù)拓展任務(wù)PART零一提出問(wèn)題數(shù)字是們生活常用,常見地符合,銀行賬單,汽車牌照,商品價(jià)格標(biāo)簽等都有數(shù)字地身影。對(duì)于類來(lái)說(shuō),可以很容易識(shí)別圖片上地?cái)?shù)字,這是類視覺千萬(wàn)年演變化地結(jié)果。但對(duì)于計(jì)算機(jī)而言,想讓它識(shí)別一張圖片上地?cái)?shù)字就不那么容易了。如何能讓計(jì)算機(jī)識(shí)別出如下圖所示地各個(gè)數(shù)字呢？含有數(shù)字地圖片本節(jié)將利用KNN分類器來(lái)幫助計(jì)算機(jī)識(shí)別數(shù)字,將各圖片地?cái)?shù)字分類到零-九地一零個(gè)類別。提出問(wèn)題PART零二解決方案如前所述,KNN是一種非常簡(jiǎn)單地分類器,其核心思想是:如果一個(gè)樣本在特征空間地K個(gè)最近鄰地多數(shù)屬于某個(gè)類別,則該樣本也屬于這個(gè)類別。通常采用歐式距離來(lái)計(jì)算兩樣本之間地距離大小,并據(jù)此找到某樣本地K個(gè)最近鄰。識(shí)別圖片上數(shù)字地解決方案如下圖所示。解決方案PART零三預(yù)備知識(shí)識(shí)別圖片上地?cái)?shù)字,要涉及到對(duì)圖片地處理,讓數(shù)字與背景分離開來(lái),其次還要了解如何利用現(xiàn)成地開發(fā)包來(lái)使用KNN分離器。下面就學(xué)有關(guān)知識(shí)與操作。一.圖像灰度化圖像地灰度化簡(jiǎn)單來(lái)講就是讓圖片像素點(diǎn)矩陣地每一個(gè)像素點(diǎn)都滿足下面地關(guān)系:R=G=B（這三個(gè)值相等）,此時(shí)地這個(gè)值叫做灰度值。這樣每個(gè)像素點(diǎn)地顏色就不需要用三個(gè)值來(lái)表示,只需用一個(gè)灰度值表示就可以了,不僅大大減少計(jì)算量,而且還能保留有關(guān)信息。PIL(PythonImageLibrary)庫(kù)提供了圖像切片,旋轉(zhuǎn),差值,濾波與寫文字等許多功能。PIL庫(kù)在Python三.x版本已是標(biāo)準(zhǔn)庫(kù)。也可以通過(guò)以下命令安裝:pip三installpillow預(yù)備知識(shí)引例四-一用Image模塊完成圖片灰度化。一）引例描述將彩色圖片girl.png縮小并灰度化后顯示,并保存成girl_gray.png,如下圖所示。原圖片與轉(zhuǎn)化后地圖片二）引例分析 導(dǎo)入Image庫(kù)后,讀取圖片創(chuàng)建一個(gè)圖像對(duì)象,然后改變圖像地大小與灰度,最后將轉(zhuǎn)換后地圖像顯示并保存。三）引例實(shí)現(xiàn)實(shí)現(xiàn)地源代碼（case四-一.ipynb）如下。一fromPILimportImage二img=Image.open(r'..\data\girl.png')三img=img.resize((八零,八零),Image.ANTIALIAS)四img=img.convert('L')五img.show()六img.save(r'..\data\girl_gray.png')四）源代碼分析 行二是打開目地圖片,并返回一個(gè)Image對(duì)象img。行三是采用ANTIALIAS過(guò)濾器高質(zhì)量縮小圖片尺寸為八零×八零像素,其過(guò)濾器主要有以下四種常用方式:Image.NEAREST:低質(zhì)量Image.BILINEAR:雙線Image.BICUBIC:三次樣條插值Image.ANTIALIAS:高質(zhì)量 行四是將縮放后地圖片灰度化,將原來(lái)一個(gè)像素點(diǎn)地RGB三個(gè)值轉(zhuǎn)換成用一個(gè)灰度值表示。預(yù)備知識(shí)二.歐式距離KNN算法要計(jì)算兩個(gè)樣本之間地距離,以此來(lái)判定某個(gè)樣本周圍哪些鄰居離它是最近地或者是最相似地。歐式距離是最常用地一種計(jì)算公式。點(diǎn)X與點(diǎn)Y之間地歐式距離等于各特征值之差地方與地方根。預(yù)備知識(shí)三.KNN算法地主要參數(shù)運(yùn)用KNN分類時(shí),合理調(diào)整算法參數(shù),可能會(huì)有效提升分類精度。該算法地主要參數(shù)見下表所示。KNN算法主要參數(shù)參數(shù)意義備注k周圍地鄰居數(shù)。顯然k值過(guò)大過(guò)小都不好,可以嘗試多次。如果訓(xùn)練集較小,可選擇訓(xùn)練集樣本數(shù)量地方根,一般為奇數(shù)。weights近鄰地權(quán)重。一般來(lái)說(shuō)距離預(yù)測(cè)目地更近地近鄰具有更高地權(quán)重,因?yàn)檩^近地近鄰比較遠(yuǎn)地近鄰更有投票權(quán)。一般選擇權(quán)重與距離成反比例。p距離度量方法有曼哈頓距離,歐式距離等。常用歐式距離。預(yù)備知識(shí)四.分類能度量指標(biāo)在了解度量分類能指標(biāo)之前,先了解以下幾個(gè)基礎(chǔ)概念:l真正(TruePositive,TP):被模型預(yù)測(cè)為正地正樣本。l假正(FalsePositive,FP):被模型預(yù)測(cè)為正地負(fù)樣本。l假負(fù)(FalseNegative,FN):被模型預(yù)測(cè)為負(fù)地正樣本。l真負(fù)(TrueNegative,TN):被模型預(yù)測(cè)為負(fù)地負(fù)樣本。表四-二四個(gè)概念地真假分布TrueFalsePositiveTPFPNegativeTNFN由表可以看出,True列是正確分類地結(jié)果,False列是錯(cuò)誤分類地結(jié)果,因此,常用右側(cè)幾個(gè)指標(biāo)來(lái)衡量分類能。一）準(zhǔn)確率Accuracy Accuracy=二）正確率Precision Precision=三）召回率Recall Recall=四）F一值即指在所有樣本被正確預(yù)測(cè)地樣本地比例。是指被預(yù)測(cè)為正樣本里面真正正樣本所占地比例。是指被正確預(yù)測(cè)地正樣本占所有正樣本地比例,即在所有正樣本有多少被正確找出來(lái)。F一是正確率與召回率地調(diào)與值,由上式不能看出,當(dāng)正確率與召回率兩者只要有一個(gè)較小時(shí),F一就會(huì)小,只有當(dāng)兩者均較大時(shí),F一值才能最大。F一值越大,表明準(zhǔn)確率與召回率同時(shí)都非常高,無(wú)論對(duì)于正樣本還是負(fù)樣本,模型均有很好地表現(xiàn)。預(yù)備知識(shí)PART零四任務(wù)一——數(shù)字圖片信息轉(zhuǎn)存為txt文件意義數(shù)字地圖片不能直接用KNN分類器來(lái)識(shí)別數(shù)字,可選地方法是將圖片上地信息提取出來(lái)保存為文本格式,用一表示數(shù)字含有地像素點(diǎn),零表示數(shù)字之外地像素點(diǎn)。一個(gè)數(shù)字用三二×三二個(gè)像素矩陣表示。新建文件四_task一.ipynb,根據(jù)任務(wù)目地,按照以下步驟與操作,完成任務(wù)一。任務(wù)目地:將圖像上地?cái)?shù)字特征提取出來(lái)保存到txt文件。完成步驟:一.導(dǎo)入有關(guān)地庫(kù)二.定義轉(zhuǎn)換函數(shù)imgtotext三.調(diào)用函數(shù)生成txt文件任務(wù)一——數(shù)字圖片信息轉(zhuǎn)存為txt文件一.導(dǎo)入有關(guān)地庫(kù)二.定義轉(zhuǎn)換函數(shù)imgtotext因?yàn)橐婕暗轿募僮髋c圖像處理,所以要在源程序文件導(dǎo)入os庫(kù)與Image模塊。代碼如下:importosfromPILimportImage本函數(shù)首先將含有數(shù)字地圖片行縮放與灰度化處理,然后對(duì)圖片逐行掃描,按每個(gè)像素點(diǎn)地灰度值pixel大小將其轉(zhuǎn)換成零或者一,轉(zhuǎn)換規(guī)則是:pixel>=一二八→零 （表示白色）pixel<一二八→一 （表示黑色）最后將轉(zhuǎn)換后地字符串寫入txt文件,完成函數(shù)地轉(zhuǎn)換操作。任務(wù)一——數(shù)字圖片信息轉(zhuǎn)存為txt文件函數(shù)源代碼如下:一 defimgtotext(imgfile,txtfile,size=(三二,三二)):二 image_file=Image.open(imgfile)三 image_file=image_file.resize(size,Image.LANCZOS)四 image_file=image_file.convert('L')五 width,height=image_file.size六 f=open(txtfile,'w')七 ascii_char='一零'八 foriinrange(height):九 pix_char='';一零 forjinrange(width):一一 pixel=image_file.getpixel((j,i))一二 pix_char+=ascii_char[int(pixel/一二八)]一三 pix_char+='\n'一五 f.write(pix_char)一五 f.close()上述代碼,行六是利用文件對(duì)象f向txtfile文件寫數(shù)據(jù),行一一是讀取點(diǎn)(j,i)處地像素灰度值,行一五是將轉(zhuǎn)換后地字符串?dāng)?shù)據(jù)寫入tex文件。任務(wù)一——數(shù)字圖片信息轉(zhuǎn)存為txt文件三.調(diào)用函數(shù)生成txt文件通過(guò)如下形式調(diào)用函數(shù)imgtotext,將寫有數(shù)字"三"地圖片信息保存為文本信息。imgtotext(r'data\三.jpg',r'data\三_零.txt')運(yùn)行后生成地文件"三_零.txt"地內(nèi)容如右圖所示。圖片數(shù)字三轉(zhuǎn)化后地文本內(nèi)容從左可以看出,圖片形式地?cái)?shù)字盡管轉(zhuǎn)換成了文本格式,但其基本特征仍然較好地保存下來(lái),為后續(xù)地KNN模型訓(xùn)練與識(shí)別數(shù)字奠定了基礎(chǔ)。采用上述函數(shù),對(duì)不同式樣地含有零-九地?cái)?shù)字圖片行盡可能多地轉(zhuǎn)換,以生成訓(xùn)練樣本與測(cè)試樣本,當(dāng)樣本數(shù)量足夠大時(shí),以便模型能針對(duì)不同式樣地圖片數(shù)字行訓(xùn)練,也就是讓模型在訓(xùn)練期間能"認(rèn)識(shí)"不同類型群書寫地樣式多變地圖片數(shù)字,為提高識(shí)別率做好功課。任務(wù)一——數(shù)字圖片信息轉(zhuǎn)存為txt文件PART零五任務(wù)二——批量生成樣本數(shù)據(jù)由于所有地樣本數(shù)據(jù)都是以文本字符地形式保存在txt文件,例如文件零_零.txt保存地是數(shù)字零地第一個(gè)圖片數(shù)據(jù)。而模型只能接受數(shù)字類型地?cái)?shù)據(jù),所以要按下述任務(wù)目地與任務(wù)分析,編寫代碼完成任務(wù)二。任務(wù)目地:將文件夾下所有地文件數(shù)據(jù)轉(zhuǎn)換成模型所需地樣本數(shù)據(jù)。完成步驟:一.定義一個(gè)樣本地?cái)?shù)據(jù)轉(zhuǎn)換函數(shù)二.生成所有樣本地特征值與標(biāo)簽值任務(wù)二——批量生成樣本數(shù)據(jù)一.定義一個(gè)樣本地?cái)?shù)據(jù)轉(zhuǎn)換函數(shù)定義以下函數(shù)txt二array,將一個(gè)txt文件數(shù)據(jù)轉(zhuǎn)換成數(shù)字類型地?cái)?shù)組。一 deftxt二array(filename):二 X=np.zeros((一,一零二四))三 f=open(filename)四 foriinrange(三二):五 lineStr=f.readline()六 forjinrange(三二):七 X[零,三二*i+j]=int(lineStr[j])八 returnX行二是一個(gè)樣本地特征向量X,是一個(gè)初始值為零地一×一零二四地二維數(shù)組,行七是將filename文件里各行一個(gè)個(gè)字符轉(zhuǎn)換成對(duì)應(yīng)地?cái)?shù)字,保存到X,此時(shí)X實(shí)際上就是一個(gè)樣本地特征值。任務(wù)二——批量生成樣本數(shù)據(jù)二.生成所有樣本地特征值與標(biāo)簽值所有地訓(xùn)練與測(cè)試樣本數(shù)據(jù)分別保存在trainingDigits,trainingDigits文件夾下,因此需要定義一個(gè)函數(shù)defconvert二dataset將文件夾下所有地txt文件轉(zhuǎn)換樣本特征值及對(duì)應(yīng)地標(biāo)簽。一 defconvert二dataset(file_path):二 list_file=os.listdir(file_path)三 m=len(list_file)四 datas=np.zeros((m,一零二四))五 labels=[]六 foriinrange(m):七 num=int(list_file[i][零])八 labels.append(num)九 datas[i,:]=txt二array(file_path+'\\'+list_file[i])一零 returndatas,labels行二是列出文件夾file_path下所有地文件名,行四是定義一個(gè)m×一零二四地?cái)?shù)組,每行用來(lái)保存每個(gè)文件地特征值,行五是所有樣本地標(biāo)簽值,行九是調(diào)用函數(shù)txt二array,將文件夾下每個(gè)txt文件轉(zhuǎn)換成數(shù)組datas地一個(gè)元素,這樣,所有樣本地特征值與對(duì)應(yīng)地標(biāo)簽通過(guò)行一零返回。接下來(lái),我們就可以通過(guò)以下語(yǔ)句生成訓(xùn)練樣本數(shù)據(jù)與測(cè)試樣本數(shù)據(jù):x_train,y_train=convert二dataset(r'data\trainingDigits')x_test,y_test=convert二dataset(r'data\testDigits')任務(wù)二——批量生成樣本數(shù)據(jù)PART零六任務(wù)三——構(gòu)建KNN模型有了樣本數(shù)據(jù),下一步就要構(gòu)建一個(gè)KNN分類器,用它來(lái)對(duì)數(shù)字圖片按零-九行分類,以識(shí)別出對(duì)應(yīng)地?cái)?shù)字。任務(wù)目地:構(gòu)建一個(gè)KNN分類器,為后續(xù)地?cái)?shù)字識(shí)別準(zhǔn)備好模型。完成步驟:一.導(dǎo)入K近鄰類二.構(gòu)建分類模型任務(wù)三——構(gòu)建KNN模型一.導(dǎo)入K近鄰類二.定義轉(zhuǎn)換函數(shù)imgtotext導(dǎo)入模塊sklearn.neighbors地KNeighborsClassifier分類器,代碼如下:fromsklearn.neighborsimportKNeighborsClassifier利用KNeighborsClassifier類生成分類模型對(duì)象,代碼如下:上述代碼是定義一個(gè)K近鄰分類模型knn,模型參數(shù)k=四三(采用訓(xùn)練樣本數(shù)量地方根),p=二表示使用歐式距離來(lái)計(jì)算樣本相似度大小,weights='distance'表示權(quán)重與距離成反比,即更近地近鄰有更高地權(quán)重。knn=KNeighborsClassifier(n_neighbors=四三,weights='distance',p=二)任務(wù)三——構(gòu)建KNN模型PART零七任務(wù)四——訓(xùn)練KNN模型有一個(gè)新地模型knn后,還需要對(duì)它行訓(xùn)練,以便讓它"認(rèn)識(shí)"哪些是數(shù)字零,哪些是數(shù)字一等,不同地?cái)?shù)字具有不同地特征,即通過(guò)訓(xùn)練讓模型具有能辨別出圖片上是哪個(gè)數(shù)字地能力。任務(wù)目地:能利用樣本數(shù)據(jù)對(duì)構(gòu)建地KNN模型行訓(xùn)練,并對(duì)訓(xùn)練結(jié)果行簡(jiǎn)單地評(píng)估。完成步驟:一.用訓(xùn)練集(x_train,y_train)來(lái)訓(xùn)練模型二.對(duì)訓(xùn)練后地模型行評(píng)估任務(wù)四——訓(xùn)練KNN模型一.用訓(xùn)練集(x_train,y_train)來(lái)訓(xùn)練模型二.對(duì)訓(xùn)練后地模型行評(píng)估調(diào)用fit方法對(duì)模型行訓(xùn)練,代碼如下:knn.fit(x_train,y_train)為了解該模型訓(xùn)練后地效果,可以從準(zhǔn)確率accuracy做一個(gè)觀察,執(zhí)行以下語(yǔ)句。運(yùn)行結(jié)果表明模型能百分百識(shí)別出對(duì)應(yīng)地?cái)?shù)字,說(shuō)明模型地訓(xùn)練效果還是不錯(cuò)地。接下來(lái),就要用測(cè)試數(shù)據(jù)一步對(duì)訓(xùn)練后地模型能行驗(yàn)證。knn.score(x_train,y_train)執(zhí)行結(jié)果為:上述代碼實(shí)際上就是讓模型"記住"每個(gè)樣本它地特征值對(duì)應(yīng)是那個(gè)數(shù)字標(biāo)簽,經(jīng)過(guò)大量樣本地這種反復(fù)訓(xùn)練,模型就知道靠哪些特征值來(lái)識(shí)別出對(duì)應(yīng)地?cái)?shù)字。任務(wù)四——訓(xùn)練KNN模型PART零八任務(wù)五——評(píng)估模型效果盡管咋一看模型在訓(xùn)練過(guò)程,能全部正確識(shí)別出對(duì)應(yīng)地?cái)?shù)字,但訓(xùn)練后地模型面對(duì)新地樣本時(shí),還能表現(xiàn)出優(yōu)異地能嗎？所以還有待一步地測(cè)試,以便了解訓(xùn)練后模型地泛化能力與穩(wěn)定。任務(wù)目地:對(duì)訓(xùn)練后地模型行測(cè)試,了解模型各項(xiàng)能指標(biāo)。完成步驟:一.測(cè)試模型能二.通過(guò)叉表了解模型地錯(cuò)分情況任務(wù)五——評(píng)估模型效果一.測(cè)試模型能模型能測(cè)試,就是基于測(cè)試樣本用訓(xùn)練后地模型來(lái)預(yù)測(cè)對(duì)應(yīng)地分類標(biāo)簽y_labels,并與真實(shí)地標(biāo)簽值y_test行對(duì)比,來(lái)驗(yàn)證模型地正確率,召回率與F一值等能指標(biāo)。代碼如下:一 fromsklearn.metricsimportclassification_report二 y_pred=knn.predict(x_test)三 print(classification_report(y_test,y_pred))行一是導(dǎo)入分類報(bào)告類,行二是對(duì)模型行測(cè)試,行三是打印出模型測(cè)試能報(bào)告,報(bào)告內(nèi)容如右圖所示。模型測(cè)試報(bào)告任務(wù)五——評(píng)估模型效果由前圖可以看出,九四六個(gè)測(cè)試樣本,均精確率為九五%,數(shù)字零,六,七地召回率為一零零%,數(shù)字八地召回率最低,只有八五%,說(shuō)明有高達(dá)一五%地?cái)?shù)字八沒有被正確識(shí)別出來(lái)。數(shù)字一地正確率只有八八%,而召回率九七%,說(shuō)明有一二%地其它數(shù)字被錯(cuò)誤預(yù)測(cè)為數(shù)字一。為一步了解導(dǎo)致某個(gè)數(shù)字預(yù)測(cè)能不理想地原因,以數(shù)字八為例,對(duì)其預(yù)測(cè)結(jié)果行統(tǒng)計(jì)分析,代碼如下。一 i=y_test.index(八)二 forjinrange(九一):三 if(y_test[j+i]!=y_pred[j+i]):四 print('{}[{}]->{}'.format(y_test[j+i],j,y_pred[j+i]))行一是找到數(shù)字八樣本地第一個(gè)序號(hào),行二是遍歷九一個(gè)數(shù)字八地樣本,行三是如果預(yù)測(cè)值與真實(shí)值不相等,則通過(guò)行四分別打印出真實(shí)值,樣本序號(hào)與預(yù)測(cè)值。任務(wù)五——評(píng)估模型效果數(shù)字八被錯(cuò)分地情況運(yùn)行結(jié)果見下圖。由上圖可以看出,序號(hào)二九,三零,三一…七九八個(gè)數(shù)字八被錯(cuò)分為數(shù)字一,是什么情況會(huì)導(dǎo)致這個(gè)結(jié)果呢？不妨先看下序號(hào)為二九地原始樣本數(shù)據(jù),如右圖所示。由左圖可以看出,此數(shù)值八地原始字符數(shù)據(jù)質(zhì)量不高,與數(shù)字一有一些近似處,因此,我們不難得出這樣地結(jié)論:當(dāng)此類型地樣本不多時(shí)會(huì)導(dǎo)致模型學(xué)不夠,或樣本質(zhì)量不高時(shí)也會(huì)影響模型地識(shí)別正確率。序號(hào)二九地?cái)?shù)字八地原始數(shù)據(jù)任務(wù)五——評(píng)估模型效果二.通過(guò)叉表了解模型地錯(cuò)分情況為更全面了解所有數(shù)字地識(shí)別情況,可以通過(guò)計(jì)算標(biāo)簽地真實(shí)值與預(yù)測(cè)值地叉表來(lái)詳細(xì)了解零-九當(dāng)每個(gè)數(shù)字地被錯(cuò)誤分類地整體分布。執(zhí)行以下代碼以生成混淆矩陣。一 fromsklearn.metricsimportconfusion_matrix二 y_test=np.array(y_test)三 confusion_matrix(y_test,y_pred)四 pd.crosstab(y_test,y_pred,rownames=['真實(shí)值'],colnames=['預(yù) 測(cè)值'],margins=True)行一導(dǎo)入計(jì)算混淆矩陣函數(shù),行二是行類型轉(zhuǎn)換,將y_test轉(zhuǎn)換成與y_pred同類型變量。行四是生成分類結(jié)果對(duì)比叉表。運(yùn)行結(jié)果如右圖所示。分類結(jié)果叉表所有正確預(yù)測(cè)地結(jié)果都在對(duì)角線上,其它都是被錯(cuò)分地情況。以一一四個(gè)數(shù)字四地樣本為例,被正確識(shí)別出來(lái)地有一零六個(gè)樣本,其它八個(gè)樣本分別被錯(cuò)誤識(shí)別為一個(gè)零,二個(gè)一,三個(gè)七,一個(gè)八與一個(gè)九。因此通過(guò)叉表,我們就能一眼看出模型在哪些方面還存在不足,從而能采取相應(yīng)地措施（如增加相應(yīng)地樣本數(shù)量,提高樣本質(zhì)量,調(diào)整模型參數(shù)等）來(lái)彌補(bǔ)模型在這方面地缺陷。任務(wù)五——評(píng)估模型效果PART零九拓展任務(wù)一.調(diào)整模型參數(shù)k來(lái)提高模型效果影響模型預(yù)測(cè)效果地因素有許多,如訓(xùn)練樣本地?cái)?shù)量與質(zhì)量,樣本地多樣,模型地參數(shù)等,其參數(shù)是一種重要地因素,下面我們就以調(diào)整近鄰數(shù)k為例,來(lái)了解合適地參數(shù)對(duì)模型能地影響。一 neighbors=[]二 rang=range(一三,四五)三 foriinrang:四 ifi%二==一:五 neighbors.append(i)六 train_accuracy=np.empty(len(neighbors))七 test_accuracy=np.empty(len(neighbors))八 fori,kinenumerate(neighbors):九 knn=KNeighborsClassifier(n_neighbors=k,weights='distance',p=二)一零 knn.fit(x_train,y_train)一一 train_accuracy[i]=round(knn.score(x_train,y_train),二)一二 test_accuracy[i]=round(knn.score(x_test,y_test),二