《AI硬件與Pyhthon編程實(shí)踐》08計(jì)算機(jī)視覺(jué)與人臉檢測(cè)寫(xiě)字字帖

計(jì)算機(jī)視覺(jué)與人臉檢測(cè)人工智能開(kāi)源硬件與python編程實(shí)踐情境導(dǎo)入新款的相機(jī)都采用了智能技術(shù)，能夠自動(dòng)檢測(cè)到取景框內(nèi)的人臉，自動(dòng)往人臉對(duì)焦，拍下高質(zhì)量的照片。智能手機(jī)的相機(jī)功能也都采用了自動(dòng)跟蹤人臉、自動(dòng)對(duì)焦的技術(shù)，輔助人們拍下美好畫(huà)面。人臉檢測(cè)與自動(dòng)跟蹤技術(shù)在校園出入控制、智慧教室等系統(tǒng)中均有應(yīng)用，也是進(jìn)一步開(kāi)展人臉識(shí)別的基礎(chǔ)。任務(wù)與目標(biāo)了解人臉檢測(cè)技術(shù)的基本原理、Haar相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能開(kāi)源硬件設(shè)計(jì)人臉檢測(cè)應(yīng)用的方法，提升Python語(yǔ)言的編程能力；通過(guò)Python編程，調(diào)用HaarCascade算法，實(shí)現(xiàn)人臉檢測(cè)功能；針對(duì)生活應(yīng)用場(chǎng)景，進(jìn)一步開(kāi)展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)針對(duì)校園安防等需求的具有實(shí)用性的人臉檢測(cè)應(yīng)用系統(tǒng)。知識(shí)拓展：聚類(lèi)與分類(lèi)聚類(lèi)是將數(shù)據(jù)對(duì)象集合劃分成相似的對(duì)象類(lèi)的過(guò)程，使得同一個(gè)類(lèi)中的對(duì)象之間具有較高的相似性，而不同類(lèi)中的對(duì)象具有較高的相異性。分類(lèi)則是按照某種標(biāo)準(zhǔn)給對(duì)象貼標(biāo)簽，再根據(jù)標(biāo)簽來(lái)區(qū)分歸類(lèi)。也就是說(shuō)，分類(lèi)情況下事先定義好了類(lèi)別，類(lèi)別數(shù)不再變化。知識(shí)拓展：區(qū)別與聯(lián)系分類(lèi)器需要事先由包含人工標(biāo)注類(lèi)別的訓(xùn)練數(shù)據(jù)訓(xùn)練得到，屬于有監(jiān)督的學(xué)習(xí)。聚類(lèi)則沒(méi)有事先預(yù)定的類(lèi)別，類(lèi)別數(shù)不確定。聚類(lèi)不需要人工標(biāo)注和預(yù)先訓(xùn)練分類(lèi)器，類(lèi)別在聚類(lèi)過(guò)程中自動(dòng)生成，是一種無(wú)監(jiān)督學(xué)習(xí)。知識(shí)拓展：Haar-like特征Haar-like特征一種常用的圖像特征描述算子，在機(jī)器視覺(jué)領(lǐng)域應(yīng)用很廣；分為邊緣特征、線(xiàn)性特征、中心特征和對(duì)角線(xiàn)特征等，組合成特征模板。特征模板內(nèi)只有白色和黑色兩種矩形，并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和。知識(shí)拓展：人臉Haar-like特征對(duì)于人臉圖像，臉部的一些特征能由矩形特征來(lái)簡(jiǎn)單描述，如：眼睛要比臉頰顏色要深，鼻梁兩側(cè)比鼻梁顏色要深，嘴巴比周?chē)伾畹?。在人臉檢測(cè)應(yīng)用中，將任意一個(gè)矩形模板移動(dòng)到人臉區(qū)域上，計(jì)算將白色區(qū)域的像素和減去黑色區(qū)域的像素和，得到的值就是屬于人臉的特征值。通過(guò)Haar-like特征的計(jì)算實(shí)現(xiàn)了人臉特征的量化，以便區(qū)分人臉和非人臉。知識(shí)拓展：Haar-like特征計(jì)算方法對(duì)于一個(gè)灰度圖像I而言，其積分圖也是一張與I尺寸相同的圖，只不過(guò)該圖上任意一點(diǎn)(x,y)的值是指從灰度圖像I的左上角與當(dāng)前點(diǎn)所圍成的矩形區(qū)域內(nèi)所有像素點(diǎn)灰度值之和。當(dāng)把掃描圖像一遍，到達(dá)圖像右下角像素時(shí)，積分圖像就構(gòu)造好了。積分圖構(gòu)造好之后，圖像中任何矩陣區(qū)域的像素累加和都可以通過(guò)簡(jiǎn)單運(yùn)算得到。只遍歷一次圖像就可以求出圖像中所有區(qū)域像素和的快速算法，大大的提高了圖像特征值計(jì)算的效率。知識(shí)拓展：弱學(xué)習(xí)與強(qiáng)學(xué)習(xí)弱學(xué)習(xí)就是指一個(gè)學(xué)習(xí)算法對(duì)一組概念的識(shí)別率只比隨機(jī)識(shí)別好一點(diǎn)；強(qiáng)學(xué)習(xí)指一個(gè)學(xué)習(xí)算法對(duì)一組概率的識(shí)別率很高。研究工作表明，只要有足夠的數(shù)據(jù)，弱學(xué)習(xí)算法就能通過(guò)集成的方式生成任意高精度的強(qiáng)學(xué)習(xí)方法。知識(shí)拓展：Adaboost算法初步各種Haar特征，每一個(gè)小黑白塊就是一種規(guī)則，也是一種特征，也是一個(gè)分類(lèi)器。它們都是弱分類(lèi)器。把一批準(zhǔn)確率很差的弱分類(lèi)器級(jí)聯(lián)在一起，變成一個(gè)強(qiáng)分類(lèi)器知識(shí)拓展：Adaboost迭代過(guò)程先通過(guò)對(duì)N個(gè)訓(xùn)練樣本的學(xué)習(xí)得到第一個(gè)弱分類(lèi)器；將分錯(cuò)的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè)樣本的學(xué)習(xí)得到第二個(gè)弱分類(lèi)器；將前面都分錯(cuò)了的樣本加上其他的新樣本構(gòu)成另一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè)樣本的學(xué)習(xí)得到第三個(gè)弱分類(lèi)器；依次繼續(xù)。然后把這些弱分類(lèi)器集合起來(lái)，構(gòu)成一個(gè)強(qiáng)分類(lèi)器。知識(shí)拓展：Haar分類(lèi)器的訓(xùn)練采集人臉圖像，建立人臉、非人臉樣本集；計(jì)算Haar-like特征值和積分圖；進(jìn)行弱分類(lèi)器訓(xùn)練，篩選出T個(gè)最優(yōu)弱分類(lèi)器；把這T個(gè)最優(yōu)弱分類(lèi)器傳給AdaBoost算法，訓(xùn)練出區(qū)分人臉和非人臉的強(qiáng)分類(lèi)器；使用篩選式級(jí)聯(lián)把強(qiáng)分類(lèi)器級(jí)聯(lián)到一起，提高準(zhǔn)確率。知識(shí)拓展：利用haar算子實(shí)現(xiàn)人臉檢測(cè)對(duì)比檢查分成了多個(gè)階段，后一階段的運(yùn)行以先前階段的完成為前提。設(shè)計(jì)與實(shí)踐攝像頭工作參數(shù)設(shè)置加載Haar算子啟動(dòng)人臉檢測(cè)Python編程及實(shí)現(xiàn)運(yùn)行結(jié)果分析攝像頭工作參數(shù)設(shè)置HaarCascade算法采用的是黑白像素特征，積分圖也是在灰度圖像上生成的。在人臉檢測(cè)應(yīng)用中，攝像頭要設(shè)置為灰度圖模式：sensor.set_contrast(1) #設(shè)置相機(jī)圖像對(duì)比度，范圍從-3至+3；sensor.set_gainceiling(16) #設(shè)置相機(jī)圖像增益上限，參數(shù)范圍：2,4,8,16,32,64,128；sensor.set_framesize(sensor.HQVGA) #設(shè)置攝像頭分辨率為HQVGA:240x160sensor.set_pixformat(sensor.GRAYSCALE)#灰度圖，每像素為8位、1字節(jié)。注意人臉識(shí)別只能用灰度圖；加載Haar算子加載Haar模型的方法：classimage.HaarCascade(path[,stages=Auto])其中，stages為HaarCascade級(jí)聯(lián)分類(lèi)器的總階段數(shù)，也就是強(qiáng)分類(lèi)器的個(gè)數(shù)。Stages值要根據(jù)實(shí)際情況來(lái)選擇：設(shè)置較低的階段數(shù)可以得到較快的檢測(cè)速度，但誤識(shí)率也會(huì)較高；設(shè)置較高的階段數(shù)可提高識(shí)別準(zhǔn)確度，但犧牲了檢測(cè)速度。HaarCascade內(nèi)置有已經(jīng)訓(xùn)練好的haar模型，如“frontalface”人臉模型或者“eye”人眼模型，編程時(shí)直接指定即可。啟動(dòng)人臉檢測(cè)的過(guò)程控制攝像頭的工作，定時(shí)捕捉圖像幀；啟動(dòng)HaarCascade分類(lèi)器工作，檢測(cè)出圖像幀中所有的人臉區(qū)域；在圖像幀中標(biāo)注出所有檢測(cè)到的人臉區(qū)域；檢測(cè)人臉使用image.find_features(cascade[,threshold=0.5[,scale=1.5[,roi]]])方法，搜索與HaarCascade匹配的所有區(qū)域的圖像，返回所檢測(cè)到的邊界框矩形元組(x，y，w，h)列表。若未發(fā)現(xiàn)，則返回空列表。cascade是HaarCascade對(duì)象。threshold是浮點(diǎn)數(shù)（0.0-1.0），較小的值在提高檢測(cè)速率同時(shí)增加誤報(bào)率。scale是必須大于1.0的浮點(diǎn)數(shù)。較高的比例因子運(yùn)行更快，但其圖像匹配相應(yīng)較差。理想值介于1.35-1.5之間。Python編程及實(shí)現(xiàn)face_cascade=image.HaarCascade("frontalface",stages=25)while(True): img=sensor.snapshot() #捕捉圖像幀 objects=img.find_features(face_cascade,threshold=0.75,scale=1.35)

forrinobjects: #在找到的目標(biāo)對(duì)象上畫(huà)框，標(biāo)記出來(lái)；img.draw_rectangle(r)調(diào)試經(jīng)驗(yàn)如果視頻區(qū)顯示出攝像頭捕捉的圖像幀質(zhì)量過(guò)低，繼續(xù)進(jìn)行人臉檢測(cè)將沒(méi)有意義。這時(shí)需要調(diào)節(jié)攝像頭的工作參數(shù)。如果圖像偏暗，則對(duì)LED編程進(jìn)行補(bǔ)光；人臉處于逆光狀態(tài)，人臉部分的圖像特征模糊，對(duì)人臉檢測(cè)很不利。調(diào)試程序時(shí)更換人臉位置，避開(kāi)這種情況；如果視頻顯示正常，但沒(méi)有檢測(cè)到人臉區(qū)域，或者檢測(cè)到了錯(cuò)誤的區(qū)域，這是需要檢測(cè)HaarCascade相關(guān)函數(shù)的編程中，各種工作參數(shù)設(shè)置是否合適。包括HaarCascade函數(shù)中的階段數(shù)，find_features函數(shù)中的閾值和比例因子等，調(diào)節(jié)參數(shù)的取值，觀(guān)察識(shí)別率、誤識(shí)率、計(jì)算速度等方面的變化，確定所使用開(kāi)發(fā)系統(tǒng)的最佳工作參數(shù)。分析與思考編程案例中是利用計(jì)算機(jī)視覺(jué)開(kāi)源庫(kù)中已經(jīng)訓(xùn)練好的Haar人臉檢測(cè)模型數(shù)據(jù)，如何自行訓(xùn)練出人臉檢測(cè)Haar模型？如何在程序中調(diào)用外部的Haar模型？提出你的