課堂環(huán)境下多人臉檢測的改進算法研究

課堂環(huán)境下多人臉檢測的改進算法研究

0課堂環(huán)境設(shè)置面部識別包括面部識別和面部識別。人臉檢測是圍繞面部圖像分析研究的基礎(chǔ)，其主要包括人臉位置框定現(xiàn)代人臉檢測算法還引入了健壯的特征提取方法，例如尺度不變特征變換（ScaleInvariantFeatureTransform,SIFT)課堂環(huán)境通過對公開數(shù)據(jù)集以及自建課堂環(huán)境多人臉數(shù)據(jù)集的構(gòu)建，將數(shù)據(jù)劃分為10人以下、11～20人、21～30人、31～40人以及41人以上不同的數(shù)據(jù)進行分析。本文詳細研究了傳統(tǒng)的人臉檢測算法以及基于深度學習的算法，總結(jié)各類算法的主要思想，并基于全卷積頭部檢測器（FullyConvolutionalHeadDetector,FCHD）算法進行錨點設(shè)計的改進。實驗對比分析了各類算法的性能，驗證了所提算法的有效性。1基于課堂環(huán)境的數(shù)據(jù)集設(shè)計1.1照片照片的預(yù)處理數(shù)據(jù)集1）圖片采集。首先，要明確圖片數(shù)據(jù)的組成，其中包括數(shù)據(jù)的存儲形式、圖片中包含的人臉數(shù)量、角度以及時間等，還有數(shù)據(jù)的標注信息等。另外，選擇的數(shù)據(jù)來源，可以通過自生成樣本、互聯(lián)網(wǎng)爬蟲獲取等。采集到的數(shù)據(jù)需要對圖片內(nèi)的信息進行人工標注，每個人有唯一的標志。根據(jù)研究的算法實際需求，共采集兩類數(shù)據(jù)，mydata、newdata用于人臉檢測；data用于人臉識別。兩個數(shù)據(jù)集來源于本校的兩個不同的班級，總共130人，其中人臉檢測數(shù)據(jù)由80個不同的學生照片組成，有將近2000張照片，每張照片的分辨率為1980×1080，并且每一張照片上都不低于5人，平均每張照片25人。另一個數(shù)據(jù)來源于2017級另外一個本科生班級，有51個學生，拍了1800張照片，每張照片分辨率為1280×720，每張照片不低于8人，平均每張照片上20人。第三個數(shù)據(jù)集有來自本實驗室的19人，總共500張照片，分辨率為1280×720，平均每張照片12人。三個數(shù)據(jù)集都是從不同的角度、不同時間點對目標人臉進行采集，以保證數(shù)據(jù)的多樣性。2）圖片處理。兩類數(shù)據(jù)集都是通過標記工具對圖片數(shù)據(jù)進行人工標注，標記工具labelImg是一種圖形圖像注釋工具，核心代碼是基于Python編寫，labelImg是Python內(nèi)置庫，可以直接利用命令行pipinstalllabelImg安裝并打開，是一個圖形化界面，操作非常簡單、便捷，其注釋信息以PASCALVOC格式另存為xml文件，另外還提供YOLO格式。通過labelImg操作后帶有許多標記信息，同時標準過程會自動生成矩形框，人工只要控制框的大小，并給相應(yīng)的人臉命名，與基本的軟件使用是一致的，操作非常靈活簡單。3）圖片整理。接下來就是解析xml文件，獲取文件信息，將標簽中目標繪制在圖像中，并返回。通過一系列對原始圖像進行標記操作，得到大量的xml文件，需要將這些標記文件與原始圖像進行對應(yīng)關(guān)聯(lián)，將原始圖片與xml文件命名一致，這樣才能將人臉框標記到相對應(yīng)人臉上。1.2反復(fù)訓(xùn)練模型如今深度學習技術(shù)與人臉識別方法已經(jīng)進行了進一步結(jié)合，在實際實驗中通過對數(shù)據(jù)進行針對性學習可以改變數(shù)據(jù)集測試的結(jié)果，反復(fù)訓(xùn)練模型以達到較好的效果。即使在LFW(LabledFacesintheWild）這種數(shù)據(jù)量較大的數(shù)據(jù)集上提升識別率近100%，但這也并不能證明該人臉識別技術(shù)在實際應(yīng)用場景中的真實結(jié)果，因為實際應(yīng)用場景與標準數(shù)據(jù)評估之間還有很大的區(qū)別。在文獻2多公證檢測課堂環(huán)境2.1傳統(tǒng)面部檢測方法2.1.1基于開放cv的哈ar級聯(lián)合算法人臉檢測是計算機視覺中最流行的研究領(lǐng)域，是一種用于數(shù)字圖像中的計算機技術(shù)。OpenCV2.1.2基于mlib的面部檢測算法Dlib2.2基于深度研究的面部檢測方法隨著近幾年深度學習全卷積頭部檢測器（FCHD)2.3實驗數(shù)據(jù)集簡介為了對多人臉檢測進行研究并評價相關(guān)性能，本實驗所使用的硬件平臺為：操作系統(tǒng)為Windows10；處理器為AMDRyzen52600X六核；內(nèi)存為金士頓DDR42400MHz，采用GPU加速，利用PyTorch深度學習框架進行訓(xùn)練和測試。先介紹交并比（IntersectionoverUnion,IoU）的概念，其介于0到1之間，交并比表示真實框與預(yù)測框之間的重疊比，即交集與并集之比。IoU值越高說明預(yù)測框的結(jié)果越準確。二分類中AP(AveragePrecision）屬于重要指標，由Precision-Recall曲線計算而來。通常模型的平均精度越高，即AP值越大則表示該模型的準確度越高。第二個指標平均精度均值（meanAveragePrecision,mAP）基于AP的基礎(chǔ)上，對每個類別的平均精度取平均值即可得到，mAP的大小一定在[0,1],mAP是目前精確度評估標準中最重要的一個，實驗中就是用這個指標。數(shù)據(jù)集包含自建數(shù)據(jù)集mydata、newdata和網(wǎng)上爬蟲教室數(shù)據(jù)partB，其中訓(xùn)練數(shù)據(jù)來源于partB內(nèi)的2405張，mydata內(nèi)的131張，newdata內(nèi)的635張，總共3171張圖片；測試數(shù)據(jù)來源于mydata內(nèi)的1135張圖片。為了方便模型訓(xùn)練，將圖片統(tǒng)一縮放成640×480像素大小，縮放照片的同時也必須要把之前的標簽文件內(nèi)的坐標信息進行縮放，這樣才能匹配起來，從而把實驗需要的重要坐標信息提取出來。2.3.1照片準確性檢驗傳統(tǒng)的檢測模型都是利用已經(jīng)完全訓(xùn)練好的庫函數(shù)，直接調(diào)用封裝好的函數(shù)無需自己手動訓(xùn)練，因為這些庫函數(shù)是通過許多實驗不斷調(diào)整參數(shù)而設(shè)定的，其效果已經(jīng)到達最優(yōu)水平。傳統(tǒng)檢測算法評估標準來源于預(yù)測框與真實框之間面積的交并比，如果交并比大于0.5則表示人臉框標記準確為正值，其余為負值，按照不同的人數(shù)標準再分別求和取平均數(shù)得到每一類照片的準確率。首先進行傳統(tǒng)的人臉檢測方法對比實驗，表2結(jié)果表明，傳統(tǒng)檢測算法整體來說對于多人臉檢測的效果不佳，整體準確率不超過20%，原因在于照片中的人臉大部分角度不是正臉，傳統(tǒng)的人臉檢測主要原理是依據(jù)臉部的關(guān)鍵點進行定位，以此來判定是否有人臉。這類方法需要被檢測的人臉露出關(guān)鍵點來進行定位檢測，因此非正臉圖片造成檢測的重大阻力，一般正常自然環(huán)境下，大部分多人臉都不是以完整的正臉形式出現(xiàn)，因此對于遮擋、角度偏移的多人臉檢測面臨一些問題。通過實驗結(jié)果也表明Dlib不能檢測小臉，主要原因是因為它訓(xùn)練數(shù)據(jù)的最小人臉尺寸過大，后續(xù)可考慮自己訓(xùn)練小目標人臉；預(yù)測框通常排除前額的一部分甚至下巴的一部分，檢測結(jié)果不完整；在嚴重遮擋下也不能很好地工作，不適用于側(cè)面和極端非正面。兩種傳統(tǒng)的人臉檢測方法都存在的問題是光線條件較好并且都是正臉時較容易被檢測到，側(cè)臉遮擋都不能被檢測，因此兩種方法不適合實際場合應(yīng)用。2.3.2多人臉實驗研究基于深度學習的檢測方法與傳統(tǒng)的檢測方法完全不同，在實驗中首先需要考慮預(yù)置的邊界框（錨點），這些邊界框（錨點）是通過設(shè)置一組不同比例的候選框生成的。而在選擇候選框時，主要是通過有效接受域來選擇邊界框。一般方法都會生成三種不同比例（0.5、1、2）、三種不同大小邊界框號（8、16、32）共九組不同尺度的候選框。這樣需要訓(xùn)練的參數(shù)量也非常龐大，考慮到自建數(shù)據(jù)圖片中人臉像素較小，并且人臉框基本上都屬于方框，因此采用較小的尺寸的邊界框號，也只利用比例為1∶1的方框，這樣極大減少了工作量。在VGG16的理論接受域大小是228像素，利用的邊界框尺寸大小為32×32和64×64。邊界框尺寸計算公式為跨距×長寬比×邊界框號，其中，前面結(jié)構(gòu)總層跨距為16，邊界框號為2和4，長寬比為1。前面的13個卷積層、13個激活結(jié)構(gòu)ReLU以及13個池化層均采用VGG16默認的參數(shù)，后幾層使用μ=0、σ=0.01的標準正態(tài)分布采樣的隨機權(quán)重進行初始化。針對多人臉數(shù)據(jù)的特殊性，將錨點數(shù)量有效減少，訓(xùn)練時間也得到有效減少，整個模型是選用32×32和64×64像素大小的兩組錨點，訓(xùn)練30次得到模型。圖2(a）為網(wǎng)上爬蟲測試數(shù)據(jù)，圖片上有10個人，但模型只檢測出8個人，還有一個無效檢測框；圖2(b）為自建數(shù)據(jù)測試結(jié)果，整張照片上有32個人，只檢測出27個人。通過測試結(jié)果表明，該模型還是具備一定的檢測能力，對于有遮擋、角度有偏移的人臉也能檢測出來，并且圖2(a）中坐后面的同學人臉較為模糊，像素不高，該模型具備一定的學習能力，但是也會產(chǎn)生非人臉檢測框，說明整個模型還是存在些許問題，還要不斷調(diào)整優(yōu)化。圖2(b）中前排有位遮擋面部50%的同學未能檢測出來，而用雙手遮擋臉部的同學可以檢測出來，說明該模型對于遮擋程度一般的人臉有檢測能力，但是偏移量過多或者有障礙物時該模型無法檢測出臉部。以上檢測結(jié)果說明該模型基本上具備多人臉檢測功能。在實驗中，采用不同的錨點大小分別進行訓(xùn)練，實驗結(jié)果表明錨點大小為32×32、64×64的對于人臉檢測整體效果最好。其次，是16×16、32×32、64×64錨點組合，說明人臉尺寸整體偏小。通過表3實驗說明，長寬比設(shè)置成1∶1，能夠有效地減少錨點的數(shù)量、整個參數(shù)量和簡化模型結(jié)構(gòu)。同時，整個模型對于10人以下的人臉檢測能達到90%的平均準確率，對于40人以上人臉的檢測該模型還是存在較多問題，需要針對不同角度、不同人臉偏移程度以及特殊情況下導(dǎo)致人臉尺寸過小這類問題進行重點研究。該實驗權(quán)重衰減設(shè)置為0.0005，訓(xùn)練的學習率設(shè)置為0.001，整個模型進行30次迭代。真實值與預(yù)測框之間的交并比設(shè)置為0.5，每完成1次循環(huán)后，以0.1的衰減率進行學習率的調(diào)整。綜合上述五類所有數(shù)據(jù)：總訓(xùn)練數(shù)據(jù)3171張照片，訓(xùn)練數(shù)據(jù)準確率為71.5%；總測試數(shù)據(jù)1135張照片，測試數(shù)據(jù)準確率為64.8%。3實驗結(jié)果分析本文是基于解決多人臉識別領(lǐng)域中存在的人臉偏移、遮擋、角度等問題而開展的研究。首先，針對人臉數(shù)據(jù)集構(gòu)建了兩類面向課堂環(huán)境的人臉數(shù)據(jù)集，先從傳統(tǒng)的人臉檢測算法入手進行說明，對基于OpenCV的Haar級聯(lián)分類器算法和基于Dlib的人臉檢測算法進行對比分析；然后重點介紹了基于FCHD的人臉檢測算法的模型結(jié)構(gòu)以及所用的損失函數(shù)。在實驗中重點討論了10人以下、11～20人、21～30人、31～40人以及41人以上五類不同的數(shù)據(jù)分別進行對