人臉識(shí)別演講ppt.ppt

人臉識(shí)別 AI 2018 09 07 facedetection AI weekreport 匯報(bào)人 芥末醬 前言 人臉識(shí)別 是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù) 用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流 并自動(dòng)在圖像中檢測(cè)和跟蹤人臉 進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部識(shí)別 它集成了人工智能 機(jī)器學(xué)習(xí) 模型理論 視頻圖像處理等多樣專業(yè)技術(shù) 隨著智能手機(jī)的快速普及 可以通過手機(jī)鏡頭在手機(jī)上做基于人臉識(shí)別的身份注冊(cè) 認(rèn)證 登錄等 使身份認(rèn)證進(jìn)程更安全 方便 由于人臉比指紋等視覺辨識(shí)度更高 所以刷臉的應(yīng)用前景更廣闊 目錄 Contents 01 人臉識(shí)別 應(yīng)用 02 人臉圖像 預(yù)處理 03 人臉圖像 特征檢測(cè) 04 人臉圖像 匹配與識(shí)別 01 人臉識(shí)別 初識(shí) 人臉識(shí)別分為兩大類 一是回答我是誰的問題 即辨認(rèn) Identification 二是回答這個(gè)人是我嗎 即 Verification 正常人眼的識(shí)別準(zhǔn)確率是97 而目前專業(yè)的人臉識(shí)別研究企業(yè)機(jī)構(gòu)可讓其精確度高達(dá)99 以上 若結(jié)合眼紋等多因子驗(yàn)證 準(zhǔn)確率能達(dá)到99 99 且以人臉識(shí)別技術(shù)為核心的系統(tǒng) 能解決人臉識(shí)別在現(xiàn)實(shí)應(yīng)用場(chǎng)景中面臨的眾多問題 應(yīng)用場(chǎng)景 Applicationscenario 02 人臉圖像 預(yù)處理 預(yù)處理是人臉識(shí)別過程中的一個(gè)重要環(huán)節(jié) 輸入圖像由于圖像采集環(huán)境的不同 如光照明暗程度 以及設(shè)備性能的優(yōu)劣等 往往存有噪聲 對(duì)比度不夠等缺點(diǎn) 因此我們需要對(duì)其進(jìn)行圖像預(yù)處理 圖像預(yù)處理 Imagepreprocessing 灰度化 Grayscale 灰度變換方法 Grayscaletransformationmethod rgbImage imread Lena jpg grayImage rgb2gray rgbImage J1 imadjust grayImage 01 01 2 5 J2 imadjust grayImage 01 01 1 5 J3 imadjust grayImage 01 01 0 67 J4 imadjust grayImage 01 01 0 4 subplot 1 5 1 imshow J1 title gamma 2 5 subplot 1 5 2 imshow J2 title gamma 1 5 subplot 1 5 3 imshow grayImage title 原灰度圖像 subplot 1 5 4 imshow J3 title gamma 0 67 subplot 1 5 5 imshow J4 title gamma 0 4 左圖是一張進(jìn)行灰度變換的灰度圖 先從左上角看 該像素的灰度值為254 然后下一個(gè)灰度值143 對(duì)其進(jìn)行映射 得到的值是一個(gè)比143少的數(shù) matlab當(dāng)中常用的灰度變換函數(shù)是 imadjust I low in high in low out high out gamma 幾何變換 Geometrictransformation 平移se translate strel 1 2020 img2 imdilate img1 se figure imshow img2 imwrite img2 a2 jpg I imread baby bmp height width dim size I tform1 maketform affine 0 1 0 1 0 0 0 0 1 I1 imtransform I tform1 nearest 旋轉(zhuǎn)img3 imrotate img1 90 figure imshow img3 imwrite img3 a3 jpg 縮放img4 imresize img1 2 figure imshow img4 imwrite img4 a4 jpg 平移 轉(zhuǎn)置 旋轉(zhuǎn) 縮放 圖像增強(qiáng) Imageenhancement 歸一化 Normalized 所謂圖像歸一化 就是通過一系列變換 將待處理的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標(biāo)準(zhǔn)形式 該標(biāo)準(zhǔn)形式圖像對(duì)平移 旋轉(zhuǎn) 縮放等仿射變換具有不變特性 1 什么是歸一化 圖像歸一化使得圖像可以抵抗幾何變換的攻擊 也就是轉(zhuǎn)換成唯一的標(biāo)準(zhǔn)形式以抵抗仿射變換 2 為什么歸一化 線性函數(shù)歸一化 Min Maxscaling 0均值標(biāo)準(zhǔn)化 Z scorestandardization 3 數(shù)據(jù)歸一化的方法有哪些 03 人臉圖像 特征檢測(cè) 所謂人臉檢測(cè) 就是給定任意一張圖片 找到其中是否存在一個(gè)或多個(gè)人臉 并返回圖片中每個(gè)人臉的位置和范圍 即找出特征點(diǎn) 在模式識(shí)別領(lǐng)域 一句重要的話是 Featuresmatter 獲得好的特征是識(shí)別成功的關(guān)鍵 深度學(xué)習(xí) 特征點(diǎn) DeepLearning 特征點(diǎn)檢測(cè) 算法在人臉檢測(cè)的基礎(chǔ)上 根據(jù)輸入的人臉圖像 自動(dòng)定位出面部關(guān)鍵特征點(diǎn) 如眼睛 鼻尖 嘴角點(diǎn) 眉毛以及人臉各部件輪廓點(diǎn)等 輸入 人臉外觀 輸出 人臉特征點(diǎn)集合 人臉對(duì)齊 算法以看作在一張人臉圖像搜索人臉預(yù)先定義的點(diǎn) 也叫人臉形狀 通常從一個(gè)粗估計(jì)的形狀開始 然后通過迭代來細(xì)化形狀的估計(jì) 方法包括 AAM ActiveAppearnceModel ASM ActiveShapeModel 特征點(diǎn)定位 算法利用CNN 由粗到細(xì) 實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)的精確定位 一般網(wǎng)絡(luò)結(jié)構(gòu)分為3層 level1 level2 level3 每層都包含多個(gè)獨(dú)立的CNN模型 特征點(diǎn)提取 算法需要一個(gè)特征提取器 predictor 構(gòu)建特征提取器可以訓(xùn)練模型 要下載dlib提供的已經(jīng)訓(xùn)練好的關(guān)鍵點(diǎn)提取模型 特征點(diǎn)檢測(cè)算法 BaseonCNN 人臉對(duì)齊算法 Facealignment 仿射變換以求人臉對(duì)齊 importcv2importnumpyasnpfrommatplotlibimportpyplotaspltimg cv2 imread lena jpg 1 rows cols channel img shape 仿射函數(shù) 將3個(gè)原圖點(diǎn)坐標(biāo) 和得到結(jié)果圖的3個(gè)點(diǎn)坐標(biāo) 生成參數(shù)帶入函數(shù)得到結(jié)果pts1 np float32 50 50 200 50 50 200 pts2 np float32 10 100 200 50 100 250 M cv2 getAffineTransform pts1 pts2 dst cv2 warpAffine img M cols rows plt subplot 121 plt imshow img plt title Input plt subplot 122 plt imshow dst plt title Output plt show 特征點(diǎn)定位算法 Featurelocation F1定位所有的5個(gè)關(guān)鍵點(diǎn) EN1用于定位 左眼 右眼 鼻子三個(gè)特征點(diǎn) NM1用于定位 左嘴角 右嘴角 鼻子三個(gè)特征點(diǎn) level1粗定位 包含3個(gè)CNN 每?jī)蓚€(gè)CNN負(fù)責(zé)預(yù)測(cè)同一個(gè)關(guān)鍵點(diǎn) 然后取平均得到這一點(diǎn)的精確預(yù)測(cè) 輸入為在level1輸出的關(guān)鍵點(diǎn)周圍的局部裁剪圖像 level2精確定位 包含10個(gè)CNN level3更精確定位 結(jié)構(gòu)和作用與level2一致 10個(gè)CNN 兩兩平均 只是輸入的圖像是在leve2關(guān)鍵點(diǎn)基礎(chǔ)上做了更小的裁剪 特征提取算法 Featureextraction 首先 需要一個(gè)特征提取器 predictor 構(gòu)建特征提取器可以訓(xùn)練模型 要下載dlib提供的已經(jīng)訓(xùn)練好的關(guān)鍵點(diǎn)提取模型 因?yàn)槲业娜四槇D片是不同角度的 所以不一定能夠檢測(cè)到人臉 所以當(dāng)檢測(cè)不到人臉時(shí) 依次旋轉(zhuǎn)圖片60度 再次檢測(cè) 直到能夠檢測(cè)到人臉為止 如果旋轉(zhuǎn)了360度還是檢測(cè)不到人臉的話 那么認(rèn)為該圖片中不存在人臉 關(guān)鍵點(diǎn)提取 提取 保存 保存68個(gè)關(guān)鍵點(diǎn) 對(duì)照著左圖 比如說想獲取鼻尖的坐標(biāo) 那么橫坐標(biāo)就是shapes 0 part 30 x 其余的類似 特征提取算法 Featureextraction include include include include include includeusingnamespacedlib usingnamespacestd intmain try cv VideoCapturecap 0 先初始化 打開視頻if cap isOpened cerr Unabletoconnecttocamera endl return1 關(guān)鍵點(diǎn)提取 frontal face detectordetector get frontal face detector shape predictorpose model deserialize shape predictor 68 face landmarks dat pose model while cv waitKey 30 27 Grabaframecv Mattemp cap temp cv imagecimg temp Detectfacesstd vectorfaces detector cimg Findtheposeofeachface std vectorshapes for unsignedlongi 0 i faces size i shapes push back pose model cimg faces i if shapes empty for inti 0 i 68 i circle temp cvPoint shapes 0 part i x shapes 0 part i y 3 cv Scalar 0 0 255 1 shapes 0 part i x 68個(gè) Displayitallonthescreenimshow Dlib特征點(diǎn) temp 04 人臉圖像 匹配與識(shí)別 提取的人臉圖像的特征數(shù)據(jù)與數(shù)據(jù)庫中存儲(chǔ)的特征模板進(jìn)行搜索匹配 通過設(shè)定一個(gè)閾值 當(dāng)相似度超過這一閾值 則把匹配得到的結(jié)果輸出 根據(jù)相似程度對(duì)人臉的身份信息進(jìn)行判斷 這一過程又分為兩類 一類是確認(rèn) 1 1 另一類是辨認(rèn) 1 N 人臉識(shí)別 Facerecognition 通過計(jì)算特征向量之間的歐氏距離來得到人臉相似程度 在LFW上面取得了當(dāng)時(shí)最好的成績(jī) 識(shí)別率為99 63 原理 1 先導(dǎo)入模型參數(shù)2 然后導(dǎo)入兩張圖片 分別獲取其經(jīng)過模型后得到的128維特征向量3 最后計(jì)算兩個(gè)向量的歐氏距離 步驟 歐幾里得度量 euclideanmetric 也稱歐氏距離 是一個(gè)通常采用的距離定義 指在m維空間中兩個(gè)點(diǎn)之間的真實(shí)距離 或者向量的自然長(zhǎng)度 即該點(diǎn)到原點(diǎn)的距離 在二維和三維空間中的歐氏距離就是兩點(diǎn)之間的實(shí)際距離 計(jì)算歐氏距離 歐氏距離 EuclideanDistance 精確度比較 AccuracyComparison SeetaFace由中科院計(jì)算所山世光帶領(lǐng)研究組研發(fā) 代碼基于C 實(shí)現(xiàn) 不依賴第三方庫 但存在缺陷 1 人臉檢測(cè)速度很慢無法達(dá)到實(shí)時(shí)2 人臉對(duì)齊模塊其實(shí)不是很前沿因?yàn)橹挥形鍌€(gè)點(diǎn)3 實(shí)驗(yàn)過demo 相似度基本沒有達(dá)到0 8 DeepFace在使用前需要進(jìn)行3D對(duì)齊處理 在訓(xùn)練的時(shí)沒有進(jìn)行對(duì)齊 采用了通過對(duì)圖片進(jìn)行翻轉(zhuǎn) 切片等處理計(jì)算出對(duì)應(yīng)的特征向