人工智能技術(shù) 課件 15人臉識(shí)別（二）之用深度學(xué)習(xí)識(shí)別人臉

04用深度學(xué)習(xí)識(shí)別人臉?biāo)摹⒂蒙疃葘W(xué)習(xí)識(shí)別人臉讓我們來了解一下現(xiàn)代人臉識(shí)別是如何工作的！但是，識(shí)別你的朋友這太容易了。我們可以最大化擴(kuò)展這項(xiàng)技術(shù)，來解決一個(gè)更具挑戰(zhàn)性的問題——區(qū)分威爾·法瑞爾（WillFerrell，著名演員）和查德·史密斯（ChadSmith，著名搖滾音樂家）！四、用深度學(xué)習(xí)識(shí)別人臉但是，人臉識(shí)別是由一系列的幾個(gè)相關(guān)問題組成的：1.首先，找到一張圖片中的所有人臉。2.第二，對(duì)于每一張臉來說，無論光線明暗或面朝別處，它依舊能夠識(shí)別出是同一個(gè)人的臉。3.第三，能夠在每一張臉上找出可用于與他人區(qū)分的獨(dú)特之處，比如說眼睛有多大，臉有多長(zhǎng)等等。4.最后，將這張臉的特點(diǎn)與已知的所有人臉進(jìn)行比較，以確定這個(gè)人的姓名。作為人類，你的大腦總是在一瞬間自動(dòng)做出了這些判斷。實(shí)際上，人類在識(shí)別人臉這方面做得太好了，以至于他們會(huì)在日常物品中同樣去「找臉」四、用深度學(xué)習(xí)識(shí)別人臉讓我們一步一步地解決這個(gè)問題。對(duì)于每個(gè)步驟，我們將學(xué)習(xí)一個(gè)不同的機(jī)器學(xué)習(xí)算法。不需要去理解每一個(gè)的算法，但需要了解每個(gè)步驟的精髓，以及如何在Python中使用OpenFace和dlib來構(gòu)建一個(gè)臉部識(shí)別系統(tǒng)。第一步：找出所有的面孔四、用深度學(xué)習(xí)識(shí)別人臉人臉檢測(cè)是相機(jī)很好的一個(gè)功能。當(dāng)相機(jī)自動(dòng)選中人臉時(shí)，它可以確保在拍攝時(shí)對(duì)焦到所有人臉。不過，我們使用它另有其因——我們需要找到想要傳遞到流水線下一步的圖像區(qū)域。2000年初的時(shí)候，當(dāng)保羅·比奧拉（PaulViola）和邁克爾·瓊斯（MichaelJones）發(fā)明了一種能夠快速在廉價(jià)相機(jī)上運(yùn)行的人臉檢測(cè)方法之后，人臉檢測(cè)在成為了主流。然而現(xiàn)在，更可靠的解決方案出現(xiàn)了。我們將使用2005年發(fā)明的一種稱為方向梯度直方圖（HistogramofOrientedGradients）的方法，簡(jiǎn)稱HOG。四、用深度學(xué)習(xí)識(shí)別人臉要在一張圖片中找到臉，我們首先將圖像轉(zhuǎn)換為黑白，因?yàn)槲覀儾⒉恍枰伾珨?shù)據(jù)來找到臉：四、用深度學(xué)習(xí)識(shí)別人臉看這個(gè)像素和它周圍的像素，圖像向右上方變暗。如果你對(duì)圖片中的每一個(gè)像素重復(fù)這個(gè)過程，最終每個(gè)像素會(huì)被一個(gè)箭頭取代。這些箭頭被稱為梯度（gradients），它們能顯示出圖像上從明亮到黑暗的流動(dòng)過程：四、用深度學(xué)習(xí)識(shí)別人臉但是保存每個(gè)像素的梯度太過細(xì)節(jié)化了，我們最終很有可能「一葉障目不見泰山」。如果能從更高的角度上觀察基本的明暗流動(dòng)，我們就可以看出圖像的基本規(guī)律，這會(huì)比之前更好。為了做到這一點(diǎn)，我們將圖像分割成一些16×16像素的小方塊。在每個(gè)小方塊中，我們將計(jì)算出每個(gè)主方向上有多少個(gè)梯度（有多少指向上，指向右上，指向右等）。然后我們將用指向性最強(qiáng)那個(gè)方向的箭頭來代替原來的那個(gè)小方塊。最終的結(jié)果是，我們把原始圖像轉(zhuǎn)換成了一個(gè)非常簡(jiǎn)單的表達(dá)形式，這種表達(dá)形式可以用一種簡(jiǎn)單的方式來捕獲面部的基本結(jié)構(gòu)：四、用深度學(xué)習(xí)識(shí)別人臉原始圖像被表示成了HOG形式，以捕獲圖像的主要特征，無論圖像明暗度如何。為了在這個(gè)HOG圖像中找到臉部，我們要所需要做的，就是找到我們的圖像中，與已知的一些HOG圖案中，看起來最相似的部分。這些HOG圖案都是從其他面部訓(xùn)練數(shù)據(jù)中提取出來的：四、用深度學(xué)習(xí)識(shí)別人臉原始圖像被表示成了HOG形式，以捕獲圖像的主要特征，無論圖像明暗度如何。四、用深度學(xué)習(xí)識(shí)別人臉使用這種技術(shù)，我們現(xiàn)在可以輕松地在任何圖片中找到臉部：四、用深度學(xué)習(xí)識(shí)別人臉第二步：臉部的不同姿勢(shì)雖然已經(jīng)把圖片中的臉部分離出來了，但還要處理的問題就是，對(duì)于電腦來說，面朝不同方向的同一張臉，是不同的東西：四、用深度學(xué)習(xí)識(shí)別人臉為了解決這一點(diǎn)，我們將試圖扭曲每個(gè)圖片，使得眼睛和嘴唇總是在圖像中的樣本位置（sampleplace）。這將使我們?cè)诮酉聛淼牟襟E中，更容易比較臉部之間的不同。為此，我們將使用一種稱為面部特征點(diǎn)估計(jì)（facelandmarkestimation）的算法。很多方法都可以做到這一點(diǎn)，但這次我們會(huì)使用由瓦希德·卡奇米（VahidKazemi）和約瑟菲娜·沙利文（JosephineSullivan）在2014年發(fā)明的方法。這一算法的基本思路是找到68個(gè)人臉上普遍存在的特定點(diǎn)（稱為特征點(diǎn)，landmarks）——包括下巴的頂部、每只眼睛的外部輪廓、每條眉毛的內(nèi)部輪廓等。接下來我們訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)算法，讓它能夠在任何臉部找到這68個(gè)特定的點(diǎn)：四、用深度學(xué)習(xí)識(shí)別人臉人臉的68個(gè)特征點(diǎn)測(cè)試圖片上定位68個(gè)特征點(diǎn)的結(jié)果四、用深度學(xué)習(xí)識(shí)別人臉現(xiàn)在，我們知道了眼睛和嘴巴在哪兒，我們將圖像進(jìn)行旋轉(zhuǎn)、縮放和錯(cuò)切，使得眼睛和嘴巴盡可能靠近中心。我們不會(huì)做任何花哨的三維扭曲，因?yàn)檫@會(huì)讓圖像失真。我們只會(huì)使用那些能夠保持圖片相對(duì)平行的基本圖像變換，例如旋轉(zhuǎn)和縮放（稱為仿射變換）：四、用深度學(xué)習(xí)識(shí)別人臉第三步：給臉部編碼現(xiàn)在我們要面臨最核心的問題了——如何區(qū)分不同的人臉。這才是這件事的有趣之處！最簡(jiǎn)單的人臉識(shí)別方法，就是直接把我們?cè)诘诙街邪l(fā)現(xiàn)的未知人臉，與我們已經(jīng)標(biāo)注了的人臉圖片作比較。當(dāng)我們發(fā)現(xiàn)未知的面孔與一個(gè)以前標(biāo)注過的面孔看起來及其相似的時(shí)候，它肯定是同一個(gè)人。似乎這主意看起來不錯(cuò)，對(duì)吧？實(shí)際上這種方法有一個(gè)巨大的問題。像Facebook這種擁有數(shù)十億用戶和數(shù)萬億張照片的網(wǎng)站，是不可能去循環(huán)比較每張先前標(biāo)記的臉的，這浪費(fèi)的時(shí)間太長(zhǎng)了。他們需要在毫秒內(nèi)識(shí)別人臉，而不是幾個(gè)小時(shí)。我們需要的方法是一種從每張人臉上提取一些基本的測(cè)量數(shù)值。然后，我們可以用同樣的方式測(cè)量未知的面孔，并找到最接近測(cè)量數(shù)值的那張已知的臉。例如，我們可以測(cè)量每個(gè)耳朵的大小、眼睛之間的間距、鼻子的長(zhǎng)度等。如果你曾經(jīng)看過像《犯罪現(xiàn)場(chǎng)調(diào)查》這樣的電視劇，你就知道我在說什么了。四、用深度學(xué)習(xí)識(shí)別人臉測(cè)量人臉的最可靠的方法那么我們應(yīng)該測(cè)量面部的哪些數(shù)值，來建立我們的已知臉部數(shù)據(jù)庫(kù)呢？耳朵的大??？鼻子的長(zhǎng)度？眼睛的顏色？還有什么？事實(shí)證明，對(duì)于我們?nèi)祟悂碚f一些顯而易見的測(cè)量值（比如眼睛顏色），對(duì)計(jì)算機(jī)來說沒什么意義。研究人員發(fā)現(xiàn)，最準(zhǔn)確的方法是讓計(jì)算機(jī)自己找出它要收集的測(cè)量值。深度學(xué)習(xí)比人類更懂面部哪些部分的測(cè)量值比較重要。所以，解決方案是訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)。但是，并不是讓它去識(shí)別圖片中的物體，這一次我們的訓(xùn)練是要讓它為臉部生成128個(gè)測(cè)量值。四、用深度學(xué)習(xí)識(shí)別人臉每次訓(xùn)練要觀察三個(gè)不同的臉部圖像：1.加載一張已知的人的面部訓(xùn)練圖像2.加載同一個(gè)人的另一張照片3.加載另外一個(gè)人的照片然后，算法查看它自己為這三個(gè)圖片生成的測(cè)量值。再然后，稍微調(diào)整神經(jīng)網(wǎng)絡(luò)，以確保第一張和第二張生成的測(cè)量值接近，而第二張和第三張生成的測(cè)量值略有不同。四、用深度學(xué)習(xí)識(shí)別人臉在為幾千個(gè)人的數(shù)百萬圖像重復(fù)該步驟數(shù)百萬次之后，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了如何可靠地為每個(gè)人生成128個(gè)測(cè)量值。對(duì)于同一個(gè)人的任何十張不同的照片，它都應(yīng)該給出大致相同的測(cè)量值。四、用深度學(xué)習(xí)識(shí)別人臉機(jī)器學(xué)習(xí)專業(yè)人士把每張臉的128個(gè)測(cè)量值稱為一個(gè)嵌入（embedding）。將復(fù)雜的原始數(shù)據(jù)（如圖片）縮減為可由計(jì)算機(jī)生成的一個(gè)數(shù)列的方法，在機(jī)器學(xué)習(xí)（特別是語言翻譯）中出現(xiàn)了很多次。我們正在使用的這種臉部提取方法是由Google的研究人員在2015年發(fā)明的，但也有許多類似方法存在。四、用深度學(xué)習(xí)識(shí)別人臉臉部圖像編碼這個(gè)通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來輸出臉部嵌入的過程，需要大量的數(shù)據(jù)和強(qiáng)大的計(jì)算能力。即使使用昂貴的NVidiaTelsa顯卡，也需要大約24小時(shí)的連續(xù)訓(xùn)練，才能獲得良好的準(zhǔn)確性。但一旦網(wǎng)絡(luò)訓(xùn)練完成，即使它從來沒有見過這些面孔，它也可以生成這張面孔的測(cè)量值！所以這種訓(xùn)練只需一次即可。幸運(yùn)的是，OpenFace上面的大神(布蘭東·阿莫斯和他的團(tuán)隊(duì))已經(jīng)做完了這些，并且他們發(fā)布了幾個(gè)訓(xùn)練過可以直接使用的網(wǎng)絡(luò)。所以我們需要做的，就是通過他們預(yù)訓(xùn)練的網(wǎng)絡(luò)來處理我們的臉部圖像，以獲得128個(gè)測(cè)量值。四、用深度學(xué)習(xí)識(shí)別人臉那么，這128個(gè)數(shù)字到底測(cè)量了臉部的哪些部分？我們自己當(dāng)然不知道，但是這對(duì)我們并不重要。我們關(guān)心的是，當(dāng)看到同一個(gè)人兩張不同的圖片時(shí)，我們的網(wǎng)絡(luò)需要能得到幾乎相同的數(shù)值。四、用深度學(xué)習(xí)識(shí)別人臉第四步：從編碼中找出人的名字最后這一步實(shí)際上是整個(gè)過程中最簡(jiǎn)單的一步。我們要做的就是找到數(shù)據(jù)庫(kù)中，與我們的測(cè)試圖像的測(cè)量值最接近的那個(gè)人。你可以通過任何基本的機(jī)器學(xué)習(xí)分類算法來達(dá)成這一目標(biāo)。我們并不需要太花哨的深度學(xué)習(xí)技巧。我們可以使用一個(gè)簡(jiǎn)單的線性SVM分類器，但實(shí)際上還有很多其他的分類算法可以使用。我們需要做的是訓(xùn)練一個(gè)分類器，它可以從一個(gè)新的測(cè)試圖像中獲取測(cè)量結(jié)果，并找出最匹配的那個(gè)人。分類器運(yùn)行一次只需要幾毫秒，分類器的結(jié)果就是人的名字！四、用深度學(xué)習(xí)識(shí)別人臉總結(jié)1.使用HOG算法給圖片編碼，以創(chuàng)建圖片的簡(jiǎn)化版本。使用這個(gè)簡(jiǎn)