山世光-人臉識(shí)別技術(shù)概述

人臉識(shí)別技術(shù)概述山世光中科院計(jì)算所1引子人世間找不兩張完全一樣的臉！人臉是人類賴以區(qū)分不同人的基本途徑誰決定了你的長相？基因+成長環(huán)境雙胞胎夫妻相世間一切盡在臉上！2提綱相關(guān)背景人臉識(shí)別的基本原理人臉檢測典型方法人臉識(shí)別的典型方法開放問題及討論3無處不在的身份驗(yàn)證如何證明你的身份？設(shè)想你被警察攔下...傳統(tǒng)方法Whatyouhave身份證，暫住證，結(jié)婚證，工作證，銀行卡，鑰匙...WhatyouknowPassword，information(去清華)...Whatyouare/howyoudo一種新的技術(shù)手段——Biometrics4傳統(tǒng)方法有什么問題？卡、鑰匙丟失青年公寓的鑰匙牌...密碼危機(jī)密碼遺忘紐約每天1000人以上忘記密碼密碼被猜中生日、電話號(hào)碼、車號(hào)、宿舍...Heavywebusershaveanaverageof21passwords;81%ofusersselectacommonpasswordand30%writetheirpasswordsdownorstoretheminafile.(2002NTAMonitorPasswordSurvey)損失2002年，僅美國330萬人次的身份盜用；670萬信用卡詐騙案5一種新的技術(shù)手段生物特征識(shí)別技術(shù)Biometrics什么是Biometrics?Bio——生物Metrics——測量事實(shí)含義通過人體自身的生理特征(whatyouare)或行為特征(howyoudo)進(jìn)行身份驗(yàn)證的技術(shù)6Biometrics生理特征(whatyouare)Finger,face,palm,hand,foot,iris,vein...行為特征(howyoudo)步態(tài)，聲音，敲擊鍵盤，簽名...人人擁有，人各不同！7生物特征識(shí)別技術(shù)(Biometrics)8Biometrics孰優(yōu)孰劣？Universality(alluserspossessthisbiometric)Uniqueness(variesacrossusers)Permanence(doesnotchangeovertime)Collectability

(canbemeasuredquantitatively)Performance(Lowerrorratesandprocessingtime)Acceptability(isitacceptabletotheusers?)Circumvention(canitbeeasilyspoofed?)9Biometrics比較BiometricsUniversalityUniquenessPermanenceCollectabilityPerformanceAcceptabilityCircumventionFaceHLMHLHLFingerprintMHHMHMLHandGeometryMMMHMMMIrisHHHMHLHRetinalScanHHMLHLHSignatureLLLHLHLVoiceMLLMLHLFacialThermogramHHLHMHH10為什么要做人臉識(shí)別？多學(xué)科領(lǐng)域的挑戰(zhàn)性難題模式識(shí)別：最典型、最困難的模式識(shí)別問題人工智能：人類智能的基本體現(xiàn)計(jì)算機(jī)視覺：實(shí)現(xiàn)人眼的功能下一代人機(jī)交互讓計(jì)算機(jī)不再“熟視無睹”讓計(jì)算機(jī)具有人類的情感廣泛的應(yīng)用前景…人臉識(shí)別相比其他生物特征識(shí)別的優(yōu)勢…

11應(yīng)用模式典型具體應(yīng)用特點(diǎn)說明應(yīng)用領(lǐng)域身份識(shí)別出入境管理過濾敏感人物（間諜、恐怖分子等）國家安全公共安全嫌疑人照片比對(duì)公安系統(tǒng)用于確定犯罪嫌疑人身份敏感人物智能監(jiān)控監(jiān)控敏感人物（間諜、恐怖分子等）網(wǎng)上追逃在PDA等移動(dòng)終端上進(jìn)行現(xiàn)場比對(duì)會(huì)議代表身份識(shí)別防止非法人員進(jìn)入會(huì)場帶來危險(xiǎn)因素關(guān)鍵場所視頻監(jiān)控如銀行大廳，預(yù)警可能的不安全因素家政服務(wù)機(jī)器人能夠識(shí)別家庭成員的智能機(jī)器人人機(jī)交互自動(dòng)系統(tǒng)登陸自動(dòng)識(shí)別用戶身份，提供個(gè)性化界面智能Agent自動(dòng)識(shí)別用戶身份，提供個(gè)性化界面真實(shí)感虛擬游戲提供真實(shí)感的人物面像，增加交互性身份驗(yàn)證護(hù)照、身份證、駕照等各類證件查驗(yàn)海關(guān)、港口、機(jī)要部門等查驗(yàn)持證人的身份是否合法公共安全準(zhǔn)考證查驗(yàn)防止替考問題教育機(jī)要部門物理門禁避免鑰匙和密碼被竊取造成失竊公共安全機(jī)要信息系統(tǒng)門禁避免單純的密碼被竊取造成信息被竊信息安全面像考勤系統(tǒng)方便，快捷，杜絕代考勤問題企業(yè)應(yīng)用金融用戶身份驗(yàn)證避免單純的密碼被竊取造成財(cái)產(chǎn)損失金融安全電子商務(wù)身份驗(yàn)證安全可靠的身份驗(yàn)證手段金融安全智能卡安全可靠的授權(quán)信息安全會(huì)議代表身份驗(yàn)證防止非法人員進(jìn)入會(huì)場帶來危險(xiǎn)因素公共安全屏幕保護(hù)程序方便快捷的允許合法用戶打開屏保人機(jī)交互12人臉識(shí)別相關(guān)研究內(nèi)容生物特征識(shí)別人臉、指紋、虹膜、視網(wǎng)膜、掌紋、人機(jī)交互(HCI)人臉圖像編碼/壓縮表情分析，情感計(jì)算人臉動(dòng)畫faceanimation人臉屬性分類種族、性別、年齡Attractiveness判別13與其他生物特征識(shí)別的比較生物特征識(shí)別：未來的身份驗(yàn)證方法！生物：指紋、虹膜、人臉、掌紋、手形、視網(wǎng)膜、紅外溫譜行為：筆跡、步態(tài)、聲紋人臉識(shí)別的優(yōu)點(diǎn)可以隱蔽操作，特別適用于安全問題、罪犯監(jiān)控與抓逃應(yīng)用非接觸式采集，沒有侵犯性，容易接受方便、快捷、強(qiáng)大的事后追蹤能力符合我們?nèi)祟惖淖R(shí)別習(xí)慣，可交互性強(qiáng)，無需專家評(píng)判人臉識(shí)別的不足不同人臉的相似性大安全性低，識(shí)別性能受外界條件的影響非常大14技術(shù)挑戰(zhàn)15Fromthesameperson?Yes?No?…16沒有想象的那么簡單！Howmanyindividualsinthispicture?17沒有想象的那么簡單！Howmanyindividualsinthispicture?18人臉識(shí)別的基本原理

及其計(jì)算模型探討19我們?nèi)祟惪渴裁醋R(shí)別？天賦的能力還是后天獲得的？臉形，面部器官結(jié)構(gòu)國田由用，目甲風(fēng)申皮膚和膚色光滑/粗糙，黝黑/白皙局部特性黑痣，刀疤，鷹勾鼻子，獨(dú)眼龍動(dòng)態(tài)特征酒窩，皺紋20人類視覺識(shí)別系統(tǒng)特性簡介及其借鑒意義

人臉識(shí)別是否是一個(gè)特定的過程？證據(jù)：“人臉識(shí)別能力缺失癥（Prosopagnosia）”患者的存在，患有此癥的人可以正常的識(shí)別其他物體，甚至可以正確的識(shí)別鼻子眼睛和嘴巴等面部器官，但是就是不能認(rèn)出熟悉的人臉，因此有理由懷疑其人臉識(shí)別功能區(qū)遭到了破壞。全局特征與局部特征孰輕孰重？全局特征主要包括人臉的膚色特征（比如白皙、黝黑）、總體輪廓（比如圓臉、鴨蛋臉、方臉、長臉等）、以及面部五官的分布特征（比如，在繪畫界就有“國田由用，目甲風(fēng)申”8種臉形之說），中醫(yī)也將人臉按照總體結(jié)構(gòu)特征劃分為“金木水火土”五行（側(cè)重人臉3D結(jié)構(gòu)和肌肉凸凹情況）而局部特征則主要指面部五官的特點(diǎn)，比如濃眉毛、丹鳳眼、鷹勾鼻、大豁嘴、八字胡須、尖下巴等，以及面部的一些奇異特征，比如黑痣、傷痕、酒窩等等二者對(duì)識(shí)別都是必要的，但全局特征一般用來進(jìn)行粗略的匹配，局部特征則提供更為精細(xì)的確認(rèn)。

21局部特征vs

全局特征明星漫畫：夸大了獨(dú)特之處問題：Howtofindthesesalientfeaturesautomatically?22平均臉23局部特征vs

全局特征ThatcherIllusion24人類視覺識(shí)別系統(tǒng)特性簡介及其借鑒意義面部特征對(duì)識(shí)別的重要性分析不同的面部區(qū)域?qū)θ四樧R(shí)別的重要性是不同的，一般認(rèn)為面部輪廓、眼睛和嘴巴等特征對(duì)人臉識(shí)別是更重要的，人臉的上半?yún)^(qū)域?qū)ψR(shí)別的意義明顯比下半?yún)^(qū)域重要；鼻子在側(cè)面人臉識(shí)別中的重要性要高于其他特征異族人臉識(shí)別困難現(xiàn)象這涉及到識(shí)別算法的適應(yīng)性和泛化能力問題，一方面可能需要盡可能大的學(xué)習(xí)集，另一方面也需要學(xué)習(xí)集必須具有較大的覆蓋能力性別和年齡階段對(duì)于識(shí)別性能的影響女性要比男性更難識(shí)別；年輕人比老年人更難識(shí)別頻域特性與人臉識(shí)別的關(guān)系低頻分量其實(shí)更多的是對(duì)人臉圖像外觀總體分布特性的描述，而高頻分量則對(duì)應(yīng)局部的細(xì)節(jié)變化要想保留某人面部的一顆黑痣的信息，高頻分量是無能為力的，必須保留足夠的高頻分量才可以

25Mark26人類視覺識(shí)別系統(tǒng)特性簡介及其借鑒意義特異度對(duì)人臉識(shí)別的影響最“漂亮的”、最“丑陋的”、最“奇異的”的人臉都是最容易被記住的，而大眾化的人臉則不太容易被記住“大眾臉”并不等于“平均臉”，大眾臉是指經(jīng)?？梢砸姷降摹澳槨?，而“平均臉”并不多見光照變化與人臉識(shí)別反相照片（負(fù)片）的識(shí)別時(shí)很困難的；下方光源人臉圖像難以識(shí)別姿態(tài)不變性不變性？運(yùn)動(dòng)人臉圖像序列提供了更多的信息27人臉識(shí)別的分類傳感器可見光——模擬眼睛紅外主動(dòng)被動(dòng)3D人臉識(shí)別輸入模式靜態(tài)照片動(dòng)態(tài)視頻序列28基于可見光的人臉識(shí)別通常我們所說的人臉識(shí)別是基于可見光人臉圖像的身份識(shí)別與驗(yàn)證的簡稱光學(xué)人臉圖像（以下簡稱人臉圖像）是外界光源（包括太陽光、室內(nèi)人造光源和其他物體表面反射而來的光線）發(fā)出的光線照射在人臉上，經(jīng)人臉表面反射后傳輸?shù)綌z像機(jī)傳感器的光線強(qiáng)度的度量。

入射光反射光29簡化的人臉成像模型Lambert反射模型（漫反射模型）分別為物體表面點(diǎn)漫反射系數(shù)，法向量方向，光源的方向，二者夾角；k為入射光強(qiáng)度與視點(diǎn)無關(guān)（區(qū)別鏡面反射）30人臉圖像的生成要素人臉圖像實(shí)際上是三大類關(guān)鍵要素共同作用的結(jié)果人臉內(nèi)部屬性F人臉3D形狀（表面法向量方向）包括人臉表面的反射屬性（包括反射系數(shù)等，通常簡稱為紋理）人臉表情、胡須等屬性的變化；外部成像條件L包括光源（位置和強(qiáng)度等）其他物體或者人體其他部件對(duì)人臉的遮擋（比如眼鏡、帽子、頭發(fā)）等。攝像機(jī)成像參數(shù)C包括攝像機(jī)位置（視點(diǎn)）、攝像機(jī)的焦距、光圈、快門速度等內(nèi)外部參數(shù)

對(duì)識(shí)別人臉無益的干擾因素！31理想的識(shí)別模型從人臉圖像中剝離出人臉穩(wěn)定不變的本質(zhì)屬性（3D形狀與表面反射率）外界條件及其攝像參數(shù)變化導(dǎo)致的圖像變化然后，從3D形狀與表面反射率屬性中提取不同人臉的差異信息，饋入到后端的判別分類器中進(jìn)行識(shí)別遺憾一個(gè)病態(tài)問題！32退而求其次…目前的多數(shù)系統(tǒng)采用的人臉建模方法仍然停留在圖像層面上，并沒有顯式地分離出3D形狀和紋理的步驟而是直接通過從“圖像”中提取人臉表示特征并進(jìn)行分類來完成識(shí)別2D結(jié)構(gòu)信息——基于幾何結(jié)構(gòu)的人臉特征出現(xiàn)了少量利用3D信息進(jìn)行識(shí)別的方法：Morphablemodels2D圖像灰度數(shù)據(jù)統(tǒng)計(jì)特征—如模板匹配,Eigenface,Fisherface2D圖像變換特征——如Gabor,DCT,FFT…2D圖像的低維子空間分布線性：子空間，光照錐非線性：Kernel學(xué)習(xí)，流形等主流：Appearance-basedmethods33從“圖像”中識(shí)別的道理何在？“圖像”中包含什么？亮度變化(影調(diào)，shading)、陰影等反應(yīng)了3D形狀A(yù)lbedo()：表面反射率表面反射率表面皮膚材質(zhì)特別是五官區(qū)域34問題分解人臉識(shí)別/確認(rèn)面部特征定位人臉檢測X=(x1,x2,…

,xn)35FaceDetection36自動(dòng)人臉識(shí)別系統(tǒng)37FaceRecognition38基于幾何特征的例子建模：用面部關(guān)鍵特征的相對(duì)位置、大小、形狀、面積等參數(shù)來描述人臉人臉圖像f特征向量v

v

=(x1,x2,…,xn)對(duì)所有已知人臉提取同樣描述的幾何特征

D={v1,v2,..,vp}待識(shí)別的人臉f提取的幾何特征為vf計(jì)算vf與D中所有vi的相似度s(vf,vi)(比如歐式距離、cosine(.)等)，進(jìn)行排序根據(jù)相似度最大的已知人臉的身份即可判斷待識(shí)別人臉的身份信息39國內(nèi)外研究現(xiàn)狀及其分析40國內(nèi)外研究現(xiàn)狀——研究機(jī)構(gòu)國外研究機(jī)構(gòu)情況以美歐為主，各知名大學(xué)、研究所、企業(yè)研究院均設(shè)立了與人臉識(shí)別相關(guān)的研究組大學(xué)：CMU,MIT,UMD,USC,MichiganStateUniversity,UCLA,UniversityofManchester,UniversityofSurrey…評(píng)測：FERET(94-97),FRVT(2000/2002/2006),(X)M2VTS,FVC…國內(nèi)研究機(jī)構(gòu)簡況大學(xué)：清華大學(xué)3家，哈爾濱工業(yè)大學(xué)，中山大學(xué)，南京理工大學(xué)，南京大學(xué)，上海交大，浙大，北交大…研究所：計(jì)算所，自動(dòng)化所等41人臉識(shí)別的最高學(xué)術(shù)水平1997FERET測試結(jié)果測試類(訓(xùn)練/測試數(shù))最高識(shí)別率(大學(xué)，方法)

所有參評(píng)方法的平均識(shí)別率FB(1196/1195)96%(UMD,PCA+LDA) 83%FC(1196/194) 82%(USC,EBGM) 30%DI(1196/722) 59%(USC,EBGM) 40%DII(864/234) 51%(USC,EBGM) 21%#數(shù)據(jù)來源：2000年P(guān).J.Phillips的PAMI文章

*說明（四種測試類均為正面人臉照片，略有表情變化，無眼鏡等飾物）：FB：訓(xùn)練、測試集同一采集過程中在嚴(yán)格控制的光照條件下采集，略有表情變化，視覺效果上與訓(xùn)練集數(shù)據(jù)相差不大；FC：訓(xùn)練、測試集同一采集過程中不同攝像頭，有光照變化；DI：訓(xùn)練、測試集同一年內(nèi)，不同時(shí)間采集，有光照變化DII：一年后，不同攝像頭，不同光照條件42人臉識(shí)別的最高學(xué)術(shù)水平FERET測試(大于等于1196人的人臉庫上測試)*在同一攝像條件下采集的正面圖像識(shí)別中，典型的識(shí)別率為95%以上而對(duì)用不同的攝像機(jī)和不同的光照條件采集的正面測試圖像，典型的識(shí)別率驟降為80%以下而對(duì)一年后采集的正面測試圖像，最大的準(zhǔn)確率也僅僅接近50%*來源于2000年發(fā)表在PAMI上的文章，實(shí)際測試在1997年進(jìn)行性能下降很快！43從評(píng)測看當(dāng)前人臉識(shí)別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）人臉識(shí)別(Identification)最高首選識(shí)別率73%人臉驗(yàn)證(Verification)的等錯(cuò)誤率大約為5%-7%錯(cuò)誤接收率為0.01%時(shí)，最低錯(cuò)誤拒絕率30%左右錯(cuò)誤接受率為0.1%時(shí)，最低錯(cuò)誤拒絕率18%左右錯(cuò)誤接受率為1%時(shí)，最低錯(cuò)誤拒絕率10%左右44從評(píng)測看當(dāng)前人臉識(shí)別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯(cuò)誤接受率為1%)Gallery:787人正面中性表情，室內(nèi)為白熾燈光源室外同一天Probe庫包括435人(444幅圖像)，首選識(shí)別率54%室外152-505天之間的Probe庫包括103人(145幅圖像)，首選識(shí)別率46%45從評(píng)測看當(dāng)前人臉識(shí)別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯(cuò)誤接受率為1%)不同的姿態(tài)測試(Verification，錯(cuò)誤接受率為1%測試圖像為同樣光照)87人正面圖像作為Gallery左轉(zhuǎn)45度：40%右轉(zhuǎn)45度：55%抬頭30度：47%低頭30度：55%46從評(píng)測看當(dāng)前人臉識(shí)別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯(cuò)誤接受率為1%)不同的姿態(tài)測試(Verification，錯(cuò)誤接受率為1%測試圖像為同樣光照時(shí)間跨度問題對(duì)大約3年后的照片，在錯(cuò)誤接受率為1%時(shí)最高首選識(shí)別率60%左右而錯(cuò)誤拒絕率為15%47從評(píng)測看當(dāng)前人臉識(shí)別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識(shí)別系統(tǒng)識(shí)別率95%左右非理想條件下，200人左右正面人臉識(shí)別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯(cuò)誤接受率為1%)不同的姿態(tài)測試(Verification，錯(cuò)誤接受率為1%測試圖像為同樣光照時(shí)間跨度問題其它結(jié)論對(duì)視頻序列圖像的識(shí)別效果并不比對(duì)靜態(tài)圖像的識(shí)別效果好?數(shù)據(jù)庫的規(guī)模每增加一倍，總體性能下降大約2到3個(gè)百分點(diǎn)男性比女性更易于識(shí)別年輕人比老年人難識(shí)別48國際研究現(xiàn)狀在比較良好的環(huán)境條件情況下，對(duì)1000人左右基本正面人臉進(jìn)行識(shí)別的性能：首選識(shí)別率：95%以上等錯(cuò)誤率：2%以下在環(huán)境比較糟糕的情況下，對(duì)基本正面人臉進(jìn)行識(shí)別的性能：首選識(shí)別率：80%以下等錯(cuò)誤率：10%以上49WhoiswhoinFRcommunitySimonBaker,&T.Kanade,CMUThomasVetterRamaChellappaBaback

MoghaddamAlexPentlandMichaelBlackPeterBelhumeurDavidKriegmanDavidYacobsRonenBasriAmnon

ShashuaSeong-WhanLeeC.vonMalsburgMatti

Pietik?inenT.PoggioA.ShashuaPaulViolaHarryWechlerTimCootesJosefKittlerJonathanPhillipsAliceO'TooleMatthewTurkTomHuangXiaoouTangWenyiZhaoChengjunLiuZhengyouZhangM.H.YangJieYangHaizhouAi…Toomanytolistallhere.50人臉圖像數(shù)據(jù)庫人臉庫FERET人臉庫，1196人CMU-PIE姿態(tài)光照表情人臉庫，68人CAS-PEAL人臉庫,1040人,姿態(tài)表情飾物光照AR人臉庫，126人XM2VTS多模態(tài)人臉庫，200多人YaleFaceDatabaseB光照人臉庫，10人ORL,40人，Yale15人51文獻(xiàn)來源ProceedingofthefolLingconferencesCVPR,ICCV,ECCV,FG,ICPRJournalsIJCVIEEETrans.onPAMI,IP,NN,KDE,SMC(A/B)PatternRecognition,PatternRecognitionLettersImageandVisionComputingCVIUNeurocomputationNeurocomputing52國際商業(yè)系統(tǒng)國際上比較著名的商業(yè)系統(tǒng)CognitecAG——FaceVACSIdentix

(LFA)——FaceItNevenVisionVissageFaceFINDER?來自ViisageTechnologyInc.(PCA)Hunter?來自LAUTechnologies

(PCA)FaceSnap?RECORDER來自C-VIS(EBGM)TrueFace來自eTrueInc.(NeuralNetwork)SpotIt!來自ITCBioID

…53人臉檢測典型方法介紹54人臉檢測方法基于規(guī)則/知識(shí)方法人臉模式的變化滿足一定的規(guī)律，所以可以歸納描述人臉特征的規(guī)則，如灰度分布、比例關(guān)系、紋理信息等基于模板的方法固定模板法，可變形模板法基于不變特征的方法，如彩色信息人臉的膚色在彩色空間中的分布相對(duì)比較集中，所以可用來檢測和跟蹤人臉?；谕庥^學(xué)習(xí)的方法---目前的主流方法將人臉檢測視為區(qū)分“非人臉樣本”與“人臉樣本”的模式識(shí)別問題，通過對(duì)人臉樣本集和非人臉樣本集的學(xué)習(xí)產(chǎn)生分類器55基于膚色特征的檢測在很多人臉檢測和手的跟蹤應(yīng)用中，人的膚色信息已被證明是一種非常有效的特征有很多顏色空間可用來表征膚色，包括RGB,normalizedRGB,HSV(orHSI),YIQ,YES,CIEXYZ,和CIELUV等有許多建立膚色模型的方法最簡單的方法是用Cr,Cb值定義膚色區(qū)域，選定閾值[Cr1,Cr2]和[Cb1,Cb2]一個(gè)像素點(diǎn)被歸為膚色點(diǎn)，如果它的(Cr,Cb)值落入下面的范圍：Cr1≤Cr≤Cr2andCb1≤Cb≤Cb256多種膚色模型J.L.CrowleyandF.Berard,“Multi-modeltrackingoffacesforvideocommunications將膚色區(qū)域的RGB顏色歸一化，用其中的(r,g)值的顏色直方圖h(r,g)獲取膚色變量的閾值M.H.Yang,N.Ahuja,“Detectinghumanfacesincolorimages”認(rèn)為人臉膚色區(qū)域的顏色值呈高斯分布，用高斯分布的均值和方差確定膚色變量的閾值T.S.JebaraandA.Pentland,“Parameterizedstructurefrommotionfro3Dadaptivefeedbacktrackingoffaces”認(rèn)為不同的種族和國家的人的膚色分布不同，在顏色直方圖上形成多個(gè)聚類，可用高斯混合模型來表示57顏色空間RGB到“rg”空間RGB到Y(jié)UV(YCrCb)空間，再轉(zhuǎn)化到“FI”空間58高斯膚色模型一元正態(tài)分布膚色模型（以F顏色特征為例）59高斯膚色模型二元正態(tài)分布膚色模型（以rg顏色特征為例）60

多人臉訓(xùn)練膚色模型訓(xùn)練膚色模型手工標(biāo)注部分人臉(膚色區(qū)域)人臉圖像統(tǒng)計(jì)方法得到設(shè)置合適的閾值截?cái)鄿y試階段逐像素判斷其是否在設(shè)定的膚色

特征范圍內(nèi)rg61提取膚色區(qū)域

對(duì)檢測到的膚色區(qū)域進(jìn)行分析接近橢圓形有部分非膚色區(qū)域(五官、頭發(fā))62膚色模型的缺點(diǎn)膚色模型難以適應(yīng)各種環(huán)境光照變化對(duì)于背景和前景的光照變化，膚色通常不穩(wěn)定單純的膚色信息對(duì)于人臉檢測通常是不充分的如何適應(yīng)在不同光照下的人臉跟蹤如果環(huán)境光照有變化，原有的膚色模型可能不再適用，如何建立一個(gè)自適應(yīng)的膚色模型需要進(jìn)一步的研究63基于Appearance的方法ANNSVMNa?veBayesClassifierAdaBoost遍歷所有可能的“矩形窗口”，判斷每個(gè)小窗口是否人臉？64基于AdaBoost

的快速人臉檢測65AdaBoost算法簡介在2001年的ICCV上，當(dāng)時(shí)在Compaq的研究員PaulViola和MichaelJ.Jones發(fā)表的文章介紹一個(gè)實(shí)時(shí)人臉檢測系統(tǒng)圖像大小為384x288時(shí)，其速度是平均每秒15幀第一個(gè)準(zhǔn)實(shí)時(shí)的(準(zhǔn)正面)人臉檢測系統(tǒng)可以較容易的擴(kuò)展到多姿態(tài)人臉檢測系統(tǒng)在技術(shù)上的三個(gè)貢獻(xiàn)：1.用簡單的Haar-like矩形特征作特征，可快速計(jì)算2.基于AdaBoost的分類器設(shè)計(jì)3.采用了Cascade(分級(jí)分類器)技術(shù)提高檢測速度66人臉的特征表示方法矩形特征（Haar-like特征）矩形特征的值是所有白色矩形中點(diǎn)的亮度值的和減去所有灰色矩形中點(diǎn)的亮度值的和，所得到的差有4種類型的矩形特征67Haar-like特征的表示具體特征可以用一個(gè)五元組表示r(x,y,w,h,style)比如：r(2,2,4,2,A)表示下面的特征特征值即為白色四個(gè)像素與黑色四個(gè)像素的差值

68問題如何快速計(jì)算任意矩形內(nèi)

所有像素的亮度之和？請(qǐng)大家設(shè)計(jì)一個(gè)算法要求計(jì)算量盡可能的小69需要一幅輔助圖像（積分圖）如下圖所示：特征的快速計(jì)算ii(x,y)=該點(diǎn)左上面(紅色)區(qū)域內(nèi)所有像素值的和！

?￡￡=yyxxyxiyxii',')','(),(70從左到右、從上到下掃描一遍圖像，對(duì)圖像進(jìn)行如下操作，得到每個(gè)像素位置的積分圖像ii(x,y)ii(x,y)=ii(x,y-1)+s(x,y)s(x,y)=s(x-1,y)+I(x,y) 積分圖的計(jì)算I(x,y)棕紅色區(qū)域面積

ii(x,y-1)黃色區(qū)域面積s(x,y)

71Haar-Like特征的快速計(jì)算矩形特征的計(jì)算像素點(diǎn)1的積分值是矩形A中所有點(diǎn)的亮度值的和像素點(diǎn)2的積分值是A+B像素點(diǎn)3的積分值是A+C，像素點(diǎn)4的積分值是A+B+C+D.矩形D內(nèi)像素積分值：ii(4)－[ii(2)＋ii(3)]＋ii(1)72輸入圖像積分圖像基于積分圖像的Haar-like特征計(jì)算73何以快速？全部為定點(diǎn)加/減法操作！矩形區(qū)域和：2次加法1次減法矩形特征計(jì)算：1次減法，或2次減法，或者2次加法1次減法沒有乘法！74AdaBoost分類器AdaBoost分類器Adaboost學(xué)習(xí)算法是用來提高簡單分類算法的性能的通過對(duì)一些弱分類器的組合來形成一個(gè)強(qiáng)分類器功能將分類性能不好的弱分類器提升為分類性能好的強(qiáng)分類器的學(xué)習(xí)算法思想學(xué)習(xí)一系列分類器，在這個(gè)序列中每一個(gè)分類器對(duì)它前一個(gè)分類器導(dǎo)致的錯(cuò)誤分類樣例給予更大的重視75AdaBoost用于人臉模式分類弱分類器其中，h表示弱分類器的值，表示弱學(xué)習(xí)算法尋找出的閾值，表示特征值，表示一個(gè)Harr-like特征。fi正例

(人臉)反例

(非人臉)76AdaBoost用于人臉模式分類輸入1.訓(xùn)練用人臉和非臉樣本2.指定要挑選出來的弱分類器的數(shù)目T這也是程序循環(huán)的次數(shù)

3.利用先驗(yàn)知識(shí)初始化權(quán)值向量一般可以平均設(shè)置77Adaboost學(xué)習(xí)算法流程挑選出的分類器數(shù)目<T？挑選錯(cuò)誤率最小的弱分類器加入強(qiáng)分類器，根據(jù)其錯(cuò)誤率計(jì)算其在強(qiáng)分類器中的系數(shù)。根據(jù)挑選出的分類器的錯(cuò)誤率更改每個(gè)樣本的權(quán)值，正確的權(quán)值減小，錯(cuò)誤的權(quán)值不變應(yīng)用當(dāng)前樣本的權(quán)值，計(jì)算每個(gè)弱分類器的錯(cuò)誤率否結(jié)束是78AdaBoost學(xué)習(xí)算法輸入訓(xùn)練樣本集合(x1,y1),

(x2,y2),...,(xn,yn)

其中：每個(gè)樣本固定大小如20x20像素計(jì)算全部可能的Haar-like特征（數(shù)十萬個(gè)）訓(xùn)練樣本可能多達(dá)100,000個(gè)初始化T，初始化每個(gè)樣本的權(quán)重79AdaBoost學(xué)習(xí)算法學(xué)習(xí)流程Fort=1,...,T1.歸一化權(quán)重，使得wt為一個(gè)概率分布：2.對(duì)每個(gè)特征j，訓(xùn)練一個(gè)弱分類器hj

并計(jì)算其帶權(quán)重的錯(cuò)誤率3.選擇誤差最小的弱分類器ht4.更新每個(gè)樣本的權(quán)重

其中：xi被正確分類，ei=0，否則ei=1正確分類則權(quán)重下降，否則不變；錯(cuò)誤率越小，Beta也越小80AdaBoost學(xué)習(xí)算法最終得到的強(qiáng)分類器弱分類器錯(cuò)誤率越小，β就越小，α就越大H(x)為+，則為正例（人臉）H(x)為-，則為反例（非人臉）81人臉檢測器怎么應(yīng)用？82檢測系統(tǒng)的構(gòu)建——遍歷所有位置83檢測系統(tǒng)的構(gòu)建——遍歷不同大小84如何進(jìn)一步加速？遍歷所有可能的位置、大小，需要做多少次分類？320x240圖像，20x20模板，每次走1個(gè)像素，尺度縮小因子0.9，則大約有：300x220+278x196+240x174+213x155+190x137+169x122+150x108+133x95+118x83+103x73+91x64+80x55+...=30多萬如果再考慮3個(gè)角度的旋轉(zhuǎn)，

則會(huì)超過100萬次分類！問題如何進(jìn)一步加速？85類比一下分析非人臉模式里面大量與人臉極其不同！只有少量的模式很難與人臉分開！類比篩沙子輸入：巨石，大石頭，小石頭，沙礫，粗沙，細(xì)沙目標(biāo)：只留下細(xì)沙（人臉）假設(shè)：大孔篩子容易做便宜，小細(xì)孔篩子難做昂貴方法1只用一個(gè)篩子，網(wǎng)眼非常小，所有的都要過這個(gè)篩子方法2用一系列篩子，網(wǎng)眼從大到小非常容易被截住的巨石首先被排除，然后是大石頭，再是小石頭，沙礫，粗沙，最后是細(xì)沙86基于AdaBoost的快速人臉檢測基于分級(jí)分類器的加速策略大量候選窗口可以利用非常少量的特征（簡單快速的分類器）就可以排除是人臉的可能性！只有極少數(shù)需要大量的特征（更復(fù)雜的更慢的分類器來判別是否人臉）87分級(jí)分類器的構(gòu)建采用由粗到細(xì)的思想（coarsetofine）將少量區(qū)分性好的特征構(gòu)成的簡單分類器置于前面若干層效果：放過檢測絕大多數(shù)人臉的同時(shí)，排除大量非臉后面層包含更多次重要的特征對(duì)非臉進(jìn)行進(jìn)一步排除訓(xùn)練方法關(guān)鍵思路每層訓(xùn)練用非臉樣本使用前面層分類器誤判為人臉的那些樣本88檢測過程流程圖AdaBoostLearnerFeaturesetFeatureSelect&ClassifierStage1False(Reject)AdaBoostLearnerStage2PassFalse(Reject)AdaBoostLearnerStage3PassFalse(Reject)Rejectasmanynegativesaspossible(minimizethefalsenegative)100%DetectionRate50%FalsePositive89分級(jí)分類器的訓(xùn)練算法90一些檢測結(jié)果91Project2人臉檢測系統(tǒng)兩種可選的方法基于膚色模型的方法最多2人1組基于AdaBoost的方法不要求大家實(shí)現(xiàn)Cascade，只需要實(shí)現(xiàn)AdaBoost即可最多3人1組92人臉識(shí)別的主要方法93發(fā)展階段1964~19901991~19971998-Current

主要特征作為一般識(shí)別問題被研究；基于特征的方法是主流重點(diǎn)解決的是較理想條件下、用戶配合、中小規(guī)模人臉數(shù)據(jù)庫上的人臉識(shí)別問題；基于Appearance的2D人臉圖像線性子空間分析和統(tǒng)計(jì)模式識(shí)別方法是主流；重點(diǎn)研究非理想條件下、用戶不配合、大規(guī)模人臉數(shù)據(jù)庫上的人臉識(shí)別問題；基于3D模型和非線性建模的方法等可能是發(fā)展趨勢代表性的人臉識(shí)別技術(shù)與方法及其關(guān)鍵性事件和作品已知的最早的自動(dòng)人臉識(shí)別研究論文Bledsoe[1964]Eigenface[Turk&Pentland,1991]光照錐技術(shù)Georghiades,Kriegman，Belhumeur，1998]

基于特征的方法與基于模板的方法的對(duì)比

[Brunelli&Poggio，1992]支持向量機(jī)SVM用于人臉識(shí)別中[Phillips,1999]第一個(gè)半自動(dòng)人臉識(shí)別系統(tǒng)美國DARPA啟動(dòng)FERET測試項(xiàng)目

[Philips&Moon1994,1995]3D可變形模型[Vetter,1999]第一篇自動(dòng)人臉識(shí)別方面的博士論文[Kanade,1973]局部特征分析（LFA）人臉識(shí)別方法發(fā)展成為Visionics公司FaceIt商業(yè)系統(tǒng)[Atick,1995]基于AdaBoost的人臉檢測技術(shù)[Viola,1999]

基于剪影分析的（Profile）人臉識(shí)別基于雙子空間的貝葉斯概率學(xué)習(xí)[Moghaddam，1995]FaceRecognitionVendorTest2000[FRVT測試2000]

人臉識(shí)別研究綜述[Chellappa,1995]朗博反射與線性子空間分析[Basri&Jacobs,2001]

人臉的低維表示[Sirovich&Kirby,1987，1990]Fisherface[Belhumeur,1997]基于商圖像的人臉識(shí)別方法[Shashua,2001]

彈性圖匹配技術(shù)[Wiskott，1997]人臉檢測綜述[Yang&Kriegman,2002]

柔性模型，ASM,AAM[Cootes&Taylor,1997]FRVT2002測試

FERET’1996測試

[Philips&Moon,1996]

技術(shù)特點(diǎn)基于特征的方法基于模板的方法

---基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法---

---統(tǒng)計(jì)學(xué)習(xí)理論

---基于Appearance的2D人臉子空間分析與建模

---非線性流形分析技術(shù)

基于2D圖像模型的人臉識(shí)別基于3D模型的人臉識(shí)別

94典型方法基于幾何特征的識(shí)別方法基于模板匹配的識(shí)別方法基于AdaBoost的人臉檢測特征臉(Eigenface)可變形模板方法主動(dòng)模型ASM/AAMFisherface,subspaceLDA雙子空間貝葉斯判別方法3DMorphableModelElasticGraphMatching局部特征分析(LFA)其他SVMrelatedLFArelatedGaborfeaturebasedmethodsIlluminationconesQuotientimagesSphericalharmonicsandLinearsubspacesAdaBoost-basedfacerecognitionManifoldanalysisfornon-linearmodelingICA,kernellearning,ISOMAP,LLE95重點(diǎn)介紹的幾個(gè)方法特征定位可變形模板方法ASM/AAM基礎(chǔ)知識(shí)：主成分分析識(shí)別方法基于幾何特征的識(shí)別方法基于模板匹配的識(shí)別方法特征臉(Eigenface)Fisherface雙子空間貝葉斯判別方法3DMorphableModel局部特征與全局特征的融合96基于可變形模板

的面部特征自動(dòng)定位97面部特征提取可變形模板匹配DeformableTemplate98用可變形模板進(jìn)行面部特征定位可變形模板概念要點(diǎn)模板T：器官形狀的參數(shù)描述形式(先驗(yàn))直線、圓、拋物線、四次曲線等能量函數(shù)F=S(Tp,I)參數(shù)p定義的模板Tp與輸入圖像I的匹配程度參數(shù)優(yōu)化問題

多參數(shù)非線性函數(shù)極小化p*=arg

minp(F)梯度下降法坐標(biāo)輪換法其它優(yōu)化算法99特征形狀模板100可變形模板——以下巴檢測為例參數(shù):(xc,yc),a,b,c,左側(cè)拋物線:右側(cè)拋物線:能量函數(shù):其中:上：模板；下：邊緣圖101搜索流程102檢測結(jié)果103基于主動(dòng)模型的特征定位方法PCAASMAAM104主成分分析PCA方法105主成分分析PCA概況問題描述為給定輸入：n維圖像空間中的m個(gè)點(diǎn)（圖像）尋求一個(gè)維的變換矩陣使得，各維之間數(shù)據(jù)的相關(guān)性最小——亦即一個(gè)去相關(guān)的過程Wy’xyxix’yi如何去相關(guān)？相關(guān)性的度量：協(xié)方差兩個(gè)隨機(jī)變量ξη各自離差的乘積的數(shù)學(xué)期望稱為這兩個(gè)隨機(jī)變量的協(xié)方差（也叫相關(guān)矩），記作：協(xié)方差矩陣隨機(jī)向量X=(x1,x2,...,xn)的各個(gè)元素之間協(xié)方差組成協(xié)方差矩陣C，即：Cij=cov(xi,xj)107PCA：協(xié)方差矩陣的特征值分解協(xié)方差矩陣的性質(zhì)實(shí)對(duì)稱矩陣半正定矩陣所有的特征值大于或等于0特征值分解存在一個(gè)變換W，滿足對(duì)角線元素為特征值，W列向量為特征向量即：去相關(guān)Y=WTX，則Y的協(xié)方差矩陣為“對(duì)角陣”，對(duì)角線元素非0(特征值，方差)，非對(duì)角線元素為0，即：Y的不同元素之間的協(xié)方差為0對(duì)角陣108PCA：協(xié)方差矩陣計(jì)算輸入訓(xùn)練樣本集合的協(xié)方差矩陣定義為：其中是樣本均值。記：

則上述公式變?yōu)椋篜CA：計(jì)算方法計(jì)算過程為：計(jì)算樣本均值

m中心平移每個(gè)訓(xùn)練樣本

xi計(jì)算訓(xùn)練集合的樣本協(xié)方差矩陣對(duì)協(xié)方差矩陣進(jìn)行特征值分解

取協(xié)方差矩陣的特征向量形成變換矩陣

W

變換重構(gòu)PCA：用于降維PCA:Reducespacedimensionalitywithminimumlossofdescriptioninformation.原始高維數(shù)據(jù)壓縮后低維數(shù)據(jù)PCA降維:Theory在變換后的特征空間中，每個(gè)特征向量wi對(duì)應(yīng)的特征值λi的大小代表該特征向量所描述的方向上的方差的大小

所以…從W中去掉那些對(duì)應(yīng)較小特征值的特征向量，意味著在信息丟失最小的意義上降維!PCA降維:Practice按照其所相應(yīng)的特征值的大小對(duì)特征向量排序選擇頭d個(gè)對(duì)應(yīng)最大特征值的特征向量構(gòu)成變換矩陣Wnxd

原始數(shù)據(jù)(n維)壓縮（d維)

從n維空間到d維空間的投影(d<n)!數(shù)據(jù)約減：理想情況圖示原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差為0，沒有信息，可以完全去掉，而沒有任何損失！x1x22Ddatay11Ddata數(shù)據(jù)約減：非理想情況圖示x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+m原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差比較小，包含少量信息，去掉后有少量損失！115PCA降維:數(shù)據(jù)損失分析投影后數(shù)據(jù)部分丟失，但是可以證明：在只使用前d個(gè)特征向量的情況下，xi與其逆PCA重構(gòu)x’i之間的均方誤差為：最小均方誤差意義下的最佳變換x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+mPCA:小結(jié)一種多元統(tǒng)計(jì)分析方法變換后各維數(shù)據(jù)之間的相關(guān)性最小最小均方誤差意義下的最佳變換限定有效的參數(shù)空間范圍（在訓(xùn)練集合對(duì)象變化論域下）主動(dòng)統(tǒng)計(jì)模型118主動(dòng)形狀模型ASM統(tǒng)計(jì)形狀模型從訓(xùn)練圖像集合中可以派生出一個(gè)形狀模型集合對(duì)其進(jìn)行PCA分析，可以得到統(tǒng)計(jì)形狀模型其中為統(tǒng)計(jì)形狀參數(shù)119主動(dòng)形狀模型ASMASM模型局部紋理模型全局形狀約束PCA表達(dá)的統(tǒng)計(jì)模型ASM基本思路首先進(jìn)行不可靠但效率

很高的局部匹配，然后

通過全局形狀的統(tǒng)計(jì)約

束來對(duì)其進(jìn)行規(guī)范化i=1i=2i=3頭3個(gè)形狀模式的變化情況120ASM:搜索過程圖示初始化(平均)特征點(diǎn)局部紋理模型匹配統(tǒng)計(jì)形狀模型約束(PCA)最終結(jié)果迭代121特征點(diǎn)局部紋理模型匹配對(duì)每個(gè)特征點(diǎn)，在其法線鄰域內(nèi)搜索，尋找局部紋理模型的最佳匹配點(diǎn)局部紋理模型：法線方向紋理梯度，稱為Profile每個(gè)特征點(diǎn)的Profile模型都在訓(xùn)練時(shí)建立統(tǒng)計(jì)模型匹配方法在法線上逐點(diǎn)運(yùn)算，選擇馬氏距離最小的候選點(diǎn)每個(gè)特征點(diǎn)都是一個(gè)在法線上移動(dòng)的小機(jī)器人，以發(fā)現(xiàn)與自己Profile特征最佳匹配的候選點(diǎn)！122統(tǒng)計(jì)形狀模型約束(PCA)局部搜索的結(jié)果每個(gè)特征點(diǎn)局部“最優(yōu)”，全局形狀可能異常所有特征點(diǎn)全局結(jié)構(gòu)統(tǒng)計(jì)約束修改得直接效果少數(shù)服從多數(shù)的折衷平滑效果，去除了鋸齒等異常形狀特征123ASM評(píng)價(jià)優(yōu)點(diǎn)局部紋理匹配簡單，匹配速度快全局統(tǒng)計(jì)形狀約束可以有效防止無效形狀缺點(diǎn)算法收斂約束條件不夠強(qiáng)，沒有顯式的最優(yōu)值附近局部凸的匹配度目標(biāo)函數(shù)因此，經(jīng)常會(huì)出現(xiàn)非常遺憾的情況某次迭代搜索到一個(gè)正確結(jié)果，繼續(xù)迭代則逐漸遠(yuǎn)離該正確結(jié)果124ASM結(jié)果示例左側(cè)為根據(jù)眼睛位置給出的初始形狀，右側(cè)為ASM結(jié)果125FaceAlignment126主動(dòng)表觀模型AAMAppearance=Shape+TextureShape如前所述Texture：形狀無關(guān)的灰度圖像面片Warp到變?yōu)檩斎雸D像標(biāo)準(zhǔn)形狀紋理127AAM:訓(xùn)練數(shù)據(jù)準(zhǔn)備(續(xù))形狀平均形狀紋理128

AAM:形狀模型示例：訓(xùn)練得到的3種不同的形狀模式如前所述129AAM:紋理模型紋理訓(xùn)練集合紋理模型訓(xùn)練得到的第一紋理模式變化130主動(dòng)表觀模型AAM表觀模型=形狀模型+紋理模型紋理紋理模型統(tǒng)計(jì)表觀模型形狀和紋理串聯(lián)得到b后，再次應(yīng)用PCA，建立統(tǒng)計(jì)表觀模型用于合成模型圖像Warp到變?yōu)檩斎雸D像標(biāo)準(zhǔn)形狀紋理3種變化模式131AAM:示例AAM作者的自畫像彩色模型(byGarethEdwards)3種變化模式HisshapeAmodeofthemodelTimCootes132AAM:用于圖像分析Given:anappearancemodel,anovelimage,astartingapproximationc0Find:thebestmatchingsyntheticimagetogettheparametersc問題描述：133AAM及其搜索策略AAM搜索策略基于合成的分析技術(shù)(Analysisbysynthesis)目標(biāo)：求取模型參數(shù)，使得模型能夠最佳逼近輸入故問題可以轉(zhuǎn)化為最小化下述目標(biāo)函數(shù)的參數(shù)優(yōu)化問題：為輸入圖像紋理為當(dāng)前模型參數(shù)產(chǎn)生的模型紋理基于紋理差預(yù)測參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程假設(shè)：模型紋理和當(dāng)前輸入紋理之差（紋理差）與模型參數(shù)變化之間存在近似的線性關(guān)系從而利用可以采用線性回歸的方法來預(yù)測參數(shù)的變化，從而實(shí)現(xiàn)啟發(fā)式的參數(shù)優(yōu)化134AAM:搜索算法對(duì)當(dāng)前模型參數(shù)c計(jì)算模型圖像和當(dāng)前圖像之差：dg=gs-gm預(yù)測模型參數(shù)變化:dc=Adg嘗試新的模型參數(shù)：c’=c–kdc,k=1計(jì)算新的誤差函數(shù)：dg’如果|dg’|<|dg|，則接受c’作為新的估計(jì)參數(shù)如果c’

不被接受，嘗試

k=1.5;0.5;0.25等迭代上述過程直到

|dg|不再發(fā)生變化為止135AAM：基于合成的圖像分析3D人臉2D人臉

圖像AnalysisSynthesis統(tǒng)計(jì)外觀模型SAM圖像表示模型參數(shù)c*136AAM優(yōu)化搜索過程實(shí)例137AAM總結(jié)與評(píng)價(jià)優(yōu)點(diǎn)不僅利用了全局形狀約束，還考慮了紋理約束，因?yàn)槎ㄎ豢梢愿_；基于合成的分析技術(shù)，有明確的優(yōu)化目標(biāo)函數(shù)，最優(yōu)值附近滿足局部凸性質(zhì)，從而可以基本保證收斂到局部最優(yōu)解；采用了基于紋理差預(yù)測模型參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程，提高了搜索速度缺點(diǎn)盡管采用了啟發(fā)式參數(shù)優(yōu)化方法，但優(yōu)化過程仍然速度較慢；由于利用了紋理差與模型參數(shù)變化的線性假設(shè)，這種線性假設(shè)在紋理差別很大時(shí)并不存在，因而可能出現(xiàn)陷入局部極??；沒有利用特征點(diǎn)的局部紋理，因而局部匹配能力較低，個(gè)別點(diǎn)的定位難以足夠精確138基于面部幾何結(jié)構(gòu)的人臉識(shí)別基于模板匹配的人臉識(shí)別方法139基于幾何特征的例子建模：用面部關(guān)鍵特征的相對(duì)位置、大小、形狀、面積等參數(shù)來描述人臉人臉圖像f特征向量v

v

=(x1,x2,…,xn)對(duì)所有已知人臉提取同樣描述的幾何特征

D={v1,v2,..,vp}待識(shí)別的人臉f提取的幾何特征為vf計(jì)算vf與D中所有vi的相似度s(vf,vi)(比如歐式距離、cosine(.)等)，進(jìn)行排序根據(jù)相似度最大的已知人臉的身份即可判斷待識(shí)別人臉的身份信息140基于模板匹配的例子建模2D灰度矩陣，按行向量化為1D向量所有圖像均表示為這樣的向量識(shí)別計(jì)算輸入圖像的向量與已知人臉庫中所有向量的相似度，排序即可給出識(shí)別結(jié)果141EigenfacePCAPrincipalComponentAnalysis也稱為Hotteling變換或者Karhunen-Loeve變換（KLT）.尋求一個(gè)正交的坐標(biāo)系統(tǒng)，使得不同坐標(biāo)軸之間的相關(guān)性最??！Eigenface人臉識(shí)別方法x為輸入圖像y作為提取的特征S(x1,x2)=S(y1,y2)可以采用歐式距離也可以采用Cosine+y1*

+…+ym

≈+δ(I)143Eigenfaces—EigenvectorsoftheCovariancematrix可視化的“特征臉”Leading8D:validsignalLast8D:DifferenceandNoise144EigenFace-basedfacerecognitionmethodDFFS145Fisherface：子空間線性判別分析EigenfaceandFisherfaceEigenface:PCAorKLTTurk&Pentland,(MIT)1991最佳的描述特征MostExpressiveFeatures(MEFs)FisherfaceBelhumeur,Hespanha&Kriegman,1997,TPAMIFisherLinearDiscriminantAnalysis最佳的判別特征MostDiscriminatingFeatures(MDFs)146Fisher判別分析——FisherfacePCA’sproblem!!147基本思想FLD選擇一種最優(yōu)的投影變換，滿足:類間散度矩陣類內(nèi)散度矩陣148FDA的計(jì)算優(yōu)化分析表明，滿足上述最大化的W是下述方程的解：

進(jìn)一步假設(shè)是非奇異的。則可以通過求解下面的廣義特征值問題來得到W如果Sw是奇異的，怎么辦？149Bayesian方法類內(nèi)差別（）相同個(gè)體的多幅圖象之間的差別，即包含了表情、不同光照條件、不同姿態(tài)等差別；類間差別（）不同人的人臉圖象之間的差別，包含了身份變化的信息；150基于雙子空間分析的Bayesian方法貝葉斯方法兩張圖象的相似度可以表示為它們之間的差屬于類內(nèi)差別的概率其中151類內(nèi)差別與類間差別(3)傳統(tǒng)的方法假設(shè)類內(nèi)差別與類間差別的分布為正態(tài)分布，則類條件概率密度為152類條件概率密度的計(jì)算對(duì)協(xié)方差矩陣做特征分解:153類條件概率密度的計(jì)算其中的取值為：DIFSDFFSx1x2u2u1154類條件概率密度的計(jì)算155Bayesian方法的實(shí)現(xiàn)形成兩類模式空間和的訓(xùn)練集合分別進(jìn)行PCA分析分別得到變換矩陣和對(duì)角陣（特征值）通過下式計(jì)算兩幅人臉圖像的相似度或者M(jìn)APML156若干值得關(guān)注的技術(shù)趨勢3D可變性模型方法光照錐方法商圖像法基于Gabor特征的人臉識(shí)別技術(shù)Sphericalharmonicsforilluminationmodelingbasedonlinearsubspaces基于流形學(xué)習(xí)的非線性建模方法ICA,Principalcurvesandsurface,kernellearning,ISOMAP,LLE,157局部特征與全局特征的融合單獨(dú)的slides158基于3D變形模型的人臉建模：

Analysis-by-Synthesis技術(shù)的一個(gè)應(yīng)用3DWorld圖像AnalysisSynthesis圖像模型圖像表示模型參數(shù)159基于3D變形模型的人臉建模輸入圖像Modeler結(jié)果DatabaseFaceAnalyzer3D人臉MorphableFaceModel3Dshape參數(shù)(PCA)Texture參數(shù)(PCA)光照模型、Camera內(nèi)外參數(shù)等，共22個(gè)160基于3D變形模型的人臉建模......3D形狀紋理1613DMorphableModelExtrinsicparametersmodeledusingPhysicalRelations:

-Pose:3x3Rotationmatrix

-Illumination: Phongshadingaccountsforcast shadowsandspecular

Hlights

NoLambertianAssumption.

162Photo-realisticimagesrenderedusingComputerGraphics163ModelFittingIterative

ModelFitting