人臉檢測(cè)與圖像檢索

人臉檢測(cè)與圖像檢索第一頁(yè)，共四十三頁(yè)，編輯于2023年，星期五2人臉的優(yōu)缺點(diǎn)生物特征識(shí)別：未來的身份驗(yàn)證方法！生理：指紋、虹膜、人臉、掌紋、手形、視網(wǎng)膜行為：筆跡、步態(tài)、聲紋人臉識(shí)別的優(yōu)點(diǎn)可以隱蔽操作，特別適用于安全問題、罪犯監(jiān)控與抓逃應(yīng)用非接觸式采集，沒有侵犯性，容易接受方便、快捷、強(qiáng)大的事后追蹤能力符合我們?nèi)祟惖淖R(shí)別習(xí)慣，可交互性強(qiáng)，無需專家評(píng)判人臉識(shí)別的不足不同人臉的相似性大安全性低，識(shí)別性能受外界條件的影響非常大第二頁(yè)，共四十三頁(yè)，編輯于2023年，星期五3第三頁(yè)，共四十三頁(yè)，編輯于2023年，星期五4人類視覺識(shí)別系統(tǒng)特性全局特征與局部特征孰輕孰重？全局特征主要包括人臉的膚色特征（比如白皙、黝黑）、總體輪廓（比如圓臉、鴨蛋臉、方臉、長(zhǎng)臉等）、以及面部五官的分布特征而局部特征則主要指面部五官的特點(diǎn)，比如濃眉毛、丹鳳眼、鷹勾鼻、大豁嘴、八字胡須、尖下巴等，以及面部的一些奇異特征，比如黑痣、傷痕、酒窩等等二者對(duì)識(shí)別都是必要的，但全局特征一般用來進(jìn)行粗略的匹配，局部特征則提供更為精細(xì)的確認(rèn)。

第四頁(yè)，共四十三頁(yè)，編輯于2023年，星期五5局部特征vs全局特征明星漫畫：夸大了獨(dú)特之處問題：Howtofindthesesalientfeaturesautomatically?第五頁(yè)，共四十三頁(yè)，編輯于2023年，星期五24May2023第六頁(yè)，共四十三頁(yè)，編輯于2023年，星期五7人臉檢測(cè)方法基于不變特征的方法，如彩色信息人臉的膚色在彩色空間中的分布相對(duì)比較集中，所以可用來檢測(cè)和跟蹤人臉?；谕庥^學(xué)習(xí)的方法---目前的主流方法將人臉檢測(cè)視為區(qū)分“非人臉樣本”與“人臉樣本”的模式識(shí)別問題，通過對(duì)人臉樣本集和非人臉樣本集的學(xué)習(xí)產(chǎn)生分類器第七頁(yè)，共四十三頁(yè)，編輯于2023年，星期五8基于膚色特征的檢測(cè)在很多人臉檢測(cè)和手的跟蹤應(yīng)用中，人的膚色信息已被證明是一種非常有效的特征有很多顏色空間可用來表征膚色，包括RGB,normalizedRGB,HSV(orHSI),YIQ,YES,CIEXYZ,和CIELUV等有許多建立膚色模型的方法最簡(jiǎn)單的方法是用Cr,Cb值定義膚色區(qū)域，選定閾值[Cr1,Cr2]和[Cb1,Cb2]一個(gè)像素點(diǎn)被歸為膚色點(diǎn)，如果它的(Cr,Cb)值落入下面的范圍：Cr1≤Cr≤Cr2andCb1≤Cb≤Cb2第八頁(yè)，共四十三頁(yè)，編輯于2023年，星期五9多種膚色模型J.L.CrowleyandF.Berard,“Multi-modeltrackingoffacesforvideocommunications將膚色區(qū)域的RGB顏色歸一化，用其中的(r,g)值的顏色直方圖h(r,g)獲取膚色變量的閾值M.H.Yang,N.Ahuja,“Detectinghumanfacesincolorimages”認(rèn)為人臉膚色區(qū)域的顏色值呈高斯分布，用高斯分布的均值和方差確定膚色變量的閾值T.S.JebaraandA.Pentland,“Parameterizedstructurefrommotionfro3Dadaptivefeedbacktrackingoffaces”認(rèn)為不同的種族和國(guó)家的人的膚色分布不同，在顏色直方圖上形成多個(gè)聚類，可用高斯混合模型來表示第九頁(yè)，共四十三頁(yè)，編輯于2023年，星期五10膚色模型的缺點(diǎn)膚色模型難以適應(yīng)各種環(huán)境光照變化對(duì)于背景和前景的光照變化，膚色通常不穩(wěn)定單純的膚色信息對(duì)于人臉檢測(cè)通常是不充分的如何適應(yīng)在不同光照下的人臉跟蹤如果環(huán)境光照有變化，原有的膚色模型可能不再適用，如何建立一個(gè)自適應(yīng)的膚色模型需要進(jìn)一步的研究第十頁(yè)，共四十三頁(yè)，編輯于2023年，星期五11基于Appearance的方法ANNSVMNa?veBayesClassifierAdaBoost遍歷所有可能的“矩形窗口”，判斷每個(gè)小窗口是否人臉？第十一頁(yè)，共四十三頁(yè)，編輯于2023年，星期五12AdaBoost算法簡(jiǎn)介在2001年的ICCV上，當(dāng)時(shí)在Compaq的研究員PaulViola和MichaelJ.Jones發(fā)表的文章介紹一個(gè)實(shí)時(shí)人臉檢測(cè)系統(tǒng)圖像大小為384x288時(shí)，其速度是平均每秒15幀第一個(gè)準(zhǔn)實(shí)時(shí)的(準(zhǔn)正面)人臉檢測(cè)系統(tǒng)可以較容易的擴(kuò)展到多姿態(tài)人臉檢測(cè)系統(tǒng)在技術(shù)上的三個(gè)貢獻(xiàn)：1.用簡(jiǎn)單的Haar-like矩形特征作特征，可快速計(jì)算2.基于AdaBoost的分類器設(shè)計(jì)3.采用了Cascade(分級(jí)分類器)技術(shù)提高檢測(cè)速度第十二頁(yè)，共四十三頁(yè)，編輯于2023年，星期五13人臉的特征表示方法矩形特征（Haar-like特征）矩形特征的值是所有白色矩形中點(diǎn)的亮度值的和減去所有灰色矩形中點(diǎn)的亮度值的和，所得到的差有4種類型的矩形特征第十三頁(yè)，共四十三頁(yè)，編輯于2023年，星期五14Haar-like特征的表示具體特征可以用一個(gè)五元組表示r(x,y,w,h,style)比如：r(2,2,4,2,A)表示下面的特征特征值即為紅色四個(gè)像素與黑色四個(gè)像素的差值

第十四頁(yè)，共四十三頁(yè)，編輯于2023年，星期五15問題如何快速計(jì)算任意矩形內(nèi)

所有像素的亮度之和？請(qǐng)大家設(shè)計(jì)一個(gè)算法要求計(jì)算量盡可能的小第十五頁(yè)，共四十三頁(yè)，編輯于2023年，星期五16需要一幅輔助圖像（積分圖）如下圖所示：特征的快速計(jì)算ii(x,y)=該點(diǎn)左上面(紅色)區(qū)域內(nèi)所有像素值的和！

第十六頁(yè)，共四十三頁(yè)，編輯于2023年，星期五17從左到右、從上到下掃描一遍圖像，對(duì)圖像進(jìn)行如下操作，得到每個(gè)像素位置的積分圖像ii(x,y)ii(x,y)=ii(x,y-1)+s(x,y)s(x,y)=s(x-1,y)+I(x,y) 積分圖的計(jì)算I(x,y)棕紅色區(qū)域面積

ii(x,y-1)黃色區(qū)域面積s(x,y)

第十七頁(yè)，共四十三頁(yè)，編輯于2023年，星期五18Haar-Like特征的快速計(jì)算矩形特征的計(jì)算像素點(diǎn)1的積分值是矩形A中所有點(diǎn)的亮度值的和像素點(diǎn)2的積分值是A+B像素點(diǎn)3的積分值是A+C，像素點(diǎn)4的積分值是A+B+C+D.矩形D內(nèi)像素積分值：ii(4)－[ii(2)＋ii(3)]＋ii(1)第十八頁(yè)，共四十三頁(yè)，編輯于2023年，星期五19輸入圖像積分圖像基于積分圖像的Haar-like特征計(jì)算第十九頁(yè)，共四十三頁(yè)，編輯于2023年，星期五20何以快速？全部為定點(diǎn)加/減法操作！矩形區(qū)域和：2次加法1次減法矩形特征計(jì)算：1次減法，或2次減法，或者2次加法1次減法沒有乘法！第二十頁(yè)，共四十三頁(yè)，編輯于2023年，星期五21AdaBoost分類器AdaBoost分類器Adaboost學(xué)習(xí)算法是用來提高簡(jiǎn)單分類算法的性能的通過對(duì)一些弱分類器的組合來形成一個(gè)強(qiáng)分類器功能將分類性能不好的弱分類器提升為分類性能好的強(qiáng)分類器的學(xué)習(xí)算法思想學(xué)習(xí)一系列分類器，在這個(gè)序列中每一個(gè)分類器對(duì)它前一個(gè)分類器導(dǎo)致的錯(cuò)誤分類樣例給予更大的重視第二十一頁(yè)，共四十三頁(yè)，編輯于2023年，星期五22AdaBoost用于人臉模式分類弱分類器其中，h表示弱分類器的值，表示弱學(xué)習(xí)算法尋找出的閾值，表示特征值，表示一個(gè)Harr-like特征。fi正例

(人臉)反例

(非人臉)第二十二頁(yè)，共四十三頁(yè)，編輯于2023年，星期五23AdaBoost用于人臉模式分類輸入1.訓(xùn)練用人臉和非臉樣本2.指定要挑選出來的弱分類器的數(shù)目T這也是程序循環(huán)的次數(shù)

3.利用先驗(yàn)知識(shí)初始化權(quán)值向量一般可以平均設(shè)置第二十三頁(yè)，共四十三頁(yè)，編輯于2023年，星期五24Adaboost學(xué)習(xí)算法流程挑選出的分類器數(shù)目<T？挑選錯(cuò)誤率最小的弱分類器加入強(qiáng)分類器，根據(jù)其錯(cuò)誤率計(jì)算其在強(qiáng)分類器中的系數(shù)。根據(jù)挑選出的分類器的錯(cuò)誤率更改每個(gè)樣本的權(quán)值，正確的權(quán)值減小，錯(cuò)誤的權(quán)值不變應(yīng)用當(dāng)前樣本的權(quán)值，計(jì)算每個(gè)弱分類器的錯(cuò)誤率否結(jié)束是第二十四頁(yè)，共四十三頁(yè)，編輯于2023年，星期五第二十五頁(yè)，共四十三頁(yè)，編輯于2023年，星期五26AdaBoost學(xué)習(xí)算法最終得到的強(qiáng)分類器弱分類器錯(cuò)誤率越小，β就越小，α就越大H(x)為+，則為正例（人臉）H(x)為-，則為反例（非人臉）第二十六頁(yè)，共四十三頁(yè)，編輯于2023年，星期五PRISBUPT27TheGeneralStrategyforObjectDetectionSmallestScaleLargerScale100,000Locations/Scales第二十七頁(yè)，共四十三頁(yè)，編輯于2023年，星期五28如何進(jìn)一步加速？遍歷所有可能的位置、大小，需要做多少次分類？320x240圖像，20x20模板，每次走1個(gè)像素，尺度縮小因子0.9，則大約有：300x220+278x196+240x174+213x155+190x137+169x122+150x108+133x95+118x83+103x73+91x64+80x55+...=30多萬如果再考慮3個(gè)角度的旋轉(zhuǎn)，

則會(huì)超過100萬次分類！問題如何進(jìn)一步加速？第二十八頁(yè)，共四十三頁(yè)，編輯于2023年，星期五29基于AdaBoost的快速人臉檢測(cè)基于分級(jí)分類器的加速策略大量候選窗口可以利用非常少量的特征（簡(jiǎn)單快速的分類器）就可以排除是人臉的可能性！只有極少數(shù)需要大量的特征（更復(fù)雜的更慢的分類器來判別是否人臉）第二十九頁(yè)，共四十三頁(yè)，編輯于2023年，星期五30分級(jí)分類器的構(gòu)建采用由粗到細(xì)的思想（coarsetofine）將少量區(qū)分性好的特征構(gòu)成的簡(jiǎn)單分類器置于前面若干層效果：放過檢測(cè)絕大多數(shù)人臉的同時(shí)，排除大量非臉后面層包含更多次重要的特征對(duì)非臉進(jìn)行進(jìn)一步排除訓(xùn)練方法關(guān)鍵思路每層訓(xùn)練用非臉樣本使用前面層分類器誤判為人臉的那些樣本第三十頁(yè)，共四十三頁(yè)，編輯于2023年，星期五31檢測(cè)過程流程圖AdaBoostLearnerFeaturesetFeatureSelect&ClassifierStage1False(Reject)AdaBoostLearnerStage2PassFalse(Reject)AdaBoostLearnerStage3PassFalse(Reject)Rejectasmanynegativesaspossible(minimizethefalsenegative)100%DetectionRate50%FalsePositive第三十一頁(yè)，共四十三頁(yè)，編輯于2023年，星期五32一些檢測(cè)結(jié)果第三十二頁(yè)，共四十三頁(yè)，編輯于2023年，星期五Content-basedImageRetrieval(CBIR)Content-basedimageretrieval(CBIR),alsoknownasquerybyimagecontent(QBIC),istheapplicationofcomputervisiontotheimageretrievalproblem,thatis,theproblemofsearchingfordigitalimagesinlargedatabases.

[1].QuerybyImageandVideoContent:TheQBICSystem,(Flickner,1995)第三十三頁(yè)，共四十三頁(yè)，編輯于2023年，星期五"Content-based"meansthatthesearchwillanalyzetheactualcontentsoftheimage.Theterm'content'inthiscontextmightrefertocolors,shapes,textures,oranyotherinformationthatcanbederivedfromtheimageitself.[2].WikipediaofContent-basedImageRetrieval“Content-based”Context第三十四頁(yè)，共四十三頁(yè)，編輯于2023年，星期五Content-basedImageRetrieval(CBIR)ObjectClassificationSemanticGap第三十五頁(yè)，共四十三頁(yè)，編輯于2023年，星期五RedFlowerR239G71B69SemanticGapHuman:basedonthemeaningofobjectsComputer:basedonthemetadata第三十六頁(yè)，共四十三頁(yè)，編輯于2023年，星期五DatadrivenModelbased第三十七頁(yè)，共四十三頁(yè)，編輯于2023年，星期五[4]L.-J.Li,R.Socher,andL.Fei-Fei.Towardstotalsceneunderstanding:classification,annotationandsegmentationinanautomaticframework.InCVPR2009.[3]Xin-JingWang,LeiZhang,MingLiu,YiLi,Wei-YingMa.ARISTA-ImageSearchtoAnnotationonBillionsofWebPhotos.InCVPR2010.DatadrivenModelbased第三十八頁(yè)，共四十三頁(yè)，編輯于2023年，星期五ObjectBagof‘words’第三十九頁(yè)，共四十三頁(yè)，編輯于2023年，星期五AnalogytodocumentsOfallthesensoryimpressionsproceedingtothebrain,thevisualexperiencesarethedominantones.Ourperceptionoftheworldaroundusisbasedessentiallyonthemessagesthatreachthebrainfromoureyes.Foralongtimeitwasthoughtthattheretinalimagewastransmittedpointbypointtovisualcentersinthebrain;thecerebralcortexwasamoviescreen,sotospeak,uponwhichtheimageintheeyewasprojected.ThroughthediscoveriesofHubelandWieselwenowknowthatbehindtheoriginofthevisualperceptioninthebrainthereisaconsiderablymorecomplicatedcourseofevents.Byfollowingthevisualimpulsesalongtheirpathtothevariouscelllayersoftheopticalcortex,HubelandWieselhavebeenabletodemonstratethatthemessageabouttheimagefallingontheretinaundergoesastep-wiseanalysisinasystemofnervecellsstoredincolumns.Inthissystemeachcellhasitsspecificfunctionandisresponsibleforaspecificdetailinthepatternoftheretinalimage.sensory,brain,visual,perception,retinal,cerebralcortex,eye,cell,opticalnerve,imageHubel,WieselChinaisforecastingatradesurplusof$90bn(￡51bn)to$100bnthisyear,athreefoldincreaseon2004's$32bn.TheCommerceMinistrysaidthesurpluswouldbecreatedbyapredicted30%jumpinexportsto$750bn,comparedwitha18%riseinimportsto$660bn.ThefiguresarelikelytofurtherannoytheUS,whichh