目標(biāo)檢測.ppt

1、第十二章 目標(biāo)檢測與識別,Lecture 12 Object Detection and Recognition,目標(biāo)檢測和識別,怎樣檢測和識別圖像中物體，如汽車、牛等？,目標(biāo)識別的應(yīng)用,難點(diǎn)之一: 如何魯棒識別？,類內(nèi)差異（intra-class variability）,類間相似性（inter-class similarity）,難點(diǎn)之二：計(jì)算量大,一幅圖像中像素個(gè)數(shù)多，目前每秒約產(chǎn)生300G像素的圖像/視頻數(shù)據(jù)。 - Google圖片搜索中已有幾十億幅圖像 - 全球數(shù)字照相機(jī)一年產(chǎn)生180億張以上的圖片（2004年） - 全球一年銷售約3億部照相手機(jī)（2005） 人的物體識別能力是強(qiáng)大的

2、 - 靈長類動物約使用大腦皮層的一半來處理視覺信息 Felleman and van Essen 1991 - 可以識別3,000-30,000種物體 - 物體姿態(tài)可允許30度以上的自由度。,難點(diǎn)之三：如何在小樣本條件下學(xué)習(xí),物體識別方法,檢測(detection)vs. 不檢測 表示(representation) - 顏色、紋理、邊緣、梯度、局部特征、深度、運(yùn)動等等。 分類(classification or categorization) - K近鄰（KNN） - 神經(jīng)網(wǎng)絡(luò)（NN） - 支持向量機(jī)（SVM） - Boosting(Adaboost等) - 隱馬爾科夫模型（HMM） -其他

3、,生成學(xué)習(xí)（Generative learning）vs. 判別學(xué)習(xí) （discriminative learning）,生成學(xué)習(xí) vs. 判別學(xué)習(xí),兩種分類器學(xué)習(xí)模式 生成學(xué)習(xí) -目標(biāo)是學(xué)習(xí)到符合訓(xùn)練數(shù)據(jù)的類別模型 - 如EM算法(Maximum Likelihood) 判別學(xué)習(xí) 在訓(xùn)練階段即考慮類別之間的判別信息 包括Support Vector Machines (SVMs), Boosting, Minimum Classification Error (MCE), Maximum Mutual Information (MMI), Lager Margin (LM), and etc

4、. 判別學(xué)習(xí)算法比生成學(xué)習(xí)算法表現(xiàn)出更好的分類性能。,判別學(xué)習(xí)方法,第二節(jié) 人臉檢測與識別,13,1. 物體檢測,Car/non-car Classifier,Yes, car.,No, not a car.,基于二分類器,14,物體檢測,Car/non-car Classifier,在復(fù)雜背景下，通過滑動窗口（sliding windows）搜索感興趣的物體。,物體檢測,Step1. 獲取訓(xùn)練數(shù)據(jù) Step2. 提取特征 Step3. 訓(xùn)練分類器 Step4. 利用分類器進(jìn)行檢測,人臉檢測（Face detection）,Viola-Jones人臉檢測算法（基于AdaBoost）,Viola

5、-Jones人臉檢測算法(2004),濾波器設(shè)計(jì),Adaboost,Adaboost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。 其算法本身是通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。 使用adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特徵，并將關(guān)鍵放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。,Boosting Example,Bo

6、osting Example,Boosting Example,Boosting Example,Boosting Example,Boosting Example,Adaboost,學(xué)習(xí)目標(biāo)：選擇能夠最有效地區(qū)分人臉與非人臉的矩形特征及其閾值,Adaboost,組合弱分類器（weak learners），得到更為精確的集成分類器（ensemble classifier）。 弱分類器：性能僅比隨機(jī)分類稍好 根據(jù)矩形特征定義弱分類器:,Adaboost算法步驟,初始給每個(gè)訓(xùn)練樣本以同等權(quán)重 循環(huán)執(zhí)行以下步驟： 根據(jù)當(dāng)前加權(quán)訓(xùn)練集，選擇最佳弱分類器 提升被當(dāng)前弱分類器錯(cuò)分的訓(xùn)練樣本的權(quán)重 按照各弱

7、分類器分類精度對其加權(quán)，然后將各個(gè)弱分類器形成線性組合，得到最終分類器。,Viola-Jones算法中的AdaBoost,每一次boosting迭代如下: 評價(jià)每一個(gè)樣本上的每一種矩形特征 為每一種矩形特征選擇最佳分類閾值 選擇最優(yōu)的矩形特征及其閾值組合 改變樣本權(quán)重 計(jì)算復(fù)雜度: O(MNT) M：特征數(shù)，N：樣本數(shù), T：閾值數(shù),級聯(lián)分類器（Cascading Classifiers）,訓(xùn)練級聯(lián)分類器,Viola-Jones檢測算法-總體流程,用5K正樣本，350M反樣本學(xué)習(xí) 得到38層（共使用6060個(gè)特征）級聯(lián)分類獲得實(shí)時(shí)性,Viola-Jones人臉檢測結(jié)果,Viola-Jones人

8、臉檢測結(jié)果,Viola-Jones人臉檢測結(jié)果,2. 人臉識別（face recogntion）,Zhao et al., Face Recogniton: a literature survey. ACM Computing survey, 2003,Face Recognition: 2-D and 3-D,圖像 = 像素的集合,將由n個(gè)像素構(gòu)成的圖像視為n維空間中的點(diǎn),最近鄰分類器,Eigenfaces,使用主成分分析技術(shù)（Principle Component Analysis, PCA)減少維數(shù),主成分分析(PCA, K-L變換),降低特征向量的維數(shù) 獲得最主要特征分量，減少相關(guān)性；

9、 避免維數(shù)災(zāi)難,主成分分析(PCA, K-L變換),主成分分析(PCA, K-L變換),Eigenfaces,學(xué)習(xí) 1. 計(jì)算訓(xùn)練圖像的均值和協(xié)方差矩陣. 2. 計(jì)算協(xié)方差矩陣的特征值，取前k個(gè)最大特 征值對應(yīng)的特征矢量. 3. 將圖像投影到k-維特征空間 （Eigenspace）。 識別 1. 將測試圖像投影到Eigenspace. 2. 在特征圖像上執(zhí)行分類.,Eigenfaces: 訓(xùn)練圖像,Eigenfaces,PCA方法的不足,可能損失重要的細(xì)節(jié)信息 方差最小的方向也可能是重要的 沒有考慮判別任務(wù) 希望得到最具判別能力的特征 但判別能力最佳并不等同于方差最大,Fisherfaces：

10、類特定的線性投影,PCA & Fisher的線性判別函數(shù),PCA & Fisher的線性判別函數(shù),Fisherfaces示例（ORL Database）,基于eigenfaces/fisherfaces的識別,訓(xùn)練： - 根據(jù)訓(xùn)練圖像，利用PCA或Fisher方法確定投 影矩陣 - 將每個(gè)訓(xùn)練圖像投影到子空間（eigenspace或fisherspace）。 識別： - 將測試圖像投影到eigenspace或fisherspace。 - 子空間中距離測試圖像最近的訓(xùn)練圖像對應(yīng)的類別為識別結(jié)果。,Project5：人臉合成,平均 人臉,平均 就是 美,Project5：人臉合成,Project5

11、：人臉合成,Project5：人臉合成,Project5：人臉合成,Project5：人臉合成,FantaMorph，人臉合成軟件,Project5：人臉合成,FantaMorph，人臉合成軟件,手動標(biāo)定人臉,Project5：人臉合成,FantaMorph，人臉合成軟件,手動標(biāo)定人臉,Project5：人臉合成,FantaMorph，人臉合成軟件,產(chǎn)生多張合成圖像，隨機(jī)或者平均輸出,Project5：人臉合成,Task：利用人臉檢測算法，將上述過程改為自動完成，實(shí)現(xiàn)自動人類合成。,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,第三節(jié) 深度學(xué)習(xí)導(dǎo)引,神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu),神經(jīng)網(wǎng)絡(luò)的大量參數(shù),神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力,神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力,神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力,神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力,卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積層的作用,卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),池化層的作用,卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),激活函數(shù),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),Softmax層的作用,卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)的預(yù)處理,卷積神經(jīng)網(wǎng)絡(luò)的實(shí)例,Alexnet,卷積神經(jīng)網(wǎng)絡(luò)的實(shí)例,Alexnet,卷積神經(jīng)網(wǎng)絡(luò)的實(shí)例,FC