約束局部模型.ppt

1、基于信息度量學習約束局部模型的人臉定位研究,指導(dǎo)老師：張宏鑫 副教授 作 者：程允勝 答辯日期：2012年x月x日,報告大綱,緒論研究目標,準確自動定位出靜態(tài)圖像以及視頻中可變形結(jié)構(gòu) 的外形結(jié)構(gòu)（特征點定位）； 本文主要討論人臉特征點定位,緒論-研究意義,人臉識別（特別是單圖人臉識別） 圖像修復(fù) 圖像可變形目標替換（PS） 三維構(gòu)建,約束局部模型（constrained local models）,約束局部模型通過利用局部模型在特征點附近搜索確定每個特征點位置，并結(jié)合形狀擬合自動準確對圖像進行校正。 CLM類似于snakes模型，不同的是目標形狀是受約束的形狀。 CLM主要組成：形狀模型（模型

2、受約束的形狀）、局部外觀模型、擬合優(yōu)化策略,約束局部模型形狀模型,物體的形狀由特征點以及特征點之間的連通性表示。,特征點選擇：1、準確描述物體結(jié)構(gòu) 2、特征點位置明確可靠,約束局部模型形狀模型PCA分析,物體的形狀 可以用2n維向量x表示。 PCA分析以后，形狀表示為 其中 平均形狀，P特征向量矩陣，b模型參數(shù)。 PCA分析作用： 1、降維 2、去噪聲信息 3、約束形狀,約束局部模型形狀模型PCA分析,一般的，當 在范圍 之內(nèi)，可以約束模擬出來的形狀是有效的形狀 ， 特征值,形狀模型的主要模型,約束局部模型局部外觀模型,局部模型主要有兩部分組成：局部外觀信息提取 、局部分類器 。 外觀提取就是

3、準確全面而且概括性的定義每個特征點周圍的特征 。 局部分類器就是代價函數(shù)，評價當前特征點信息與模板信息的匹配度。,約束局部模型局部外觀信息提取,CLM局部模型局部特征信息提取算法比較常用的有一維patch二維patch 。,約束局部模型局部分類器,一個簡單分類器 ，曼哈頓距離 響應(yīng)值越大匹配度越小。,約束局部模型擬合優(yōu)化,通過局部模型，我們獲得當前形狀每個特征點周圍的匹配概率 有了每個特征點的響應(yīng)曲面以后，便可以進行擬合獲得形狀參數(shù),約束局部模型CLM搜索擬合算法,CLM搜索擬合算法 輸入初始的特征點位置信息。 重復(fù)： 1、對每一特征點，利用局部檢測器對特征點周圍進行搜索，算出相應(yīng)的響應(yīng)值，獲

4、得每個特征點周圍的響應(yīng)曲面。 2、根據(jù)形狀模型擬合當前的形狀，更新相應(yīng)的模型參數(shù)以及下一步迭代的特征點位置。 直到收斂 收斂的定義是每兩次迭代之間，模型的形狀參數(shù)或者特征點位置變化小于一定的閾值。,信息度量學習CLM模型CLM的發(fā)展,局部模型：特征提取，主要包括local pattern patch，gabor濾波器等。 局部分類器,有SVM, adaboost，PCA，KPCA等。 擬合優(yōu)化：ASM，COF。,CLM發(fā)展PCA局部模型,給定某個特征點局部外觀特征 ，相應(yīng)的PCA分析表示為： 代價函數(shù)為,CLM的發(fā)展，,可以表示為最小二乘問題 等價于 凸二次函數(shù)擬合響應(yīng)曲面,的發(fā)展的缺陷,模型

5、有兩大缺陷：多極小值模型以及極小值不在期望位置。 原因：局部特征信息結(jié)構(gòu)有限；局部分類器只考慮正確點上的信息沒有考慮附近的信息。,信息度量學習CLM代價函數(shù)一般式,一般的，局部模型的響應(yīng)函數(shù)（代價函數(shù)）都可以表示為： 其中 表示位于圖像I坐標 的響應(yīng)值， 表示位于圖像坐標處的外觀特征信息（如二維patch）。A是目標矩陣，在這里稱為映射矩陣。,信息度量學習CLM代價函數(shù)一般式,在基于協(xié)方差局部模型中， 在基于PCA模型的局部模型中,信息度量學習CLM代價函數(shù)優(yōu)化目標函數(shù),優(yōu)化目標函數(shù)標準： 1、響應(yīng)曲面應(yīng)該具備全局極小值點是唯一的極小值點，而且該極小值點位于特征點期望的位置上。 2、每個特征點

6、的優(yōu)化目標函數(shù)準確地模型、約束特征點外觀信息分布。 3、優(yōu)化目標函數(shù)應(yīng)該兼顧不同樣本之間的差異性,信息度量學習CLM代價函數(shù)優(yōu)化目標函數(shù),基于PCA局部模型統(tǒng)計響應(yīng)曲面優(yōu)化目標函數(shù) 表示PCA局部模型的平均響應(yīng)曲面 CLM代價函數(shù)優(yōu)化目標是希望每一樣本的響應(yīng)曲面與平均響應(yīng)曲面一樣。 其中 表示位置處 的代價函數(shù)響應(yīng)值與平均響應(yīng)曲面的值之間允許的誤差。在本文， 表示處PCA局部模型該處響應(yīng)曲面的標準差,信息度量學習CLM代價函數(shù)優(yōu)化目標函數(shù),人臉部分特征點的平均響應(yīng)曲面,信息度量學習CLM信息度量學習,給定相似元素集合S以及不相似的元素集合D，信息度量學習問題可以表示為： 是Bregman矩陣散

7、度，主要衡量兩個矩陣的相似性， 表示A屬于正定矩陣。 信息度量學習優(yōu)點：在已有的映射矩陣做監(jiān)督學習，保持了已有的映射矩陣的優(yōu)點加上任意空間上的距離約束。,信息度量學習CLM代價函數(shù)的信息度量學習優(yōu)化,CLM模型的距離定義,信息度量學習CLM代價函數(shù)的信息度量學習優(yōu)化,CLM模型歸約為信息度量學習問題 信息度量學習優(yōu)化在PCA代價函數(shù)基礎(chǔ)上進行監(jiān)督學習，保持了PCA代價函數(shù)的優(yōu)點，克服了PCA局部模型在處理局極小值點上的不足,信息度量學習CLM,信息度量學習CLM方法比較,實驗結(jié)果實驗方法,圖庫：數(shù)據(jù)庫colorferet 正臉圖像，300張做訓練樣本，400張做測試樣本。 評價標準：平均誤差

8、以及歸一化平均誤差 歸一化平均誤差首先將所有圖歸一化到同一分辨率。,實驗結(jié)果結(jié)果比較,0-26號特征點這些特征點主要是輪廓以及眉毛處的特征點，這些特征點由于受到背景頭發(fā)等因素的干擾，特征點附近的外觀特征樣本之間差異極大十分難處理。我們的方法在處理局部外觀變化大的情況下遠遠優(yōu)于PCA局部模型方法。,實驗結(jié)果結(jié)果比較,不管是平均誤差還是歸一化平均誤差，ITML局部模型的結(jié)果都比基于PCA局部模型好很多。數(shù)據(jù)表明，我們的實現(xiàn)方法比基于PCA局部模型實現(xiàn)方法在特征點定位上精確很多。,實驗結(jié)果,總結(jié),提出代價函數(shù)一般式 利用PCA局部模型響應(yīng)曲面提出優(yōu)化目標函數(shù) 提出用信息度量學習算法進行優(yōu)化 優(yōu)化過程考慮周圍