人臉特征點(diǎn)定位及其應(yīng)用

1、人臉特征點(diǎn)定位及其應(yīng)用第1頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日整體介紹主要內(nèi)容：當(dāng)前常用的特征點(diǎn)定位方法，主要介紹AAM。提出在人臉特征定位中基于膚色信息的AAM模型的改進(jìn)方法。介紹一個(gè)肖像畫(huà)生成系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)。人臉特征點(diǎn)定位的概念人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073特征點(diǎn)定位系統(tǒng)第2頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日常用的幾種特征點(diǎn) 定位算法基于灰度及其變化信息基于可變形模板基于神經(jīng)網(wǎng)絡(luò)基于Active Contour Model（Snake，主動(dòng)輪廓模型）基于Active Shape Model（ASM，主動(dòng)形狀模型）基于Ac

2、tive Appearance Model（AAM，主動(dòng)表觀模型）由于人臉特征復(fù)雜性，及圖像的多變性，目前仍然沒(méi)有一個(gè)通用的方法第3頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日基于AAM (Active Appearance Model)模型AAM模型常用的幾種特征點(diǎn)定位方法由控制參數(shù)矢量c控制形狀和紋理的變化，調(diào)節(jié)c可以得到不同的形狀和臉部紋理，從而合成不同的人臉調(diào)節(jié)c可以合成不同的人臉形狀臉部紋理輪廓變化模式矩陣 臉部紋理變化模式矩陣第4頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日 精細(xì)定位粗略定位常用的幾種特征點(diǎn)定位方法AAM搜索過(guò)程原圖像得到粗略定位不斷調(diào)整

3、C，使合成人臉的灰度與圖像灰度差達(dá)到最小值得到精細(xì)定位由計(jì)算公式可得各特征點(diǎn)的位置對(duì)每一個(gè)比例、位置、旋轉(zhuǎn)角度進(jìn)行迭代搜索第5頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日常用的幾種特征點(diǎn)定位方法AAM搜索時(shí)間分析85.1%14.9%有很大的改進(jìn)空間第6頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日基于膚色信息的AAM改進(jìn)方法膚色模型人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073采用YCrCb彩色空間進(jìn)行分析Y反映的是圖像的明度，故只Cr,Cb分量分析可以不受圖像的亮度影響。膚色像素在Cr-Cb空間中的分布相對(duì)很集中，可以用Gauss分布來(lái)描述 第7頁(yè)，共25頁(yè)，

4、2022年，5月20日，20點(diǎn)32分，星期日高斯分布基于膚色信息的AAM改進(jìn)方法人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073第8頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日膚色模型所考察的像素和膚色的相似度：象素的矢量 與高斯分布中心的距離基于膚色信息的AAM改進(jìn)方法人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073計(jì)算相似度自適應(yīng)閾值分割（二值化）第9頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日AAM改進(jìn)方法AAM的缺陷對(duì)彩色圖像進(jìn)行特征點(diǎn)定位時(shí)無(wú)疑忽略了色彩信息的作用，可以充分利用膚色信息，使搜索過(guò)程加速。一種基于膚色模型的人眼定位方法眼睛在二值圖像中

5、的雙孔結(jié)構(gòu)基于膚色信息的AAM改進(jìn)方法眼睛的雙孔結(jié)構(gòu)第10頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073AAM改進(jìn)方法基于膚色模型的人眼定位方法基于膚色信息的AAM改進(jìn)方法計(jì)算相似度使用自動(dòng)閾值分割算法進(jìn)行二值化對(duì)二值圖進(jìn)行去噪音處理，就是在以每一個(gè)膚色象素為中心的5*5鄰域內(nèi)統(tǒng)計(jì)膚色象素的個(gè)數(shù)，超過(guò)半數(shù)時(shí)中心點(diǎn)保膚色第11頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日AAM改進(jìn)方法基于膚色模型的人眼定位方法基于膚色信息的AAM改進(jìn)方法人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073對(duì)二值圖進(jìn)行腐蝕運(yùn)算，去掉各區(qū)域

6、之間的細(xì)連線(xiàn)用邊緣跟蹤算法跟蹤各區(qū)域的輪廓對(duì)所有區(qū)域的輪廓進(jìn)行種子填充，得到“掩蓋圖”將二值圖與“掩蓋圖”求異或，即可得到二值圖中的所有孔第12頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日基于膚色信息的AAM改進(jìn)方法AAM改進(jìn)方法基于膚色模型的人眼定位方法人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073獲取候選眼，對(duì)每個(gè)孔進(jìn)行檢測(cè)若滿(mǎn)足以下條件則為候選眼：1.平均亮度小于802.包圍盒大小超過(guò)閾值D獲取候選眼對(duì)，將候選眼兩兩配對(duì)若符合下列條件，則為候選眼對(duì)：1.兩包圍盒不相交2.兩包圍盒中心連線(xiàn)斜率不超過(guò)閾值3.兩包圍盒大小不超過(guò)一定范圍對(duì)每個(gè)候選眼對(duì)進(jìn)行模板匹配，計(jì)算平均眼

7、對(duì)灰度與候選眼對(duì)所在區(qū)域灰度的相似度第13頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日AAM改進(jìn)方法改進(jìn)： 確定眼睛位置后，根據(jù)五官位置分布的規(guī)律性，可以由此確定人臉的位置及方向，從而為AAM模型的搜索提供一個(gè)較好的初始位置和大小，并且可以縮小搜索窗口，從而減少AAM的搜索時(shí)間 基于膚色信息的AAM改進(jìn)方法人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073第14頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日AAM改進(jìn)方法基于膚色信息的AAM改進(jìn)方法用基于臉色信息的人眼定位方法確定人眼根據(jù)眼睛和臉部區(qū)域的關(guān)系獲得臉部區(qū)域范圍，縮小搜索窗口根據(jù)人眼位置確定AAM模型的初

8、始搜索姿態(tài)使用AAM搜索算法，得到特征點(diǎn)精確定位人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073第15頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日基于膚色信息的AAM改進(jìn)方法性能比較圖片原模型定位間改進(jìn)后模型定位時(shí)間改進(jìn)量占原來(lái)的百分比122.6625.22177.0%220.1786.93965.6%321.6219.35156.8%418.4886.37665.5%522.9459.00460.6%621.9248.78259.9%721.8504.22480.7%823.1398.68462.5%921.7476.21371.4%1022.4225.95173.5%平均

9、改進(jìn)百分比67.4人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073第16頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日系統(tǒng)結(jié)構(gòu)人物肖像畫(huà)自動(dòng)生成系統(tǒng)人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073肖像畫(huà)自動(dòng)生成系統(tǒng)頭發(fā)處理臉部器官處理合成開(kāi)發(fā)工具： Visual C+ 6.0，AAM-API第17頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日臉部器官處理過(guò)程人物肖像畫(huà)自動(dòng)生成系統(tǒng)人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073自然三次樣條自動(dòng)閾值分割特征點(diǎn)定位使用84個(gè)特征點(diǎn)獲得各器官包圍盒第18頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日頭發(fā)

10、的提取過(guò)程人物肖像畫(huà)自動(dòng)生成系統(tǒng)只將Y值（亮度）T(50)的像素保留使用數(shù)學(xué)形態(tài)學(xué)的閉運(yùn)算將頭發(fā)中的噪音(白色小孔)濾去進(jìn)行兩次腐蝕，然后跟蹤輪廓每一輪廓對(duì)應(yīng)一個(gè)包圍盒根據(jù)頭發(fā)區(qū)域與臉部區(qū)域的位置關(guān)系，確定頭發(fā)區(qū)域用種子填充的方法填充頭發(fā)區(qū)域第19頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日肖像畫(huà)的合成及顯示 人物肖像畫(huà)自動(dòng)生成系統(tǒng)人臉特征點(diǎn)定位及其應(yīng)用 沈育平 PB99011073第20頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日系統(tǒng)運(yùn)行界面第21頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日系統(tǒng)結(jié)果人物肖像畫(huà)自動(dòng)生成系統(tǒng)第22頁(yè)，共25頁(yè)，2022年，5月20日，20點(diǎn)32分，星期日系統(tǒng)存在的一些問(wèn)題和待改進(jìn)的地方： 系統(tǒng)分析總結(jié)從系統(tǒng)的結(jié)果來(lái)看，對(duì)于大多數(shù)人臉圖像，都可以得到相應(yīng)的肖像圖人物肖像畫(huà)自動(dòng)生成系統(tǒng)系統(tǒng)對(duì)頭發(fā)的處理并沒(méi)有考慮頭發(fā)被分割成若干區(qū)域的情況。系統(tǒng)沒(méi)有對(duì)耳朵進(jìn)行處理 丟失頭發(fā)邊界的處理太過(guò)粗糙，常出現(xiàn)鋸齒狀邊緣。針對(duì)這種情況可以使用Snake模型獲取頭發(fā)區(qū)域的外輪廓鋸齒狀邊緣第23頁(yè)，共25頁(yè)，2022年，5月20