頻域圖像處理.docx

精品文檔人臉部位的視覺顯著性研究摘 要圖像的顯著性檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域最為活躍的研究方向之一，而基于視覺注意的顯著性區(qū)域檢測(cè)技術(shù)在遵循人視覺顯著性規(guī)律的基礎(chǔ)上，綜合利用圖像的顏色、強(qiáng)度局部方向等特征，計(jì)算圖像中各個(gè)區(qū)域的顯著程度。通過對(duì)圖像顯著性檢測(cè)頻域方法的研究，在統(tǒng)計(jì)大量樣本數(shù)據(jù)后，得到人臉部位的視覺顯著性差異。關(guān)鍵詞：視覺顯著性，顯著性區(qū)域檢測(cè)，人臉，統(tǒng)計(jì)目 錄1 課題背景12 顯著性檢測(cè)方法22.1 顯著性檢測(cè)的主要方法22.2 顯著性檢測(cè)算法介紹22.2.1 PQFT 概述22.2.2 PQFT模型23 圖像顯著性檢測(cè)器53.1 互補(bǔ)特征提取53.2 濾波53.3 顯著性檢測(cè)器測(cè)試54 數(shù)據(jù)統(tǒng)計(jì)與分析74.1 數(shù)據(jù)圖像采集74.2 數(shù)據(jù)統(tǒng)計(jì)74.3 數(shù)據(jù)處理與分析84.4 結(jié)論與說明95、參考文獻(xiàn)113歡迎下載。精品文檔1 課題背景隨著計(jì)算機(jī)性能和功能的發(fā)展，人們?cè)絹碓较Ｍ?jì)算機(jī)可以更加自主智能地完成任務(wù)。要實(shí)現(xiàn)這個(gè)目標(biāo)，需要計(jì)算機(jī)能夠理解周圍的環(huán)境。人類感知外界信息的最主要方式是通過視覺，因此計(jì)算機(jī)理解周圍環(huán)境的關(guān)鍵是具有視覺感知處理能力1。而圖像也成為越來越重要的信息傳遞媒介。由于視覺系統(tǒng)具有視覺注意機(jī)制，因此人類可以毫不費(fèi)力地從復(fù)雜的背景中識(shí)別目標(biāo)。與此對(duì)應(yīng)，在計(jì)算機(jī)中，可以通過計(jì)算圖像的區(qū)域顯著性來高效地完成圖像處理任務(wù)。由此可見，圖像中最重要的部分經(jīng)常集中在一些小的關(guān)鍵區(qū)域，即所謂的顯著區(qū)域23。圖像顯著性檢測(cè)的任務(wù)是找出圖像中哪些區(qū)域更容易成為人類視覺注意的焦點(diǎn)，一般用顯著圖來表示圖像的顯著性，顯著圖中的像素值表示圖像對(duì)應(yīng)區(qū)域的顯著程度。目前，圖像顯著性檢測(cè)在內(nèi)容傳輸、圖像壓縮、圖像分割、目標(biāo)識(shí)別、圖像縮放、圖像恢復(fù)、圖像編輯等方面都有應(yīng)用。在圖像檢測(cè)與識(shí)別領(lǐng)域中，人臉識(shí)別是一個(gè)當(dāng)前熱門的研究方向。據(jù)統(tǒng)計(jì)，在2014年的中國(guó)國(guó)際社會(huì)公共安全博覽會(huì)上，至少有20家企業(yè)展示了自己的人臉識(shí)別產(chǎn)品。同時(shí)，眾多媒體也接連報(bào)道了人臉識(shí)別技術(shù)在學(xué)術(shù)界和工業(yè)界取得的巨大成果。在這些背景下，本課題采用頻域顯著性檢測(cè)算法計(jì)算人臉樣本照片的顯著性區(qū)域，通過大量樣本數(shù)據(jù)的統(tǒng)計(jì)分析，來研究人臉各個(gè)部位的顯著性差異，以便更加清晰直觀且更具科學(xué)依據(jù)地了解人臉的顯著性特點(diǎn)。2 顯著性檢測(cè)方法2.1 顯著性檢測(cè)的主要方法顯著性檢測(cè)方法有多種分類方式：按照顯著模型可以分為三類：1) 基于低層視覺特征，代表性算法是模擬生物體視覺注意機(jī)制的選擇性注意算法(Itti 算法)。2) 沒有基于任何生物視覺原理的純數(shù)學(xué)計(jì)算方法，如全分辨率算法(AC 算法)和基于空間頻域分析的剩余譜算法(Spectral residual approach, SR)4。3) 將前兩種進(jìn)行融合的方法，代表性算法基于圖論的算法(Graph-based visual saliency，GBVS)。按照處理空間的不同可以分為：考慮局部特征的，如Itti 算法和GBVS 算法；和考慮整體性的，如SR 算法和IG 算法。而在本課題中，采用一個(gè)新的顯著性區(qū)域檢測(cè)算法（PQFT算法）。該算法主要在頻域進(jìn)行處理，同時(shí)利用了空間域信息。頻域處理可以非常高效地抑制重復(fù)出現(xiàn)的背景，而空間域信息則用于選擇一個(gè)突出整個(gè)顯著物體的最佳顯著圖。因此，該算法具有突出整個(gè)顯著物體，抑制重復(fù)出現(xiàn)的背景和計(jì)算效率高的等特點(diǎn)5。2.2 顯著性檢測(cè)算法介紹2.2.1 PQFT 概述PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是有Guo等人在SR（Spectral Residual）算法基礎(chǔ)上提出的，該方法通過計(jì)算圖像的四元傅里葉變換的相位譜得到圖像的時(shí)空顯著性映射。圖像中的每一個(gè)像素點(diǎn)都用四元組表示：顏色，亮度和運(yùn)動(dòng)向量。PQFT算法模型獨(dú)立于先驗(yàn)信息，不需要參數(shù)，計(jì)算高效，實(shí)時(shí)性好6。2.2.2 PQFT模型一幅圖像所包含的信息可以分解為新的信息和已知信息。新的信息就是引起注意的部分，已知信息是應(yīng)該被去除的冗余信息。冗余信息是內(nèi)容比較單一、反復(fù)大量出現(xiàn)的圖像模式。根據(jù)傅里葉變換公式，某種模式出現(xiàn)的次數(shù)越多，其幅度譜就越集中在一些頻率，呈現(xiàn)出尖峰形狀10。若一幅圖像的背景是重復(fù)出現(xiàn)的冗余內(nèi)容，而其中的顯著目標(biāo)非常獨(dú)特。那么背景對(duì)應(yīng)的幅度譜就比目標(biāo)的幅度譜尖銳很多。這時(shí)，將幅度譜中冗余的背景抑制住，則顯著的目標(biāo)就會(huì)凸顯出來。于是問題轉(zhuǎn)化為去燥問題。而中值濾波器對(duì)于尖峰噪聲的效果非常好，顯著目標(biāo)對(duì)應(yīng)的幅度譜比較平滑，在中值濾波后也能被保留下來7。在PQFT模型中，將圖像分解為四個(gè)通道：M、I、RG和BY。其中，M為運(yùn)動(dòng)通道，I為亮度通道，RG和BY為顏色通道8。假設(shè)F(t)表示時(shí)間t時(shí)刻的輸入圖像，t=1,2,3,T，T為所有圖像幀的總數(shù)。F(t)分為紅、綠、藍(lán)三個(gè)顏色通道，表示為r(t),g(t),b(t)，那么，可以將三個(gè)顏色通道擴(kuò)展為四個(gè)廣義的顏色通道：(1)(2)類似于人類視覺系統(tǒng)，對(duì)立顏色通道定義為亮度通道和運(yùn)動(dòng)通道定義為 (3)其中為延遲因子。則四元組圖像可以表示為(4)其中，滿足可以寫成如下形式(5)將圖像中每一個(gè)像素點(diǎn)表示為為空間坐標(biāo)，t為時(shí)間坐標(biāo)。四元傅里葉圖像變化寫成(6)(7)表示頻域坐標(biāo),N,M表示圖像維度。四元逆傅里葉變化為(8)可將q(t)表示為Q(t)的極坐標(biāo)形式(9)其中為的相位譜。設(shè)定，則只剩下相位信息q(t)。計(jì)算逆相位信息 可得到(10)時(shí)空顯著性映射為(11)其中g(shù)表示二維高斯平滑濾波。當(dāng)輸入為靜態(tài)圖像時(shí)，12。3 圖像顯著性檢測(cè)器3.1 互補(bǔ)特征提取在圖像顯著性檢測(cè)中，首先從輸入的圖像中提取幾個(gè)互補(bǔ)的特征通道，這里利用獨(dú)立成分分析方式提取互補(bǔ)通道，這樣可以大大消除圖像中的冗余信息成分9。此外，這種獨(dú)立性有助于從各個(gè)通道分別檢測(cè)圖像的顯著性。通常，使用獨(dú)立成分分析法從原始顏色通道中得到的系數(shù)圖有著顯著不同的視覺特性，使得很難在相應(yīng)的光譜中手動(dòng)設(shè)計(jì)顯著性檢測(cè)器8。因此，要從相位和幅度兩方面“訓(xùn)練”顯著性檢測(cè)器。在這里，從公眾形象基準(zhǔn)庫(kù)MIT1003中選取903幅訓(xùn)練圖像，將剩下的100幅作為測(cè)試對(duì)象。將處理后得到的3232的系數(shù)圖記為，同時(shí)將通過降采樣固定密度圖得到的3232系數(shù)圖記為。這樣就得到了一個(gè)包含所有C個(gè)獨(dú)立組件的訓(xùn)練集，記為。3.2 濾波為了從得到的系數(shù)圖中計(jì)算圖像顯著性，首先通過傅里葉變換計(jì)算其頻譜。采用高斯帶通濾波器篩選出最低頻率和抑制最高頻率。于是對(duì)于一個(gè)訓(xùn)練實(shí)例，得到(12)再利用中值濾波器去除幅度譜中的尖峰，并與原始相位譜合并，通過傅里葉逆變換得到顯著圖?？傊?，一個(gè)圖像I的顯著圖S可以通過一下過程得到，(13)3.3 顯著性檢測(cè)器測(cè)試圖像顯著性檢測(cè)器設(shè)計(jì)完成后，在matlab中運(yùn)行，當(dāng)輸入一幅圖像時(shí)，會(huì)得到一個(gè)3232的矩陣，其中數(shù)值代表顯著性強(qiáng)弱，范圍為0255。為了便于觀察比較，將矩陣轉(zhuǎn)化為3232像素的灰度圖，并將黑白反轉(zhuǎn)便于突出顯著性區(qū)域。一個(gè)測(cè)試圖像結(jié)果如下：圖3.1 原始圖圖3.2 顯著性矩陣圖3.3 灰度圖與反轉(zhuǎn)后灰度圖4 數(shù)據(jù)統(tǒng)計(jì)與分析4.1 數(shù)據(jù)圖像采集首先，將得到的人臉正面免冠照片按照性別分為兩組：female組和male組。為了區(qū)分同一圖像顯著性區(qū)域的程度以便于按照顯著性強(qiáng)弱排序，在計(jì)算圖像區(qū)域顯著性時(shí)，將得到的結(jié)果按如下命令處理：imagesc(abs(255-salMap);colormap(gray);saveas(gcf,X:figf1-1.jpg);imagesc(abs(223-salMap);colormap(gray);saveas(gcf,X:figf1-2.jpg);imagesc(abs(191-salMap);colormap(gray);saveas(gcf,X:figf1-3.jpg);imagesc(abs(159-salMap);colormap(gray);saveas(gcf,X:figf1-4.jpg);imagesc(abs(127-salMap);colormap(gray);saveas(gcf,X:figf1-5.jpg);將0255的數(shù)據(jù)按照每32一個(gè)梯次分為5個(gè)梯次變做絕對(duì)值處理，這樣便可以在凸顯第二顯著區(qū)域的同時(shí)屏蔽第一顯著區(qū)域的影響，同時(shí)將得到的灰度圖直接保存，便于之后的統(tǒng)計(jì)分析和批量處理。如此，批量地將female和male組的圖像全部進(jìn)行區(qū)域顯著性計(jì)算并將結(jié)果保存在兩個(gè)文件夾中等待統(tǒng)計(jì)處理。4.2 數(shù)據(jù)統(tǒng)計(jì)將計(jì)算得到的灰度圖與原始圖像進(jìn)行對(duì)比，根據(jù)相應(yīng)區(qū)域的灰度統(tǒng)計(jì)出每一幅圖像中人臉部位的顯著性強(qiáng)弱順序并幾錄在表格中。部分統(tǒng)計(jì)數(shù)據(jù)如下表4.1，表4.2，表4.1 female組部分?jǐn)?shù)據(jù)照片編號(hào)照片編號(hào)f1enmf11enf2anef12nf3mnef13nef4nf14ef5enf15eanf6enf39enf7nmef40nef8naf41nf9enf42nef10mef43mn注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）表4.2 male組部分?jǐn)?shù)據(jù)照片編號(hào)照片編號(hào)m1namm11mmam2mmnm12nmam3namm13nmam4mmam14nmam5mmam15manm6mnam16nam7mamm17nam8mmam18nam9mam19nmm10mmam20n注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）4.3 數(shù)據(jù)處理與分析分別按照顯著性強(qiáng)弱順序統(tǒng)計(jì)兩組中各部位在每一梯次出現(xiàn)的次數(shù)，作為初步處理。在每一組中，首先將各部位按照第梯次數(shù)據(jù)排序，第一位即為本組中顯著性最高的部位。接著將剩余數(shù)據(jù)并入第梯次并以此為標(biāo)準(zhǔn)排序，第梯次第一位即為本組顯著性第二高的部位，以此類推知道排出所有部位顯著性強(qiáng)弱順序。另一組同理。這樣可以得到如下表4.3，表4.4的統(tǒng)計(jì)結(jié)果，表4.3 female組統(tǒng)計(jì)結(jié)果部位部位部位n26m17m33nmeae8e16e19a1a4a10f0f0f0注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）表4.4 male組統(tǒng)計(jì)結(jié)果部位部位部位n85m20a66namefe14m37m42a12e33e39f1f0f0注：f：forehead(額頭）e：eye（眼睛）a：ear(耳）m：mouth(嘴）n：nose（鼻）4.4 結(jié)論與說明由統(tǒng)計(jì)結(jié)果可以看出，在女性中，臉部部位顯著性由強(qiáng)到弱一次為鼻、嘴、眼睛、耳朵。而在男性中的臉部部位顯著性由強(qiáng)到弱為鼻子、耳朵、嘴、眼睛、額頭。可以看出男女性在臉部部位的顯著性上并不相同，主要差異在與女性人群中耳朵是一個(gè)顯著性較低的部位，而在男性人群中耳朵的顯著性則大大增強(qiáng)。通過觀察發(fā)現(xiàn)，造成這一差異的主要原因是女性多為長(zhǎng)發(fā)將耳朵遮住，而男性多為短發(fā)，正面照中耳朵清晰可見。而通過下圖可以發(fā)現(xiàn)，頭發(fā)在顯著性檢測(cè)中幾乎是作為冗余信息被過濾掉，這就不難看出長(zhǎng)發(fā)的存在直接將女性人群中耳朵的顯著性抹去了。圖 4.1 同一人不同發(fā)型在鼻子的顯著性中，男性主要集中在鼻尖位置，而女性多表現(xiàn)在鼻梁及眼角，呈現(xiàn)出倒三角行，典型案例如下圖，圖 4.2 男性典型案例 圖 4.3 女性典型案例5 參考文獻(xiàn)1 吳金建. 基于人類視覺系統(tǒng)的圖像信息感知和圖像質(zhì)量評(píng)價(jià)D.西安電子科技大學(xué),20142 陳倩. 顯著性區(qū)域檢測(cè)算法研究D.北京交通大學(xué),2014.3 韓抒真,郭建民,郭迎春,柳青. 基于視覺注意機(jī)制的圖像分類方法J. 天津工業(yè)大學(xué)學(xué)報(bào),2015,04:47-51.4 王巖,盧宏濤,鄧南，蔡能斌.基于頻域與空間域分析的顯著區(qū)域檢測(cè)算法J.計(jì)算機(jī)工程,2012,09:165-170.5 孫曉飛,潘文文,王霞. 典型的圖像顯著性檢測(cè)算法分析和比較J. 黔南民族師范學(xué)院學(xué)報(bào),2014,05:100-105.6 張巧榮,顧國(guó)昌,劉海波,肖會(huì)敏. 利用多尺度頻域分析的圖像顯著區(qū)域檢測(cè)J. 哈爾濱工程大學(xué)學(xué)報(bào),2010,03:361-365.7 陳倩,朱振峰,趙耀. 基于時(shí)-頻結(jié)合的顯著性區(qū)域檢測(cè)J. 鐵道學(xué)報(bào),2014,07:62-69.8 劉尚旺,李銘,毛文濤,劉國(guó)奇. 基于改進(jìn)HFT模型的顯著性檢測(cè)J. 計(jì)算機(jī)工程與設(shè)計(jì),2015,08:2167-2173.9 蘇磊磊. 基于小區(qū)域的圖像顯著度提取及應(yīng)用研究D.山東師范大學(xué),2015.10 ACHANTA R,HEMAMI S,ESTRADA F,et al. Frequencytuned salient region detectionC/Proceedings of the IEEE Conference 0n Computer Vision and Pattem Recognition(CVPR)Miarni