基于全局對比度的圖像顯著性區(qū)域檢測算法研究

1、Global Contrast based Global Contrast based Salient Region DetectionSalient Region DetectionMing-Ming Cheng, Tsinghua UniversityMing-Ming Cheng, Tsinghua UniversityititCVPR 2011CVPR 2011Global Contrast based Global Contrast based Salient Region DetectionSalient Region Detection自動化學院自動化學院匯報人：付忠敏匯報人：付

2、忠敏Main Contents1 234基于直方圖對比度的檢測方法基于直方圖對比度的檢測方法基于區(qū)域?qū)Ρ榷鹊臋z測方法基于區(qū)域?qū)Ρ榷鹊臋z測方法總結(jié)與展望總結(jié)與展望顯著區(qū)域檢測及分析方法顯著區(qū)域檢測及分析方法Salient Region of imagev顯著性源于視覺的獨特性、不可預測性、稀缺性以及奇異性，并且是由顏色、梯度、邊緣、邊界等圖像所致。人們普遍認為，大腦更容易響應圖像中的高對比度區(qū)域的刺激。文章作者主要依據(jù)圖像的對比度來進行顯著性區(qū)域檢測。v什么是圖像的顯著性區(qū)域什么是圖像的顯著性區(qū)域? Salient Region DThree Principles1全局對比全局對比傾向于傾向于將

3、大范圍的目標將大范圍的目標和周圍環(huán)境分離和周圍環(huán)境分離，這種，這種對比對比優(yōu)于優(yōu)于只在輪廓附近產(chǎn)只在輪廓附近產(chǎn)生較高顯著性的生較高顯著性的局部對比度局部對比度。3一個區(qū)域的對比一個區(qū)域的對比度，主要由度，主要由它和它和周圍區(qū)域的對比周圍區(qū)域的對比度決定度決定，相距很，相距很遠的區(qū)域起的作遠的區(qū)域起的作用較小用較小。2全局的考慮可以全局的考慮可以為圖像中為圖像中相似的相似的區(qū)域分配一個相區(qū)域分配一個相近的顯著性值近的顯著性值，并且均勻的突出并且均勻的突出目標。目標。Two methods of salient region detection1 HC（Histogram Contrast）算法）

4、算法視覺系統(tǒng)對圖像中像素的色彩差異很敏感。據(jù)此，根據(jù)源圖像的顏色統(tǒng)計特征提出了基于直方圖對比的圖像像素顯著性值檢測方法。2 RC（Region Contrast）算法）算法人們會更加注意圖像中與周圍物體對比度大的區(qū)域，除對比度外，相鄰區(qū)域的高對比度比很遠區(qū)域的高對比度更容易導致一個區(qū)域引起人類的注意。 Saliency value of pixel 12( )( , )( , )( , )kkkkNS ID I ID I ID I I=+ IIikkiIIDIS),()(一個像素的顯著性值用它和圖像中其他像素的一個像素的顯著性值用它和圖像中其他像素的顏色的對比度顏色的對比度來定義來定義；歐式顏

5、色距離。顏色空間的在和表示像素，式中LabIIIIDikik)(上式展開得：上式展開得：什么是什么是Lab顏色空間？顏色空間？ 在這種定義下，相同顏色的像素點具有相同的顯著性值，對式子進行重排，將相同顏色的像素歸到一起，得到每種顏色的顯著性值。njjljlkccDfcSIS1,)()()(Cl表示像素Ik的顏色；n為圖像所含顏色總數(shù)目；fj為Cj在圖像的所有顏色中出現(xiàn)的概率；D(cl,cj)表示Lab顏色空間中的顏色距離。Saliency value of Saliency value of colornjjljlkccDfcSIS1,)()()(國旗中像素國旗中像素Ik的顏色是的顏色是黃色或

6、者黃色或者紅色，圖像紅色，圖像所含顏色所含顏色總數(shù)目總數(shù)目2；根據(jù)公式計算：根據(jù)公式計算：黃色出現(xiàn)的概率接近于0紅色出現(xiàn)的概率接近于Zhai和和Shah僅僅使僅僅使用了用了亮度亮度來減少顏來減少顏色的數(shù)量，在這個色的數(shù)量，在這個基礎上他們提出了基礎上他們提出了用于圖像顯著區(qū)域用于圖像顯著區(qū)域檢測的檢測的LC檢測。檢測。先先將每個將每個顏色通道量顏色通道量化化成成12個個份，份，將顏色將顏色減少到減少到12*12*12，再再將出現(xiàn)頻率較小的顏將出現(xiàn)頻率較小的顏色丟掉色丟掉，保留，保留高頻出高頻出現(xiàn)現(xiàn)的顏色的顏色。然而，真彩色空間包含然而，真彩色空間包含256*256*256種可能的顏色種可能的顏

7、色（16萬色）萬色），比圖像的，比圖像的像素總數(shù)像素總數(shù)還還多，計算多，計算代價太高代價太高。方法方法1 1方法方法2 2Saliency value of LC算法缺陷在于忽略了顏色信息的算法缺陷在于忽略了顏色信息的可區(qū)別性可區(qū)別性。自然圖。自然圖像中的顏色只占據(jù)整個色彩空間很小的像中的顏色只占據(jù)整個色彩空間很小的一部分一部分，將出現(xiàn)，將出現(xiàn)頻率很低頻率很低的顏色丟掉，保留的顏色丟掉，保留高頻出現(xiàn)高頻出現(xiàn)的顏色。量化后的的顏色。量化后的圖像顏色更少，但仍能保證顯著性檢測所需的視覺質(zhì)量。圖像顏色更少，但仍能保證顯著性檢測所需的視覺質(zhì)量。Color histogram quantize顏色量化樣

8、例顏色量化樣例 HC方法方法速度快速度快，并且產(chǎn)生細節(jié)精確的結(jié)果，均勻地突，并且產(chǎn)生細節(jié)精確的結(jié)果，均勻地突出了整個顯著性區(qū)域。出了整個顯著性區(qū)域。Salient region detection based on histogram contrastHCHC算法檢測顯著區(qū)域樣例算法檢測顯著區(qū)域樣例 空間關系空間關系在引起人類注意力方面也起到非常大的在引起人類注意力方面也起到非常大的作用。作用。相鄰區(qū)域的高對比度相鄰區(qū)域的高對比度比很遠區(qū)域的高對比比很遠區(qū)域的高對比度更容易導致一個區(qū)域引起人類的注意?；诖?，度更容易導致一個區(qū)域引起人類的注意?；诖?，提出基于提出基于區(qū)域?qū)Ρ榷葏^(qū)域?qū)Ρ榷鹊娘@著

9、性區(qū)域檢測算法。的顯著性區(qū)域檢測算法。（1 1）先將）先將圖像分割圖像分割為若干區(qū)域為若干區(qū)域( (參考文獻：參考文獻：Efficient Efficient graph-based image segmentationgraph-based image segmentation. 2004. 2004，IJCV),IJCV),再為每再為每個區(qū)域建立個區(qū)域建立顏色直方圖顏色直方圖；（2 2）計算各個區(qū)域之間的）計算各個區(qū)域之間的顏色對比度顏色對比度，用每個區(qū)域和其他，用每個區(qū)域和其他區(qū)域的對比度區(qū)域的對比度加權(quán)和加權(quán)和來定義其顯著性值（來定義其顯著性值（權(quán)值由兩個區(qū)域權(quán)值由兩個區(qū)域的空間距離的

10、空間距離決定）。決定）。Region C 圖像分割得到左圖，圖像分割得到左圖，不考慮不考慮距離權(quán)值得到中距離權(quán)值得到中-左圖，左圖，考慮距離權(quán)值考慮距離權(quán)值得到中得到中-右圖，二值化得到右圖。右圖，二值化得到右圖。Region contrast based salient region Saliency value of region 。為兩個區(qū)域的顏色距離，域的顏色對比度以此來突出大區(qū)的像素總數(shù)表示區(qū)域式中Drrwii)()(兩個區(qū)域兩個區(qū)域r1和和r2的的顏色距離顏色距離：對每個區(qū)域?qū)γ總€區(qū)域r rk k定義定義顯著性值顯著性值：( )( )( , )kikirkirrS rw r D r

11、 r1212121211( ,)( , ) (, )( , , )nnrijD r rf c i f cj D c i Saliency value of region 引入引入空間權(quán)值空間權(quán)值，將空間信息加進來，增加，將空間信息加進來，增加區(qū)域區(qū)域的的空間影響效果空間影響效果。對于任意區(qū)域?qū)τ谌我鈪^(qū)域r rk k, ,基于基于空間加權(quán)區(qū)域?qū)Ρ榷瓤臻g加權(quán)區(qū)域?qū)Ρ榷鹊娘@著性的顯著性值值：)()()(exp()(2ikrirrsikskrrDrwrrDrSik，4 . 0)(sssikiksrrrrD越小，實驗中取越大，空間權(quán)值的影響度，控制空間權(quán)值強的空間距離；和為區(qū)域，怎樣計算兩個區(qū)域的距離怎

12、樣計算兩個區(qū)域的距離Ds？Distance of two region 引入引入?yún)^(qū)域形心區(qū)域形心，將，將形心的形心的距離的平方距離的平方代表兩個代表兩個區(qū)域的空間距離。區(qū)域的空間距離。AydAyAxdAxAA形心公式形心公式應用到圖像處理中應用到圖像處理中，將一個像素看成將一個像素看成dA，且為，且為1個單位，則圖像的個單位，則圖像的面積即為像素點面積即為像素點數(shù)目數(shù)目，分子上的積分則，分子上的積分則變?yōu)樗邢袼刈優(yōu)樗邢袼貦M或縱坐標的和橫或縱坐標的和。 The examples of image 基于基于圖論圖論的圖像分割技術的基本思想是將的圖像分割技術的基本思想是將圖像映射為帶權(quán)圖像映射為

13、帶權(quán)無向圖無向圖，把，把像素像素視作視作節(jié)點節(jié)點，節(jié)點之間的，節(jié)點之間的邊的權(quán)重邊的權(quán)重對應于兩對應于兩個像素點的個像素點的不相似性度量不相似性度量，該方法具有快速、魯棒、全局，該方法具有快速、魯棒、全局最優(yōu)、抗噪性強、可擴展性好等優(yōu)點。最優(yōu)、抗噪性強、可擴展性好等優(yōu)點。Graph-based image segmentation改變視角，把圖像看作一張帶權(quán)無向圖，對于兩個像改變視角，把圖像看作一張帶權(quán)無向圖，對于兩個像素點，所素點，所不同的是顏色不同的是顏色，兩個像素點的，兩個像素點的不相似度不相似度=邊的邊的權(quán)重權(quán)重w(vi，vj)=兩個像素點的兩個像素點的顏色距離顏色距離D(ci,cj)

14、。 區(qū)域區(qū)域之間的之間的差別差別定義為定義為連接兩連接兩區(qū)域區(qū)域的的所有所有邊的邊的權(quán)重的權(quán)重的最小最小值值：一個區(qū)域的一個區(qū)域的內(nèi)部差別內(nèi)部差別定義為本區(qū)域定義為本區(qū)域所有所有邊的邊的權(quán)重的權(quán)重的最大最大值值：Graph-based image segmentation)()(jiCvvvvwMaxCIntji，)()(2121jiCvCvvvwMinCCDiffji，代表代表vi,vj兩像素點兩像素點的的RGB顏色距離顏色距離同一個區(qū)域同一個區(qū)域中的元素相似中的元素相似，即，即同一區(qū)域中的邊應該有同一區(qū)域中的邊應該有低的權(quán)低的權(quán)重，內(nèi)部差別最小。重，內(nèi)部差別最小。不不同區(qū)域同區(qū)域中的元素相

15、中的元素相異異，不，不同區(qū)域的頂點間的邊應該有同區(qū)域的頂點間的邊應該有高的權(quán)重，使區(qū)域差別最大。高的權(quán)重，使區(qū)域差別最大。構(gòu)造一個構(gòu)造一個判判定函數(shù)定函數(shù)來判來判定兩區(qū)域之定兩區(qū)域之間是否有間是否有邊邊界界The priciples of region Graph-based image segmentation Click to add Text Click to add Text Click to add Text分割算法的最終目標是使得區(qū)域的分割算法的最終目標是使得區(qū)域的內(nèi)部差別最小內(nèi)部差別最小，區(qū)域之間的差別最大區(qū)域之間的差別最大。該分割算法實現(xiàn)簡單，計算高效，全局性好，但局部該分割算

16、法實現(xiàn)簡單，計算高效，全局性好，但局部細細節(jié)容易丟失，判定函數(shù)節(jié)容易丟失，判定函數(shù)和和邊權(quán)重函數(shù)邊權(quán)重函數(shù)是算法關鍵。是算法關鍵。Summary and Comparsion HC方法方法速度快速度快，并且產(chǎn)生，并且產(chǎn)生細節(jié)精確細節(jié)精確的結(jié)果，的結(jié)果，RC方法同時考慮了方法同時考慮了全局對比全局對比度和度和空間相干性，空間相干性，可以可以產(chǎn)生產(chǎn)生空間增強空間增強的高質(zhì)量顯著性圖像，但與此同時的高質(zhì)量顯著性圖像，但與此同時具有具有相對較低的計算效率相對較低的計算效率，兩種算法均性能優(yōu)異。，兩種算法均性能優(yōu)異。選擇以下現(xiàn)有的顯著性檢測算法作為對比對象：選擇以下現(xiàn)有的顯著性檢測算法作為對比對象：（1

17、）FT算法（算法（參考文獻：參考文獻：Frequency-tuned Salient Frequency-tuned Salient Region DetectionRegion Detection.2009,CVPR.2009,CVPR）（2）LC算法（算法（參考文獻：參考文獻：Visual attention detection Visual attention detection in video sequences using spatiotemporal cuesin video sequences using spatiotemporal cues.2006.2006, ACM M

18、ultimedia, ACM Multimedia）（3）SR算法算法（參考文獻：參考文獻：Saliency detection: A Saliency detection: A spectral residual approach.2007,CVPRspectral residual approach.2007,CVPR）LOGOLab color space Lab是一種不常用的色彩空間是一種基于生理特是一種不常用的色彩空間是一種基于生理特征的顏色系統(tǒng)。帶有維度征的顏色系統(tǒng)。帶有維度L表示亮度表示亮度，a和和b表示表示顏色顏色對立維度對立維度。Lab顏色空間比計算機顯示器、顏色空間比計算機顯示器、打印機甚至比打印機甚至比人類視覺的色域都要大人類視覺的色域都要大。常用的常用的RGB顏色模型顏色模型Lab color spaceL分量用于表示像素的亮度，取值范圍是0,100，表示從純黑到純白。a分量表示從紅色到綠色的范圍，取值范圍是-128,127。b分量表示從黃色到藍色的范圍，取值范圍是-128,127。22122122121)(）（）（）（，bbaaLLccDLab color space Lab是一種基于生理特征的顏色系統(tǒng)。這也就意味著它是用數(shù)字化的方法來描述人的視覺感應。22122122121)(）（）（）（，bbaaLLccDAdvantages of