基于全局對比度的顯著性區(qū)域檢測

1、譯文 基于全局對比度的顯著性區(qū)域檢測 摘要視覺顯著性的可靠估計能夠?qū)崿F(xiàn)即便沒有先驗知識也可以對圖像適當?shù)奶幚?，也因此在許多計算機視覺任務(wù)，如：圖像分割、目標識別和自適應(yīng)壓縮等中，視覺顯著性的可靠估計留有一個重要的步驟。我們提出一種基于區(qū)域?qū)Ρ榷鹊囊曈X顯著性區(qū)域檢測算法，能夠同時對全局對比度差異和空間一致性做出評估。該算法簡易、高效并且產(chǎn)出滿分辨率的顯著圖。當采用最大的公開數(shù)據(jù)集進行評估時，我們的算法比已存的顯著性檢測方法更優(yōu)越，具有更高的分辨率和更好的召回率。我們還演示了顯著圖是如何可以被用來創(chuàng)建用于后續(xù)圖像處理的高質(zhì)量分割圖形。1 引言人們經(jīng)常毫不費力地判斷圖像區(qū)域的重要性，并且把注意力集中

2、在重要的部分。由于通過顯著性區(qū)域可以優(yōu)化分配圖像分析和綜合計算機資源，所以計算機檢測圖像的顯著性區(qū)域存在著重要意義。提取顯著圖被廣泛用在許多計算機視覺應(yīng)用中，包括對興趣目標的圖像分割13, 18、目標識別25、圖像的自適應(yīng)壓縮6、內(nèi)容感知圖像縮放28, 33,30, 9和圖像檢索4等。顯著性源于視覺的獨特性、不可預(yù)測性、稀缺性以及奇異性，而且它經(jīng)常被歸因于圖像屬性的變化，比如顏色、梯度、邊緣和邊界等。視覺顯著性是通過包括認知心理學(xué)26, 29、神經(jīng)生物學(xué)8, 22和計算機視覺17, 2在內(nèi)的多學(xué)科研究出來的，與我們感知和處理視覺刺激密切相關(guān)。人類注意力理論假設(shè)人類視力系統(tǒng)僅僅詳細處理了部分圖像

3、，同時保持其他部分基本未處理。由Treisman和Gelade 27，Koch和Ullman 19進行的早期工作，以及隨后由Itti，Wolfe等人提出的注意力理論提議將視覺注意力分為兩個階段：快速的、下意識的、自底向上的、數(shù)據(jù)驅(qū)動顯著性提??；慢速的、任務(wù)依賴的、自頂向下的、目標驅(qū)動顯著性提取。我們通過圖像對比度來關(guān)注自底向上的數(shù)據(jù)驅(qū)動顯著性檢測。人們普遍認為，人類大腦表皮細胞在其接受域可能是硬編碼的，為的是優(yōu)先響應(yīng)高對比度刺激23?；谝韵掠^察結(jié)果，我們提出了對提取的高分辨率全局顯著圖的對比度分析：l 基于全局對比度的方法能夠?qū)⒁粋€大規(guī)模目標從它周圍的環(huán)境中分離出來，相對于只在輪廓附近產(chǎn)生高

4、顯著值的基于局部對比度的方法更優(yōu)越。l 基于全局的考慮能夠?qū)崿F(xiàn)將相近的顯著值分配到相似的圖像區(qū)域，并且可以均勻的突出整個目標。l 一個區(qū)域的顯著性主要依靠它與相近區(qū)域的對比度，而與遠區(qū)域的對比度相對沒有那么重要。l 為了實現(xiàn)大圖像集合的處理和促進圖像分級與檢索的高效率進行，顯著圖要求能夠簡單快速的生成。我們提出了一種基于直方圖對比度的方法（HC）來測量顯著性。HC-maps依據(jù)與所有其它圖像像素的色彩差異來分配像素顯著值，以此來產(chǎn)生全分辨率的顯著圖。我們使用直方圖的方法來高效處理，同時使用一種平滑操作來控制量化缺陷。值得注意的是我們的算法是針對自然場景，對高紋理圖像場景可能要弱些（見圖12）。

5、圖1 輸入圖像（上），經(jīng)全局對比度分析得到的高分辨率的顯著圖（中），顯著圖可以進一步被用來產(chǎn)生感興趣物體區(qū)域（下）作為HC-map的改進，我們結(jié)合空間關(guān)系創(chuàng)造出了基于區(qū)域?qū)Ρ榷鹊模≧C）顯著性圖：先把輸入的圖像分割為數(shù)區(qū)域，然后賦予他們顯著值。從而一個區(qū)域的顯著值就可以通過全局對比度值來計算。而全局對比度值定義為該區(qū)域與圖像中的其他區(qū)域的對比以及與其他區(qū)域的空間距離。我們在公開的基準數(shù)據(jù)集上廣泛地評估我們的方法，并且將我們的方法與最先進顯著性方法17, 21, 32, 14, 15, 1, 2, 12以及人工標注的參考數(shù)據(jù)進行對比1。實驗表明，我們的方法比以往的方法在精度和召回率上都具有明顯的

6、改進?？偟膩碚f，與HC-map相比，RC-map具有更高的精度和召回率，不過是以增加計算量為代價的。令人欣慰的是，我們注意到用我們的顯著圖提取的顯著性分割在絕大多數(shù)情況下是符合人工注釋的。我們也呈現(xiàn)了顯著圖在圖像分割、內(nèi)容感知圖像縮放和非真實感渲染中的應(yīng)用。2 相關(guān)工作我們主要關(guān)注把下意識的自底向上的顯著性檢測作為目標的相關(guān)文獻，這可能是基于生物學(xué)激勵，或者是純粹的計算，抑或是兼顧這兩個方面。這些方法利用低水平的處理來決定圖像目標與它們周圍的對比度，所涉及的特征屬性有：圖像亮度、顏色和邊緣等。我們大致將這些算法分為兩類：局部方案和全局方案?；诰植繉Ρ榷鹊姆椒ㄑ芯苛伺c相鄰區(qū)域比較所具有的較為獨

7、特的屬性。Koch和Ullman 19提出的早期模型受到生物學(xué)激勵的高度影響，在這個基礎(chǔ)上Itti等人17用貫穿多尺度圖像特征的中心-周圍差異來定義圖像目標顯著性。Ma和Zhang 21提出了一種可供選擇的局部對比度分析法來產(chǎn)生顯著性圖像，之后再通過模糊增長模型進行擴充。Harel等人14將Itti等人的特征圖進行標準化后得到突出顯著部分，并且允許和其它重要的顯著圖像組合。Liu等人20通過將高斯圖像金子塔中的對比度線性地組合找到多尺度對比度。近年來，越來越多的基于局部對比度的方法被提出。如：Goferman等人12提出的局部底層線索模型、全局考慮模型、視覺組織規(guī)則模型和表層特征模型都一致強調(diào)

8、顯著目標在不同的背景中是不同的。這些使用局部對比度的方法趨向于產(chǎn)生邊緣附近的更高顯著值，而非一致地強調(diào)顯著的目標（見圖 2）。圖2 （b-i）是由不同的最先進方法計算出的顯著圖，（j）和（k）分別是我們提出的HC和RC方法得到的顯著圖。絕對多數(shù)結(jié)果突出了邊緣或者低分辨率。也可見圖6（以及項目網(wǎng)頁）。基于全局對比度的方法，通過與整體圖像對比度進行對比，來評估一個圖像區(qū)域的顯著性。Zhai和Shah 32通過對某個像素與其他所有像素的對比來定義像素級別上的顯著性。然而，出于效率考慮，他們僅僅使用亮度信息，從而忽略了其它渠道所具備的不同的線索。Achanta等人提出一個諧頻的方法，直接使用與平均圖像

9、顏色之間的色差來定義像素顯著性。然而，這個方法僅僅考慮了一階平均顏色，并不能充分地分析自然圖像中常見的復(fù)雜變量。在圖6和圖7中，我們展示出這些方法中定性的和定量的缺陷。此外，這些方法忽視了圖像各部分之間的空間關(guān)系，而這個因素是可以對可靠的和一致的顯著性探測產(chǎn)生決定性作用的。3 基于直方圖的對比度生物學(xué)視力系統(tǒng)對于視覺信號的對比度很敏感，在對這個生物學(xué)視力觀察的基礎(chǔ)上，我們提出了一種直方圖對比度方法(Histogram Contrast, HC)來為用輸入圖像顏色統(tǒng)計特征的圖像像素定義顯著值。明確說是，一個像素的顯著值是通過與圖像中的所有其它像素的色差來定義的。比如，圖像中的像素的顯著值被定義如

10、下： , (1)其中是空間L*a*b中的像素和之間的顏色距離度量。方程1經(jīng)過擴展像素等級得到以下形式，, (2)其中N是圖像I中的像素數(shù)量。很容易察覺在這種定義之下，由于測量沒有考慮空間關(guān)系，同樣顏色值的像素具有相同的顯著值。因此，從具有相同顏色值的像素被組合在一起的角度重新整理方程2，我們就得到每個顏色的顯著值如下， （3）其中，是像素中的顏色值，n是不同像素顏色的數(shù)量，是圖像I中像素顏色出現(xiàn)的頻率。需要注意的是，為了避免顯著區(qū)域顏色統(tǒng)計受到其他區(qū)域相似顏色的破壞，可以使用變化的窗口面具來開發(fā)一個相似的方案。然而，考慮到高效率的要求，我們使用簡單的全局方法?；谥狈綀D的加速。如果簡簡單單的使

11、用方程1來評估每個圖像像素的顯著值的話，所花的時間算起來即使針對中等大小的圖像也是很多的。然而如果采用方程式3中的等價的表示形式，所花的時間是，意味著如果，那么計算效率可以被提高到。因此，加快速度的關(guān)鍵在于減少圖像中的像素數(shù)目。然而，真彩色空間包含了種可能的顏色，這比圖像的像素數(shù)量要多的多。Zhai和Shah 32僅僅使用亮度來減少顏色的數(shù)目n。用這種方法，（顯然，）?？墒撬麄兊姆椒ň哂幸粋€弊端，就是顏色信息的差異被忽略了。在研究中，我們用全顏色空間代替了僅使用亮度。為減少需要被考慮的顏色數(shù)量，我們首先將每個顏色通道量化為12個不同值，這就講顏色的數(shù)量減小到了?？紤]到自然圖像中的顏色僅僅包含了

12、全顏色空間中很小的一部分，我們通過忽略出現(xiàn)頻率較低的顏色來進一步減少顏色數(shù)量。通過選擇高頻顏色并且保證這些顏色覆蓋圖像像素不低于95%的顏色，我們最終達到了n=85個顏色（請見第五部分的實驗細節(jié)）。剩下的像素顏色，包含不高于5%的圖像像素，這部分顏色被直方圖中最鄰近的顏色替代。圖3中為典型的量化樣例。再此提醒，出于效率要求，我們選擇了簡單的直方圖量化而非最優(yōu)化一幅圖像的特殊顏色。圖3 輸入圖像（左），我們計算出圖像的顏色直方圖（中）。直方圖中每一個bin對應(yīng)的顏色顯示在下方的條形中。量化后的圖像（右）僅僅使用了43種直方圖bin色彩并且依然保留了顯著性檢測所需的足夠的視覺質(zhì)量。顏色空間平滑。

13、盡管我們可以高效率地通過使用顏色量化和選取高頻顏色來建立緊湊的顏色直方圖，進而計算出顏色對比度，但是量化本身可能帶入瑕疵。一些相似的顏色可能被數(shù)量化為不同的值。為了減少這類由于隨機性給顯著結(jié)果引入的噪聲，我們采取一套平滑程序來改善每個顏色的顯著值。我們用相似顏色的顯著值加權(quán)平均來代替每個顏色（以L*a*b*距離測量）的顯著值。實際上這是一個對顏色特征空間的平滑處理。我們選擇m=n/4個最近的顏色作為代表來改善顏色c的顯著值，如下：， （4） 其中，是顏色c和它的m個最近的顏色之間的距離之和，歸一化因數(shù)來自公式。值得注意一下，我們使用一個線性變化的平滑權(quán)值來為顏色特征空間中與c相近的顏色賦予較大

14、的權(quán)值。在我們的實驗中，我們發(fā)現(xiàn)這樣的線性變化的權(quán)值比衰減過于劇烈的高斯權(quán)值要好。圖4是顏色空間平滑后的效果，按顯著值降序排列。注意，相似的柱狀圖在經(jīng)過平滑過后彼此非常相近，這表明相似的顏色有著更大的概率被賦予相似的顯著值，因此減少了量化的瑕疵（見圖7）。圖4 顏色空間平滑前（左）、后（右）每種顏色的顯著性值（歸一化為范圍0,1）。相應(yīng)的顯著圖顯示在相應(yīng)的插圖中。實現(xiàn)細則。為了把顏色空間量化為種不同的顏色，我們同樣把每個顏色通道分為12個不同標準。盡管對于顏色的量化是在RGB顏色空間中進行的，但是為了與人類感知更加符合，我們在L*a*b*的顏色空間中測量顏色的距離。然而，我們沒直接在L*a*b

15、*的顏色空間中進行量化，因為不是所有在范圍，中的顏色都與實際顏色必然對應(yīng)。實驗中，我們觀察到使用直接的L*a*b*顏色空間量化得到較差的效果。通過在RGB顏色空間中量化，而在L*a*b*的顏色空間中測量距離，我們得到最好的結(jié)果，然而，無論單獨在RGB顏色空間或單獨在L*a*b*顏色空間中同時進展量化和距離計算，都得到最差的結(jié)果。圖 5 通過Felzenszwalb和Huttenlocher的分割方法11產(chǎn)生的圖像區(qū)域（左一），基于區(qū)域?qū)Ρ鹊膸Ь嚯x加權(quán)分割圖像（左二）、基于區(qū)域?qū)Ρ鹊牟粠Ь嚯x加權(quán)分割圖像（右二）。整合空間內(nèi)容，我們得到一個高質(zhì)量的顯著性切割圖（右一），能比得上人工分割結(jié)果。4 基

16、于區(qū)域的對比度人們對于與周圍環(huán)境具有強烈對比的那些圖像目標區(qū)域更注意。除了對比度，空間關(guān)系也在人類注意力中扮演了重要角色。通常一個目標區(qū)域的顯著性，與周圍目標區(qū)域的高對比度要比與遠處目標區(qū)域的高對比度更顯著。鑒于在計算像素等級的對比度時直接引入空間關(guān)系算起來很耗時，我們引進了一個對比度分析方法：區(qū)域?qū)Ρ榷?Region Contrast, RC)，為的是將空間關(guān)系整合到區(qū)域等級對比度計算當中。在RC當中，我們首先把輸入圖像分割成數(shù)個目標區(qū)域，然后計算區(qū)域等級上的顏色對比度，并且用這個區(qū)域與圖像中其他目標區(qū)域?qū)Ρ榷鹊募訖?quán)和為每個區(qū)域定義顯著性。權(quán)值的設(shè)置是依照區(qū)域空間距離來的，空間距離較遠的目標

17、區(qū)域被賦予較小的權(quán)值， 由稀疏直方圖對比得到區(qū)域?qū)Ρ榷取Ｎ覀兪紫仁褂靡环N基于圖形的圖像分割方法把輸入圖像分割為數(shù)個區(qū)域11。然后我們采用第3部分的方式為每個區(qū)域建立顏色直方圖。對于一個區(qū)域，我們通過測量其與圖像中的其他區(qū)域的顏色對比度來計算它的顯著值，如下：， （5）其中是區(qū)域的權(quán)值，是兩個區(qū)域間的顏色距離度量。這里我們使用中的像素數(shù)目來強調(diào)與更大區(qū)域的顏色對比度。區(qū)域和之間的顏色距離被定義如下： （6）其中是第i個顏色在第k個區(qū)域中的所有的個顏色中的出現(xiàn)頻率。注意，我們使用一個顏色出現(xiàn)在這個區(qū)域中的頻率作為這個顏色的權(quán)值，來更多的反映這個顏色與主要顏色之間的差別。由于每個區(qū)域只包含整個圖像的

18、顏色直方圖里的一小部分顏色，因此為每個區(qū)域存儲和計算正則矩陣是低效率的。我們使用一個稀疏直方圖表示法來高效的存儲和計算。空間加權(quán)的區(qū)域?qū)Ρ榷?。通過在方程式5中引入的一個空間加權(quán)條款，我們進一步包含空間信息，以此來增加較近區(qū)域的影響并減少較遠區(qū)域的影響。特別地，對于任何區(qū)域，基于空間加權(quán)區(qū)域?qū)Ρ榷鹊娘@著性是這樣定義的： （7）其中，是區(qū)域和區(qū)域之間的空間距離，控制空間權(quán)值的強度。值越大，越能減少空間權(quán)值的影響，使得與較遠區(qū)域的對比更有助于檢測出當前區(qū)域的顯著性。兩個區(qū)域之間的空間距離被定義為與各自區(qū)域的重心之間的歐幾里得距離。在我們的試驗中，我們使用，其像素坐標歸一化為0,1。5 實驗比較我們用

19、由Achanta等人2提供的公開數(shù)據(jù)集評估了我們方法得到的結(jié)果。據(jù)我們所知，這一套數(shù)據(jù)庫是同類數(shù)據(jù)庫中最大、最好的，擁有人類精確標注了的顯著性區(qū)域。我們對所提出的基于全局對比度方法和8種現(xiàn)今最先進的顯著性檢測方法進行了比較。緊接著2，我們依據(jù)以下幾個方面來選擇其他方法進行對比：引證的數(shù)量（IT15 and SR13），新近(GB12, SR, AC1,FT2 and CA10)，種類（IT是生物學(xué)激勵，MZ是純粹計算的，GB是混合法，ST在頻域進行處理，AC和FT輸出全分辨率顯著性圖），還有與我們的方法接近的（LC32）。我們用我們的方法和其他方法計算數(shù)據(jù)庫中所有1000張圖片得到了顯著性圖。

20、表1比較了每種方法所用的平均時間。我們的算法HC和RC是用C+做的。對于其他方法，即IT、GB、SR、FT和CA，我們用作者的實現(xiàn)方法，而對于LC這種算法，由于我們沒有找到作者的實現(xiàn)方法，我們是用C+來實現(xiàn)的。對于典型的自然圖像，我們的HC方法需要O(N)的計算時間，這對于實時應(yīng)用是足夠高效率的。比較起來，我們的RC轉(zhuǎn)化要慢一點，由于它需要圖像分割11，但是，它產(chǎn)生出極高質(zhì)量的顯著性目標檢測圖。MethodIT15MZ19GB12SR13FT2AC1CA10LC29HCRCTime(s)0.6110.0701.6140.0640.0160.10953.10.0180.0190.253CodeM

21、atlabC+MatlabMatlabC+C+MatlabC+C+C+表1 通過Achanta 等人的方法計算數(shù)據(jù)庫中圖像的顯著圖所用的平均時間。數(shù)據(jù)庫（見項目網(wǎng)頁）中絕大部分圖像的分辨率為400300。用一個雙核2.6GHz和2GB RAM的機器對算法進行了測試。圖7 在1000張公開基準圖像上經(jīng)過各種方法得到的顯著圖經(jīng)過簡單閾值分割得到結(jié)果的精度-召回曲線。（左，中）我們的方法中的不同選項與GB12, MZ19, FT2, IT15, SR13, AC1, CA10, and LC29的對比。NHC表示出我們禁用顏色空間平滑的HC方法的天然版本，NRC表示出我們的禁用空間加權(quán)的RC方法。（

22、右）精度-召回柱狀圖展示我們的顯著性切割算法，使用的是不同的顯著圖作為初始值。我們的方法RC顯示出1000個圖像數(shù)據(jù)庫中的高查準率、高精度和高值。（請參考項目網(wǎng)頁尋求相應(yīng)的結(jié)果圖像。）為了全面地評估我們用于顯著性圖像分割的方法的精確度，我們采用不同的客觀比較措施來進行兩個實驗。在第一個實驗中，為了分割顯著的目標并且計算精度和召回率曲線，我們使用了每一種可能的固定閾值將顯著性目標進行二值化，類似于2中的固定閾值法實驗。在第二個實驗中，我們反復(fù)迭代應(yīng)用GrabCut算法來分割顯著的目標，算法是使用定限的顯著性圖像來初始化的。我們也采用得到的顯著性圖作為調(diào)整內(nèi)容敏感的圖像縮放和非真實感渲染的重要的權(quán)

23、值。 通過固定閾值分割。得到顯著目標圖像的二值分割圖的最簡單方法是設(shè)定閾值來限定顯著性目標圖像。為了可靠的比較各種顯著性檢測算法突出顯著性物體的效果，我們設(shè)定閾值的值在0到255之間變化。圖7顯示出精度召回率曲線結(jié)果。我們也介紹了加入顏色空間平滑和空間加權(quán)方案的好處，連同與其他顯著性目標提取方法的客觀比較。各種方法所得到的顯著性圖的視覺比較可以在圖2和圖6中看出。圖6 顯著圖的視覺比較。（a）原始圖像，通過以下方法得到的顯著圖：（b）Zhai and Shah，（c）Goferman等人，(d) Achanta等人，(e) 我們的HC方法，(f)我們的 RC方法，（g）基于RC的顯著性切割結(jié)果

24、。我們的方法生成均勻突出的顯著性區(qū)域（見項目網(wǎng)頁中全基準數(shù)據(jù)集中的所有結(jié)果）精度和召回率曲線清楚地說明我們的方法要比其他八種方法優(yōu)越。曲線端點是有趣的：在最大召回率處=0，所有的像素都保持正數(shù)，被認為是前景，因此所有的方法具有相同的精度和召回值；點（1.0,0.2）暗示，平均來看，20%的圖像像素屬于基準顯著區(qū)域。在另一個端點，我們的方法的最小召回值要比其它方法的大，因為通過我們的方法計算出的顯著性圖更平滑并且包含了更多顯著值為255的像素。顯著性切割。我們接下來考慮使用計算的顯著性圖像來幫助顯著物體分割。顯著圖過去就被用來分割非監(jiān)督物體：Ma和Zhang20通過在他們的顯著性圖中進行模糊區(qū)域

25、擴增發(fā)現(xiàn)了矩形的顯著區(qū)域。Ko 和Nam17使用了一種在圖像分割特征上訓(xùn)練的支持矢量機器來選擇顯著的區(qū)域，然后聚集這些區(qū)域來提取顯著的物體。Han等人12用顏色、紋理和邊緣特點建立馬爾可夫隨機場模型，以此從顯著圖的種子值中獲取到顯著性物體區(qū)域。更近一點，Achanta等人2在由均值偏移法分割產(chǎn)生的分割圖像中對顯著值進行平均，然后通過識別分割圖像來發(fā)現(xiàn)顯著的目標，這些圖像區(qū)域具有的平均顯著值高于整幅圖像均值顯著值兩倍大小的閾值。在我們的方法中，我們反復(fù)的應(yīng)用GrabCut方法來改善最初由閾值化的顯著性圖像得到的分割結(jié)果（見圖8）。傳統(tǒng)GrabCut方法是由人工選中矩形區(qū)域進行初始化操作，而我們使

26、用固定的閾值二值化后的顯著性圖像得到的分割圖像來自動地初始化GrabCut，這個閾值是從我們的固定閾值實驗中憑經(jīng)驗選出來的能夠得到95%的召回率的閾值。圖8 顯著性區(qū)域切割。（從左到右依次是）首次分割圖、第一次迭代后的子分割圖、第二次迭代后的子分割圖、最終分割圖，人工標記的基準數(shù)據(jù)。在分割的圖像中，藍色是前景，灰色是背景；在子分割圖中，前景是紅色，背景是綠色。未知區(qū)域沒做改動。一旦初始化了，我們反復(fù)的運行GrabCut方法來改善顯著性切割結(jié)果（在我們的實驗中至多進行四次迭代）。每次迭代過后，我們通過膨脹腐蝕方法作用于當前分割結(jié)果，以此得到一個用于下一個GrabCut迭代的子分割圖Trimap。

27、如圖8所示，膨脹后仍然落在外面的區(qū)域被設(shè)置為背景，在被腐蝕的區(qū)域內(nèi)的區(qū)域被設(shè)置為前景，剩下的部分被設(shè)置為子分割圖的未知區(qū)域。GrabCut，其自身就是一個使用高斯模型和圖片切割法的迭代過程，在每一個步驟中都幫助改善顯著的圖像目標區(qū)域。更靠近初始顯著性物體的區(qū)域比距離遠的更容易成為那個顯著性物體的一部分。因此，我們的新初始化使GrabCut包含附近的顯著性區(qū)域并且依照顏色特點差異排除非顯著區(qū)域成為可能。在實施過程中，我們設(shè)置一個狹窄邊界區(qū)域（15個像素寬）一直存在于背景中，為的是提高邊界區(qū)域的收斂速度。圖8展示了兩個我們的基于視覺顯著性的圖像分割算法的例子。在旗幟的例子中，在GrabCut的迭代

28、期間，不想要的區(qū)域被準確的排除在外。在花朵的例子中，我們的顯著性切割方法成功地將最初的顯著區(qū)域擴大（直接從顯著性圖像目標中獲得）并且收斂得到一個精確的分割結(jié)果。為了客觀地評估我們用RC-map作為初始值的新顯著性切割方法，我們將我們的結(jié)果與由結(jié)合迭代GrabCut方法得到的結(jié)果相比較，后者采用的初始值是從由其它方法計算得到的顯著性圖像中得到的。為了一致性，我們使用在相應(yīng)的固定閾值實驗（見圖7）中得到95%召回率的閾值將每個這種顯著性圖像二值化。圖9顯示出了結(jié)果的視覺比較。平均精度precision、召回率Recall和F-measure在整個基準數(shù)據(jù)庫中進行比較，其中F-measure被定義如

29、下： （8）我們使用Achanta等人建議的=0.3，相對召回率來更多的加權(quán)精度。從比較結(jié)果（見圖7右和圖9）中可以看出，使用我們的RC和HC顯著圖進行的顯著區(qū)域分割要明顯優(yōu)于其他方法。與數(shù)據(jù)庫中由Achanta等人得到的最先進的結(jié)果(precision = 75%， recall = 83%)相比較，我們結(jié)果的準確性更高(precision = 90%， recall =90%)（演示程序可以在項目網(wǎng)頁中找到。）圖9 用不同的顯著圖作為初值的顯著性切割結(jié)果。相應(yīng)的顯著圖在圖6中。內(nèi)容感知圖像縮放。在圖像重新定位中，顯著圖常常被用來指定圖像部分的相對重要區(qū)域（也可以見圖3）。我們嘗試將我們的顯

30、著圖用于Zhang等人提出的圖像縮放方法2中，其方法分散變形能量于圖像中的相對不顯著區(qū)域，然而保留全局和局部圖像特征（使用公開可用的作者的實施方法）。圖10比較了使用我們的RC-maps和使用CA12顯著圖的縮放結(jié)果。我們的RC顯著圖能產(chǎn)生更好的縮放結(jié)果，因為顯著目標區(qū)域是分段光滑的，這對于基于能量的縮放方法是重要的。CA顯著圖在目標邊界具有更高的顯著值，這不太適于像縮放這樣的應(yīng)用，由于這些應(yīng)用需要整個顯著性物體被一致突出。圖10使用CA12顯著圖和我們的RC顯著圖的內(nèi)容敏感圖像縮放33結(jié)果的對比非真實感渲染。藝術(shù)家常常抽象化圖像，突出圖像中有意義的部分同時掩蔽掉不重要的區(qū)域31。受此啟發(fā)，一

31、系列用顯著值進行非真實感渲染（NPR）的方法產(chǎn)生并且產(chǎn)生有趣的效果7。我們嘗試性地將我們的工作與在最近NPR技術(shù)16背景下最相關(guān)的、最先進的顯著性檢測算法2相比較（見圖11）。我們的RC-maps得到更好的顯著性掩飾，這幫助NPR方法更好的保留重要的圖像部分和區(qū)域邊界中的細節(jié)，而掩蔽掉其他的部分。圖11 （中，右）FT和RC顯著圖分別以風格化渲染輸入圖像（左）。我們的方法生成更好的顯著圖，見插圖，在投和柵欄周圍產(chǎn)生改進的細節(jié)保留等。圖12 這是具有挑戰(zhàn)性的例子，基于我們的直方圖的方法涉及用相似顏色作為顯著部位的非顯著區(qū)域（頂部），或者一個使用紋理背景的圖像（底部）。（從左到右依次是）輸入圖像，

32、HC-map，HC顯著性切割圖、RC-map，RC顯著性切割圖。6 總結(jié)和展望 我們提出了基于全局對比度的顯著性計算方法，也就是直方圖對比度法（HC）和基于空間信息增強的區(qū)域?qū)Ρ榷确ǎ≧C）。HC方法是高效的，并且產(chǎn)生的結(jié)果具有精細的細節(jié)；RC方法生成空間增強的高質(zhì)量顯著圖，但是計算效率相對較低。我們在最大的公開數(shù)據(jù)集上測試了我們的方法并且將我們的方案與其他八種最先進的方法進行比較。實驗表明，提議的方案在精度和召回率兩個方面都優(yōu)越，而且簡單又高效。在未來，我們打算研究能夠?qū)⒖臻g關(guān)系與顯著性圖像計算結(jié)合同時保留結(jié)果顯著圖中的細節(jié)的高效算法。同時，這需要研究能處理雜亂紋理背景的顯著性檢測算法，以克

33、服這類背景在我們的全局直方圖方法中引入的缺陷（盡管我們沒有在數(shù)據(jù)庫中遇到這樣的圖像）。最后，整合類似人臉、對稱性等高水平元素到顯著圖中可能更有利。我們相信我們提出的顯著性圖可以用于高效的目標檢測13，可靠的圖像分類，提高圖像檢索效果。參考文獻1 R. Achanta, F. Estrada, P. Wils, and S. Susstrunk. Salientregion detection and segmentation. In ICVS, pages 6675.Springer, 2008. 2, 4, 62 R. Achanta, S. Hemami, F. Estrada, and

34、S. Susstrunk.Frequency-tuned salient region detection. In CVPR, pages15971604, 2009. 1, 2, 4, 5, 6, 73 R. Achanta and S. Susstrunk. Saliency Detection for Content-aware Image Resizing. In ICIP, 2009. 74 T. Chen, M.-M. Cheng, P. Tan, A. Shamir, and S.-M.Hu. Sketch2photo: Internet image montage. ACM T

35、OG,28(5):124:110, 2009. 15 C. Christopoulos, A. Skodras, and T. Ebrahimi. The JPEG2000 still image coding system: an overview. IEEE Trans. on Consumer Electronics, 46(4):11031127, 2002. 16 D. DeCarlo and A. Santella. Stylization and abstraction of photographs. ACM TOG, 21(3):769776, 2002. 77 R. Desi

36、mone and J. Duncan. Neural mechanisms of selective visual attention. Annual review of neuroscience, 18(1):193222, 1995. 18 W. Eihhauser and P. Konig. Does luminance-constrast contribute to a saliency map for overt visual attention? European Journal of Neuroscience, 17:10891097, 2003. 49 P. Felzenszw

37、alb and D. Huttenlocher. Efficient graph-based image segmentation. IJCV, 59(2):167181, 2004. 4, 510 S. Goferman, L. Zelnik-Manor, and A. Tal. Context-aware saliency detection. In CVPR, pages 23762383, 2010. 2, 4,5, 6, 711 J. Han, K. Ngan, M. Li, and H. Zhang. Unsupervised extraction of visual attent

38、ion objects in color images. IEEE TCSV,16(1):141145, 2006. 1, 612 J. Harel, C. Koch, and P. Perona. Graph-based visual saliency. Advances in neural information processing systems,19:545, 2007. 2, 4, 613 X. Hou and L. Zhang. Saliency detection: A spectral residual approach. In CVPR, pages 18, 2007. 2

39、, 4, 5, 614 H. Huang, L. Zhang, and T.-N. Fu. Video painting via motion layer manipulation. Comput. Graph. Forum, 29(7):20552064, 2010. 715 L. Itti, C. Koch, and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE TPAMI,20(11):12541259, 1998. 1, 2, 4, 616 B. Ko and J

40、. Nam. Object-of-interest image segmentation based on human attention and semantic region clustering. JOpt Soc Am, 23(10):2462, 2006. 1, 617 C. Koch and S. Ullman. Shifts in selective visual attention: towards the underlying neural circuitry. Human Neurbiology,4:219227, 1985. 1, 218 T. Liu, Z. Yuan,

41、 J. Sun, J. Wang, N. Zheng, X. Tang, and H. Shum. Learning to detect a salient object. In CVPR,pages 18, 2007. 219 Y.-F. Ma and H.-J. Zhang. Contrast-based image attention analysis by using fuzzy growing. In ACM Multimedia, pages374381, 2003. 2, 4, 620 S. K. Mannan, C. Kennard, and M. Husain. The ro

42、le of visual salience in directing eye movements in visual object agnosia.Current biology, 19(6):247248, 2009. 121 J. Reynolds and R. Desimone. Interacting roles of attention and visual salience in v4. Neuron, 37(5):853863, 2003. 122 C. Rother, V. Kolmogorov, and A. Blake. “Grabcut” Interactive foreground extraction using iterated graph cuts. ACMTOG