GIST特征描述符使用

1、GIST特征描述符使用一種場(chǎng)景特征描述場(chǎng)景特征描述？通常的特征描述符都是對(duì)圖片的局部特征進(jìn)行描述的，以這種思路進(jìn)行場(chǎng)景描述是不可行的。比如：對(duì)于“大街上有一些行人”這個(gè)場(chǎng)景，我們必須通過(guò)局部特征辨認(rèn)圖像是否有大街、 行人等對(duì)象，再斷定這是否是滿足該場(chǎng)景。但這個(gè)計(jì)算量無(wú)疑是巨大的，且特征向量也可能 大得無(wú)法在內(nèi)存中存儲(chǔ)計(jì)算。例如即使使用GIST進(jìn)行1MB的圖像數(shù)據(jù)搜索，也需要3.8GB的RAM空間。Evaluation of GIST descriptors for web-scale image search Talk這迫使我們需要一種更加“宏觀”的特征描述方式，從而忽略圖片的局部特點(diǎn)。比如：

2、我們 無(wú)需知道圖像中在那些位置有多少人，或者有其他什么對(duì)象。那么應(yīng)該如何定義一種“宏觀”的場(chǎng)景特征描述呢？我們注意到：大多數(shù)城市看起來(lái)就像天空和地面由建筑物外墻緊密連接;大部分高速公路看起來(lái)就像一個(gè) 大表面拉伸天際線，里面充滿了凹型（車輛）；而森林場(chǎng)景將包括在一個(gè)封閉的環(huán)境中，有 垂直結(jié)構(gòu)作為背景（樹），并連接到一定紋理的水平表面（草）。如此看來(lái)，空間包絡(luò)可以一定程度表征這些信息。五種空間包絡(luò)描述我們定義下列五種對(duì)空間包絡(luò)的描述方法：自然度（Degree of Naturalness）：場(chǎng)景如果包含高度的水平和垂直線，這表明該場(chǎng)景有明顯 的人工痕跡，通常自然景象具有紋理區(qū)域和起伏的輪廓。所以，

3、邊緣具有高度垂直于水平傾 向的自然度低，反之自然度高。開放度（Degree of Openness）：空間包絡(luò)是否是封閉（或圍繞）的。封閉的，例如：森林、 山、城市中心。或者是廣闊的，開放的，例如：海岸、高速公路。粗糙度(Degree of Roughness):主要指主要構(gòu)成成分的顆粒大小。這取決于每個(gè)空間中元 素的尺寸，他們構(gòu)建更加復(fù)雜的元素的可能性，以及構(gòu)建的元素之間的結(jié)構(gòu)關(guān)系等等。粗糙 度與場(chǎng)景的分形維度有關(guān)，所以可以叫復(fù)雜度。膨脹度(Degree of Expansion)：平行線收斂，給出了空間梯度的深度特點(diǎn)。例如平面視圖中 的建筑物，具有低膨脹度。相反，非常長(zhǎng)的街道則具有高膨脹度

4、。險(xiǎn)峻度(Degree of Ruggedness)：即相對(duì)于水平線的偏移。(例如，平坦的水平地面上的山地 景觀與陡峭的地面)。險(xiǎn)峻的環(huán)境下在圖片中生產(chǎn)傾斜的輪廓，并隱藏了地平線線。大多數(shù) 的人造環(huán)境建立了平坦地面。因此，險(xiǎn)峻的環(huán)境大多是自然的。從而基于這五點(diǎn)對(duì)圖像進(jìn)行特征描述。本文并不準(zhǔn)備深入GIST的算法，如想了解具體算法，請(qǐng)參考參考資料1。MatLab實(shí)現(xiàn)參考資料2提供了一個(gè)MatLab實(shí)現(xiàn)。例如通過(guò)圖片計(jì)算GIST特征描述，在使用LMgist的情況下，可以這么寫：復(fù)制代碼%讀取圖片img = imread(demo2.jpg);%設(shè)置GIST參數(shù)clear paramparam.ori

5、entationsPerScale = 8 8 8 8; % number of orientations per scale (from HF to LF) param.numberBlocks = 4;param.fc_prefilt = 4;%計(jì)算GISTgist, param = LMgist(img, , param);復(fù)制代碼具體請(qǐng)參考參考資料2。C實(shí)現(xiàn)首先在 LEAR 下載其提供的 Lears GIST implementation。由于其基于 FFTW3(the Faster Fourier Transform in the Wes)，所以我們還需要先安裝fftw3。在下載頁(yè)面

6、下載一個(gè)合適的FFTW3版本。Linux或者M(jìn)ac需要在終端運(yùn)行configure時(shí)配置浮點(diǎn)數(shù)版本(Windows沒試過(guò)，不過(guò)Lears GIST implementation的Readme中說(shuō)明了只能在Linux和Mac上跑，所以Windows安裝這個(gè) 也沒有)，即./configure -enable-single在進(jìn)行編譯：makemake checksudo make install編譯 Lears GIST implementation需要將Makefile的：compute_gist: compute_gist.c gist.o standalone_image.ogcc -Wal

7、l -g -o $ $A $(WFFTLIB) -lfftw3f添加-lm，改成：compute_gist: compute_gist.c gist.o standalone_image.ogcc -Wall -g -o $ $A $(WFFTLIB) -lfftw3f -lm然后：make將生成compute_gist程序，則可以對(duì)PPM圖片進(jìn)行GIST計(jì)算。例如在終端輸入： ./compute_gist ar.ppm將會(huì)出現(xiàn)960個(gè)浮點(diǎn)數(shù)，如下：0.0579 0.1926 0.0933 0.0662 . 0.0563 0.0575 0.0640注意事項(xiàng) 輸入圖片必須是原始（也就是二進(jìn)制）的PGM/PPM格式的圖片。輸入圖片的尺寸必須是相同的，否則計(jì)算出來(lái)的GIST沒有什么意義。通過(guò)SVM訓(xùn)練來(lái)進(jìn)行圖片檢測(cè)，2001年那篇論文得出83.7%的判斷準(zhǔn)確度。參考資料Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope . Aude Oliva& An