opencv特征提取

1、特征提取是計算機視覺和圖像處理中的一個概念。它指的是使用計算機提取圖像信息，決定每個圖像的點是否屬于一個圖像特征。特征提取的結(jié)果是把圖像上的點分為不同的子集，這些子集往往屬于孤立的點、連續(xù)的曲線或者連續(xù)的區(qū)域。  特征的定義 至今為止特征沒有萬能和精確的定義。特征的精確定義往往由問題或者應(yīng)用類型決定。特征是一個數(shù)字圖像中“有趣”的部分，它是許多計算機圖像分析算法的起點。因此一個算法是否成功往往由它使用和定義的特征決定。因此特征提取最重要的一個特性是“可重復(fù)性”：同一場景的不同圖像所提取的特征應(yīng)該是相同的。 特征提取是圖象處理中的一個初級運算，也就是說它是對一個圖像

2、進行的第一個運算處理。它檢查每個像素來確定該像素是否代表一個特征。假如它是一個更大的算法的一部分，那么這個算法一般只檢查圖像的特征區(qū)域。作為特征提取的一個前提運算，輸入圖像一般通過高斯模糊核在尺度空間中被平滑。此后通過局部導(dǎo)數(shù)運算來計算圖像的一個或多個特征。 有時，假如特征提取需要許多的計算時間，而可以使用的時間有限制，一個高層次算法可以用來控制特征提取階層，這樣僅圖像的部分被用來尋找特征。由于許多計算機圖像算法使用特征提取作為其初級計算步驟，因此有大量特征提取算法被發(fā)展，其提取的特征各種各樣，它們的計算復(fù)雜性和可重復(fù)性也非常不同。邊緣 邊緣是組成兩個圖像區(qū)域之間邊界（或邊

3、緣）的像素。一般一個邊緣的形狀可以是任意的，還可能包括交叉點。在實踐中邊緣一般被定義為圖像中擁有大的梯度的點組成的子集。一些常用的算法還會把梯度高的點聯(lián)系起來來構(gòu)成一個更完善的邊緣的描寫。這些算法也可能對邊緣提出一些限制。局部地看邊緣是一維結(jié)構(gòu)。 角角是圖像中點似的特征，在局部它有兩維結(jié)構(gòu)。早期的算法首先進行邊緣檢測，然后分析邊緣的走向來尋找邊緣突然轉(zhuǎn)向（角）。后來發(fā)展的算法不再需要邊緣檢測這個步驟，而是可以直接在圖像梯度中尋找高度曲率。后來發(fā)現(xiàn)這樣有時可以在圖像中本來沒有角的地方發(fā)現(xiàn)具有同角一樣的特征的區(qū)域。 區(qū)域 與角不同的是區(qū)域描寫一個圖像中的一個區(qū)域性的結(jié)

4、構(gòu)，但是區(qū)域也可能僅由一個像素組成，因此許多區(qū)域檢測也可以用來監(jiān)測角。一個區(qū)域監(jiān)測器檢測圖像中一個對于角監(jiān)測器來說太平滑的區(qū)域。區(qū)域檢測可以被想象為把一張圖像縮小，然后在縮小的圖像上進行角檢測。脊 長條形的物體被稱為脊。在實踐中脊可以被看作是代表對稱軸的一維曲線，此外局部針對于每個脊像素有一個脊寬度。從灰梯度圖像中提取脊要比提取邊緣、角和區(qū)域困難。在空中攝影中往往使用脊檢測來分辨道路，在醫(yī)學(xué)圖像中它被用來分辨血管。特征抽取特征被檢測后它可以從圖像中被抽取出來。這個過程可能需要許多圖像處理的計算機。其結(jié)果被稱為特征描述或者特征向量。 常用的圖像特征有顏色特征、紋理特征、形狀特

5、征、空間關(guān)系特征。一、顏色特征 （一）特點：顏色特征是一種全局特征,描述了圖像或圖像區(qū)域所對應(yīng)的景物的表面性質(zhì)。一般顏色特征是基于像素點的特征，此時所有屬于圖像或圖像區(qū)域的像素都有各自的貢獻。由于顏色對圖像或圖像區(qū)域的方向、大小等變化不敏感，所以顏色特征不能很好地捕捉圖像中對象的局部特征。另外，僅使用顏色特征查詢時，如果數(shù)據(jù)庫很大，常會將許多不需要的圖像也檢索出來。顏色直方圖是最常用的表達顏色特征的方法，其優(yōu)點是不受圖像旋轉(zhuǎn)和平移變化的影響，進一步借助歸一化還可不受圖像尺度變化的影響，基缺點是沒有表達出顏色空間分布的信息。 （二）常用的特征提取與匹配方法（1） 顏色直方圖&

6、#160;其優(yōu)點在于：它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像。其缺點在于：它無法描述圖像中顏色的局部分布及每種色彩所處的空間位置，即無法描述圖像中的某一具體的對象或物體。 最常用的顏色空間：RGB顏色空間、HSV顏色空間。 顏色直方圖特征匹配方法：直方圖相交法、距離法、中心距法、參考顏色表法、累加顏色直方圖法。（2） 顏色集 顏色直方圖法是一種全局顏色特征提取與匹配方法，無法區(qū)分局部顏色信息。顏色集是對顏色直方圖的一種近似首先將圖像從 RGB顏色空間轉(zhuǎn)化成視覺均衡的

7、顏色空間（如 HSV 空間），并將顏色空間量化成若干個柄。然后，用色彩自動分割技術(shù)將圖像分為若干區(qū)域，每個區(qū)域用量化顏色空間的某個顏色分量來索引，從而將圖像表達為一個二進制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離和色彩區(qū)域的空間關(guān)系 （3） 顏色矩這種方法的數(shù)學(xué)基礎(chǔ)在于：圖像中任何的顏色分布均可以用它的矩來表示。此外，由于顏色分布信息主要集中在低階矩中，因此，僅采用顏色的一階矩（mean）、二階矩（variance）和三階矩（skewness）就足以表達圖像的顏色分布。（4） 顏色聚合向量其核心思想是：將屬于直方圖每一個柄的像素分成兩部分，如果該柄內(nèi)的某些像素所占據(jù)的

8、連續(xù)區(qū)域的面積大于給定的閾值，則該區(qū)域內(nèi)的像素作為聚合像素，否則作為非聚合像素。（5） 顏色相關(guān)圖 二、紋理特征 （一）特點：紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對應(yīng)景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進行統(tǒng)計計算。在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會由于局部的偏差而無法匹配成功。作為一種統(tǒng)計特征，紋理特征常具有旋轉(zhuǎn)不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺

9、點，一個很明顯的缺點是當(dāng)圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。另外，由于有可能受到光照、反射情況的影響，從2-D圖像中反映出來的紋理不一定是3-D物體表面真實的紋理。 例如，水中的倒影，光滑的金屬面互相反射造成的影響等都會導(dǎo)致紋理的變化。由于這些不是物體本身的特性，因而將紋理信息應(yīng)用于檢索時，有時這些虛假的紋理會對檢索造成“誤導(dǎo)”。在檢索具有粗細、疏密等方面較大差別的紋理圖像時，利用紋理特征是一種有效的方法。但當(dāng)紋理之間的粗細、疏密等易于分辨的信息之間相差不大的時候，通常的紋理特征很難準(zhǔn)確地反映出人的視覺感覺不同的紋理之間的差別。（二）常用的特征提取與匹配方法&#

10、160;  紋理特征描述方法分類 （1）統(tǒng)計方法統(tǒng)計方法的典型代表是一種稱為灰度共生矩陣的紋理特征分析方法Gotlieb 和 Kreyszig 等人在研究共生矩陣中各種統(tǒng)計特征基礎(chǔ)上，通過實驗，得出灰度共生矩陣的四個關(guān)鍵特征：能量、慣量、熵和相關(guān)性。統(tǒng)計方法中另一種典型方法，則是從圖像的自相關(guān)函數(shù)（即圖像的能量譜函數(shù)）提取紋理特征，即通過對圖像的能量譜函數(shù)的計算，提取紋理的粗細度及方向性等特征參數(shù) （2）幾何法 所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎(chǔ)上的一種紋理特征分析方法。紋理基元理論認(rèn)為，復(fù)雜的紋理可以由若干簡單的紋理基元以

11、一定的有規(guī)律的形式重復(fù)排列構(gòu)成。在幾何法中，比較有影響的算法有兩種：Voronio 棋盤格特征法和結(jié)構(gòu)法。 （3）模型法 模型法以圖像的構(gòu)造模型為基礎(chǔ)，采用模型的參數(shù)作為紋理特征。典型的方法是隨機場模型法，如馬爾可夫（Markov）隨機場（MRF）模型法和 Gibbs 隨機場模型法 （4）信號處理法 紋理特征的提取與匹配主要有：灰度共生矩陣、Tamura 紋理特征、自回歸紋理模型、小波變換等。灰度共生矩陣特征提取與匹配主要依賴于能量、慣量、熵和相關(guān)性四個參數(shù)。Tamura 紋理特征基于人類對紋理的視覺感知心理學(xué)研究，提出6種屬性，即：粗糙度、對比度、方向

12、度、線像度、規(guī)整度和粗略度。自回歸紋理模型（simultaneous auto-regressive, SAR）是馬爾可夫隨機場（MRF）模型的一種應(yīng)用實例。 三、形狀特征 （一）特點：各種基于形狀特征的檢索方法都可以比較有效地利用圖像中感興趣的目標(biāo)來進行檢索，但它們也有一些共同的問題，包括：目前基于形狀的檢索方法還缺乏比較完善的數(shù)學(xué)模型；如果目標(biāo)有變形時檢索結(jié)果往往不太可靠；許多形狀特征僅描述了目標(biāo)局部的性質(zhì)，要全面描述目標(biāo)常對計算時間和存儲量有較高的要求；許多形狀特征所反映的目標(biāo)形狀信息與人的直觀感覺不完全一致，或者說，特征空間的相似性與人視覺系統(tǒng)感受到的相似性有差別。

13、另外，從 2-D 圖像中表現(xiàn)的 3-D 物體實際上只是物體在空間某一平面的投影，從 2-D 圖像中反映出來的形狀常不是 3-D 物體真實的形狀，由于視點的變化，可能會產(chǎn)生各種失真。 （二）常用的特征提取與匹配方法 幾種典型的形狀特征描述方法 通常情況下，形狀特征有兩類表示方法，一類是輪廓特征，另一類是區(qū)域特征。圖像的輪廓特征主要針對物體的外邊界，而圖像的區(qū)域特征則關(guān)系到整個形狀區(qū)域。 幾種典型的形狀特征描述方法：（1）邊界特征法該方法通過對邊界特征的描述來獲取圖像的形狀參數(shù)。其中Hough 變換檢測平行直線方法和邊界方向直方圖方法是經(jīng)典方法。Hough

14、變換是利用圖像全局特性而將邊緣像素連接起來組成區(qū)域封閉邊界的一種方法，其基本思想是點線的對偶性；邊界方向直方圖法首先微分圖像求得圖像邊緣，然后，做出關(guān)于邊緣大小和方向的直方圖，通常的方法是構(gòu)造圖像灰度梯度方向矩陣。（2）傅里葉形狀描述符法傅里葉形狀描述符(Fourier shape deors)基本思想是用物體邊界的傅里葉變換作為形狀描述，利用區(qū)域邊界的封閉性和周期性，將二維問題轉(zhuǎn)化為一維問題。由邊界點導(dǎo)出三種形狀表達，分別是曲率函數(shù)、質(zhì)心距離、復(fù)坐標(biāo)函數(shù)。 （3）幾何參數(shù)法 形狀的表達和匹配采用更為簡單的區(qū)域特征描述方法，例如采用有關(guān)形狀定量測度（如矩、面積、周長等）的形

15、狀參數(shù)法（shape factor）。在 QBIC 系統(tǒng)中，便是利用圓度、偏心率、主軸方向和代數(shù)不變矩等幾何參數(shù)，進行基于形狀特征的圖像檢索。 需要說明的是，形狀參數(shù)的提取，必須以圖像處理及圖像分割為前提，參數(shù)的準(zhǔn)確性必然受到分割效果的影響，對分割效果很差的圖像，形狀參數(shù)甚至無法提取。 （4）形狀不變矩法 利用目標(biāo)所占區(qū)域的矩作為形狀描述參數(shù)。（5）其它方法 近年來，在形狀的表示和匹配方面的工作還包括有限元法（Finite Element Method 或 FEM）、旋轉(zhuǎn)函數(shù)（Turning ）和小波描述符（Wavelet Deor）等方法。 基于小波和

16、相對矩的形狀特征提取與匹配 該方法先用小波變換模極大值得到多尺度邊緣圖像，然后計算每一尺度的 7個不變矩，再轉(zhuǎn)化為 10 個相對矩，將所有尺度上的相對矩作為圖像特征向量，從而統(tǒng)一了區(qū)域和封閉、不封閉結(jié)構(gòu)。 四、空間關(guān)系特征 （一）特點：所謂空間關(guān)系，是指圖像中分割出來的多個目標(biāo)之間的相互的空間位置或相對方向關(guān)系，這些關(guān)系也可分為連接/鄰接關(guān)系、交疊/重疊關(guān)系和包含/包容關(guān)系等。通?？臻g位置信息可以分為兩類：相對空間位置信息和絕對空間位置信息。前一種關(guān)系強調(diào)的是目標(biāo)之間的相對情況，如上下左右關(guān)系等，后一種關(guān)系強調(diào)的是目標(biāo)之間的距離大小以及方位。顯而易見，由絕對空間位

17、置可推出相對空間位置，但表達相對空間位置信息常比較簡單。 空間關(guān)系特征的使用可加強對圖像內(nèi)容的描述區(qū)分能力，但空間關(guān)系特征常對圖像或目標(biāo)的旋轉(zhuǎn)、反轉(zhuǎn)、尺度變化等比較敏感。另外，實際應(yīng)用中，僅僅利用空間信息往往是不夠的，不能有效準(zhǔn)確地表達場景信息。為了檢索，除使用空間關(guān)系特征外，還需要其它特征來配合。（二）常用的特征提取與匹配方法 提取圖像空間關(guān)系特征可以有兩種方法：一種方法是首先對圖像進行自動分割，劃分出圖像中所包含的對象或顏色區(qū)域，然后根據(jù)這些區(qū)域提取圖像特征，并建立索引；另一種方法則簡單地將圖像均勻地劃分為若干規(guī)則子塊，然后對每個圖像子塊提取特征，并建立索引。姿態(tài)估計問

18、題就是：確定某一三維目標(biāo)物體的方位指向問題。姿態(tài)估計在機器人視覺、動作跟蹤和單照相機定標(biāo)等很多領(lǐng)域都有應(yīng)用。 在不同領(lǐng)域用于姿態(tài)估計的傳感器是不一樣的，在這里主要講基于視覺的姿態(tài)估計。 基于視覺的姿態(tài)估計根據(jù)使用的攝像機數(shù)目又可分為單目視覺姿態(tài)估計和多目視覺姿態(tài)估計。根據(jù)算法的不同又可分為基于模型的姿態(tài)估計和基于學(xué)習(xí)的姿態(tài)估計。 1、基于模型的姿態(tài)估計方法 基于模型的方法通常利用物體的幾何關(guān)系或者物體的特征點來估計。其基本思想是利用某種幾何模型或結(jié)構(gòu)來表示物體的結(jié)構(gòu)和形狀，并通過提取某些物體特征，在模型和圖像之間建立起對應(yīng)關(guān)系，然后通過幾何或者其它方法實

19、現(xiàn)物體空間姿態(tài)的估計。這里所使用的模型既可能是簡單的幾何形體，如平面、圓柱，也可能是某種幾何結(jié)構(gòu)，也可能是通過激光掃描或其它方法獲得的三維模型。基于模型的姿態(tài)估計方法是通過比對真實圖像和合成圖像，進行相似度計算更新物體姿態(tài)。目前基于模型的方法為了避免在全局狀態(tài)空間中進行優(yōu)化搜索，一般都將優(yōu)化問題先降解成多個局部特征的匹配問題，非常依賴于局部特征的準(zhǔn)確檢測。當(dāng)噪聲較大無法提取準(zhǔn)確的局部特征的時候，該方法的魯棒性受到很大影響。 2、基于學(xué)習(xí)的姿態(tài)估計方法 基于學(xué)習(xí)的方法借助于機器學(xué)習(xí)(machine learning)方法，從事先獲取的不同姿態(tài)下的訓(xùn)練樣本中學(xué)習(xí)二維觀測與三維姿

20、態(tài)之間的對應(yīng)關(guān)系，并將學(xué)習(xí)得到的決策規(guī)則或回歸函數(shù)應(yīng)用于樣本，所得結(jié)果作為對樣本的姿態(tài)估計?；趯W(xué)習(xí)的方法一般采用全局觀測特征，不需檢測或識別物體的局部特征，具有較好的魯棒性。其缺點是由于無法獲取在高維空間中進行連續(xù)估計所需要的密集采樣，因此無法保證姿態(tài)估計的精度與連續(xù)性?；趯W(xué)習(xí)的姿態(tài)估計方法源于姿態(tài)識別方法的思想。姿態(tài)識別需要預(yù)先定義多個姿態(tài)類別，每個類別包含了一定的姿態(tài)范圍；然后為每個姿態(tài)類別標(biāo)注若干訓(xùn)練樣本，通過模式分類的方法訓(xùn)練姿態(tài)分類器以實現(xiàn)姿態(tài)識別。 這一類方法并不需要對物體進行建模，一般通過圖像的全局特征進行匹配分析，可以有效的避免局部特征方法在復(fù)雜姿態(tài)和遮擋關(guān)系情況

21、下出現(xiàn)的特征匹配歧義性問題。然而姿態(tài)識別方法只能將姿態(tài)劃分到事先定義的幾個姿態(tài)類別中，并不能對姿態(tài)進行連續(xù)的精確的估計?；趯W(xué)習(xí)的方法一般采用全局觀測特征，可以保證算法具有較好的魯棒性。然而這一類方法的姿態(tài)估計精度很大程度依賴于訓(xùn)練的充分程度。要想比較精確地得到二維觀測與三維姿態(tài)之間的對應(yīng)關(guān)系，就必須獲取足夠密集的樣本來學(xué)習(xí)決策規(guī)則和回歸函數(shù)。而一般來說所需要樣本的數(shù)量是隨狀態(tài)空間的維度指數(shù)級增加的，對于高維狀態(tài)空間，事實上不可能獲取進行精確估計所需要的密集采樣。因此，無法得到密集采樣而難以保證估計的精度與連續(xù)性，是基于學(xué)習(xí)的姿態(tài)估計方法無法克服的根本困難。 和姿態(tài)識別等典型的模式分

22、類問題不同的是，姿態(tài)估計輸出的是一個高維的姿態(tài)向量，而不是某個類別的類標(biāo)。因此這一類方法需要學(xué)習(xí)的是一個從高維觀測向量到高維姿態(tài)向量的映射，目前這在機器學(xué)習(xí)領(lǐng)域中還是一個非常困難的問題。 特征是描述模式的最佳方式，且我們通常認(rèn)為特征的各個維度能夠從不同的角度描述模式，在理想情況下，維度之間是互補完備的。特征提取的主要目的是降維。特征抽取的主要思想是將原始樣本投影到一個低維特征空間，得到最能反應(yīng)樣本本質(zhì)或進行樣本區(qū)分的低維樣本特征。 一般圖像特征可以分為四類：直觀性特征、灰度統(tǒng)計特征、變換系數(shù)特征與代數(shù)特征。直觀性特征主要指幾何特征，幾何特征比較穩(wěn)定，受人臉的姿態(tài)變化與光照條

23、件等因素的影響小，但不易抽取，而且測量精度不高，與圖像處理技術(shù)密切相關(guān)。代數(shù)特征是基于統(tǒng)計學(xué)習(xí)方法抽取的特征。代數(shù)特征具有較高的識別精度，代數(shù)特征抽取方法又可以分為兩類：一種是線性投影特征抽取方法；另外一種是非線性特征抽取方法。習(xí)慣上，將基于主分量分析和Fisher線性鑒別分析所獲得的特征抽取方法，統(tǒng)稱為線性投影分析。基于線性投影分析的特征抽取方法，其基本思想是根據(jù)一定的性能目標(biāo)來尋找一線性變換，把原始信號數(shù)據(jù)壓縮到一個低維子空間，使數(shù)據(jù)在子空間中的分布更加緊湊，為數(shù)據(jù)的更好描述提供手段，同時計算的復(fù)雜度得到大大降低。在線性投影分析中，以主分量分析（PCA，或稱K-L變換）和Fisher線性鑒

24、別分析（LDA）最具代表性，圍繞這兩種方法所形成的特征抽取算法，已成為模式識別領(lǐng)域中最為經(jīng)典和廣泛使用的方法。線性投影分析法的主要缺點為：需要對大量的已有樣本進行學(xué)習(xí)，且對定位、光照與物體非線性形變敏感，因而采集條件對識別性能影響較大。非線性特征抽取方法也是研究的熱點之一。“核技巧”最早應(yīng)用在SVM中，KPCA和KFA是“核技巧”的推廣應(yīng)用。 核投影方法的基本思想是將原樣本空間中的樣本通過某種形式的非線性映射，變換到一個高維甚至無窮維的空間，并借助于核技巧在新的空間中應(yīng)用線性的分析方法求解。由于新空間中的線性方向也對應(yīng)原樣本空間的非線性方向，所以基于核的投影分析得出的投影方向也對應(yīng)原

25、樣本空間的非線性方向。核投影方法也有一些弱點：幾何意義不明確，無法知道樣本在非顯式映射后變成了什么分布模式；核函數(shù)中參數(shù)的選取沒有相應(yīng)選擇標(biāo)準(zhǔn)，大多數(shù)只能采取經(jīng)驗參數(shù)選?。徊贿m合訓(xùn)練樣本很多的情況，原因是經(jīng)過核映射后，樣本的維數(shù)等于訓(xùn)練樣本的個數(shù)，如果訓(xùn)練樣本數(shù)目很大，核映射后的向量維數(shù)將會很高，并將遇到計算量上的難題。就應(yīng)用領(lǐng)域來說，KPCA遠沒有PCA應(yīng)用的廣泛。如果作為一般性的降維KPCA確實比PCA效果好，特別是特征空間不是一般的歐式空間的時候更為明顯。PCA可以通過大量的自然圖片學(xué)習(xí)一個子空間，但是KPCA做不到。變換系數(shù)特征指先對圖像進行Fourier變換、小波變換等，得到的系數(shù)后作為特征進行識別再opencv的CHM幫助文件中解釋:目標(biāo)檢測方法最初由Paul Viola Viola01提出，并由Rainer Lienhart Lienhart02對這一方法進行了改善. 首先，利用樣本（大約幾百幅樣本圖片）的 harr 特征進行分類器訓(xùn)練，得到一個級聯(lián)的boosted分類器。訓(xùn)練樣本分為正例樣本和反例樣本，其中正例樣本是指待檢目標(biāo)樣本(例如人臉或汽車等)，反例樣本指其它任意圖片，所有的樣本圖片都