基于不變矩和支持向量機(jī)的小樣本圖像識(shí)別

1、 FILENAME 修改的論文格式.doc PAGE - PAGE 8 -基于不變矩和支持向量機(jī)的小樣本圖像識(shí)別 本課題得到山西省軟科學(xué)研究項(xiàng)目（No. 2007041032-2）資助。孫貝 ，曹軍太原理工大學(xué)信息工程學(xué)院，太原(030024)E-mail：摘 要： 基于統(tǒng)計(jì)的圖像識(shí)別方法只有在樣本足夠大時(shí)，其性能才有保證。而實(shí)際中如果難以提供大量樣本，就可能因信息量不足導(dǎo)致識(shí)別性能下降。為此提出一種小波矩結(jié)合支持向量機(jī)的目標(biāo)識(shí)別算法，這種算法立足尋找現(xiàn)有樣本信息下的最優(yōu)解，適合分析小樣本。文章首先提取樣本數(shù)目有限的坦克圖像的Hu矩、Zernike矩、小波矩特征，然后將提取到的特征值分別輸入神

2、經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類器，進(jìn)而實(shí)現(xiàn)對(duì)圖像的分類。實(shí)驗(yàn)結(jié)果表明，在小樣本情況下該算法具有較好的識(shí)別效果。關(guān)鍵詞：圖像識(shí)別；小樣本；不變矩；神經(jīng)網(wǎng)絡(luò)；支持向量機(jī)中圖分類號(hào)：TP391引 言 圖像模式識(shí)別是近20年來發(fā)展起來的一門新興技術(shù)，是通過運(yùn)用現(xiàn)代信息處理技術(shù)和計(jì)算機(jī)技術(shù)來完成人的認(rèn)知和理解過程，它以研究根據(jù)圖像的特征進(jìn)行識(shí)別和分類為主要內(nèi)容，應(yīng)用范圍非常廣泛。不變矩算法是通過對(duì)目標(biāo)圖像提取具有平移、旋轉(zhuǎn)和比例不變性的數(shù)學(xué)特征，從而進(jìn)行圖像識(shí)別的方法。1961年提出的Hu的7個(gè)不變矩1是由圖像的低階歸一化中心矩線性組合構(gòu)成的；Zernike不變矩2是圖像在正交多項(xiàng)式上的投影，是一種正交矩不變量

3、，它在信息冗余度以及圖像表達(dá)方面比Hu矩要好。這兩種矩都是在整個(gè)圖像空間中計(jì)算，得到的是圖像全局特征，不利于分類。當(dāng)可用樣本的數(shù)目較少時(shí)，選擇最好的、最有表示能力的圖像特征就顯得非常重要?；谛〔ㄗ儞Q的小波矩3 能同時(shí)得到圖像的全局特征和局部特征，在識(shí)別相似形狀及有噪聲的目標(biāo)時(shí)更有優(yōu)越性，因而成為近年研究的熱點(diǎn)。Vapnic在20世紀(jì)6070年代提出了統(tǒng)計(jì)學(xué)理論，并在90年代中期不斷發(fā)展和成熟。該理論針對(duì)小樣本問題建立了一套新的理論體系：統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸進(jìn)性能的要求，還追求在現(xiàn)有有限信息的條件下得到最優(yōu)解4。支持向量機(jī)5（Support Vector Machine, SVM）是建立

4、在統(tǒng)計(jì)學(xué)維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的新的學(xué)習(xí)方法，相比以經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化為原則的神經(jīng)網(wǎng)絡(luò)方法有更好的泛化能力，其結(jié)果是基于有限支持向量個(gè)數(shù)得出的結(jié)論,得到的是有限樣本信息下的全局最優(yōu)點(diǎn)。該文將不變矩特征作為特征值，結(jié)合支持向量機(jī)分類器對(duì)小樣本坦克圖像進(jìn)行分類識(shí)別，并對(duì)比了不變矩特征分別結(jié)合BP神經(jīng)網(wǎng)絡(luò)和小波神經(jīng)網(wǎng)絡(luò)分類器的識(shí)別效果。矩特征提取2.1 矩特征表示表示直角坐標(biāo)系上的二維數(shù)字圖像，其規(guī)則矩定義為： （1）圖像的尺寸大小為。由將圖像轉(zhuǎn)換到極坐標(biāo)系中成為，采用極坐標(biāo)表示的矩特征形式為： （2）是關(guān)于半徑的函數(shù)，為整數(shù)參數(shù)。容易證明，模具有旋轉(zhuǎn)不變性6。進(jìn)一步可將上式寫為： （3）其中：

5、 （4）需要注意的是：當(dāng)定義在半徑的全局范圍內(nèi)時(shí)，提取的為圖像的全局特征；當(dāng)定義在半徑的局部范圍內(nèi)時(shí)，提取的為圖像的局部特征?？梢宰C明，Hu矩、Zernike矩都可以通過取不同的 和得到4。小波變換有良好的時(shí)頻域分析能力，同Hu矩和Zernike矩相比，基于小波多尺度分析的小波矩不僅可以得到圖像的全局特征，還能得到圖像的局部特征，增強(qiáng)了圖像的抗噪性和對(duì)精細(xì)特征的把握能力。2.2 小波不變矩的計(jì)算該文使用三次B樣條小波母函數(shù)7構(gòu)造小波矩：取小波基函數(shù)作為式（2）中的，小波矩實(shí)質(zhì)上就是圖像在徑向小波空間的投影，定義為： （5）式中，為徑向小波基函數(shù)，定義為： （6）式中，N為圖像像素點(diǎn)，為小波的縮

6、放和平移因子。從小波矩的構(gòu)造過程可以看出，實(shí)際上是圖像在縮放因子為m,平移因子為n時(shí)，在相位空間中的第個(gè)頻率特征。選擇不同的縮放因子和平移因子，就可以提取圖像的全局信息和局部信息，從而使小波矩可以提供在不同的縮放時(shí)的特征。小波矩的這一特點(diǎn)，使其能夠區(qū)別有細(xì)微差別的模式，這正是Hu矩和Zernike矩這些全局矩?zé)o法做到的。需要注意的是：和Zernike矩一樣，小波矩也只具有旋轉(zhuǎn)不變性，為保證平移和比例不變性，應(yīng)在提取矩特征前對(duì)圖像進(jìn)行平移和尺度歸一化，該文使用參考文獻(xiàn)7中的歸一化方法。分類算法在獲得圖像特征后，如何做出合理的判決就是分類算法要討論的問題。設(shè)計(jì)分類精度高、誤識(shí)率低、可靠性好的分類器

7、是識(shí)別的最終目的。3.1 神經(jīng)網(wǎng)絡(luò)分類算法經(jīng)典的三層結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)，隱層和輸出層采用的神經(jīng)元傳遞函數(shù)為函數(shù)。通過BP算法訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練方法為有動(dòng)量的梯度下降法5。小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類似，其思想是用小波元代替神經(jīng)元：用已定位的小波函數(shù)（該文使用morlet小波6）代替Sigmoid函數(shù)作為激活函數(shù)，輸入層到隱層的權(quán)值及隱含層閾值分別由小波函數(shù)的尺度和平移參數(shù)所代替。待確定的參數(shù)有連接權(quán)值、尺度系數(shù)和平移系數(shù)，參數(shù)調(diào)整算法依然是BP算法。小波神經(jīng)網(wǎng)絡(luò)的基元和整個(gè)結(jié)構(gòu)是根據(jù)小波分析理論確定的，避免了BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上的盲目性，理論上對(duì)于同樣的學(xué)習(xí)任務(wù)，小波神經(jīng)網(wǎng)絡(luò)收斂速度更快

8、，精度更高。3.2 支持向量機(jī)分類算法支持向量機(jī)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，是由Boser,Guyon和Vapnik在 4上首次提出，最初是針對(duì)識(shí)別中的兩類線性可分問題提出的：有線性可分樣本,根據(jù)類別的不同分為正樣本子集和負(fù)樣本子集，確立一個(gè)超平面，將這兩類樣本集分開，并具有最大間隔，這樣的超平面就稱為最優(yōu)分類超平面。圖 1中，H就表示最優(yōu)分類超平面求最優(yōu)分類面，實(shí)質(zhì)上就是求解二次規(guī)劃問題，在線性約束條件下最小化二次型。用經(jīng)典的Lagrange乘子法求解，Lagrange方程為： （7）其中為L(zhǎng)argrange乘子，對(duì)和b求偏微分并令其為0，得到關(guān)系式： （8） （9）代入式（7）得

9、到 （10）為了構(gòu)造最優(yōu)超平面，在，且滿足式（9）的條件下，對(duì)式（10）求解得到，代入式（8）得到向量： （11）這是一個(gè)不等式約束下的二次函數(shù)極值問題，存在唯一解，根據(jù)Karush-Kuhn-Tucker互補(bǔ)條件5，最優(yōu)解必須滿足： （12）這就表示函數(shù)間隔為1的樣本向量，也就是最靠近超平面的點(diǎn)對(duì)應(yīng)的非零，稱這樣的向量為支持向量（SV,Support Vector）。圖1中，和上的數(shù)據(jù)構(gòu)成支持向量。最優(yōu)解和可由二次規(guī)劃算法求得，最優(yōu)判別函數(shù)具有如下形式： （13）對(duì)于線性不可分情況，通過非線性映射將輸入空間中的向量映射到高維特征空間，在中構(gòu)造最優(yōu)分類超平面。如圖2表示，將輸入空間的線性不可分

10、數(shù)據(jù)經(jīng)過運(yùn)算映射到一個(gè)高維的特征空間，在這個(gè)特征空間中，樣本是線性可分的：只需要進(jìn)行內(nèi)積運(yùn)算，這種內(nèi)積運(yùn)算可以用輸入空間的某些特殊函數(shù)來實(shí)現(xiàn)，而無需知道變換的具體形式，這樣就把計(jì)算集中在了輸入空間，避免了“維數(shù)災(zāi)難”。這些特殊的函數(shù)稱為核函數(shù)。該文使用徑向基核函數(shù)5 。 （14）此時(shí)，最優(yōu)分類函數(shù)： （15）就稱為支持向量機(jī)。其中，為支持向量，為待分類向量，為對(duì)應(yīng)的拉格朗日乘子。是解決兩類分類問題的有效方法，因此先將多類問題轉(zhuǎn)化為兩類問題:通過組合多個(gè)二分類器來實(shí)現(xiàn)多分類器的構(gòu)造。該文使用“一對(duì)一”（one-versus-one）方法：在任意兩類樣本之間設(shè)計(jì)一個(gè)SVM。當(dāng)對(duì)一個(gè)未知樣本進(jìn)行分類

11、時(shí)，最后“得票”最多的類別即為該未知樣本的類別。 圖1 最優(yōu)化分類平面和支持向量 圖2 高維特征空間中構(gòu)造最優(yōu)分類超平面由于SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM 的解是全局唯一的最優(yōu)解。這樣就避免了神經(jīng)網(wǎng)絡(luò)求解時(shí)易陷入“局部極小點(diǎn)”而無法自拔的情況，保證了運(yùn)算的速度和精度。而且，支持向量機(jī)針對(duì)有限樣本情況，目標(biāo)是得到現(xiàn)有樣本信息下的最優(yōu)解，因而在遇到小樣本情況時(shí)也有神經(jīng)網(wǎng)絡(luò)無法比擬的優(yōu)越性。4實(shí)驗(yàn)結(jié)果與分析仿真實(shí)驗(yàn)采用的是計(jì)算機(jī)平臺(tái)windows XP操作系統(tǒng)和MATLAB 7.04。選用的3種不同類型的標(biāo)準(zhǔn)二值坦克圖像。圖3、圖6和圖9分別為三類坦克標(biāo)準(zhǔn)圖像，分別表示88B

12、坦克、B2坦克和M2坦克。每幅圖后的兩幅圖像為標(biāo)準(zhǔn)圖經(jīng)旋轉(zhuǎn)、平移和比例縮放綜合變換得到的圖像。每類坦克樣本用于獲取先驗(yàn)知識(shí)的訓(xùn)練圖像只有3幅，屬于典型的小樣本情況。 圖3 88Ba 圖4 88Bb 圖5 88Bc 圖6 B2a 圖 7 B2b 圖8 B2c 圖9 M2a 圖10 M2b 圖11M2c4.1 不變矩特征提取表1 用于訓(xùn)練的Hu矩特征提取結(jié)果圖像編號(hào)圖31.25713.06895.67496.124312.19497.747114.1543圖41.25873.07615.70156.147715.18977.773914.2143圖51.25003.05735.59776.0389

13、12.19367.652713.9888圖61.22862.91096.90236.990414.11458.476916.7414圖71.23682.93326.99297.164114.24258.671916.9154圖81.23022.91377.00117.058914.38088.546416.9477圖91.49213.79877.74519.665921.436911.928719.6565 圖101.49853.82817.83919.769920.250311.982220.0870 圖111.48973.78827.74789.709118.774412.002119.5

14、958由于Zernike矩和小波矩只具有旋轉(zhuǎn)不變性，所以為保證特征的平移和尺度不變性，在提取這兩個(gè)特征之前，首先要對(duì)圖像進(jìn)行標(biāo)準(zhǔn)歸一化處理。圖12到圖20為將圖3到圖11標(biāo)準(zhǔn)歸一化處理后的圖像,編號(hào)從a到i。 圖12 a 圖13 b 圖14 c 圖15 d 圖16 e 圖17 f 圖18 g 圖19 h 圖20 i表2 用于訓(xùn)練的Zernike矩特征提取結(jié)果編號(hào)abcdefghi25.058326.546927.100127.480727.368527.700316.811818.207918.2471107.6468113.8302114.8526117.3473116.9981117.83

15、3176.120681.872082.1379241.9111254.9570253.4998260.6747260.0451260.2781183.1350194.8590195.806817.929619.461321.279322.349322.784723.30468.75439.877310.3012表3 用于訓(xùn)練的小波矩特征提取結(jié)果編號(hào)abcdefghi5.88225.22245.58086.59045.43566.74076.93255.58476.59155.99575.19395.75886.72065.60626.96566.93385.35406.614320.95291

16、5.952220.791224.380821.649124.822828.645423.170528.355920.686715.409720.468925.990421.341928.460228.160528.283527.99384.2 神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類結(jié)果取18幅測(cè)試圖像，分別為三類標(biāo)準(zhǔn)圖像經(jīng)旋轉(zhuǎn)、平移和縮放后得到的，提取測(cè)試圖像的Hu矩、Zernike矩和小波矩。矩特征提取完畢后，神經(jīng)網(wǎng)絡(luò)分類器中輸入層節(jié)點(diǎn)數(shù)為特征維數(shù)，隱層節(jié)點(diǎn)個(gè)數(shù)使用經(jīng)驗(yàn)值： BP神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)計(jì)如下：輸入節(jié)點(diǎn)數(shù)取特征維數(shù)；隱層節(jié)點(diǎn)數(shù)根據(jù)經(jīng)驗(yàn)值取特征維數(shù)的2倍加1；最大訓(xùn)練次數(shù)取5000；訓(xùn)練要求精度??；學(xué)

17、習(xí)率=0.01；最小梯度要求??；動(dòng)量因子=0.9；輸出節(jié)點(diǎn)取2個(gè)，采用二進(jìn)制的00、01和11分別表示坦克類別；輸入出到隱層以及隱層到輸出層之間的傳遞函數(shù)分別采用雙曲正切S函數(shù)（tansig）和對(duì)數(shù)單極性S函數(shù)（logsig）。小波神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)計(jì)為：小波神經(jīng)網(wǎng)絡(luò)的參數(shù)值設(shè)計(jì)如下，輸入節(jié)點(diǎn)數(shù)和隱層節(jié)點(diǎn)數(shù)均取特征維數(shù)，輸出節(jié)點(diǎn)取1：用-1、0和1分別表示表示識(shí)別的88B、B2和M2坦克的類別；調(diào)整權(quán)值的學(xué)習(xí)率=0.01；調(diào)整伸縮因子a和平移因子b的學(xué)習(xí)率=0.001，訓(xùn)練次數(shù)取定值1000；輸入出到隱層之間的傳遞函數(shù)為morlet小波函數(shù)，隱層到輸出層之間的傳遞函數(shù)為Sigmoid線性函數(shù)。支持

18、向量機(jī)分類時(shí)，取懲罰因子8C=1, 徑向基核函數(shù)中的參數(shù)據(jù)經(jīng)驗(yàn)取特征維數(shù)的倒數(shù)；用-1、0和1分別表示待識(shí)別的三類坦克。支持向量個(gè)數(shù)：識(shí)別Hu矩時(shí)有8個(gè)，識(shí)別Zernike矩和小波矩時(shí)有9個(gè)。表4列出了三種分類算法的識(shí)別性能參數(shù)。表4 仿真識(shí)別結(jié)果圖像序號(hào)BP神經(jīng)網(wǎng)絡(luò)小波神經(jīng)網(wǎng)絡(luò)支持向量機(jī)訓(xùn)練時(shí)間誤差識(shí)別率訓(xùn)練時(shí)間誤差識(shí)別率訓(xùn)練時(shí)間識(shí)別率Hu矩34.79秒0.1374 66.7%1.8461秒1e-872.2%0.1368秒83.3%Zernike矩35.36秒0.1226 66.7%1.1953秒1e-877.8%0.0069秒89%小波矩33.41秒0.0680 77.8%1.3526秒1

19、e-877.8%0.0068秒100%從表4可以看出，將Hu矩、Zernike矩和小波矩提取的特征值分別輸入到BP神經(jīng)網(wǎng)絡(luò)分類識(shí)別時(shí)，小波矩的識(shí)別率最高，Hu矩最低，而且有時(shí)識(shí)別率出現(xiàn)幅度較大的波動(dòng)；小波神經(jīng)網(wǎng)絡(luò)對(duì)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的改進(jìn)，使得矩特征輸入到小波神經(jīng)網(wǎng)絡(luò)時(shí)，訓(xùn)練時(shí)間和誤差都有很大的改進(jìn)但識(shí)別率并未有明顯提高；而矩特征輸入到支持向量機(jī)中時(shí)，無論訓(xùn)練時(shí)間還是識(shí)別率都有了大幅度提高，Zernike矩在訓(xùn)練中識(shí)別率是100%，測(cè)試時(shí)達(dá)到89%，小波矩在訓(xùn)練和測(cè)試中識(shí)別率均達(dá)到100%。以上是在圖像無噪聲情況下得到的結(jié)果，為驗(yàn)證算法的抗噪性，給圖像加入不同強(qiáng)度的噪聲：設(shè)圖像為I，隨機(jī)噪聲矩

20、陣為N=randn(128),加噪圖像表示為I+N。定義A類噪聲強(qiáng)度為N/5,B類噪聲強(qiáng)度為N/3,C類噪聲強(qiáng)度為N，顯然A、B、C噪聲強(qiáng)度是遞增的。對(duì)用于測(cè)試的三類共18幅圖像分別加入這三類噪聲，得到共54幅圖像，然后對(duì)它們提取Hu矩、Zernike矩和小波矩，表5列出了BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類器在不同的噪聲強(qiáng)度下對(duì)三種矩特征的識(shí)別效果。表5 BP神經(jīng)網(wǎng)絡(luò)和SVM分類對(duì)加噪圖像識(shí)別結(jié)果分類算法噪聲Hu矩識(shí)別率Zernike矩識(shí)別率小波矩識(shí)別率BP神經(jīng)網(wǎng)絡(luò)分類A44.4%66.7%55.6%B44.4%33.3%50.0%C27.8%38.9%50.0%SVM分類A50.0%61.1%88

21、.9%B50.0%55.6%77.8%C44.4%38.9%77.8%從表5可以看出，隨著噪聲的增加，該文的算法仍能保持較高的識(shí)別率。雖然兩種算法的識(shí)別率都有所下降，BP神經(jīng)網(wǎng)絡(luò)分類算法的這種趨勢(shì)更為明顯。5結(jié)論 該文通過對(duì)數(shù)目有限的坦克圖像提取Hu矩、Zernike矩和小波矩特征，并輸入BP神經(jīng)網(wǎng)絡(luò)、小波神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類器進(jìn)行分類識(shí)別，實(shí)驗(yàn)結(jié)果表明：小樣本情況下，小波矩特征結(jié)合支持向量機(jī)分類器的算法具有更好的識(shí)別效果。參考文獻(xiàn)1 Hu Ming-Kuei. Visual pattern recognition by moment invariant J. IRE Trans Info

22、rmation Theory, 1962, 8: 179-187.2 王耀明. Zernike矩及它們的應(yīng)用J. 上海電機(jī)學(xué)院學(xué)報(bào)， 2008，11（1）:4446.3 Dinggang Shen, Horace H.S. Ip. Discriminative wavelet shape descriptors for recognition of 2-D patternJ. Image Computing Group, 1999,32（2）: 151165.4 Nello Cristianini, John Shawe-Talor. An Introduction to Support Ve

23、ctor Machine and Other Kernel-based Learning MethodsM.李國(guó)正，王猛，曾華軍譯.北京：電子工業(yè)出版社,2003.5 楊淑瑩. 模式識(shí)別與智能計(jì)算M， 北京：電子工業(yè)出版社，2008.6 劉進(jìn). 不變量特征的構(gòu)造及在目標(biāo)識(shí)別中的應(yīng)用D.，武漢：華中科技大學(xué)，2004.7 張虹，陳文楷. 一種基于小波矩的圖像識(shí)別方法J. 北京工業(yè)大學(xué)學(xué)報(bào)，2004，30(4):427431.8 侯媛彬，杜京義，汪梅. 神經(jīng)網(wǎng)絡(luò)M. 西安：西安電子科技大學(xué)出版社，2007.RESEARCH ON SMALL SAMPLE IMAGE RECOGNITION BAS

24、ED ON INVARIANT MOMENT AND SUPPORT VECTOR MACHINESun Bei , Cao Jun Department of Information, Taiyuan University of Technology, Taiyuan, PRC, (030024)AbstractMethod of image recognition based on statistics can achieve fine performance only if its provided with large numbers of samples. In practice however, sometimes its impossible to obtain so many samples, which may results in the poor re