第12章核主成分分析

1、摘要本文提出了一種新的用于物體識(shí)別算法兩個(gè)方向兩維核主成分分析方法 (K2D PCA plus 2D PCA )，這種方法主要是兩維主成分變換空間上對(duì)物體進(jìn)行 分析。其基本思想是：首先，利用標(biāo)準(zhǔn)的 K2DPCA 方法在圖像的行方向去相關(guān) 性，然后，在 K2DPCA 空間下在圖像的列方向利用 2DFLD 方法對(duì)圖像進(jìn)一步去 相關(guān)性。為了克服 2DPCA 和 2D-FPCA 方法需要大量存儲(chǔ)空間的缺點(diǎn)，本文提 出的 K2D PCA plus 2D PCA 方法需要較小的存儲(chǔ)空間以及具有高的識(shí)別率，且 計(jì)算效率高于 KPCA /K2DPCA/ (2D) 2FPCA 算法。最后，在手指靜脈數(shù)據(jù)庫(kù)中對(duì)

2、該方法進(jìn)行了驗(yàn)證。1.引言主成分分析 (PCA)3-5 是一種經(jīng)典的線性特征提取和數(shù)據(jù)表示方法， 它們 已廣泛的應(yīng)用于模式識(shí)別和機(jī)器視覺領(lǐng)域。在一般情況下使用這種方法處理 二維圖像時(shí)，圖像矩陣必須首先轉(zhuǎn)化一維的行向量或者列向量。然而，在轉(zhuǎn) 換為一維的向量后，通常會(huì)導(dǎo)致向量空間的維數(shù)非常高。由于維數(shù)非常高， 且訓(xùn)練的樣本數(shù)相對(duì)較少，所以那很難精確的估計(jì)協(xié)方差矩陣，而且計(jì)算高 維的協(xié)方差矩陣的特征向量是相當(dāng)費(fèi)時(shí)。 為解決這些問題，近年來(lái)，兩維特征提取方法，如兩維 PCA(2DPCA) 已經(jīng)引 起廣泛的關(guān)注。Yang最先提出了 2DPCA方法，Yang的主要工作是直接 用原始二維圖像構(gòu)造圖像的協(xié)方差

3、矩陣。然而，我們可以看出，無(wú)論是在圖 像的行方向進(jìn)行的 2DPCA 9方法還是在列方向進(jìn)行的 2DPCA 10方法，與 標(biāo)準(zhǔn)的PCA方法相比他們?cè)趯?duì)圖像信息的表達(dá)上需要更多的系數(shù)來(lái)表達(dá)圖 像信息。為了見一步克服這個(gè)問題，文獻(xiàn) 10提出了 (2D )2PC A 的思想應(yīng)用于 人臉的識(shí)別。但遺憾的是， 2DPCA and (2D ) 2PC A 都是線性投影方法，他們 只考慮到圖像數(shù)據(jù)中的二階統(tǒng)計(jì)信息，未能利用數(shù)據(jù)中的高階統(tǒng)計(jì)信息，忽 略了多個(gè)像素間的非線性相關(guān)性。 然而，現(xiàn)實(shí)中的許多問題是非線性可分的， 例如由于圖像的光照、姿態(tài)等不同引起的差異是非線性和復(fù)雜的，故利用 2DPCA和(2D )2p

4、ca來(lái)分類時(shí)不能得到令人滿意的結(jié)果。為了避免這些缺陷，通過對(duì) PCA的改進(jìn)提出了一種新處理非線性的方 法。文獻(xiàn)14提出了一種新的非線性提取方法-核主成分分析方法(KPCA)。各 個(gè)領(lǐng)域的應(yīng)用中，KPCA都優(yōu)于PCA方法(11; 12;13;14)。近年來(lái)，一 些研究者提出了二維核主成分分析方法 (K2DPCA) 1。該方法在用于人臉識(shí) 別時(shí)，在處理圖像的非線性相關(guān)性特征方面都優(yōu)于 KPCA 2DPCA and B2DPCA方法1。但是，和2DPCA遇到的一個(gè)相同的問題是，僅僅在圖像 的行方向或者列方向使用 K2DPCA 方法時(shí)，與標(biāo)準(zhǔn)的 KPCA 方法相比他們?cè)?對(duì)圖像信息的表達(dá)上需要更多的系

5、數(shù)來(lái)表達(dá)圖像信息。為了提高識(shí)別精度和 降低計(jì)算復(fù)雜度與減少存儲(chǔ)空間，本文提出了一種新的用于物體識(shí)別算法 兩個(gè)方向兩維核主成分分析方法( K 2D PC A plus 2D PC A )其基本思想是： 首先，利用標(biāo)準(zhǔn)的K2DPCA方法在圖像的行方向去相關(guān)性，然后，在K2DPCA 空間下在圖像的列方向利用2DFLD方法對(duì)圖像進(jìn)一步去相關(guān)性。在手指靜脈 數(shù)據(jù)庫(kù)對(duì)該方法進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明：與 K2DPCA方法相比，它可以 在實(shí)現(xiàn)高識(shí)別率，同時(shí)需要的存儲(chǔ)空間更少且計(jì)算效率較高。2.2DPCA 方法假設(shè)有C個(gè)模式類，M是總的訓(xùn)練樣本的個(gè)數(shù)，Mi是i類訓(xùn)練樣本的(i)數(shù)目，m n的矩陣Aj是第i類第j

6、個(gè)訓(xùn)練樣本。A是第i類訓(xùn)練樣本的 均值，A為總體訓(xùn)練樣本的均值。首先假設(shè)A是m n的隨機(jī)圖像矩陣，YRn d是一個(gè)列向量標(biāo)準(zhǔn)正交的矩陣，n _r，把A投影到V產(chǎn)生一個(gè)m d矩陣Y =AV。在子空間2 DPCA，投影樣本的總體散度矩陣可以通過投影矩陣 V得到。它滿足：TJ(V) = trace E(Y - EY)(Y - EY) =trace E(Y - E ( AV )(E(AV )Tm二 trace V T E ( A - EA )T (A - EA )V其中對(duì)任意的兩個(gè)矩陣1，等式滿足trace(AB)= trace(BA)。圖像的協(xié)方差矩陣定義為 n n非負(fù)定矩陣St=E(A E A)T

7、 (A EA),假設(shè)m n的矩陣Ak(k=1, 2，M )為M個(gè)訓(xùn)練圖像，St可以通過下式計(jì)算：1 M T St(Ak-A)(Ak-A)M心那么St前d個(gè)最大的特征值所對(duì)應(yīng)的正交特征向量X1,，Xd組成了投影矩陣的最佳投影X opt。例如：V二Vt，vr ，Y =AV(3)其中，V =Vi,，V圖像A就可以用矩陣丫來(lái)描述并可以利用它來(lái)對(duì)圖像進(jìn)行分類3.兩維核主成分分析3.1 2DPCA、T,a (2)、T(m)、T、T T ( 2) T (m)T T讓 Ak =【(Ak )(Ak )(Ak ) , A =( Ak ) (Ak ) (Ak )(i)其中Ak(i)和Ak分別表示Ak和A,第 i行向

8、量。那么等式(2)就可以寫 成如下表達(dá)式： M m1(i) (i) t (i) (i )G(A,A ) (A, A )(4)M k X i X從等式(4)可以看出，協(xié)方差矩陣 G可以表示為圖像的行向量的 內(nèi)積。如果 訓(xùn)練圖像的均值為0,如A . (0) m n，那么，G可以用歸一化后的訓(xùn)練樣本行向 量估計(jì)得到。因此，2DPCA算法的實(shí)質(zhì)是在圖像的每一行上進(jìn)行 PCA分析。 3.2K2DPCA與線性的PCA,相比，KPCA214是一種非線性特征提取方法，思想是通過 一個(gè)非線性影射叮-：Rn > F，把原始輸入空間的數(shù)據(jù)映射到一個(gè)高維或者甚至無(wú) 窮維的特征空間F，然后在特征空間F中執(zhí)行PCA

9、算法。KPCA已廣泛的應(yīng)用 于人臉識(shí)別中，與PCA相比有更好的識(shí)別結(jié)果。與此同時(shí)，K2DPCA在提取數(shù)據(jù)的非線性特征方面有更大的優(yōu)勢(shì)。與KPCA相似，不需要直接知道這個(gè)非線性映射函數(shù)而完成非線性映射。與 KPCA不同的是把圖像矩陣的每一列映射到 特征空間F，例如非線性影射為G :Rn > F。然后在這個(gè)特征空間中再進(jìn)行 PCA 分析。因?yàn)镕空間的維數(shù)很高，進(jìn)行通常的運(yùn)算不可能，所以為了能夠在F空間中實(shí)現(xiàn)PCA，可以利用內(nèi)積核函數(shù)來(lái)隱含的計(jì)算。通過核函數(shù)K計(jì)算輸入數(shù)據(jù)Ai和Aj被映射到空間F中的內(nèi)積。其表達(dá)式如下：K(AAj) ：，(Ai)川(Aj)其中，二表示在空間F的內(nèi)積。假設(shè)所有數(shù)據(jù)

10、都被文獻(xiàn)14方法中心化(可能不恰當(dāng))，G (A)表示映射空間中第 i幅映射圖像，叮-(Aj表示第i幅映射圖像的第j列中心化向量。那么可得到空間 F中的協(xié)方差矩陣C：'：M其中12n：.：（AJ =G（Ai ）,（A：）,，（A：）m表示列數(shù)。直接計(jì)算該矩陣的特征值、是相當(dāng)困難的，而且其特征向量Vi必須滿足i二c% 然而，通過以下定理我們能利用 KPCA來(lái)實(shí)現(xiàn)K2DPCA算法，從而避免直接計(jì) 算的困難。定理1，假設(shè)每個(gè)列向量作為一個(gè)計(jì)算實(shí)體，K2DPCA算法是通過對(duì)訓(xùn)練圖像矩 陣的每一列執(zhí)行KPCA算法來(lái)實(shí)現(xiàn)的。其證明過程類似于參考文獻(xiàn)1中的定理1的證明。為了提取每個(gè)類向量的主成分，我們

11、需要把每個(gè)：-（Aj頭型到空間F的特征向 量Xk上.，投影表達(dá)式如下:、Mn、A上？jll匸q 2j T(Xk"(Ai)=l (G(Ap )：(Ai ) ) (I = M n d1；, M n) (8)p £ q 4由（8）式，得第i幅映射圖像：:（AJ的投影Y為Yi 二區(qū) G（AJ）二：T（弓嚀（A"（9）其中心GM > n _d 1, 心M :n _d. ： ：2, ，心 Mn )旳八 1 八 2A八 1 八 2A= G(A1 ), "(A!),"(“),，G(Am ),：(Am )，“(Am")通過把所有訓(xùn)練圖像和測(cè)試圖像

12、的列向量投影到特征空間的前d個(gè)特征向量上,從而得到每個(gè)圖像的投影矩陣，其大小為 d n。4. K 2D PC A plus 2D PC A4.1. K 2D PC A plus 2D PC A 思想K2DPCA可以有效的克服2DPCA算法在提取圖像非線性特征的不足。 而且其效果優(yōu)于2DPCA和KPCA算法1。然而，需要更多的系數(shù)對(duì)圖像進(jìn)行表示。這就導(dǎo)致降低識(shí)別速度，而且需要大量的存儲(chǔ)空間。該段將給出一種新的方法來(lái)克服 K2DPCA存在的弱點(diǎn)。其大體思想是：首先在行方向進(jìn)行K2DPCA變換，然后再K2DPCA子空間進(jìn)的列方向進(jìn)行2DPCA變換。對(duì)給定特定的圖像矩陣 A，在經(jīng)過K2DPCA變換時(shí)，

13、我們可以得到它的特征矩陣丫。然后進(jìn)行轉(zhuǎn)置得到y(tǒng)t，并把轉(zhuǎn)置矩陣進(jìn)行2DPCA變換，確定變換矩陣 V。最后，把yt投影V，從而得到cT =ytv，特征矩 陣即為C二V ty 。整個(gè)變換過程如圖1所示：K2DPCA2DPCA垂直方向水平方向|tK 2D P C Aplus 2 D圖 1. K 2D PC A plus 2D PC A 變換過程在整個(gè)變換過程中，首先通過執(zhí)行K2DPCA變換丫廠:）tg（a）在垂直方向上對(duì)二維圖像進(jìn)行壓縮，從而使得區(qū)分信息被壓縮在少數(shù)行上。然后，再通過2DPCA變換C =YV把二位數(shù)據(jù)在水平方向進(jìn)行壓縮，從而去掉圖像 丫各行之間 的相關(guān)性且使區(qū)分信息進(jìn)一步被壓縮到少數(shù)

14、列上。最后，整個(gè)圖像的分類信息被 壓縮到圖像的左上角。整個(gè)過程表示如下：mxn K 2D PCAd Xnphase 1 : RF1;K 2D PCA plus 2D PCAd ：n 2 D PCAd：rphase 2 : F1F ;4.2.變換下面進(jìn)一步詳述K2D PCA plus 2D PCA的執(zhí)行過程。首先經(jīng)過K2DPCA在垂 直方向上變換后，我們通過式（9）得到樣本A的特征矩陣丫。然后重建圖像的 協(xié)方差矩陣并得到該協(xié)方差矩陣的前r個(gè)最大特征值所對(duì)應(yīng)的特征向量Vi,，Vr,讓V =（Vi，V2,，Vr），那么，通過式（10）得到丫經(jīng)過2DPCA變換后的 特征矩陣C =YV =（/（甲T $

15、（A）V .（10）特征矩陣C的大小為d r，由于d和r的值總是遠(yuǎn)小于m和n , C遠(yuǎn)小于 K2DPCA的特征矩陣丫和原始圖像矩陣A。5實(shí)驗(yàn)結(jié)果把本文方法用于手指靜脈識(shí)別進(jìn)行測(cè)試，我們的手指靜脈數(shù)據(jù)庫(kù) 由20位 不同人的手指靜脈樣本構(gòu)成，每種樣本是由不同時(shí)間采集的 10張圖像組成，這 些圖像之間存在光照的變化。所有的圖像的背景色為黑色且是豎直的 （其中能容 許一定的位置偏移）。這些圖像都是具有 256的灰度像素圖像且被歸一化為 32 37 o然后利用這些圖像對(duì)該算法進(jìn)行測(cè)試。 在本實(shí)驗(yàn)中，由于考慮到計(jì)算復(fù) 雜性，我選用的核函數(shù)是階數(shù)為d多項(xiàng)式核函數(shù)。其表達(dá)式如下：K（xXj） =（x 旳）d為

16、了測(cè)試不同訓(xùn)練數(shù)量的手指靜脈的識(shí)別效果，在每個(gè)人的 10幅樣本圖像 中隨機(jī)選k（1乞k乞5）幅作為訓(xùn)練圖像，余下的（10 -k）幅圖像用于測(cè)試。下面給 出了本實(shí)驗(yàn)中的一部分樣本圖像，如圖 2所示。UI1E1L1IL1圖2手指靜脈數(shù)據(jù)庫(kù)中的一部分樣本圖像圖3給出了在小樣本情況下（2和3幅訓(xùn)練圖像）K 2D PC A plus 2D PC A 與其 它幾種算法的識(shí)別效果，可以看出， K 2D PC A plus 2D PC A算法的識(shí)別效果優(yōu) 于其它幾種算法。為了進(jìn)一步揭示識(shí)別精度與特征向量維數(shù)之間的關(guān)系，我們對(duì)K 2D PC A plus 2D PC A 和K2DPCA算法在一系列不同的維數(shù)特征

17、相量下進(jìn)行了實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果如圖4所示。當(dāng)都取同樣的維數(shù)（2和3）時(shí)，K 2D PCA plus 2 DP識(shí)別精度高于K2DPCA算法。當(dāng)維數(shù)大于3時(shí)，它們有相同的識(shí)別率。表1給對(duì)兩種方法的識(shí)別精度和維數(shù)作了比較。 可以看出當(dāng)他們 具有相近的識(shí)別精度時(shí)，2DKPCA plus 2D PCA在對(duì)圖像識(shí)別信息的提取更有效。實(shí)驗(yàn)的最后對(duì)兩種算法的壓縮比進(jìn)行了分析。設(shè)有M幅m n訓(xùn)練圖像，K2DPCA和 K 2D PC A plus 2D PC A投影維數(shù)為d 和 r。那么K2DPCA 和K 2D PC A plus 2D PC A 的壓縮比分別為 Mmn /(M nr - mr) 和M mn /(

18、M dr - nd - mr)，因此他們有較好的壓縮比。識(shí)別精度%) 00 KzDPCA PLUS 2DPCAJ K2DPCAHui Kong 2005； 2CPCA+2DFLDiR 期 Mutclo 2006:*1 (2D)2PCA(Darq Zhang 2t05) 1 2DPCAj：Y;ng 2004) 戎一 KHCAYarr3.2002：.每人用于訓(xùn)練的圖像個(gè)數(shù) 圖3識(shí)別效果比較維數(shù)(咒37 )圖 4. K2DPCA plus 2DPCA 和 K2DPCA 算法的比較算法識(shí)別精度（）維數(shù)K2DPCA97.53 37K 2D PC A plus 2D PC A97.53 10表1兩種算法的

19、比較6.結(jié)論本文給出了一個(gè)有效的特征提取和識(shí)別算法一K2DPCA plus 2D PC A方法。該算法與K2DPCA算法的區(qū)別在于后者僅在垂直方向上進(jìn)行分析，而本文 算法同時(shí)在水平和垂直方向上進(jìn)行投影分析， 所以該算法的主要優(yōu)勢(shì)在于僅需少 量的系數(shù)就可以對(duì)物體（靜脈圖像）進(jìn)行描述，且識(shí)別率很高。實(shí)驗(yàn)結(jié)果表明， 與K2DPCA算法相比，該算法具有較快的識(shí)別速度和很高的識(shí)別率，實(shí)驗(yàn)結(jié)果 也驗(yàn)證該算法的有效性。References1 Hui Kong, Lei Wang, Eam Khwang Teoh, Xuchun Li,Jian-Gang Wang, Ronda Venkateswarlu G

20、eneralized 2D principal component analysis for face image represe ntation and recog ni tion Neural Networks 18 (2005) 5855942 Kim, K. I., Franz, M. O., & Scholkopf, B. (2005). Iterative kernel principal component analysis for imagemodeling. IEEE Transactions on Pattern Analysis and Machi ne In t

21、ellige nee, 27, 1352 - 1366.3 M. Turk, A. Pentland, Eigenfaces for recognition, J. Cognitive Neurosci. 3 (1) (1991) 71- 86.4 W. Zhao, R. Chellappa, A. Rosenfeld, P.J. Phillips, Face recognition: a literature survey, 2000, o5 L. Zhao, Y. Yang, Theoretical analysis of illumination in PCA-based vision

22、systems, Pattern Recognition 32 (4) (1999) 54-7 564.6 J. Yang, D. Zhang, A. F. Frangi, J. Y. Yang, "Two dimensional PCA: A new approach to appearance-basedface representation and recognition." IEEE Trans. Pattern Anal. Machine Intell. Vol. 26, no. 1,pp. 131-137, 2004.7 Ming Li and Baozong

23、Yuan, "2D-LDA: A statistical linear discriminant analysis for image matrix," Pattern Recognition Letters, Vol. 26, no. 5, pp. 527-532, 2005.8 H. Xiong, M.N.S. Swamy, M.O. Ahmad, "Two-dimensional FLD for face recognition," Pattern Recognition, Volume 38, Issue 7, pp. 1121-1124, July 2005.9 J. Yang, D. Zhang, A.F. Frangi, J. Yang, Two-dimensional PCA: a new approach to appearancebased face representation and recognition, IEEE Trans. Pattern Anal.Machine Intell 26 (1) (2004) 131- 137.10 D. Zhang, Z.-H. Zhou, (2D)2PCA: 2-directional 2-dimensional PCA for efficient face