模式識別方PCA實驗報告

模式識別作業(yè)模式識別》大作業(yè)人臉識別方法----基于PCA和歐幾里得距離判據(jù)的模板匹配分類器一、理論知識1、主成分分析主成分分析是把多個特征映射為少數(shù)幾個綜合特征的一種統(tǒng)計分析方法。在多特征的研究中，往往由于特征個數(shù)太多，且彼此之間存在著一定的相關(guān)性，因而使得所觀測的數(shù)據(jù)在一定程度上有信息的重疊。當特征較多時，在高維空間中研究樣本的分布規(guī)律就更麻煩。主成分分析采取一種降維的方法，找出幾個綜合因子來代表原來眾多的特征，使這些綜合因子盡可能地反映原來變量的信息，而且彼此之間互不相關(guān)，從而達到簡化的目的。主成分的表示相當于把原來的特征進行坐標變換（乘以一個變換矩陣），得到相關(guān)性較小（嚴格來說是零）的綜合因子。1.1問題的提出一般來說，如果N個樣品中的每個樣品有n個特征x,x,x,經(jīng)過主成分分析，將12nTOC\o"1-5"\h\z它們綜合成n綜合變量，即 ...y=cx+cx+ +cx1 111 122 Inny=cx+cx+ +cxV2 211 222… 2nn???y=cx+cx+ +cxn n11 n22 nnnc由下列原則決定： …ij1、 y和y（i豐j，i,j=1,2,...n）相互獨立；ij2、 y的排序原則是方差從大到小。這樣的綜合指標因子分別是原變量的第1、第2、……、第n個主分量，它們的方差依次遞減。1.2主成分的導(dǎo)出我們觀察上述方程組，用我們熟知的矩陣表示，設(shè)X=x我們觀察上述方程組，用我們熟知的矩陣表示，設(shè)X=x1x2個n維隨機向量,y1

y2y1

y2Ly」n滿足CC'=I。坐標旋轉(zhuǎn)是指新坐標軸相互正交’仍構(gòu)成一個直角坐標系。變換后的N個點在yi軸上有最大方差，而在y軸上有最小方差。同時，注意上面第一條原則，由此我們要求y.軸和yjn軸的協(xié)方差為零，那么要求YYt=An軸的協(xié)方差為零，那么要求九1令R=XXT，則RCT二Cta經(jīng)過上面式子的變換，我們得到以下n個方程（r一九）c+rc+ +rc=011 111 1212 1n1nrc+（r一九）c+ +rc=02111 22 1 12 ?… 2n1nrc+rc+ +（r一九）c=0n111n212 nn1 1n1.3主成分分析的結(jié)果???我們要求解出C,即解出上述齊次方程的非零解，要求c..的系數(shù)行列式為0。最后得出ij結(jié)論九是IR-九11=0的根，y的方差為九。然后選取前面p個貢獻率大的分量，這樣就i i i實現(xiàn)了降維。也就是主成分分析的目標。二、實現(xiàn)方法1、 獲取數(shù)據(jù)。在編程時具體是把一幅二維的圖像轉(zhuǎn)換成一維的；2、 減去均值。要使PCA正常工作，必須減去數(shù)據(jù)的均值。減去的均值為每一維的平均，所有的x值都要減去，同樣所有的y值都要減去，這樣處理后的數(shù)據(jù)都具有0均值；3、 計算協(xié)方差矩陣；4、 計算協(xié)方差矩陣的特征矢量和特征值。因為協(xié)方差矩陣為方陣，我們可以計算它的特征矢量和特征值，它可以告訴我們數(shù)據(jù)的有用信息；5、選擇成分組成模式矢量現(xiàn)在可以進行數(shù)據(jù)壓縮降低維數(shù)了。如果你觀察上一節(jié)中的特征矢量和特征值，會注意到那些特征值是十分不同的。事實上，可以證明對應(yīng)最大特征值的特征矢量就是數(shù)據(jù)的主成分。對應(yīng)大特征值的特征矢量就是那條穿過數(shù)據(jù)中間的矢量，它是數(shù)據(jù)維數(shù)之間最大的關(guān)聯(lián)。一般地，從協(xié)方差矩陣找到特征矢量以后，下一步就是按照特征值由大到小進行排列，這將給出成分的重要性級別?，F(xiàn)在，如果你喜歡，可以忽略那些重要性很小的成分，當然這會丟失一些信息，但是如果對應(yīng)的特征值很小，你不會丟失很多信息。如果你已經(jīng)忽略了一些成分，那么最后的數(shù)據(jù)集將有更少的維數(shù)，精確地說，如果你的原始數(shù)據(jù)是n維的，你選擇了前p個主要成分，那么你現(xiàn)在的數(shù)據(jù)將僅有p維?，F(xiàn)在要做的是你需要組成一個模式矢量，這只是幾個矢量組成的矩陣的一個有意思的名字而已，它由你保持的所有特征矢量構(gòu)成，每一個特征矢量是這個矩陣的一列。6、獲得新數(shù)據(jù)這是PCA最后一步，也是最容易的一步。一旦你選擇了須要保留的成分（特征矢量）并組成了模式矢量，我們簡單地對其進行轉(zhuǎn)置，并將其左乘原始數(shù)據(jù)的轉(zhuǎn)置：其中rowFeatureVector是由特征矢量作為列組成的矩陣的轉(zhuǎn)置，因此它的行就是原來的特征矢量，而且對應(yīng)最大特征值的特征矢量在該矩陣的最上一行。rowdataAdjust是減去均值后的數(shù)據(jù)，即數(shù)據(jù)項目在每一列中，每一行就是一維。FinalData是最后得到的數(shù)據(jù)，數(shù)據(jù)項目在它的列中，維數(shù)沿著行。FinalData=rowFeatureVector*rowdataAdjust這將僅僅給出我們選擇的數(shù)據(jù)。我們的原始數(shù)據(jù)有兩個軸（x和y）,所以我們的原始數(shù)據(jù)按這兩個軸分布。我們可以按任何兩個我們喜歡的軸表示我們的數(shù)據(jù)。如果這些軸是正交的，這種表達將是最有效的，這就是特征矢量總是正交的重要性。我們已經(jīng)將我們的數(shù)據(jù)從原來的xy軸表達變換為現(xiàn)在的單個特征矢量表達。如果我們已經(jīng)忽略了一些特征矢量，則新數(shù)據(jù)將會用我們保留的矢量表達。三、matlab編程matlab程序分為三部分。程序框圖如下圖所示。四、總結(jié)從書里看我覺得最讓人明白模板匹配分類器的一段話，就是“譬如A類有10個訓(xùn)練樣品，就有10個模板，B類有8個訓(xùn)練樣品，就有8個模板。任何一個待測樣品在分類時與這18個模板都算一算相似度，找出最相似的模板，如果該模板是B類中的一個，就確定待測樣品為B類，否則為A類?！币馑己芎唵伟?，算相似度就是算距離。就是說，模板匹配就要用你想識別的樣品與各類中每個樣品的各個模板用距離公式計算距離，距離最短的那個就是最相似的。實驗結(jié)果表明識別率達90%。這樣的匹配方法明顯的缺點就是在計算量大，存儲量大，每個測試樣品要對每個模板計算一次相似度，如果模板量大的時候，計算量就十分的大。五、參考文獻【1】邊肇其，張學(xué)工?模式識別【M】.第2版?北京.：清華大學(xué)出版社，2000【2】周杰，盧春雨，張長水，李衍達，人臉自動識別方法綜述【J】.電子學(xué)報，2000,5（4）：102-106《模式識別》大作業(yè)人臉識別方法二----基于PCA和FLD的人臉識別的線性分類器一、理論知識1、fisher概念引出在應(yīng)用統(tǒng)計方法解決模式識別問題時，為了解決“維數(shù)災(zāi)難”的問題，壓縮特征空間的維數(shù)非常必要。fisher方法實際上涉及到維數(shù)壓縮的問題。fisher分類器是一種幾何分類器，包括線性分類器和非線性分類器。線性分類器有：感知器算法、增量校正算法、LMSE分類算法、Fisher分類。若把多維特征空間的點投影到一條直線上，就能把特征空間壓縮成一維。那么關(guān)鍵就是找到這條直線的方向，找得好，分得好，找不好，就混在一起。因此fisher方法目標就是找到這個最好的直線方向以及如何實現(xiàn)向最好方向投影的變換。這個投影變換恰是我們所尋求的解向量W*，這是fisher算法的基本問題。樣品訓(xùn)練集以及待測樣品的特征數(shù)目為n。為了找到最佳投影方向，需要計算出各類均值、樣品類內(nèi)離散度矩陣S和總類間離散度矩陣S、樣品類間離散度矩陣S，根據(jù)Fisheriwb準則，找到最佳投影準則，將訓(xùn)練集內(nèi)所有樣品進行投影，投影到一維Y空間，由于Y空間是一維的，則需要求出Y空間的劃分邊界點，找到邊界點后，就可以對待測樣品進行進行一維Y空間的投影，判斷它的投影點與分界點的關(guān)系，將其歸類。Fisher法的核心為二字：投影。

實現(xiàn)方法(1)計算給類樣品均值向量m，m是各個類的均值，N是①類的樣品個數(shù)。ii iim—工Xi—1,2,...,niNix書SS⑵計算樣品類內(nèi)離散度矩陣i和總類間離散度矩陣wS—工(X—m)(X—m)T i—1,2,...,ni i iS-乙Swii—1(3)計算樣品類間離散度矩陣SbS=(m-m)(m-m)tb1212我們希望投影后，在一維Y空間各類樣品盡可能地分開，也就是說我們希望兩類樣品均值之差(mi-m2)越大越好’同時希望各類樣品內(nèi)部盡量密集’即希望類內(nèi)離散度越小越好，因此，我們可以定義Fisher準則函數(shù)：J(W)—FWTSWb WTSWw使得J(W)取得最大值的W*為W*—WTSWb WTSWwF(5)將訓(xùn)練集內(nèi)所有樣品進行投影y=(W*)tXw的滿足下式J(W)=arcmaxFWtSWb—w的滿足下式J(W)=arcmaxFWtSWb—WtSww—[w,w,w]1 2mw］是滿足下式的S和S對應(yīng)的w］是滿足下式的S和S對應(yīng)的m個最大特征值所對應(yīng)的特征向量。m bw12注意到該矩陣最多只有C-1個非零特征值，C是類別數(shù)。2、程序中算法的應(yīng)用Fisher線性判別方法(FLD)是在Fisher鑒別準則函數(shù)取極值的情況下，求得一個最佳判別方向，然后從高位特征向量投影到該最佳鑒別方向，構(gòu)成一個一維的判別特征空間。將Fisher線性判別推廣到C-1個判決函數(shù)下，即從N維空間向C-1維空間作相應(yīng)的投影。利用這個m維的投影矩陣M將訓(xùn)練樣本n維向量空間轉(zhuǎn)化為m維的MEF空間并且獲得在MEF空間上的最佳描述特征，即y=yi,yi,yi=Mt(x-m-m)i=1,2, ,N1 1 2m ii0y的樣品類內(nèi)離散度矩陣SNw由這N個MEF空間上的最佳描述特征可以求出yi，y的樣品類內(nèi)離散度矩陣SNw和總類間離散度矩陣S，取S-1S的K個最大的特征可以構(gòu)成FLD投影矩陣W。將MEFbwb空間上的最佳描述特征y,y,y在fld投影矩陣w上進行投影，將mef空間降維到1 2NMDF空間，并獲得對應(yīng)的MDF空間上的最佳分類特征，即Z=（乙，乙，Zi）=Wy i=1,2,,Ni 1 2 k i通過計算Z,Z,Z的歐氏距離,??可以將訓(xùn)練樣本分為C?（?C等于S-1S的秩），完成12kwb對訓(xùn)練樣本集的分類???1、 matlab編程1、fisher判別法人臉檢測與識別流程圖2、matlab2、matlab程序分為三部分。程序框圖如下圖所示。判宦出A臉歸屬mainCreatDataBaseFisherfaceCoreRecognitionVImainCreatDataBaseFisherfaceCoreRecognitionVI這個函數(shù)將所有訓(xùn)練樣本的二維圖像轉(zhuǎn)換成一維列向量。接著，它把這些一維列向量組合到一行里面構(gòu)造出二維向量T，這個函數(shù)將所有訓(xùn)練樣本的二維圖像轉(zhuǎn)換成一維列向量。接著，它把這些一維列向量組合到一行里面構(gòu)造出二維向量T，即每個單元的信息量是一幅圖片PCA提取特征值Fisher分類器設(shè)計。從fisher線性空間中提取圖像這個函數(shù)將源圖像提取成特征臉，然后比較它們之間的歐幾里得距離2、 總結(jié)從計算成本來看，PCA+LDA方法的好處在于對高維空間的降維，避免了類內(nèi)離散度矩陣不可逆的情況。然而，從識別性能來看，由于主成分只是代表圖像的灰度特征，是從能量的角度衡量主成分大小的，應(yīng)用PCA之后，舍棄的對應(yīng)較小特征值的次要成分有可能對LDA來說重要的分類信息，有可能降低分類識別性能。而且，在實際應(yīng)用中，特別是在人臉圖像識別中，由于“維數(shù)災(zāi)難”的存在，F(xiàn)LD通常會遇到兩個方面