主成分分析原理及詳解

.z.第14章主成分分析1概述1.1基本概念1.1.1定義主成分分析是根據(jù)原始變量之間的相互關(guān)系，尋找一組由原變量組成、而彼此不相關(guān)的綜合變量，從而濃縮原始數(shù)據(jù)信息、簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)、壓縮數(shù)據(jù)規(guī)模的一種統(tǒng)計(jì)方法。1.1.2舉例為什么叫主成分，下面通過一個(gè)例子來(lái)說(shuō)明。假定有N個(gè)兒童的兩個(gè)指標(biāo)*1與*2，如身高和體重。*1與*2有顯著的相關(guān)性。當(dāng)N較大時(shí)，N觀測(cè)量在平面上形成橢圓形的散點(diǎn)分布圖，每一個(gè)坐標(biāo)點(diǎn)即為個(gè)體*1與*2的取值，如果把通過該橢圓形的長(zhǎng)軸取作新坐標(biāo)軸的橫軸Z1，在此軸的原點(diǎn)取一條垂直于Z1的直線定為新坐標(biāo)軸的Z2，于是這N個(gè)點(diǎn)在新坐標(biāo)軸上的坐標(biāo)位置發(fā)生了改變；同時(shí)這N個(gè)點(diǎn)的性質(zhì)也發(fā)生了改變，他們之間的關(guān)系不再是相關(guān)的。很明顯，在新坐標(biāo)上Z1與N個(gè)點(diǎn)分布的長(zhǎng)軸一致，反映了N個(gè)觀測(cè)量個(gè)體間離差的大部分信息，若Z1反映了原始數(shù)據(jù)信息的80%，則Z2只反映總信息的20%。這樣新指標(biāo)Z1稱為原指標(biāo)的第一主成分，Z2稱為原指標(biāo)的第二主成分。所以如果要研究N個(gè)對(duì)象的變異，可以只考慮Z1這一個(gè)指標(biāo)代替原來(lái)的兩個(gè)指標(biāo)（*1與*2），這種做法符合PCA提出的基本要求，即減少指標(biāo)的個(gè)數(shù)，又不損失或少損失原來(lái)指標(biāo)提供的信息。1.1.3函數(shù)公式通過數(shù)學(xué)的方法可以求出Z1和Z2與*1與*2之間的關(guān)系。Z1=l11*1+l12*2Z2=l21*1+l22*2即新指標(biāo)Z1和Z2是原指標(biāo)*1與*2的線性函數(shù)。在統(tǒng)計(jì)學(xué)上稱為第一主成分和第二主成分。若原變量有3個(gè)，且彼此相關(guān)，則N個(gè)對(duì)象在3維空間成橢圓球分布，見圖14-1。通過旋轉(zhuǎn)和改變?cè)c(diǎn)（坐標(biāo)0點(diǎn)），就可以得到第一主成分、第二主成分和第三主成分。如果第二主成分和第三主成分與第一主成高度相關(guān)，或者說(shuō)第二主成分和第三主成分相對(duì)于第一主成分來(lái)說(shuō)變異很小，即N個(gè)對(duì)象在新坐標(biāo)的三維空間分布成一長(zhǎng)桿狀時(shí)，則只需用一個(gè)綜合指標(biāo)便能反映原始數(shù)據(jù)中3個(gè)變量的基本特征。1.2PCA滿足條件1.2.1一般條件一般來(lái)說(shuō)，N個(gè)對(duì)象觀察p個(gè)指標(biāo)，可以得到N*p個(gè)數(shù)據(jù)（矩陣）。只要p個(gè)指標(biāo)之間存在有相關(guān)關(guān)系，就可以通過數(shù)學(xué)的方法找到一組新的指標(biāo)，它們需要滿足的條件如下。Zi是原指標(biāo)的線性函數(shù)，且它們相互垂直；各個(gè)Zi互不相關(guān)；各個(gè)Zi加起來(lái)提供原指標(biāo)所含的全部的信息，且Z1提供信息最多，Z2次之，依次類推。1.2.2PCA的一般步驟輸入或打開數(shù)據(jù)文件；數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；計(jì)算矩陣的相關(guān)系數(shù)；求相關(guān)矩陣的特征根λ1、λ2、λ3，并將它們按大小排序。求特征向量和各主成分；計(jì)算各主成分的貢獻(xiàn)率；解釋各主成分的含義上述的步驟大部分由SPSS執(zhí)行，用戶需要選擇觀測(cè)對(duì)象、選擇變量，收集數(shù)據(jù)，將數(shù)據(jù)輸入SPSS程序，最后選擇需要多少個(gè)主成分，解釋各主成分的實(shí)際意義。1.3SPSS運(yùn)行主要選擇項(xiàng)1.3.1操作步驟Analyzes/datareduction/factor/openfactoranalyzes/對(duì)話框，主要有5個(gè)對(duì)話框，下面簡(jiǎn)要介紹。因子分析主對(duì)話框。主要用來(lái)選擇變量、選擇輸出結(jié)果內(nèi)容和多少、選擇PCA有關(guān)數(shù)學(xué)處理如是否旋轉(zhuǎn)，提取多少個(gè)因子數(shù)，是否保存各個(gè)因子得分等。FactorAnalysis：因子分析；Descriptive：描述性統(tǒng)計(jì)選項(xiàng)；E*traction：提取因子選項(xiàng)；Rotation：旋轉(zhuǎn)選擇；Scores：因子得分選項(xiàng)；Option：其它選項(xiàng)。1.3.2主對(duì)話框1.3.3Descriptive對(duì)話框Statistics：統(tǒng)計(jì)數(shù)據(jù)Univariatedescriptive：?jiǎn)巫兞棵枋鲂越y(tǒng)計(jì)；Initialsolution：初始解的統(tǒng)計(jì)量。Correlationmatri*：相關(guān)矩陣Coeffcients：相關(guān)系數(shù)矩陣。Inverse：相關(guān)系數(shù)矩陣逆矩陣。Significancelevels：相關(guān)系數(shù)顯著性水平。Reproduced：再生相關(guān)矩陣。給出因子分析后的相關(guān)矩陣。1.3.4E*tractionmethod提取公因子方法Method：方法Principalponentsanalyze：主成分分析Unweightleastsquares：未加權(quán)最小二乘法Generalizedleastsquares：廣義最小二乘法Analysis：分析Coeffcientsmatri*：相關(guān)系數(shù)矩陣。Covariancematri*：協(xié)方差矩陣。Display：顯示Unrotatedfactorsolution：非旋轉(zhuǎn)因子解。Screenplotoftheeigenvalues：特征值碎石圖。E*tract：提取。Eigenvaluesover1：系統(tǒng)默認(rèn)值是1，表示提取特征值大于1的因子。Numberoffactor2：提取公因子的個(gè)數(shù)。理論上有多少個(gè)因子1.3.5Rotationmethod旋轉(zhuǎn)方法對(duì)話框Method：方法None：不進(jìn)行旋轉(zhuǎn)Quartima*：四分位最大正交旋轉(zhuǎn)Varima*：方差最大正交旋轉(zhuǎn)。Equama*：相等最大正交旋轉(zhuǎn)。Display：顯示Rotationsolution：旋轉(zhuǎn)解。Loadingplots：旋轉(zhuǎn)因子空間的載荷圖。1.3.6Scores因子得分對(duì)話框Saveasvariables：將因子得分?jǐn)?shù)據(jù)存入為新變量。Regression：用回歸法計(jì)算因子得分。Bartlett：巴特尼特法計(jì)算因子得分。Anderso-rubin，Anderso-rubin：法計(jì)算因子得分。Dispalyfactorscorecoefficientmatr*，顯示因子得分系數(shù)矩陣。1.3.7Option對(duì)話框MissingValues：缺失值處理E*cludecaseslistwise：刪除全部缺省值的個(gè)案。E*cludecasespairwise：成對(duì)刪除含有缺省值的個(gè)案。Replacewithmean：用均值替代缺省值。Coefficientdisplayformat因子得分系數(shù)矩陣的顯示格式。Sortedbysize：按大小排列?；氐街鲗?duì)話框上。Variables：選擇左邊變量欄中的變量，用箭頭鍵將要分析的變量移入右邊的變