主成分分析報告法地原理應(yīng)用及計算步驟

1、一、概述在處理信息時，當(dāng)兩個變量之間有一定相關(guān)關(guān)系時， 可以解釋為這兩個變量 反映此課題的信息有一定的重疊，例如，高校科研狀況評價中的立項課題數(shù)與項 目經(jīng)費、經(jīng)費支出等之間會存在較高的相關(guān)性；學(xué)生綜合評價研究中的專業(yè)基 礎(chǔ)課成績與專業(yè)課成績、獲獎學(xué)金次數(shù)等之間也會存在較高的相關(guān)性。而變量 之間信息的高度重疊和高度相關(guān)會給統(tǒng)計方法的應(yīng)用帶來許多障礙。為了解決這些問題，最簡單和最直接的解決方案是削減變量的個數(shù)，但這 必然又會導(dǎo)致信息丟失和信息不完整等問題的產(chǎn)生。為此，人們希望探索一種 更為有效的解決方法，它既能大大減少參與數(shù)據(jù)建模的變量個數(shù)，同時也不會 造成信息的大量丟失。主成分分析正是這樣一種能

2、夠有效降低變量維數(shù)，并已 得到廣泛應(yīng)用的分析方法。主成分分析以最少的信息丟失為前提，將眾多的原有變量綜合6210X較少幾 個綜合指標(biāo)，通常綜合指標(biāo)（主成分） 有以下幾個特點：主成分個數(shù)遠(yuǎn)遠(yuǎn)少于原有變量的個數(shù)原有變量綜合成少數(shù)幾個因子之后，因子將可以替代原有變量參與數(shù)據(jù)建 模，這將大大減少分析過程中的計算工作量。主成分能夠反映原有變量的絕大部分信息因子并不是原有變量的簡單取舍，而是原有變量重組后的結(jié)果，因此不會造 成原有變量信息的大量丟失，并能夠代表原有變量的絕大部分信息。主成分之間應(yīng)該互不相關(guān)通過主成分分析得出的新的綜合指標(biāo) （主成分）之間互不相關(guān)，因子參與數(shù) 據(jù)建模能夠有效地解決變量信息重疊

3、、多重共線性等給分析應(yīng)用帶來的諸多問 題。主成分具有命名解釋性總之，主成分分析法是研究如何以最少的信息丟失將眾多原有變量濃縮成 少數(shù)幾個因子，如何使因子具有一定的命名解釋性的多元統(tǒng)計分析方法。、基本原理主成分分析是數(shù)學(xué)上對數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo)XI, X2,，XP （比如p個指標(biāo)），重新組合成一組較 少個數(shù)的互不相關(guān)的綜合指標(biāo) Fm來代替原來指標(biāo)。那么綜合指標(biāo)應(yīng)該如何去提 取，使其既能最大程度的反映原變量 Xp所代表的信息，又能保證新指標(biāo)之間保 持相互無關(guān)（信息不重疊）。設(shè)F1表示原變量的第一個線性組合所形成的主成分指標(biāo)，即 F1 =ailXl a

4、2lX2 '. 'aplXp,由數(shù)學(xué)知識可知，每一個主成分所提取的信息量可 用其方差來度量，其方差Var（F1）越大，表示F1包含的信息越多。常常希望第 一主成分F1所含的信息量最大，因此在所有的線性組合中選取的 F1應(yīng)該是XI, X2,，XP的所有線性組合中方差最大的，故稱 F1為第一主成分。如果第一主 成分不足以代表原來p個指標(biāo)的信息，再考慮選取第二個主成分指標(biāo)F2，為有效地反映原信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在 F2中，即F2與F1要保持獨 立、不相關(guān)，用數(shù)學(xué)語言表達(dá)就是其協(xié)方差Cov（F1, F2）=0，所以F2是與F1不 相關(guān)的X1, X2,，XP的所有線性組合中

5、方差最大的，故稱 F2為第二主成分, 依此類推構(gòu)造出的F1、F2、Fm為原變量指標(biāo)X1、X2XP第一、第二、 第m個主成分。F1 aii X1 + 色2 X 2 + + ai p X pF2 X1 a?2 X 2 * * a.2 p X pFm = am1X1am2X 2ampX p根據(jù)以上分析得知:(1) Fi 與 Fj 互不相關(guān)，即 Cov(Fi , Fj) = 0,并有 Var(Fi)=ai '工 ai，其 中工為X的協(xié)方差陣(2) F1是X1, X2,，Xp的一切線性組合(系數(shù)滿足上述要求)中方差最大的,即Fm是與F1, F2,Fm- 1都不相關(guān)的X1, X2,，XP的所有 線

6、性組合中方差最大者。F1,F2,，F(xiàn)(m< p)為構(gòu)造的新變量指標(biāo)，即原變量指標(biāo)的第一、第第m個主成分由以上分析可見，主成分分析法的主要任務(wù)有兩點：(1) 確定各主成分Fi (i=1 , 2,，n)關(guān)于原變量Xj (j=1 , 2 ,，p)的表達(dá)式，即系數(shù)aij ( i=1 , 2,，m； j=1 , 2 ,，p)。從數(shù)學(xué)上可以證 明，原變量協(xié)方差矩陣的特征根是主成分的方差，所以前m個較大特征根就代表前m個較大的主成分方差值；原變量 協(xié)方差矩陣前m個較大的特征值 i (這 樣選取才能保證主成分的方差依次最大)所對應(yīng)的特征向量就是相應(yīng)主成分Fi表達(dá)式的系數(shù)ai ,為了加以限制，系數(shù)ai啟用

7、的是i對應(yīng)的單位化的特征向量， 即有 ai 'ai = 1。(2) 計算主成分載荷，主成分載荷是反映主成分Fi與原變量Xj之間的相互關(guān)聯(lián)程度：P(Zk ,xj=1,2,川,p;k = 1,2,川,m)三、主成分分析法的計算步驟主成分分析的具體步驟如下：(1)計算協(xié)方差矩陣 計算樣品數(shù)據(jù)的協(xié)方差矩陣：工=(Sij)p p,其中1 n _ _ Sij (Xki _ Xi )(Xkj _ X j )i , j =1 , 2 , pn 1 k 壬(2)求出工的特征值'i及相應(yīng)的正交化單位特征向量ai工的前m個較大的特征值1_2_，m>0就是前m個主成分對應(yīng)的方差， i對應(yīng)的單位特

8、征向量,主成分Fi為：ai就是主成分Fi的關(guān)于原變量的系數(shù)，則原變量的第i個Fi = ai'X主成分的方差（信息）貢獻(xiàn)率用來反映信息量的大小，二為:（3）選擇主成分最終要選擇幾個主成分，即F1,F2,Fm中m的確定是通過方差（信息） 累計貢獻(xiàn)率G（m）來確定mpG（m） - ' i /'二當(dāng)累積貢獻(xiàn)率大于85%寸，就認(rèn)為能足夠反映原來變量的信息了，對應(yīng)的 m 就是抽取的前m個主成分。（4）計算主成分載荷主成分載荷是反映主成分 Fi與原變量Xj之間的相互關(guān)聯(lián)程度，原來變量 Xj （j=1，2 ,，p ）在諸主成分Fi （i=1，2,，n）上的荷載lij （ i=1， 2,

9、，m j=1 ，2 ,，p）。：l（ZXj）：aij（i =1,2jH,m; j =1,2|,p）在SPSS軟件中主成分分析后的分析結(jié)果中，“成分矩陣”反應(yīng)的就是主成分 載荷矩陣。（5）計算主成分得分計算樣品在m個主成分上的得分：Fa1iX1 a2iX2. apiXp i = 1， 2，m實際應(yīng)用時，指標(biāo)的量綱往往不同，所以在主成分計算之前應(yīng)先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法， 據(jù)變換：常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)*% - xji =1,2,，n; j = 1,2,，PXijSj1 n其中：XjXn i =±1 nij ， Sj(Xijn 1匕-Xj)2根據(jù)數(shù)學(xué)公式

10、知道，任何隨機(jī)變量對其作標(biāo)準(zhǔn)化變換后， 其協(xié)方差與其相 關(guān)系數(shù)是一回事，即標(biāo)準(zhǔn)化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)矩陣。另一方面，根據(jù)協(xié)方差的公式可以推得標(biāo)準(zhǔn)化后的協(xié)方差就是原變量的相關(guān)系數(shù)， 亦即, 標(biāo)準(zhǔn)化后的變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣 。也就是說，在標(biāo)準(zhǔn) 化前后變量的相關(guān)系數(shù)矩陣不變化。根據(jù)以上論述，為消除量綱的影響，將變量標(biāo)準(zhǔn)化后再計算其協(xié)方差矩陣， 就是直接計算原變量的相關(guān)系數(shù)矩陣，所以主成分分析的實際常用計算步驟是： 計算相關(guān)系數(shù)矩陣求出相關(guān)系數(shù)矩陣的特征值j及相應(yīng)的正交化單位特征向量ai選擇主成分計算主成分得分總結(jié)：原指標(biāo)相關(guān)系數(shù)矩陣相應(yīng)的特征值i為主成分方差的貢獻(xiàn)，方

11、差的p貢獻(xiàn)率為-='i，:-i越大，說明相應(yīng)的主成分反映綜合信息的能力越強(qiáng)，i=1可根據(jù)i的大小來提取主成分。每一個主成分的組合系數(shù)(原變量在該主成分 上的載荷)ai就是相應(yīng)特征值i所對應(yīng)的單位特征向量。主成分分析法的計算步驟1、原始指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化采集p維隨機(jī)向量x = (Xi,X,.,XP)T)n個樣品Xi= (Xii, Xi2,.,Xip)i=1,2,n，n> p，構(gòu)造樣本陣，對樣本陣元進(jìn)行如下標(biāo)準(zhǔn)化變換：Zij =一, i = 1,2,丫 rt; j = 1, 2,、p，得標(biāo)準(zhǔn)化陣z。確定m值，使信息的利用率達(dá)程組Rb = Xjb得單位特征向量85%以上，對每個入j, j

12、=1,2,m.解方3、解樣本相關(guān)矩陣R的特征方程“° LL得p個特征根，確定主成分4、將標(biāo)準(zhǔn)化后的指標(biāo)變量轉(zhuǎn)換為主成分Uij =迂 bp j = 1,2,，mU稱為第一主成分，U 稱為第二主成分，U 稱為第p主成分。5、對m個主成分進(jìn)行綜合評價對m個主成分進(jìn)行加權(quán)求和，即得最終評價值，權(quán)數(shù)為每個主成分的方差貢獻(xiàn)率。一、主成分分析基本原理概念：主成分分析是把原來多個變量劃為少數(shù)幾個綜合指標(biāo)的一種統(tǒng)計分析 方法。從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)。思路：一個研究對象，往往是多要素的復(fù)雜系統(tǒng)。變量太多無疑會增加分析問題的難度和復(fù)雜性，利用原變量之間的相關(guān)關(guān)系，用較少的新變量代替原來較多的

13、變量，并使這些少數(shù)變量盡可能多的保留原來較多的變量所反應(yīng)的信息，這樣問題就簡單化了。xjX2pX21Xn2芻1原理：假定有n個樣本，每個樣本共有p個變量，構(gòu)成一個nxp階的數(shù)據(jù) 矩陣，Xnp記原變量指標(biāo)為Xi , X2,，Xp，設(shè)它們降維處理后的綜合指標(biāo)，即新變量為 z 1，Z2，Z3，Zmw p)，則乙=l11X1l12X2 'l1 pXpz2 二 121為l22X2-l2pXpZm = lm1X1lm2X2" Imp Xp系數(shù)l j的確定原則： Zi與乙(i工j ； i，j=1，2，n)相互無關(guān)； Z1是X1, X2,Xp的一切線性組合中方差最大者，Z2是與乙不相關(guān)的X1

14、, X2，, Xp的所有線性組合中方差最大者； Z m是與Z1, Z2, , Z葉1都不相關(guān)的X1, X2,XP ,的所有線性組合中方差最大者。新變量指標(biāo)Z1 ,Z2,，Z m分別稱為原變量指標(biāo)X1, X2，XP的第1,第2, 第m主成分。從以上的分析可以看出，主成分分析的實質(zhì)就是確定原來變量Xj (j=1 ,2，p)在諸主成分乙(i=1 , 2,，m)上的荷載l j ( i=1 , 2,，m j=1 , 2 ,，p)。從數(shù)學(xué)上可以證明，它們分別是相關(guān)矩陣m個較大的特征值所對應(yīng)的特征向 量。二、主成分分析的計算步驟1、計算相關(guān)系數(shù)矩陣riji (i , j =1, 2,，p)為原變量Xi與Xj

15、的相關(guān)系數(shù)，rj =rji，其計算公式為n' (Xki -Xi)(Xkj - Xj) km5 一 p；.'(Xki - Xi(Xkj - Xj)2k =1kJ2、計算特征值與特征向量解特征方程 啊-R=0，常用雅可比法(Jacobi )求出特征值，并使其按大小順序排列 X _- - p - 0 ；p分別求出對應(yīng)于特征值'i的特征向量ei( 1,2,L，P)，要求e = 1，即'二e： = 1i=1其中ej表示向量ei的第j個分量。3、計算主成分貢獻(xiàn)率及累計貢獻(xiàn)率貢獻(xiàn)率:iPx kk 4(i =1,2丄，p)累計貢獻(xiàn)率:(i =1,2,L,p)般取累計貢獻(xiàn)率達(dá) 8

16、5%-958的特征值,'1, ' 2, L， m所對應(yīng)的第1、第2、第m( p)個主成分 4、計算主成分載荷lj = p(Zi,Xj)=；尹ieij(i, j 1,2,L, p)5、各主成分得分ZuZ12Z1mZ21Z22Z2mZmZn2Znm _、主成分分析法在SPSS中的操作1、指標(biāo)數(shù)據(jù)選取、收集與錄入(表1)Vaiidtfe冰1: >5DP XI4WGDP 娠 |Pjstt :鶴農(nóng)業(yè)增也值XI,fl eset；©工業(yè)帥炳何町：* 1搟三產(chǎn)業(yè)轍能廣Cancef'禺固定資產(chǎn)投費兇EH郵.!ttimtpe?念卄仝淚爭旦汞苦a咖 iabkQeisiphve

17、i,E端adg |R&jijto,Qplkns,.,; r ar ne r p n 一 b i.ji J m t_i_ ttI V CoefhcierH;表1沿海10亍省市經(jīng)濟(jì)城器地區(qū)GDP人均GDP農(nóng)業(yè)Ifliu 值T業(yè)增加值第三產(chǎn)業(yè)用加值固定慣產(chǎn)披資甚本建世投量牡會涓費品零善總甜初關(guān)出口總轆抱方財政收入遼屮54S821300014S8331376.22258.4B15.9529.02258.4123.73W.7山東10550.01L6431390 03502.53S5L.02288.7107073181.?21L4610.2河北6076.6仙7950.21406.72092.611

18、61.1$597.11M834$.$J0232022,62206883 9822.8960.0703.756).9941.4115.7171110636.01W71122.63的疔3J967.22320.011413321J.83845643.75408.840627S6.22196.22755.81970.277932035.2320 5709.0箭遼7670.01657A680.023MJ5065.02296.61180.62S77.5294.2$66.94682.01J510663.01047.11RSM)964.537.9166331717272.9廣東)1770.0150301023

19、94224.64793.63022.91275.55013.61843.71202.0廣西2437.2SD62591.4367.0995.75412352.71025.5154186.72、Analyze f Data Reduction f Factor Analysis ，彈出 Factor Analysis對話框：表2 Factor Analyze対話祗與Descriptives卡對話框"3如沙ss：J1"" MTiiai .i- tji * ' * -» - *- -J -s - 1 !|,L“":rf1專jydvjrate d

20、tscrptiwe7 fniiaf solutionCor陽1就血卅衣咄IfprtfseSignificance levels Reprackjced RetEmnarL'Ant-image廠 KMD and BarfeU'j lesl1 of sphflnci3、把指標(biāo)數(shù)據(jù)選入 Variables 框，Descriptives: Correlation Matrix框組中選中Coefficients, 然后點擊 Continue,返回Factor Analysis 對話框，單 擊OK注意：SPSS在調(diào)用Factor Analyze過程進(jìn)行分析時，SPSS會自動對原始數(shù)據(jù)進(jìn)行標(biāo)

21、準(zhǔn)化處理，所以在得到計算結(jié)果后的變量都是指經(jīng)過標(biāo)準(zhǔn)化處理后的變量，但SPSS并不直接給出標(biāo)準(zhǔn)化后的數(shù)據(jù)，如需要得到標(biāo)準(zhǔn)化數(shù)據(jù)，則需調(diào)用Descriptives過程進(jìn)行計算?？? 相關(guān)系數(shù)矩昧Comclatico NfetrixGDP人溝GDP農(nóng)業(yè)工業(yè)握加值第三產(chǎn)業(yè) 増加直固定 吏產(chǎn) 投価投資禮會消售總額出口 總荊i地肚收入GDP1.000-0.094-00520.9670&790 92J0.9220 9410.6370,826Aft GDP-0.0941.000-01710.1130.07402140.093-0.0430_0®10273-0.052 0.1711.000-0

22、.132-0-0.09S-0.P60 0B-0 1250 08工業(yè)增加值0 9670.1B-01321.W00.9-850 9630.93909350-7050.S98第三產(chǎn)業(yè)塔M血0.9790.074-0 050098500009730 900.9620.7140 913固阮任產(chǎn)般慣0.9230.21409630.731.0000 9710.9370.7170-9140.9220W3-0.1760939住頌0 9711 0000.S970.6240.$4S林瓷瀟供品零皆總潁0 941-0.04300130.9350.9620.9370.8971.0000.8360.929海梵出口蝕槪0 63

23、70 081-0.1250.700.714071706240 8361-000Q.&82地方時熬收入0.8260273-0.0860.8980.9130.9340.S4S0.9290-8821.000Ccn2|Ma>ftMImhal Ei毀Mhi跆ExEraclidiL Sum of Sqwed gdu學(xué)CouipaiienrTotal% af VjirinnrfOmubin它 Total% cfVanajKClunudaci¥ %1217.22072.20572.20S7.22072_20572 205GDP049521.2351Z34CBJ 551123512-34

24、684551丸均GDP(j 11 ?-0.82430 37.'8.76993.119-0.1090.67740.5475.46698 786工業(yè)mtnta0.9TB-0.00550.0850.85499.640弟三產(chǎn)業(yè)増加值0.9B60.07060.0210.21199.8500.9GJ-0.06S帛+崔設(shè)投徒0.947-O.OM70.-0120.11999.970-0.9770 176e0 0020.01899.988海冀出口總糕OEW 0.05190.0010.012100.000地占財吒收入Q 954-0.128100.0000.000100.000Extmchon. 陡Etux

25、l ftinripal Cbnnporient AnnJym 2 cxnpmrnEs ndmrbed4方琮甘胖主成莎提申分折我TcIhI Vknance Bxplantcd表5 劇紡囚予找荷矩陣CoEBpaiieikE Xfatrix?從表3可知GDP與工業(yè)增加值，第三產(chǎn)業(yè)增加值、固定資產(chǎn)投資、基本建設(shè) 投資、社會消費品零售總額、地方財政收入這幾個指標(biāo)存在著極其顯著的關(guān)系 ， 與海關(guān)出口總額存在著顯著關(guān)系?？梢娫S多變量之間直接的相關(guān)性比較強(qiáng)，證明 他們存在信息上的重疊。主成分個數(shù)提取原則為主成分對應(yīng)的特征值大于 1的前m個主成分。特征值在 某種程度上可以被看成是表示主成分影響力度大小的指標(biāo)，如

26、果特征值小于1, 說明該主成分的解釋力度還不如直接引入一個原變量的平均解釋力度大，因此一般可以用特征值大于1作為納入標(biāo)準(zhǔn)。通過表4（方差分解主成分提取分析）可 知,提取2個主成分,即m=2,從表5（初始因子載荷矩陣）可知GDP 工業(yè)增加 值、第三產(chǎn)業(yè)增加值、固定資產(chǎn)投資、基本建設(shè)投資、社會消費品零售總額、海 關(guān)出口總額、地方財政收入在第一主成分上有較高載荷，說明第一主成分基本反映了這些指標(biāo)的信息；人均GDP和農(nóng)業(yè)增加值指標(biāo)在第二主成分上有較高載荷， 說明第二主成分基本反映了人均GDP和農(nóng)業(yè)增加值兩個指標(biāo)的信息。所以提取兩 個主成分是可以基本反映全部指標(biāo)的信息，所以決定用兩個新變量來代替原來 的

27、十個變量。但這兩個新變量的表達(dá)還不能從輸出窗口中直接得到，因為“ ComponentMatrix ”是指初始因子載荷矩陣,每一個載荷量表示主成分與對應(yīng) 變量的相關(guān)系數(shù)。用表5（主成分載荷矩陣）中的數(shù)據(jù)除以主成分相對應(yīng)的特征值開平方根便 得到兩個主成分中每個指標(biāo)所對應(yīng)的系數(shù)。將初始因子載荷矩陣中的兩列數(shù)據(jù)輸 入（可用復(fù)制粘貼的方法）到數(shù)據(jù)編輯窗口（為變量B1、B2）,然后利用“ Transform Compute Variable ” , 在Compute Variable 對話框中輸入“ A仁B1/SQR（7.22）”注：第二主成分SQ后的括號中填1.235,即可得到特征向 量A（見表6）。同

28、理，可得到特征向量A。將得到的特征向量與標(biāo)準(zhǔn)化后的數(shù)據(jù)相 乘，然后就可以得出主成分表達(dá)式注：因本例只是為了說明如何在SPSS進(jìn)行 主成分分析，故在此不對提取的主成分進(jìn)行命名，有興趣的讀者可自行命名。F】=0353ZX! T.042ZX -0.041ZX3 +0364ZX4 + 0.367ZX, -.3667X(5 -H).352ZX7 +0364卒 +0.298ZX + 03 55ZXmF: =0A757X -0.741ZX： +0.6092% 2004Z& +0.063ZX< - O.OeiZX - 0.022ZXr +0.158ZXs - 0.046/ - 0J15ZXlq表6Compute Variable 對話框一二<： J -rr'.at心出姐 1 arable1 "買£ E«pr ?«|AIr Jyn-n jmMi m ifc wan拿硏B2lZ 皿 “c*!2*j- ,_P I.! bhi,Mi 35，_<jj ;AEr?lrniT<*t?|i ； 丁 lASYtJert v#jb zaljf.