主成分分析法的原理應(yīng)用及計(jì)算步驟43985學(xué)習(xí)資料

1、主成分分析法的原理應(yīng)用及計(jì)算步驟43985一、概述在處理信息時(shí)，當(dāng)兩個(gè)變量之間有一定相關(guān)關(guān)系時(shí)，可以解釋為這兩個(gè)變量反映此課題的信息有一定的重疊，例如，高校科研狀況評(píng)價(jià)中的立項(xiàng)課題數(shù)與項(xiàng)目經(jīng)費(fèi)、經(jīng)費(fèi)支出等之間會(huì)存在較高的相關(guān)性；學(xué)生綜合評(píng)價(jià)研究中的專業(yè)基礎(chǔ)課成績(jī)與專業(yè)課成績(jī)、獲獎(jiǎng)學(xué)金次數(shù)等之間也會(huì)存在較高的相關(guān)性。而變量之間信息的高度重疊和高度相關(guān)會(huì)給統(tǒng)計(jì)方法的應(yīng)用帶來許多障礙。為了解決這些問題，最簡(jiǎn)單和最直接的解決方案是削減變量的個(gè)數(shù)，但這必然乂會(huì)導(dǎo)致信息丟失和信息不完整等問題的產(chǎn)生。為此，人們希望探索一種更為有效的解決方法，它既能大大減少參與數(shù)據(jù)建模的變量個(gè)數(shù)，同時(shí)也不會(huì)造成信息的大量丟失

2、。主成分分析正是這樣一種能夠有效降低變量維數(shù)，并已得到廣泛應(yīng)用的分析方法。主成分分析以最少的信息丟失為前提，將眾多的原有變量綜合6210x較少幾個(gè)綜合指標(biāo)，通常綜合指標(biāo)（主成分）有以下幾個(gè)特點(diǎn)：主成分個(gè)數(shù)遠(yuǎn)遠(yuǎn)少丁原有變量的個(gè)數(shù)原有變量綜合成少數(shù)幾個(gè)因子之后，因子將可以替代原有變量參與數(shù)據(jù)建模，這將大大減少分析過程中的計(jì)算工作量。主成分能夠反映原有變量的絕大部分信息因子并不是原有變量的簡(jiǎn)單取舍，而是原有變量重組后的結(jié)果，因此不會(huì)造成原有變量信息的大量丟失，并能夠代表原有變量的絕大部分信息。主成分之間應(yīng)該互不相關(guān)通過主成分分析得出的新的綜合指標(biāo)（主成分）之間互不相關(guān)，因子參與數(shù)據(jù)建模能夠有效地解決

3、變量信息重疊、多重共線性等給分析應(yīng)用帶來的諸多問題。主成分具有命名解釋性總之，主成分分析法是研究如何以最少的信息丟失將眾多原有變量濃縮成少數(shù)幾個(gè)因子，如何使因子具有一定的命名解釋性的多元統(tǒng)計(jì)分析方法。二、基本原理主成分分析是數(shù)學(xué)上對(duì)數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo)X1,X2,，XP（比如p個(gè)指標(biāo)），重新組合成一組較少個(gè)數(shù)的互不相關(guān)的綜合指標(biāo)Fm來代替原來指標(biāo)。那么綜合指標(biāo)應(yīng)該如何去提取，使其既能最大程度的反映原變量Xp所代表的信息，乂能保證新指標(biāo)之間保持相互無關(guān)（信息不重疊）。設(shè)F1表示原變量的第一個(gè)線性組合所形成的主成分指標(biāo)，即F1a1lXla2lX2&q

4、uot;aplXp,由數(shù)學(xué)知識(shí)可知，每一個(gè)主成分所提取的信息量可用其方差來度量，其方差Var（F1）越大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的線性組合中選取的F1應(yīng)該是X1,X2,，XP的所有線性組合中方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個(gè)指標(biāo)的信息，再考慮選取第二個(gè)主成分指標(biāo)F2,為有效地反映原信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，即F2與F1要保持獨(dú)立、不相關(guān)，用數(shù)學(xué)語言表達(dá)就是其協(xié)方差Cov（F1,F2）=0，所以F2是與F1不相關(guān)的X1,X2,，XP的所有線性組合中方差最大的，故稱F2為第主成分，依此類推構(gòu)造出的

5、F1、F2、Fm為原變量指標(biāo)XI、X2-XP第、第二、第m個(gè)主成分。F1印乂1如乂？.apXpF2a*a?2X2.a2pXpFmam1Xam2X2.ampX,根據(jù)以上分析得知：(1) Fi與Fj互不相關(guān)，即Cov(Fi,Fj)=0,并有Var(Fi)=ai'畫，其中Z為X的協(xié)方差陣F1是X1,X2,，Xp的一切線性組合(系數(shù)滿足上述要求)中方差最大的，;即Fm是與F1,F2,，F(xiàn)mv1都不相關(guān)的X1,X2,，XP的所有線性組合中方差最大者。F1,F2,，F(xiàn)m(術(shù)p)為構(gòu)造的新變量指標(biāo)，即原變量指標(biāo)的第一、第二、第m個(gè)主成分。由以上分析可見，主成分分析法的主要任務(wù)有兩點(diǎn)：(1)確定各主成

6、分Fi(i=1,2,，而關(guān)丁原變量Xj(j=1,2,，p)的表達(dá)式，即系數(shù)aj(i=1,2,，gj=1,2,，p)。從數(shù)學(xué)上可以證明，原變量協(xié)方差矩陣的特征根是主成分的方差，所以前m個(gè)較大特征根就代表前m個(gè)較大的主成分方差值；原變量協(xié)方差矩陣前m個(gè)較大的特征值i(這樣選取才能保證主成分的方差依次最大)所對(duì)應(yīng)的特征向量就是相應(yīng)主成分Fi表達(dá)式的系數(shù)&,為了加以限制，系數(shù)ai啟用的是i對(duì)應(yīng)的單位化的特征向量，即有ai'ai=1。(2)計(jì)算主成分載荷，主成分載荷是反映主成分Fi與原變量Xj之間的相互關(guān)聯(lián)程度：P(Zk,x)/?aki(i,1,2，川,p；k1,2|,m)三、主成分分析

7、法的計(jì)算步驟主成分分析的具體步驟如下：(1) 計(jì)算協(xié)方差矩陣計(jì)算樣品數(shù)據(jù)的協(xié)方差矩陣：Z=(Sij)pp,其中1nSj(XkiXi)(XkjXj)I,j=1,2,，pn1k1(2) 求出Z的特征值i及相應(yīng)的正交化單位特征向量aiZ的前m個(gè)較大的特征值12m>0,就是前m個(gè)主成分對(duì)應(yīng)的方差，i對(duì)應(yīng)的單位特征向量ai就是主成分Fi的關(guān)丁原變量的系數(shù)，則原變量的第i個(gè)主成分Fi為：Fi=ai'X主成分的方差(信息)貢獻(xiàn)率用來反映信息量的大小，i為：mii/ii1(3) 選擇主成分最終要選擇幾個(gè)主成分，即F1,F2,Fm中m的確定是通過方差(信息)累計(jì)貢獻(xiàn)率G(m)來確定G(m)mi/p

8、ki1k1當(dāng)累積貢獻(xiàn)率大丁85%寸，就認(rèn)為能足夠反映原來變量的信息了,對(duì)應(yīng)的m就是抽取的前m個(gè)主成分(4) 計(jì)算主成分載荷主成分載荷是反映主成分Fi與原變量Xj之間的相互關(guān)聯(lián)程度，原來變量Xj(j=1,2,，p)在諸主成分Fi(i=1,2,，m)上的荷載lij(i=1,2,，mj=1,2,，p)。：l(Zi,Xj)，-aj(i1,2，川,m;j1,2，川,p)在SPSS軟件中主成分分析后的分析結(jié)果中，“成分矩陣”反應(yīng)的就是主成分載荷矩陣。(5) 計(jì)算主成分得分計(jì)算樣品在m個(gè)主成分上的得分：FiaiX1a2iX2.apiXpi=1,2,，m實(shí)際應(yīng)用時(shí)，指標(biāo)的量綱往往不同，所以在主成分計(jì)算之前應(yīng)先

9、消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)據(jù)變換：*XijXjxjSji1,2,.,n;j1,2,.,p其中：-1n2XjXj，Sjni11n(.(Xijn1i1Xj)2根據(jù)數(shù)學(xué)公式知道，任何隨機(jī)變量對(duì)其作標(biāo)準(zhǔn)化變換后，其協(xié)方差與其相關(guān)系數(shù)是一回事，即標(biāo)準(zhǔn)化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)矩陣。另一方面，根據(jù)協(xié)方差的公式可以推得標(biāo)準(zhǔn)化后的協(xié)方差就是原變量的相關(guān)系數(shù)，亦即，標(biāo)準(zhǔn)化后的變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣。也就是說，在標(biāo)準(zhǔn)化前后變量的相關(guān)系數(shù)矩陣不變化。根據(jù)以上論述，為消除量綱的影響，將變量標(biāo)準(zhǔn)化后再計(jì)算其協(xié)方差矩陣，就是直接計(jì)算原變量的相

10、關(guān)系數(shù)矩陣，所以主成分分析的實(shí)際常用計(jì)算步驟是：計(jì)算相關(guān)系數(shù)矩陣求出相關(guān)系數(shù)矩陣的特征值i及相應(yīng)的正交化單位特征向量a,選擇主成分計(jì)算主成分得分總結(jié)：原指標(biāo)相關(guān)系數(shù)矩陣相應(yīng)的特征值i為主成分方差的貢獻(xiàn)，方差的p貢獻(xiàn)率為ii/i,i越大，說明相應(yīng)的主成分反映綜合信息的能力越i1強(qiáng)，可根據(jù)i的大小來提取主成分。每一個(gè)主成分的組合系數(shù)(原變量在該主成分上的載荷)ai就是相應(yīng)特征值i所對(duì)應(yīng)的單位特征向量。主成分分析法的計(jì)算步驟,n1、原始指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化采集p維隨機(jī)向量x=(Xi,X2,.,Xp)T)n個(gè)樣品Xi=(Xii,X2,.,Xip)T,i=1,2,n>p,構(gòu)造樣本陣，對(duì)樣本陣元進(jìn)行如下

11、標(biāo)準(zhǔn)化變換：HrX*Zij=)i=2,?n;j=1,2,.p,得標(biāo)準(zhǔn)化陣ZoSiXif2Xi=.如其中2、對(duì)標(biāo)準(zhǔn)化陣Z求相關(guān)系數(shù)矩陣R=叫邛=竺3、解樣本相關(guān)矩陣R的特征方程|&_叫|=。得p個(gè)特征根，確定主成分«按Aj確定m值，使信息的利用率達(dá)85%以上，對(duì)每個(gè)方，j=1,2,.,m,解方程組Rb=jb礙單位特征向重J。4、將標(biāo)準(zhǔn)化后的指標(biāo)變量轉(zhuǎn)換為主成分py=n?寫j=L2】!mUi稱為第一主成分，U2稱為第二主成分，,Up稱為第p主成分。5、對(duì)m個(gè)主成分進(jìn)行綜合評(píng)價(jià)對(duì)m個(gè)主成分進(jìn)行加權(quán)求和，即得最終評(píng)價(jià)值，權(quán)數(shù)為每個(gè)主成分的方差貢獻(xiàn)率。一、主成分分析基本原理概念：主成分

12、分析是把原來多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法。從數(shù)學(xué)角度來看，這是一種降維處理技術(shù)。思路：一個(gè)研究對(duì)象，往往是多要素的復(fù)雜系統(tǒng)。變量太多無疑會(huì)增加分析問題的難度和復(fù)雜性，利用原變量之間的相關(guān)關(guān)系，用較少的新變量代替原來較多的變量，并使這些少數(shù)變量盡可能多的保留原來較多的變量所反應(yīng)的信息，這樣問題就簡(jiǎn)單化了。原理：假定有n個(gè)樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)nXp階的數(shù)據(jù)矩陣，XiiX12XipX21X22X2pXnlXn2Xnp記原變量指標(biāo)為X1,X2,，Xp,設(shè)它們降維處理后的綜合指標(biāo)，即新變量為z1,Z2,Z3,Zm(mwp),則ZiliiXil12X2l1pXpZ2I21

13、X1I22X2l2pXpZmImiXilm2X2lmpXp系數(shù)lij的確定原則：Zi與Zj(i豐j；i,j=1,2,，mj)相互無關(guān);Zi是Xi,X2,，Xp的一切線性組合中方差最大者，Z2是與Zi不相關(guān)的Xi,X2,，XP的所有線性組合中方差最大者；Zm是與Zi,Z2,Zm1都不相關(guān)的Xi,X2,Xp,的所有線性組合中方差最大者。新變量指標(biāo)Zi,Z2,，Zm分別稱為原變量指標(biāo)Xi,X2,，Xp的第1,第2,，第m主成分。從以上的分析可以看出，主成分分析的實(shí)質(zhì)就是確定原來變量Xj(j=1,2,，p)在諸主成分Zi(i=1,2,，m上的荷載lij(i=1,2,，nj=1,2,，p)。從數(shù)學(xué)上可以

14、證明，它們分別是相關(guān)矩陣m個(gè)較大的特征值所對(duì)應(yīng)的特征向量。二、主成分分析的計(jì)算步驟1、計(jì)算相關(guān)系數(shù)矩陣rj(i,j=1,2,，p)為原變量Xi與Xj的相關(guān)系數(shù)，rj=ji,其計(jì)算公式為rj(XkiXi)(XkjXj)k1nn(XkiXi)2(XkjXj)2k1k12、計(jì)算特征值與特征向量解特征方程1R0，常用雅可比法(Jacobi)求出特征值，并使其按大12p0小順序排列；P2ej1分別求出對(duì)應(yīng)于特征值i的特征向量ei(i1,2,L,P)，要求亂1,即j1其中eij表示向量ei的第j個(gè)分量3、計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率(i1,2,L,p)貢獻(xiàn)率:累計(jì)貢獻(xiàn)率:k(i1,2,L,p)般取累計(jì)貢獻(xiàn)

15、率達(dá)85%-95%勺特征值,m所對(duì)應(yīng)的第1、第2、第m(mKp)個(gè)主成分。4、計(jì)算主成分載荷lijP(Zi,Xj),i©j(i,j1,2,L,p)5、各主成分得分三、主成分分析法在SPS時(shí)的操作Z11Z12Z1mZZ21Z22Z2mZn1Zn2Znm1、指標(biāo)數(shù)據(jù)選取、收集與錄入（表1）表1沿毒10個(gè)吉市經(jīng)濟(jì)數(shù)據(jù)地區(qū)GDP人均GDP農(nóng)業(yè)JfliuffiT業(yè)增加值第三產(chǎn)業(yè)憎加值固定責(zé)產(chǎn)投資基本建設(shè)技資社登希費(fèi)品零售總16海關(guān)出口卵埴方財(cái)政收入X寧545S21300014883,31376.22258.4529.02258.4123.7399.7山東1D55Q.0116431W03502.

16、53351.02288.71070.73181.921L4610.2河北6076.69047950.21406.72092.61161.6597.11MS345.93023天津2022,622068839822.8960.07035狗.9941.4H5.71711it蘇106J6.0143971122.63S363JW7.22320.01141.33215.8384.7443.754OS.84062736.2219622755.S1970.2779.32035.232057W.0斯江7670.016570680.02356.5065.02296.61150.628773294,2$66.9福建

17、4682.01J51C663.01047.1185&J0964.5的7.916633173.7272.9廣東11770.015030102394224.64793.63022.9127155013.61843.71202.0廣西2437.25062591.4367.0995.7M2.235J.71025.5】£1"72、AnalyzetDataReductiontFactorAnalysis，彈出FactorAnalysis對(duì)話框:3、把指標(biāo)數(shù)據(jù)選入Variables框，Descriptives:CorrelationMatrix框組中選中Coefficients,

18、然后點(diǎn)擊Continue,返回FactorAnalysis對(duì)話框，單擊OK表2FactorAnalyse對(duì)話框與子對(duì)話框noPaste!Cancef:Heto!:gGOPfXI'機(jī)gGDP陽$農(nóng)業(yè)增如佰區(qū)司物工業(yè)啊1值附§第三產(chǎn)業(yè)增加值秒固定資產(chǎn)投資能寸本建設(shè)投賞的SelegiionVaiabiffQ«a恥tvei,.:Exiradron.Rotam.$cora如Qpl5StalnsticsdescriptiveVniial1solution.CorrelB>oriiMWni!歸如4SiTihcancfilevefc"-Q快eimnafltCance

19、l：IfrrtfseRepradyoedAnbtmage'KMOandBarfeN'j憎就of汩herici巾注意：SPSS在調(diào)用FactorAnalyze過程進(jìn)行分析時(shí)，SPSS會(huì)自動(dòng)對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，所以在得到計(jì)算結(jié)果后的變量都是指經(jīng)過標(biāo)準(zhǔn)化處理后的變量，但SPSS并不直接給出標(biāo)準(zhǔn)化后的數(shù)據(jù)，如需要得到標(biāo)準(zhǔn)化數(shù)據(jù)，則需調(diào)用Descriptives過程進(jìn)行計(jì)算表3相關(guān)委數(shù)距陣CbmelaticnNfetrixGDP人均GDP農(nóng)業(yè)Jt加值工業(yè)雄加值第三產(chǎn)業(yè)堆如此固定俺產(chǎn)投資基本建設(shè)投資社會(huì)消貴晶零海關(guān)出口.苞IWi地#財(cái)政收入GDP1.000-0.094-00520.9

20、670979092J0.92209410.6370,826人均GDP-0.094000-01710,1130.0740J2140.093-0.0430-0®10273農(nóng)甘增加1也0.052-01711.000-0.132-005V-0098-0.1760CB-01250086工業(yè)堵加通09670.113-01321網(wǎng)0.98509630.93909350-7050.898第三產(chǎn)業(yè)惘加由0.&790.074-0.0500.985000097J0*4。096207140913固定杭產(chǎn)棧成0.9230.2140963M731.0000.9710.9370.7170.954基本建設(shè)投

21、賞0.9220093-0.17609390.94009710000.蹄0.6240.S4S社會(huì)擋普品零售總額0.941-004300130.9350.&620.9370.8971.0000-8360.929裨美由口總朦06370081-01250.700.714071?062408361-000Q.&82地方時(shí)政收入0.8260.271-0.0860.8980.9130.9340.S4S0.9290-8821.000Gm咿wmImhal日駐nvaiuEsExtocEaQdSunnsofSquaredLaadinisCoopctiearloud%ofVariantCtinliJa

22、hA%皿1%cfVariSjMCiiituhtik耗127.22072.20572.2057.22072.20572.205ca>p0.9490.1952123512.14684,55)1-21512-14684SSI人均GDP0.112-0.82430.S778769的w農(nóng)業(yè)增加世-0.1090.67740.S475.46698.786工業(yè)堵加值0.978-0.00550.DS5085499.640幕二產(chǎn)業(yè)贈(zèng)加值0.9560.070600210.21199850固定質(zhì)產(chǎn)投壅0.983-0.06270.0?0llfl池97G基木遂世投垂0.947-0.024800020.01899.98

23、8什.合消賈拍零告忌部0.5770-17690.0010012100.000海關(guān)出口總贛"80000500.0000.000100.000地方財(cái)政收乂0.954-0.128ExiraetiCBiKfcttLod:PruicipalCancneiitAltai明.ExiraeHaiifethod:PmcipalCampcsJrtiiTAnaJ?*.a.2臼宜眼蛔場(chǎng)swatted表4方差分牌主僦分捉取分析表TotalVarianceExplained在5初始洲r(nóng)稅荷矩陣CoitpanciirMatrix從表3可知GDP與工業(yè)增加值，第三產(chǎn)業(yè)增加值、固定資產(chǎn)投資、基本建設(shè)投資、社會(huì)消費(fèi)品零

24、售總額、地方財(cái)政收入這幾個(gè)指標(biāo)存在著極其顯著的關(guān)系，與海關(guān)出口總額存在著顯著關(guān)系?？梢娫S多變量之間直接的相關(guān)性比較強(qiáng)，證明他們存在信息上的重疊。主成分個(gè)數(shù)提取原則為主成分對(duì)應(yīng)的特征值大丁1的前而主成分。特征值在某種程度上可以被看成是表示主成分影響力度大小的指標(biāo)，如果特征值小丁1,說明該主成分的解釋力度還不如直接引入一個(gè)原變量的平均解釋力度大,因此一般可以用特征值大丁1作為納入標(biāo)準(zhǔn)。通過表4（方差分解主成分提取分析）可知，提取2個(gè)主成分，即m=2,從表5（初始因子載荷矩陣）可知GDP工業(yè)增加值、第三產(chǎn)業(yè)增加值、固定資產(chǎn)投資、基本建設(shè)投資、社會(huì)消費(fèi)品零售總額、海關(guān)出口總額、地方財(cái)政收入在第一主成分

25、上有較高載荷，說明第一主成分基本反映了這些指標(biāo)的信息；人均GDP和農(nóng)業(yè)增加值指標(biāo)在第二主成分上有較高載荷，說明第二主成分基本反映了人均GDP和農(nóng)業(yè)增加值兩個(gè)指標(biāo)的信息。所以提取兩個(gè)主成分是可以基本反映全部指標(biāo)的信息，所以決定用兩個(gè)新變量來代替原來的十個(gè)變量。但這兩個(gè)新變量的表達(dá)還不能從輸出窗口中直接得到，因?yàn)镃omponentMatrix”是指初始因子載荷矩陣，每一個(gè)載荷量表示主成分與對(duì)應(yīng)變量的相關(guān)系數(shù)。用表5（主成分載荷矩陣）中的數(shù)據(jù)除以主成分相對(duì)應(yīng)的特征值開平方根便得到兩個(gè)主成分中每個(gè)指標(biāo)所對(duì)應(yīng)的系數(shù)。將初始因子載荷矩陣中的兩列數(shù)據(jù)輸入（可用復(fù)制粘貼的方法）到數(shù)據(jù)編輯窗口（為變量B1、B2

26、）,然后利用TransformComputeVariable”,在ComputeVariable對(duì)話框中輸入A1=B1/SQR（7.22）”注：第二主成分SQ后的括號(hào)中填1.235,即可得到特征向量A（見表6）。同理，可得到特征向量A。將得到的特征向量與標(biāo)準(zhǔn)化后的數(shù)據(jù)相乘，然后就可以得出主成分表達(dá)式注：因本例只是為了說明如何在SPSS進(jìn)行主成分分析，故在此不對(duì)提取的主成分進(jìn)行命名，有興趣的讀者可自行命名。F,=0.353ZX-H3.042ZX：-0.041ZX,+0.364ZX4+03672XP366ZX.-H5.352ZX-+0.364水+0,298水+0.355ZXioF2=0.175ZX-0.741ZX：+0.609ZX,-0.004Z+0.063ZX<-0.061ZX,-0.022ZX?+05泓-0.046ZX,.O.U5ZXlo表6ComputeVariable對(duì)話框rI*jTji":I"'ira"hrJ、jnabHW'jTtr<prrtinjr|AlTjgJatsl#.Bl扎5：fvrtWicd*十iiAlnYt