主成分分析法原理及應用

1、一、概述 在處理信息時，當兩個變量之間有一定相關(guān)關(guān)系時，可以解釋為這兩個變量反映此課題的信息有一定的重疊，例如，高?？蒲袪顩r評價中的立項課題數(shù)與項目經(jīng)費、經(jīng)費支出等之間會存在較高的相關(guān)性；學生綜合評價研究中的專業(yè)基礎課成績與專業(yè)課成績、獲獎學金次數(shù)等之間也會存在較高的相關(guān)性。而變量之間信息的高度重疊和高度相關(guān)會給統(tǒng)計方法的應用帶來許多障礙。為了解決這些問題，最簡單和最直接的解決方案是削減變量的個數(shù)，但這必然又會導致信息丟失和信息不完整等問題的產(chǎn)生。為此，人們希望探索一種更為有效的解決方法，它既能大大減少參與數(shù)據(jù)建模的變量個數(shù)，同時也不會造成信息的大量丟失。主成分分析正式這樣一種能夠有效降低變量

2、維數(shù)，并已得到廣泛應用的分析方法。主成分分析以最少的信息丟失為前提，將眾多的原有變量綜合成較少幾個綜合指標，通常綜合指標（主成分）有以下幾個特點：主成分個數(shù)遠遠少于原有變量的個數(shù)原有變量綜合成少數(shù)幾個因子之后，因子將可以替代原有變量參與數(shù)據(jù)建模，這將大大減少分析過程中的計算工作量。主成分能夠反映原有變量的絕大部分信息因子并不是原有變量的簡單取舍，而是原有變量重組后的結(jié)果，因此不會造成原有變量信息的大量丟失，并能夠代表原有變量的絕大部分信息。主成分之間應該互不相關(guān)通過主成分分析得出的新的綜合指標（主成分）之間互不相關(guān)，因子參與數(shù)據(jù)建模能夠有效地解決變量信息重疊、多重共線性等給分析應用帶來的諸多問

3、題。主成分具有命名解釋性 總之，主成分分析法是研究如何以最少的信息丟失將眾多原有變量濃縮成少數(shù)幾個因子，如何使因子具有一定的命名解釋性的多元統(tǒng)計分析方法。 二、基本原理主成分分析是數(shù)學上對數(shù)據(jù)降維的一種方法。其基本思想是設法將原來眾多的具有一定相關(guān)性的指標X1，X2，XP（比如p個指標），重新組合成一組較少個數(shù)的互不相關(guān)的綜合指標Fm來代替原來指標。那么綜合指標應該如何去提取，使其既能最大程度的反映原變量Xp所代表的信息，又能保證新指標之間保持相互無關(guān)（信息不重疊）。設F1表示原變量的第一個線性組合所形成的主成分指標，即,由數(shù)學知識可知，每一個主成分所提取的信息量可用其方差來度量，其方差Var

4、(F1)越大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的線性組合中選取的F1應該是X1，X2，XP的所有線性組合中方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個指標的信息，再考慮選取第二個主成分指標F2，為有效地反映原信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，即F2與F1要保持獨立、不相關(guān)，用數(shù)學語言表達就是其協(xié)方差Cov(F1, F2)=0，所以F2是與F1不相關(guān)的X1，X2，XP的所有線性組合中方差最大的，故稱F2為第二主成分，依此類推構(gòu)造出的F1、F2、Fm為原變量指標X1、X2XP第一、第二、第m個主成分。根據(jù)以上分析得知： (1

5、) Fi與Fj互不相關(guān)，即Cov(Fi，F(xiàn)j) = 0,并有Var(Fi)=aiai，其中為X的協(xié)方差陣 (2)F1是X1，X2，Xp的一切線性組合（系數(shù)滿足上述要求）中方差最大的,即Fm是與F1，F(xiàn)2，F(xiàn)m1都不相關(guān)的X1，X2，XP的所有線性組合中方差最大者。F1，F(xiàn)2，F(xiàn)m（mp）為構(gòu)造的新變量指標，即原變量指標的第一、第二、第m個主成分。 由以上分析可見，主成分分析法的主要任務有兩點： （1）確定各主成分Fi（i=1，2，m）關(guān)于原變量Xj（j=1，2 ， p）的表達式，即系數(shù)（ i=1，2，m； j=1，2 ，p）。從數(shù)學上可以證明，原變量協(xié)方差矩陣的特征根是主成分的方差，所以前m個

6、較大特征根就代表前m個較大的主成分方差值；原變量協(xié)方差矩陣前m個較大的特征值（這樣選取才能保證主成分的方差依次最大）所對應的特征向量就是相應主成分Fi表達式的系數(shù)，為了加以限制，系數(shù)啟用的是對應的單位化的特征向量，即有= 1。 （2）計算主成分載荷，主成分載荷是反映主成分Fi與原變量Xj之間的相互關(guān)聯(lián)程度： 三、主成分分析法的計算步驟主成分分析的具體步驟如下： （1）計算協(xié)方差矩陣計算樣品數(shù)據(jù)的協(xié)方差矩陣：=(sij)pp，其中 i，j=1，2，p（2）求出的特征值及相應的正交化單位特征向量 的前m個較大的特征值l1l2lm0,就是前m個主成分對應的方差，對應的單位特征向量就是主成分Fi的關(guān)于

7、原變量的系數(shù)，則原變量的第i個主成分Fi為：Fi =X主成分的方差（信息）貢獻率用來反映信息量的大小，為：（3）選擇主成分 最終要選擇幾個主成分，即F1,F2,Fm中m的確定是通過方差（信息）累計貢獻率G(m)來確定當累積貢獻率大于85%時，就認為能足夠反映原來變量的信息了，對應的m就是抽取的前m個主成分。（4）計算主成分載荷 主成分載荷是反映主成分Fi與原變量Xj之間的相互關(guān)聯(lián)程度，原來變量Xj（j=1，2 ， p）在諸主成分Fi（i=1，2，m）上的荷載 lij（ i=1，2，m； j=1，2 ，p）。： 在SPSS軟件中主成分分析后的分析結(jié)果中，“成分矩陣”反應的就是主成分載荷矩陣。（5

8、）計算主成分得分 計算樣品在m個主成分上的得分： i = 1，2，m實際應用時，指標的量綱往往不同，所以在主成分計算之前應先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用方法是將原始數(shù)據(jù)標準化，即做如下數(shù)據(jù)變換：其中：，根據(jù)數(shù)學公式知道，任何隨機變量對其作標準化變換后，其協(xié)方差與其相關(guān)系數(shù)是一回事，即標準化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)矩陣。另一方面，根據(jù)協(xié)方差的公式可以推得標準化后的協(xié)方差就是原變量的相關(guān)系數(shù)，亦即，標準化后的變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣。也就是說，在標準化前后變量的相關(guān)系數(shù)矩陣不變化。根據(jù)以上論述，為消除量綱的影響，將變量標準化后再計算其協(xié)方差矩陣，就是直接計算原變量的相關(guān)系數(shù)矩陣，所以主成分分析的實際常用計算步驟是：計算相關(guān)系數(shù)矩陣求出相關(guān)系數(shù)矩陣的特征值及相應的正交化單位特征向量選擇主成分