DPS數(shù)據(jù)處理系統(tǒng)V2(C18-多因子分析).doc

第18章 多因子分析多因子分析是一種將多變量(指標)樣本在結構上進行簡化的有效方法。通過分析找到一個包含最佳變量的子集合，使其所包含的變量能反映總體的結構。這種簡化結構的處理對研究多因素之間的規(guī)律和構造模型等有重要的作用。DPS系統(tǒng)提供的關于多因素分析的主要功能模塊包括主成分分析、因子分析、對應分析及典型相關分析等5種分析方法。18.1 主成分分析18.1.1 基本原理主成分概念由Karl Pearson于1901年提出，由Hottelling于1933年推廣到隨機變量，主成分分析是多元統(tǒng)計分析中的重要統(tǒng)計方法，是用較少的綜合指標來代替原來較多的指標。多元分析中的隨機變量，是對同一個體進行測量結果。從多個實測變量提取較少、互不相關綜合指標，反映總體信息，這種綜合指標就稱為主成分。主成分分析可在不丟掉主要信息前提下，避開變量間共線性問題，便于繼續(xù)用其他多元統(tǒng)計方法進行分析。設兩個變量n個樣品，在二維空間分布大致為一橢圓。作坐標旋轉，使新坐標系為橢圓長、短軸方向，坐標旋轉公式為對于標準化后的數(shù)據(jù)，旋轉角度為45。如有11個樣本的兩個變量數(shù)據(jù)，實施標準化后顯示如圖18-1中的小圓圈。 圖18-1 兩變量主成分分析坐標旋轉從圖18-1可以看出，各點坐標呈正相關。主成分分析，數(shù)據(jù)點順時針旋轉45后處于星號點位置。這時數(shù)據(jù)點大部分在橫坐標方向，變異(方差)集中在橫軸，為第一主成分；縱軸方向變異(方差)較小，為第二主成分。且相關為零。一般地，設變量xi的樣本均數(shù)和樣本樣本差分別為和si，i=1，2，m。變量標準化公式為對標準化后的變量zi尋求主成分。第一主成分C1是z1，z2，zm的線性組合，即C1要盡可能多地反映原m個變量的信息，在的條件下，C1的方差Var(C1)要盡可能大。如把 a11，a12，a1m視為向量，代表m維空間的一個方向，相當于個體z1，z2，zm在此方向的投影最為分散。若第一主成分不足以代表原m個向量，則再考慮第二主成分C2。為有效地代表原變量的信息，C1中已有的信息不再在C2中出現(xiàn)，C2與C1協(xié)方差為0。這相當于在與前一個向量垂直的所有方向中，尋找一個方向，使所有個體在其上的投影最分散。類似地，考慮第三主成分，即C1、C2中已有的信息不再在C3中出現(xiàn)。這相當于在與前兩個向量垂直的所有方向中，尋找一個方向，使所有個體在其上的投影最分散，即Cov(C1，C3)=0，Cov(C2，C3)=0這樣，直至找到最多m個主成分。設相關系數(shù)矩陣的特征根，按從大到小排列順序為12m0。可以證明，各主成分對應的系數(shù)ai1，ai2，aim就是相關系數(shù)矩陣的特征向量，特征根i就是第i個主成分的方差，所有主成分方差之和等于特征根之和，即。每個特征根所占總方差的比例，稱為特征根的貢獻。通常取主成分的個數(shù)為包含80%以上信息的變量，即特征根的累積貢獻率80%。18.1.2 DPS平臺的操作示例在編輯狀態(tài)下輸入編輯數(shù)據(jù)，每一行為一個樣本，每一列為一個變量，編輯好數(shù)據(jù)后將待分析的所有數(shù)據(jù)定義成數(shù)據(jù)矩陣塊。例如，選取x1為城鎮(zhèn)單位在崗職工平均工資(元)，x2為各市固定資產(chǎn)投資(萬元)，x3為各市進口總額(萬美元)，x4為社會消費品零售總額(萬元)，x5為各市工業(yè)增加值(億元)，x6為財政收入(億元)。原始數(shù)據(jù)編輯和定義如圖18-2。ABCDEFGHI1代碼地區(qū)X1X2X3X4X5X621合肥163693504887660472397739198.4600104395532淮北13379566257474445610076.960020263743毫州9707397183130388703418.880010594854宿州10572414932175375198427.670012826165蚌埠1228487666718269101566960.090033270076阜陽97386049355822130790830.540022279987淮南16970778830243863001476.640027220398滁州100066174361354386601358.5900222794109六安10217636760996799691234.55001610251110馬鞍山20946138078116406526527150.15004269371211巢湖11469720416714185377843.41001572741312蕪湖141651504005294131025363149.17005688991413宣城127959661881158072327845.13001653191514銅陵127625846961358334310765.31001664541615池州12008501780498627831015.0400865751716安慶1120898136713364129518979.80003379471817黃山12719716491444840879615.68009994919圖18-2 主成分分析的數(shù)據(jù)編輯與數(shù)據(jù)塊定義示意圖在菜單下選擇“多元分析”“多因素分析”“主成分分析”項，執(zhí)行后系統(tǒng)首先顯示第一、第二主成分得分圖（圖18-3）。圖18-3 主成分分析結果圖形界面散點圖顯示出了各個樣本的第一、第二主成分得分情況。DPS v13.01以后的版本增加了可以根據(jù)協(xié)方差陣進行主成份分析（前面版本是根據(jù)相關系數(shù)進行分析）的功能，取消了樣本數(shù)必須大于變量數(shù)的限制。同時主成份分析輸出結果圖增加了95%的置信區(qū)間橢圓圖(Confidence ellispses，藍色)、凸多邊形(Convex hulls，紅色)、以及最小支撐樹(Minimal spanning tree，粉紅色)。該圖形是主成分分析結果的常用表達方式。點擊上部的按鈕可對圖形進行編輯加工，加工處理后可放到研究報告、論文之中。點擊右上角，退出圖形界面，系統(tǒng)輸出結果如下：變量平均值標準差相關 X(1)X(2)X(3)X(4)X(5)X(6)X(1)12783.182892.8910.53940.3968-0.00110.72720.5323X(2)926683709397.260.539410.96060.76570.85850.9637X(3)13223.9414951.110.39680.960610.77610.83280.9513X(4)868454.17484542.57-0.00110.76570.776110.53840.7866X(5)67.415950.89490.72720.85850.83280.538410.9196X(6)276569.17228243.580.53230.96370.95130.78660.91961相關系數(shù)臨界值，a=0.05時，r=0.4821；a=0.01時，r=0.6055 偏相關系數(shù)矩陣（略）Bartlett球形檢驗，卡方值Chi=155.7152，df=15，p=0.0000規(guī)格化特征向量因子1因子2因子3因子4因子5因子6x(1)0.26920.75790.38510.32060.18190.2625x(2)0.4550-0.0469-0.11420.5278-0.5763-0.4088x(3)0.4438-0.1602-0.62470.16740.25630.5417x(4)0.3536-0.57240.66670.0081-0.02560.3196x(5)0.43130.2606-0.0550-0.7482-0.41860.0897x(6)0.4610-0.04690.0293-0.17560.6271-0.6003No特征值百分率%累計百分率%Chi-Squaredfp值14.641277.353977.3539155.7152200.000021.100718.344495.698390.1542140.000030.13132.187897.886132.846090.000140.10641.773899.659925.496550.000150.01150.191999.85180.218820.896460.00890.1482100001.0000主成分得分NoY(i,1)Y(i,2)Y(i,3)Y(i,4)Y(i,5)Y(i,6)N(1)7.3317-1.0901-0.08340.4158-0.0138-0.0251N(2)-0.79680.8219-0.0956-0.3874-0.0749-0.1062N(17)-1.53180.4054-0.20730.6270-0.0191-0.132518.1.3 主成分分析結果解釋主成分分析結果一般根據(jù)圖18-3，即分析樣本從高維投影到兩維空間后，它們之間關系，結合專業(yè)背景進行解釋。解釋結果，需取多少個主成分，沒明確指標。一般建議是取當特征值累積貢獻率達80%，或特征值大于1，或特征值統(tǒng)計檢驗顯著水平p氣象水文統(tǒng)計-經(jīng)驗正交函數(shù)里面。分析時的數(shù)據(jù)格式和主成分相同，分析結果亦相似。18.2 因 子 分 析因子分析方法用于研究相關矩陣的內(nèi)部依賴關系，它將多個變量綜合為少數(shù)幾個“因子”，但仍可再現(xiàn)原始變量與“因子”之間的相關關系。在統(tǒng)計學中，因子分析屬于多元分析的范疇。因子分析主要是由心理學家發(fā)展起來的，1904年Chales Speraman 用這種方法對智力測驗得分進行統(tǒng)計分析。目前，因子分析在心理學、社會學、經(jīng)濟學、人口學、地質(zhì)學、生物學、生態(tài)學、醫(yī)學，甚至在化學和物理學領域都有成功的應用。它主要應用于兩個方面：一是將為數(shù)眾多的變量減少為幾個新因子，再現(xiàn)系統(tǒng)內(nèi)變量之間的內(nèi)在聯(lián)系；二是用于分類，根據(jù)變量或者樣本的因子得分值在因子軸所構成的空間中進行分類處理。關于因子分析與主成分分析的聯(lián)系與區(qū)別，有多種看法。作者認為，這兩種方法的概念基礎是截然不同的，主要區(qū)別如下：主成分分析：(1). 用較少的變量表示原來的樣本，這些變量即為主成分（原來變量的線性組合）。(2). 目的是樣本數(shù)據(jù)信息損失最小的原則下，對高維變量進行降維；用各個主成分解釋個變量的總方差。(3). 參數(shù)估計，一般是求相關矩陣的特征值和相應的特征向量（主成分分析法），并取前幾個主成分。(4). 應用方面：應用較少變量來解釋各個樣本的特征(數(shù)據(jù)降維、綜合平價)。因子分析：(1). 用較少的因子表示原來的變量，即把變量用各因子的線性組合表達。(2). 目的是盡可能保持原變量相互關系(結構)原則下，尋找變量的公共因子；用因子來解釋各變量之間的協(xié)方差（還原的相關矩陣盡量接近原變量的相關矩陣）。(3). 參數(shù)估計，指定幾個公因子，將其還原成相關系數(shù)矩陣，在和原樣本相關矩陣最相似的原則下，估計各個公因子的估計值。(4). 應用方面：找到具有本質(zhì)意義的少量因子來歸納原來變量的特征(因子降維、潛在因子)。如果說主成份分析和因子分析有聯(lián)系的話，那就是因子分析中公因子模型參數(shù)估計方法很多，其中有一種公因子模型參數(shù)估計方法是“主成份分析法”。18.2.1 正交因子模型看一個實際例子。設有n個學生，每個學生考5門課：語文、外語、數(shù)學、物理、化學，第i個學生第j門課的成績用表示，于是，n個學生的成績組成一個矩陣考試成績反映了學生的素質(zhì)能力，這些成績是由學生的理解能力、記憶能力、（對文字、符號、概念的）反映速度所決定的。若將理解能力、記憶能力、反映速度稱為因子。則因子分析就是要從考試成績中尋找出這些因子，以及成績與這些因子的關系。用表示5門課的考試成績，用表示3個因子。顯然，每門課程都與f（理解能力、記憶能力、反映速度）有關（稱為公共因子），并假定它們之間是線性關系，即：其中，是x中不能完全被（理解能力、記憶能力、反映速度）解釋的部分，稱為特殊因子，這就是因子模型。因子模型可用矩陣表示為簡記為。其中，稱為公共因子向量，稱為特殊因子向量，稱為因子載荷，稱為因子載荷矩陣。式中，因子載荷是原始變量與公因子的協(xié)方差。若x為已標準化的隨機變量，則是原始變量與公因子的相關系數(shù)，它度量了原始變量在公因子中的相對重要性。由于歷史的原因心理學家稱其為“載荷”，即變量在公因子中的負荷。因子載荷矩陣中第行元素的平方和, 稱為的共性方差（共同度）。因總的方差，這時稱是特殊因子對的方差貢獻（特殊方差）。不難看出，共性方差它反映了所有公因子對的影響（貢獻）大小，或者說，度量了所有公因子從中提取的信息量大小。若已經(jīng)標準化，則越接近，說明公共因子提取的信息越多，由原始變量空間變換到因子變量空間的性質(zhì)越好。例如若，則說明有的信息被提取了。特殊因子與有關，與無關，不能由公共因子解釋。若已經(jīng)被標準化，則，這時共性方差考慮的是與某原始變量的關系。類似可考慮公因子與所有原始變量的關系。即因子載荷矩陣中第列元素的平方和稱為公因子對的原始變量的方差貢獻。因為，對求和因此這里的表示某一公因子對原始變量的各分量所提供的方差之和，它度量了公因子對原始變量的重要性。越大，表明公因子對原始變量的影響和作用越大。若將所有的都計算出來，并按大小排序，則可依此提取最有影響的公共因子。綜上所述，因子f的載荷矩陣A的統(tǒng)計意義、因子模型的統(tǒng)計意義如下：、是原始變量與公因子的協(xié)方差（相關系數(shù)）、行元素平方和是對的依賴程度、列元素平方和是對的貢獻其統(tǒng)計性質(zhì)有：、x的協(xié)差矩陣的分解：，即，、因子模型與量綱無關：改變x的量綱后仍為因子模型、因子載荷不惟一：也是因子模型的載荷矩陣（為正交矩陣）18.2.2 因子模型參數(shù)估計從因子模型可看出，x、m是可觀測的，f是不可觀測的隨機變量，e是不可觀測的特殊因子。又因為，所以，因子分析的關鍵是求解因子載荷矩陣A和特殊因子方差陣。因子模型參數(shù)估計方法很多，在DPS系統(tǒng)中，提供了主成份法、迭代主因子法、極大似然法、最小二乘法、廣義最小二乘法和a因子分析法等6種方法。1. 主成分法設樣本協(xié)方差矩陣S 的特征根依次是，對應的單位特征向量是,。由前面主成分分析可知，S可分解為：對照S的分解式，是由特征值和特征向量構造的矩陣，有。又注意到，與共性方差、特殊方差的關系當共性方差很大，特殊方差很小時，注意：，因此，對角陣，故，是因子載荷陣A的一個很好的估計：即 。至此，因子載荷陣A已估計出來了。如果S已知，則D也可以求出。實際應用中，總希望因子個數(shù)小于變量個數(shù)，即，因此，通常略去最后個較小的特征根所對應的項。令，則。其中，因子載荷陣的第i列與S的第i個主成分的系數(shù)向量（特征向量）僅相差一個倍數(shù)。因此，此解稱為主成分解，此法稱為主成分法。實際應用中，我們一般用相關系數(shù)矩陣R來代替樣本協(xié)方差矩陣S。由估計過程可以看出，主成分解的近似程度由殘差矩陣S(AA+D)度量。當殘差矩陣非對角線上的元素很小時，可認為取m個因子的模型很好地擬合了原始數(shù)據(jù)。A的主成分解是一個近似解。其近似程度可由R（AA+D）決定，稱其為殘差矩陣。R(AA+D)的主對角線上的元素為0，當非對角線上的元素很小時，可認為取m個因子的模型很好地擬合了原始數(shù)據(jù)。同時，由于有R（AA+D）的元素平方和小于等于，故略去的特征根的平方和較小時，表明因子模型的擬合較好。2. 主因子法主因子法是對主成份法的修正,若變量的相關矩陣為，從樣本的相關系數(shù)矩陣R出發(fā)，設R=AA+D，則稱為約相關矩陣。這時中的對角線元素是而不是,非對角線元素和相關系數(shù)矩陣R一樣,并且也是一個非負定矩陣。設是特殊方差的一個合適的初始估計值，則約則約相關矩陣R*=R-D為特殊方差或公共因子方差(即共同度)初始估計，DPS里面取的是，即，其中rii是相關系數(shù)矩陣的逆矩陣的對角線元素，是xi和其它p-1個變量間樣本復相關系數(shù)的平方。計算R*的特征值和單位正交特征向量，并取前m個正特征值，其相應的特征向量為，則A的主因子解為：它和組成因子模型的一個解，這個解就稱為主因子解。3. 極大似然法假定原變量服從正態(tài)分布且為標準化變量，公共因子和特殊因子也服從正態(tài)分布，則因子負荷A和特殊方差D的極大似然估計為這里的R一般為樣本的相關系數(shù)矩陣，C為一常數(shù)。極大似然法提取因子時，需用迭代方法求解。在求解過程中，常出現(xiàn)特征根為負值、即公因子方差等于或大于1的Heywood現(xiàn)象，因此在計算過程中必須進行調(diào)整。4. 其他方法未加權最小平方法 該方法以使得觀察相關系數(shù)矩陣和還原相關系數(shù)矩陣之間的差值的平方之和最?。ê雎詫蔷€）作為目標函數(shù)來估計因子模型系數(shù)。廣義最小二乘法 該方法也是以使得觀察相關系數(shù)矩陣和還原相關系數(shù)矩陣之間的差值的平方值之和最小作為目標函數(shù)來估計因子模型系數(shù)。但在迭代過程中，用特殊因子方差的倒數(shù)調(diào)整相關系數(shù)矩陣，給特殊因子方差大的變量的相關系數(shù)更大的權數(shù)。a因子分析法 也是一種因子模型初始值估計方法。它將分析中的變量視為來自潛在變量全體的一個樣本，其因子解應使得提取的公因子和假設存在的公因子有最大的相關，即使因子的a可靠性最大。18.2.3 方差最大正交旋轉因子分析不僅要找出主因子，更要知道每個主因子的意義，但用上述方法所求出的主因子解，初始因子載荷矩陣并不滿足“簡單結構準則”，各因子的典型變量的代表性也不很突出，因而容易使因子意義含糊不清，不便于對因子進行解釋。因此，需對因子載荷矩陣施行旋轉，使因子載荷的平方按列向0和1 兩極轉化，達到使結構簡化的目的。方差極大旋轉(varimax rotation)方法，就是將因子載荷陣A的任意兩列因子，如第h列和第k列正交旋轉一個角度，即旋轉角度應使得旋轉后的因子載荷陣的總方差達到最大。這兩列元素平方的相對方差之和達到最大，而其余各列不變。即使達到最大，其中正交變換矩陣為其中未標明的元素均為0。A經(jīng)變換后，中的元素為 其中旋轉角q 仍按下式求得m個因子，每次兩個配對旋轉，共需旋轉次，稱其為完成第一輪旋轉。記第一輪旋轉后的因子載荷陣為，則由算出的方差記為。若第一輪旋轉后的因子載荷陣未達到要求，則對進行第二輪旋轉。第二輪需進行次配對旋轉。設第二輪旋轉后的因子載荷陣為，則由算出的方差記為。如此重復旋轉，得到V的一個非降序列：因為因子載荷的絕對值不大于1，故此序列有上界，序列有極限，記為。因此，只要循環(huán)次數(shù)k充分大，就有e為事先給定的精度。在實際中，經(jīng)多次旋轉后，若相對方差改變不大，則停止旋轉。最后得到的即為旋轉后的因子載荷矩陣。18.2.4 Promax斜旋轉在方差極大旋轉過程中，因子軸互相正交，始終保持初始解中因子間互不相關的特點。然而在生物學、生態(tài)學、社會學、經(jīng)濟學、心理學等領域的研究中，如果相互影響的各種因素不太可能彼此無關，事物變化的各種內(nèi)在因素之間可能存在錯綜復雜聯(lián)系。這時需引入斜交因子解，即用相關因子對變量進行線性描述，使得到的新因子模型最大程度地模擬自然現(xiàn)象。這即為斜交因子模型和斜交因子解。Promax斜旋轉計算過程較復雜，且在實際應用中，由于斜交旋轉的結果太容易受研究者主觀意愿的左右，所以建議盡量采用默認的正交旋轉。18.2.5 因子得分若已得到的因子模型設為一組樣本，根據(jù)這組樣本估計出了公共因子個數(shù)m、因子載荷矩陣A和特殊方差矩陣D，并通過因子旋轉使公共因子有了比較明確的實際意義。然而，有時需反過來將公共因子表示為原來變量的線性組合稱為因子得分函數(shù)，以對原始數(shù)據(jù)進行進一步地分析。由于因子得分函數(shù)的方程個數(shù)m小于變量個數(shù)p，因此不能精確計算因子得分，只能對因子得分進行估計。常用的估計方法有加權最小二乘法和回歸法。1.加權最小二乘法加權最小二乘法因子得分估計公式為因每個特殊方差不全相等，故加權最小二乘法尋求的一組值，使得加權的“殘差”平方和達到最小。如此求得的就是加權最小二乘法得到的因子得分，也稱為巴特萊特(Bartlett,1937)得分。加權最小二乘法得到的因子得分是f的無偏估計。2、回歸法回歸法因子得分估計公式是 即為回歸法得到的因子得分，也稱為湯姆森(Thompson,1951)得分。回歸法因子得分是f的(條件期望意義下的)有偏估計，但回歸法的平均估計誤差小于加權最小二乘法平均估計誤差。實際應用一般采用回歸法來估計因子得分。18.2.6 公因子模型數(shù)量確定及因子模型參數(shù)初始估計因子數(shù)目的確定，取決于所選因子是否解釋了每個變量，以及殘差矩陣RRES的大小，殘差矩陣RRES=R-AA-D。根據(jù)殘差可選擇適當?shù)墓蜃訑?shù)量。如果采用極大似然估計估計模型參數(shù)，則可用Bartlett校正卡方統(tǒng)計量來檢驗k個公因子是否足夠。由于提取公共因子的數(shù)量及公因子模型參數(shù)方法都有多個可供選擇，該用哪種組合好呢？公因子數(shù)量，一般是結合因子分析中的用戶界面(圖18-5)進行，圖中左邊為特征值衰減圖、各特征值及累積百分率，它可供選取因子個數(shù)參考，一般原則是：(1) 選擇因子個數(shù)，使得累積方差占總方差的90（或80%）以上。(2) 按特征值大于等于1來選擇因子個數(shù)。(3) 根據(jù)特征值衰減情況確定因子個數(shù)，在圖形中，把陡降后曲線走勢趨于平坦的因子舍棄不用。(4) parallel分析線（圖18-4中紅色虛線）和特征值衰減線(綠色線)交叉處。圖18-4 因子估計用戶界面圖18-4右邊上部是公因子提取方法選項，DPS提供了種方法。一般建議是選主成份分析和極大似然估計法。18.2.7 DPS平臺的操作示例羅積玉等運用因子分析方法研究影響小春糧食總產(chǎn)量的指標共有9個：小春糧食播種面積x1 (萬公頃)、小麥播種面積x2 (萬公頃)、小麥良種推廣比例x3 (%)、化學肥料用量x4 (萬噸)、肥豬出欄數(shù)x5 (萬頭)、農(nóng)業(yè)人口x6 (萬人)、耕牛數(shù)量x7 (萬頭)、小麥抽穗揚花期間氣溫x8 ()和小麥抽穗揚花期間降雨量x9 (mm)。共獲得28年數(shù)據(jù)?，F(xiàn)采用因子分析方法研究各個變量之間的相關關系。首先，在編輯狀態(tài)下按系統(tǒng)格式將數(shù)據(jù)編輯、定義成數(shù)據(jù)矩陣塊，如圖18-5。ABCDEFGHIJK1X1X2X3X4X5X6X7X8X92272.5104.626.90.464856944591746.93281.1112.3281.011465839465.115.169.74282.2113.528.12.313085894490.515.273.15285.6124.230.42.512196008492.714.758.36309.3135.632.95.510536096509.716.463.67319.1138.232.56.910806188515.616.1528333180.543.417.23245552503.515.840.59327.9173.942.418.32145487473.215.564.110311.5156.740.324.63835672473.815.259.711288.5139.838.835.6754584950216.169.412283.9137.838.844.712566042523.916.861.91327812836.868.015246227552.415.855.714260.6120.437119.516986413574.816.328.315270.9133.539.4105.317286627587.4156216259.1126.739.158.715846875600.114.285.617258.112639.198.516297115605.216.474.618262.5130.939.9123.316107356617.513.649.419269.3139.641.5168.415397567641.716.333.620290.3166.445.9168.21898777064115.471.621297.7173.646.7208.41974800263317.18322295.7173.749.9205.818958205625.115.862.723291.117250.2231.418078402615.216.138.524306185.651.6244.017548504601.913.842.125310.9187.254.2365.318318566582.315.48126336.120454.6479.221558575594.815.938.427350.5228.558.7542.92736859462615.451.528321.3217.460.95703100861562715.239.229299.1203.7805803200867062713.553.930圖18-5 因子分析的數(shù)據(jù)編輯、