因子分析課件

因子分析因子分析因子分析x2f1因子分析x1x2f1因子分析x1x2x3因子分析因子分析(FactorAnalysis)

因子分析起源于心理學(xué)，最初心理學(xué)家借助提取出來(lái)的公因子來(lái)代表不同的性格特征和行為取向。如今已廣泛應(yīng)用于各種學(xué)科。因子分析

因子分析的目的：分析變量間復(fù)雜的（相關(guān)）關(guān)系，探索多個(gè)具有相關(guān)性的實(shí)測(cè)指標(biāo)如何受少數(shù)幾個(gè)不能直接測(cè)量的、潛在的獨(dú)立因子支配。因子分析就是研究如何以最少的信息丟失把眾多的觀測(cè)變量濃縮為少數(shù)幾個(gè)共性因子，獲得更簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)。因子分析因子分析的用途：1.探索數(shù)據(jù)結(jié)構(gòu)，發(fā)現(xiàn)無(wú)法觀測(cè)的支配多個(gè)實(shí)測(cè)變量的潛在因素。2.減少變量個(gè)數(shù)（降維）：對(duì)多個(gè)實(shí)測(cè)變量進(jìn)行歸納和綜合。3.內(nèi)在結(jié)構(gòu)證實(shí)：對(duì)來(lái)源于其它理論的可能的內(nèi)在結(jié)構(gòu)進(jìn)行驗(yàn)證。4.解決回歸共線性問題。5.評(píng)價(jià)問卷的結(jié)構(gòu)效度因子分析一、如何判斷資料是否適合應(yīng)用因子分析1.必須是數(shù)值型變量，最好符合正態(tài)分布；2.樣本量與變量數(shù)的比例在5:1以上，樣本量越大越好；3.各變量間必須有相關(guān)性。判斷方法：（1）根據(jù)專業(yè)知識(shí)；（2）KMO統(tǒng)計(jì)量：0≤KMO≤1，KMO<0.5時(shí)不適合做因子分析；（3）Bartlett’s球形檢驗(yàn)：無(wú)效假設(shè)為各變量獨(dú)立，拒絕該假設(shè)則認(rèn)為變量間存在相關(guān)性，可做因子分析。因子分析巴特利球形檢驗(yàn)（BarlettTestofSphericity）。零假設(shè)：相關(guān)系數(shù)矩陣是一個(gè)單位陣。如果巴特利球形檢驗(yàn)的統(tǒng)計(jì)計(jì)量數(shù)值較大，且對(duì)應(yīng)的概率值小于顯著性水平，則拒絕零假設(shè)；反之，則不能拒絕零假設(shè)，認(rèn)為相關(guān)系數(shù)矩陣可能是一個(gè)單位陣，不適合做因子分析。注：?jiǎn)挝魂嚕褐鲗?duì)角線上的元素都是1，其余的元素都是零的n階方陣，叫做n階單位矩陣因子分析2.KMO(Kaiser-Meyer-Olkin)檢驗(yàn)。KMO統(tǒng)計(jì)量用于檢測(cè)變量間的偏相關(guān)性是否足夠小，是簡(jiǎn)單相關(guān)量和偏相關(guān)量的一個(gè)相對(duì)指標(biāo)，由下式求得：KMO>0.9非常適合0.8<KMO<0.9適合0.7<KMO<0.8一般0.6<KMO<0.7不太適合KMO<0.5不適合10因子分析例1：測(cè)得某地19-22歲年齡的部分城市男生身體形態(tài)指標(biāo)：身高（x1，cm）、坐高（x2，cm）、體重（x3，kg）、胸圍（x4、cm）、肩寬（x5，cm）、骨盆寬（x6，cm）。試進(jìn)行因子分析。因子分析因子分析因子分析因子分析的初始解（包括原變量的公因子方差，與變量數(shù)目相同的因子，各因子的特征值及其所占總方差的百分比和累計(jì)百分比）相關(guān)系數(shù)矩陣相關(guān)系數(shù)矩陣單側(cè)檢驗(yàn)的概率值相關(guān)系數(shù)矩陣的行列式KMO和巴特利球型檢驗(yàn)相關(guān)系數(shù)矩陣的逆矩陣反映象協(xié)方差陣和相關(guān)陣再生相關(guān)陣（給出因子分析后的相關(guān)陣及其殘差，下三角為再生相關(guān)陣，上三角為殘差，即再生相關(guān)系數(shù)與原始相關(guān)系數(shù)之差）Descriptives按鈕14因子分析適合性分析：KMO統(tǒng)計(jì)量為0.577，可以做因子分析，但效果不是很好；Bartlett's球形檢驗(yàn)結(jié)果為χ2＝122.138，df＝15，P<0.001，可認(rèn)為各變量之間不獨(dú)立，可以做因子分析。因子分析相關(guān)系數(shù)矩陣與協(xié)方差矩陣

基于原始變量的模型使用協(xié)方差矩陣，如將原始變量標(biāo)準(zhǔn)化，則使用相關(guān)系數(shù)矩陣建模。根據(jù)經(jīng)驗(yàn)，超過90％的因子分析應(yīng)用相關(guān)陣，本課只針對(duì)相關(guān)陣建模進(jìn)行介紹，原因在于：可以減少混淆相關(guān)陣建模更常用、更好用。因子分析二、因子模型(基于相關(guān)系數(shù)）支配m個(gè)變量的共性因子可能不止一個(gè)，設(shè)有p個(gè)，記為f1，f2…fp，則有：因子分析因子模型的一般表達(dá)形式為：i=1，2，…m這里的Xi均為標(biāo)準(zhǔn)化變量，均數(shù)為0，方差為1因子分析在該模型中：（1）f1，f2，

…fp稱公因子。它們是各個(gè)觀測(cè)變量所共有的因子，解釋了變量之間的相關(guān)。（2）aij稱因子負(fù)荷系數(shù)。它是第i個(gè)變量在第j個(gè)公因子上的負(fù)荷。(i=1,2,…m;j=1,2…p)（3）ui稱為特殊因子，或唯一性因子。它是每個(gè)觀測(cè)變量所特有的因子，相當(dāng)于回歸分析中的殘差項(xiàng)，表示該變量不能被公因子解釋的部分。vi為第i個(gè)變量在特殊因子上的負(fù)荷。因子分析因子模型基于以下假設(shè)：

fi的均數(shù)為0，方差為1；

ui的均數(shù)為0，方差為v2；公因子與特殊因子之間相互獨(dú)立，即Cov（fi，uj）＝0；公因子之間相互獨(dú)立，即Cov（fi，fj）＝0

滿足以上假設(shè)的因子模型為正交因子模型；如果第4條不滿足，即公因子之間存在相關(guān)性，則為斜交模型（本課不討論）。因子分析1.因子負(fù)荷（系數(shù)）假設(shè)公因子之間彼此正交，即不相關(guān)，則可以證明因子負(fù)荷aij等于第i個(gè)變量和第j個(gè)因子之間的相關(guān)系數(shù)，即aij反映了因子和變量之間的相關(guān)程度，aij的絕對(duì)值越大，表示公因子fj與變量xi關(guān)系越密切。

-1≤aij≤1三、因子分析中的幾個(gè)概念因子分析2.共性方差(Communality)原變量由于已經(jīng)標(biāo)準(zhǔn)化，其方差為1。根據(jù)因子模型，原變量方差可分解為：記則有Hi2是由全部公因子對(duì)第i個(gè)原變量所提取的方差（比例），或者說(shuō)原變量xi的方差中由公因子所決定的比例。Hi2稱作變量xi的共性方差。因子分析

變量的方差由兩部分組成，一部分由公因子決定，另一部分由特殊因子決定。共性方差表示了變量方差中能被公因子所解釋的部分，共性方差越大，變量能被因子解釋的程度越高。共性方差這個(gè)指標(biāo)以原觀測(cè)變量為中心，它的意義在于說(shuō)明如果用公因子來(lái)替代原觀測(cè)變量后，原來(lái)每個(gè)變量的信息被保留的程度。因子分析特殊因子ui特殊方差vi2特殊因子系數(shù)因子分析3.因子的貢獻(xiàn)λ

每個(gè)公因子對(duì)數(shù)據(jù)的解釋能力，可以用該因子所解釋的總方差來(lái)衡量，稱該因子的貢獻(xiàn)。它等于和該因子有關(guān)的因子負(fù)荷的平方和。

λj=a1j2+a2j2+…+amj2

因子的貢獻(xiàn)λ為原變量相關(guān)系數(shù)矩陣的特征根。實(shí)際中更常用相對(duì)指標(biāo)，即每個(gè)因子所解釋的方差占所有變量總方差的比例。相對(duì)指標(biāo)衡量了公因子的相對(duì)重要性。所有公因子累積解釋的方差比例，可以用來(lái)作為因子分析結(jié)束的判斷指標(biāo)。因子分析f1f2...fp平方和x1a11a12…a1pH12x2a21a22…a2pH22………………xmam1am2…ampHm2平方和λ1λ2…λp總計(jì)*因子負(fù)荷系數(shù)、共性方差、特征根之間的關(guān)系因子分析*總計(jì)=λ1+λ2+…+λp=H12+H22+…+Hm2如果因子個(gè)數(shù)與原變量個(gè)數(shù)相同，即p＝m，則：*總計(jì)=λ1+λ2+…+λp

=H12+H22+…+Hm2

=mλ1

為第一因子的貢獻(xiàn)λ1/m為第一因子的貢獻(xiàn)率余類推。（λ1+λ2+..λp

）/m即為所提取的p個(gè)公因子總的貢獻(xiàn)率（即可解釋的方差百分比）因子分析因子分析實(shí)際上是對(duì)原變量的協(xié)方差結(jié)構(gòu)（此處為相關(guān)結(jié)構(gòu)）進(jìn)行分解，用矩陣可表示為：R*稱為約相關(guān)陣因子分析實(shí)測(cè)變量間的相關(guān)性可由負(fù)荷系數(shù)表達(dá)為：則：R*=AA’

R=R*+V因子分析四、因子模型的估計(jì)提取因子的方法有多種，SPSS提供了多種選擇。常用的有：1.主成分法（principalcomponent）2.最大似然法（maximumlikelihood）3.(迭代)主因子法（principalfactor）其中主成分法最為常用。因子分析（一）主成分法求解因子：1.計(jì)算相關(guān)系數(shù)矩陣2.解特征方程|R-λI|=0，求出相關(guān)陣R的特征根（eigenvalue）λi，且按從大到小順序排列：λ1≥λ2≥…≥λm

，3.求矩陣R關(guān)于λi的滿足正規(guī)條件的特征向量（eigenvector):

Li=（li1,li2,…,lip）4.計(jì)算負(fù)荷系數(shù)aij:因子分析（二）主因子法求解因子主因子方法是對(duì)主成分方法的修正，假如我們?nèi)匀徊捎孟嚓P(guān)陣，則：

R=AA’+VR*=AA’=R-VR*為約相關(guān)矩陣，R*對(duì)角線上的元素是Hi2,而不是1。主因子法與主成分法的區(qū)別在于用R*代替R求解特征值和特征向量，進(jìn)而求得負(fù)荷系數(shù)aij，不過此時(shí)由于Hi2

是未知的，用hi2

對(duì)Hi2

進(jìn)行估計(jì)。因子分析hi2

的計(jì)算：記R的逆陣為R-1，R-1的元素記為r(ij)，令

hi2=1-1/r(ii)，i=1,2,…mhi2

是Xi在另外m-1個(gè)變量上的多重回歸的決定系數(shù)。因子分析（三）迭代主因子法求解因子在前述主因子法中，根據(jù)主對(duì)角元素為hi2

的約相關(guān)陣計(jì)算得到因子解后，將得到的共性方差Hi2

替代hi2

作為約相關(guān)陣R*對(duì)角線上的元素,再次求解特征值和特征向量，得到又一個(gè)因子解。重復(fù)該步驟，直至最近兩次運(yùn)算結(jié)果的差值在容許的范圍內(nèi)，即停止運(yùn)算，得到最終的因子解。因子分析Heywood現(xiàn)象除主成分法之外，其它因子提取方法可能出現(xiàn)負(fù)的特征值，這樣在計(jì)算累積貢獻(xiàn)率時(shí)，會(huì)超過100%，還可能出現(xiàn)共性方差超過1（特殊方差小于0），這種現(xiàn)象稱為Heywood現(xiàn)象。Heywood現(xiàn)象對(duì)因子的解釋帶來(lái)了困難，同時(shí)也幫助我們確定因子個(gè)數(shù)時(shí)要將因子數(shù)控制在累積貢獻(xiàn)率100%以下。因子分析因子個(gè)數(shù)的確定1.特征根準(zhǔn)則：取特征根>1的主成分作為提取的因子。是SPSS軟件默認(rèn)的方法，也是實(shí)際中最常用的方法。2.累積方差比例原則：一般推薦公因子累積解釋的方差比例達(dá)到80％以上時(shí)，即可停止選擇公因子。3.利用碎石圖：將因子按特征根從大到小排列，畫出因子的特征根隨因子個(gè)數(shù)變化的散點(diǎn)圖，根據(jù)圖的形狀來(lái)判斷因子的個(gè)數(shù)。曲線開始變平的前一個(gè)點(diǎn)（拐點(diǎn)）認(rèn)為是提取的最大因子數(shù)。也就是根據(jù)特征根的變化速率來(lái)確定。有些情況下，分析人員可根據(jù)需要，直接確定因子個(gè)數(shù)。因子分析主成分法示例因子分析因子分析因子分析

本次因子分析因子提取方法選用主成分法，從相關(guān)陣出發(fā)計(jì)算，因子數(shù)目提取標(biāo)準(zhǔn)為特征根>1。最終提取的因子數(shù)為2，特征根分別為：λ1=3.172λ2=1.317這兩個(gè)因子的累積貢獻(xiàn)率＝（3.172+1.317）/6

＝0.748特征根、累積貢獻(xiàn)率和因子個(gè)數(shù)因子分析各變量xi的共性方差：H12=0.916H22=0.885H32=0.872H42=0.384H52=0.681H62=0.753共性方差：因子分析負(fù)荷系數(shù)aijH12=0.9302+(-0.224)2=0.916H22=0.9362+(-0.093)2=0.885H32=0.9102+(-0.208)2=0.872H42=0.6172+(-0.053)2=0.384H52=0.3362+0.7542=0.681H62=0.3302+0.8032=0.753λ1=a112+a212+a312+a412+a512+a612=0.9302+0.9362+0.9102+0.6172+0.3362+0.3302=3.172λ2=a122+a222+a322+a422+a522+a622=(-0.2242+(-0.093)2+(-0.208)2+(-0.053)2+0.7542+0.8032=1.317因子分析五、解釋因子

解釋因子主要是借助于因子負(fù)荷系數(shù)。首先找出在每個(gè)因子上的負(fù)荷系數(shù)絕對(duì)值較大的變量，根據(jù)這些變量的意義給因子一個(gè)合適的名稱，具有較高負(fù)荷的變量對(duì)因子名稱的影響更大。就本例來(lái)說(shuō)，因子1對(duì)于原變量x1-x4的負(fù)荷系數(shù)較大，大致解釋為身體長(zhǎng)度的指標(biāo)；因子2對(duì)于原變量x5、x6的符合系數(shù)較大，大致解釋為身體寬度的指標(biāo)。因子分析解釋因子主要依據(jù)負(fù)荷系數(shù)的絕對(duì)值大小：通常納入負(fù)荷系數(shù)絕對(duì)值大于0.3的變量；一般來(lái)說(shuō)，包含三個(gè)以上負(fù)荷的因子可認(rèn)為是較好的因子，只包含一個(gè)或兩個(gè)負(fù)荷的因子要考慮是否提取過度。因子分析結(jié)合專業(yè)知識(shí)，可以對(duì)因子命名。錯(cuò)誤的解讀:不同因子代表不同小組的人群正確的解讀:不同因子代表每一個(gè)體的不同特征。但可以根據(jù)因子得分（見后）對(duì)人群進(jìn)行分類，如因子1得分高因子2得分低的人群可分屬瘦長(zhǎng)型，因子1得分低因子2得分高的人群可分屬短粗型。因子分析

然而，以上述方法獲得的因子中，通常有兩個(gè)特點(diǎn)：第一因子的特征根常常很大，并且在多個(gè)變量上的負(fù)荷系數(shù)比較大；多數(shù)原變量在兩個(gè)以上因子上有比較大的負(fù)荷。這就使得對(duì)因子意義的解釋比較困難。這時(shí)的因子稱為初始因子。因子分析

為解決此問題，可附加條件，如“簡(jiǎn)單結(jié)構(gòu)原理”：要求每個(gè)公因子對(duì)應(yīng)的負(fù)荷系數(shù)的絕對(duì)值要么接近于0，要么接近于1。這樣就可以使得每個(gè)原變量只在一個(gè)公因子上有較大的負(fù)荷，而在其余公因子上的負(fù)荷比較小。最終一個(gè)公因子由一部分原變量所貢獻(xiàn)，而另一個(gè)公因子由另一部分原變量貢獻(xiàn)。實(shí)現(xiàn)這一目的的方法：因子旋轉(zhuǎn)因子分析滿足因子模型的負(fù)荷系數(shù)aij可以有無(wú)限多組：記負(fù)荷系數(shù)陣為A，C為任一個(gè)k階正交陣，令B=AC，則有：

BB’=AC*C’A’=AA’上式表明，B陣的元素也可作為負(fù)荷系數(shù)，而且C陣是任意的。必須附加某種條件，負(fù)荷系數(shù)才是確定的。因子分析

因子旋轉(zhuǎn)的目的是通過旋轉(zhuǎn)坐標(biāo)軸，重新分配各個(gè)因子所解釋的方差的比例，使因子結(jié)構(gòu)更簡(jiǎn)單，更易于解釋。

正交旋轉(zhuǎn)法：方差最大法、四次方最大法、等量最大法…斜交旋轉(zhuǎn)法：…六、因子旋轉(zhuǎn)因子分析方差最大正交旋轉(zhuǎn)

方差最大正交旋轉(zhuǎn)的基本思想是公因子的相對(duì)負(fù)荷（aij/hi）的方差之和達(dá)到最大，且保持原公因子的正交性和共性方差不變。從幾何學(xué)的觀點(diǎn)來(lái)看，正交變換就是保持原坐標(biāo)軸相互垂直，對(duì)坐標(biāo)軸進(jìn)行旋轉(zhuǎn)。下面以兩個(gè)因子為例：因子分析（B陣即為旋轉(zhuǎn)后負(fù)荷陣）因子分析因子分析方差最大正交旋轉(zhuǎn)

方差最大正交旋轉(zhuǎn)是對(duì)負(fù)荷系數(shù)進(jìn)行正交變換，旋轉(zhuǎn)以后：不改變模型對(duì)數(shù)據(jù)的擬合程度（累積貢獻(xiàn)率不變）；不改變?cè)蜃拥恼恍裕ㄏ嚓P(guān)系數(shù)仍為0）；不改變每個(gè)原變量的共性方差。發(fā)生改變的是：特征根改變；負(fù)荷系數(shù)改變；因子得分系數(shù)改變（見后）。因子分析方差最大正交旋轉(zhuǎn)

F1F1F2F221342134因子分析斜交旋轉(zhuǎn)斜交的原因：使因子的意義更明確缺點(diǎn)：公因子之間產(chǎn)生相關(guān)因子分析斜交旋轉(zhuǎn)因子分析因子分析

進(jìn)行方差最大正交旋轉(zhuǎn)以后，兩個(gè)公因子的特征根都有所改變，但兩個(gè)特征根之和、累積貢獻(xiàn)率不變。因子分析

旋轉(zhuǎn)以后，因子1在x5和x6上的負(fù)荷系數(shù)變得很?。幌喾?，因子2在x5和x6上的負(fù)荷系數(shù)變得更大。因子分析因子分析七、因子得分（因子值）

得出因子分析的負(fù)荷系數(shù)后，可以對(duì)因子進(jìn)行解釋，賦予意義。如果要使用這些因子做其他的研究，比如把得到的因子作為自變量來(lái)做回歸分析、對(duì)樣本進(jìn)行分類等，就需要對(duì)因子進(jìn)行測(cè)度，給出因子對(duì)應(yīng)每個(gè)樣本上的值，這些值稱為因子得分(Factorscores)或因子值。因子分析模型：

xi=ai1f1+ai2f2+…+aipfp+viui因子得分計(jì)算公式：

fj=b1jX1+b2jX2+…+bmjXm因子分析因子得分計(jì)算公式：

fj=b1jX1+b2jX2+…+bmjXmbij:是第i個(gè)變量和第j個(gè)因子之間的因子得分系數(shù)。因子得分系數(shù)乘以對(duì)應(yīng)變量的標(biāo)準(zhǔn)化值就得到了因子值。上式中Xi為標(biāo)準(zhǔn)化值，換成原始變量則變?yōu)椋阂蜃臃治鲆蜃拥梅窒禂?shù)的估計(jì)Bartlett法回歸法回歸法：因子分析中公因子是虛構(gòu)變量，不是實(shí)測(cè)值，具體計(jì)算時(shí)是利用相關(guān)系數(shù)矩陣進(jìn)行的。因子分析回歸法

因子分析則有如下的方程組：因子分析j=1,2,…,p或表示為：RB=A，兩側(cè)乘相關(guān)系數(shù)R的逆，得

B=R-1*A因子分析因子分析

左圖為沒有進(jìn)行旋轉(zhuǎn)的因子得分系數(shù)，右圖為進(jìn)行方差最大正交旋