第十章 因子分析

第十章因子分析第一頁，共六十一頁，2022年，8月28日相關例子（1）奧林匹克十項全能：百米跑、跳遠、鉛球、跳高、400米跑、百米跨欄、鐵餅、撐桿跳遠、標槍、1500米跑研究問題：十項全能所包括的運動技能可概括為幾項？十項全能可壓縮為哪幾個項目？實驗設計：記錄了34名運動員1988年奧賽的成績數(shù)據(jù)文件及變量：Olymp88.sav

田賽成績6項(長度m)

徑賽成績4項(秒sec)統(tǒng)計分析問題：10個原始變量是否可用少量因子表示？與這些因子相關性最強的原始變量是什么？第二頁，共六十一頁，2022年，8月28日相關例子（2）生育率因素分析生育率受社會、經(jīng)濟、文化、計劃生育政策等很多因素影響?，F(xiàn)選擇的變量有：人均國民收入、城鎮(zhèn)人口比例、初中以上文化程度的人口比例、多孩率、綜合節(jié)育率。現(xiàn)根據(jù)1990年中國30個省、自治區(qū)、直轄市的數(shù)據(jù)分析哪些因素對生育率有影響。問題：這些因素對生育率的影響并不完全獨立，而是交織在一起。因子分析的目的：找出基本的數(shù)據(jù)結構，即這些變量是否可用少量因子表示?然后用新生成的因子再對生育率進行分析第三頁，共六十一頁，2022年，8月28日什么是因子分析是一種數(shù)據(jù)簡化的技術它通過研究眾多變量之間的內(nèi)部依賴關系，探求觀測數(shù)據(jù)中的基本結構，并用少數(shù)幾個假想變量來表示其基本的數(shù)據(jù)結構。這幾個假想變量能夠反映原來眾多變量的主要信息。原始的變量是可觀測的顯在變量，而假想變量是不可觀測的潛在變量，稱為因子。第四頁，共六十一頁，2022年，8月28日前言因子分析是多元統(tǒng)計分析技術的一個分支，其主要目的是濃縮數(shù)據(jù)(也稱為觀察變量)。因子分析的主要目的也是找出少數(shù)幾個假想變量---稱為因子，去描述具有相關性的多個指標?；舅枷胧欠纸庠甲兞?，從中歸納出潛在的“類別”，相關性較強的指標歸為一類，不同類間變量的相關性則較低。每一類變量代表了一個“共同因子”，即一種內(nèi)在結構，因子分析就是尋找該結構。因子分析一般要求提取出的公因子有實際含義，如果分析中各因子難以找到合適的意義，則可以通過適當?shù)男D，改變信息量在不同因子上的分布，最終方便對結果的解釋。第五頁，共六十一頁，2022年，8月28日因子分析與主成分分析的區(qū)別與聯(lián)系主成分分析僅僅是變量變換，找出原始變量的線性組合（主成分）；其功能是簡化原有的變量，強調(diào)的是解釋數(shù)據(jù)變異的能力；適合做數(shù)據(jù)簡化；模型中沒有誤差項；主成分分析是作指標用的，不需要旋轉因子分析要尋找變量內(nèi)部的相關性及潛在的共同因素；其功能在于解釋原始變量之間的關系，強調(diào)的是變量之間的相關性；適合檢測數(shù)據(jù)結構；模型中有誤差項，以潛在的假想變量和隨機影響變量的線性組合表示原始變量；一般需要進行旋轉才能對因子進行命名與解釋主成分分析是因子分析的一種特定的方法第六頁，共六十一頁，2022年，8月28日因子分析的分類R型因子分析研究變量間的相互關系從變量間的相關系數(shù)矩陣出發(fā)Q型因子分析研究樣品間的相互關系從樣品間的相似系數(shù)矩陣出發(fā)第七頁，共六十一頁，2022年，8月28日因子分析的主要問題因子分析模型因子分析的重要概念（因子載荷，變量共同度，方差貢獻）模型中的參數(shù)估計因子旋轉公因子得分第八頁，共六十一頁，2022年，8月28日因子分析模型不失一般性，所討論的變量都是標準化變量設有p個觀察變量x1,x2,…,xp,設有m

個公因子f1,f2,…,fm因子模型的一般表達形式為：f1,f2,…,fm

稱為公因子(Commonfactor)εi稱為特殊因子

(Uniquefactor)，是不能被前m個公共因子包含的部分αij稱為因子負載(Factorloadings)第九頁，共六十一頁，2022年，8月28日因子分析模型矩陣形式式中x是p×1的隨機向量，且總假定已標準化，即公因子向量F是m×1的不可觀測的隨機向量，假定第十頁，共六十一頁，2022年，8月28日因子分析模型與回歸模型的比較回歸模型兩者的區(qū)別因子分析模型回歸分析模型待估參數(shù)因子載荷aij回歸系數(shù)βi“自變量”的性質(zhì)fi是不可觀測的潛在變量xi是可觀測的顯變量“自變量”個數(shù)的特點m是未知的p是已知的“自變量”之間的關系相互獨立可能相關第十一頁，共六十一頁，2022年，8月28日因子分析模型的路徑分析圖f1f2fmxpx2x1ε1ε2εpα11α12α1mα21α22α2mαp1αp2αpm第十二頁，共六十一頁，2022年，8月28日因子負載(Factorloadings)因子負載是因子分析模型中最重要的一個統(tǒng)計量因子負載是連接觀察變量和公因子之間的紐帶當公因子之間完全不相關時，很容易證明:

因子負載αij

等于第i個變量和第j個因子之間的相關系數(shù)，A=(αij

)為因子載荷陣（因子負荷陣）αij

的絕對值越大，表示公因子fj與變量xi的關系越密切，從中尋找公因子fj的實際含義。第十三頁，共六十一頁，2022年，8月28日因子負載還可以用來估計觀察變量之間的相關系數(shù)，當公因子之間彼此不相關時，由因子分析模型很容易推導出變量xi與xj之間的相關系數(shù)為：

即任何兩個觀察變量之間的相關系數(shù)等于對應的因子負載乘積之和。

如果從觀測數(shù)據(jù)計算出的相關系數(shù)和從因子模型導出的變量的相關系數(shù)差別很小，則可以說模型很好地擬合了觀測數(shù)據(jù)，因子解是合適的。第十四頁，共六十一頁，2022年，8月28日變量xi與變量xj之間關系f1f2fmxixjαi1αjmαj1αj2αi2αim第十五頁，共六十一頁，2022年，8月28日公因子方差(Communality)觀察變量方差由兩部分組成：一部分是由公因子決定，另一部分是由特殊因子決定。反映了m個公因子在xi的方差中所占比例公因子方差越大（接近1），變量能被公因子說明的程度越高，則因子分析的效果好，從原變量空間到公共因子空間的轉化性質(zhì)好公因子方差（共性方差）：第十六頁，共六十一頁，2022年，8月28日公因子的方差貢獻(Contributions)每個公因子對數(shù)據(jù)的解釋能力，可以用該因子所解釋的總方差來衡量，通常稱為該因子的貢獻，記為gj它等于和該因子有關的因子負載的平方和fj的方差貢獻：fj的方差貢獻率：第十七頁，共六十一頁，2022年，8月28日注意hi2和gj2之間的區(qū)別！hi2：因子載荷矩陣的第i行的元素的平方和gj2：因子載荷矩陣的第j列的元素的平方和，衡量各公因子的相對重要性第十八頁，共六十一頁，2022年，8月28日因子模型參數(shù)估計-主成分法xi關于主成分y1，y2，…，ym的回歸方程中下標的含義：i→原指標序號

j→主成分序號

第十九頁，共六十一頁，2022年，8月28日因子模型公因子方差（共性方差）：fj的方差貢獻：第二十頁，共六十一頁，2022年，8月28日因子得分主成分取值：因子得分：因子得分系數(shù)矩陣：第二十一頁，共六十一頁，2022年，8月28日利用主成分法進行因子分析的步驟1、求出原指標xi的相關系數(shù)矩陣R2、求出相關系數(shù)矩陣R的特征根和其對應的單位化特征向量3、根據(jù)累計貢獻率確定m個主成分（公因子），等價于確定m個p維向量4、求出原指標xi與第j個主成分（公因子）間的相關系數(shù)及因子負荷矩陣A第二十二頁，共六十一頁，2022年，8月28日5、由m個主成分得出m個公因子（坐標伸縮）6、得出原指標xi關于公因子的關系式7、得出共性方差，因子的方差貢獻第二十三頁，共六十一頁，2022年，8月28日主成分矩陣、因子負荷矩陣、得分系數(shù)矩陣間的“三角關系”主成分矩陣因子負荷矩陣得分系數(shù)矩陣第二十四頁，共六十一頁，2022年，8月28日因子旋轉為什么需要進行因子旋轉？建立了因子分析目的不僅僅要找出公共因子，更重要的要知道每個公共因子的意義，以便進行進一步的分析，如果每個公共因子的含義不清，則不便于進行實際背景的解釋。由于因子載荷陣是不惟一的，所以應該對因子載荷陣進行旋轉。目的是通過改變坐標軸的位置，使因子載荷陣的結構簡化，重新分配每個因子所解釋的方差的比例，使載荷矩陣每列或行的元素平方值向0和1兩極分化，更易于解釋不改變對數(shù)據(jù)的擬合程度，不改變因子的共同度，改變的是每個因子的方差貢獻第二十五頁，共六十一頁，2022年，8月28日簡單的因子載荷矩陣結構指每個變量在盡可能少的因子上有比較高的負載。以因子為軸，以因子負載為坐標作圖，則每個變量是空間中的一個點，該圖稱為因子負載圖。顯然，簡單結構的位置應該在f1’

、f2’處，，其位置使因子的意義相對更明確第二十六頁，共六十一頁，2022年，8月28日方差最大的正交旋轉1、將原來因子負荷陣A通過正交旋轉后得A*，使得因子負荷陣每一列元素能夠“兩極化”，即通過方差極大的正交旋轉，使因子解的實際意義更容易解釋。2、根據(jù)求出的方差貢獻3、因子得分4、經(jīng)正交旋轉后的單位化特征向量為正交矩陣。第二十七頁，共六十一頁，2022年，8月28日

因子旋轉的方式正交旋轉：因子軸之間仍保持90度，即因子間不相關方差最大法（Varimax）從簡化因子載荷矩陣的每一列出發(fā)，使和每個因子有關的載荷的平方的方差最大。當只有少數(shù)幾個變量在某個因子上有較高的載荷時，對因子的解釋最簡單。四次方最大法（Quartimax）從簡化因子載荷矩陣的每一行出發(fā)強調(diào)了對變量解釋的簡潔性，犧牲了對因子解釋的簡潔性等量最大法（Equamax）將前兩種方法結合起來斜交旋轉：因子間的夾角任意第二十八頁，共六十一頁，2022年，8月28日沒有一個準則能幫助使用者選定一種特定的旋轉技術，沒有可以令人信服的理由能夠說某種旋轉方法優(yōu)于其他的方法。因此，選擇旋轉方法主要是根據(jù)研究問題的需要。如果因子分析的目標主要是進行數(shù)據(jù)化簡，把很多變量濃縮為少數(shù)幾個因子，而因子的確切含義是什么并不重要，應用選用正交旋轉如果研究的目標是要得到幾個理論上有意義的因子，可以選用斜交旋轉。因為現(xiàn)實中很少有完全不相關的變量，所以，理論上，斜交旋轉優(yōu)于正交旋轉。但斜交旋轉中因子間的斜交程度受使用者定義的參數(shù)的影響，而且斜交旋轉中所允許的因子之間的相關程度是很小的，大多數(shù)研究者都會選取更少的因子重新進行分析?；诖耍苯粌?yōu)越性被大大削弱了，正交旋轉應用更廣泛。如果研究者不知道應該選用哪種旋轉方法的話，可以不必選，直接用軟件中默認的方法VARIMAX第二十九頁，共六十一頁，2022年，8月28日因子分析的步驟選擇分析變量，檢驗待分析的原始變量是否適合做因子分析

提取公因子，估計因子模型中的未知參數(shù)選擇合適公因子的數(shù)量

旋轉因子使得公因子具有可解釋性

進行因子命名

計算因子得分，進行結果解釋

第三十頁，共六十一頁，2022年，8月28日用SPSS軟件進行因子分析StatisticsDataReductionFactor…在因子分析的主對話框中除了要指定參與因子分析的變量以外，還有五個子對話框可供選擇：

Descriptive,Extraction,Rotation,Scores,Option

第三十一頁，共六十一頁，2022年，8月28日1.Extraction子對話框提供與因子提取有關的選項：Method：選擇提取因子的方法Extract：決定提取因子的個數(shù)Display：指定與初始因子有關的輸出項Analyze：指定分析矩陣MaximumiterationsforConvergence:指定因子分析收斂的最大迭代次數(shù)第三十二頁，共六十一頁，2022年，8月28日Method（因子載荷矩陣的估計方法）Principalcomponents(主成分分析)Unweightedleastsquare(普通最小二乘)Generalizedleastsquares(廣義最小二乘)Maximumlikelihood(極大似然法)PrincipalAxisfactoring(主軸因子法)Alpha(α因子提取法)Image(映象分析法)第三十三頁，共六十一頁，2022年，8月28日ExtractEigenvalueover：指定要提取因子的最小特征值，默認值為１Numberoffactors：直接指定提取因子的個數(shù)第三十四頁，共六十一頁，2022年，8月28日DisplayUnrotatedfactorsolution：顯示未經(jīng)旋轉的因子解Screeplot：顯示碎石圖，提取因子個數(shù)的參考依據(jù)第三十五頁，共六十一頁，2022年，8月28日AnalyzeCorrelationmatrix：指定以分析變量的相關系數(shù)矩陣為提取因子的依據(jù)，系統(tǒng)默認Covariancematrix：指定以分析變量的協(xié)方差矩陣為提取因子的依據(jù)第三十六頁，共六十一頁，2022年，8月28日MaximumiterationsforConvergence系統(tǒng)默認值為25第三十七頁，共六十一頁，2022年，8月28日2.Rotation子對話框提供與因子旋轉有關的選項Method：選擇因子旋轉方法Display:指定輸出選項MaximumiterationsforConvergence:指定因子分析收斂的最大迭代次數(shù)第三十八頁，共六十一頁，2022年，8月28日MethodNone:不進行旋轉Varimax:方差最大法Quartimax:四次方最大法Equamax:等量最大法DirectOblimin:斜交旋轉第三十九頁，共六十一頁，2022年，8月28日DisplayRotatedsolution:顯示旋轉后的因子解Loadingplots:顯示因子負載圖第四十頁，共六十一頁，2022年，8月28日MaximumiterationsforConvergence系統(tǒng)默認值為25第四十一頁，共六十一頁，2022年，8月28日3.FactorScores子對話框提供與因子值有關的選項Method:指定計算因子值的方法Saveasvariables:將因子值作為新變量保存在數(shù)據(jù)文件中Displayfactorscorecoefficientmatrix:顯示因子值系數(shù)矩陣第四十二頁，共六十一頁，2022年，8月28日MethodRegression:回歸法Bartlett:巴特利特法Anderson-Rubin:安德森-魯賓法第四十三頁，共六十一頁，2022年，8月28日三種方法的因子得分均值都為零，方差不一樣：回歸法計算的因子得分方差為因子得分的估計值與實際值之間的多元相關的平方巴特利特法計算的因子得分方差為超出變量范圍的各因子平方和被最小化安德森-魯賓法計算的因子得分標準差為1,且彼此不相關第四十四頁，共六十一頁，2022年，8月28日Displayfactorscorecoefficientmatrix顯示的是標準化得分系數(shù)，還可以顯示協(xié)方差矩陣第四十五頁，共六十一頁，2022年，8月28日4.Descriptive子對話框

提供描述性統(tǒng)計量以及與相關矩陣有關的統(tǒng)計量Statistics:Correlationmatrix:第四十六頁，共六十一頁，2022年，8月28日StatisticsUnivariatedescriptives:顯示各觀察變量的均值和標準差Initialsolution:顯示公因子的方差、特征值、各因子解釋的方差比例和累積比例第四十七頁，共六十一頁，2022年，8月28日CorrelationmatrixCoefficients:觀察變量的相關系數(shù)矩陣Significancelevels:每個相關系數(shù)的顯著水平Determinant:相關系數(shù)矩陣的行列式Inverse:相關系數(shù)矩陣的逆矩陣Reproduced:由因子模型估計出的相關系數(shù)與殘差Anti-image:反映象相關矩陣KMOandBartlett’stestofsphericity:KMO測度和巴特利特球體檢驗，用于檢驗數(shù)據(jù)是否適合做因子分析，K值小于0.5，不適合做因子分析第四十八頁，共六十一頁，2022年，8月28日5.Option子對話框

提供有關缺失值處理及數(shù)據(jù)顯示格式的選項Missingvalues:缺失值處理方式Coefficientdisplayformat:因子負載顯示方式第四十九頁，共六十一頁，2022年，8月28日CoefficientdisplayformatSortedbysize:按絕對值大小排列Suppressabsolutevalueslessthan:不顯示絕對值小于指定值的因子負載第五十頁，共六十一頁，2022年，8月28日完全使用系統(tǒng)默認值，得到的是提取特征值大于等于1的因子，采用主成分分析法提取因子，不進行因子旋轉的結果第五十一頁，共六十一頁，2022年，8月28日案例：奧林匹克十項全能分析步驟和方法是否適合進行因子分析？默認輸出因子旋轉指定因子輸出模型評價第五十二頁，共六十一頁，2022年，8月28日是否適合進行因子分析？考察的統(tǒng)計量：KMO>0.5;Bartlett’ssig<0.05KMO統(tǒng)計量越接近1，做因子分析的效果越好。一般認為：KMO>0.9，效果最佳；0.7以上效果尚