第十章 因子分析

第十章因子分析第一頁(yè)，共六十一頁(yè)，2022年，8月28日相關(guān)例子（1）奧林匹克十項(xiàng)全能：百米跑、跳遠(yuǎn)、鉛球、跳高、400米跑、百米跨欄、鐵餅、撐桿跳遠(yuǎn)、標(biāo)槍、1500米跑研究問(wèn)題：十項(xiàng)全能所包括的運(yùn)動(dòng)技能可概括為幾項(xiàng)？十項(xiàng)全能可壓縮為哪幾個(gè)項(xiàng)目？實(shí)驗(yàn)設(shè)計(jì)：記錄了34名運(yùn)動(dòng)員1988年奧賽的成績(jī)數(shù)據(jù)文件及變量：Olymp88.sav

田賽成績(jī)6項(xiàng)(長(zhǎng)度m)

徑賽成績(jī)4項(xiàng)(秒sec)統(tǒng)計(jì)分析問(wèn)題：10個(gè)原始變量是否可用少量因子表示？與這些因子相關(guān)性最強(qiáng)的原始變量是什么？第二頁(yè)，共六十一頁(yè)，2022年，8月28日相關(guān)例子（2）生育率因素分析生育率受社會(huì)、經(jīng)濟(jì)、文化、計(jì)劃生育政策等很多因素影響。現(xiàn)選擇的變量有：人均國(guó)民收入、城鎮(zhèn)人口比例、初中以上文化程度的人口比例、多孩率、綜合節(jié)育率?，F(xiàn)根據(jù)1990年中國(guó)30個(gè)省、自治區(qū)、直轄市的數(shù)據(jù)分析哪些因素對(duì)生育率有影響。問(wèn)題：這些因素對(duì)生育率的影響并不完全獨(dú)立，而是交織在一起。因子分析的目的：找出基本的數(shù)據(jù)結(jié)構(gòu)，即這些變量是否可用少量因子表示?然后用新生成的因子再對(duì)生育率進(jìn)行分析第三頁(yè)，共六十一頁(yè)，2022年，8月28日什么是因子分析是一種數(shù)據(jù)簡(jiǎn)化的技術(shù)它通過(guò)研究眾多變量之間的內(nèi)部依賴(lài)關(guān)系，探求觀測(cè)數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量來(lái)表示其基本的數(shù)據(jù)結(jié)構(gòu)。這幾個(gè)假想變量能夠反映原來(lái)眾多變量的主要信息。原始的變量是可觀測(cè)的顯在變量，而假想變量是不可觀測(cè)的潛在變量，稱(chēng)為因子。第四頁(yè)，共六十一頁(yè)，2022年，8月28日前言因子分析是多元統(tǒng)計(jì)分析技術(shù)的一個(gè)分支，其主要目的是濃縮數(shù)據(jù)(也稱(chēng)為觀察變量)。因子分析的主要目的也是找出少數(shù)幾個(gè)假想變量---稱(chēng)為因子，去描述具有相關(guān)性的多個(gè)指標(biāo)?；舅枷胧欠纸庠甲兞?，從中歸納出潛在的“類(lèi)別”，相關(guān)性較強(qiáng)的指標(biāo)歸為一類(lèi)，不同類(lèi)間變量的相關(guān)性則較低。每一類(lèi)變量代表了一個(gè)“共同因子”，即一種內(nèi)在結(jié)構(gòu)，因子分析就是尋找該結(jié)構(gòu)。因子分析一般要求提取出的公因子有實(shí)際含義，如果分析中各因子難以找到合適的意義，則可以通過(guò)適當(dāng)?shù)男D(zhuǎn)，改變信息量在不同因子上的分布，最終方便對(duì)結(jié)果的解釋。第五頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析與主成分分析的區(qū)別與聯(lián)系主成分分析僅僅是變量變換，找出原始變量的線性組合（主成分）；其功能是簡(jiǎn)化原有的變量，強(qiáng)調(diào)的是解釋數(shù)據(jù)變異的能力；適合做數(shù)據(jù)簡(jiǎn)化；模型中沒(méi)有誤差項(xiàng)；主成分分析是作指標(biāo)用的，不需要旋轉(zhuǎn)因子分析要尋找變量?jī)?nèi)部的相關(guān)性及潛在的共同因素；其功能在于解釋原始變量之間的關(guān)系，強(qiáng)調(diào)的是變量之間的相關(guān)性；適合檢測(cè)數(shù)據(jù)結(jié)構(gòu)；模型中有誤差項(xiàng)，以潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量；一般需要進(jìn)行旋轉(zhuǎn)才能對(duì)因子進(jìn)行命名與解釋主成分分析是因子分析的一種特定的方法第六頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析的分類(lèi)R型因子分析研究變量間的相互關(guān)系從變量間的相關(guān)系數(shù)矩陣出發(fā)Q型因子分析研究樣品間的相互關(guān)系從樣品間的相似系數(shù)矩陣出發(fā)第七頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析的主要問(wèn)題因子分析模型因子分析的重要概念（因子載荷，變量共同度，方差貢獻(xiàn)）模型中的參數(shù)估計(jì)因子旋轉(zhuǎn)公因子得分第八頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析模型不失一般性，所討論的變量都是標(biāo)準(zhǔn)化變量設(shè)有p個(gè)觀察變量x1,x2,…,xp,設(shè)有m

個(gè)公因子f1,f2,…,fm因子模型的一般表達(dá)形式為：f1,f2,…,fm

稱(chēng)為公因子(Commonfactor)εi稱(chēng)為特殊因子

(Uniquefactor)，是不能被前m個(gè)公共因子包含的部分αij稱(chēng)為因子負(fù)載(Factorloadings)第九頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析模型矩陣形式式中x是p×1的隨機(jī)向量，且總假定已標(biāo)準(zhǔn)化，即公因子向量F是m×1的不可觀測(cè)的隨機(jī)向量，假定第十頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析模型與回歸模型的比較回歸模型兩者的區(qū)別因子分析模型回歸分析模型待估參數(shù)因子載荷aij回歸系數(shù)βi“自變量”的性質(zhì)fi是不可觀測(cè)的潛在變量xi是可觀測(cè)的顯變量“自變量”個(gè)數(shù)的特點(diǎn)m是未知的p是已知的“自變量”之間的關(guān)系相互獨(dú)立可能相關(guān)第十一頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析模型的路徑分析圖f1f2fmxpx2x1ε1ε2εpα11α12α1mα21α22α2mαp1αp2αpm第十二頁(yè)，共六十一頁(yè)，2022年，8月28日因子負(fù)載(Factorloadings)因子負(fù)載是因子分析模型中最重要的一個(gè)統(tǒng)計(jì)量因子負(fù)載是連接觀察變量和公因子之間的紐帶當(dāng)公因子之間完全不相關(guān)時(shí)，很容易證明:

因子負(fù)載αij

等于第i個(gè)變量和第j個(gè)因子之間的相關(guān)系數(shù)，A=(αij

)為因子載荷陣（因子負(fù)荷陣）αij

的絕對(duì)值越大，表示公因子fj與變量xi的關(guān)系越密切，從中尋找公因子fj的實(shí)際含義。第十三頁(yè)，共六十一頁(yè)，2022年，8月28日因子負(fù)載還可以用來(lái)估計(jì)觀察變量之間的相關(guān)系數(shù)，當(dāng)公因子之間彼此不相關(guān)時(shí)，由因子分析模型很容易推導(dǎo)出變量xi與xj之間的相關(guān)系數(shù)為：

即任何兩個(gè)觀察變量之間的相關(guān)系數(shù)等于對(duì)應(yīng)的因子負(fù)載乘積之和。

如果從觀測(cè)數(shù)據(jù)計(jì)算出的相關(guān)系數(shù)和從因子模型導(dǎo)出的變量的相關(guān)系數(shù)差別很小，則可以說(shuō)模型很好地?cái)M合了觀測(cè)數(shù)據(jù)，因子解是合適的。第十四頁(yè)，共六十一頁(yè)，2022年，8月28日變量xi與變量xj之間關(guān)系f1f2fmxixjαi1αjmαj1αj2αi2αim第十五頁(yè)，共六十一頁(yè)，2022年，8月28日公因子方差(Communality)觀察變量方差由兩部分組成：一部分是由公因子決定，另一部分是由特殊因子決定。反映了m個(gè)公因子在xi的方差中所占比例公因子方差越大（接近1），變量能被公因子說(shuō)明的程度越高，則因子分析的效果好，從原變量空間到公共因子空間的轉(zhuǎn)化性質(zhì)好公因子方差（共性方差）：第十六頁(yè)，共六十一頁(yè)，2022年，8月28日公因子的方差貢獻(xiàn)(Contributions)每個(gè)公因子對(duì)數(shù)據(jù)的解釋能力，可以用該因子所解釋的總方差來(lái)衡量，通常稱(chēng)為該因子的貢獻(xiàn)，記為gj它等于和該因子有關(guān)的因子負(fù)載的平方和fj的方差貢獻(xiàn)：fj的方差貢獻(xiàn)率：第十七頁(yè)，共六十一頁(yè)，2022年，8月28日注意hi2和gj2之間的區(qū)別！hi2：因子載荷矩陣的第i行的元素的平方和gj2：因子載荷矩陣的第j列的元素的平方和，衡量各公因子的相對(duì)重要性第十八頁(yè)，共六十一頁(yè)，2022年，8月28日因子模型參數(shù)估計(jì)-主成分法xi關(guān)于主成分y1，y2，…，ym的回歸方程中下標(biāo)的含義：i→原指標(biāo)序號(hào)

j→主成分序號(hào)

第十九頁(yè)，共六十一頁(yè)，2022年，8月28日因子模型公因子方差（共性方差）：fj的方差貢獻(xiàn)：第二十頁(yè)，共六十一頁(yè)，2022年，8月28日因子得分主成分取值：因子得分：因子得分系數(shù)矩陣：第二十一頁(yè)，共六十一頁(yè)，2022年，8月28日利用主成分法進(jìn)行因子分析的步驟1、求出原指標(biāo)xi的相關(guān)系數(shù)矩陣R2、求出相關(guān)系數(shù)矩陣R的特征根和其對(duì)應(yīng)的單位化特征向量3、根據(jù)累計(jì)貢獻(xiàn)率確定m個(gè)主成分（公因子），等價(jià)于確定m個(gè)p維向量4、求出原指標(biāo)xi與第j個(gè)主成分（公因子）間的相關(guān)系數(shù)及因子負(fù)荷矩陣A第二十二頁(yè)，共六十一頁(yè)，2022年，8月28日5、由m個(gè)主成分得出m個(gè)公因子（坐標(biāo)伸縮）6、得出原指標(biāo)xi關(guān)于公因子的關(guān)系式7、得出共性方差，因子的方差貢獻(xiàn)第二十三頁(yè)，共六十一頁(yè)，2022年，8月28日主成分矩陣、因子負(fù)荷矩陣、得分系數(shù)矩陣間的“三角關(guān)系”主成分矩陣因子負(fù)荷矩陣得分系數(shù)矩陣第二十四頁(yè)，共六十一頁(yè)，2022年，8月28日因子旋轉(zhuǎn)為什么需要進(jìn)行因子旋轉(zhuǎn)？建立了因子分析目的不僅僅要找出公共因子，更重要的要知道每個(gè)公共因子的意義，以便進(jìn)行進(jìn)一步的分析，如果每個(gè)公共因子的含義不清，則不便于進(jìn)行實(shí)際背景的解釋。由于因子載荷陣是不惟一的，所以應(yīng)該對(duì)因子載荷陣進(jìn)行旋轉(zhuǎn)。目的是通過(guò)改變坐標(biāo)軸的位置，使因子載荷陣的結(jié)構(gòu)簡(jiǎn)化，重新分配每個(gè)因子所解釋的方差的比例，使載荷矩陣每列或行的元素平方值向0和1兩極分化，更易于解釋不改變對(duì)數(shù)據(jù)的擬合程度，不改變因子的共同度，改變的是每個(gè)因子的方差貢獻(xiàn)第二十五頁(yè)，共六十一頁(yè)，2022年，8月28日簡(jiǎn)單的因子載荷矩陣結(jié)構(gòu)指每個(gè)變量在盡可能少的因子上有比較高的負(fù)載。以因子為軸，以因子負(fù)載為坐標(biāo)作圖，則每個(gè)變量是空間中的一個(gè)點(diǎn)，該圖稱(chēng)為因子負(fù)載圖。顯然，簡(jiǎn)單結(jié)構(gòu)的位置應(yīng)該在f1’

、f2’處，，其位置使因子的意義相對(duì)更明確第二十六頁(yè)，共六十一頁(yè)，2022年，8月28日方差最大的正交旋轉(zhuǎn)1、將原來(lái)因子負(fù)荷陣A通過(guò)正交旋轉(zhuǎn)后得A*，使得因子負(fù)荷陣每一列元素能夠“兩極化”，即通過(guò)方差極大的正交旋轉(zhuǎn)，使因子解的實(shí)際意義更容易解釋。2、根據(jù)求出的方差貢獻(xiàn)3、因子得分4、經(jīng)正交旋轉(zhuǎn)后的單位化特征向量為正交矩陣。第二十七頁(yè)，共六十一頁(yè)，2022年，8月28日

因子旋轉(zhuǎn)的方式正交旋轉(zhuǎn)：因子軸之間仍保持90度，即因子間不相關(guān)方差最大法（Varimax）從簡(jiǎn)化因子載荷矩陣的每一列出發(fā)，使和每個(gè)因子有關(guān)的載荷的平方的方差最大。當(dāng)只有少數(shù)幾個(gè)變量在某個(gè)因子上有較高的載荷時(shí)，對(duì)因子的解釋最簡(jiǎn)單。四次方最大法（Quartimax）從簡(jiǎn)化因子載荷矩陣的每一行出發(fā)強(qiáng)調(diào)了對(duì)變量解釋的簡(jiǎn)潔性，犧牲了對(duì)因子解釋的簡(jiǎn)潔性等量最大法（Equamax）將前兩種方法結(jié)合起來(lái)斜交旋轉(zhuǎn)：因子間的夾角任意第二十八頁(yè)，共六十一頁(yè)，2022年，8月28日沒(méi)有一個(gè)準(zhǔn)則能幫助使用者選定一種特定的旋轉(zhuǎn)技術(shù)，沒(méi)有可以令人信服的理由能夠說(shuō)某種旋轉(zhuǎn)方法優(yōu)于其他的方法。因此，選擇旋轉(zhuǎn)方法主要是根據(jù)研究問(wèn)題的需要。如果因子分析的目標(biāo)主要是進(jìn)行數(shù)據(jù)化簡(jiǎn)，把很多變量濃縮為少數(shù)幾個(gè)因子，而因子的確切含義是什么并不重要，應(yīng)用選用正交旋轉(zhuǎn)如果研究的目標(biāo)是要得到幾個(gè)理論上有意義的因子，可以選用斜交旋轉(zhuǎn)。因?yàn)楝F(xiàn)實(shí)中很少有完全不相關(guān)的變量，所以，理論上，斜交旋轉(zhuǎn)優(yōu)于正交旋轉(zhuǎn)。但斜交旋轉(zhuǎn)中因子間的斜交程度受使用者定義的參數(shù)的影響，而且斜交旋轉(zhuǎn)中所允許的因子之間的相關(guān)程度是很小的，大多數(shù)研究者都會(huì)選取更少的因子重新進(jìn)行分析?；诖?，斜交優(yōu)越性被大大削弱了，正交旋轉(zhuǎn)應(yīng)用更廣泛。如果研究者不知道應(yīng)該選用哪種旋轉(zhuǎn)方法的話，可以不必選，直接用軟件中默認(rèn)的方法VARIMAX第二十九頁(yè)，共六十一頁(yè)，2022年，8月28日因子分析的步驟選擇分析變量，檢驗(yàn)待分析的原始變量是否適合做因子分析

提取公因子，估計(jì)因子模型中的未知參數(shù)選擇合適公因子的數(shù)量

旋轉(zhuǎn)因子使得公因子具有可解釋性

進(jìn)行因子命名

計(jì)算因子得分，進(jìn)行結(jié)果解釋

第三十頁(yè)，共六十一頁(yè)，2022年，8月28日用SPSS軟件進(jìn)行因子分析StatisticsDataReductionFactor…在因子分析的主對(duì)話框中除了要指定參與因子分析的變量以外，還有五個(gè)子對(duì)話框可供選擇：

Descriptive,Extraction,Rotation,Scores,Option

第三十一頁(yè)，共六十一頁(yè)，2022年，8月28日1.Extraction子對(duì)話框提供與因子提取有關(guān)的選項(xiàng)：Method：選擇提取因子的方法Extract：決定提取因子的個(gè)數(shù)Display：指定與初始因子有關(guān)的輸出項(xiàng)Analyze：指定分析矩陣MaximumiterationsforConvergence:指定因子分析收斂的最大迭代次數(shù)第三十二頁(yè)，共六十一頁(yè)，2022年，8月28日Method（因子載荷矩陣的估計(jì)方法）Principalcomponents(主成分分析)Unweightedleastsquare(普通最小二乘)Generalizedleastsquares(廣義最小二乘)Maximumlikelihood(極大似然法)PrincipalAxisfactoring(主軸因子法)Alpha(α因子提取法)Image(映象分析法)第三十三頁(yè)，共六十一頁(yè)，2022年，8月28日ExtractEigenvalueover：指定要提取因子的最小特征值，默認(rèn)值為１Numberoffactors：直接指定提取因子的個(gè)數(shù)第三十四頁(yè)，共六十一頁(yè)，2022年，8月28日DisplayUnrotatedfactorsolution：顯示未經(jīng)旋轉(zhuǎn)的因子解Screeplot：顯示碎石圖，提取因子個(gè)數(shù)的參考依據(jù)第三十五頁(yè)，共六十一頁(yè)，2022年，8月28日AnalyzeCorrelationmatrix：指定以分析變量的相關(guān)系數(shù)矩陣為提取因子的依據(jù)，系統(tǒng)默認(rèn)Covariancematrix：指定以分析變量的協(xié)方差矩陣為提取因子的依據(jù)第三十六頁(yè)，共六十一頁(yè)，2022年，8月28日MaximumiterationsforConvergence系統(tǒng)默認(rèn)值為25第三十七頁(yè)，共六十一頁(yè)，2022年，8月28日2.Rotation子對(duì)話框提供與因子旋轉(zhuǎn)有關(guān)的選項(xiàng)Method：選擇因子旋轉(zhuǎn)方法Display:指定輸出選項(xiàng)MaximumiterationsforConvergence:指定因子分析收斂的最大迭代次數(shù)第三十八頁(yè)，共六十一頁(yè)，2022年，8月28日MethodNone:不進(jìn)行旋轉(zhuǎn)Varimax:方差最大法Quartimax:四次方最大法Equamax:等量最大法DirectOblimin:斜交旋轉(zhuǎn)第三十九頁(yè)，共六十一頁(yè)，2022年，8月28日DisplayRotatedsolution:顯示旋轉(zhuǎn)后的因子解Loadingplots:顯示因子負(fù)載圖第四十頁(yè)，共六十一頁(yè)，2022年，8月28日MaximumiterationsforConvergence系統(tǒng)默認(rèn)值為25第四十一頁(yè)，共六十一頁(yè)，2022年，8月28日3.FactorScores子對(duì)話框提供與因子值有關(guān)的選項(xiàng)Method:指定計(jì)算因子值的方法Saveasvariables:將因子值作為新變量保存在數(shù)據(jù)文件中Displayfactorscorecoefficientmatrix:顯示因子值系數(shù)矩陣第四十二頁(yè)，共六十一頁(yè)，2022年，8月28日MethodRegression:回歸法Bartlett:巴特利特法Anderson-Rubin:安德森-魯賓法第四十三頁(yè)，共六十一頁(yè)，2022年，8月28日三種方法的因子得分均值都為零，方差不一樣：回歸法計(jì)算的因子得分方差為因子得分的估計(jì)值與實(shí)際值之間的多元相關(guān)的平方巴特利特法計(jì)算的因子得分方差為超出變量范圍的各因子平方和被最小化安德森-魯賓法計(jì)算的因子得分標(biāo)準(zhǔn)差為1,且彼此不相關(guān)第四十四頁(yè)，共六十一頁(yè)，2022年，8月28日Displayfactorscorecoefficientmatrix顯示的是標(biāo)準(zhǔn)化得分系數(shù)，還可以顯示協(xié)方差矩陣第四十五頁(yè)，共六十一頁(yè)，2022年，8月28日4.Descriptive子對(duì)話框

提供描述性統(tǒng)計(jì)量以及與相關(guān)矩陣有關(guān)的統(tǒng)計(jì)量Statistics:Correlationmatrix:第四十六頁(yè)，共六十一頁(yè)，2022年，8月28日StatisticsUnivariatedescriptives:顯示各觀察變量的均值和標(biāo)準(zhǔn)差I(lǐng)nitialsolution:顯示公因子的方差、特征值、各因子解釋的方差比例和累積比例第四十七頁(yè)，共六十一頁(yè)，2022年，8月28日CorrelationmatrixCoefficients:觀察變量的相關(guān)系數(shù)矩陣Significancelevels:每個(gè)相關(guān)系數(shù)的顯著水平Determinant:相關(guān)系數(shù)矩陣的行列式Inverse:相關(guān)系數(shù)矩陣的逆矩陣Reproduced:由因子模型估計(jì)出的相關(guān)系數(shù)與殘差A(yù)nti-image:反映象相關(guān)矩陣KMOandBartlett’stestofsphericity:KMO測(cè)度和巴特利特球體檢驗(yàn)，用于檢驗(yàn)數(shù)據(jù)是否適合做因子分析，K值小于0.5，不適合做因子分析第四十八頁(yè)，共六十一頁(yè)，2022年，8月28日5.Option子對(duì)話框

提供有關(guān)缺失值處理及數(shù)據(jù)顯示格式的選項(xiàng)Missingvalues:缺失值處理方式Coefficientdisplayformat:因子負(fù)載顯示方式第四十九頁(yè)，共六十一頁(yè)，2022年，8月28日CoefficientdisplayformatSortedbysize:按絕對(duì)值大小排列Suppressabsolutevalueslessthan:不顯示絕對(duì)值小于指定值的因子負(fù)載第五十頁(yè)，共六十一頁(yè)，2022年，8月28日完全使用系統(tǒng)默認(rèn)值，得到的是提取特征值大于等于1的因子，采用主成分分析法提取因子，不進(jìn)行因子旋轉(zhuǎn)的結(jié)果第五十一頁(yè)，共六十一頁(yè)，2022年，8月28日案例：奧林匹克十項(xiàng)全能分析步驟和方法是否適合進(jìn)行因子分析？默認(rèn)輸出因子旋轉(zhuǎn)指定因子輸出模型評(píng)價(jià)第五十二頁(yè)，共六十一頁(yè)，2022年，8月28日是否適合進(jìn)行因子分析？考察的統(tǒng)計(jì)量：KMO>0.5;Bartlett’ssig<0.05KMO統(tǒng)計(jì)量越接近1，做因子分析的效果越好。一般認(rèn)為：KMO>0.9，效果最佳；0.7以上效果尚