主成分分析與因子分析(管理統(tǒng)計(jì)學(xué)與SPSS應(yīng)用課件)

管理統(tǒng)計(jì)學(xué)2010年11主成分分析與因子分析11.1因子分析11.1.1因子分析的理論與方法11.1.2因子分析的SPSS應(yīng)用11.2主成分分析11.2.1主成分分析的理論與方法11.2.2主成分分析的SPSS應(yīng)用11.1因子分析因子/基礎(chǔ)變量：既能包含原來眾多變量代表的信息，又能解釋這些變量相互依存關(guān)系的變量因子分析：多元統(tǒng)計(jì)分析技術(shù)的一個(gè)分支，用于處理多變量問題，是一種降維、簡化數(shù)據(jù)的技術(shù)因子分析的應(yīng)用尋求基本結(jié)構(gòu)數(shù)據(jù)化簡

11.1.1因子分析的理論與方法因子分析的數(shù)學(xué)模型因子分析的有關(guān)概念因子負(fù)載公共因子方差因子的貢獻(xiàn)因子旋轉(zhuǎn)解釋因子因子得分因子分析的步驟因子分析的數(shù)學(xué)模型F1,F2,…,Fm稱為公共因子，i為Xi的特殊因子矩陣形式X=AF需滿足：mpCov(F,)=0

且因子負(fù)載聯(lián)系觀測變量和公共因子的橋梁公共因子完全不相關(guān)時(shí)，因子負(fù)載aij等于第i個(gè)變量和第j個(gè)因子之間的相關(guān)系數(shù)aij的絕對值越大，公共因子與觀測變量關(guān)系越大公共因子彼此不相關(guān)時(shí)，變量Xi與Xj的相關(guān)系數(shù)為比較觀測數(shù)據(jù)計(jì)算出的相關(guān)系數(shù)和模型導(dǎo)出的變量的相關(guān)系數(shù)，判斷因子解是否合適差別很小，模型很好的擬合觀測數(shù)據(jù)，因子解合適

公共因子方差/共同度觀測變量的方差中由公共因子決定的比例說明用公共因子替代觀測變量后，原來每個(gè)變量信息被保留的程度公共因子方差越大，變量能夠被因子說明的程度越高當(dāng)公共因子彼此正交時(shí)，公共因子方差等于和該變量有關(guān)的因子負(fù)載的平方和因子的貢獻(xiàn)用因子所能夠解釋的總方差衡量的每個(gè)公共因子對變量的解釋能力所有公共因子的總貢獻(xiàn)為：實(shí)際中，相對指標(biāo)更為常用，即每個(gè)因子所解釋的方差占所有變量總方差的比例Vp/kK為觀測變量的個(gè)數(shù)因子旋轉(zhuǎn)因子結(jié)構(gòu)：因子和變量之間的相關(guān)關(guān)系因子模式：因子負(fù)載矩陣因子旋轉(zhuǎn)的條件一個(gè)變量在多個(gè)公共因子上有較大的負(fù)荷多個(gè)變量在同一個(gè)公共因子上有較大的負(fù)荷因子旋轉(zhuǎn)的目的使同一個(gè)因子在各個(gè)變量上的負(fù)載盡可能的向靠近1和靠近0的兩極分離因子旋轉(zhuǎn)的方式正交旋轉(zhuǎn)：使因子軸之間仍然保持90度角，因子之間仍舊不相關(guān)，因子結(jié)構(gòu)與因子模式等同斜交旋轉(zhuǎn)：因子之間的夾角是任意的，因子負(fù)載不再等于因子和變量之間的相關(guān)系數(shù)因子模式與因子結(jié)構(gòu)的關(guān)系為S=BW，S為因子結(jié)構(gòu)矩陣，B為因子負(fù)載矩陣，W為斜交因子之間的相關(guān)系數(shù)矩陣解釋因子解釋因子的作用借助因子負(fù)載矩陣，找出在某個(gè)因子上有顯著負(fù)載的變量根據(jù)這些變量的意義給因子一個(gè)合適的名稱具有較高負(fù)載的變量對因子名稱的影響較大解釋因子的確定一般認(rèn)為絕對值大于0.3的因子負(fù)載就是顯著的因子得分因子得分的求解過程用觀測變量的線性組合表示因子依據(jù)因子對應(yīng)的每個(gè)變量的具體數(shù)值進(jìn)行測度因子得分的計(jì)算在因子分析模型中，不考慮特殊因子的影響，當(dāng)m=p且A可逆時(shí)，該樣本在因子F上的得分F=A-1X實(shí)際應(yīng)用要求mp，只能對因子得分進(jìn)行估計(jì)因子分析的步驟計(jì)算所有變量的相關(guān)系數(shù)矩陣提取因子，確定因子的個(gè)數(shù)和求因子解的方法進(jìn)行因子旋轉(zhuǎn)，使因子解的實(shí)際意義更容易解釋計(jì)算因子得分11.1.2因子分析的SPSS應(yīng)用添加分析變量描述性統(tǒng)計(jì)設(shè)置因子提取設(shè)置因子旋轉(zhuǎn)設(shè)置因子得分設(shè)置缺失值及因子負(fù)載矩陣設(shè)置生育率影響因素分析變量設(shè)置X1:Multi-parity(%),X2:Contraception(%)X3:J.school&above(%),X4:Averageincome(元),X5:Urban(%)IdX1X2X3X4X5IdX1X2X3X4X510.9489.8964.51357773.08169.0488.7639.7188015.5222.5892.3255.41298168.651712.0287.2838.76124828.91313.4690.7138.2114819.081811.1589.1336.3397618.23412.4690.0445.12112427.681922.4687.7238.38184536.7758.9490.4641.83108036.122024.3484.8631.0779815.162.890.1750.64201150.862133.2183.7939.44119324.0578.9191.4346.32138342.65224.7890.5731.2690320.2588.8290.7847.33162847.172321.5686.022.3865418.9390.891.4762.36482266.232414.0980.9621.4995614.72105.9490.3140.85169621.242532.3187.67.786512.59112.692.4235.14171732.812611.1889.7141.0193021.49127.0787.9729.5193317.92713.886.3329.6993822.041314.4488.7129.04131321.362825.3481.5631.3110027.351415.2489.4331.0594320.42920.8481.4534.59102425.72153.1691.2137.85137227.343039.664.938.47137431.91添加分析變量Analyze→Data

Reduction→Factor選擇變量：選擇參與分析的數(shù)據(jù)描述性統(tǒng)計(jì)設(shè)置輸出原始變量的基本描述統(tǒng)計(jì)量

輸出因子分析的初始解

簡單相關(guān)系數(shù)矩陣

相關(guān)系數(shù)矩陣的逆矩陣

顯著性檢驗(yàn)

相關(guān)系數(shù)矩陣的行列式

再生相關(guān)陣

反映象相關(guān)矩陣

KMO和Bartlett球形檢驗(yàn)

因子提取設(shè)置7

種因子提取方法，默認(rèn)為主成分分析法標(biāo)準(zhǔn)化后因子分析直接因子分析相關(guān)系數(shù)矩陣協(xié)方差矩陣輸出旋轉(zhuǎn)前的因子方差貢獻(xiàn)表和因子負(fù)載矩陣輸出因子碎石圖設(shè)置提取的因子對應(yīng)的特征跟范圍，默認(rèn)值1輸入提取因子的個(gè)數(shù)Principalcomponents/主成分法：把給定的一組相關(guān)變量通過線性變換轉(zhuǎn)換成另一組不相關(guān)的變量，新的變量按照方差遞減的順序排列，總方差不變Unweightedleastsquares/普通最小二乘法：使因子模型計(jì)算出的相關(guān)系數(shù)和觀測到的相關(guān)系數(shù)之間的離差平方和最小Genenralizedleastsquares/廣義最小二乘法：用與Unweightedleastsquares同樣的原則，迭代過程中，用特殊因子方差倒數(shù)調(diào)整相關(guān)系數(shù)矩陣Maximumlikelihood/最大似然法：類似廣義最小二乘法，使因子解最好擬合觀測數(shù)據(jù)變量的相關(guān)關(guān)系假設(shè)樣本來源于多維正態(tài)總體，構(gòu)造樣本似然函數(shù)使其達(dá)到極大求解過程中相關(guān)系數(shù)用特殊因子方差倒數(shù)加權(quán)因子提取方法Principalaxisfactoring/主軸因子法：類似主成分法，用公共因子方差代替相關(guān)系數(shù)矩陣主對角線上的元素1新的矩陣稱為調(diào)整相關(guān)系數(shù)矩陣，解調(diào)整相關(guān)系數(shù)矩陣的特征方程求得因子解Alphafactoring/因子提取法：變量是來自潛在變量空間中的樣本，通過給定的總體觀測，使提取的公共因子和假設(shè)存在的公共因子有最大的相關(guān)Imageanalysis/映像分析法：一個(gè)變量分解為兩部分公共部分：由除該變量外的觀測變量線性組合預(yù)測，即該變量的映像特有部分：不能被其他變量線性組合預(yù)測，即變量的反像同時(shí)考慮樣本空間和變量空間，映像的平方相當(dāng)于公共因子方差，反像的平方相當(dāng)于特殊因子方差，采用和主成分法類似的過程求得因子解因子提取方法（續(xù)）因子提取方法的選擇通常各種方法產(chǎn)生的公共因子方差差別不大公共因子方差為1時(shí)，主成分法和其他6種方法的實(shí)質(zhì)是一樣的公共因子方差較低時(shí)，差別比較明顯主成分法解釋變量的方差，假設(shè)每個(gè)變量的方差能被完全解釋，相關(guān)系數(shù)矩陣主對角線上的元素和其他元素同樣重要，甚至更重要其他方法解釋變量的相關(guān)關(guān)系，假設(shè)觀測變量的相關(guān)能完全被公共因子解釋，方差不一定能完全被公共因子解釋不能被解釋的方差只影響相關(guān)系數(shù)矩陣主對角線上的元素要求因子解能夠擬合相關(guān)系數(shù)矩陣主對角線以外的元素提取相同數(shù)目的因子，主成分法能夠解釋更多的方差變量個(gè)數(shù)增加，主對角線上元素重要程度降低，差異不再明顯樣本量很大時(shí)，最大似然法解比其他解的精度有明顯提高依據(jù)因子分析的目的和對變量方差了解程度決定的方法要以最少的因子最大程度地解釋原始數(shù)據(jù)中的方差，或已明確特殊因子和誤差帶來的方差很小，適合用主成分法為了確定數(shù)據(jù)結(jié)構(gòu)但并不了解變量方差的情況，適用其他6種方法因子旋轉(zhuǎn)設(shè)置簡化因子負(fù)載矩陣列，使因子負(fù)載平方的方差最大直接斜交旋轉(zhuǎn)法因子自相關(guān)的程度可盡量減少解釋變量的因子個(gè)數(shù)Varimax與Quartimax因子解加權(quán)平均速度比直接旋轉(zhuǎn)法快，適用于大樣本輸出旋轉(zhuǎn)后的因子方差貢獻(xiàn)表和因子負(fù)載矩陣

輸出旋轉(zhuǎn)后因子負(fù)載散點(diǎn)圖

因子得分設(shè)置將因子值作為新變量保存在數(shù)據(jù)文件中

計(jì)算因子得分的方法

輸出因子得分矩陣

缺失值及因子負(fù)載矩陣設(shè)置

缺失值處理方法

因子負(fù)載矩陣顯示方式

觀測的所有分析變量有一個(gè)有缺失值就不參與分析

只把兩個(gè)變量協(xié)方差或相關(guān)系數(shù)帶有缺失值的觀測刪除

用均值替代缺失值

按因子負(fù)載的大小排序

不顯示絕對值太小的因子負(fù)載

變量共同度、KMO與Bartlett球形檢驗(yàn)

CommunalitiesInitialExtractionmulti-parity%1.000.887contraception%1.000.913J.school&above%1.000.860averageincome1.000.878urban%1.000.931ExtractionMethod:PrincipalComponentAnalysis.共同度都在85%以上，因子提取效果比較理想KMOandBartlett'sTestKaiser-Meyer-OlkinMeasureofSamplingAdequacy..713Bartlett'sTestofSphericityApprox.Chi-Square106.776df10Sig..000KMO統(tǒng)計(jì)量為0.713，Bartlett球形檢驗(yàn)的值為0.000，說明案例數(shù)據(jù)比較適合因子分析

相關(guān)系數(shù)矩陣及相關(guān)顯著性檢驗(yàn)（CorrelationMatrix）

multi-parity%contraception%J.school&above%AverageincomeUrban%Correlationmulti-parity%1.000-.761-.542-.453-.453contraception%-.7611.000.293.253.245J.school&above%-.542.2931.000.771.849averageincome-.453.253.7711.000.878urban%-.453.245.849.8781.000Sig.(1-tailed)multi-parity%.000.001.006.006contraception%.000.058.089.096J.school&above%.001.058.000.000averageincome.006.089.000.000urban%.006.096.000.000初始的樣本相關(guān)系數(shù)矩陣或協(xié)差陣特征根

特征根與方差貢獻(xiàn)率表TotalVarianceExplainedInitialEigenvaluesExtractionSumsofSquaredLoadingsRotationSumsofSquaredLoadingsTotal%ofVarianceCumulative%Total%ofVarianceCumulative%Total%ofVarianceCumulative%13.2565.00665.0063.2565.00665.0062.68353.66153.66121.2224.39689.4011.2224.39689.4011.78735.74089.4013.254.99394.3944.1813.62098.0145.0991.986100.000ExtractionMethod:PrincipalComponentAnalysis.各因子特征根

各因子方差貢獻(xiàn)率

各因子累計(jì)方差貢獻(xiàn)率旋轉(zhuǎn)前的因子負(fù)載矩陣ComponentMatrixaComponent12J.school&above%.892.255urban%.891.370averageincome.870.347multi-parity%-.762.554contraception%.568-.768ExtractionMethod:PrincipalComponentAnalysis.a.2componentsextracted.每個(gè)變量的因子表達(dá)式因子碎石圖變平緩，提取兩個(gè)因子旋轉(zhuǎn)后的因子負(fù)載矩陣RotatedComponentMatrixaComponent12urban%.952.157averageincome.922.166J.school&above%.892.255contraception%.076.953multi-parity%-.354-.873ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.a.Rotationconvergedin3iterations.因子負(fù)載系數(shù)兩級分化

因子得分系數(shù)矩陣ComponentScoreCoefficientMatrixComponent12multi-parity%.041-.510contraception%-.185.627J.school&above%.343-.032averageincome.378-.100urban%.393-.113ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.因子得分表達(dá)式因子得分表IdFAC1_1FAC2_1IdFAC1_1FAC2_112.594700.2954816-0.598150.5204821.888210.6211217-0.084350.064343-0.493410.4759418-0.596870.437224-0.071070.37147190.37363-0.532495-0.012690.5549820-0.70198-0.6773560.982890.60139210.00308-1.3820270.372610.5791622-0.805650.9378080.637300.4457923-0.97955-0.3883692.835570.4032424-0.83624-0.6054310-0.148170.7262825-1.49137-0.6829311-0.116541.0775526-0.418400.4734212-0.802310.5335227-0.61051-0.0301413-0.567790.1823928-0.15355-1.2355514-0.709020.2688729-0.14180-1.0100715-0.269420.97540300.92086-4.00152因子得分的協(xié)差陣ComponentScoreCovarianceMatrixComponent1211.000.0002.0001.000ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.根據(jù)因子分析的數(shù)學(xué)模型，因子得分的協(xié)差陣應(yīng)該是單位陣11.2主成分分析Hotelling于1933年首先提出主要思想通過線性組合的方式從多個(gè)具有一定相關(guān)性的變量中盡可能快地提取信息當(dāng)一個(gè)線性組合不能提取更多的信息時(shí)，再考慮用第二個(gè)線性組合繼續(xù)這個(gè)快速提取的過程，，直到所提取的信息與原指標(biāo)相差不多時(shí)為止優(yōu)點(diǎn)通過較少的主成分得到較多的信息量與因子分析的區(qū)別用各個(gè)變量的線性組合表示主成分，并非用因子表示變量不需要類似于各個(gè)因子之間不相關(guān)等的假設(shè)條件與因子分析的聯(lián)系都需要對指標(biāo)進(jìn)行正向化和標(biāo)準(zhǔn)化都需要判斷相關(guān)系數(shù)矩陣變量間的相關(guān)性求特征值和特征向量11.2.1主成分分析的理論與方法

主成分分析的數(shù)學(xué)模型主成分分析的幾何意義主成分分析的作用主成分分析的求解步驟主成分分析的數(shù)學(xué)模型用原始數(shù)據(jù)矩陣的個(gè)變量作線性組合用矩陣表示為：Y=UX滿足：矩陣的每一行都是單位行向量Yi與Yj之間不相關(guān)Y1是X1,…,XP的一切組合中方差最大的，Y2是與Y1不相關(guān)的X1,…,XP的一切組合中方差最大的，Ym是與Y1,…,Ym-1都不相關(guān)的X1,…,XP的一切組合中方差最大的主成分分析的幾何意義二維變量的情況二維空間中的變量由橫坐標(biāo)和縱坐標(biāo)表示這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣橢圓短軸方向上，數(shù)據(jù)變化很少極端情況，短軸退化成一點(diǎn)，只有在長軸的方向上才能解釋這一點(diǎn)的變化，二維到一維的降維完成坐標(biāo)軸和橢圓的長、短軸平行長軸的變量描述數(shù)據(jù)的主要變化，短軸的變量描述數(shù)據(jù)的次要變化坐標(biāo)軸不和橢圓的長、短軸平行尋找橢圓的長、短軸，進(jìn)行變換，使新變量和橢圓的長、短軸平行多維變量的情況表現(xiàn)為高維橢球，無法直觀看見找出高維橢球主軸，用代表大多數(shù)信息的最長的幾個(gè)軸作為新變量主成分分析基本上完成二維橢圓有兩個(gè)主軸，三維橢球有三個(gè)主軸，有幾個(gè)變量，就有幾個(gè)主成分主成分分析的作用主成分分析能降低所研究的數(shù)據(jù)空間維數(shù)可通過因子負(fù)載的結(jié)論，弄清變量間的某些關(guān)系主成分分析可以作為多維數(shù)據(jù)的一種圖形表示方法可以由主成分分析法構(gòu)造回歸模型用主成分分析篩選回歸變量主成分分析的求解步驟指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化指標(biāo)之間的相關(guān)關(guān)系判定確定主成分個(gè)數(shù)確定主成分的表達(dá)式為主成分命名11.2.2主成分分析的SPSS應(yīng)用利用SPSS進(jìn)行因子分析利用因子分析結(jié)果進(jìn)行主成分分析計(jì)算主成分利用SPSS進(jìn)行因子分析Analyze→Data

Reduction→Factor使用與因子分析相同的原始數(shù)據(jù)ComponentMatrixaComponent12J.school&above%.892.255urban%.891.370averageincome.870.347multi-parity%-.762.554c