運(yùn)用spss做因子分析與主成分分析.ppt

1、第13章 主成分分析與因子分析,介紹： 1、主成分分析與因子分析的概念 2、主成分分析與因子分析的過程,主成分分析與因子分析的概念,需要與可能：在各個(gè)領(lǐng)域的科學(xué)研究中，往往需要對(duì)反映事物的多個(gè)變量進(jìn)行大量的觀測(cè)，收集大量數(shù)據(jù)以便進(jìn)行分析尋找規(guī)律。多變量大樣本無疑會(huì)為科學(xué)研究提供豐富的信息，但也在一定程度上增加了數(shù)據(jù)采集的工作量，更重要的是在大多數(shù)情況下，許多變量之間可能存在相關(guān)性而增加了問題分析的復(fù)雜性，同時(shí)對(duì)分析帶來不便。如果分別分析每個(gè)指標(biāo)，分析又可能是孤立的，而不是綜合的。盲目減少指標(biāo)會(huì)損失很多信息，容易產(chǎn)生錯(cuò)誤的結(jié)論。因此需要找到一個(gè)合理的方法，減少分析指標(biāo)的同時(shí)，盡量減少原指標(biāo)包含信

2、息的損失，對(duì)所收集的資料作全面的分析。由于各變量間存在一定的相關(guān)關(guān)系，因此有可能用較少的綜合指標(biāo)分別綜合存在于各變量中的各類信息。主成分分析與因子分析就是這樣一種降維的方法。 主成分分析與因子分析是將多個(gè)實(shí)測(cè)變量轉(zhuǎn)換為少數(shù)幾個(gè)不相關(guān)的綜合指標(biāo)的多元統(tǒng)計(jì)分析方法 直線綜合指標(biāo)往往是不能直接觀測(cè)到的，但它更能反映事物的本質(zhì)。因此在醫(yī)學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)等科學(xué)領(lǐng)域以及社會(huì)化生產(chǎn)中得到廣泛的應(yīng)用。,主成分分析與因子分析的概念（續(xù)）,由于實(shí)測(cè)的變量間存在一定的相關(guān)關(guān)系，因此有可能用較少數(shù)的綜合指標(biāo)分別綜合存在于各變量中的各類信息，而綜合指標(biāo)之間彼此不相關(guān)，即各指標(biāo)代表的信息不重疊。綜合指標(biāo)稱為因子或主成分

3、（提取幾個(gè)因子），一般有兩種方法： 特征值1 累計(jì)貢獻(xiàn)率0.8,主成分分析實(shí)例P316不旋轉(zhuǎn),使用默認(rèn)值進(jìn)行最簡(jiǎn)單的主成分分析(默認(rèn)為主成分分析法:Principal components) 例子P316：對(duì)美國(guó)洛杉磯12個(gè)人口調(diào)查區(qū)的5個(gè)經(jīng)濟(jì)學(xué)變量的數(shù)據(jù)進(jìn)行因子分析，data13-01a，數(shù)據(jù)見下一張幻燈片） 菜單：AnalyzeData ReductionFactor Variables ：pop，School，employ，Services， house 其他使用默認(rèn)值（主成分分析法Principal components，選取特征值1，不旋轉(zhuǎn)) 比較有用的結(jié)果：兩個(gè)主成分(因子)f1,

4、f2及因子載荷矩陣(Component Matrix)，根據(jù)該表可以寫出每個(gè)原始變量（標(biāo)準(zhǔn)化值）的因子表達(dá)式： Pop0.581f1 + 0.806f2 School 0.767f1 - 0.545f2 employ 0.672f1 + 0.726f2 Services 0.932f1 - 0.104f2 house 0.791f1 - 0.558f2 每個(gè)原始變量都可以是5個(gè)因子的線性組合，提取兩個(gè)因子f1和f2，可以概括原始變量所包含信息的93.4%。 f1和f2前的系數(shù)表示該因子對(duì)變量的影響程度，也稱為變量在因子上的載荷。 但每個(gè)因子（主成分）的系數(shù)(載荷)沒有很明顯的差別，所以不好命名

5、。因此為了對(duì)因子進(jìn)行命名，可以進(jìn)行旋轉(zhuǎn)，使系數(shù)向0和1兩極分化，這就要使用選擇項(xiàng)。,洛衫磯對(duì)12個(gè)人口調(diào)查區(qū)的數(shù)據(jù),編號(hào) 總?cè)丝?中等學(xué)校平均 總雇員數(shù) 專業(yè)服務(wù) 中等房?jī)r(jià) no pop 校齡School employ 項(xiàng)目數(shù)Services house 15700 12.8 2500 270 25000 21000 10.9 600 10 10000 33400 8.8 1000 10 9000 43800 13.6 1700 140 25000 54000 12.8 1600 140 25000 68200 8.3 2600 6012000 71200 11.4 400 1016000 8

6、9100 11.5 3300 6014000 99900 12.5 3400 180 18000 109600 13.7 3600 390 25000 119600 9.6 3300 80 12000 129400 11.4 4000 100 13000,因子分析實(shí)例322旋轉(zhuǎn)Rotation,由于系數(shù)沒有很明顯的差別,所以要進(jìn)行旋轉(zhuǎn)(Rotation：method一般用Varimax方差最大旋轉(zhuǎn)),使系數(shù)向0和1兩極分化, 例子同上 菜單：AnalyzeData ReductionFactor Variables ：pop，School，employ，Services， house Extr

7、action：使用默認(rèn)值（ method：Principal components，選取特征值1） Rotation：method選Varimax Score:Save as variables 和Display factor score Coefficient matrix 比較有用的結(jié)果：兩個(gè)主成分(因子)f1,f2及旋轉(zhuǎn)后的因子載荷矩陣(Rotated Component Matrix) ，根據(jù)該表可以寫出每個(gè)原始變量（標(biāo)準(zhǔn)化值）的因子表達(dá)式： Pop 0.01602 f1 + 0.9946f2 School 0 .941f1 - 0.00882f2 employ 0.137f1 + 0

8、.98f2 Services 0.825f1 +0.447f2 house 0.968f1 - 0.00605f2 第一主因子對(duì)中等學(xué)校平均校齡,專業(yè)服務(wù)項(xiàng)目,中等房?jī)r(jià)有絕對(duì)值較大的載荷(代表一般社會(huì)福利-福利條件因子); 而第二主因子對(duì)總?cè)丝诤涂偣蛦T數(shù)有較大的載荷(代表人口-人口因子). P326 比較有用的結(jié)果:因子得分fac1_1, fac2_1。其計(jì)算公式：因子得分系數(shù)和原始變量的標(biāo)準(zhǔn)化值的乘積之和（P326)。然后可以利用因子得分進(jìn)行聚類p327（Analyze-Classify-Hierarchical Cluster）。,主成分分析實(shí)例P330 不旋轉(zhuǎn)市場(chǎng)研究中的顧客偏好分析,在

9、市場(chǎng)研究中，常常要求分析顧客的偏好和當(dāng)前市場(chǎng)的產(chǎn)品與顧客偏好之間的差別，從而找出新產(chǎn)品開發(fā)的方向。顧客偏好分析時(shí)常用到主成分分析方法（因子沒有旋轉(zhuǎn)）。 例子P330：數(shù)據(jù)來自SAS公司，1980年一個(gè)汽車制造商在競(jìng)爭(zhēng)對(duì)手中選擇了17種車型，訪問了25個(gè)顧客，要求他們根據(jù)自己的偏好對(duì)17種車型打分。打分范圍09.9， 9.9表示最高程度的偏好。data13-02a（1725：17個(gè)case，25個(gè)變量V1-V25） 菜單：AnalyzeData ReductionFactor Variables ：V1-V25 Extraction：method：Principal components Ext

10、ract:Number of factors:3 要三個(gè)主成分 Score:Save as variables 比較有用的結(jié)果：3個(gè)主成分及其因子載荷矩陣(Component Matrix)：第一主成分和第二主成分的載荷圖（Loading plots） 比較有用的結(jié)果:因子得分fac1_1, fac2_1 , fac3_1。然后可以利用因子得分進(jìn)行各種分析：做偏好圖： 用fac1_1, fac2_1做散點(diǎn)圖（Graphs-Scatter：X- fac1_1 , Y- fac2_1）:第一主成分反映了車的產(chǎn)地，第二主成分反映了車的特性（質(zhì)量、動(dòng)力、座位數(shù)等） 具體見P332-334,補(bǔ)充：主成分

11、分析和因子分析,以下的講義是吳喜之教授有關(guān)主成分分析和因子分析的講義，我覺得比書上講得清楚。,主成分分析和因子分析,匯報(bào)什么？,假定你是一個(gè)公司的財(cái)務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動(dòng)資金、每一筆借貸的數(shù)額和期限、各種稅費(fèi)、工資支出、原料消耗、產(chǎn)值、利潤(rùn)、折舊、職工人數(shù)、職工的分工和教育程度等等。 如果讓你向上面介紹公司狀況，你能夠把這些指標(biāo)和數(shù)字都原封不動(dòng)地?cái)[出去嗎？ 當(dāng)然不能。 你必須要把各個(gè)方面作出高度概括，用一兩個(gè)指標(biāo)簡(jiǎn)單明了地把情況說清楚。,主成分分析,每個(gè)人都會(huì)遇到有很多變量的數(shù)據(jù)。 比如全國(guó)或各個(gè)地區(qū)的帶有許多經(jīng)濟(jì)和社會(huì)變量的數(shù)據(jù)；各個(gè)學(xué)校的研究、教學(xué)等各種變量的數(shù)據(jù)

12、等等。 這些數(shù)據(jù)的共同特點(diǎn)是變量很多，在如此多的變量之中，有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)“代表”來對(duì)它們進(jìn)行描述。 本章就介紹兩種把變量維數(shù)降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。實(shí)際上主成分分析可以說是因子分析的一個(gè)特例。在引進(jìn)主成分分析之前，先看下面的例子。,成績(jī)數(shù)據(jù)（student.sav）,100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)?nèi)缦卤恚ú糠郑?從本例可能提出的問題,目前的問題是，能不能把這個(gè)數(shù)據(jù)的6個(gè)變量用一兩個(gè)綜合變量來表示呢？ 這一兩個(gè)綜合變量

13、包含有多少原來的信息呢？ 能不能利用找到的綜合變量來對(duì)學(xué)生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對(duì)企業(yè)，對(duì)學(xué)校進(jìn)行分析、排序、判別和分類等問題。,主成分分析,例中的的數(shù)據(jù)點(diǎn)是六維的；也就是說，每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。我們希望把6維空間用低維空間表示。 先假定只有二維，即只有兩個(gè)變量，它們由橫坐標(biāo)和縱坐標(biāo)所代表；因此每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐標(biāo)軸的兩個(gè)坐標(biāo)值；如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣（這在變量的二維正態(tài)的假定下是可能的） 那么這個(gè)橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點(diǎn)，那只有在長(zhǎng)軸的方向才能夠解釋這些點(diǎn)的變化了；這樣，由二維到

14、一維的降維就自然完成了。,主成分分析,當(dāng)坐標(biāo)軸和橢圓的長(zhǎng)短軸平行，那么代表長(zhǎng)軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。 但是，坐標(biāo)軸通常并不和橢圓的長(zhǎng)短軸平行。因此，需要尋找橢圓的長(zhǎng)短軸，并進(jìn)行變換，使得新變量和橢圓的長(zhǎng)短軸平行。 如果長(zhǎng)軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個(gè)變量（舍去次要的一維），降維就完成了。 橢圓（球）的長(zhǎng)短軸相差得越大，降維也越有道理。,主成分分析,對(duì)于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。 首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長(zhǎng)的幾個(gè)軸作為新變量；這樣，主成分分析就基本完

15、成了。 注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principal component)。,主成分分析,正如二維橢圓有兩個(gè)主軸，三維橢球有三個(gè)主軸一樣，有幾個(gè)變量，就有幾個(gè)主成分。 選擇越少的主成分，降維就越好。什么是標(biāo)準(zhǔn)呢？那就是這些被選的主成分所代表的主軸的長(zhǎng)度之和占了主軸長(zhǎng)度總和的大部分。有些文獻(xiàn)建議，所選的主軸總長(zhǎng)度占所有主軸長(zhǎng)度之和的大約85%即可，其實(shí)，這只是一個(gè)大體的說法；具體選幾個(gè)，要看實(shí)際情況而定。,對(duì)于我們的數(shù)據(jù)，SPSS輸出為,這里的Initial Eigenvalues就是這里的六個(gè)主軸長(zhǎng)度，又稱特征值（

16、數(shù)據(jù)相關(guān)陣的特征值）。頭兩個(gè)成分特征值累積占了總方差的81.142%。后面的特征值的貢獻(xiàn)越來越少。,特征值的貢獻(xiàn)還可以從SPSS的所謂碎石圖看出,怎么解釋這兩個(gè)主成分。前面說過主成分是原始六個(gè)變量的線性組合。是怎么樣的組合呢？SPSS可以輸出下面的表。,這里每一列代表一個(gè)主成分作為原來變量線性組合的系數(shù)（比例）。比如第一主成分作為數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)這六個(gè)原先變量的線性組合，系數(shù)（比例）為-0.806, -0.674, -0.675, 0.893, 0.825, 0.836。,如用x1,x2,x3,x4,x5,x6分別表示原先的六個(gè)變量，而用y1,y2,y3,y4,y5,y6表示

17、新的主成分，那么，原先六個(gè)變量x1,x2,x3,x4,x5,x6與第一和第二主成分y1,y2的關(guān)系為： X1=-0.806y1 + 0.353y2 X2=-0.674y1 + 0.531y2 X3=-0.675y1 + 0.513y2 X4= 0.893y1 + 0.306y2 x5= 0.825y1 + 0.435y2 x6= 0.836y1 + 0.425y2 這些系數(shù)稱為主成分載荷（loading），它表示主成分和相應(yīng)的原先變量的相關(guān)系數(shù)。 比如x1表示式中y1的系數(shù)為-0.806，這就是說第一主成分和數(shù)學(xué)變量的相關(guān)系數(shù)為-0.806。 相關(guān)系數(shù)(絕對(duì)值）越大，主成分對(duì)該變量的代表性也越

18、大。可以看得出，第一主成分對(duì)各個(gè)變量解釋得都很充分。而最后的幾個(gè)主成分和原先的變量就不那么相關(guān)了。,可以把第一和第二主成分的載荷點(diǎn)出一個(gè)二維圖以直觀地顯示它們?nèi)绾谓忉屧瓉淼淖兞康摹＿@個(gè)圖叫做載荷圖。,該圖左面三個(gè)點(diǎn)是數(shù)學(xué)、物理、化學(xué)三科，右邊三個(gè)點(diǎn)是語(yǔ)文、歷史、外語(yǔ)三科。圖中的六個(gè)點(diǎn)由于比較擠，不易分清，但只要認(rèn)識(shí)到這些點(diǎn)的坐標(biāo)是前面的第一二主成分載荷，坐標(biāo)是前面表中第一二列中的數(shù)目，還是可以識(shí)別的。,因子分析,主成分分析從原理上是尋找橢球的所有主軸。因此，原先有幾個(gè)變量，就有幾個(gè)主成分。 而因子分析是事先確定要找?guī)讉€(gè)成分，這里叫因子（factor）（比如兩個(gè)），那就找兩個(gè)。 這使得在數(shù)學(xué)模型

19、上，因子分析和主成分分析有不少區(qū)別。而且因子分析的計(jì)算也復(fù)雜得多。根據(jù)因子分析模型的特點(diǎn)，它還多一道工序：因子旋轉(zhuǎn)（factor rotation）；這個(gè)步驟可以使結(jié)果更好。 當(dāng)然，對(duì)于計(jì)算機(jī)來說，因子分析并不比主成分分析多費(fèi)多少時(shí)間。 從輸出的結(jié)果來看，因子分析也有因子載荷（factor loading）的概念，代表了因子和原先變量的相關(guān)系數(shù)。但是在輸出中的因子和原來變量相關(guān)系數(shù)的公式中的系數(shù)不是因子載荷，也給出了二維圖；該圖雖然不是載荷圖，但解釋和主成分分析的載荷圖類似。,主成分分析與因子分析的公式上的區(qū)別,主成分分析 P312,因子分析(mp) P314,因子得分 P315,對(duì)于我們的數(shù)

20、據(jù)，SPSS因子分析輸出為,這里，第一個(gè)因子主要和語(yǔ)文、歷史、英語(yǔ)三科有很強(qiáng)的正相關(guān)；而第二個(gè)因子主要和數(shù)學(xué)、物理、化學(xué)三科有很強(qiáng)的正相關(guān)。因此可以給第一個(gè)因子起名為“文科因子”，而給第二個(gè)因子起名為“理科因子”。從這個(gè)例子可以看出，因子分析的結(jié)果比主成分分析解釋性更強(qiáng)。,這兩個(gè)因子的系數(shù)所形成的散點(diǎn)圖（雖然不是載荷，在SPSS中也稱載荷圖，,可以直觀看出每個(gè)因子代表了一類學(xué)科,計(jì)算因子得分,可以根據(jù)前面的因子得分公式（因子得分系數(shù)和原始變量的標(biāo)準(zhǔn)化值的乘積之和），算出每個(gè)學(xué)生的第一個(gè)因子和第二個(gè)因子的大小，即算出每個(gè)學(xué)生的因子得分f1和f2。 人們可以根據(jù)這兩套因子得分對(duì)學(xué)生分別按照文科和理科排序。當(dāng)然得到因子得分只是SPSS軟件的一個(gè)選項(xiàng)（可將因子得分存為新變量、顯示因子得分系數(shù)矩陣）,因子分析和主成分分析的一些注意事項(xiàng),可以看出，因子分析和主成分分析都依賴于原始變量，也只能反映原始變量的信息。所以原始變量的選擇很重要。 另外，如果原始變量都本質(zhì)上獨(dú)立，那么降維就可能失敗