主成分分析和因子分析

1、1 在建立多元回歸模型時(shí)，為了更準(zhǔn)確地反映事物的特在建立多元回歸模型時(shí)，為了更準(zhǔn)確地反映事物的特征，人們經(jīng)常會(huì)在模型中包含較多相關(guān)解釋變量，這不僅征，人們經(jīng)常會(huì)在模型中包含較多相關(guān)解釋變量，這不僅使得問題分析變得復(fù)雜，而且變量之間可能存在多重共線使得問題分析變得復(fù)雜，而且變量之間可能存在多重共線性，使得數(shù)據(jù)提供的信息發(fā)生重疊，甚至?xí)⑹挛锏恼嫘裕沟脭?shù)據(jù)提供的信息發(fā)生重疊，甚至?xí)⑹挛锏恼嬲卣?。為了解決這些問題，需要采用降維的思想，將所正特征。為了解決這些問題，需要采用降維的思想，將所有指標(biāo)的信息通過少數(shù)幾個(gè)指標(biāo)來反映，在低維空間將信有指標(biāo)的信息通過少數(shù)幾個(gè)指標(biāo)來反映，在低維空間將信息分

2、解為互不相關(guān)的部分以獲得更有意義的解釋。本章介息分解為互不相關(guān)的部分以獲得更有意義的解釋。本章介紹的主成分分析和因子分析可用于解決這類問題。紹的主成分分析和因子分析可用于解決這類問題。 2 主成分分析（主成分分析（principal components analysis，簡(jiǎn)稱，簡(jiǎn)稱PCA）是由霍特林（）是由霍特林（Hotelling）于）于1933年首先提出的。年首先提出的。它通過投影的方法，實(shí)現(xiàn)數(shù)據(jù)的降維，在損失較少數(shù)它通過投影的方法，實(shí)現(xiàn)數(shù)據(jù)的降維，在損失較少數(shù)據(jù)信息的基礎(chǔ)上把多個(gè)指標(biāo)轉(zhuǎn)化為幾個(gè)有代表意義的據(jù)信息的基礎(chǔ)上把多個(gè)指標(biāo)轉(zhuǎn)化為幾個(gè)有代表意義的綜合指標(biāo)。綜合指標(biāo)。3 假如對(duì)某一問

3、題的研究涉及假如對(duì)某一問題的研究涉及 p 個(gè)指標(biāo)，記為個(gè)指標(biāo)，記為X1，X2, , Xp，由這，由這 p 個(gè)隨機(jī)變量構(gòu)成的隨機(jī)向量為個(gè)隨機(jī)變量構(gòu)成的隨機(jī)向量為X=(X1, X2, , Xp) ，設(shè)設(shè) X 的均值向量為的均值向量為 ，協(xié)方差矩陣為，協(xié)方差矩陣為 。設(shè)。設(shè)Y=(Y1, Y2 , , Yp) 為對(duì)為對(duì) X 進(jìn)行線性變換得到的合成隨機(jī)向量，即進(jìn)行線性變換得到的合成隨機(jī)向量，即 （13.1.1） 設(shè)設(shè) i=( i1, i2 , , ip) ，( ), A=( 1 , 2 , p) ，則有，則有 （13.1.2）ppppppppXXXYYY2121222211121121AXY pi,2,

4、14且且 （13.1.3） 由式（由式（13.1.1）和式（）和式（13.1.2）可以看出，可以對(duì)原始變）可以看出，可以對(duì)原始變量進(jìn)行任意的線性變換，不同線性變換得到的合成變量量進(jìn)行任意的線性變換，不同線性變換得到的合成變量Y的的統(tǒng)計(jì)特征顯然是不一樣的。每個(gè)統(tǒng)計(jì)特征顯然是不一樣的。每個(gè)Yi 應(yīng)盡可能多地反映應(yīng)盡可能多地反映 p 個(gè)原個(gè)原始變量的信息，通常用方差來度量始變量的信息，通常用方差來度量“信息信息”，Yi 的方差越大的方差越大表示它所包含的信息越多。由式（表示它所包含的信息越多。由式（13.1.3）可以看出將系數(shù)）可以看出將系數(shù)向量向量 i 擴(kuò)大任意倍數(shù)會(huì)使擴(kuò)大任意倍數(shù)會(huì)使Yi 的方差

5、無限增大，為了消除這種的方差無限增大，為了消除這種不確定性，增加約束條件：不確定性，增加約束條件：pjiYYpiYjijiii,2,1,),cov(,2,1)var(i1iaai5 為了有效地反映原始變量的信息，為了有效地反映原始變量的信息，Y的不同分量包含的的不同分量包含的信息不應(yīng)重疊。綜上所述，式（信息不應(yīng)重疊。綜上所述，式（13.1.1）的線性變換需要滿）的線性變換需要滿足下面的約束：足下面的約束： (1) ，即，即 ，i =1, 2, , p。 (2) Y1在滿足約束在滿足約束 (1) 即的情況下，方差最大；即的情況下，方差最大；Y2是在滿是在滿足約束足約束(1) ，且與，且與Y1不相

6、關(guān)的條件下，其方差達(dá)到最大；不相關(guān)的條件下，其方差達(dá)到最大；Yp是在滿足約束是在滿足約束(1) ，且與，且與Y1，Y2，Y p-1不相關(guān)的條件下，不相關(guān)的條件下，在各種線性組合中方差達(dá)到最大者。在各種線性組合中方差達(dá)到最大者。 滿足上述約束得到的合成變量滿足上述約束得到的合成變量Y1, Y2, , Yp分別稱為原始分別稱為原始變量的第一主成分、第二主成分、變量的第一主成分、第二主成分、第、第 p 主成分，而且各主成分，而且各成分方差在總方差中占的比重依次遞減。在實(shí)際研究工作中，成分方差在總方差中占的比重依次遞減。在實(shí)際研究工作中，僅挑選前幾個(gè)方差較大的主成分，以達(dá)到簡(jiǎn)化系統(tǒng)結(jié)構(gòu)的目?jī)H挑選前幾個(gè)

7、方差較大的主成分，以達(dá)到簡(jiǎn)化系統(tǒng)結(jié)構(gòu)的目的。的。122221ipiiaaa1iaai6 13.1.1節(jié)中提到主成分分析的基本思想是考慮合成節(jié)中提到主成分分析的基本思想是考慮合成變量的方差大小及其對(duì)原始變量波動(dòng)變量的方差大小及其對(duì)原始變量波動(dòng)(方差方差)的貢獻(xiàn)大小，的貢獻(xiàn)大小，而對(duì)于原始隨機(jī)變量而對(duì)于原始隨機(jī)變量X1，X2，Xp，其協(xié)方差矩陣，其協(xié)方差矩陣或相關(guān)矩陣正是對(duì)各變量離散程度和相關(guān)程度的度量?；蛳嚓P(guān)矩陣正是對(duì)各變量離散程度和相關(guān)程度的度量。在實(shí)際求解主成分時(shí)，一般從原始變量的協(xié)方差矩陣在實(shí)際求解主成分時(shí)，一般從原始變量的協(xié)方差矩陣或相關(guān)矩陣的結(jié)構(gòu)分析出發(fā)?；蛳嚓P(guān)矩陣的結(jié)構(gòu)分析出發(fā)。7

8、設(shè)設(shè) 1是任意是任意 p 1向量，求解主成份就是在約束條件向量，求解主成份就是在約束條件 下，下，求求 X 的線性函數(shù)的線性函數(shù) 使其方差使其方差 達(dá)到最大，達(dá)到最大，即達(dá)到最大，且即達(dá)到最大，且 ，其中，其中 是隨機(jī)變量向量是隨機(jī)變量向量X =(X1, X2, , Xp) 的協(xié)方差矩陣。設(shè)的協(xié)方差矩陣。設(shè) 1 2 p 0 為為 的特征值，的特征值，e1 , e2 , ep為為 矩陣各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)于任矩陣各特征值對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，則對(duì)于任意的意的ei 和和 ej，有，有 （13.1.4）且且 （13.1.5）Xa11Y1iaai111)var(aaY1iaaijij

9、iji, 0, 1ee,1piiiieeIeeipii18因此因此 （13.1.6）當(dāng)當(dāng) 1 = e1 時(shí)有時(shí)有 （13.1.7）此時(shí)此時(shí) 達(dá)到最大值為達(dá)到最大值為 1。同理有。同理有 并且并且 （13.1.8）1111111111111)()(Iaaaeeaaeeaaapiiipiiii111111111eeeeee111)var(aaYii)var( Xepjijijjiji, 2, 1, 0),cov(eeeeXeXe9 由上述推導(dǎo)得由上述推導(dǎo)得 （13.1.9） 可見可見Y1, Y2, , Yp 即為原始變量的即為原始變量的 p 個(gè)主成份。因此，主個(gè)主成份。因此，主成分的求解轉(zhuǎn)變?yōu)榍蟪?/p>

10、分的求解轉(zhuǎn)變?yōu)榍?X1, X2, , Xp 協(xié)方差矩陣協(xié)方差矩陣 的特征值和特的特征值和特征向量的問題。征向量的問題。 XeXeXeppYYY,221110 Y的協(xié)方差矩陣為對(duì)角陣的協(xié)方差矩陣為對(duì)角陣 ，即，即 （13.1.10） 設(shè)設(shè) =( ij)pp是隨機(jī)變量向量是隨機(jī)變量向量 X 的協(xié)方差矩陣，可的協(xié)方差矩陣，可得得即即 p00)var(1YpiipiiYX11)var()var(piipiii1111 由此可見，主成分分析是把由此可見，主成分分析是把 p 個(gè)隨機(jī)變量的總方差分解為個(gè)隨機(jī)變量的總方差分解為 p 個(gè)不相關(guān)隨機(jī)變量的方差之和個(gè)不相關(guān)隨機(jī)變量的方差之和 1 2 P，則總方差，則

11、總方差中屬于第中屬于第 i 個(gè)主成分（被第個(gè)主成分（被第 i 個(gè)主成分所解釋）的比例為個(gè)主成分所解釋）的比例為 （13.1.12）稱為第稱為第 i 個(gè)主成分的貢獻(xiàn)度。定義個(gè)主成分的貢獻(xiàn)度。定義 （13.1.13）稱為前稱為前 m 個(gè)主成分的累積貢獻(xiàn)度，衡量了前個(gè)主成分的累積貢獻(xiàn)度，衡量了前 m 個(gè)主成份對(duì)原個(gè)主成份對(duì)原始變量的解釋程度。始變量的解釋程度。pi21pmpiimjj1112記第記第k個(gè)主成分個(gè)主成分 Yk 與原始變量與原始變量 Xi 的相關(guān)系數(shù)為的相關(guān)系數(shù)為r(Yk，Xi)，稱為因子載荷，或者因子負(fù)荷量，則有，稱為因子載荷，或者因子負(fù)荷量，則有 （13.1.14）pkieeXYXY

12、XYriikkiiikkikikikik,2, 1,)var()var(),cov(),(13 在實(shí)際應(yīng)用時(shí)，為了消除原始變量量綱的影響，通常將在實(shí)際應(yīng)用時(shí)，為了消除原始變量量綱的影響，通常將數(shù)據(jù)標(biāo)準(zhǔn)化?？紤]下面的標(biāo)準(zhǔn)化變化，令數(shù)據(jù)標(biāo)準(zhǔn)化。考慮下面的標(biāo)準(zhǔn)化變化，令 （13.1.15）其中其中 i， ii 分別表示隨機(jī)變量分別表示隨機(jī)變量 Xi 的期望與方差，則的期望與方差，則 piXZiiiii,2, 1,1)var(,0)(iiZZE14 原始變量的相關(guān)矩陣就是原始變量標(biāo)準(zhǔn)化后的協(xié)方差原始變量的相關(guān)矩陣就是原始變量標(biāo)準(zhǔn)化后的協(xié)方差矩陣，因此，由相關(guān)矩陣求主成分的過程與由協(xié)方差矩陣矩陣，因此，

13、由相關(guān)矩陣求主成分的過程與由協(xié)方差矩陣求主成分的過程是一致的。如果仍然采用（求主成分的過程是一致的。如果仍然采用（i ，ei）表示）表示相關(guān)矩陣相關(guān)矩陣R對(duì)應(yīng)的特征值和標(biāo)準(zhǔn)正交特征向量，根據(jù)式對(duì)應(yīng)的特征值和標(biāo)準(zhǔn)正交特征向量，根據(jù)式（13.1.9）有：）有： （13.1.17） 由相關(guān)矩陣求得的主成分仍然滿足性質(zhì)由相關(guān)矩陣求得的主成分仍然滿足性質(zhì)13。性質(zhì)。性質(zhì)3可可以進(jìn)一步表示為：以進(jìn)一步表示為： （13.1.18）)()(12/1XVeZeiiiYpi,2,1pkieZYrkkiik,2, 1,),(15 在實(shí)際工作中，我們通常無法獲得總體的協(xié)方差矩陣在實(shí)際工作中，我們通常無法獲得總體的協(xié)方

14、差矩陣 和相關(guān)矩陣和相關(guān)矩陣R。因此，需要采用樣本數(shù)據(jù)來估計(jì)。設(shè)從均值。因此，需要采用樣本數(shù)據(jù)來估計(jì)。設(shè)從均值向量為向量為 ，協(xié)方差矩陣為，協(xié)方差矩陣為 的的 p 維總體中得到的維總體中得到的 n 個(gè)樣本，個(gè)樣本，且樣本數(shù)據(jù)矩陣為且樣本數(shù)據(jù)矩陣為 （13.1.19）npnnppnxxxxxxxxx21222211121121),(xxxx16則樣本協(xié)方差矩陣為：則樣本協(xié)方差矩陣為： （13.1.20）其中其中: （13.1.21）樣本相關(guān)矩陣為：樣本相關(guān)矩陣為： （13.1.22） 樣本協(xié)方差矩陣樣本協(xié)方差矩陣 S 是總體協(xié)方差矩陣是總體協(xié)方差矩陣 的無偏估計(jì)量，樣的無偏估計(jì)量，樣本相關(guān)矩陣本

15、相關(guān)矩陣 是總體相關(guān)矩陣是總體相關(guān)矩陣 R 的估計(jì)量。的估計(jì)量。ppijnkkksn)()(111xxxxSjkjnkikiijnkkiipxxxxnspixnxxxx1121)(11,2, 11),(x,)(ppijrRjjiiijijsssr R17 由于采用相關(guān)矩陣和協(xié)方差矩陣求解主成分的過程基本由于采用相關(guān)矩陣和協(xié)方差矩陣求解主成分的過程基本一致，因此本節(jié)僅介紹基于樣本相關(guān)矩陣求解主成分的過程。一致，因此本節(jié)僅介紹基于樣本相關(guān)矩陣求解主成分的過程。設(shè)樣本相關(guān)矩陣設(shè)樣本相關(guān)矩陣 的特征值為的特征值為 ，且，且與特征值相對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量為與特征值相對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量為 ，根據(jù)式，

16、根據(jù)式（13.1.17）第）第 i 個(gè)樣本主成分可表示為：個(gè)樣本主成分可表示為： （13.1.23）而且而且 （13.1.24） （13.1.25） Rp,21021ppeee,21pipiieeexxxxeyii2211pi,2,1pkikik,2,1,0),cov(yyipii,2,1,)var(iy18且由式（且由式（13.1.16）和性質(zhì)）和性質(zhì)2可得可得 （13.1.26） 則第則第i個(gè)樣本主成分的貢獻(xiàn)度為個(gè)樣本主成分的貢獻(xiàn)度為 ，前，前m個(gè)樣本主成份的累個(gè)樣本主成份的累計(jì)貢獻(xiàn)度為計(jì)貢獻(xiàn)度為 另外另外 （13.1.27）piiipiisp11iikkiiksexyr),(pipmii

17、/119 主成分分析的目的之一是減少變量的個(gè)數(shù)，但是對(duì)于應(yīng)主成分分析的目的之一是減少變量的個(gè)數(shù)，但是對(duì)于應(yīng)保留多少個(gè)主成分沒有確切的回答。通常需要綜合考慮樣本保留多少個(gè)主成分沒有確切的回答。通常需要綜合考慮樣本總方差的量、特征值的相對(duì)大小以及各成分對(duì)現(xiàn)實(shí)的闡述?？偡讲畹牧?、特征值的相對(duì)大小以及各成分對(duì)現(xiàn)實(shí)的闡述。一般所取一般所取 m 使得累積貢獻(xiàn)率達(dá)到使得累積貢獻(xiàn)率達(dá)到85%以上為宜。以上為宜。 另一個(gè)比較常用的可視的方法是碎石圖，首先將特征值另一個(gè)比較常用的可視的方法是碎石圖，首先將特征值 按照從大到小的順序進(jìn)行排列，碎石圖是特征值與相應(yīng)序號(hào)按照從大到小的順序進(jìn)行排列，碎石圖是特征值與相應(yīng)序

18、號(hào)i的（的（i， ）圖形，其中橫軸表示序號(hào)，縱軸表示特征值）圖形，其中橫軸表示序號(hào)，縱軸表示特征值 。為了確定主成分的合適個(gè)數(shù)，選擇碎石圖斜率變化較大的拐為了確定主成分的合適個(gè)數(shù)，選擇碎石圖斜率變化較大的拐彎點(diǎn)，通常在此序號(hào)之后的特征值取值比較小，則此序號(hào)作彎點(diǎn)，通常在此序號(hào)之后的特征值取值比較小，則此序號(hào)作為主成分的個(gè)數(shù)。例如，圖為主成分的個(gè)數(shù)。例如，圖13.1所示的碎石圖在所示的碎石圖在 i=2 處拐彎，處拐彎，則則 m 選擇選擇2。第三個(gè)經(jīng)驗(yàn)的判斷方法是只保留那些方差大于。第三個(gè)經(jīng)驗(yàn)的判斷方法是只保留那些方差大于1的主成分。的主成分。iii20 本例從一批對(duì)景氣變動(dòng)敏感，有代表的指標(biāo)中篩

19、選出本例從一批對(duì)景氣變動(dòng)敏感，有代表的指標(biāo)中篩選出5個(gè)反個(gè)反應(yīng)宏觀經(jīng)濟(jì)波動(dòng)的一致指標(biāo)組：工業(yè)增加值增速（應(yīng)宏觀經(jīng)濟(jì)波動(dòng)的一致指標(biāo)組：工業(yè)增加值增速（iva）、工業(yè)）、工業(yè)行業(yè)產(chǎn)品銷售收入增速（行業(yè)產(chǎn)品銷售收入增速（sr）、固定資產(chǎn)投資增速（）、固定資產(chǎn)投資增速（if）、發(fā)電）、發(fā)電量增速（量增速（elec）和貨幣供應(yīng)量）和貨幣供應(yīng)量M1增速（增速（m1），樣本區(qū)間從），樣本區(qū)間從1998年年1月月2006年年12月，為了消除季節(jié)性因素和不規(guī)則因素，采用月，為了消除季節(jié)性因素和不規(guī)則因素，采用X-12方法進(jìn)行季節(jié)調(diào)整。常用的方法是美國(guó)商務(wù)部采用的計(jì)算方法進(jìn)行季節(jié)調(diào)整。常用的方法是美國(guó)商務(wù)部采用的

20、計(jì)算合成指數(shù)合成指數(shù)CI的方法。特別的，本例利用主成分分析降維的思想，的方法。特別的，本例利用主成分分析降維的思想，提取主成分（提取主成分（PCA），并與合成指數(shù)），并與合成指數(shù)CI的結(jié)果進(jìn)行比較。的結(jié)果進(jìn)行比較。21 本節(jié)以例本節(jié)以例13.1的數(shù)據(jù)為例，介紹的數(shù)據(jù)為例，介紹EViews軟件中主成軟件中主成分分析的實(shí)現(xiàn)過程。首先將所涉及的變量建成一個(gè)組分分析的實(shí)現(xiàn)過程。首先將所涉及的變量建成一個(gè)組(g1)，選擇組菜單的選擇組菜單的View/Principal Components.，出現(xiàn)如圖，出現(xiàn)如圖13.6所示的窗口。在窗口中有兩個(gè)切換鈕：第一個(gè)鈕標(biāo)著所示的窗口。在窗口中有兩個(gè)切換鈕：第一個(gè)

21、鈕標(biāo)著Components，第二個(gè)鈕標(biāo)著，第二個(gè)鈕標(biāo)著Calculation，控制著組中各，控制著組中各序列離差矩陣的計(jì)算和估計(jì)。默認(rèn)的，序列離差矩陣的計(jì)算和估計(jì)。默認(rèn)的，EViews完成主成完成主成分分析使用普通的（分分析使用普通的（Pearson）相關(guān)矩陣，也可以在這個(gè)）相關(guān)矩陣，也可以在這個(gè)菜單下重新設(shè)定主成分的計(jì)算。菜單下重新設(shè)定主成分的計(jì)算。 22 Components按鈕用于設(shè)定顯示主成分和保存方差的按鈕用于設(shè)定顯示主成分和保存方差的特征值和特征向量。在特征值和特征向量。在Display對(duì)話框中可以以表的形式對(duì)話框中可以以表的形式顯示特征值和特征向量，或者按照特征值的大小以線性圖顯

22、示特征值和特征向量，或者按照特征值的大小以線性圖的形式顯示，或者是載荷、得分的散點(diǎn)圖，或者兩個(gè)都顯的形式顯示，或者是載荷、得分的散點(diǎn)圖，或者兩個(gè)都顯示（示（biplot）。選擇不同的顯示方式，對(duì)話框中其余的內(nèi)）。選擇不同的顯示方式，對(duì)話框中其余的內(nèi)容也會(huì)發(fā)生相應(yīng)的改變。容也會(huì)發(fā)生相應(yīng)的改變。232425 表頭描述了觀測(cè)值的樣本區(qū)間、計(jì)算離差矩陣的方法表頭描述了觀測(cè)值的樣本區(qū)間、計(jì)算離差矩陣的方法以及保留成分的個(gè)數(shù)（在這個(gè)例子中顯示了所有的以及保留成分的個(gè)數(shù)（在這個(gè)例子中顯示了所有的5個(gè)主成個(gè)主成分）。分）。 表的第一部分概括了特征值（表的第一部分概括了特征值（Value）、相應(yīng)特征值與）、相應(yīng)

23、特征值與后一項(xiàng)的差（后一項(xiàng)的差（Difference）、對(duì)總方差的累積解釋比例）、對(duì)總方差的累積解釋比例（Cumulative Proportion）等等。由于上述結(jié)果的計(jì)算采）等等。由于上述結(jié)果的計(jì)算采用相關(guān)矩陣，所以用相關(guān)矩陣，所以5個(gè)特征值之和等于個(gè)特征值之和等于5。第一個(gè)成分占總。第一個(gè)成分占總方差的方差的72.94%，第二個(gè)成分占總方差的，第二個(gè)成分占總方差的19.22%。前兩個(gè)成。前兩個(gè)成分占總方差的分占總方差的92.16%。 表的第二部分描述了線性組合的系數(shù)，第一個(gè)主成分表的第二部分描述了線性組合的系數(shù)，第一個(gè)主成分（標(biāo)為（標(biāo)為“PC1”）大約等于所有）大約等于所有5個(gè)一致指標(biāo)的

24、線性組合，個(gè)一致指標(biāo)的線性組合，它可以解釋為一般的經(jīng)濟(jì)景氣指數(shù)。它可以解釋為一般的經(jīng)濟(jì)景氣指數(shù)。 輸出的第三部分表示計(jì)算的相關(guān)矩陣。輸出的第三部分表示計(jì)算的相關(guān)矩陣。 26第第1主成分主成分第第2主成分主成分第第3主成分主成分 第第4主成分主成分 第第5主成分主成分特特征征向向量量固定資產(chǎn)投資增速（固定資產(chǎn)投資增速（if）0.449-0.3670.6960.2000.374工業(yè)增加值增速（工業(yè)增加值增速（iva）0.510-0.153-0.0780.312-0.783貨幣供應(yīng)量增速（貨幣供應(yīng)量增速（m1r）0.2040.9130.2850.2080.009產(chǎn)品銷售收入增速（產(chǎn)品銷售收入增速（s

25、r）0.4900.023-0.6540.2930.496發(fā)電量增速（發(fā)電量增速（elec）0.5080.088-0.020-0.857-0.026特特 征征 值值3.6030.9880.2700.0870.051貢貢 獻(xiàn)獻(xiàn) 率率0.7210.1970.0540.0180.01累積貢獻(xiàn)率累積貢獻(xiàn)率0.7210.9180.9720.9901.000 27 由表由表13.1可以看出，第可以看出，第1主成分的貢獻(xiàn)率為主成分的貢獻(xiàn)率為72.1%，已能，已能較好地反映較好地反映5個(gè)一致指標(biāo)的總體變動(dòng)情況，而且根據(jù)它們的個(gè)一致指標(biāo)的總體變動(dòng)情況，而且根據(jù)它們的特征值可以發(fā)現(xiàn)第特征值可以發(fā)現(xiàn)第2個(gè)特征值開始明

26、顯變小個(gè)特征值開始明顯變小(小于小于1)，碎石圖，碎石圖出現(xiàn)明顯的拐彎，同時(shí)為了討論方便，僅選擇出現(xiàn)明顯的拐彎，同時(shí)為了討論方便，僅選擇m=1，提取第，提取第一個(gè)主成分反映經(jīng)濟(jì)變動(dòng)。表一個(gè)主成分反映經(jīng)濟(jì)變動(dòng)。表13.1中已經(jīng)給出對(duì)應(yīng)的特征向中已經(jīng)給出對(duì)應(yīng)的特征向量，根據(jù)式（量，根據(jù)式（13.1.23）可以得到對(duì)應(yīng)的主成分序列。）可以得到對(duì)應(yīng)的主成分序列。 28 如果在主對(duì)話框的如果在主對(duì)話框的Display部分選擇部分選擇Eigenvalues plots，則顯示按順序，則顯示按順序排列的特征值的線性圖（碎石圖）。在對(duì)話框的下面將發(fā)生改變，可以選排列的特征值的線性圖（碎石圖）。在對(duì)話框的下面將

27、發(fā)生改變，可以選擇顯示特征值（碎石圖）、特征值的差、方差累積貢獻(xiàn)率其中之一，或是擇顯示特征值（碎石圖）、特征值的差、方差累積貢獻(xiàn)率其中之一，或是全部。如圖全部。如圖13.7所示可以選擇任意的復(fù)選框。默認(rèn)的所示可以選擇任意的復(fù)選框。默認(rèn)的EViews僅顯示特征值僅顯示特征值排序的碎石圖。排序的碎石圖。2930 變量載荷圖（變量載荷圖（Variable loadings plot）給出對(duì)應(yīng)主成分的變量載荷系）給出對(duì)應(yīng)主成分的變量載荷系數(shù)，從圖中可以看出如何根據(jù)原始變量合成新的主成分；成分得分圖數(shù)，從圖中可以看出如何根據(jù)原始變量合成新的主成分；成分得分圖（Component scores plot）

28、顯示對(duì)應(yīng)于樣本區(qū)間內(nèi)的觀測(cè)值成分的得分值；）顯示對(duì)應(yīng)于樣本區(qū)間內(nèi)的觀測(cè)值成分的得分值；biplot (Biplots (scores & loadings)則表示在一個(gè)圖中同時(shí)顯示載荷系數(shù)和則表示在一個(gè)圖中同時(shí)顯示載荷系數(shù)和得分值。得分值。 3132 在在Type下拉菜單中選擇使用相關(guān)下拉菜單中選擇使用相關(guān)(Correlation)還是協(xié)方差還是協(xié)方差(Covariance)矩矩陣。在陣。在Method下拉菜單中選擇計(jì)算方法：下拉菜單中選擇計(jì)算方法：Ordinary, Ordinary (uncentered), Spearman rank-order or Kendalls tau-a, o

29、r Kendalls tau-b。在該對(duì)話框中，。在該對(duì)話框中，還可以設(shè)定計(jì)算使用的觀測(cè)值樣本。還可以設(shè)定計(jì)算使用的觀測(cè)值樣本。 33 如果想保存主成分得分序列，直接從組（如果想保存主成分得分序列，直接從組（Group）菜）菜單中選擇單中選擇Proc/Make Principal Components.，則出現(xiàn)圖，則出現(xiàn)圖13.9所示的對(duì)話框。所示的對(duì)話框。34 第一個(gè)選項(xiàng)是第一個(gè)選項(xiàng)是Scaling，用于選擇得分序列和載荷計(jì)算的，用于選擇得分序列和載荷計(jì)算的權(quán)重。有權(quán)重。有4個(gè)選項(xiàng)：個(gè)選項(xiàng)： Normalize loadings，Normalize scores，Symmetric weig

30、hts和和User loading weight，默認(rèn)的，默認(rèn)的Normalize loadings，表示標(biāo)準(zhǔn)化載荷，使得所有觀測(cè)值得分對(duì)特征值，表示標(biāo)準(zhǔn)化載荷，使得所有觀測(cè)值得分對(duì)特征值有標(biāo)準(zhǔn)的比例；選擇有標(biāo)準(zhǔn)的比例；選擇Normalize scores，所有變量標(biāo)準(zhǔn)化為，所有變量標(biāo)準(zhǔn)化為1；選擇選擇Symmetric weights，將會(huì)有對(duì)稱的權(quán)重；選擇，將會(huì)有對(duì)稱的權(quán)重；選擇User loading weight，可以用戶自己定義權(quán)重。，可以用戶自己定義權(quán)重。 然后需要輸入得分序列的名稱，在例然后需要輸入得分序列的名稱，在例13.1中，我們輸入中，我們輸入第一主成分的名字第一主成分的名

31、字“PAC1”，用于保存第一個(gè)主成分。也可，用于保存第一個(gè)主成分。也可以根據(jù)需要保存對(duì)應(yīng)得分的載荷、特征值和特征向量。以根據(jù)需要保存對(duì)應(yīng)得分的載荷、特征值和特征向量。35 圖圖13.2中的實(shí)線給出了由主成分分析的第一主成分表示的一致景氣指中的實(shí)線給出了由主成分分析的第一主成分表示的一致景氣指數(shù)（數(shù)（PCA），虛線給出的是由國(guó)際上常用的美國(guó)商務(wù)部計(jì)算合成指數(shù)的方），虛線給出的是由國(guó)際上常用的美國(guó)商務(wù)部計(jì)算合成指數(shù)的方法給出的一致合成指數(shù)（法給出的一致合成指數(shù)（CI），可以發(fā)現(xiàn)二者的變化趨勢(shì)和轉(zhuǎn)折點(diǎn)幾乎完），可以發(fā)現(xiàn)二者的變化趨勢(shì)和轉(zhuǎn)折點(diǎn)幾乎完全相同，只是波動(dòng)的幅度略有差異。進(jìn)一步表明：全相同，只

32、是波動(dòng)的幅度略有差異。進(jìn)一步表明：PCA指數(shù)不僅能夠反映指數(shù)不僅能夠反映景氣波動(dòng)的變化趨勢(shì)和峰谷的轉(zhuǎn)折點(diǎn)，而且還能反映波動(dòng)的幅度。景氣波動(dòng)的變化趨勢(shì)和峰谷的轉(zhuǎn)折點(diǎn)，而且還能反映波動(dòng)的幅度。 36 因子分析（因子分析（factor analysis，簡(jiǎn)稱，簡(jiǎn)稱FA）是主成分分析的）是主成分分析的推廣，相對(duì)于主成分分析，因子分析更側(cè)重于解釋被觀測(cè)推廣，相對(duì)于主成分分析，因子分析更側(cè)重于解釋被觀測(cè)變量之間的相關(guān)關(guān)系或協(xié)方差之間的結(jié)構(gòu)。因子分析的思變量之間的相關(guān)關(guān)系或協(xié)方差之間的結(jié)構(gòu)。因子分析的思想源于想源于1904年查爾斯年查爾斯斯皮爾曼（斯皮爾曼（Charles Spearman）對(duì)學(xué)）對(duì)學(xué)生考試

33、成績(jī)的研究。研究多指標(biāo)問題時(shí)常常會(huì)發(fā)現(xiàn)，這些生考試成績(jī)的研究。研究多指標(biāo)問題時(shí)常常會(huì)發(fā)現(xiàn)，這些指標(biāo)相關(guān)性形成的背景原因是各種各樣的，其中共同的原指標(biāo)相關(guān)性形成的背景原因是各種各樣的，其中共同的原因稱為公共因子；每一個(gè)變量也含有其特定的原因，成為因稱為公共因子；每一個(gè)變量也含有其特定的原因，成為特定（特殊）因子。因子分析的實(shí)質(zhì)就是用幾個(gè)潛在的但特定（特殊）因子。因子分析的實(shí)質(zhì)就是用幾個(gè)潛在的但不能觀察的互不相關(guān)的隨機(jī)變量去描述許多變量之間的相不能觀察的互不相關(guān)的隨機(jī)變量去描述許多變量之間的相關(guān)關(guān)系（或者協(xié)方差關(guān)系），這些隨機(jī)變量被稱為因子。關(guān)關(guān)系（或者協(xié)方差關(guān)系），這些隨機(jī)變量被稱為因子。為了使

34、得這些因子能很好的替代原始數(shù)據(jù)，需要對(duì)這些因?yàn)榱耸沟眠@些因子能很好的替代原始數(shù)據(jù)，需要對(duì)這些因子給出合理的解釋。同時(shí)為了使用這些因子，還需要對(duì)提子給出合理的解釋。同時(shí)為了使用這些因子，還需要對(duì)提取結(jié)果進(jìn)行評(píng)價(jià)。取結(jié)果進(jìn)行評(píng)價(jià)。 37 因此，可以簡(jiǎn)單將因子分析的目標(biāo)概括為以下幾方面：因此，可以簡(jiǎn)單將因子分析的目標(biāo)概括為以下幾方面： （1）首先考慮是否存在較少的不相關(guān)的隨機(jī)變量可用于描）首先考慮是否存在較少的不相關(guān)的隨機(jī)變量可用于描述原始變量之間的關(guān)系；述原始變量之間的關(guān)系； （2）如果存在公共因子，那么究竟應(yīng)該選擇幾個(gè)；）如果存在公共因子，那么究竟應(yīng)該選擇幾個(gè)； （3）對(duì)提取的公共因子的含義進(jìn)行

35、解釋；）對(duì)提取的公共因子的含義進(jìn)行解釋； （4）評(píng)價(jià)每一個(gè)原始變量與公共因子之間的關(guān)系；）評(píng)價(jià)每一個(gè)原始變量與公共因子之間的關(guān)系； （5）可以將這些公共因子用于其他的統(tǒng)計(jì)分析。）可以將這些公共因子用于其他的統(tǒng)計(jì)分析。 本節(jié)將從這幾個(gè)角度給出詳細(xì)的介紹。需要注意的是因子分本節(jié)將從這幾個(gè)角度給出詳細(xì)的介紹。需要注意的是因子分析從一系列高度相關(guān)的原始變量矩陣析從一系列高度相關(guān)的原始變量矩陣X=(X1, X2 , , Xp) 中提取少中提取少數(shù)幾個(gè)不相關(guān)的因子，所以如果原始變量之間不相關(guān)則沒有必要數(shù)幾個(gè)不相關(guān)的因子，所以如果原始變量之間不相關(guān)則沒有必要進(jìn)行因子分析。在實(shí)際研究和應(yīng)用中，為了消除觀察值之

36、間由于進(jìn)行因子分析。在實(shí)際研究和應(yīng)用中，為了消除觀察值之間由于量綱的差異而造成的影響，需要將觀測(cè)值按照式（量綱的差異而造成的影響，需要將觀測(cè)值按照式（13.1.15）進(jìn)行）進(jìn)行標(biāo)準(zhǔn)化處理。本節(jié)的討論都是基于標(biāo)準(zhǔn)化后的序列，為了方便，標(biāo)準(zhǔn)化處理。本節(jié)的討論都是基于標(biāo)準(zhǔn)化后的序列，為了方便，把標(biāo)準(zhǔn)化后的隨機(jī)變量矩陣仍記為把標(biāo)準(zhǔn)化后的隨機(jī)變量矩陣仍記為Z = (Z1, Z 2, , Zp) 。 38 假如對(duì)某一問題的研究涉及假如對(duì)某一問題的研究涉及 p 個(gè)指標(biāo)，且這個(gè)指標(biāo)，且這 p 個(gè)指標(biāo)之間個(gè)指標(biāo)之間存在較強(qiáng)的相關(guān)性，則基本的因子模型可以表示為存在較強(qiáng)的相關(guān)性，則基本的因子模型可以表示為 （13.

37、2.1）稱式（稱式（13.2.1）中）中F1, F2, , Fm為公共因子，為公共因子， 1, 2, , p 表示特表示特殊因子，其中包含了隨機(jī)誤差，殊因子，其中包含了隨機(jī)誤差， i 只與第只與第 i 個(gè)變量個(gè)變量 Zi 有關(guān)，有關(guān)， lij 稱為第稱為第 i 個(gè)變量個(gè)變量 Zi 在第在第 j 個(gè)因子個(gè)因子 Fj 上的載荷（因子載荷），上的載荷（因子載荷），由其構(gòu)成的矩陣由其構(gòu)成的矩陣 L 稱為因子載荷矩陣。稱為因子載荷矩陣。pmpmpppmmmmFlFlFlZFlFlFlZFlFlFlZ221122222121211212111139 式（式（13.2.1）進(jìn)一步可以表示為下面的矩陣形式）進(jìn)

38、一步可以表示為下面的矩陣形式 （13.2.2）其中，其中，F(xiàn) = (F1, F2 , , Fm) ； = ( 1, 2 , , p) 。注意式。注意式（13.2.1）中的）中的F1, F2 , , Fm 是不可觀測(cè)的隨機(jī)變量，因此，是不可觀測(cè)的隨機(jī)變量，因此，必須對(duì)隨機(jī)變量必須對(duì)隨機(jī)變量 F 和和 做一些假定，使得模型具有特定的且做一些假定，使得模型具有特定的且能驗(yàn)證的協(xié)方差結(jié)構(gòu)。能驗(yàn)證的協(xié)方差結(jié)構(gòu)。 LFZ40假設(shè)假設(shè) （13.2.3） （13.2.4）且且 F 與與 獨(dú)立，即獨(dú)立，即 （13.2.5）滿足式（滿足式（13.2.3）式（）式（13.2.5）假定的模型（）假定的模型（13.2.

39、1）（或）（或（13.2.2）稱為正交因子模型。）稱為正交因子模型。 IFFFF0F)(),cov(,)(EEpE000000)(),cov(21,)(0 E0FF,)()cov(E41 假定隨機(jī)變量假定隨機(jī)變量Z的協(xié)方差矩陣為的協(xié)方差矩陣為，則有，則有 (13.2.6) (13.2.7)LFFFLFLFFZFZ)()()()(),cov(EEEELLFLLFLFFLLFLFLFLFLFLFLFLFZZZZ)()()()()()()()()(),cov(EEEEEEEE42 由式（由式（13.2.7）可得）可得 （13.2.8） 由于假定由于假定 Zi 和和 Fj 都是方差為都是方差為1的隨機(jī)

40、變量，因此的隨機(jī)變量，因此 lij 即為即為變量變量 Zi 與因子與因子Fj 的相關(guān)系數(shù)。的相關(guān)系數(shù)。ijjijmjjijjimjjijjilFFFlFFlFZ),cov(),cov(),cov(),cov(1143 由式（由式（13.2.6）可得）可得令令 則有則有 (13.2.9)其中其中 hi2 反映了公共因子對(duì)反映了公共因子對(duì) Zi 方差的貢獻(xiàn)，稱為共性方差，方差的貢獻(xiàn)，稱為共性方差，或者變量共同度?；蛘咦兞抗餐?。 i 稱為特殊方差，或者剩余方差。稱為特殊方差，或者剩余方差。 iimiiilllZ22221)var(21222221imjijimiihllll1)var(2iiihZ

41、44 式（式（13.2.9）表明，）表明， hi2 接近接近1時(shí)，時(shí)， i 接近接近 0，說明，說明 Zi 包包含的幾乎全部信息都可以被公因子解釋；當(dāng)含的幾乎全部信息都可以被公因子解釋；當(dāng) hi2 接近接近 0 時(shí)，時(shí)，表明公共因子對(duì)表明公共因子對(duì) 的影響不大，主要由特殊因子描述。因此，的影響不大，主要由特殊因子描述。因此， hi2 也反映了變量也反映了變量 Zi 對(duì)公共因子的依賴程度。與此類似，矩對(duì)公共因子的依賴程度。與此類似，矩陣陣 L 的第的第 j 列元素反映了第列元素反映了第 j 個(gè)因子個(gè)因子 Fj 對(duì)所有變量對(duì)所有變量 Z 的影響，的影響，記為記為 (13.2.10)稱為公共因子稱為

42、公共因子Fj 對(duì)原始變量向量對(duì)原始變量向量 Z 的方差貢獻(xiàn)，是衡量公共的方差貢獻(xiàn)，是衡量公共因子相對(duì)重要性的一個(gè)尺度，其值越大反映因子相對(duì)重要性的一個(gè)尺度，其值越大反映 Fj 對(duì)原始變量對(duì)原始變量向量向量 Z 的方差貢獻(xiàn)也越大。的方差貢獻(xiàn)也越大。piijjlg12245 因子分析的首要步驟是先確定因子載荷，或估計(jì)得到因子分析的首要步驟是先確定因子載荷，或估計(jì)得到因子載荷矩陣因子載荷矩陣L，注意在式（，注意在式（13.2.1）和式（）和式（13.2.2）中的）中的F1, F2, , Fm是不可觀測(cè)的隨機(jī)變量，因此因子載荷矩陣是不可觀測(cè)的隨機(jī)變量，因此因子載荷矩陣L的估計(jì)方法都比較復(fù)雜，常用的方法

43、有極大似然法、主的估計(jì)方法都比較復(fù)雜，常用的方法有極大似然法、主成分法、迭代主成分方法、最小二乘法、成分法、迭代主成分方法、最小二乘法、 因子提取法等。因子提取法等。46 如果假設(shè)公共因子如果假設(shè)公共因子 F 和特殊因子和特殊因子 服從正態(tài)分布，即服從正態(tài)分布，即F Nm(0, I)， Np(0, )，X1, X2, , Xp 的均值為的均值為 = ( 1, 2 , , p) ，則觀測(cè)值，則觀測(cè)值 X1, X2, , Xp 為來自正態(tài)總體為來自正態(tài)總體 Np( , ) 的樣本，可以采用極大似然法估計(jì)因子載荷矩陣和特殊的樣本，可以采用極大似然法估計(jì)因子載荷矩陣和特殊方差，似然函數(shù)是方差，似然函數(shù)

44、是 和和 的函數(shù)的函數(shù) L( , )。 由于由于 ，因此似然函數(shù)可以更清楚地表示，因此似然函數(shù)可以更清楚地表示為為L(zhǎng)( , L, )，記，記( , L, )的估計(jì)量為 ，則有 （13.2.11）LL)(,L,),(max),(LLLL47 用主成分法確定因子載荷，就是對(duì)隨機(jī)變量進(jìn)行主成用主成分法確定因子載荷，就是對(duì)隨機(jī)變量進(jìn)行主成分分析，把前面幾個(gè)主成分作為原始公共因子。其具體過分分析，把前面幾個(gè)主成分作為原始公共因子。其具體過程如下，設(shè)有程如下，設(shè)有 p 個(gè)變量個(gè)變量 Z = (Z1, Z2 , , Zp) ，可以求得從，可以求得從大到小排序的大到小排序的 p 個(gè)主成分個(gè)主成分Y1，Y2，Y

45、p，根據(jù)，根據(jù)13.1節(jié)的節(jié)的內(nèi)容可知，原始變量與主成分之間存在如下的關(guān)系：內(nèi)容可知，原始變量與主成分之間存在如下的關(guān)系： （13.2.13）ppppppppZZZYYY212122221112112148 由于由于A =( 1, , , p) = (e1, e2, , ep) 為正交矩陣，則有為正交矩陣，則有 (13.2.14)如果在式（如果在式（13.2.13）中僅取前）中僅取前m個(gè)主成分，把其余的個(gè)主成分，把其余的 p-m 個(gè)主個(gè)主成分用特殊因子成分用特殊因子 i 代替，則式（代替，則式（13.2.13）可以表示為）可以表示為 （13.2.15）式（式（13.2.15）與式（）與式（13

46、.2.1）的形式一致，）的形式一致，Yi 表示主成分，因表示主成分，因此相互獨(dú)立。此相互獨(dú)立。 YAZpmmppppmmmmYYYZYYYZYYYZ221122222112211221111149 為了使為了使 Yi 符合式（符合式（13.2.3）假設(shè)的公共因子，需要將主成）假設(shè)的公共因子，需要將主成分分Yi 的方差轉(zhuǎn)變?yōu)榈姆讲钷D(zhuǎn)變?yōu)?。由。由13.1節(jié)的介紹可知，主成分方差為特節(jié)的介紹可知，主成分方差為特征根征根 i，只需要將，只需要將 Yi 除以標(biāo)準(zhǔn)差除以標(biāo)準(zhǔn)差 即可，令即可，令， （13.2.16）則式（則式（13.2.15）轉(zhuǎn)變?yōu)椋海┺D(zhuǎn)變?yōu)椋?（13.2.17） 式（式（13.2.15

47、）已與式（）已與式（13.2.1）不僅在形式上一致，而）不僅在形式上一致，而且完全符合式（且完全符合式（13.2.3）式（）式（13.2.5）的假設(shè)。由此就得到）的假設(shè)。由此就得到因子載荷矩陣和一組初始公共因子。因子載荷矩陣和一組初始公共因子。 iiiiYF/jiiijlpmpmpppmmmmFlFlFlZFlFlFlZFlFlFlZ221122222121211212111150 迭代主成分方法也叫主因子法，或主軸因子方法迭代主成分方法也叫主因子法，或主軸因子方法，是對(duì)主是對(duì)主成分法的一種修正。首先對(duì)原始變量進(jìn)行標(biāo)準(zhǔn)化處理，其相關(guān)成分法的一種修正。首先對(duì)原始變量進(jìn)行標(biāo)準(zhǔn)化處理，其相關(guān)矩陣與協(xié)

48、方差矩陣一致，使其因子模型滿足式（矩陣與協(xié)方差矩陣一致，使其因子模型滿足式（13.2.1），根），根據(jù)式（據(jù)式（13.2.6）有）有 (13.2.18)令令 (13.2.19)稱稱R*為調(diào)整相關(guān)矩陣，或約相關(guān)矩陣。不妨設(shè)特殊因子為調(diào)整相關(guān)矩陣，或約相關(guān)矩陣。不妨設(shè)特殊因子 i 的方的方差的初始估計(jì)為差的初始估計(jì)為 i*，則有，則有hi*2 = 1- i* ，且相應(yīng)的樣本相關(guān)矩陣，且相應(yīng)的樣本相關(guān)矩陣為為 ，則對(duì)應(yīng)的約相關(guān)矩陣為，則對(duì)應(yīng)的約相關(guān)矩陣為 (13.2.20)LLRLLRR*2*2122*2121122*1*ppppphrrrhrrrhRRR51 設(shè)設(shè) 的前的前m個(gè)特征值依次為個(gè)特征值

49、依次為 1* 2* m* 0，相應(yīng)，相應(yīng)的正交單位特征向量為的正交單位特征向量為e1* , e2*, em*，則對(duì)應(yīng)的因子載荷矩，則對(duì)應(yīng)的因子載荷矩陣陣 L 的解為的解為 (13.2.21）根據(jù)式（根據(jù)式（13.2.21）和式（）和式（13.2.18），可以進(jìn)一步得到特殊因），可以進(jìn)一步得到特殊因子方差的最終估計(jì)量為子方差的最終估計(jì)量為 , (13.2.22)如果希望得到擬合程度更好的解，則可以采用迭代的方法，如果希望得到擬合程度更好的解，則可以采用迭代的方法，即利用式（即利用式（13.2.22）得到的特殊因子方差估計(jì)量帶入式）得到的特殊因子方差估計(jì)量帶入式（13.2.20）重復(fù)上述步驟，直到

50、所求解比較穩(wěn)定為止。）重復(fù)上述步驟，直到所求解比較穩(wěn)定為止。*R*2*2*1*1,mmeeeLmjijiilh12211pi,2,152 下面介紹幾種求特殊因子方差和公共因子方差初始估計(jì)下面介紹幾種求特殊因子方差和公共因子方差初始估計(jì)的幾種常用方法：的幾種常用方法： （squared multiple correlations，簡(jiǎn)，簡(jiǎn)稱稱SMC）方法）方法 SMC是比較常用的一種方法，令是比較常用的一種方法，令 ，其中，其中rii是是 的第的第i個(gè)對(duì)角元素，此時(shí)公共因子方差的估計(jì)值為個(gè)對(duì)角元素，此時(shí)公共因子方差的估計(jì)值為 它表示它表示 Xi 與其他與其他 p-1 個(gè)解釋變量之間的復(fù)相關(guān)系數(shù)。個(gè)

51、解釋變量之間的復(fù)相關(guān)系數(shù)。 最大相關(guān)系數(shù)方法是用第最大相關(guān)系數(shù)方法是用第 i 個(gè)變量個(gè)變量 Xi 與其他變量相關(guān)系與其他變量相關(guān)系數(shù)絕對(duì)值的最大值來估計(jì)，即令數(shù)絕對(duì)值的最大值來估計(jì)，即令 ，其中，其中 rij 表示表示第第 i 個(gè)變量個(gè)變量 Xi 與第與第 j 個(gè)變量個(gè)變量 Xj 的相關(guān)系數(shù)。的相關(guān)系數(shù)。iiir/1*1Riiiirh/111*2ijjiirh max253 該方法使用相關(guān)矩陣（或協(xié)方差矩陣）對(duì)角線元素的固該方法使用相關(guān)矩陣（或協(xié)方差矩陣）對(duì)角線元素的固定比例定比例 。特殊的可以取。特殊的可以取 =1，此時(shí)結(jié)果等同于主成分求解得，此時(shí)結(jié)果等同于主成分求解得到的結(jié)果。到的結(jié)果。

52、（partitioned covariance，簡(jiǎn)稱簡(jiǎn)稱PACE） 由于第由于第3種方法種方法PACE的估計(jì)量是非迭代的，因此，比較的估計(jì)量是非迭代的，因此，比較適合為迭代估計(jì)方法提供初值。適合為迭代估計(jì)方法提供初值。 特殊的直接取特殊的直接取 ，則，則 i*=0，此時(shí)得到的，此時(shí)得到的 也是也是一個(gè)主成分解。一個(gè)主成分解。12*ihL54 上述求解過程中重要的是如何確定公因子數(shù)目上述求解過程中重要的是如何確定公因子數(shù)目m，這是，這是因子分析中最重要的一步。本小節(jié)將列出其中幾種常用的方因子分析中最重要的一步。本小節(jié)將列出其中幾種常用的方法法 （Kaiser-Guttman Minimum Ei

53、genvalue） Kaiser-Guttman規(guī)則也叫做規(guī)則也叫做“特征值大于特征值大于1”方法，是方法，是最常用的一種方法。只需要計(jì)算離差矩陣（相關(guān)矩陣、協(xié)方最常用的一種方法。只需要計(jì)算離差矩陣（相關(guān)矩陣、協(xié)方差矩陣）的特征值，特征值超過平均值的個(gè)數(shù)作為因子個(gè)數(shù)。差矩陣）的特征值，特征值超過平均值的個(gè)數(shù)作為因子個(gè)數(shù)。特別地，對(duì)于相關(guān)矩陣，特征值的均值為特別地，對(duì)于相關(guān)矩陣，特征值的均值為1，所以通常取特，所以通常取特征值大于征值大于1的數(shù)作為公因子數(shù)。的數(shù)作為公因子數(shù)。55（Fraction of Total Variance） 選擇公因子個(gè)數(shù)選擇公因子個(gè)數(shù)m使得前使得前m個(gè)特征值的和超過

54、公因子總個(gè)特征值的和超過公因子總方差的某一門限值。這種方法多用于主成分分析方法，比較方差的某一門限值。這種方法多用于主成分分析方法，比較典型的是這些成分構(gòu)成總方差的典型的是這些成分構(gòu)成總方差的95%（Jackson, 1993）。）。（Minimum Average Partial） Velicer (1976) 提出的最小平均偏相關(guān)提出的最小平均偏相關(guān)(簡(jiǎn)稱簡(jiǎn)稱MAP)方法原方法原理是：給定理是：給定m個(gè)成分（個(gè)成分（m = 0，1，p-1），計(jì)算偏相關(guān)系），計(jì)算偏相關(guān)系數(shù)平方的平均值，應(yīng)保留因子的個(gè)數(shù)是使得平均值最小化的數(shù)平方的平均值，應(yīng)保留因子的個(gè)數(shù)是使得平均值最小化的個(gè)數(shù)個(gè)數(shù)56（Br

55、oken Stick） 分割線段模型的基本原理是：首先，計(jì)算離差矩陣中分割線段模型的基本原理是：首先，計(jì)算離差矩陣中第第j個(gè)最大特征值對(duì)方差的貢獻(xiàn)度，然后計(jì)算從分割線段分個(gè)最大特征值對(duì)方差的貢獻(xiàn)度，然后計(jì)算從分割線段分布得到的相應(yīng)的期望值布得到的相應(yīng)的期望值 。當(dāng)前者超過后者時(shí)，所對(duì)應(yīng)的。當(dāng)前者超過后者時(shí)，所對(duì)應(yīng)的j即即為應(yīng)該保留的因子個(gè)數(shù)（為應(yīng)該保留的因子個(gè)數(shù)（Jackson, 1993）。）。（Parallel Analysis） 平行分析模擬使用的數(shù)據(jù)與原始數(shù)據(jù)有著相同方差和觀平行分析模擬使用的數(shù)據(jù)與原始數(shù)據(jù)有著相同方差和觀測(cè)值個(gè)數(shù)，是由隨機(jī)生成器生成的獨(dú)立隨機(jī)變量數(shù)據(jù)集。計(jì)測(cè)值個(gè)數(shù)，是

56、由隨機(jī)生成器生成的獨(dú)立隨機(jī)變量數(shù)據(jù)集。計(jì)算模擬數(shù)據(jù)的算模擬數(shù)據(jù)的Pearson協(xié)方差和相關(guān)矩陣及其特征值。只要協(xié)方差和相關(guān)矩陣及其特征值。只要原始數(shù)據(jù)的特征值超過模擬數(shù)據(jù)的對(duì)應(yīng)值，相應(yīng)的個(gè)數(shù)將作原始數(shù)據(jù)的特征值超過模擬數(shù)據(jù)的對(duì)應(yīng)值，相應(yīng)的個(gè)數(shù)將作為保留因子數(shù)為保留因子數(shù)57 采用極大似然估計(jì)模型時(shí)，假設(shè)公共因子和特殊因采用極大似然估計(jì)模型時(shí)，假設(shè)公共因子和特殊因子均服從正態(tài)分布，而正態(tài)分布的假定，可以幫助我們子均服從正態(tài)分布，而正態(tài)分布的假定，可以幫助我們構(gòu)造模型充分性的檢驗(yàn)。設(shè)提取構(gòu)造模型充分性的檢驗(yàn)。設(shè)提取m個(gè)公共因子的模型成個(gè)公共因子的模型成立，則檢驗(yàn)立，則檢驗(yàn)m個(gè)公共因子的充分性等價(jià)于

57、檢驗(yàn)個(gè)公共因子的充分性等價(jià)于檢驗(yàn) （13.2.27） 對(duì)應(yīng)的備擇假設(shè)對(duì)應(yīng)的備擇假設(shè) H1 為為 是任意其他的正定矩陣。是任意其他的正定矩陣。LL:0H58 在原假設(shè)成立的條件下可以構(gòu)造下面的似然比統(tǒng)計(jì)量在原假設(shè)成立的條件下可以構(gòu)造下面的似然比統(tǒng)計(jì)量 （13.2.28）其中其中 Sn 表示協(xié)方差矩陣的極大似然估計(jì)；表示協(xié)方差矩陣的極大似然估計(jì)； ，其中其中 和和 分別表示分別表示 L 和和 的極大似然估計(jì)量，而的極大似然估計(jì)量，而 是是 的極大似然估計(jì)量。式的極大似然估計(jì)量。式（13.2.28）的統(tǒng)計(jì)量服從）的統(tǒng)計(jì)量服從 2分布。分布。 特別的，特別的，Bartlett在在1954年證明了年證明

58、了-2ln 抽樣分布的抽樣分布的 2近似可以用多重因子（近似可以用多重因子（n-1- (2p+4m+5)/6）代替式（）代替式（13.2.28）中的中的n。nnSlnln2LLLLLLL59 利用利用Bartlett修正，只要修正，只要n和和n- p大，若大，若 （13.2.29） 則在顯著性水平則在顯著性水平 下拒絕原假設(shè)下拒絕原假設(shè) H0，認(rèn)為，認(rèn)為 m 個(gè)因子個(gè)因子是不充分的。式（是不充分的。式（13.2.29）表示的）表示的 2統(tǒng)計(jì)量也稱為統(tǒng)計(jì)量也稱為Bartlett 2統(tǒng)計(jì)量。由于式（統(tǒng)計(jì)量。由于式（13.2.29）中的自由度必須大于）中的自由度必須大于0，進(jìn)一，進(jìn)一步化簡(jiǎn)可以得到步

59、化簡(jiǎn)可以得到 （13.2.30）在選擇在選擇 m 時(shí)，必須根據(jù)上述方法進(jìn)行判斷模型的充分性。時(shí)，必須根據(jù)上述方法進(jìn)行判斷模型的充分性。2/ )(ln)6/ )542(1(22mpmpmpnnSLL)1812(21ppm60 曾有學(xué)者研究了紐約票股交易所的曾有學(xué)者研究了紐約票股交易所的5只股票（阿萊德只股票（阿萊德化學(xué)（化學(xué)（allied）、杜邦）、杜邦(dupont)、聯(lián)合碳化物、聯(lián)合碳化物(union)、埃、?？松松?exxon)和德士古和德士古(texaco)）從）從1975年年1月到月到1976年年12月月期間周回報(bào)率之間的關(guān)系（數(shù)據(jù)見本章附錄）。周回報(bào)率期間周回報(bào)率之間的關(guān)系（數(shù)據(jù)見

60、本章附錄）。周回報(bào)率定義為（本周五收盤價(jià)定義為（本周五收盤價(jià)-上周五收盤價(jià)）上周五收盤價(jià)）/上周五收盤價(jià)，上周五收盤價(jià)，如有拆股或支付股息時(shí)進(jìn)行相應(yīng)調(diào)整。連續(xù)如有拆股或支付股息時(shí)進(jìn)行相應(yīng)調(diào)整。連續(xù)100周的觀測(cè)周的觀測(cè)值表現(xiàn)出獨(dú)立同分布，但是各股之間的回報(bào)率受總體經(jīng)濟(jì)值表現(xiàn)出獨(dú)立同分布，但是各股之間的回報(bào)率受總體經(jīng)濟(jì)狀況的影響，也存在相關(guān)關(guān)系。表狀況的影響，也存在相關(guān)關(guān)系。表13.2給出各指標(biāo)的相關(guān)給出各指標(biāo)的相關(guān)矩陣。矩陣。61allieddupontunionexxontexacoallied1.000.580.510.390.46dupont0.581.000.600.390.32uni