第八章 因子分析

第八章因子分析指導老師：XXX教授授課人：XXX主講內容引言§8.1因子分析的基本思想與模型§8.2參數估計8.2.1因子載荷的統(tǒng)計意義8.2.2因子載荷矩陣的求解§8.3因子旋轉§8.4因子得分§8.5因子分析的展望和建議引言上一章我們對主成分分析作了討論。通常，只要變量之間存在一定的相關性，前幾個主成分往往就能具有較高的累計貢獻率，從而達到較好的降維目的。然而，在很多情況下值時對變量作了降維還不行，還必須對主成分給出符合實際背景和意義的解釋。進行這種解釋往往正是主成分分析的困難之處。本章將介紹的因子分析(factoranalysis)可看作主成分分析的推廣和發(fā)展，也是利用降維方法進行統(tǒng)計分析的一種多元統(tǒng)計方法。因子分析研究相關矩陣或協方差矩陣的內部依賴關系，它將多個變量綜合為少數幾個因子，以再現原始變量與因子之間的相互關系，得到了廣泛的應用。因子分析的概念起源于20世紀初KarlPearson和CharlesSpearmen等人關于智力測驗的統(tǒng)計工作，目前，因子分析已成功應用于心理學、醫(yī)學、經濟學等領域，并因此促進了理論的不斷豐富和完善。在解決實際問題和科學研究中，我們經常會手機盡可能多的數據信息，希望能對問題有一個較全面、綜合的認識；但有與理論發(fā)展和應用技術的限制，很對變量無法在處理和分析中發(fā)揮作用，大量的信息反而成為了分析和解決問題的障礙。例如，在評價一個學小的綜合水平時，會收集到關于學校的眾多信息，包括學生人數、教師人數、學生數學競賽和英語競賽獲獎情況、實驗室的規(guī)模、圖書館藏書量、每年科研人員論文數、師生比例等信息，但將這些海量信息集中在一起處理時，會感到煩亂繁雜而無從下手；同時，由于變量間存在一定的相關性和心系重疊現象，就更增加了處理的難度。為了解決這些問題，直接的辦法是減少變量的個數，但還不能使損失的信息量太多。因子分析方法是一種能夠降低變量的數量，并得到廣泛應用的有效方法。利用因子分析方法處理數據，就是將眾多的變量綜合成較少的幾個綜合指標，這例如，國民經濟發(fā)展水平由很多不同產業(yè)因素決定，諸如制鞋業(yè)、家電業(yè)、服務業(yè)、鋼鐵產業(yè)、信息產業(yè)、種植業(yè)、養(yǎng)殖業(yè)等，利用因子分析，如果可以得到4個因子，經過研究所有產業(yè)和這4個因子之間的關系，可以發(fā)現有一個因子可能是代表工業(yè)產業(yè)的一個綜合，另外的分別代表農業(yè)、第三產業(yè)和信息產業(yè)。

總之，因子分析是研究如何將眾多的變量利用為數不多的幾個因子表示，并且保證信息損失最小和因子間不具有顯著的相關性的多元統(tǒng)計分析方法。些指標稱為因子。因子的個數遠遠少于變量的數量，但因子能夠反映原始變量的大部分信息，同時，因子之間不具有顯著性的線性關系。不僅如此，利用因子分析得到的因子還能有效的解釋變量，這對于問題的進一步分析和應用有重要的意義?！?.1因子分析的基本思想與模型一．因子分析的基本思想

因子分析的基本思想是根據相關性大小將變量分組，使得同組內的變量之間相關性較高，不同組的變量相關性較低。每組變量代表一個基本結構，用一個不可觀測的綜合變量表示，這個基本結構稱為公共因子。對于所研究的問題就可用最少個數的不可觀測的所謂公共因子的線性函數與特殊因子之和來描述原來觀測的每一分量。二．因子模型在實際問題的研究中，描述某一問題(或過程)的指標很多，有時多到幾十個。例如，為了充分了解中學生的知識和能力，常常需要設計大量的問題讓學生作答。這些問題涉及面很廣。但相互之間存在一定的聯系，一般來說，可歸結為文字表達、計算算推導、藝術修養(yǎng)、史地知識和生活常識五個方面，我們稱每個方面為一個因子。我們的目的也就是要從一些相互關聯的問題的回答中找出這少數幾個主要因子，每一個主要因子可以幫助我們對學生的知識和能力進行分析和解釋。因子分析的另一個作用是對變量(或樣品)進行分類處理。我們可以根據因子得分值，在因子鈾所構成的空間中把變量(或樣品)點畫出來，形象直觀地達到分類的目的。例8.1某企業(yè)招聘人才，對每位應聘者進行外貌、申請書的形式、專業(yè)能力、討人喜歡的能力、自信心、洞察力、誠信、推銷本領、經驗、工作態(tài)度、抱負、理解能力、潛在能力、實際能力、適應性的15個方面考核.這15個方面可歸結為應聘者的表現力、親和力、實踐經驗、專業(yè)能力4個方面，每一方面稱為一個公共因子。企業(yè)可根據這4個公共因子的情況來衡量應聘者的綜合水平。為了給出因子分析模型,我們先看下面的兩個例子。例8.2在企業(yè)經濟效益的評價中，經濟效益的指標體系有八項：固定資產利稅率、資金利稅率、銷售收入利稅率、資金利潤率、固定資產產值率、流動資金周轉天數、萬元產值能耗、全員勞動生產率。這八項指標可概括為贏利能力、資金和人力利用、產值能耗三個方面．這三個方面在企業(yè)的生產經營活動中為主要因子，起著支配作用，企業(yè)要提高經濟效益就要在這三個公共因子方面下功夫。綜合上面的例子，我們給出因子分析的一般模型。設有n個樣品，每個樣品觀測p個變量.為了對變量進行比較,并消除由于觀測量綱的差異及數量級不同所造成的影響，將樣品觀測值進行標準化處理，使標準化后的變量的均值為0，方差為1。為了方便，我們將原始觀測值和變換后的新變量均用x表示。設原公共因子變量為經標準化后的公共因子變量記為如果，（1）是可觀測隨機向量，且均值向量且協方差矩陣協方差矩陣與相關矩陣相等;（2）是不可觀測向量，其均值向量協方差矩陣即向量的各分量是相互獨獨立的;（3）與F相互獨立，且的協方差矩陣是對角陣，即（8.1）或者說，的各分量之間也是相互獨立的，則模型稱為因子模型。模型(8.1)的矩陣形式為其中此時(*)模型(8.1）中的稱為公共因子(也稱為主因子)，而它們是在各個原觀測變量的表達式中都共同出現的因子，是相互獨立的不可觀測的理論變量。公共因子的含義，必須結合具體問題的實際意義而定。稱為特殊因子,是向量的的分量所特有的因子，各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨立的。式(8.2)的矩陣中的元素稱為因子載荷，的絕對值越，對于大表明與的相依程度越大，或稱公共因子的載荷量大,故稱為公共因子載荷量，簡稱因子載荷。矩陣A稱為因子載荷矩陣。例8.2.1設隨機向量的協方差矩陣為則可分解為其中當m=p時，任何協方差矩陣均可按(*)式進行分解，如；可取而當時，未必能作（*）式的分解.在因子分析的大多數應用中，m較p小得多，一般很難準確地作（*）式的分解，通常只能使這種分解近似地成立，近似程度越好，表明因子模型擬合得越佳?！?.2參數估計為了討論因子模型的參數估計方法，我們需要了解因子載荷矩陣A統(tǒng)計意義，這對于解釋因子分析的結果也是十分重要的。§8.2.1因子載荷的統(tǒng)計意義一、因子載荷的統(tǒng)計意義由式(8.1)知所以(8.5)與的協方差為即是與的協方差。另一方面，與的相關系數為因此，也是與的相關系數，它表示依賴的程度,反映了第i個變量對第j個公共因子的相對重要性，也就是變量與公共因子間的密切程度,同時也可將看作第i個變量在第j個公共因子上的權。二、變量共同度的統(tǒng)計意義如果將因子載荷矩陣A中第i行元素的平方和記為即因子載荷矩陣中各行元素的平方和為稱它為變量的共同度。因為已將假設原始變量和主因子、特殊因子都進行了標準化處理,所以的方差式(8.9)表明變量由兩部分組成，第一部分是它反映了全部公共因子對變量的影響，是全部公共因子對的方差貢獻。若全部公共因子對的方差貢獻接近于1，則表明該變量的幾乎全部原始信息都被選取的公共因子說明了。第二部分是特殊因子的方差，僅與變量本身的變化有關，稱為剩余方差。由式(8.9)知，增大則必減小，因此表示x的第i個分量對于F的每一分量的共同依賴為變量的共同度。三、公共因子的方差貢獻的統(tǒng)計意義和記為如果將因子載荷矩陣A的第列的各元素的平方,即的值程度，故則表示第j個公共因子對于x的每個分量所提供方差的總和。稱為公共因子對x的方差貢獻,它是衡量公共因子相對重要性的指標,越大，表明公共因子對x的貢獻越大，或者說對x的影響和作用就越大。如果將因子載荷矩陣A的所有都計算出來,使其按大小排序，就可以依此提取最有影響的公共因子?！?.2.2因子載荷矩陣的求解要建立一個實際問題的因子分析模型，重要的是進行因子模型參數的估計，其中最關鍵的是要根據樣品數據矩陣估計載荷矩陣眾下面介紹兩種常用的載荷矩陣的估計方法。一、主成分法設隨機向量的均值為,協方差矩陣為為對應的標可以分解為為的特征值，準正交化特征向量，則(8.11)差矩陣結構，特殊因子的方差為0，載荷矩陣的第j列為因此除了常數因子之外，在第j個因子上的載荷就是第j個總體主成分的系數與式(8.4)比較，式(8．12)給出的表達式是精確的，但它并無實用價值，因為我們的目的是尋求用少數幾個公共因子解釋協差結構的因子模型。上面的分解是公共因子與變量個數一樣多的因子模型的協方我們通常略去式(8.11)中m-p項后對的貢獻,于是得到式(8.13)是假定了因子模型中的特殊因子是不重要的，因而從的分解中忽略掉特殊因子的方差。若考慮特殊因子，則協方差矩陣為設S為樣本協方差矩陣，經過標準化處理后，變量的協方差矩陣就等于樣本相關矩陣R。對樣本協方差矩陣S或相關矩陣R作類似式(8.14)的分解，就可得到A和的一個解。因為因子載荷矩陣A是前m個主成分系數的倍數，所以稱由這種分解得到的解為主成分解。一般地,設為樣本相關矩陣R的特征根，為對應的標準正交化特征向量。設,則因子載荷矩陣為(8.15)共同度的估計為(8.16)一是根據具體問題的專業(yè)知識來確定，二是采用主成分分析中選取主成分個數的方法。例如，我們按所選取的公共因子的信息量的和占總體消息量達到一個適當比例為止，我們可以從少到多逐步增加模型中公共因子個數m，使所選的主因子對樣本方差的貢獻累計達到85％以上。這個比例是可以根據具體問題調整的，關鍵是要有利于因子模型的解釋。如何選取公共因子的個數m呢?例8.3根據原始數據(表81)對企業(yè)經濟效益指標體系的八項指標建立因子分析模型(何曉群,2003).表8.1全國重點水泥廠主要經濟效益指標廠家編號固定資產利稅率（%）資金利稅率（%）銷售收入利稅率（%）資金利潤率(%)固定資產產值率(%)流動資金周轉天數（d）萬元產值能耗(t)全員勞動生產率116.6826.7531.8418.4053.255528.831.75219.7027.5632.9419.2059.825532.922.87315.2023.4032.9816.2446.786541.691.5347.298.9721.304.7634.396239.281.63529.4556.4940.7443.6875.326926.682.14632.9342.7847.9833.8766.465032.872.60725.3937.8536.7627.5668.186335.792.43815.0519.4927.2114.2156.137635.761.75919.8228.7833.4120.1759.257139.131.831021.1335.2039.1626.5252.476235.081.731116.7528.7229.6219.2355.765830.081.521215.8328.0326.4017.4361.196132.751.601316.5329.7332.4920.6350.416937.511.31142.22454.5931.0537.0067.956332.331.571512.9220.8225.1212.5451.076639.181.83解設為固定資產利稅率;為資金利稅率;稅率;為銷售收入利為資金利潤率;為固定資產產值率;為流動資金周轉天數;為萬元產位能耗;為萬元產位能耗;由原始數據計算出相關矩陣為(對稱部分未寫出)計算相關矩陣R的特征值，前三個特征值為它們對樣本方差的累積貢獻率為于是我們選m=3。因子載荷和共同度的估計列于表8.2中表8.2因子載荷與共同度的估計變量因子共同度載荷量0.9698-0.01360.22680.99210.91680.2955-0.11130.94020.8434-0.11790.36760.86030.94620.2625-0.03050.96520.90030.2162-0.06980.8622-0.30790.86430.19060.8781-0.66890.10050.64950.87930.5737-0.46700.27340.62195.0981.2700.8120.6370.7960.897由表8.2可得出企業(yè)經濟效益指標體系的因子分析模型(特殊因子忽略不計)如下：由因子分析模型可知，第一個主因子主要由固定資產利稅率、資金利稅率、銷售收入利稅率、資金利潤率、固定資產產值率這五個指標所決定，這五個指標在主因子上的載荷均在0.8以上，它代表著企業(yè)經濟活動中的贏利能力，而且主因子的體系中的重要方面。企業(yè)要提高經濟效益，就要在這個主因子方差貢獻己達63％之多，所以更說明是企業(yè)經濟效益指標企業(yè)經濟活動中流動資金的周轉快慢對企業(yè)的經濟效益影響也很大，而流動資金的周轉快慢與企業(yè)的生產經營及市場信息相關。企業(yè)要提高經濟效益就要在產品結構的調整上想辦法，要生產適銷對路的產品，提高本企業(yè)產品的市場占有率。第二個主因子主要由流動資金周轉天數所決定，說明產值和能耗反映的是投入與產出的關系.企業(yè)要提高經濟效益就不能忽視降低生產成本、提高勞動生產率這些重要問題。第三個主因子主要由萬元產值能耗八和全員勞動生產率所決定。這個主因子土要反映了企業(yè)的產值和能耗方面，方面下功夫。例8.4研究紐約股票市場上五種股票(AlliedChemical，Dupont，UnionCarbide，Exxon和Texaco)的周回升率(何曉群,2003)。這里，周回升率＝(本星期五市場收盤價一上星期五市場收盤價)／上星期五市場收盤價。原始資料見王學仁等(1990)《實用多元統(tǒng)計分析》，這組資料是對五種股票從1975年1月到1976年12月的獨立觀測值。解設分別為上述五種股票的周回升率，則從原始數據計算得到我們考慮樣本相關矩陣R的前兩個主成分，即m＝2，因子分析的主成分解列于表8.3。由表8.3可知，第一主因子代表了一般經濟條件，稱為市場因子，所有股票在這個因子上的載荷都比較大,且大致相等。第二個主因子凡是化學股票(前三個都是化學工業(yè)公司)和石油股票(后兩個是石油公司)的一個“對照”,兩者分別有比較大的負、正載荷,生差異,通常稱為工業(yè)因子.歸納起來,可得如下結論：股票回升率由一般經濟條件、工業(yè)部門活動和各公司本身特殊活動三部分決定.變量因子共同度載荷量

AlliedChemical0.783-0.2170.66

Dupont0.773-0.4580.81

UnionCarbide0.794-0.2340.69

Exxon0.7130.4720.73

Texaco0.71250.5240.78特征值2.8570.809累計貢獻0.5710.733使不同工業(yè)部門的股票產二、極大似然法如果假定公共因子F和特殊因子服從正態(tài)分布，那么我們能夠得到因子載荷和特殊因子方差的極大似然估計。設為來自正態(tài)總體的隨機樣本，這里且與有聯合正態(tài)分布。由似然函數的理論知它通過依賴于A和.式(8．17)并不能惟一確定A，為此，可添加惟一性條件(8.18)這里是一個對角陣。用數值極大化方法可以得到極大似然估計和.極大似然估計和將使為對角矩陣，且使式(8.17)達到最大。共同度的極大似然估計為(8.19)第i個因子對總體樣本方差的貢獻為其中為第i個變量的方差。關于極大似然估計方法的理論推導和證明可參見張堯庭等(1997)《多元統(tǒng)計分析引論》。例8.5(續(xù)例8.4)取m=2，對股票價格數據應用極大似然法做因子載荷的估計。解用極大似然法和主成分法估計的因子載荷列于表8.4。由表中數值可知，主成分法的公共因子對總體樣本方差的貢獻比極大似然法要大，這是因為主成分因子分析與主成分相聯系，而極大似然法具有方差極大化性質。極大似然法得到的主因子可解釋為市場因子，這是因為所有變量在上都有較大的正載荷，這與例8.4的情況一致。第二個主因子的意義并不像主成分法那么清楚。載荷的符號雖然也形成化學勝票和石油股票的一個對照但有一些絕對值很小，因此可以把它看成僅僅是Dupont化學公司和Texaco石油公司之間的一個對比。表8．4基于極大似然法和主成分法的因子載荷估計變量極大似然估計主成分估計共同度共同度AlliedChemical0.6840.1890.500.783-0.2170.66

Dupont0.6940.5170.750.773-0.4580.81UnionCarbide0.6810.2480.530.794-0.2340.69

Exxon0.621-0.0730.390.7130.4720.73

Texaco0.792-0.4420.820.7120.5240.78累計貢獻0.4850.5980.5710.7338.3因子旋轉建立因子分析模型的目的不僅是找出主因子，更重要的是知道每個主因子的明確意義，以便對實際問題進行深入分析。然而用上一節(jié)介紹的方法求出的主因子解，各主因子代表的變量并不很突出，容易使因子的意義含糊不清，不便于對實際問題進行分析。公共因子是否易于解釋，很大程度上取決于因子載荷矩陣A元素結構。假設A是從相關矩陣R出發(fā)求得的，則即A的所有元素均在-1和1之間。如果載荷矩陣A的所有元素都接近0或則模型的公共因子就易于解釋。這時可將原始變量分成m個部分，第一部分對應第一個公共因子第m部分對應第m個公共因子反之，如果載荷矩陣A的元素多數居中，不大不小，則對模型的公共因子一般就不易作出解釋，此時應該考慮進行引資旋轉，是的旋轉之后的載荷矩陣在每列上元素的絕對值盡量的拉開大小距離，也就是hi進肯呢個地使其中的一些元素接近于0，另一些元素接近于因子旋轉有方差最大正交旋轉法和斜交旋轉法等，本節(jié)只介紹方差最大正交旋轉方法。對公共因子作正交旋轉相當于對載荷矩陣A作一正交變換，右乘正交矩陣T，使B=AT能有更鮮明的實際意義。旋轉后的公共因子向量為它的幾何意義是在m維空間上對原因子軸作一剛性旋轉。因子旋轉不改變共性方差和殘差矩陣，這時因為從而可通過適當的旋轉來得到我們比較滿意的公共因子。這種變換因子載荷矩陣的方法稱為因子旋轉。先考慮兩個因子的平面正交旋轉。設因子載荷矩陣為取為正交矩陣令（8.22）這樣他的目的是希望所得結果使載荷矩陣的每一列元素按其平方值盡可能大或者盡可能小，即向l和0兩極分化，也就是說因分成兩部分，一部分主要與第一因子有關，另一部分主要與第和這兩級數據的方差要盡可能的大，考慮各列的相對方差（8.23）這里取是為了消除符號不同的影響，除以除各個變量對公共因子依賴程度不同的影響?，F在要求總的方是為了消達到最大值，于是考慮G對子的貢獻越分散越好。這實際上是希望將變量二因子有關，這也就是要求差達到最大，即要求使（8.24）其中這一公式的詳細理論證明參見張堯庭等(1997)《多元統(tǒng)計分析引論》。的導數，利用式（8.22）、式（8.23），經過一些計算，就要取滿足可知要使當公共因子數m>2時，可以每次取2個，全部配對旋轉，旋轉次旋轉，但是旋轉完畢后，并不能認為就已經達到目的。還可以重新開始，進行第二輪次配對旋轉。于是每經過一次旋轉，A矩陣就發(fā)生變化，即從的各列相應的相對方差之和只會比的大，記為各列方差之和，則有這是一個單調上升的序列，而它又是有界的，因此它一定會收斂兩列進行,此時在公式(8.24)中，只時總是對A陣中第就行了。因此共需進行需將到某一極限經過若干次旋轉后，它的總方差的變化不大了，就可停止旋轉。例8.6(續(xù)例8.5)對股票價格問題，用極大似然法給出的初始因子載荷和方差極大旋轉因子載荷(m=2)都列在表8.5中。表8.5旋轉前后的因子載荷變量因子載荷極大似然估計旋轉因子的載荷估計共同度AlliedChemical0.6840.1890.6010.3770.50Dupont0.6940.5170.8500.1640.75UnionCarbide0.6810.2480.6430.3350.53Exxon0.