主成分分析與因子分析的優(yōu)缺點(diǎn)

1、主成分分析就是將多項(xiàng)指標(biāo)轉(zhuǎn)化為少數(shù)幾項(xiàng)綜合指標(biāo) ,用綜合指標(biāo)來(lái)解釋多變量的方差-協(xié)方差結(jié) 構(gòu).綜合指標(biāo)即為主成分.所得出的少數(shù)幾個(gè)主成分,要盡可能多地保存原始變量的信息,且彼此不相關(guān). 因子分析是研究如何以最少的信息喪失 ,將眾多原始變量濃縮成少數(shù)幾個(gè)因子變量 ,以及如何使因子 變量具有較強(qiáng)的可解釋性的一種多元統(tǒng)計(jì)分析方法 .聚類分析是依據(jù)實(shí)驗(yàn)數(shù)據(jù)本身所具有的定性或定量的特征來(lái)對(duì)大量的數(shù)據(jù)進(jìn)行分組歸類以了解數(shù)據(jù) 集的內(nèi)在結(jié)構(gòu),并且對(duì)每一個(gè)數(shù)據(jù)集進(jìn)行描述的過(guò)程.其主要依據(jù)是聚到同一個(gè)數(shù)據(jù)集中的樣本應(yīng)該彼 此相似,而屬于不同組的樣本應(yīng)該足夠不相似.三種分析方法既有區(qū)別也有聯(lián)系,本文力圖將三者的異同

2、進(jìn)行比擬,并舉例說(shuō)明三者在實(shí)際應(yīng)用中的 聯(lián)系,以期為更好地利用這些高級(jí)統(tǒng)計(jì)方法為研究所用有所裨益.二、根本思想的異同一共同點(diǎn)主成分分析法和因子分析法都是用少數(shù)的幾個(gè)變量因子來(lái)綜合反映原始變量因子的主要信息,變量雖然較原始變量少,但所包含的信息量卻占原始信息的 85 %以上,所以即使用少數(shù)的幾個(gè)新變量 可信度也很高,也可以有效地解釋問(wèn)題.并且新的變量彼此間互不相關(guān),消除了多重共線性.這兩種分析 法得出的新變量,并不是原始變量篩選后剩余的變量.在主成分分析中,最終確定的新變量是原始變量 的線性組合,如原始變量為x1 ,x2 ,. . . ,x3 ,經(jīng)過(guò)坐標(biāo)變換,將原有的p個(gè)相關(guān)變量xi作線性變換,

3、每個(gè)主成分都是由原有p個(gè)變量線性組合得到.在諸多主成分Zi中,Z1在方差中占的比重最大,說(shuō) 明它綜合原有變量的水平最強(qiáng),越往后主成分在方差中的比重也小,綜合原信息的水平越弱.因子分析 是要利用少數(shù)幾個(gè)公共因子去解釋較多個(gè)要觀測(cè)變量中存在的復(fù)雜關(guān)系,它不是對(duì)原始變量的重新組合,而是對(duì)原始變量進(jìn)行分解,分解為公共因子與特殊因子兩局部.公共因子是由所有變量共同具有的 少數(shù)幾個(gè)因子；特殊因子是每個(gè)原始變量單獨(dú)具有的因子.對(duì)新產(chǎn)生的主成分變量及因子變量計(jì)算其得分,就可以將主成分得分或因子得分代替原始變量進(jìn)行進(jìn)一步的分析,由于主成分變量及因子變量比原始變量少了許多,所以起到了P1維的作用,為我們處理數(shù)據(jù)降

4、低了難度.聚類分析的根本思想是：采用多變量的統(tǒng)計(jì)值,定量地確定相互之間的親疏關(guān)系,考慮對(duì)象多因素的 聯(lián)系和主導(dǎo)作用,按它們親疏差異程度,歸入不同的分類中一元,使分類更具客觀實(shí)際并能反映事物的內(nèi)在必然聯(lián)系.也就是說(shuō),聚類分析是把研究對(duì)象視作多維空間中的許多點(diǎn),并合理地分成假設(shè)干類,因此它是一種根據(jù)變量域之間的相似性而逐步歸群成類的方法,它能客觀地反映這些變量或區(qū)域之間的內(nèi) 在組合關(guān)系3 .聚類分析是通過(guò)一個(gè)大的對(duì)稱矩陣來(lái)探索相關(guān)關(guān)系的一種數(shù)學(xué)分析方法,是多元統(tǒng)計(jì)分析方法,分析的結(jié)果為群集.對(duì)向量聚類后,我們對(duì)數(shù)據(jù)的處理難度也自然降低,所以從某種意義上說(shuō) 聚類分析也起到了降維的作用.二不同之處主成

5、分分析是研究如何通過(guò)少數(shù)幾個(gè)主成分來(lái)解釋多變量的方差一協(xié)方差結(jié)構(gòu)的分析方法,也就是求出少數(shù)幾個(gè)主成分變量,使它們盡可能多地保存原始變量的信息,且彼此不相關(guān).它是一種數(shù)學(xué)變換 方法,即把給定的一組變量通過(guò)線性變換,轉(zhuǎn)換為一組不相關(guān)的變量?jī)蓛上嚓P(guān)系數(shù)為0,或樣本向量彼 此相互垂直的隨機(jī)變量,在這種變換中,保持變量的總方差方差之和不變,同時(shí)具有最大方差,稱為 第一主成分；具有次大方差,稱為第二主成分.依次類推.假設(shè)共有p個(gè)變量,實(shí)際應(yīng)用中一般不是找p個(gè) 主成分,而是找出m m < p個(gè)主成分就夠了,只要這m個(gè)主成分能反映原來(lái)所有變量的絕大局部的方差.主成分分析可以作為因子分析的一種方法出現(xiàn).因

6、子分析是尋找潛在的起支配作用的因子模型的方法.因子分析是根據(jù)相關(guān)性大小把變量分組,使得同組內(nèi)的變量之間相關(guān)性較高,但不同的組的變量相關(guān)性較低,每組變量代表一個(gè)根本結(jié)構(gòu),這個(gè)根本結(jié) 構(gòu)稱為公共因子.對(duì)于所研究的問(wèn)題就可試圖用最少個(gè)數(shù)的不可測(cè)的所謂公共因子的線性函數(shù)與特殊 因子之和來(lái)描述原來(lái)觀測(cè)的每一分量.通過(guò)因子分析得來(lái)的新變量是對(duì)每個(gè)原始變量進(jìn)行內(nèi)部剖析.因子分析不是對(duì)原始變量的重新組合,而是對(duì)原始變量進(jìn)行分解,分解為公共因子和特殊因子兩局部.具 體地說(shuō),就是要找出某個(gè)問(wèn)題中可直接測(cè)量的具有一定相關(guān)性的諸指標(biāo),如何受少數(shù)幾個(gè)在專業(yè)中有意義、又不可直接測(cè)量到、且相對(duì)獨(dú)立的因子支配的規(guī)律,從而可用

7、各指標(biāo)的測(cè)定來(lái)間接確定各因子的狀態(tài).因子分析只能解釋局部變異,主成分分析能解釋所有變異.聚類分析算法是給定 m維空間R中的n個(gè)向量,把每個(gè)向量歸屬到k個(gè)聚類中的某一個(gè),使得每 一個(gè)向量與其聚類中央的距離最小.聚類可以理解為：類內(nèi)的相關(guān)性盡量大,類間相關(guān)性盡量小.聚類問(wèn)題作為一種無(wú)指導(dǎo)的學(xué)習(xí)問(wèn)題,目的在于通過(guò)把原來(lái)的對(duì)象集合分成相似的組或簇,來(lái)獲得某種內(nèi) 在的數(shù)據(jù)規(guī)律.從三類分析的根本思想可以看出,聚類分析中并沒于產(chǎn)生新變量,但是主成分分析和因子分析都產(chǎn)生 了新變量.三、數(shù)據(jù)標(biāo)準(zhǔn)化的比擬主成分分析中為了消除量綱和數(shù)量級(jí),通常需要將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,將其轉(zhuǎn)化為均值為0方差為1 的無(wú)量綱數(shù)據(jù).而因

8、子分析在這方面要求不是太高,由于在因子分析中可以通過(guò)主因子法、加權(quán)最小二 乘法、不加權(quán)最小二乘法、重心法等很多解法來(lái)求因子變量,并且因子變量是每一個(gè)變量的內(nèi)部影響變量,它的求解與原始變量是否同量綱關(guān)系并不太大 ,當(dāng)然在采用主成分法求因子變量時(shí),仍需標(biāo)準(zhǔn)化.不過(guò)在實(shí)際應(yīng)用的過(guò)程中,為了盡量防止量綱或數(shù)量級(jí)的影響,建議在使用因子分析前還是要進(jìn)行數(shù) 據(jù)標(biāo)準(zhǔn)化.在構(gòu)造因子變量時(shí)采用的是主成分分析方法,主要將指標(biāo)值先進(jìn)行標(biāo)準(zhǔn)化處理得到協(xié)方差矩 陣,即相關(guān)矩陣和對(duì)應(yīng)的特征值與特征向量,然后構(gòu)造綜合評(píng)價(jià)函數(shù)進(jìn)行評(píng)價(jià).聚類分析中如果參與聚類的變量的量綱不同會(huì)導(dǎo)致錯(cuò)誤的聚類結(jié)果.因此在聚類過(guò)程進(jìn)行之前必須對(duì)變量

9、值進(jìn)行標(biāo)準(zhǔn)化,即消除量綱的影響.不同方法進(jìn)行標(biāo)準(zhǔn)化,會(huì)導(dǎo)致不同的聚類結(jié)果要注意變量的分布.如果是正態(tài)分布應(yīng)該采用z分?jǐn)?shù)法.四、應(yīng)用中的優(yōu)缺點(diǎn)比擬一主成分分析1、優(yōu)點(diǎn)首先它利用降維技術(shù)用少數(shù)幾個(gè)綜合變量來(lái)代替原始多個(gè)變量 ,這些綜合變量集中了原始變量的大部 分信息.其次它通過(guò)計(jì)算綜合主成分函數(shù)得分,對(duì)客觀經(jīng)濟(jì)現(xiàn)象進(jìn)行科學(xué)評(píng)價(jià).再次它在應(yīng)用上側(cè)重于 信息奉獻(xiàn)影響力綜合評(píng)價(jià).2、缺點(diǎn)當(dāng)主成分的因子負(fù)荷的符號(hào)有正有負(fù)時(shí),綜合評(píng)價(jià)函數(shù)意義就不明確.命名清楚性低.二因子分析1、優(yōu)點(diǎn)第一它不是對(duì)原有變量的取舍,而是根據(jù)原始變量的信息進(jìn)行重新組合,找出影響變量的共同因子,化 簡(jiǎn)數(shù)據(jù)；第二,它通過(guò)旋轉(zhuǎn)使得因子變量更具有可解釋性,命名清楚性高.2、缺點(diǎn)在計(jì)算因子得分時(shí),采用的是最小二乘法,此法有時(shí)可能會(huì)失效.三聚類分析1、優(yōu)點(diǎn)聚類分析模型的優(yōu)點(diǎn)就是直觀,結(jié)論形式簡(jiǎn)明.2、缺點(diǎn)在樣本量較大時(shí)