統(tǒng)計分析 主成分分析

統(tǒng)計分析主成分分析第一頁，共二十六頁，編輯于2023年，星期三問題的提出主成分分析方法（principalcomponentanalysis，PCA）就是綜合處理這種問題的一種強有力的工具。它把原來多個變量（顯式變量）轉(zhuǎn)化為少數(shù)幾個綜合變量（潛式變量）。綜合變量即主成分（principalcompontent）綜合變量之間相互獨立，且能反映原來多個變量的大部分信息。主成分分析采用的主要原則是使方差最大，以期盡可能多的保留原有變量所包含的信息，同時又能用盡可能少的主成分替代原有變量，從而使問題變的簡便。但是，這些主成分通常并沒有明確的專業(yè)意義。因子分析是主成分分析的一種推廣。它從一定的模型出發(fā)，找出幾個反映原有變量的公共因子，并力求使之有較為合理的專業(yè)解釋?！?主成分分析第二頁，共二十六頁，編輯于2023年，星期三§8主成分分析問題的提出

[引例8-1]2000年全國各地區(qū)經(jīng)濟效益主要指標(biāo)有以下8個：GDP（億元）、工業(yè)增加值（%）、總資產(chǎn)貢獻(xiàn)率（%）、資產(chǎn)負(fù)債率（%）、流動資產(chǎn)周轉(zhuǎn)次數(shù)（次/年）、工業(yè)成本費用利潤率（%）、全員勞動生產(chǎn)率（元/人.年）、產(chǎn)品銷售率（%）。第三頁，共二十六頁，編輯于2023年，星期三§8主成分分析第四頁，共二十六頁，編輯于2023年，星期三§8主成分分析問題的提出第五頁，共二十六頁，編輯于2023年，星期三§8主成分分析問題的提出第六頁，共二十六頁，編輯于2023年，星期三§8主成分分析什么是主成分分析主成分分析的數(shù)學(xué)模型主成分分析的主要步驟如何在SPSS軟件中進(jìn)行主成分分析第七頁，共二十六頁，編輯于2023年，星期三§8主成分分析什么是主成分分析

主成分概念首先由Kalparson在1901年提出，不過當(dāng)時只對非隨機變量來討論的。1933年Hotelling將這個概念推廣到隨機向量。主成分分析（PrincipalComponentsAnalysis，PCA)也稱為主分量分析，是一種通過降維來簡化數(shù)據(jù)結(jié)構(gòu)的方法，即如何把多個變量（變量）轉(zhuǎn)化為少數(shù)幾個綜合變量（綜合變量），而這幾個綜合變量可以反映原來多個變量的大部分信息。為了使這些綜合變量所含的信息互不重疊，應(yīng)要求它們之間互不相關(guān)。第八頁，共二十六頁，編輯于2023年，星期三§8主成分分析什么是主成分分析在實際問題中，經(jīng)常遇到多變量(指標(biāo))問題，而且變量之間有一定的相關(guān)性。變量多且變量間有一定的相關(guān)性，勢必增加了分析問題的復(fù)雜性。主成分分析就是設(shè)法將原來變量重新組合成一組新的互相無關(guān)的幾個綜合變量來代替原來變量，同時根據(jù)實際需要從中可取幾個較少的綜合變量盡可能多地反映原來變量的信息。第九頁，共二十六頁，編輯于2023年，星期三§8主成分分析基本思想主成分分析就是設(shè)法將原來眾多具有一定相關(guān)性的變量(如p個變量)，重新組合成一組新的相互無關(guān)的綜合變量來代替原來變量。怎么處理？通常數(shù)學(xué)上的處理就是將原來p個變量作線性組合作為新的綜合變量。如何選擇？如果將選取的第一個線性組合即第一個綜合變量記為F1，自然希望F1盡可能多的反映原來變量的信息。怎樣反映?最經(jīng)典的方法就是用方差來表達(dá)，即var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中所選取的F1應(yīng)該是方差最大的，故稱之為第一主成分（principalcomponentI）。第十頁，共二十六頁，編輯于2023年，星期三§8主成分分析基本思想如果第一主成分不足以代表原來p個變量的信息，再考慮選取F2即第二個線性組合。F2稱為第二主成分（principalcomponentII）。F1和F2的關(guān)系？為了有效地反映原來信息，F(xiàn)1已有的信息就不再出現(xiàn)在F2中，即cov（F1,F2)＝0。依此類推，可以獲得p個主成分。因此，這些主成分之間是互不相關(guān)的，而且方差依次遞減。在實際中，挑選前幾個最大主成分來表征。標(biāo)準(zhǔn)？

各主成分的累積方差貢獻(xiàn)率>80%或特征根>1。第十一頁，共二十六頁，編輯于2023年，星期三§8主成分分析數(shù)學(xué)模型

假定有n個地理樣本，每個樣本共有p個變量，構(gòu)成一個n×p階的地理數(shù)據(jù)陣當(dāng)p較大時，在p維空間中考察問題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理，即用較少的幾個綜合變量代替原來較多的變量變量，而且使這些較少的綜合變量既能盡量多地反映原來較多變量變量所反映的信息。第十二頁，共二十六頁，編輯于2023年，星期三§8主成分分析數(shù)學(xué)模型

引例8-1中，有31個樣本，每個樣本有8個變量。第十三頁，共二十六頁，編輯于2023年，星期三§8主成分分析數(shù)學(xué)模型要從原來的所有變量得到新的綜合變量，一種較為簡單而常用的方法是作線性變換，使新的綜合變量為原變量的線性組合。第十四頁，共二十六頁，編輯于2023年，星期三§8主成分分析數(shù)學(xué)模型的條件對于任意常數(shù)c，有為了使方差可以比較，要求線性組合的系數(shù)滿足規(guī)范化條件要求原始變量之間存在一定的相關(guān)性要求各個綜合變量間互不相關(guān)，即協(xié)方差為0為了消除變量量綱不同對方差的影響，通常對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，變量之間的協(xié)方差即為相關(guān)系數(shù)。

第十五頁，共二十六頁，編輯于2023年，星期三§8主成分分析數(shù)學(xué)模型的條件

如果多個變量相互獨立或相關(guān)性很小，就不能進(jìn)行主成分分析。Kaiser-Meyer-Olkin（KMO)檢驗：檢驗變量之間的偏相關(guān)系數(shù)是否過小。Bartlett’s檢驗。該檢驗的原假設(shè)是相關(guān)矩陣為單位陣（不相關(guān)），如果不能拒絕原假設(shè),則不適合進(jìn)行主成分分析。第十六頁，共二十六頁，編輯于2023年，星期三§8主成分分析

數(shù)學(xué)模型的推導(dǎo)

尋求X的線性函數(shù)，使相應(yīng)的方差盡可能地大，即且第十七頁，共二十六頁，編輯于2023年，星期三§8主成分分析數(shù)學(xué)模型的推導(dǎo)

通過推導(dǎo)可知，的主成分就是以協(xié)方差陣的特征向量為系數(shù)的線性組合，它們互不相關(guān)，其方差為的特征根。由于特征根，所以有，因此主成分的名次是按特征根取值大小的順利排列的。在解決實際問題時，一般不是取全部p個主成分，而是取前k個。方法之一是取特征根大于1的主成分。方法之二是根據(jù)累計貢獻(xiàn)率來取主成分。

何為貢獻(xiàn)率和累計貢獻(xiàn)率？第十八頁，共二十六頁，編輯于2023年，星期三§8主成分分析主成分的提取貢獻(xiàn)率

因此第一主成分的貢獻(xiàn)率越大，表明其綜合信息的能力就越強。稱為第一主成分的貢獻(xiàn)率第十九頁，共二十六頁，編輯于2023年，星期三§8主成分分析

主成分的提取累計貢獻(xiàn)率

如果前k個主成分的累計貢獻(xiàn)率達(dá)到85％，則表明取前k個主成分基本包含了全部測量指標(biāo)所具有的信息，從而達(dá)到了變量降維的目的。稱為前k個主成分的累計貢獻(xiàn)率在實際應(yīng)用中，通常用樣本協(xié)差陣來表征總體協(xié)差陣。另外，為了消除指標(biāo)量綱的影響，通常將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，從而協(xié)差陣等同于相關(guān)系數(shù)陣。第二十頁，共二十六頁，編輯于2023年，星期三§8主成分分析主成分的提取根據(jù)特征根或累積方差貢獻(xiàn)率，可以提取3個主成分第二十一頁，共二十六頁，編輯于2023年，星期三§8主成分分析主成分模型（注意區(qū)別）用主成分載荷矩陣中的數(shù)據(jù)除以主成分相對應(yīng)的特征值開平方根便得到兩個主成分中每個指標(biāo)所對應(yīng)的系數(shù)。左圖ComponentMatrix是指初始因子載荷矩陣，每一個載荷量表示主成分與對應(yīng)變量的相關(guān)系數(shù)。第二十二頁，共二十六頁，編輯于2023年，星期三§8主成分分析主成分模型第二十三頁，共二十六頁，編輯于2023年，星期三§8主成分分析主成分解釋第二十四頁，共二十六頁，編輯于2023年，星期三§8主成分分析綜合主成分

可以根據(jù)第一主成分、第二主成分、第三主成分計算各樣本主成分，據(jù)