主成分分析多元回歸分析課件

關(guān)于主成分分析多元回歸分析現(xiàn)在學(xué)習(xí)的是第1頁，共37頁什么是主成分分析主成分分析（PrincipalComponentsAnalysis）也稱主分量分析

是將多個(gè)指標(biāo)，化為少數(shù)幾個(gè)不相關(guān)的綜合指標(biāo)的一種統(tǒng)計(jì)方法。

現(xiàn)在學(xué)習(xí)的是第2頁，共37頁在綜合評價(jià)工業(yè)企業(yè)的經(jīng)濟(jì)效益中，考核指標(biāo)有：1每百元固定資產(chǎn)原值實(shí)現(xiàn)產(chǎn)值、2每百元固定資產(chǎn)原值實(shí)現(xiàn)利稅、3每百元資金實(shí)現(xiàn)利稅、4每百元工業(yè)總產(chǎn)值實(shí)現(xiàn)利稅、5每百元銷售收入實(shí)現(xiàn)利稅、6每噸標(biāo)準(zhǔn)煤實(shí)現(xiàn)工業(yè)產(chǎn)值、7每千瓦電力實(shí)現(xiàn)工業(yè)產(chǎn)值、8全員勞動(dòng)生產(chǎn)率、9每百元流動(dòng)資金實(shí)現(xiàn)的產(chǎn)值指標(biāo)間信息有重疊，指標(biāo)數(shù)量又多。經(jīng)過主成分分析計(jì)算，最后確定選擇了2個(gè)主成分作為綜合評價(jià)工業(yè)企業(yè)經(jīng)濟(jì)效益的依據(jù)，變量數(shù)由9個(gè)減少到2個(gè)，這兩個(gè)主成分代表的信息達(dá)91.6%，使所研究的問題簡化?，F(xiàn)在學(xué)習(xí)的是第3頁，共37頁第一節(jié)主成分分析的幾何意義現(xiàn)在學(xué)習(xí)的是第4頁，共37頁X1X2幾何意義：為了直觀，先在二維空間中討論主成分的幾何意義。設(shè)對每個(gè)樣品觀測兩個(gè)變量X1和X2的數(shù)據(jù)如下X1123456X224681012

樣品點(diǎn)完全在同一條直線上。X1X2其散點(diǎn)圖如下現(xiàn)在學(xué)習(xí)的是第5頁，共37頁θX1Y2X2Y1因?yàn)闃悠伏c(diǎn)都在Y1軸上，Y1方向有離散性，Y2方向無離散性，也就無區(qū)別。可以用Y1來描述這些樣品點(diǎn),，因此在新坐標(biāo)系中只需用Y1一個(gè)變量就可以描述原來需用兩個(gè)變量X1和X2描述的樣品。那么Y1包含了原來變量X1和X2的100%的信息。在實(shí)際問題中，這樣的情況是很少見的。現(xiàn)在學(xué)習(xí)的是第6頁，共37頁一般情況下，例如有n個(gè)樣品，每個(gè)樣品有兩個(gè)變量值X1和X2，這n個(gè)樣品的散點(diǎn)圖如帶狀.由圖可見這n個(gè)樣品點(diǎn)無論是沿著X1軸方向或X2軸方向都具有較大的離散性，其離散的程度可以分別用觀測變量X1的方差和X2的方差定量地表示。X1X2

現(xiàn)在學(xué)習(xí)的是第7頁，共37頁θ

X2Y2

Y1

X1

同樣我們將X1軸和X2軸同時(shí)按逆時(shí)針方向旋轉(zhuǎn)θ角度，得到新坐標(biāo)軸Y1和Y2

。Y1和Y2是兩個(gè)新變量。根據(jù)解析幾何中的坐標(biāo)旋轉(zhuǎn)變換公式：現(xiàn)在學(xué)習(xí)的是第8頁，共37頁第二節(jié)主成分的求解

假設(shè)我們所討論的實(shí)際問題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為

X1，X2，…，Xp

主成分分析就是要把這p個(gè)指標(biāo)的問題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問題

現(xiàn)在學(xué)習(xí)的是第9頁，共37頁主成分分析通常的做法是，尋求原指標(biāo)的線性組合Yi。并且滿足：1(i=1,2,…P)*2不相關(guān)性，Yi與Yj不相關(guān)。3方差極大條件，現(xiàn)在學(xué)習(xí)的是第10頁，共37頁主成分的求解：求系數(shù)，而其正是觀測變量相關(guān)矩陣的單位特征向量。因此，通過求解的特征方程，得到P個(gè)特征根和P個(gè)單位特征向量，把P個(gè)特征根按從大到小的順序排列，記作λi(i=1,2,…,p)，它們分別代表P個(gè)主成分所解釋的觀測變量的方差，即Var(Yi)=λi(i=1,2,…,p)。相應(yīng)的P個(gè)單位特征向量就是主成分的系數(shù)（i=1,2,…,p）。現(xiàn)在學(xué)習(xí)的是第11頁，共37頁主成分Y=由的單位特征向量構(gòu)成U，即由|-λI|=0求出λ然后代入（-λI)Z=0求出單位特征向量，構(gòu)成U現(xiàn)在學(xué)習(xí)的是第12頁，共37頁變量的標(biāo)準(zhǔn)化:由于主成分是根據(jù)變量的離散度也即方差的大小來確定主成分的，這樣當(dāng)不同指標(biāo)的量綱不同時(shí)，不同指標(biāo)的方差大小差別很大，主成分會(huì)受到影響，例如：X1表年收入，從萬元到百萬元變化，X2表凈收入與總資產(chǎn)之比，從0.01到0.60變化,那么X1的方差的絕對量將遠(yuǎn)遠(yuǎn)大于X2的方差,這樣主成分會(huì)過于照顧方差大的變量,為使主成分能均等地對待每一個(gè)原變量,應(yīng)將原變量作標(biāo)準(zhǔn)化處理.現(xiàn)在學(xué)習(xí)的是第13頁，共37頁標(biāo)準(zhǔn)化公式:

(i=1,2,…P)這時(shí)有=因此求U時(shí)可用的特征向量。還可以證明=所以==現(xiàn)在學(xué)習(xí)的是第14頁，共37頁在實(shí)際問題中，利用主成分的目的是為了減少變量的個(gè)數(shù)，所以一般不用P個(gè)主成分，而是根據(jù)如下方法選取前K個(gè)主成分。定義為第i主成分Yi的方差貢獻(xiàn)率。這個(gè)值越大，說明這個(gè)主成分Yi綜合原指標(biāo)信息的能力越強(qiáng)。主成分的方差貢獻(xiàn)率現(xiàn)在學(xué)習(xí)的是第15頁，共37頁定義（K≤P）為主成分Yl,Y2,…,Yk的累積方差貢獻(xiàn)率。當(dāng)前K個(gè)主成分的累積方差貢獻(xiàn)率達(dá)到85%以上時(shí)，就取K個(gè)主成分。這樣K個(gè)主成分基本反映了原指標(biāo)的信息，指標(biāo)數(shù)目由P個(gè)減少到K個(gè)。這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過程在數(shù)學(xué)上就叫做降維。現(xiàn)在學(xué)習(xí)的是第16頁，共37頁(i=1,2,…P)對于標(biāo)準(zhǔn)化后的變量，則原始變量與主成分之間的相關(guān)系數(shù)現(xiàn)在學(xué)習(xí)的是第17頁，共37頁主成分得分:

當(dāng)選取了n個(gè)主成分后，把樣本數(shù)據(jù)代入各主成分表達(dá)式可得樣本的主成分得分。若主成分是由原始數(shù)據(jù)協(xié)方差陣計(jì)算的，則計(jì)算主成分得分時(shí)，用原始數(shù)據(jù)。若主成分是由標(biāo)準(zhǔn)化數(shù)據(jù)計(jì)算，即由R計(jì)算，則計(jì)算主成分得分時(shí)，一定要用標(biāo)準(zhǔn)化數(shù)據(jù)，否則會(huì)出現(xiàn)錯(cuò)誤。現(xiàn)在學(xué)習(xí)的是第18頁，共37頁主成分的綜合得分利用主成分Yl,Y2,…,Yk作線性組合，并以每個(gè)主成分Yi的方差貢獻(xiàn)率作為權(quán)數(shù)構(gòu)造一個(gè)綜合函數(shù)：

Y=根據(jù)計(jì)算出的Y值大小進(jìn)行排序。現(xiàn)在學(xué)習(xí)的是第19頁，共37頁主成分的計(jì)算步驟:原始數(shù)據(jù)矩陣1、原始數(shù)據(jù)標(biāo)準(zhǔn)化2、計(jì)算樣本協(xié)差陣或相關(guān)系數(shù)矩陣R3、求R的非零特征根及對應(yīng)的標(biāo)準(zhǔn)正交特征向量4、

求出主成分

(i=1,2,…P)

根據(jù)累計(jì)方差貢獻(xiàn)率大于等于80%，85%，90%等，確定選取主成分個(gè)數(shù)。結(jié)合專業(yè)知識將各主成分給出恰當(dāng)?shù)慕忉?，并運(yùn)用其來判斷樣品的特性?，F(xiàn)在學(xué)習(xí)的是第20頁，共37頁

例一應(yīng)收賬款是指企業(yè)因?qū)ν怃N售產(chǎn)品、材料、提供勞務(wù)及其它原因，應(yīng)向購貨單位或接受勞務(wù)的單位收取的款項(xiàng)。出于擴(kuò)大銷售的競爭需要，企業(yè)不得不以賒銷或其它優(yōu)惠的方式招攬顧客，由于銷售和收款的時(shí)間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷的效果的好壞，不僅依賴于企業(yè)的信用政策，還依賴于顧客的信用程度。由此，評價(jià)顧客的信用等級，了解顧客的綜合信用程度，對加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶的信用程度，采用西方銀行信用評估常用的5C方法，5C的目的是說明顧客違約的可能性。

現(xiàn)在學(xué)習(xí)的是第21頁，共37頁

1、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過過去的付款記錄得到此項(xiàng)。

2、能力（用X2表示），指顧客的償還能力。即其流動(dòng)資產(chǎn)的數(shù)量和質(zhì)量以及流動(dòng)負(fù)載的比率。顧客的流動(dòng)資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時(shí)，還應(yīng)注意顧客流動(dòng)資產(chǎn)的質(zhì)量，看其是否會(huì)出現(xiàn)存貨過多過時(shí)質(zhì)量下降，影響其變現(xiàn)能力和支付能力。

3、資本（用X3表示），指顧客的財(cái)務(wù)勢力和財(cái)務(wù)狀況，表明顧客可能償還債務(wù)的背景。

4、附帶的擔(dān)保品（用X4表示），指借款人以容易出售的資產(chǎn)做抵押。

5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能控制或操縱的因素?，F(xiàn)在學(xué)習(xí)的是第22頁，共37頁

首先抽取了10家具有可比性的同類企業(yè)作為樣本，又請8位專家分別給10個(gè)企業(yè)的5個(gè)指標(biāo)打分，然后分別計(jì)算企業(yè)5個(gè)指標(biāo)的平均值，如表。

76.581.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9；現(xiàn)在學(xué)習(xí)的是第23頁，共37頁

第一主成份的貢獻(xiàn)率為84.6%，第一主成份

Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5

的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，是對所有指標(biāo)的一個(gè)綜合測度，可以作為綜合的信用等級指標(biāo)?？梢杂脕砼判?。計(jì)算各企業(yè)的得分，并按分值大小排序:

在正確評估了顧客的信用等級后，就能正確制定出對其的信用期、收帳政策等，這對于加強(qiáng)應(yīng)收帳款的管理大有幫助。序號12345678910得分3.1613.6-9.0135.925.1-10.3-4.36-33.8-6.41-13.8排序43712851069現(xiàn)在學(xué)習(xí)的是第24頁，共37頁例

對全國30個(gè)省市自漢區(qū)經(jīng)濟(jì)發(fā)展基本情況的八項(xiàng)指標(biāo)作主成分分析，原始數(shù)據(jù)如下：

現(xiàn)在學(xué)習(xí)的是第25頁，共37頁

GDPX1居民消費(fèi)水平X2固定資產(chǎn)投資X3職工平均工資X4貨物周轉(zhuǎn)

量X5居民消費(fèi)價(jià)格指數(shù)X6商品零售價(jià)格指數(shù)X7工業(yè)總產(chǎn)

值X8北京天津河北山西內(nèi)蒙遼寧吉林黑龍江上海江蘇浙江安徽福建江西山東河南湖北湖南廣東廣西海南四川貴州云南西藏陜西甘肅青海寧夏新疆1394.89920.112849.521092.18832.882793.371129.22014.532462.575155.253524.792003.582160.521205.115002.343002.712391.422195.75381.721606.15364.173534630.071206.6855.981000.03553.35165.31169.75843.5725052720125812501387269718722334534319262249125423201182152710341527140826991314181412619421261111012081007144513551469519.01345.46704.87290.9250.23387.99320.45435.73996.481434.951006.39474553.97282.841229.55670.35571.68422.611639.83382.59198.35822.54150.8433417.87300.27114.8147.7661.98376.95814465014839472141344911443041459279594366194609585742115145434446854797825051055340464544755149738243965493575350795348373.9342.82033.3717.3781.71371.1497.4824.8207.41025.5754.4908.3609.3411.71196.61574.48491011.8656.5556232.1902.3301.1310.44.2500.950761.6121.8339117.3115.2115.2116.9117.5116.1115.2116.1118.7115.8116.6114.8115.2116.8117.6116.5120119114118.4113.5118.5121.4121.3117.3119119.8118117.1119.7112.6110.6115.8115.6116.8114114.2114.3113114.3113.5112.7114.4115.9114.2114.9116.6115.5111.6116.4111.3117117.2118.1114.9117116.5116.3115.3116.7843.43582.511234.85697.25419.391840.55762.471240.371642.952026.64916.59824.14433.67571.842207.691367.921220.72843.831396.35554.9764.331431.81324.72716.655.57600.98468.79105.8114.4428.76現(xiàn)在學(xué)習(xí)的是第26頁，共37頁第一步

將原始數(shù)據(jù)標(biāo)準(zhǔn)化。第二步

建立指標(biāo)之間的相關(guān)數(shù)陣R如下：

X1X2X3X4X5X6X7X8X1X2X3X4X5X6X7X81.000.267.951.191.617-.274-.264.874.2671.000.426.718-.151-.234-.593.363.951.426.1000.400.431-.282-.359.792.191.718.4001.000-.356-.134-.539-.104.617-.151.431-.3561.000-.255.022.659-.274-.234-.282-.134-.2551.000.760-.126-.264-.593-.359-.539.022.7601.000-1.92.874.363.792.104.659-.126-.1921.000現(xiàn)在學(xué)習(xí)的是第27頁，共37頁第三步

求R的特征值和特征向量。

從上表看，前3個(gè)特征值累計(jì)貢獻(xiàn)率已達(dá)89.564%，說明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：主成分特征值方差貢獻(xiàn)率累計(jì)貢獻(xiàn)率123456783.7552.1951.214.403.213.1396.594E-021.462E-0246.94327.44315.1785.0332.6601.737.842.18346.94374.38689.56494.59697.25698.99399.817100.000現(xiàn)在學(xué)習(xí)的是第28頁，共37頁從上表看，前3個(gè)特征值計(jì)累計(jì)貢獻(xiàn)率已達(dá)89.564%，說明前3個(gè)主成分基本包含了全部指標(biāo)具有的信息，我們?nèi)∏?個(gè)特征值，并計(jì)算出相應(yīng)的特征向量：第一特征向量a1第二

特征向量a2第三特征向量a30.4567080.3132450.4706410.2404810.250802-0.262670-0.319440-0.4247120.258464-0.4035390.107995-0.4886800.4988010.1673920.4009310.2875360.1097730.2458560.1924100.332179-0.247770.7233510.3975250.19241現(xiàn)在學(xué)習(xí)的是第29頁，共37頁因而前三個(gè)主成分為：第一主成分：F1=0.456708X1+0.312729X2+0.470641X3+0.240481X4+0.250802X5-0.26267X6-0.31944X7+0.424712X8第二主成分：F1=0.258512X1-0.40431X2＋0.107995X3-0.48868X4+0.498801X5＋0.167392X6+0.400931X7＋0.287536X8第三主成分：F1=0.109819X1+0.24505X2+0.19241X3+0.332179X4-0.24777X5+0.723351X6+0.397525X7+0.19241X8現(xiàn)在學(xué)習(xí)的是第30頁，共37頁

如果一個(gè)主成分僅僅對某一個(gè)原始變量有作用，則稱為特殊成分。如果一個(gè)主成分所有的原始變量都起作用,稱為公共成分。現(xiàn)在學(xué)習(xí)的是第31頁，共37頁選題參考：1、（我國）房地產(chǎn)發(fā)展因素的主成分分析2、（全國）工業(yè)企業(yè)市場競爭力的主成分分析3、（各地區(qū)）工業(yè)企業(yè)經(jīng)濟(jì)效益的主成分分析4、我國城市(農(nóng)村）居民消費(fèi)支出的主成分分析5、（各地區(qū)）農(nóng)