主成分分析-2課件

1、第五章主成分分析(principal component analysis)主成分分析主成分回歸本章內(nèi)容問題來源 在處理多變量問題時(shí)，由于變量太多，變量之間往往存在著一定的相關(guān)性，。一種解決的思想：降低變量個(gè)數(shù)，即用少數(shù)綜合變量代替原來變量的信息，綜合變量之間互不相關(guān)。將多個(gè)指標(biāo)化為少數(shù)互相無關(guān)的綜合指標(biāo)的統(tǒng)計(jì)方法叫做主成分分析或者主分量分析.1 主成分分析一 什么是主成分分析是將原來p個(gè)指標(biāo)線性組合,作為新的綜合指標(biāo),分別記為F1,F2,而這些新的線性組合必須滿足:F1盡可能的反映原來指標(biāo)的信息（經(jīng)典的方法是用方差來表達(dá)信息，即選取使var(F1)最大的線性組合）稱F1為第一主成分.如果F1

2、不足以代表原來p個(gè)指標(biāo)的信息，再選取第二個(gè)線性組合即F2，同時(shí)要求F1已包含的信息不需要再出現(xiàn)在F2中（數(shù)學(xué)上表示為cov(F1, F2)=0）. 稱F2為第二主成分.二 基本思想依次類推，可構(gòu)造出第三，第四個(gè)主成分.三 數(shù)學(xué)模型數(shù)學(xué)上的處理：將原來p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量：記X1，X2，Xp.再尋求這p個(gè)變量的線性組合F1，F(xiàn)2，F(xiàn)k(kp）四 幾何解釋P個(gè)變量的線性組合從幾何上看是把由X1，Xp構(gòu)成的坐標(biāo)系經(jīng)旋轉(zhuǎn)產(chǎn)生的新坐標(biāo)系，而新坐標(biāo)軸的方向具有最大的方差.舉例說明：P=2， 有n個(gè)樣本點(diǎn).在變量xl和x2 所確定的二維平面中，n個(gè)樣本點(diǎn)的散布情況如橢圓狀（見圖）.由圖可以看出n個(gè)樣本點(diǎn)

3、無論是沿著xl 軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl 的方差和x2 的方差表示。如果只考慮xl和x2 中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。從圖上可看出：n個(gè)樣本點(diǎn)的波動(dòng)大部分可以歸結(jié)為在Fl方向上的波動(dòng)，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大部分信息，F(xiàn)2方向的波動(dòng)不大.Fl，F(xiàn)2具有不相關(guān)的性質(zhì).如果橢圓是相當(dāng)扁平的（x1，x2相關(guān)性越強(qiáng)），可以只考慮Fl方向上的波動(dòng)，F(xiàn)2可以忽略不計(jì).平移、旋轉(zhuǎn)坐標(biāo)軸平移、旋轉(zhuǎn)坐標(biāo)軸五 主成分的推導(dǎo)及性質(zhì)設(shè)X的協(xié)方差陣為由于x為非負(fù)定的對(duì)稱陣，則必存在正交陣U，使1. 第一主成分設(shè)有P維

4、正交向量 當(dāng)且僅當(dāng)a1 =u1時(shí)，即 時(shí)， Var(F1)=U1xU1=1.即F1有最大方差.（即第一主成分是以特征向量為系數(shù)的組合，其方差就是對(duì)應(yīng)的特征值）. 2. 第二主成分在約束條件 下，尋找第二主成分 事實(shí)上， 則對(duì)p維向量 ，有即取線性變換 時(shí) 的方差次大。 類推可以得到第三，第四主成分： 寫為矩陣形式：主成分的性質(zhì)1. 均值2. 方差為所有特征根之和說明主成分分析把P個(gè)隨機(jī)變量的總方差分解成為P個(gè)不相關(guān)的隨機(jī)變量的方差之和。協(xié)方差矩陣的對(duì)角線上的元素之和等于特征根之和。3.精度分析 貢獻(xiàn)率 第i個(gè)主成分的方差在全部方差中所占比重， 稱為貢獻(xiàn)率. 累積貢獻(xiàn)率 前k個(gè)主成分的方差和在全

5、部方差中所占 比重在實(shí)際工作中，主成分個(gè)數(shù)取決于能夠反映原來變量80%以上的信息量為依據(jù)，即當(dāng)累積貢獻(xiàn)率80%時(shí)的主成分的個(gè)數(shù)就足夠了。最常見的情況是主成分為2到3個(gè)。 可見， 和 相關(guān)的密切程度取決于對(duì)應(yīng)線性組合系數(shù)的大小。 如果有m個(gè)主成分，則第i 原始變量信息的被提取率為：是Fj 能說明的第i 原始變量的方差是Fj 提取的第i 原始變量信息的比重 例 設(shè) 的協(xié)方差矩陣為 解得特征根為 ， ， 第一個(gè)主成分的貢獻(xiàn)率為5.83/（5.83+2.00+0.17）=72.875%，盡管第一個(gè)主成分的貢獻(xiàn)率并不小，但在本題中第一主成分不含第三個(gè)原始變量的信息，所以應(yīng)該取兩個(gè)主成分。Xi與F1的相關(guān)

6、系數(shù)平方Xi與F2的相關(guān)系數(shù)平方信息提取率xi10.9250.855000.8552-0.9980.996000.996300111 定義：如果一個(gè)主成分僅僅對(duì)某一個(gè)原始變量有作用，則稱為特殊成分。 如果一個(gè)主成分對(duì)所有的原始變量都起作用稱為公共成分。 (該題無公共因子）載荷矩陣六 主成分分析的步驟在處理實(shí)際問題時(shí)，X的協(xié)方差通常是未知的，樣品有 第一步：計(jì)算X的協(xié)方差陣x的特征根，即解方程， 得特征根1. 基于協(xié)方差矩陣 第二步：求出分別所對(duì)應(yīng)的特征向量U1，U2，Up， 第三步：計(jì)算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€(gè)數(shù)。 第四步：計(jì)算所選出的k個(gè)主成分的得分。將原始數(shù)據(jù) 代入前k個(gè)主成分的表達(dá)

7、式，分別計(jì)算出各單位k個(gè)主 成分的得分，并按得分值的大小排隊(duì)。 2.基于相關(guān)系數(shù)矩陣（標(biāo)準(zhǔn)化變量的主成分） 如果變量有不同的量綱，則必須基于相關(guān)系數(shù)矩陣進(jìn)行主成分分析。不同的是計(jì)算得分時(shí)應(yīng)采用標(biāo)準(zhǔn)化后的數(shù)據(jù)。（標(biāo)準(zhǔn)化變量的協(xié)方差矩陣就是原始變量的相關(guān)系數(shù)矩陣） 例一 應(yīng)收賬款是指企業(yè)因?qū)ν怃N售產(chǎn)品、材料、提供勞務(wù)及其它原因，應(yīng)向購(gòu)貨單位或接受勞務(wù)的單位收取的款項(xiàng)，包括應(yīng)收銷貨款、其它應(yīng)收款和應(yīng)收票據(jù)等。出于擴(kuò)大銷售的競(jìng)爭(zhēng)需要，企業(yè)不得不以賒銷或其它優(yōu)惠的方式招攬顧客，由于銷售和收款的時(shí)間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷的效果的好壞，不僅依賴于企業(yè)的信用政策，還依賴于顧客的信用程度。由此，評(píng)價(jià)

8、顧客的信用等級(jí)，了解顧客的綜合信用程度，做到“知己知彼，百戰(zhàn)不殆”，對(duì)加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶的信用程度，采用西方銀行信用評(píng)估常用的5C方法，5C的目的是說明顧客違約的可能性。 1、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過過去的付款記錄得到此項(xiàng)。 2、能力（用X2表示），指顧客的償還能力。即其流動(dòng)資產(chǎn)的數(shù)量和質(zhì)量以及流動(dòng)負(fù)載的比率。顧客的流動(dòng)資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時(shí)，還應(yīng)注意顧客流動(dòng)資產(chǎn)的質(zhì)量，看其是否會(huì)出現(xiàn)存貨過多過時(shí)質(zhì)量下降，影響其變現(xiàn)能力和支付能力。 3、資本（用X3表示），指顧客的財(cái)務(wù)勢(shì)力和財(cái)務(wù)狀況，表明顧客

9、可能償還債務(wù)的背景。 4、附帶的擔(dān)保品（用X4表示），指借款人以容易出售的資產(chǎn)做抵押。 5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能控制或操縱的因素。 首先并抽取了10家具有可比性的同類企業(yè)作為樣本，又請(qǐng)8位專家分別給10個(gè)企業(yè)的5個(gè)指標(biāo)打分，然后分別計(jì)算企業(yè)5個(gè)指標(biāo)的平均值，如表。 76.581.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668

10、.57062.276.57069.271.764.968.9； Total Variance = 485.31477778 Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative PRIN1 410.506 367.242 0.845854 0.84585 PRIN2 43.264 22.594 0.089146 0.93500 PRIN3 20.670 12.599 0.042591 0.97759 PRIN4 8.071 5.266 0.016630 0.99422 PRIN5 2.8

11、05 . 0.005779 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.468814 -.830612 0.021406 0.254654 -.158081 X2 0.484876 0.329916 0.014801 -.287720 -.757000 X3 0.472744 -.021174 -.412719 -.588582 0.509213 X4 0.461747 0.430904 -.240845 0.706283 0.210403 X5 0.329259 0.122930 0.878054 -.084286 0.31

12、3677 第一主成份的貢獻(xiàn)率為84.6%，第一主成份 Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5 的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，說明第一主成份對(duì)所有的信用評(píng)價(jià)指標(biāo)都有近似的載荷，是對(duì)所有指標(biāo)的一個(gè)綜合測(cè)度，可以作為綜合的信用等級(jí)指標(biāo)?？梢杂脕砼判?。將原始數(shù)據(jù)的值中心化后，代入第一主成份Z1的表示式，計(jì)算各企業(yè)的得分，并按分值大小排序: 在正確評(píng)估了顧客的信用等級(jí)后，就能正確制定出對(duì)其的信用期、收帳政策等，這對(duì)于加強(qiáng)應(yīng)收帳款的管理大有幫助。序號(hào)12345678910得分3.1613.6-9.0135.925.1-10.3-4.36-33.8-6.41-

13、13.8排序43712851069例二 基于相關(guān)系數(shù)矩陣的主成分分析。對(duì)美國(guó)紐約上市的有關(guān)化學(xué)產(chǎn)業(yè)的三個(gè)證券和石油產(chǎn)業(yè)的2個(gè)證券做了100周的收益率調(diào)查。下表是其相關(guān)系數(shù)矩陣。 1）利用相關(guān)系數(shù)矩陣做主成分分析。 2）決定要保留的主成分個(gè)數(shù)，并解釋意義。10.5770.5090.00630.00370.57710.5990.3890.520.5090.59910.4360.4260.3870.3890.43610.5230.4620.3220.4260.5231 Eigenvalues of the Correlation Matrix Eigenvalue Difference Propor

14、tion Cumulative PRIN1 2.85671 2.04755 0.571342 0.57134 PRIN2 0.80916 0.26949 0.161833 0.73317 PRIN3 0.53968 0.08818 0.107935 0.84111 PRIN4 0.45150 0.10855 0.090300 0.93141 PRIN5 0.34295 . 0.068590 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.463605 -.240339 -.611705 0.386635 -.451262 X2 0

15、.457108 -.509305 0.178189 0.206474 0.676223 X3 0.470176 -.260448 0.335056 -.662445 -.400007 X4 0.421459 0.525665 0.540763 0.472006 -.175599 X5 0.421224 0.581970 -.435176 -.382439 0.385024概括起來說，主成分分析主要有以下幾方面的應(yīng)用。 1主成分分析能降低所研究的數(shù)據(jù)空間的維數(shù)。即用研究m維的Y空間代替p維的X空間(mp)，而低維的Y空間代替 高維的x空間所損失的信息很少。即：使只有一個(gè)主成分Yl(即 m1)時(shí)，

16、這個(gè)Yl仍是使用全部X變量(p個(gè))得到的。例如要計(jì)算Yl的均值也得使用全部x的均值。在所選的前m個(gè)主成分中，如果某個(gè)Xi的系數(shù)全部近似于零的話，就可以把這個(gè)Xi刪除，這也是一種刪除多余變量的方法。七. 主成分分析主要有以下幾方面的應(yīng)用 2有時(shí)可通過因子負(fù)荷aij的結(jié)構(gòu)，弄清X變量間的某些關(guān)系。 3. 多維數(shù)據(jù)的一種圖形表示方法。我們知道當(dāng)維數(shù)大于3時(shí)便不能畫出幾何圖形，多元統(tǒng)計(jì)研究的問題大都多于3個(gè)變量。要把研究的問題用圖形表示出來是不可能的。然而，經(jīng)過主成分分析后，我們可以選取前兩個(gè)主成分或其中某兩個(gè)主成分，根據(jù)主成分的得分，畫出n個(gè)樣品在二維平面上的分布況，由圖形可直觀地看出各樣品在主分量

17、中的地位。 4由主成分分析法構(gòu)造回歸模型。即把各主成分作為新自變量代替原來自變量x做回歸分析。 5用主成分分析篩選回歸變量?；貧w變量的選擇有著重的實(shí)際意義，為了使模型本身易于做結(jié)構(gòu)分析、控制和預(yù)報(bào)，好從原始變量所構(gòu)成的子集合中選擇最佳變量，構(gòu)成最佳變量集合。用主成分分析篩選變量，可以用較少的計(jì)算量來選擇量，獲得選擇最佳變量子集合的效果。 一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究。利用美國(guó)1929一1938年各年的數(shù)據(jù)，他得到了17個(gè)反映國(guó)民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫(kù)存、股息、利息外貿(mào)平衡等等。 在進(jìn)行主成

18、分分析后，竟以97.4的精度，用三新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測(cè)量的。斯通將他得到的主成分與實(shí)際測(cè)量的總收入I、總收入變化率I以及時(shí)間t因素做相關(guān)分析，得到下表：F1F2F3iitF11F201F3001i0.995-0.0410.057li-0.0560.948-0.124-0.102lt-0.369-0.282-0.836-0.414-0.1121要討論的問題是： (1) 基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。 當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不

19、同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。 小結(jié)：在力求數(shù)據(jù)信息丟失最少的原則下，對(duì)高維的變量空間降維，即研究指標(biāo)體系的少數(shù)幾個(gè)線性組合，并且這幾個(gè)線性組合所構(gòu)成的綜合指標(biāo)將盡可能多地保留原來指標(biāo)變異方面的信息。 （2） 選擇幾個(gè)主成分。主成分分析的目的是簡(jiǎn)化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。 （3）如何解釋主成分所包含的經(jīng)濟(jì)意義。主成分回歸介紹 國(guó)際旅游外匯收入是國(guó)民收入, 國(guó)民經(jīng)濟(jì)發(fā)展的重要組成部分，影響一個(gè)國(guó)家或地區(qū)旅游收入的因素包括自然、文化、社會(huì)、經(jīng)濟(jì)、交通等多方面的因素。中國(guó)統(tǒng)計(jì)年鑒把第三

20、次產(chǎn)業(yè)劃分為12個(gè)組成部分，分別為： 一、提出問題x1：農(nóng)林牧漁服務(wù)業(yè) x2：地質(zhì)勘查水利管理業(yè)x3：交通運(yùn)輸倉(cāng)儲(chǔ)和郵電通訊業(yè) x4：批發(fā)零售貿(mào)易和餐食業(yè)x5：金融保險(xiǎn)業(yè) x6：房地產(chǎn)業(yè) x7：社會(huì)服務(wù)業(yè) x8：衛(wèi)生體育和社會(huì)福利業(yè) x9：教育文藝和廣播 x10：科學(xué)研究和綜合藝術(shù)x11：黨政機(jī)關(guān) x12：其他行業(yè) 選自1998年我國(guó)31個(gè)省、市、自治區(qū)的數(shù)據(jù)。以旅游外匯收入（百萬(wàn)美圓）為因變量。自變量的單位為億元人民幣。數(shù)據(jù)略。 InterceptCoefficients -205.236116.8459-1.75646 0.096008標(biāo)準(zhǔn)誤差t StatP-valueX Variable

21、 1-1.4004522.8676-0.061240.951842X Variable 22.67500118.575080.144010.887092X Variable 33.3008772.4645561.3393390.197128X Variable 4-0.944021.296117-0.728340.475774X Variable 5-5.50164.508593-1.220250.238117X Variable 64.0544343.9537451.0254670.318728X Variable 74.1425.0699840.816965 0.42463X Variab

22、le 8-15.364910.82589-1.419270.172905X Variable 917.367668.353372.0791210.052178X Variable 109.07888310.147280.894711 0.38275X Variable 11-10.585.610696-1.885690.075582X Variable 121.3507095.0015040.270060.790186 這個(gè)模型是不理想的，一個(gè)最嚴(yán)重的問題是多重共線性的問題。線性回歸模型的方差分析表方差來源自由度離差平方和方差F統(tǒng)計(jì)量顯著性水平回歸分析1211690140 974178.3 1

23、0.51335 8.15025E-06 殘差181667899 92661.04 總計(jì)3113358039 利用主成分的互不相關(guān)性來建立因變量與主成分的回歸，在理論上可以達(dá)到消除多重共線性。 二、主成分回歸方法原始數(shù)據(jù)觀測(cè)矩陣主成分系數(shù)矩陣主成分得分矩陣 根據(jù)最小二乘估計(jì)，則基于協(xié)方差矩陣的主成分回歸基于相關(guān)系數(shù)矩陣的主成分回歸主成分回歸系數(shù)的協(xié)方差矩陣 1、經(jīng)濟(jì)分析數(shù)據(jù)Y：進(jìn)口總額 X1：GDP X2：積累總額 X3：消費(fèi)總額 求進(jìn)口總額與GDP、積累總額和消費(fèi)總額之間的回歸方程。 三、主成分回歸的實(shí)例Analysis of Variance Sum of Mean Source DF Sq

24、uares Square F Value Pr F Model 3 204.77614 68.25871 285.61 |t| Intercept 1 -10.12799 1.21216 -8.36 F Model 2 9.88278 4.94139 379.38 |t| F1 1 0.68998 0.02552 27.03 F Model 6 498504 83084 47.22 |t| Intercept 1 386505 122516 3.15 0.0116 x1 1 13.71162 11.68424 1.17 0.2707 x2 1 0.00846 0.00461 1.84 0.09

25、95 x3 1 0.09405 0.06720 1.40 0.1952 x4 1 0.20562 0.02948 6.97 .0001 x5 1 -0.00435 0.03111 -0.14 0.8918 x6 1 -199.20213 62.67100 -3.18 0.0112 Eigenvalues of the Correlation Matrix（相關(guān)系數(shù)矩陣的特征根） Eigenvalue Difference Proportion Cumulative （特征根） （ 差值） (貢獻(xiàn)率） （累計(jì)貢獻(xiàn)率） 1 4.60337745 3.42803711 0.7672 0.7672 2

26、 1.17534035 0.97191518 0.1959 0.9631 3 0.20342517 0.18849689 0.0339 0.9970 4 0.01492828 0.01237624 0.0025 0.9995 5 0.00255204 0.00217533 0.0004 0.9999 6 0.00037671 0.0001 1.0000 Eigenvectors（特征向量） Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.461835 0.057843 -.149120 -.792874 0.337934 -.135193 x2 0.461504 0.053211 -.277681 0.121625 -.149550 0.818485 x3 0.321317 -.595513 0.728306 -.007645 0.009235 0.107451 x4 0.201510 0.798193 0.561607 0.077255 0.024253 0.017970 x5 0.462279 -.045544 -.195985 0.58