SAS軟件應(yīng)用之主成分分析課件

1、第16章 主成分分析中國疾病預(yù)防控制中心學習目標了解主成分分析的數(shù)學模型；熟悉主成分分析的方法步驟；掌握主成分分析的作用和應(yīng)用領(lǐng)域；掌握PRINCOMP過程并運用此過程進行數(shù)據(jù)分析。概述主成分分析也稱主分量分析，旨在利用降維的思想，把多指標轉(zhuǎn)化為少數(shù)幾個綜合指標。在實證問題研究中，為了全面、系統(tǒng)地分析問題，我們必須考慮眾多影響因素。這些涉及的因素一般稱為指標，在統(tǒng)計分析中也稱為變量。因為每個變量都不同程度地反映了所研究問題的某些信息，并且指標之間有一定的相關(guān)性，因而所得的統(tǒng)計數(shù)據(jù)反映的信息在一定程度上有重疊。在用統(tǒng)計方法研究多變量問題時，變量太多會增加計算量和增加分析問題的復(fù)雜性，人們希望在進

2、行定量分析的過程中，涉及的變量較少，得到的信息量較多。 概述科學研究所涉及的課題往往比較復(fù)雜，是因為影響客觀事物的因素多，需要考察的變量多。例如，糖尿病、動脈硬化等疾病的病因是多種多樣的，收集的資料中包含的信息是豐富多彩的。再如，在心理學研究中，描述兒童氣質(zhì)的指標可以有9個，描述兒童活動能力的指標可以有6個，；在臨床醫(yī)學研究中，描述兒童生長發(fā)育的的可以有12個指標，鑒別闌尾炎病型的可以有27個指標。然而，重疊的、低質(zhì)量的信息越多，越不利于醫(yī)生作出診斷。指標較多時，給資料分析帶來很多麻煩，增加了分析問題的復(fù)雜性和難度。例如，在線性回歸分析中，要求模型中的自變量是相互獨立的，否則，估計的結(jié)果是不準

3、確的，甚至是相反的結(jié)論，產(chǎn)生誤導(dǎo)。概述在大部分實際問題中，變量之間是有一定的相關(guān)性的，人們自然希望找到較少的幾個彼此不相關(guān)的綜合指標盡可能多地反映原來眾多變量的信息。比如描述兒童生長發(fā)育的指標中，身高、腿長和臂長這三個指標可能是相關(guān)的，而胸圍、大腿圍和臂圍這三個圍度指標也會有一定的相關(guān)性。如果分別用每一個指標對兒童的生長發(fā)育做出評價，那么這種評價就是孤立的、片面的，而不是綜合的。僅選用幾個“重要的”或“有代表性”的指標來評價，就失去了許多有用的信息，容易得出片面的結(jié)論。所以，我們需要一種綜合性的分析方法，既可減少指標變量的個數(shù)，又盡量不損失原指標變量所包含的信息，對資料進行全面的綜合分析。主成

4、分分析正是適應(yīng)這一要求產(chǎn)生的，是解決這類題的理想工具。概述主成份分析的基本思想就是將彼此相關(guān)的一組指標變量轉(zhuǎn)化為彼此獨立的一組新的指標變量，并用其中較少的幾個新指標變量就能綜合反應(yīng)原多個指標變量中所包含的主要信息，符合專業(yè)含義。何為主成分？簡而言之，主成分實際上就是由原變量X1Xm線性組合出來的個互不相關(guān)、且未丟失任何信息的新變量，也稱為綜合變量。多指標的主成分分析常被用來尋找判斷某種事物或現(xiàn)象的綜合指標，并給綜合指標所蘊藏的信息以恰當解釋，以便更深刻地揭示事物內(nèi)在的規(guī)律。主成分分析簡介 主成分分析法是一種數(shù)學變換的方法, 它把給定的一組相關(guān)變量通過線性變換轉(zhuǎn)成另一組不相關(guān)的變量，這些新的變量

5、按照方差依次遞減的順序排列。在數(shù)學變換中保持變量的總方差不變，使第一變量具有最大的方差，稱為第一主成分，第二變量的方差次大，并且和第一變量不相關(guān)，稱為第二主成分。依次類推，I個變量就有I個主成分。主成分分析是把原來多個變量劃為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法，是一種降維處理技術(shù)。主成分分析的方法步驟 主成分分析的過程，就是確定原來變量xj（ ）在各主成分zi（ ）上的載荷lij。從主成分分析的基本原理和數(shù)學模型可以看出，主成分分析的任務(wù)是估計主成分，確定主成分的個數(shù)，解釋主成分的實際意義和計算主成分得分。假設(shè)有k個指標x1，x2，xk，每一個指標有n個觀測值，它們的標準化指標變量是 ，主成分

6、分析的方法步驟對原始指標數(shù)據(jù)進行標準化變換：將原始數(shù)據(jù)標準化，然后利用標準化的數(shù)據(jù)計算主成分。X為標準化后的數(shù)據(jù)矩陣，則：主成分分析的方法步驟計算相關(guān)系數(shù)矩陣：其中，主成分分析的方法步驟計算相關(guān)矩陣的特征值和特征值所對應(yīng)的特征向量：求主成分的問題，實際上就是要求出標準化指標變量X的協(xié)方差矩陣Cov（X）的特征值和特征向量。X的協(xié)方差矩陣為：主成分分析的方法步驟求得k個非負特征值 ，將這些特征值按從小到大的順序排列為：再由解得每一特征值對應(yīng)的特征向量，從而求得各主成分：主成分分析的方法步驟計算主成分貢獻率及累計貢獻率各主成分互不相關(guān)，即的相關(guān)系數(shù)：于是，各主成分間的相關(guān)系數(shù)矩陣為單位矩陣。一般地

7、，主成分Zi的貢獻率為：主成分分析的方法步驟確定主成分的個數(shù)當?shù)玫搅薻個主成分后，要根據(jù)確定主成分個數(shù)的準則和主成分的實際意義來確定主成分的個數(shù)。一般說，確定主成分個數(shù)的準則有兩個：以累積貢獻率來確定：當前P個主成分的累積貢獻率達到某一特定值時（一般采用70%85%為準則），則保留前P個主成分。根據(jù)特征值大小來確定，一般地，取特征值大于或等于1為準則。若有s個特征值大于或等于1，那么就可以確定主成分的個數(shù)為s個。一般可以將兩種確定主成分個數(shù)的方法結(jié)合起來，選出有實際意義的主成分。主成分分析的方法步驟計算主成分載荷第i個主成分Zi的特征值的平方根與第j原始指標Xj的系數(shù)lij的乘積為因子載荷。由

8、因子載荷所構(gòu)成的矩陣為因子載荷陣。實際數(shù)，因子載荷qij就是第i主成分Zi與第j原始指標Xj之間的相關(guān)系數(shù)，它反映了主成分Zi與原始指標Xj之間聯(lián)系的密切程度與作用方向。主成分分析的方法步驟計算主成分得分如果標準化指標變量 的第i個主成分是：其中， ，是xj的標準化指標變量。那么，第i個主成分可以轉(zhuǎn)換為原始指標變量的線性組合： 主成分分析的應(yīng)用 研究多個指標變量之間的依存關(guān)系，是醫(yī)學研究中很重要的一件事情。但是，在研究多個指標變量之間的依存關(guān)系時，經(jīng)常會遇到兩個問題：指標變量過多，使得分析難度增加；變量之間的共線性存在，即變量之間不完全獨立，這種情況造成分析結(jié)果不穩(wěn)定或不正確。因此，解決自變量

9、之間的多重共線性和減少變量個數(shù)對依存關(guān)系的分析就很重要了。主成分分析的應(yīng)用根據(jù)主成分分析原理，它一方面可以將k個不獨立的指標變量通過線性變換變成k個相互獨立的新變量，這是解決多重共線性問題的一個重要方法。另一方面，主成分分析可以用較少的變量取代較多的不獨立的原變量，減少分析中變量的個數(shù)。概括地說，主成分分析有以下幾方面的應(yīng)用：主成分分析的應(yīng)用對原始指標進行綜合：主成分分析的主要作用是在基本保留原始指標信息的前提下，以互不相關(guān)的較少個數(shù)的綜合指標來反映原來指標所提供的信息。探索多個原始指標對個體特征的影響：對于多個原始指標，求出主成分后，可以利用因子載荷陣的結(jié)構(gòu)，進一步探索各主成分與多個原始指標

10、之間的相互關(guān)系，分析各原始指標對各主成分的影響作用。對樣本進行分類：求出主成分后，如果各主成分的專業(yè)意義較為明顯，可以利用各樣品的主成分得分來進行樣品的分類。主成份分析SAS程序 SAS系統(tǒng)中利用PRINCOMP過程對數(shù)據(jù)進行主成分分析。PRINCOMP過程的語法格式如下：PROC PRINCOMP DATA= OUT= OUTSTAT= NOINT COV N STD VARDEF 選項;VAR 變量/選項;PARTIAL 變量;RUN;主成份分析SAS程序DATA語句指定要分析的數(shù)據(jù)集名及一些選項，它可以是原SAS數(shù)據(jù)集，也可以是corr、cov、ucorr、ucov等矩陣。OUT選擇項指

11、定統(tǒng)計量的輸出數(shù)據(jù)集名，該數(shù)據(jù)集保存的是樣本的原始指標變量和主成分得分變量。OUTSTAT指定輸出結(jié)果的SAS數(shù)據(jù)集名，該數(shù)據(jù)集保存的是每一個指標的均值、標準差、樣本數(shù)、相關(guān)系數(shù)矩陣、特征值和得分系數(shù)。NOINT選擇項指令系統(tǒng)使用未對均值校正的相關(guān)系數(shù)矩陣或方差協(xié)方差矩陣進行主成分分析，它等價于主成分模型中不含常數(shù)項。主成份分析SAS程序COV選擇項指令系統(tǒng)用方差協(xié)方差矩陣計算主成分，如果該選擇項缺省，系統(tǒng)用相關(guān)系數(shù)矩陣計算主成分。N選擇項給出主成分的個數(shù)。STD選擇項指令系統(tǒng)在輸出數(shù)據(jù)集中，主成分得分變量的方差被標準化為1。VAR語句用于列出要分析的原始變量。如果該語句缺省，系統(tǒng)分析其它語句

12、中未涉及到的所有指標變量。PARTIAL語句用于列出混雜變量，指定系統(tǒng)使用偏相關(guān)系數(shù)或偏方差、協(xié)方差來計算主成分。例如，PARTIAL X；它表示偏相關(guān)系數(shù)或偏方差、協(xié)方差是以變量X為混雜變量的，即所有的相關(guān)系數(shù)都表示的是在X不變的情況下，兩個變量之間的關(guān)聯(lián)程度。但是，該語句列出的變量不能出現(xiàn)在VAR語句中。本章小節(jié) 在大部分實際問題中，變量之間是有一定的相關(guān)性的，人們自然希望找到較少的幾個彼此不相關(guān)的綜合指標盡可能多地反映原來眾多變量的信息。本章介紹了主成分分析的數(shù)學模型、方法步驟以及主成分分析的應(yīng)用。我們需要一種綜合性的分析方法，既可減少指標變量的個數(shù)，又盡量不損失原指標變量所包含的信息，

13、對資料進行全面的綜合分析。主成分分析正是適應(yīng)這一要求產(chǎn)生的，是解決這類題的理想工具。主成份分析的基本思想就是將彼此相關(guān)的一組指標變量轉(zhuǎn)化為彼此獨立的一組新的指標變量，并用其中較少的幾個新指標變量就能綜合反應(yīng)原多個指標變量中所包含的主要信息，符合專業(yè)含義。本章小節(jié)本章對主成分分析的數(shù)學模型、分析方法步驟以及應(yīng)用問題進行了詳細地闡述。我們在學習的過程中，要熟悉主成分分析的方法步驟：對原始指標數(shù)據(jù)進行標準化變換、計算相關(guān)系數(shù)矩陣、計算相關(guān)矩陣的特征值和特征值所對應(yīng)的特征向量、計算主成分貢獻率及累計貢獻率、確定主成分的個數(shù)、計算主成分載荷和計算主成分得分。本章小節(jié)主成分分析有以下幾方面的應(yīng)用：對原始指

14、標進行綜合：主成分分析的主要作用是在基本保留原始指標信息的前提下，以互不相關(guān)的較少個數(shù)的綜合指標來反映原來指標所提供的信息。探索多個原始指標對個體特征的影響：對于多個原始指標，求出主成分后，可以利用因子載荷陣的結(jié)構(gòu)，進一步探索各主成分與多個原始指標之間的相互關(guān)系，分析各原始指標對各主成分的影響作用。對樣本進行分類：求出主成分后，如果各主成分的專業(yè)意義較為明顯，可以利用各樣品的主成分得分來進行樣品的分類。本章小節(jié)SAS系統(tǒng)中利用PRINCOMP過程對數(shù)據(jù)進行主成分分析。并利用兩個實例講解主成分分析的應(yīng)用。第一個實例說明主成分減少指標變量個數(shù)的作用。第二個實例闡述了主成分分析可以用來解決自變量共線

15、性的問題，并詳細講解了主成分分析解決自變量共線性問題的具體方法步驟。第17章 因子分析中國疾病預(yù)防控制中心學習目標熟悉因子分析的基本思想；熟悉因子分析的基本原理；了解因子分析的數(shù)學模型；掌握因子模型的性質(zhì)以及一些基本概念：公共度和方差貢獻。熟悉估計因子載荷的分析步驟、因子旋轉(zhuǎn)和因子得分等；掌握因子分析的步驟以及FACTOR過程實例。因子分析基本思想 前面章節(jié)討論了多元線性回歸分析、主成分分析等，它們的共同特點是討論內(nèi)容為可測量變量之間的相互關(guān)系，即所分析的這些變量是可以直接觀察或測量得到的。但是，在醫(yī)學研究中，很多情況下我們所要研究的變量是不能直接測量的。例如，研究家庭環(huán)境、社會環(huán)境和學校環(huán)境

16、對兒童智商的影響，這四個變量都是不能或不易直接觀測得到的。我們稱這種不能或不易直接觀測得到的變量為潛在變量或潛在因子。雖然這些潛在變量不能直接測量，但是它們是一種抽象的客觀存在，因此一定與某些可測量變量有著某種程度的關(guān)聯(lián)。例如，腦部疾病患者的意識清醒狀態(tài)是一個不可測變量，但可以通過患者的語言能力、辨識能力、記憶能力、理解能力等一系列可觀測的指標來反映。 因子分析基本思想對于多指標數(shù)據(jù)中呈現(xiàn)出的相關(guān)性，是否存在對這種相關(guān)性起支配作用的潛在變量？如果存在，如何找出這些潛在因素？這些潛在因素是怎樣對原始指標起支配作用的？這些問題都可以通過因子分析來解決。因子分析是一種旨在尋找隱藏在多變量數(shù)據(jù)中、無法

17、直接觀察到卻影響或支配可測變量的潛在因子、并估計潛在因子對可測變量的影響程度以及潛在因子之間的相關(guān)性的一種多元統(tǒng)計分析方法。因子分析基本思想其基本思想是從分析多變量數(shù)據(jù)的相關(guān)關(guān)系人手，找到支配這種相關(guān)關(guān)系的少數(shù)幾個相關(guān)獨立的潛在因子，并通過建立起這些潛在因子與原變量之間的數(shù)量關(guān)系來預(yù)測潛在因子的狀態(tài)，幫助發(fā)現(xiàn)隱藏在原變量之間的某種客觀規(guī)律性。因子分析和主成分分析都能夠起到清理多個原始變量內(nèi)在結(jié)構(gòu)關(guān)系的作用，但主成分分析重在綜合原始變量的信息，而因子分析重在解釋原始變量間的關(guān)系，是比主成分分析更深入的一種多元統(tǒng)計方法。因子分析基本思想因子分析最初用于心理、智力測驗的統(tǒng)計分析，隨著計算技術(shù)的不斷發(fā)

18、展，如今已廣泛應(yīng)用于醫(yī)學、氣象、經(jīng)濟學等其他研究領(lǐng)域，在中醫(yī)辨證論治研究中也有了初步成果。如李文林等利用因子分析法建立隱結(jié)構(gòu)在慢性胃炎辨證中應(yīng)用的初步分析，確定了28個原始變量中隱含的12個因子，并利用因子載荷最終分析出這12個因子(隱節(jié)點)所對應(yīng)的癥狀信息。陳啟光等在中醫(yī)證候規(guī)范研究中以468例高脂血癥的40個四診信息指標進行因子分析，結(jié)果表明：提取的5個公因子能包含四診信息指標中8392的信息，并提供所有測量指標在不同公因子載荷的大小，為醫(yī)師評價該指標在不同證候中的主次關(guān)系提供了定量的分析手段。因子分析基本思想因子分析法就是尋找這些潛在因子的模型分析方法，它是在主成分的基礎(chǔ)上構(gòu)筑若干意義較

19、為明確的潛在因子，以它們?yōu)榭蚣芊纸庠兞?，以此考察原變量間的聯(lián)系與區(qū)別。例如，隨著年齡的增長，兒童的身高、體重會隨著變化，具有一定的相關(guān)性，身高和體重之間為何會有相關(guān)性呢？因為存在著一個同時支配或影響著身高與體重的生長因子。那么，我們能否通過對多個變量的相關(guān)系數(shù)矩陣的研究，找出同時影響或支配所有變量的共性因子呢？因子分析就是從大量的數(shù)據(jù)中“由表及里”、“去粗取精”，尋找影響或支配變量的多變量統(tǒng)計方法。因子分析基本思想可以說，因子分析是主成分分析的推廣，也是一種把多個變量化為少數(shù)幾個綜合變量的多變量分析方法，其目的是用有限個不可觀測的隱變量來解釋原始變量之間的相關(guān)關(guān)系。因子分析主要用于：1、減少

20、分析變量個數(shù)；2、通過對變量間相關(guān)關(guān)系探測，將原始變量進行分類。即將相關(guān)性高的變量分為一組，用共同的潛在因子代替該組變量。因子分析基本思想可以說，因子分析是主成分分析的推廣，也是一種把多個變量化為少數(shù)幾個綜合變量的多變量分析方法，其目的是用有限個不可觀測的隱變量來解釋原始變量之間的相關(guān)關(guān)系。因子分析主要用于：1、減少分析變量個數(shù)；2、通過對變量間相關(guān)關(guān)系探測，將原始變量進行分類。即將相關(guān)性高的變量分為一組，用共同的潛在因子代替該組變量。因子分析基本思想因子分析法是從研究變量內(nèi)部相關(guān)的依賴關(guān)系出發(fā)，把一些具有錯綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個綜合因子的一種多變量統(tǒng)計分析方法。它的基本思想是將觀測變

21、量進行分類，將相關(guān)性較高，即聯(lián)系比較緊密的分在同一類中，而不同類變量之間的相關(guān)性則較低，那么每一類變量實際上就代表了一個基本結(jié)構(gòu)，即公共因子。對于所研究的問題就是試圖用最少個數(shù)的不可測的所謂公共因子的線性函數(shù)與特殊因子之和來描述原來觀測的每一分量。因子分析的基本原理 下表給出了三個指標之間的相關(guān)系數(shù)，其中，x1是孩子的數(shù)學成績，x2是孩子的語文成績，x3是孩子的英語成績。求影響支配這三個成績指標變量的潛在因子。 三個指標之間的相關(guān)系數(shù)x1x2x3x11.00 x20.771.00 x30.720.861.00因子分析的基本原理令 是影響這三個指標變量的潛在因子。顯然，每個成績指標變量除了受這個

22、潛在因子的影響外，可能還受其它因子的影響。把 以外的影響因子記為 ，從數(shù)學角度看，它們之間的關(guān)系可以表示為：因子分析的基本原理如果假設(shè) 是方差為1，、 、 、 相互獨立，并且假設(shè)指標變量被標準化為方差為1的變量 ，那么，因子分析的基本原理同理可以得到，也就得到了a1、a2和a3的一個方程組：因子分析的基本原理解上述方程組，得到一組解為：a1=0.897，a2=0.959，a3=0.803從而得到三個標準指標Xi與潛在因子以及誤差項之間的關(guān)系表達式，即：從這個關(guān)系表達式可以看出這個潛在因子對孩子的三門課的成績都有影響，而且，影響程度比較均衡。因子分析的基本原理再看下面這組表達式，其中X1-X5是

23、五個指標變量，它們分別表示收縮壓、舒張壓、心跳間隔、呼吸間隔和舌下溫度。從醫(yī)學知識可知，這5個指標是受自主神經(jīng)的交感神經(jīng)和副交感神經(jīng)支配的，而交感神經(jīng)和副交感神經(jīng)狀態(tài)又不能直接測定。用F1、F2分別表示交感神經(jīng)和副交感神經(jīng)這2個因子，則可測指標Xi是不可測因子Fj的線性函數(shù)，因子分析的基本原理由于F1、F2與每一個Xi都有關(guān)，因此，研究這5個指標變量之間的關(guān)系可以轉(zhuǎn)化為研究這兩個潛在因子之間的關(guān)系。因子分析的基本原理就是依據(jù)可測指標變量之間的相關(guān)關(guān)系，從中尋找出合理的有實際意義的潛在因子，并估計出潛在因子對可測指標變量的影響程度。因子分析的基本原理Fj對各Xi的影響是線性的，再加上其它影響因子

24、ei，則各Xi與F1、F2的關(guān)系可表示為：因子分析的步驟 因子分析的核心問題有兩個：一是如何構(gòu)造因子變量；二是如何對因子變量進行命名解釋。因此，因子分析的基本步驟和解決思路就是圍繞這兩個核心問題展開的。因子分析的步驟因子分析常常有以下四個基本步驟：確認待分析的原變量是否適合作因子分析；構(gòu)造因子變量；利用旋轉(zhuǎn)方法使因子變量更具有可解釋性；計算因子變量得分。因子分析的步驟因子分析的計算過程：將原始數(shù)據(jù)標準化，以消除變量間在數(shù)量級和量綱上的不同；求標準化數(shù)據(jù)的相關(guān)矩陣；求相關(guān)矩陣的特征值和特征向量；計算方差貢獻率與累積方差貢獻率；確定因子：設(shè)F1，F(xiàn)2， Fp為p個因子，其中前m個因子包含的數(shù)據(jù)信息

25、總量（即其累積貢獻率）不低于80%時，可取前m個因子來反映原指標；因子分析的步驟因子旋轉(zhuǎn)若所得的m個因子無法確定或其實際意義不是很明顯，這時需將因子進行旋轉(zhuǎn)以獲得較為明顯的實際含義。用原指標的線性組合來求各因子得分采用回歸估計法，Bartlett估計法或Thomson估計法計算因子得分。綜合得分以各因子的方差貢獻率為權(quán)，由各因子的線性組合得到綜合評價指標函數(shù)。F=(w1F1+w2F2+wmFm)(w1+w2+wm)此處wi為旋轉(zhuǎn)前或旋轉(zhuǎn)后因子的方差貢獻率。因子分析的應(yīng)用在采用多元統(tǒng)計分析技術(shù)進行數(shù)據(jù)處理、建立宏觀或微觀系統(tǒng)模型時，需要研究以下幾個方面的問題：簡化系統(tǒng)結(jié)構(gòu)，探討系統(tǒng)內(nèi)核?？刹捎弥鞒煞址治觥⒁蜃臃治觥?yīng)分析等方法，在眾多因素中找出各個變量最佳的子集合，從子集合所包含的信息描述多變量的系統(tǒng)結(jié)果及各個因子對系統(tǒng)的影響?！皬臉淠究瓷帧?，抓住主要矛盾，把握主要矛盾的主要方面，舍棄次要因素，以簡化系統(tǒng)的結(jié)構(gòu)，認識系統(tǒng)的內(nèi)核。因子分析的應(yīng)用構(gòu)造預(yù)測模型，進行預(yù)報控制。在自然和社會科學