多元統(tǒng)計(jì)分析

多元分析參考資料李衛(wèi)東：應(yīng)用多元統(tǒng)計(jì)分析王靜敏：多元統(tǒng)計(jì)分析方法—SPSS軟件應(yīng)用主要內(nèi)容§1概述§2多元分析的描述性統(tǒng)計(jì)§3多元分析方法及SPSS實(shí)現(xiàn)§1概述多元數(shù)據(jù)的廣泛存在企業(yè)文化：領(lǐng)導(dǎo)風(fēng)格、能力績(jī)效導(dǎo)向、人際和諧、凝聚力卓越創(chuàng)新、組織學(xué)習(xí)、文化認(rèn)同………人格特質(zhì)：外向性、接納性、責(zé)任感、情緒穩(wěn)定性、開放性自我價(jià)值感：自我評(píng)價(jià)、自我感受、自我價(jià)值判斷、自我體驗(yàn)、人格傾向§1概述定義多元分析也叫多變量統(tǒng)計(jì)分析，以多維數(shù)據(jù)集合為對(duì)象，進(jìn)行統(tǒng)計(jì)數(shù)據(jù)的收集、整理、顯示、分析，以揭示各類現(xiàn)象內(nèi)在數(shù)量規(guī)律性的理論和方法。問題內(nèi)容方法數(shù)據(jù)或結(jié)構(gòu)性化簡(jiǎn)盡可能簡(jiǎn)單地表示所研究的現(xiàn)象，但不損失很多有用的信息，并希望這種表示能夠很容易的解釋。多元回歸分析、聚類分析、主成分分析、因子分析、相應(yīng)分析、多維標(biāo)度法、可視化分析分類和組合基于所測(cè)量到的一些特征，給出好的分組方法，對(duì)相似的對(duì)象或變量分組。判別分析、聚類分析、主成分分析、可視化分析變量之間的相關(guān)關(guān)系變量之間是否存在相關(guān)關(guān)系，相關(guān)關(guān)系又是怎樣體現(xiàn)。多元回歸、典型相關(guān)、主成分分析、因子分析、相應(yīng)分析、多維標(biāo)度法、可視化分析預(yù)測(cè)與決策通過統(tǒng)計(jì)模型或最優(yōu)準(zhǔn)則，對(duì)未來進(jìn)行預(yù)見或判斷。多元回歸、判別分析、聚類分析、可視化分析假設(shè)的提出及檢驗(yàn)檢驗(yàn)由多元總體參數(shù)表示的某種統(tǒng)計(jì)假設(shè)，能夠證實(shí)某種假設(shè)條件的合理性。多元總體參數(shù)估計(jì)、假設(shè)檢驗(yàn)§2多元分析的描述性統(tǒng)計(jì)多元分析的數(shù)據(jù)結(jié)構(gòu)n個(gè)樣品p個(gè)變量的數(shù)據(jù)n個(gè)樣品(樣本點(diǎn)/case)p個(gè)變量(指標(biāo)/variable)

變量1變量2….

變量p樣品1樣品2……樣品n§2多元分析的描述性統(tǒng)計(jì)描述統(tǒng)計(jì)量均值向量方差和協(xié)方差矩陣相關(guān)系數(shù)矩陣圖形散點(diǎn)矩陣圖輪廓圖閃電圖雷達(dá)圖§2.1描述統(tǒng)計(jì)量—均值向量集中趨勢(shì)，平均水平第K個(gè)變量的平均值第一個(gè)變量的平均值P個(gè)變量的均值向量k=1,2,…,p§2.1描述統(tǒng)計(jì)量—方差和協(xié)方差矩陣方差表示變量離散程度，協(xié)方差變量間的協(xié)同關(guān)系變量k的方差變量i和變量k的協(xié)方差當(dāng)i=k時(shí)§2.1描述統(tǒng)計(jì)量—相關(guān)系數(shù)矩陣第i個(gè)和第k個(gè)變量的相關(guān)系數(shù)為相關(guān)系數(shù)是協(xié)方差的標(biāo)準(zhǔn)化形式；相關(guān)系數(shù)的取值在-1到+1之間；相關(guān)系數(shù)衡量的是變量間線性關(guān)系的強(qiáng)度§2.2圖形散點(diǎn)矩陣圖——多個(gè)變量之間的關(guān)系輪廓圖閃電圖雷達(dá)圖可以很直觀進(jìn)行樣品間的比較，并且可以用于樣品的初步分組和驗(yàn)證聚類分析的結(jié)果n很小，p比較大§2.2圖形—散點(diǎn)矩陣圖p=2時(shí)，可以用散點(diǎn)圖表示兩個(gè)變量之間的關(guān)系p>2時(shí)，對(duì)p個(gè)變量?jī)蓛膳鋵?duì)生成散點(diǎn)圖矩陣§2.2圖形—輪廓圖橫坐標(biāo)取p個(gè)點(diǎn)，表示p個(gè)變量；對(duì)于某一樣品，縱坐標(biāo)表示每個(gè)變量的取值，將p個(gè)點(diǎn)用直線連起來；依次畫n個(gè)樣品的圖?！?.2圖形—閃電圖類似于輪廓圖旋轉(zhuǎn)90度直觀上便于各樣品之間的比較§2.2圖形—雷達(dá)圖作一圓，將圓周p等分連接圓心和各分點(diǎn)，這p條半徑即為p個(gè)坐標(biāo)軸將每一個(gè)樣品的p個(gè)變量取值分別標(biāo)注在p個(gè)坐標(biāo)軸上用直線連接成p邊形n個(gè)樣品即有n個(gè)p邊形§3多元分析方法及SPSS實(shí)現(xiàn)聚類分析判別分析主成分分析§3.1聚類分析聚類分析是根據(jù)“物以類聚”的道理，對(duì)樣品或變量進(jìn)行分類的一種多元統(tǒng)計(jì)分析方法，它們討論的對(duì)象是大量的樣品，要求能合理地按各自的特性進(jìn)行分類，事先沒有任何模式可供參考或依據(jù)，即是在沒有先驗(yàn)知識(shí)的情況下進(jìn)行的。其基本思想是根據(jù)事物本身的特性研究個(gè)體分類的方法；聚類原則是同一類中的個(gè)體有較大的相似性，不同類中的個(gè)體差異很大?！?.1聚類分析變量按測(cè)量尺度分類間隔尺度變量（定量）連續(xù)變量，如長(zhǎng)度、重量、速度、溫度等有序尺度變量（定性）等級(jí)變量，不可加，但可比，如一等品、二等品、三等品名義尺度變量（定性）類別變量，不可加也不可比，如性別、職業(yè)等§3.1聚類分析聚類分析的分類距離Q型聚類相似系數(shù)R型聚類聚類的方法系統(tǒng)聚類法動(dòng)態(tài)聚類法有序樣品聚類法§3.1聚類分析的主要步驟選擇變量計(jì)算相似性（距離、相似系數(shù)）聚類聚類結(jié)果的解釋§3.1.1距離Q型聚類主要用于對(duì)樣本分類常用的距離有（只適用于具有間隔尺度變量的分類）明氏距離（包括：絕對(duì)距離、歐氏距離、切比雪夫距離）蘭氏距離馬氏距離§3.1.1距離Q型聚類—數(shù)據(jù)的變換方法§3.1.1距離Q型聚類—數(shù)據(jù)的變換方法中心化變換標(biāo)準(zhǔn)化變換（Z分?jǐn)?shù)）對(duì)數(shù)變換§3.1.1距離Q型聚類—距離明氏距離§3.1.1距離Q型聚類—距離蘭氏距離這是無量綱的量，由于它對(duì)大的奇異值不敏感，這樣使得它特別適合于高度偏倚的數(shù)據(jù)。雖然這個(gè)距離有助于克服明氏距離的第一個(gè)缺點(diǎn)，但它也沒有考慮指標(biāo)之間的相關(guān)性?！?.1.1距離Q型聚類—距離馬氏距離馬氏距離又稱為廣義歐式距離。馬氏距離考慮了觀測(cè)變量之間的相關(guān)性，而且也考慮了各個(gè)觀測(cè)指標(biāo)取值的差異程度，它消除了各觀測(cè)變量不同量綱的影響。由于計(jì)算馬氏距離需要計(jì)算協(xié)方差陣，在實(shí)際中效果不是很好，因而，在實(shí)際聚類分析中，馬氏距離也不是理想的距離。通常人們?nèi)韵矚g應(yīng)用歐氏距離進(jìn)行聚類。§3.1.1距離Q型聚類—距離定性變量樣品間的距離：§3.1.2相似系數(shù)R型聚類主要用于對(duì)變量分類常用的相似系數(shù)有：夾角余弦皮爾遜相關(guān)系數(shù)§3.1.2相似系數(shù)R型聚類夾角余弦Pearson相關(guān)系數(shù)§3.1.3系統(tǒng)聚類法初始每個(gè)樣本自成一類，并規(guī)定樣品間的距離和類與類間的距離；然后距離最近的兩類合并成為新類，并計(jì)算新類與其它類間的距離；接下去再將最近小類聚成一類，如此反復(fù)，直到所有樣本聚成一類為止?！?.1.3系統(tǒng)聚類法—基本步驟計(jì)算n個(gè)樣品兩兩間的距離，構(gòu)成距離矩陣，記作D（0）。n個(gè)樣品自成一類，類與類間的距離與樣品間的距離相同（除離差平方和外），即D（1）

=D（0）。合并距離最近的兩類為一新類。計(jì)算新類與當(dāng)前各類的距離。若類的個(gè)數(shù)等于1，轉(zhuǎn)到步驟(5)，否則回到步驟(3)。畫聚類圖。決定類的個(gè)數(shù)，及各類包含的樣品數(shù)?！?.1.3系統(tǒng)聚類法—類間距離最短距離法最長(zhǎng)距離法重心法類平均法Ward最小方差法§3.1.3系統(tǒng)聚類法—類間距離S1S3S2S4S5最短距離(singlelinkage)最長(zhǎng)距離(completelinkage)§3.1.3系統(tǒng)聚類法—類間距離S1S3S4S5§3.1.3系統(tǒng)聚類法—類間距離S1S3S2S4S5重心間距離(centroid)§3.1.3系統(tǒng)聚類法—類間距離S1S3S2S4S5平均距離(average)§3.1.3系統(tǒng)聚類法—類間距離離差平方和法（Ward法）同一類內(nèi)樣品的離差平方和應(yīng)該較小，不同類之間樣品的離差平方和應(yīng)該較大必須采用平方歐氏距離兩類合并后增加的離差平方和為類間的平方距離。6個(gè)不同民族的標(biāo)化死亡率與出生時(shí)的期望壽命民族原始數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)化死亡率(‰)出生時(shí)期望壽命(歲)標(biāo)化死亡率(‰)出生時(shí)期望壽命(歲)滿族5.8070.59-1.591.44朝鮮族7.4467.14-0.620.73蒙古族8.1165.48-0.220.38維吾爾族10.2158.881.03-0.99藏族9.5159.240.61-0.91哈薩克族9.8160.470.79-0.66均數(shù)8.480063.63330.000.00標(biāo)準(zhǔn)差1.68664.81671.001.00各民族之間的歐氏距離(標(biāo)準(zhǔn)化資料)D(1)滿族朝鮮族蒙古族維吾爾族藏族哈薩克族G1={S1}G2={S2}G3={S3}G4={S4}G5={S5}G6={S6}滿族G1={S1}0朝鮮族G2={S2}1.2080蒙古族G3={S3}1.7320.5260維吾爾族G4={S4}3.5702.3741.8510藏族G5={S5}3.2242.0481.5390.4220哈薩克族G6={S6}3.1731.9731.4480.4060.3110最短距離系統(tǒng)聚類D(2)

G1={S1}G2={S2}G3={S3}G4={S4}G7={S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G4={S4}3.5702.3741.8510G7={S5,S6}3.1731.9731.4480.4060最短距離系統(tǒng)聚類D(3)G1={S1}G2={S2}G3={S3}G8={S4,S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G8={S4,S5,S6}3.1731.9731.4480最短距離系統(tǒng)聚類D(4)G1={S1}G9={S2,S3}G8={S4,S5,S6}G1={S1}0G9={S2,S3}1.2080G8={S4,S5,S6}3.1731.4480最短距離系統(tǒng)聚類D(5)G10={S1,S2,S3}G8={S4,S5,S6}G10={S1,S2,S3}0G8={S4,S5,S6}1.4480譜系聚類圖(最短距離法)

藏族哈薩克族維吾爾族朝鮮族蒙古族滿族Dendrograms(clustertrees)0.3110.4060.5261.2081.448最長(zhǎng)距離系統(tǒng)聚類

各民族之間的歐氏距離(標(biāo)準(zhǔn)化資料)D(1)滿族朝鮮族蒙古族維吾爾族藏族哈薩克族G1={S1}G2={S2}G3={S3}G4={S4}G5={S5}G6={S6}滿族G1={S1}0朝鮮族G2={S2}1.2080蒙古族G3={S3}1.7320.5260維吾爾族G4={S4}3.5702.3741.8510藏族G5={S5}3.2242.0481.5390.4220哈薩克族G6={S6}3.1731.9731.4480.4060.3110最長(zhǎng)距離系統(tǒng)聚類D(2)

G1={S1}G2={S2}G3={S3}G4={S4}G7={S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G4={S4}3.5702.3741.8510G7={S5,S6}3.2242.0481.5390.4220最長(zhǎng)距離系統(tǒng)聚類D(3)G1={S1}G2={S2}G3={S3}G8={S4,S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G8={S4,S5,S6}3.5702.3741.8510最長(zhǎng)距離系統(tǒng)聚類D(4)G1={S1}G9={S2,S3}G8={S4,S5,S6}G1={S1}0G9={S2,S3}1.7320G8={S4,S5,S6}3.5702.3740最長(zhǎng)距離系統(tǒng)聚類D(5)G10={S1,S2,S3}G8={S4,S5,S6}G10={S1,S2,S3}0G8={S4,S5,S6}3.5700譜系聚類圖(最長(zhǎng)距離法)

藏族哈薩克族維吾爾族朝鮮族蒙古族滿族Dendrograms(clustertrees)0.3110.4220.5261.7323.570最段距離與最長(zhǎng)距離差異最長(zhǎng)距離與最短距離的并類步驟完全一致，也是將各樣品先自成一類，然后將非對(duì)角線上最小元素對(duì)應(yīng)的兩類合并。最長(zhǎng)距離與最短距離只有兩點(diǎn)不同：類與類之間的距離定義不同計(jì)算新類與其他類的距離所用的公式不同§3.1.3系統(tǒng)聚類法—類個(gè)數(shù)的確定觀察譜系聚類圖直觀確定由適當(dāng)?shù)拈y值確定藏族哈薩克族維吾爾族朝鮮族蒙古族滿族0.3110.4220.5261.7323.570§3.1.3動(dòng)態(tài)聚類法最終分類選凝聚點(diǎn)初始分類分類是否合理修改分類§3.1.3動(dòng)態(tài)聚類法—凝聚點(diǎn)的選擇凝聚點(diǎn)就是一批有代表性的點(diǎn)，是欲形成類的中心。凝聚點(diǎn)的選擇直接決定初始分類，對(duì)分類結(jié)果也有很大的影響，由于凝聚點(diǎn)的不同選擇，其最終分類結(jié)果也將出現(xiàn)不同?！?.1.3動(dòng)態(tài)聚類法—凝聚點(diǎn)的選擇§3.1.3動(dòng)態(tài)聚類法—初始分類人為地分類，憑經(jīng)驗(yàn)將樣品進(jìn)行初步分類選擇凝聚點(diǎn)后，每個(gè)樣品按與其距離最近的凝聚點(diǎn)歸類選擇一批凝聚點(diǎn)后，每個(gè)凝聚點(diǎn)自成一類，將樣品一次歸入其距離最近的凝聚點(diǎn)，并立即重新計(jì)算該類的中心，以此替代原來的凝聚點(diǎn)，再計(jì)算下一個(gè)樣品的分類，直到所有樣品都?xì)w類為止§3.1.3動(dòng)態(tài)聚類法—修改分類K均值法（K-Means）人為指定分類數(shù)k,凝聚點(diǎn)取前K個(gè)樣品對(duì)剩下的n-k個(gè)樣品，分別計(jì)算每個(gè)樣品到凝聚點(diǎn)的距離，將每個(gè)樣品歸入最近的凝聚點(diǎn)的那一類。這時(shí)歸類方法有：將n-k個(gè)樣品逐個(gè)進(jìn)入，每當(dāng)把一個(gè)樣品歸入某類后，立即重新計(jì)算該類的重心，將重心作為新的凝聚點(diǎn)。這個(gè)方法也稱為逐個(gè)修改法。將n-k個(gè)樣品一次全部歸入k個(gè)類，然后計(jì)算各類的重心，作為新的凝聚點(diǎn)。計(jì)算每個(gè)點(diǎn)的密度(半徑=d)確定初始凝聚點(diǎn)，初始分類調(diào)整重心，修改分類聚類分析的spss實(shí)現(xiàn)第一類：北京、天津、上海文化程度較高的地區(qū)第三類：12安徽、23貴州、24云南、27甘肅、28青海、29寧夏文化程度較落后的地區(qū)第四類：25西藏文化程度最落后的地區(qū)第二類：其他省、市、自治區(qū)文化程度中等水平的地區(qū)§3.2判別分析判別分析是多元統(tǒng)計(jì)分析中用于判別樣品所屬類型的一種統(tǒng)計(jì)分析方法，是一種在已知研究對(duì)象用某種方法分成若干類的情況下，確定新樣品的觀測(cè)數(shù)據(jù)，判定新樣品所屬類別的方法?？傮wG1,G2所測(cè)量的變量X1.腫瘤良性與惡性腫瘤的大小、生長(zhǎng)速度、質(zhì)地2.是高鶚寫與不是高鶚寫句子的長(zhǎng)度、某些詞語的出現(xiàn)頻率3.兩年內(nèi)企業(yè)破產(chǎn)與不破產(chǎn)某些財(cái)務(wù)變量4.新產(chǎn)品的速購者與遲購者教育、收入、家庭大小、曾更換品牌的次數(shù)5.有償付力與無償付力的保險(xiǎn)公司總資產(chǎn)、股票與債券價(jià)值、簽訂的保付金額等§3.2判別分析§3.2判別分析判別分析與聚類分析不同。判別分析要求具有一定的先驗(yàn)信息，是在一直研究對(duì)象分成若干類型（或組別）并已取得各種類型的一批已知樣品的觀測(cè)數(shù)據(jù)，然后在此基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式，然后對(duì)未知類型的樣品進(jìn)行判別分類。對(duì)于聚類分析來說，對(duì)于一批給定樣品要?jiǎng)澐值念愋褪孪炔o先驗(yàn)信息，需要通過聚類分析以確定分類。因此，判別分析和聚類分析往往聯(lián)合起來使用，例如判別分析要求先知道各類總體情況才能判斷新樣品的歸類。當(dāng)總體分類不清楚時(shí)，可先用聚類分析對(duì)原來的一批樣品進(jìn)行分類，然后再用判別分析建立判別式對(duì)新樣品進(jìn)行判別?！?.2判別分析基本步驟已知k個(gè)總體G1,G2,…Gk。確立判別準(zhǔn)則根據(jù)訓(xùn)練樣品建立判別函數(shù)根據(jù)判別函數(shù)對(duì)待判樣品進(jìn)行歸類§3.2判別分析判別準(zhǔn)則：用于衡量新樣品與各已知組別接近程度的思路原則常用的有：距離準(zhǔn)則、Fisher準(zhǔn)則、貝葉斯準(zhǔn)則判別函數(shù)：基于一定的判別準(zhǔn)則計(jì)算出的用于衡量新樣品與各已知組別接近程度的描述指標(biāo)§3.2判別分析按照判別組數(shù)劃分有兩組判別分析和多組判別分析；按照區(qū)分不同總體的所用數(shù)學(xué)模型來分有線性判別分析和非線性判別分析；按照處理變量的方法不同有逐步判別、序貫判別等；按照判別準(zhǔn)則來分有距離準(zhǔn)則、費(fèi)希爾準(zhǔn)則與貝葉斯判別準(zhǔn)則?！?.2判別分析判別方法距離判別法（距離準(zhǔn)則）費(fèi)希爾判別法（費(fèi)希爾準(zhǔn)則）貝葉斯判別法（貝葉斯準(zhǔn)則）§3.2.1距離判別法基本思想：按就近原則歸類判別準(zhǔn)則：根據(jù)已知分類的數(shù)據(jù)，分別計(jì)算各類的重心；對(duì)于任給一次觀測(cè)值，若它與第i類的重心距離最近，就認(rèn)為它來自于第i類。馬氏距離§3.2.2費(fèi)希爾判別基本思想：投影判別準(zhǔn)則：即把K類的m維數(shù)據(jù)投影(變換)到某一個(gè)方向；判別的結(jié)果應(yīng)該使類間區(qū)別最大，使類內(nèi)部離散性最小通常用于兩類判別§3.2.1費(fèi)希爾(Fisher)判別YXL=b1X+b2YG1G2§3.2.2費(fèi)希爾判別—判別函數(shù)設(shè)有A、B兩個(gè)總體，分別有n1和n2個(gè)歷史樣本數(shù)據(jù)，每個(gè)樣本有p個(gè)觀測(cè)指標(biāo)，每個(gè)樣本可看作p維空間中的一點(diǎn)。Fisher借助于方差分析的思想構(gòu)造一個(gè)線性判別函數(shù)：§3.2.2貝葉斯判別法基本思想考慮總體出現(xiàn)的概率的(先驗(yàn)概率)判別準(zhǔn)則：計(jì)算被判樣