多元統(tǒng)計(jì)分析

多元分析參考資料李衛(wèi)東：應(yīng)用多元統(tǒng)計(jì)分析王靜敏：多元統(tǒng)計(jì)分析方法—SPSS軟件應(yīng)用主要內(nèi)容§1概述§2多元分析的描述性統(tǒng)計(jì)§3多元分析方法及SPSS實(shí)現(xiàn)§1概述多元數(shù)據(jù)的廣泛存在企業(yè)文化：領(lǐng)導(dǎo)風(fēng)格、能力績(jī)效導(dǎo)向、人際和諧、凝聚力卓越創(chuàng)新、組織學(xué)習(xí)、文化認(rèn)同………人格特質(zhì)：外向性、接納性、責(zé)任感、情緒穩(wěn)定性、開(kāi)放性自我價(jià)值感：自我評(píng)價(jià)、自我感受、自我價(jià)值判斷、自我體驗(yàn)、人格傾向§1概述定義多元分析也叫多變量統(tǒng)計(jì)分析，以多維數(shù)據(jù)集合為對(duì)象，進(jìn)行統(tǒng)計(jì)數(shù)據(jù)的收集、整理、顯示、分析，以揭示各類(lèi)現(xiàn)象內(nèi)在數(shù)量規(guī)律性的理論和方法。問(wèn)題內(nèi)容方法數(shù)據(jù)或結(jié)構(gòu)性化簡(jiǎn)盡可能簡(jiǎn)單地表示所研究的現(xiàn)象，但不損失很多有用的信息，并希望這種表示能夠很容易的解釋。多元回歸分析、聚類(lèi)分析、主成分分析、因子分析、相應(yīng)分析、多維標(biāo)度法、可視化分析分類(lèi)和組合基于所測(cè)量到的一些特征，給出好的分組方法，對(duì)相似的對(duì)象或變量分組。判別分析、聚類(lèi)分析、主成分分析、可視化分析變量之間的相關(guān)關(guān)系變量之間是否存在相關(guān)關(guān)系，相關(guān)關(guān)系又是怎樣體現(xiàn)。多元回歸、典型相關(guān)、主成分分析、因子分析、相應(yīng)分析、多維標(biāo)度法、可視化分析預(yù)測(cè)與決策通過(guò)統(tǒng)計(jì)模型或最優(yōu)準(zhǔn)則，對(duì)未來(lái)進(jìn)行預(yù)見(jiàn)或判斷。多元回歸、判別分析、聚類(lèi)分析、可視化分析假設(shè)的提出及檢驗(yàn)檢驗(yàn)由多元總體參數(shù)表示的某種統(tǒng)計(jì)假設(shè)，能夠證實(shí)某種假設(shè)條件的合理性。多元總體參數(shù)估計(jì)、假設(shè)檢驗(yàn)§2多元分析的描述性統(tǒng)計(jì)多元分析的數(shù)據(jù)結(jié)構(gòu)n個(gè)樣品p個(gè)變量的數(shù)據(jù)n個(gè)樣品(樣本點(diǎn)/case)p個(gè)變量(指標(biāo)/variable)

變量1變量2….

變量p樣品1樣品2……樣品n§2多元分析的描述性統(tǒng)計(jì)描述統(tǒng)計(jì)量均值向量方差和協(xié)方差矩陣相關(guān)系數(shù)矩陣圖形散點(diǎn)矩陣圖輪廓圖閃電圖雷達(dá)圖§2.1描述統(tǒng)計(jì)量—均值向量集中趨勢(shì)，平均水平第K個(gè)變量的平均值第一個(gè)變量的平均值P個(gè)變量的均值向量k=1,2,…,p§2.1描述統(tǒng)計(jì)量—方差和協(xié)方差矩陣方差表示變量離散程度，協(xié)方差變量間的協(xié)同關(guān)系變量k的方差變量i和變量k的協(xié)方差當(dāng)i=k時(shí)§2.1描述統(tǒng)計(jì)量—相關(guān)系數(shù)矩陣第i個(gè)和第k個(gè)變量的相關(guān)系數(shù)為相關(guān)系數(shù)是協(xié)方差的標(biāo)準(zhǔn)化形式；相關(guān)系數(shù)的取值在-1到+1之間；相關(guān)系數(shù)衡量的是變量間線(xiàn)性關(guān)系的強(qiáng)度§2.2圖形散點(diǎn)矩陣圖——多個(gè)變量之間的關(guān)系輪廓圖閃電圖雷達(dá)圖可以很直觀(guān)進(jìn)行樣品間的比較，并且可以用于樣品的初步分組和驗(yàn)證聚類(lèi)分析的結(jié)果n很小，p比較大§2.2圖形—散點(diǎn)矩陣圖p=2時(shí)，可以用散點(diǎn)圖表示兩個(gè)變量之間的關(guān)系p>2時(shí)，對(duì)p個(gè)變量?jī)蓛膳鋵?duì)生成散點(diǎn)圖矩陣§2.2圖形—輪廓圖橫坐標(biāo)取p個(gè)點(diǎn)，表示p個(gè)變量；對(duì)于某一樣品，縱坐標(biāo)表示每個(gè)變量的取值，將p個(gè)點(diǎn)用直線(xiàn)連起來(lái)；依次畫(huà)n個(gè)樣品的圖?！?.2圖形—閃電圖類(lèi)似于輪廓圖旋轉(zhuǎn)90度直觀(guān)上便于各樣品之間的比較§2.2圖形—雷達(dá)圖作一圓，將圓周p等分連接圓心和各分點(diǎn)，這p條半徑即為p個(gè)坐標(biāo)軸將每一個(gè)樣品的p個(gè)變量取值分別標(biāo)注在p個(gè)坐標(biāo)軸上用直線(xiàn)連接成p邊形n個(gè)樣品即有n個(gè)p邊形§3多元分析方法及SPSS實(shí)現(xiàn)聚類(lèi)分析判別分析主成分分析§3.1聚類(lèi)分析聚類(lèi)分析是根據(jù)“物以類(lèi)聚”的道理，對(duì)樣品或變量進(jìn)行分類(lèi)的一種多元統(tǒng)計(jì)分析方法，它們討論的對(duì)象是大量的樣品，要求能合理地按各自的特性進(jìn)行分類(lèi)，事先沒(méi)有任何模式可供參考或依據(jù)，即是在沒(méi)有先驗(yàn)知識(shí)的情況下進(jìn)行的。其基本思想是根據(jù)事物本身的特性研究個(gè)體分類(lèi)的方法；聚類(lèi)原則是同一類(lèi)中的個(gè)體有較大的相似性，不同類(lèi)中的個(gè)體差異很大?！?.1聚類(lèi)分析變量按測(cè)量尺度分類(lèi)間隔尺度變量（定量）連續(xù)變量，如長(zhǎng)度、重量、速度、溫度等有序尺度變量（定性）等級(jí)變量，不可加，但可比，如一等品、二等品、三等品名義尺度變量（定性）類(lèi)別變量，不可加也不可比，如性別、職業(yè)等§3.1聚類(lèi)分析聚類(lèi)分析的分類(lèi)距離Q型聚類(lèi)相似系數(shù)R型聚類(lèi)聚類(lèi)的方法系統(tǒng)聚類(lèi)法動(dòng)態(tài)聚類(lèi)法有序樣品聚類(lèi)法§3.1聚類(lèi)分析的主要步驟選擇變量計(jì)算相似性（距離、相似系數(shù)）聚類(lèi)聚類(lèi)結(jié)果的解釋§3.1.1距離Q型聚類(lèi)主要用于對(duì)樣本分類(lèi)常用的距離有（只適用于具有間隔尺度變量的分類(lèi)）明氏距離（包括：絕對(duì)距離、歐氏距離、切比雪夫距離）蘭氏距離馬氏距離§3.1.1距離Q型聚類(lèi)—數(shù)據(jù)的變換方法§3.1.1距離Q型聚類(lèi)—數(shù)據(jù)的變換方法中心化變換標(biāo)準(zhǔn)化變換（Z分?jǐn)?shù)）對(duì)數(shù)變換§3.1.1距離Q型聚類(lèi)—距離明氏距離§3.1.1距離Q型聚類(lèi)—距離蘭氏距離這是無(wú)量綱的量，由于它對(duì)大的奇異值不敏感，這樣使得它特別適合于高度偏倚的數(shù)據(jù)。雖然這個(gè)距離有助于克服明氏距離的第一個(gè)缺點(diǎn)，但它也沒(méi)有考慮指標(biāo)之間的相關(guān)性?！?.1.1距離Q型聚類(lèi)—距離馬氏距離馬氏距離又稱(chēng)為廣義歐式距離。馬氏距離考慮了觀(guān)測(cè)變量之間的相關(guān)性，而且也考慮了各個(gè)觀(guān)測(cè)指標(biāo)取值的差異程度，它消除了各觀(guān)測(cè)變量不同量綱的影響。由于計(jì)算馬氏距離需要計(jì)算協(xié)方差陣，在實(shí)際中效果不是很好，因而，在實(shí)際聚類(lèi)分析中，馬氏距離也不是理想的距離。通常人們?nèi)韵矚g應(yīng)用歐氏距離進(jìn)行聚類(lèi)。§3.1.1距離Q型聚類(lèi)—距離定性變量樣品間的距離：§3.1.2相似系數(shù)R型聚類(lèi)主要用于對(duì)變量分類(lèi)常用的相似系數(shù)有：夾角余弦皮爾遜相關(guān)系數(shù)§3.1.2相似系數(shù)R型聚類(lèi)夾角余弦Pearson相關(guān)系數(shù)§3.1.3系統(tǒng)聚類(lèi)法初始每個(gè)樣本自成一類(lèi)，并規(guī)定樣品間的距離和類(lèi)與類(lèi)間的距離；然后距離最近的兩類(lèi)合并成為新類(lèi)，并計(jì)算新類(lèi)與其它類(lèi)間的距離；接下去再將最近小類(lèi)聚成一類(lèi)，如此反復(fù)，直到所有樣本聚成一類(lèi)為止?！?.1.3系統(tǒng)聚類(lèi)法—基本步驟計(jì)算n個(gè)樣品兩兩間的距離，構(gòu)成距離矩陣，記作D（0）。n個(gè)樣品自成一類(lèi)，類(lèi)與類(lèi)間的距離與樣品間的距離相同（除離差平方和外），即D（1）

=D（0）。合并距離最近的兩類(lèi)為一新類(lèi)。計(jì)算新類(lèi)與當(dāng)前各類(lèi)的距離。若類(lèi)的個(gè)數(shù)等于1，轉(zhuǎn)到步驟(5)，否則回到步驟(3)。畫(huà)聚類(lèi)圖。決定類(lèi)的個(gè)數(shù)，及各類(lèi)包含的樣品數(shù)。§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)間距離最短距離法最長(zhǎng)距離法重心法類(lèi)平均法Ward最小方差法§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)間距離S1S3S2S4S5最短距離(singlelinkage)最長(zhǎng)距離(completelinkage)§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)間距離S1S3S4S5§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)間距離S1S3S2S4S5重心間距離(centroid)§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)間距離S1S3S2S4S5平均距離(average)§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)間距離離差平方和法（Ward法）同一類(lèi)內(nèi)樣品的離差平方和應(yīng)該較小，不同類(lèi)之間樣品的離差平方和應(yīng)該較大必須采用平方歐氏距離兩類(lèi)合并后增加的離差平方和為類(lèi)間的平方距離。6個(gè)不同民族的標(biāo)化死亡率與出生時(shí)的期望壽命民族原始數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)化死亡率(‰)出生時(shí)期望壽命(歲)標(biāo)化死亡率(‰)出生時(shí)期望壽命(歲)滿(mǎn)族5.8070.59-1.591.44朝鮮族7.4467.14-0.620.73蒙古族8.1165.48-0.220.38維吾爾族10.2158.881.03-0.99藏族9.5159.240.61-0.91哈薩克族9.8160.470.79-0.66均數(shù)8.480063.63330.000.00標(biāo)準(zhǔn)差1.68664.81671.001.00各民族之間的歐氏距離(標(biāo)準(zhǔn)化資料)D(1)滿(mǎn)族朝鮮族蒙古族維吾爾族藏族哈薩克族G1={S1}G2={S2}G3={S3}G4={S4}G5={S5}G6={S6}滿(mǎn)族G1={S1}0朝鮮族G2={S2}1.2080蒙古族G3={S3}1.7320.5260維吾爾族G4={S4}3.5702.3741.8510藏族G5={S5}3.2242.0481.5390.4220哈薩克族G6={S6}3.1731.9731.4480.4060.3110最短距離系統(tǒng)聚類(lèi)D(2)

G1={S1}G2={S2}G3={S3}G4={S4}G7={S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G4={S4}3.5702.3741.8510G7={S5,S6}3.1731.9731.4480.4060最短距離系統(tǒng)聚類(lèi)D(3)G1={S1}G2={S2}G3={S3}G8={S4,S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G8={S4,S5,S6}3.1731.9731.4480最短距離系統(tǒng)聚類(lèi)D(4)G1={S1}G9={S2,S3}G8={S4,S5,S6}G1={S1}0G9={S2,S3}1.2080G8={S4,S5,S6}3.1731.4480最短距離系統(tǒng)聚類(lèi)D(5)G10={S1,S2,S3}G8={S4,S5,S6}G10={S1,S2,S3}0G8={S4,S5,S6}1.4480譜系聚類(lèi)圖(最短距離法)

藏族哈薩克族維吾爾族朝鮮族蒙古族滿(mǎn)族Dendrograms(clustertrees)0.3110.4060.5261.2081.448最長(zhǎng)距離系統(tǒng)聚類(lèi)

各民族之間的歐氏距離(標(biāo)準(zhǔn)化資料)D(1)滿(mǎn)族朝鮮族蒙古族維吾爾族藏族哈薩克族G1={S1}G2={S2}G3={S3}G4={S4}G5={S5}G6={S6}滿(mǎn)族G1={S1}0朝鮮族G2={S2}1.2080蒙古族G3={S3}1.7320.5260維吾爾族G4={S4}3.5702.3741.8510藏族G5={S5}3.2242.0481.5390.4220哈薩克族G6={S6}3.1731.9731.4480.4060.3110最長(zhǎng)距離系統(tǒng)聚類(lèi)D(2)

G1={S1}G2={S2}G3={S3}G4={S4}G7={S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G4={S4}3.5702.3741.8510G7={S5,S6}3.2242.0481.5390.4220最長(zhǎng)距離系統(tǒng)聚類(lèi)D(3)G1={S1}G2={S2}G3={S3}G8={S4,S5,S6}G1={S1}0G2={S2}1.2080G3={S3}1.7320.5260G8={S4,S5,S6}3.5702.3741.8510最長(zhǎng)距離系統(tǒng)聚類(lèi)D(4)G1={S1}G9={S2,S3}G8={S4,S5,S6}G1={S1}0G9={S2,S3}1.7320G8={S4,S5,S6}3.5702.3740最長(zhǎng)距離系統(tǒng)聚類(lèi)D(5)G10={S1,S2,S3}G8={S4,S5,S6}G10={S1,S2,S3}0G8={S4,S5,S6}3.5700譜系聚類(lèi)圖(最長(zhǎng)距離法)

藏族哈薩克族維吾爾族朝鮮族蒙古族滿(mǎn)族Dendrograms(clustertrees)0.3110.4220.5261.7323.570最段距離與最長(zhǎng)距離差異最長(zhǎng)距離與最短距離的并類(lèi)步驟完全一致，也是將各樣品先自成一類(lèi)，然后將非對(duì)角線(xiàn)上最小元素對(duì)應(yīng)的兩類(lèi)合并。最長(zhǎng)距離與最短距離只有兩點(diǎn)不同：類(lèi)與類(lèi)之間的距離定義不同計(jì)算新類(lèi)與其他類(lèi)的距離所用的公式不同§3.1.3系統(tǒng)聚類(lèi)法—類(lèi)個(gè)數(shù)的確定觀(guān)察譜系聚類(lèi)圖直觀(guān)確定由適當(dāng)?shù)拈y值確定藏族哈薩克族維吾爾族朝鮮族蒙古族滿(mǎn)族0.3110.4220.5261.7323.570§3.1.3動(dòng)態(tài)聚類(lèi)法最終分類(lèi)選凝聚點(diǎn)初始分類(lèi)分類(lèi)是否合理修改分類(lèi)§3.1.3動(dòng)態(tài)聚類(lèi)法—凝聚點(diǎn)的選擇凝聚點(diǎn)就是一批有代表性的點(diǎn)，是欲形成類(lèi)的中心。凝聚點(diǎn)的選擇直接決定初始分類(lèi)，對(duì)分類(lèi)結(jié)果也有很大的影響，由于凝聚點(diǎn)的不同選擇，其最終分類(lèi)結(jié)果也將出現(xiàn)不同?！?.1.3動(dòng)態(tài)聚類(lèi)法—凝聚點(diǎn)的選擇§3.1.3動(dòng)態(tài)聚類(lèi)法—初始分類(lèi)人為地分類(lèi)，憑經(jīng)驗(yàn)將樣品進(jìn)行初步分類(lèi)選擇凝聚點(diǎn)后，每個(gè)樣品按與其距離最近的凝聚點(diǎn)歸類(lèi)選擇一批凝聚點(diǎn)后，每個(gè)凝聚點(diǎn)自成一類(lèi)，將樣品一次歸入其距離最近的凝聚點(diǎn)，并立即重新計(jì)算該類(lèi)的中心，以此替代原來(lái)的凝聚點(diǎn)，再計(jì)算下一個(gè)樣品的分類(lèi)，直到所有樣品都?xì)w類(lèi)為止§3.1.3動(dòng)態(tài)聚類(lèi)法—修改分類(lèi)K均值法（K-Means）人為指定分類(lèi)數(shù)k,凝聚點(diǎn)取前K個(gè)樣品對(duì)剩下的n-k個(gè)樣品，分別計(jì)算每個(gè)樣品到凝聚點(diǎn)的距離，將每個(gè)樣品歸入最近的凝聚點(diǎn)的那一類(lèi)。這時(shí)歸類(lèi)方法有：將n-k個(gè)樣品逐個(gè)進(jìn)入，每當(dāng)把一個(gè)樣品歸入某類(lèi)后，立即重新計(jì)算該類(lèi)的重心，將重心作為新的凝聚點(diǎn)。這個(gè)方法也稱(chēng)為逐個(gè)修改法。將n-k個(gè)樣品一次全部歸入k個(gè)類(lèi)，然后計(jì)算各類(lèi)的重心，作為新的凝聚點(diǎn)。計(jì)算每個(gè)點(diǎn)的密度(半徑=d)確定初始凝聚點(diǎn)，初始分類(lèi)調(diào)整重心，修改分類(lèi)聚類(lèi)分析的spss實(shí)現(xiàn)第一類(lèi)：北京、天津、上海文化程度較高的地區(qū)第三類(lèi)：12安徽、23貴州、24云南、27甘肅、28青海、29寧夏文化程度較落后的地區(qū)第四類(lèi)：25西藏文化程度最落后的地區(qū)第二類(lèi)：其他省、市、自治區(qū)文化程度中等水平的地區(qū)§3.2判別分析判別分析是多元統(tǒng)計(jì)分析中用于判別樣品所屬類(lèi)型的一種統(tǒng)計(jì)分析方法，是一種在已知研究對(duì)象用某種方法分成若干類(lèi)的情況下，確定新樣品的觀(guān)測(cè)數(shù)據(jù)，判定新樣品所屬類(lèi)別的方法?？傮wG1,G2所測(cè)量的變量X1.腫瘤良性與惡性腫瘤的大小、生長(zhǎng)速度、質(zhì)地2.是高鶚寫(xiě)與不是高鶚寫(xiě)句子的長(zhǎng)度、某些詞語(yǔ)的出現(xiàn)頻率3.兩年內(nèi)企業(yè)破產(chǎn)與不破產(chǎn)某些財(cái)務(wù)變量4.新產(chǎn)品的速購(gòu)者與遲購(gòu)者教育、收入、家庭大小、曾更換品牌的次數(shù)5.有償付力與無(wú)償付力的保險(xiǎn)公司總資產(chǎn)、股票與債券價(jià)值、簽訂的保付金額等§3.2判別分析§3.2判別分析判別分析與聚類(lèi)分析不同。判別分析要求具有一定的先驗(yàn)信息，是在一直研究對(duì)象分成若干類(lèi)型（或組別）并已取得各種類(lèi)型的一批已知樣品的觀(guān)測(cè)數(shù)據(jù)，然后在此基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式，然后對(duì)未知類(lèi)型的樣品進(jìn)行判別分類(lèi)。對(duì)于聚類(lèi)分析來(lái)說(shuō)，對(duì)于一批給定樣品要?jiǎng)澐值念?lèi)型事先并無(wú)先驗(yàn)信息，需要通過(guò)聚類(lèi)分析以確定分類(lèi)。因此，判別分析和聚類(lèi)分析往往聯(lián)合起來(lái)使用，例如判別分析要求先知道各類(lèi)總體情況才能判斷新樣品的歸類(lèi)。當(dāng)總體分類(lèi)不清楚時(shí)，可先用聚類(lèi)分析對(duì)原來(lái)的一批樣品進(jìn)行分類(lèi)，然后再用判別分析建立判別式對(duì)新樣品進(jìn)行判別?！?.2判別分析基本步驟已知k個(gè)總體G1,G2,…Gk。確立判別準(zhǔn)則根據(jù)訓(xùn)練樣品建立判別函數(shù)根據(jù)判別函數(shù)對(duì)待判樣品進(jìn)行歸類(lèi)§3.2判別分析判別準(zhǔn)則：用于衡量新樣品與各已知組別接近程度的思路原則常用的有：距離準(zhǔn)則、Fisher準(zhǔn)則、貝葉斯準(zhǔn)則判別函數(shù)：基于一定的判別準(zhǔn)則計(jì)算出的用于衡量新樣品與各已知組別接近程度的描述指標(biāo)§3.2判別分析按照判別組數(shù)劃分有兩組判別分析和多組判別分析；按照區(qū)分不同總體的所用數(shù)學(xué)模型來(lái)分有線(xiàn)性判別分析和非線(xiàn)性判別分析；按照處理變量的方法不同有逐步判別、序貫判別等；按照判別準(zhǔn)則來(lái)分有距離準(zhǔn)則、費(fèi)希爾準(zhǔn)則與貝葉斯判別準(zhǔn)則?！?.2判別分析判別方法距離判別法（距離準(zhǔn)則）費(fèi)希爾判別法（費(fèi)希爾準(zhǔn)則）貝葉斯判別法（貝葉斯準(zhǔn)則）§3.2.1距離判別法基本思想：按就近原則歸類(lèi)判別準(zhǔn)則：根據(jù)已知分類(lèi)的數(shù)據(jù)，分別計(jì)算各類(lèi)的重心；對(duì)于任給一次觀(guān)測(cè)值，若它與第i類(lèi)的重心距離最近，就認(rèn)為它來(lái)自于第i類(lèi)。馬氏距離§3.2.2費(fèi)希爾判別基本思想：投影判別準(zhǔn)則：即把K類(lèi)的m維數(shù)據(jù)投影(變換)到某一個(gè)方向；判別的結(jié)果應(yīng)該使類(lèi)間區(qū)別最大，使類(lèi)內(nèi)部離散性最小通常用于兩類(lèi)判別§3.2.1費(fèi)希爾(Fisher)判別YXL=b1X+b2YG1G2§3.2.2費(fèi)希爾判別—判別函數(shù)設(shè)有A、B兩個(gè)總體，分別有n1和n2個(gè)歷史樣本數(shù)據(jù)，每個(gè)樣本有p個(gè)觀(guān)測(cè)指標(biāo)，每個(gè)樣本可看作p維空間中的一點(diǎn)。Fisher借助于方差分析的思想構(gòu)造一個(gè)線(xiàn)性判別函數(shù)：§3.2.2貝葉斯判別法基本思想考慮總體出現(xiàn)的概率的(先驗(yàn)概率)判別準(zhǔn)則：計(jì)算被判樣