判別分析案例

多元統(tǒng)計(jì)分析——判別分析統(tǒng)計(jì)研一蘇旸2007100196判別分析案例判別分析——把對(duì)象歸到已知類中人們常說(shuō)：——“像諸葛亮那么神機(jī)妙算”——“像泰山那么穩(wěn)固”——“像鉆石那么堅(jiān)硬”一些判別標(biāo)準(zhǔn)都是有原型的，雖然這些判別的標(biāo)準(zhǔn)并不那么精確或嚴(yán)格，但大都是根據(jù)一些現(xiàn)有的模型得到的。判別分析案例判別分析的方法距離判別法Fisher判別法Bayes判別法逐步判別法判別分析案例距離判別法假設(shè)有兩個(gè)總體G1和G2,如果能夠定義點(diǎn)x到它們的距離D(x,G1)和D(x,G2),則如果D(x,G1)<D(x,G2)，則x∈G1如果D(x,G2)<D(x,G1)，則x∈G2如果D(x,G1)=D(x,G2)，則待判。距離判別法的不足之處：判別方法與總體各自出現(xiàn)的的概率大小無(wú)關(guān)；判別方法與錯(cuò)判之后所造成的損失無(wú)關(guān)。判別分析案例Fisher判別法所謂Fisher判別法，就是一種先投影的方法，把高維空間中的點(diǎn)向低維空間進(jìn)行投影。主要思想是通過(guò)將多維數(shù)據(jù)投影到某個(gè)合適的方向上。而投影的原則是將總體與總體之間盡可能的分開(kāi)，然后選擇合適的判別規(guī)則，進(jìn)行分類判別。判別分析案例Bayes判別法當(dāng)每個(gè)分類的觀察值不同時(shí)，最好用Bayes判別。因?yàn)槊總€(gè)分類的觀察值不同時(shí)，每類出現(xiàn)的機(jī)會(huì)是不同的，而Fisher判別法忽視了這個(gè)問(wèn)題。具體方法是：對(duì)每一個(gè)樣品先計(jì)算出判別分?jǐn)?shù)D，然后根據(jù)先驗(yàn)概率和D的條件概率，計(jì)算出該樣品被判為每一類的后驗(yàn)概率，哪

類的后驗(yàn)概率最大，則判為哪一類。判別分析案例逐步判別法逐步判別法就是在前面的方法中加入變量選擇功能。有時(shí)，一些變量對(duì)于判別沒(méi)有什么作用，為了得到對(duì)判別最合適的變量，可以使用逐步判別。逐步判別的思想是先用少數(shù)變量進(jìn)行判別，然后一邊判別，一邊引進(jìn)判別能力最強(qiáng)的變量，同時(shí)淘汰判別能力不強(qiáng)的的變量。主要利用一些檢驗(yàn)來(lái)判斷變量的判別能力。判別分析案例

大綱數(shù)據(jù)介紹SPSS實(shí)現(xiàn)結(jié)果分析R語(yǔ)言實(shí)現(xiàn)disc.sav,disc.txt判別分析案例數(shù)據(jù)介紹——disc.sav數(shù)據(jù)來(lái)源：吳喜之——《統(tǒng)計(jì)學(xué)：從數(shù)據(jù)到結(jié)論》。數(shù)據(jù)介紹：某專家編出一套打分體系來(lái)描繪企業(yè)的狀況。該體系對(duì)每個(gè)企業(yè)的一些指標(biāo)（變量）進(jìn)行評(píng)分。共有8個(gè)指標(biāo)，如下頁(yè)表格所示。有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。我們希望根據(jù)這些企業(yè)的上述變量的打分和它們已知的類別，找出分類標(biāo)準(zhǔn)，并對(duì)沒(méi)分類的企業(yè)進(jìn)行分類。判別分析案例變量描述變量名稱涵義描述group表示類別。group-1代表上升，group-2代表穩(wěn)定，group-3代表下降。is表示企業(yè)規(guī)模。se表示服務(wù)。sa表示雇員工資比例。prr表示利潤(rùn)增長(zhǎng)。ms表示市場(chǎng)份額。msr表示市場(chǎng)份額增長(zhǎng)。cp表示流動(dòng)資金比例。cs表示資金周轉(zhuǎn)速度。判別分析案例數(shù)據(jù)展示該數(shù)據(jù)disc.sav共有90個(gè)樣本，其中30個(gè)屬于上升型，30個(gè)屬于穩(wěn)定性，30屬于下降型。這個(gè)已知類別的數(shù)據(jù)稱為一個(gè)“訓(xùn)練樣本”。group表示類別8個(gè)用來(lái)建立判別標(biāo)準(zhǔn)的變量判別分析案例SPSS實(shí)現(xiàn)——數(shù)據(jù)讀入File

→

Open→

Data

→

“Disc.sav”判別分析案例SPSS實(shí)現(xiàn)——數(shù)據(jù)編輯VariableView→“Group”變量Decimals：“2”→“0”；

Label：添加變量名稱，便于識(shí)別；“Group”變量Value：添加組別。判別分析案例SPSS實(shí)現(xiàn)——數(shù)據(jù)分析Analyze

→

Classify→

Discriminant判別分析案例SPSS實(shí)現(xiàn)——模塊介紹Grouping

Variable：選入分類變量“Group”，Define

Range被激活。點(diǎn)擊彈出Range對(duì)話框，分別輸入分類變量最小值和最大值，本例為“1”和“3”。Independents：選入自變量。本例選入變量“is—cs”。Enter

independents

together：所有自變量同時(shí)進(jìn)入方程。Use

stepwise

method：逐步判別法。按自變量貢獻(xiàn)大小，逐個(gè)引入和剔出變量，直到?jīng)]有新的有顯著作用的自變量可以引入，也沒(méi)有無(wú)顯著作用的自變量可以從方程內(nèi)刪除為止。選此項(xiàng)后，激活Method按鈕。SelectVariable：挑選觀察單位?？騼?nèi)選入變量后（不能選入分類變量和自變量中已選入的變量），Value按鈕被激活，填入數(shù)值。自己符合該數(shù)值的的觀察單位才參與判別分析；若不選此項(xiàng)，則所有觀察單位都參與判別分析。判別分析案例SPSS實(shí)現(xiàn)——選擇變量的方法兩種變量選擇方法自變量同時(shí)進(jìn)入方程逐步判別法判別分析案例SPSS實(shí)現(xiàn)——變量選擇group選入分組變量is-cs選入自變量選擇自變量同時(shí)進(jìn)入方程的方法判別分析案例SPSS實(shí)現(xiàn)——Statistics模塊Descriptives：描述性統(tǒng)計(jì)量。Means：均數(shù)估計(jì)。Univariate

ANOVAs：?jiǎn)巫兞糠讲罘治?。Box’s

M：組間協(xié)方差齊性檢驗(yàn)。Matrices：矩陣Within-groups

correlation：合并組內(nèi)相關(guān)陣。Within-groups

covariance：合并組內(nèi)協(xié)方差陣。Separate-groups

covariance：各組協(xié)方差陣。Totalcovariance：總協(xié)方差陣。Function

Coefficients：函數(shù)系數(shù)。Fisher’s：Fisher函數(shù)系數(shù)——Bayes判別函數(shù)系數(shù)。Unstandardized：非標(biāo)準(zhǔn)化函數(shù)系數(shù)——Fisher判別函數(shù)系數(shù)。判別分析案例SPSS實(shí)現(xiàn)——Statistics模塊選擇Means進(jìn)行均數(shù)估計(jì)選擇Box’s

M進(jìn)行各組協(xié)方差陣相等檢驗(yàn)生成Bayes判別方程系數(shù)和Fisher判別方程系數(shù)。選擇ANOVAs進(jìn)行各組均值相等檢驗(yàn)判別分析案例SPSS實(shí)現(xiàn)——Classify模塊Prior

Probabilities：設(shè)定先驗(yàn)概率。All

groups

equal：各組等概率。Compute

from

group

sizes：各組樣本量的百分比為先驗(yàn)概率。Display：輸出。Casewise

result：每個(gè)觀察單位判別分析后所屬類別。Limit

cases

to

first

[]：前若干觀察單位判別分析后所屬類別。Summary

table：判別符合率表。Leave-one-out

classification：以剔出某觀察單位所建立的判別函數(shù)判別該觀察單位所屬類別。Use

Covariance

Matrix：使用協(xié)方差陣。Within-groups：組內(nèi)協(xié)方差陣。Separate-groups：各組協(xié)方差陣。判別分析案例SPSS實(shí)現(xiàn)——Classify模塊Plots：判別圖。Combined-groups：各類共同輸出在一幅散點(diǎn)圖中。Separate-groups：每類單獨(dú)輸出一幅散點(diǎn)圖。Territorial

map：分類區(qū)域圖。Replace

missing

values

with

mean：用均數(shù)替代缺失值。選擇以樣本量百分比為先驗(yàn)概率顯示每個(gè)單位判別分析后所屬類別顯示判別符合率表類別顯示在同一散點(diǎn)圖中以剔出某觀察單位所建立的判別函數(shù)判別該觀察單位所屬類別判別分析案例SPSS實(shí)現(xiàn)——Save模塊Save：存為新變量。Predicted

group

membership：預(yù)測(cè)觀察單位所屬類別。Discriminant

scores：判別分。Probabilities

of

group

membership：觀察單位屬于某一類的概率。在數(shù)據(jù)中保存判別后數(shù)據(jù)所屬類別在數(shù)據(jù)中保存數(shù)據(jù)的判別分判別分析案例結(jié)果分析在判別分析主對(duì)話框中點(diǎn)擊“OK”，生成輸出output文件。90個(gè)變量100%讀入，沒(méi)有缺失值判別分析案例結(jié)果分析各自變量的方差分析及λ統(tǒng)計(jì)量說(shuō)明在3類企業(yè)間，各變量均有顯著差異λ統(tǒng)計(jì)量在0-1之間。越接近0組間差異越顯著；越接近1組間差異越不顯著。判別分析案例結(jié)果分析各組協(xié)方差陣相等的檢驗(yàn)說(shuō)明拒絕協(xié)方差矩陣相等的假設(shè)，即不能認(rèn)為各組間協(xié)方差矩陣相等。從一些統(tǒng)計(jì)實(shí)踐的結(jié)果來(lái)看，很少有碰到檢驗(yàn)不顯著的情況。而在一些實(shí)踐中，比如線性判別分析，即使方差－協(xié)方差結(jié)構(gòu)不相等，對(duì)于結(jié)果的影響也不會(huì)有非常大的影響。判別分析案例結(jié)果分析——Fisher判別法標(biāo)準(zhǔn)化典型判別函數(shù)系數(shù)得到2個(gè)標(biāo)準(zhǔn)化典型判別方程：需要注意的是：這是標(biāo)準(zhǔn)化后的判別函數(shù)，若要將變量帶入計(jì)算判別分，必須將變量進(jìn)行標(biāo)準(zhǔn)化處理（即減均值除以標(biāo)準(zhǔn)差）。判別分析案例結(jié)果分析——Fisher判別法結(jié)構(gòu)系數(shù)矩陣——用來(lái)說(shuō)明判別變量對(duì)標(biāo)準(zhǔn)化典型判別方程的相關(guān)程度結(jié)果說(shuō)明，前6個(gè)變量(*)對(duì)方程1貢獻(xiàn)比較大，后兩個(gè)變量對(duì)方程2貢獻(xiàn)較大。判別分析案例結(jié)果分析——Fisher判別法未標(biāo)準(zhǔn)化典型判別函數(shù)系數(shù)—Fisher判別法得到2個(gè)未標(biāo)準(zhǔn)化典型判別方程：可以將原變量值直接代入計(jì)算判別分進(jìn)行分類。判別分析案例結(jié)果分析——Fisher判別法生成3個(gè)新的變量dis_1表示判別后所屬組別的值dis1_1表示樣本代入第1個(gè)判別函數(shù)所得的判別分dis2_1表示樣本代入第2個(gè)判別函數(shù)所得的判別分判別分析案例結(jié)果分析——Fisher判別法Fisher判別法得到的分組圖各組重心——描述在判別空間每一組的中心位置判別分析案例結(jié)果分析——Fisher判別法判別力指數(shù)——兩個(gè)判別函數(shù)的作用并不是平等的，判別力指數(shù)給出了判別函數(shù)的重要程度。說(shuō)明第一個(gè)判別函數(shù)的貢獻(xiàn)率高達(dá)98.8%，第二個(gè)判別函數(shù)的貢獻(xiàn)率僅為1.1%。判別分析案例結(jié)果分析——Fisher判別法殘余判別力指數(shù)——?dú)堄嗯袆e力的含義是：在以前計(jì)算的函數(shù)已經(jīng)提取過(guò)原始信息之后，殘余的變量信息對(duì)于判別分組的能力。λ值越小表示越高的判別力。說(shuō)明方程1提取了很大的信息量，而殘余變量信息對(duì)于判別分組的能力很小了。判別分析案例結(jié)果分析——Fisher判別法分類結(jié)果從表上看，我們的分類函數(shù)能夠100%的把訓(xùn)練數(shù)據(jù)的每一個(gè)觀測(cè)值分到其本來(lái)的類。該表分成兩部分：上面一半是用從全部數(shù)據(jù)得到的判別函數(shù)來(lái)判斷每一個(gè)點(diǎn)的結(jié)果；下面一半是對(duì)每一個(gè)觀測(cè)值，都用僅缺少該觀測(cè)值的全部數(shù)據(jù)得到的判別函數(shù)來(lái)進(jìn)行判斷的結(jié)果。判別分析案例結(jié)果分析——Bayes判別法各分類的先驗(yàn)概率先驗(yàn)概率是根據(jù)樣本出現(xiàn)概率確定的，本例3類企業(yè)各有30個(gè)，因此先驗(yàn)概率相等都為33.3%。判別分析案例結(jié)果分析——Bayes判別法Bayes判別法得到的判別函數(shù)系數(shù)得到3個(gè)判別方程：將觀察單位的各個(gè)變量分別代入3個(gè)判別函數(shù)中，可求出3個(gè)判別函數(shù)值，哪一個(gè)最大就屬于哪一類。判別分析案例結(jié)果分析——Bayes判別法上述結(jié)果會(huì)生成一個(gè)CasewiseStatistics的表格。顯示實(shí)際分類和預(yù)測(cè)分類，系統(tǒng)會(huì)將分錯(cuò)的樣本單位用*標(biāo)注出來(lái)。本例用Bayes判別法判別的正確率為100%。需要指出的是，根據(jù)推導(dǎo)出來(lái)的分類函數(shù)來(lái)分類，即使是對(duì)訓(xùn)練樣本的這些觀測(cè)值，也不一定總能保證全都被正確劃分。本例如果只用少數(shù)幾個(gè)變量進(jìn)行判別，結(jié)果就不一樣了。判別分析案例結(jié)果分析使用企業(yè)規(guī)模(ie)、服務(wù)(se)和雇員工資比例(sa)三個(gè)變量進(jìn)行判別，得到的分類圖。與8個(gè)變量進(jìn)行判別相對(duì)比，明顯的三類點(diǎn)分的就不那么開(kāi)了。判別分析案例結(jié)果分析基于3個(gè)變量的分類結(jié)果表結(jié)果顯示，對(duì)于全部數(shù)據(jù)的判別，有85個(gè)點(diǎn)（94.4%）得到正確劃分，5個(gè)點(diǎn)錯(cuò)判；其中第二類有3個(gè)被誤判到第一類；有2個(gè)被誤判到第三類。對(duì)于交叉驗(yàn)證的判別，有83個(gè)點(diǎn)（92.2%）得到正確劃分，有7個(gè)點(diǎn)被錯(cuò)判；其中第二類有3個(gè)被誤判為第一類，4個(gè)被誤判為第三類。判別分析案例SPSS實(shí)現(xiàn)選擇逐步判別法Method模塊被激活判別分析案例SPSS實(shí)現(xiàn)——Method模塊Method：逐步判別分析方法Wilks’lambda：Wilks

λ統(tǒng)計(jì)量（組內(nèi)離差平方和/總離差平方和）最小化法。Unexplained

variance：組間不可解釋方差和最小化。Mahalanobis

distance：鄰近組間馬氏距離最大化法。Smallest

F

ratio：任兩組間最小F值最大化法。Rao’s

V：Rao

V統(tǒng)計(jì)量最大化法。

V-to-enter：V值最小增量值。Criteria：剔選標(biāo)準(zhǔn)Use

F

value：以F值為剔選變量準(zhǔn)則。Use

probability

of

F：以F值對(duì)應(yīng)的P值為剔選變量準(zhǔn)則。判別分析案例SPSS實(shí)現(xiàn)——Method模塊Display：輸出Summary

of

steps：輸出每一步的統(tǒng)計(jì)量。F

for

pairwise

distance：輸出兩組間判別檢驗(yàn)的F值及P值。選擇Wilks

λ統(tǒng)計(jì)量最小化法選擇輸出每一步統(tǒng)計(jì)量當(dāng)F≧3.84時(shí)選入；當(dāng)F≦2.71時(shí)剔出。判別分析案例結(jié)果分析經(jīng)過(guò)分析，淘汰了不顯著的資金流動(dòng)比例(cp)變量，當(dāng)然判別系數(shù)也發(fā)生相應(yīng)變化。判別分析案例結(jié)果分析雖然判別系數(shù)改變，但結(jié)果并未改變。判別分析案例R語(yǔ)言實(shí)現(xiàn)>w=read.table("disc.txt");attach(w);wV1代表Group。>V1=factor(V1)

#把分組變量變成定性變量。判別分析案例R語(yǔ)言實(shí)現(xiàn)>train=sample(1:90,45)

#隨即抽取一般樣本作訓(xùn)練樣本。>table(V1[train])

#顯示訓(xùn)練樣本中各類的比例。>librar