距離判別分析復(fù)習(xí)課程

1、距離判別分析如何解讀計(jì)算主成分的數(shù)學(xué)表達(dá)式如何解讀計(jì)算主成分的數(shù)學(xué)表達(dá)式我們?cè)O(shè)計(jì)算第一主成分的公式為：我們?cè)O(shè)計(jì)算第一主成分的公式為：4143132121111xaxaxaxaY若若a11, a12 ,a14的絕對(duì)值比較大，表明第一主成的絕對(duì)值比較大，表明第一主成分主要提取了分主要提取了x1, x2 ,x4三個(gè)原始指標(biāo)的信息；三個(gè)原始指標(biāo)的信息；如果此時(shí)再計(jì)算第二主成分，你會(huì)發(fā)現(xiàn)第二主如果此時(shí)再計(jì)算第二主成分，你會(huì)發(fā)現(xiàn)第二主成分成分x3系數(shù)的絕對(duì)值就比系數(shù)的絕對(duì)值就比x1, x2 ,x4系數(shù)的絕對(duì)系數(shù)的絕對(duì)值要大，也就是說第二主成分彌補(bǔ)了第一主成值要大，也就是說第二主成分彌補(bǔ)了第一主成分的不足分

2、的不足.主成分分析可以有助于回歸分析中自變量主成分分析可以有助于回歸分析中自變量的選擇，如果原有的選擇，如果原有n個(gè)自變量進(jìn)行擬合效果個(gè)自變量進(jìn)行擬合效果不好，可考慮選擇不好，可考慮選擇k個(gè)主成分為自變量進(jìn)行個(gè)主成分為自變量進(jìn)行擬合（擬合（kn),其原因在于原始的自變量之間其原因在于原始的自變量之間可能存在一定的相關(guān)性，而主成分之間彼可能存在一定的相關(guān)性，而主成分之間彼此不相關(guān)，可望消除多重共線性此不相關(guān)，可望消除多重共線性. 判別分析利用已知類別的樣本為標(biāo)準(zhǔn)，對(duì)未判別分析利用已知類別的樣本為標(biāo)準(zhǔn)，對(duì)未知樣本進(jìn)行判類的一種統(tǒng)計(jì)方法。它產(chǎn)生于本世知樣本進(jìn)行判類的一種統(tǒng)計(jì)方法。它產(chǎn)生于本世紀(jì)紀(jì)30

3、30年代。近年來，在自然科學(xué)、社會(huì)學(xué)及經(jīng)濟(jì)年代。近年來，在自然科學(xué)、社會(huì)學(xué)及經(jīng)濟(jì)管理學(xué)科中都有廣泛的應(yīng)用。管理學(xué)科中都有廣泛的應(yīng)用。 判別分析的特點(diǎn)判別分析的特點(diǎn)是根據(jù)已掌握的、歷史上每個(gè)類別的若干樣本的是根據(jù)已掌握的、歷史上每個(gè)類別的若干樣本的數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立判別公式和判別準(zhǔn)則。然后，當(dāng)遇到新的樣本點(diǎn)判別公式和判別準(zhǔn)則。然后，當(dāng)遇到新的樣本點(diǎn)時(shí)，只要根據(jù)總結(jié)出來的判別公式和判別準(zhǔn)則，時(shí)，只要根據(jù)總結(jié)出來的判別公式和判別準(zhǔn)則，就能判別該樣本點(diǎn)所屬的類別。就能判別該樣本點(diǎn)所屬的類別。 第四章第四章 判別分析判別分析 1 距離判別

4、 （一）（一）馬氏距離馬氏距離 距離判別的最直觀的想法是計(jì)算樣距離判別的最直觀的想法是計(jì)算樣品到第品到第i i類總體的平均數(shù)的距離，哪個(gè)類總體的平均數(shù)的距離，哪個(gè)距離最小就將它判歸哪個(gè)總體，所以，距離最小就將它判歸哪個(gè)總體，所以，我們首先考慮的是是否能夠構(gòu)造一個(gè)恰我們首先考慮的是是否能夠構(gòu)造一個(gè)恰當(dāng)?shù)木嚯x函數(shù)，通過樣本與某類別之間當(dāng)?shù)木嚯x函數(shù)，通過樣本與某類別之間距離的大小，判別其所屬類別距離的大小，判別其所屬類別。 設(shè)設(shè) 是從期望是從期望為為 、協(xié)方差陣、協(xié)方差陣= 的總體的總體G抽得的兩個(gè)觀測(cè)值，則稱抽得的兩個(gè)觀測(cè)值，則稱 和和),(pxxx21x),(pyyy21y),(p 210ppi

5、j )()(),(2yxyxyx1d)()(),( xxx12 Gd 樣本樣本X X和和G G類之間的馬氏距離平方定義為類之間的馬氏距離平方定義為X X與與G G類重心間的距離平方：類重心間的距離平方： 注：重心即均值注：重心即均值馬氏距離和歐式距離之間的差別馬氏距離和歐式距離之間的差別 2( ,)(dG-1xx-) (x-)2( ,)(dGxx-)(x-)馬氏距離馬氏距離歐氏距離歐氏距離馬氏距離有如下的特點(diǎn)：馬氏距離有如下的特點(diǎn)： 1-2y = x-11-22y y = x-x-11-22= x- x-1-= x- x-2、馬氏距離是標(biāo)準(zhǔn)化后的變量的歐式距離、馬氏距離是標(biāo)準(zhǔn)化后的變量的歐式距

6、離1、馬氏距離不受計(jì)量單位的影響馬氏距離不受計(jì)量單位的影響; 3、若變量之間是相互無關(guān)的，則協(xié)方差、若變量之間是相互無關(guān)的，則協(xié)方差矩陣為對(duì)角矩陣矩陣為對(duì)角矩陣1122pp11122111pp1122211( ,)(1ppdGxx-)(x- )22211221122ppppxxx （二）兩個(gè)總體距離判別法二）兩個(gè)總體距離判別法 先考慮兩個(gè)總體的情況，設(shè)有兩個(gè)總體先考慮兩個(gè)總體的情況，設(shè)有兩個(gè)總體 對(duì)給定的樣本對(duì)給定的樣本Y Y，判別一個(gè)樣本，判別一個(gè)樣本Y Y到底到底是來自哪一個(gè)總體，一個(gè)最直觀的想法是計(jì)是來自哪一個(gè)總體，一個(gè)最直觀的想法是計(jì)算算Y Y到兩個(gè)總體的距離。故我們用馬氏距離來到兩個(gè)

7、總體的距離。故我們用馬氏距離來給定判別規(guī)則，有：給定判別規(guī)則，有：),(),(22121222222121GydGydGdGdGGdGdG如待判，如，如，yyyyyy21GG ,1. 兩個(gè)總體協(xié)方差矩陣相等兩個(gè)總體協(xié)方差矩陣相等由于實(shí)際問題中只能得到兩個(gè)樣本的協(xié)方由于實(shí)際問題中只能得到兩個(gè)樣本的協(xié)方差矩陣差矩陣S1，S2,因此當(dāng)兩個(gè)總體協(xié)方差矩陣因此當(dāng)兩個(gè)總體協(xié)方差矩陣相等時(shí)如何確定總體的協(xié)方差矩陣相等時(shí)如何確定總體的協(xié)方差矩陣S ?2nnS)1n(S)1n(S212211 其中其中n1,n2分別為兩個(gè)樣本的容量分別為兩個(gè)樣本的容量.判別步驟：判別步驟：1.計(jì)算計(jì)算A、B兩類的均值向量與協(xié)方差

8、陣兩類的均值向量與協(xié)方差陣;ma=mean(A),mb=mean(B),S1=cov(A),S2=cov(B)2.計(jì)算總體的協(xié)方差矩陣計(jì)算總體的協(xié)方差矩陣2nnS)1n(S)1n(S212211 其中其中n1,n2分別為分別為兩個(gè)樣本的容量?jī)蓚€(gè)樣本的容量.3.計(jì)算未知樣本計(jì)算未知樣本x到到A,B兩類馬氏距離之差兩類馬氏距離之差 d=(x-ma)S-1(x-ma)- (x-mb)S-1(x-mb)4.若若d0,則則x屬于屬于B類類上述公式可以化簡(jiǎn)為：上述公式可以化簡(jiǎn)為：W(x)=(ma-mb)S-1(x-(ma+mb)/2)若若W(x)0，x屬于屬于G1;若若W(x)0，則，則x屬于屬于Af；若

9、若d0，則，則x屬于屬于Apf.Ans: d =1.7611 3.8812 3.6468故三個(gè)蠓蟲均屬故三個(gè)蠓蟲均屬Af. 從剛才的例從剛才的例1，我們發(fā)現(xiàn)對(duì)于兩個(gè)總體，我們發(fā)現(xiàn)對(duì)于兩個(gè)總體的協(xié)方差矩陣是否相等，得到的結(jié)論可能的協(xié)方差矩陣是否相等，得到的結(jié)論可能不同，因此在解決實(shí)際問題時(shí)，首先要判不同，因此在解決實(shí)際問題時(shí)，首先要判別兩個(gè)總體的協(xié)方差矩陣是否相等？別兩個(gè)總體的協(xié)方差矩陣是否相等？1,2)(i,SS:HSS:Hi1i0 檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量：統(tǒng)計(jì)量：) 2 , 1i () 2/ ) 1p(p()SS(trp|S|ln|S|ln)1n(Q2i-1iii 對(duì)給定的對(duì)給定的 ，查卡方分布表得

10、到臨界值，查卡方分布表得到臨界值 若若Q0 ,則接受則接受H0，否則拒絕，否則拒絕H0 對(duì)于例對(duì)于例1，應(yīng)用檢驗(yàn)程序如下：，應(yīng)用檢驗(yàn)程序如下：n1=6;n2=9;p=2;s=(5*s1+8*s2)/13;Q01=(n1-1)*(log(det(s)-log(det(s1)-p+trace(inv(s)*s1), Q02=(n2-1)*(log(det(s)-log(det(s2)-p+trace(inv(s)*s2), ans: Q01 = 2.5784， Q02 = 0.741805. 0 對(duì)對(duì) ，查自由度為，查自由度為3的卡方分布的卡方分布,得得到臨界值為：到臨界值為：7.815，05.

11、0 由于由于 Q017.815，Q027.815，故認(rèn)為，故認(rèn)為兩總體協(xié)方差矩陣相同。例兩總體協(xié)方差矩陣相同。例1的那種解法的那種解法更合理？更合理？ (三三). 判別準(zhǔn)則的評(píng)價(jià)判別準(zhǔn)則的評(píng)價(jià) 當(dāng)一個(gè)判別準(zhǔn)則提出以后，還要研究它的可當(dāng)一個(gè)判別準(zhǔn)則提出以后，還要研究它的可靠性。通常，我們利用回代誤判率和交叉誤判靠性。通常，我們利用回代誤判率和交叉誤判率進(jìn)行誤差的估計(jì)。若屬于率進(jìn)行誤差的估計(jì)。若屬于G1的樣品被誤判為的樣品被誤判為屬于屬于G2的個(gè)數(shù)為的個(gè)數(shù)為N1個(gè)，屬于個(gè)，屬于G2的樣品被誤判的樣品被誤判為屬于為屬于G1的個(gè)數(shù)為的個(gè)數(shù)為N2個(gè)，兩類總體的樣品總數(shù)個(gè)，兩類總體的樣品總數(shù)為為n，則誤判

12、率為：，則誤判率為：12NNpn（1）回代誤判率）回代誤判率 設(shè)設(shè)G1，G2為兩個(gè)總體，為兩個(gè)總體，X1,X2,Xm和和Y1,Y2,Yn是分別來自是分別來自G1，G2的訓(xùn)練樣本，的訓(xùn)練樣本，以全體訓(xùn)練樣本作為以全體訓(xùn)練樣本作為m+n個(gè)新樣品，逐個(gè)代個(gè)新樣品，逐個(gè)代入已建立的判別準(zhǔn)則中判別其歸屬，這個(gè)過入已建立的判別準(zhǔn)則中判別其歸屬，這個(gè)過程稱為回判。若屬于程稱為回判。若屬于G1的樣品被誤判為屬于的樣品被誤判為屬于G2的個(gè)數(shù)為的個(gè)數(shù)為N1個(gè)，屬于個(gè)，屬于G2的樣品被誤判為屬的樣品被誤判為屬于于G1的個(gè)數(shù)為的個(gè)數(shù)為N2個(gè)，則誤判率估計(jì)為：個(gè)，則誤判率估計(jì)為：12NNpmn（2）交叉誤判率估計(jì)）交叉

13、誤判率估計(jì) 交叉誤判率估計(jì)是每次剔除一個(gè)樣品，利用其余交叉誤判率估計(jì)是每次剔除一個(gè)樣品，利用其余的的m+n1個(gè)訓(xùn)練樣本建立判別準(zhǔn)則再用所建立的個(gè)訓(xùn)練樣本建立判別準(zhǔn)則再用所建立的準(zhǔn)則對(duì)刪除的樣品進(jìn)行判別。對(duì)訓(xùn)練樣本中每個(gè)樣準(zhǔn)則對(duì)刪除的樣品進(jìn)行判別。對(duì)訓(xùn)練樣本中每個(gè)樣品都做如上分析，以其誤判的比例作為誤判率，具品都做如上分析，以其誤判的比例作為誤判率，具體步驟如下：體步驟如下： 從總體為從總體為G1的訓(xùn)練樣本開始，剔除其中一個(gè)樣品，的訓(xùn)練樣本開始，剔除其中一個(gè)樣品，剩余的剩余的m1個(gè)樣品與個(gè)樣品與G2中的全部樣品建立判別函數(shù)；中的全部樣品建立判別函數(shù)； 用建立的判別函數(shù)對(duì)剔除的樣品進(jìn)行判別；用建立

14、的判別函數(shù)對(duì)剔除的樣品進(jìn)行判別； 重復(fù)步驟重復(fù)步驟，直到，直到G1中的全部樣品依次被刪除，中的全部樣品依次被刪除，又進(jìn)行判別，其誤判的樣品個(gè)數(shù)記為又進(jìn)行判別，其誤判的樣品個(gè)數(shù)記為m12 對(duì)對(duì)G2的樣品重復(fù)步驟的樣品重復(fù)步驟，直到直到G2中的全部樣中的全部樣品依次被刪除又進(jìn)行判別，其誤判的樣品個(gè)數(shù)記為品依次被刪除又進(jìn)行判別，其誤判的樣品個(gè)數(shù)記為n21于是交叉誤判率估計(jì)為：于是交叉誤判率估計(jì)為： 1221mnpmn 為了說明我們建立的方法能夠正確地區(qū)分兩為了說明我們建立的方法能夠正確地區(qū)分兩類蠓蟲，我們將已知的兩類蠓蟲的數(shù)據(jù)代入判類蠓蟲，我們將已知的兩類蠓蟲的數(shù)據(jù)代入判別函數(shù)利用別函數(shù)利用MATL

15、AB編程計(jì)算回代誤判率、交編程計(jì)算回代誤判率、交叉誤判率，在兩個(gè)總體協(xié)方差矩陣不等時(shí)：叉誤判率，在兩個(gè)總體協(xié)方差矩陣不等時(shí)：d11=mahal(Apf,Apf)-mahal(Apf,Af)d22= mahal(Af,Af)-mahal(Af,Apf) 因?yàn)橐驗(yàn)閐11和和d22的各行都小于零，故回代誤的各行都小于零，故回代誤判率為零判率為零.交叉誤判率計(jì)算程序作為作業(yè)，同學(xué)們解決交叉誤判率計(jì)算程序作為作業(yè)，同學(xué)們解決.三三. 多個(gè)總體的距離判別多個(gè)總體的距離判別設(shè)有設(shè)有k個(gè)總體，個(gè)總體，G1,G2,Gk，若判別某個(gè)體，若判別某個(gè)體y屬于哪個(gè)總體，則有如下方法：屬于哪個(gè)總體，則有如下方法：若存在某

16、個(gè)正整數(shù)若存在某個(gè)正整數(shù)k0,使得使得mahal(y,Gk0)=min(y,Gi),(i=1,2,k)則判別則判別y屬于第屬于第k0個(gè)個(gè)體個(gè)個(gè)體.例例2.某氣象站預(yù)報(bào)某地區(qū)有無春旱的資料中某氣象站預(yù)報(bào)某地區(qū)有無春旱的資料中有如下數(shù)據(jù)有如下數(shù)據(jù)(G1春旱春旱,G2無春旱無春旱),計(jì)算回代誤計(jì)算回代誤判率判率G1:24.8,-2;24.7,-2.4;26.6,-3;23.5,-1.9;25.5,-2.1;27.4,-3.1G2:22.1,-0.7;21.6,-1.4;22,-0.8;22.8,-1.6;22.7,-1.5;21.5,-1;22.1,-1.2;21.4,-1.3解：當(dāng)兩個(gè)總體協(xié)方差陣

17、不等時(shí)，有解：當(dāng)兩個(gè)總體協(xié)方差陣不等時(shí)，有G1=24.8,-2;24.7,-2.4;26.6,-3;23.5,-1.9;25.5,-2.1;27.4,-3.1;G2=22.1,-0.7;21.6,-1.4;22,-0.8;22.8,-1.6;22.7,-1.5;21.5,-1;22.1,-1.2;21.4,-1.3;d12=mahal(G1,G1)-mahal(G1,G2)d21=mahal(G2,G2)-mahal(G2,G1)由于由于d12,d21均小于零，故回代誤判率為零均小于零，故回代誤判率為零.注意：書中與此處不同！注意：書中與此處不同！ 請(qǐng)大家思考，實(shí)際解決此類問題，能否請(qǐng)大家思考

18、，實(shí)際解決此類問題，能否主觀地認(rèn)為兩個(gè)總體協(xié)方差矩陣一樣呢？主觀地認(rèn)為兩個(gè)總體協(xié)方差矩陣一樣呢？應(yīng)該進(jìn)行協(xié)方差矩陣檢驗(yàn)，我們將此問應(yīng)該進(jìn)行協(xié)方差矩陣檢驗(yàn)，我們將此問題作為作業(yè)題作為作業(yè).今后，看書或者看有判別分析的論文時(shí)，今后，看書或者看有判別分析的論文時(shí)，就要考察總體協(xié)方差矩陣是否相等，只有就要考察總體協(xié)方差矩陣是否相等，只有這樣才能保證準(zhǔn)確性這樣才能保證準(zhǔn)確性.例例2.根據(jù)下表，判別未知地區(qū)的類別，以及根據(jù)下表，判別未知地區(qū)的類別，以及回代誤判率回代誤判率類別類別農(nóng)農(nóng)林林牧牧魚魚類別類別農(nóng)農(nóng)林林牧牧魚魚289.79.5105.29.61405.911.3236.45.8286.71.560

19、.820.61450.615.7224.620.1295.53.588.440.11529.573.7195.9308.82191.312.396.31.71688.066.2371.6132.32307.626.1216.26.01433.282.3215.5330.52141.343.358.282.31405.954.0226.1104.32250.411.2154.415.21658.327.1352.6134.82337.423.6114.13.81665.751.9480.385.22254.08.680.91.11817.956.8423.2390.1228.91.832.50.

20、11439.939.4292.3101.2249.43.530.32.11769.950.9605.041.02348.810.1134.03.9x431.347.2210.614.42899.434.0685.961.2x1401.347.2654.7350.721142.730.8448.5334.2x1331.657.0693.820.41503.121.8332.3188.5x279.915.1118.55.1解：解：g1=data1; %按行輸入是一個(gè)矩陣按行輸入是一個(gè)矩陣 g2=data2;s1=cov(g1);s2=cov(g2);p=4;n1=12;n2=14;代入代入檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量得到統(tǒng)計(jì)量觀測(cè)值：得到統(tǒng)計(jì)量觀測(cè)值： Q1= 10.8824,Q2= 11.0851對(duì)對(duì)0.05的檢驗(yàn)水平，查表的臨界值為的檢驗(yàn)水平，查表的臨界值為18.307，可知兩總體協(xié)方差矩陣相等，可知兩總體協(xié)方差矩陣相等，故采取如下方法故采取如下方法:) 2 ,