判別的基本原理

1、判別分析的基本原理和模型一、判別分析概述（一）什么是判別分析判別分析是多元統(tǒng)計(jì)中用于判別樣品所屬類型的一種統(tǒng)計(jì)分析方法，是一種在已知研究對(duì)象用某種方法已經(jīng)分成若干類的情況下，確定新的樣品屬于哪一類的多元統(tǒng)計(jì)分析方法。判別分析方法處理問(wèn)題時(shí)，通常要給出用來(lái)衡量新樣品與各已知組別的接近程度的指標(biāo)，即判別函數(shù)，同時(shí)也指定一種判別準(zhǔn)則，借以判定新樣品的歸屬。所謂判別準(zhǔn)則是用于衡量新樣品與各已知組別接近程度的理論依據(jù)和方法準(zhǔn)則。常用的有，距離準(zhǔn)則、Fisher準(zhǔn)則、貝葉斯準(zhǔn)則等。判別準(zhǔn)則可以是統(tǒng)計(jì)性的，如決定新樣品所屬類別時(shí)用到數(shù)理統(tǒng)計(jì)的顯著性檢驗(yàn)，也可以是確定性的，如決定樣品歸屬時(shí)，只考慮判別函數(shù)值的

2、大小。判別函數(shù)是指基于一定的判別準(zhǔn)則計(jì)算出的用于衡量新樣品與各已知組別接近程度的函數(shù)式或描述指標(biāo)。（二）判別分析的種類按照判別組數(shù)劃分有兩組判別分析和多組判別分析；按照區(qū)分不同總體的所用數(shù)學(xué)模型來(lái)分有線性判別分析和非線性判別分析；按照處理變量的方法不同有逐步判別、序貫判別等；按照判別準(zhǔn)則來(lái)分有距離準(zhǔn)則、費(fèi)舍準(zhǔn)則與貝葉斯判別準(zhǔn)則。二、判別分析方法（一）距離判別法基本思想：首先根據(jù)已知分類的數(shù)據(jù)，分別計(jì)算各類的重心，即分組（類）均值，距離判別準(zhǔn)則是對(duì)于任給一新樣品的觀測(cè)值，若它與第類的重心距離最近，就認(rèn)為它來(lái)自第類。因此，距離判別法又稱為最鄰近方法（nearest neighbor method）

3、。距離判別法對(duì)各類總體的分布沒(méi)有特定的要求，適用于任意分布的資料。兩組距離判別兩組距離判別的基本原理。設(shè)有兩組總體，相應(yīng)抽出樣品個(gè)數(shù)為，每個(gè)樣品觀測(cè)個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下， 總體的樣本數(shù)據(jù)為： 該總體的樣本指標(biāo)平均值為： 總體的樣本數(shù)據(jù)為： 該總體的樣本指標(biāo)平均值為：現(xiàn)任取一個(gè)新樣品，實(shí)測(cè)指標(biāo)數(shù)值為=（），要求判斷屬于哪一類？首先計(jì)算樣品與、兩類的距離，分別記為、，然后按照距離最近準(zhǔn)則判別歸類，即樣品距離哪一類最近就判為哪一類；如果樣品距離兩類的距離相同，則暫不歸類。判別準(zhǔn)則寫(xiě)為：，如果，如果，待判，如果。其中，距離的定義很多，根據(jù)不同情況區(qū)別選用。如果樣品的各個(gè)變量之間互不相關(guān)或相關(guān)很小時(shí)，可

4、選用歐氏距離。采用歐氏距離時(shí)，= 然后比較和的大小，按照距離最近準(zhǔn)則判別歸類。但實(shí)際應(yīng)用中，考慮到判別分析常涉及到多個(gè)變量，且變量之間可能相關(guān)，故多用馬氏距離。馬氏距離公式為：其中、分別是、的均值和協(xié)方差陣。這時(shí)的判別準(zhǔn)則分兩種情況給出：（1）當(dāng)=時(shí)=令，同時(shí)記則所以判別準(zhǔn)則寫(xiě)成：，如果，如果，待判，如果。該規(guī)則取決于的值，因此被稱為判別函數(shù)，也可以寫(xiě)成：，其中。被稱為線性判別函數(shù)。作為特例，當(dāng)時(shí)，兩個(gè)總體的分布分別是和，判別函數(shù)為或（使用樣本資料代替總體參數(shù)時(shí)）不妨設(shè)，這時(shí)的符號(hào)取決于或。時(shí)，判；時(shí)，判。兩組距離判別法，簡(jiǎn)單容易理解，判別準(zhǔn)則也是合理的，但是有時(shí)也會(huì)出現(xiàn)錯(cuò)判。如下圖6.1，如

5、果來(lái)自，但卻落入，被錯(cuò)判為組，錯(cuò)判的概率為圖中陰影的面積，記為，類似有，顯然=。圖6.1當(dāng)兩總體靠的比較近時(shí)，即兩總體的均值差異較小的時(shí)候，無(wú)論用何種判別方法，錯(cuò)判的概率都比較大，這時(shí)的判別分析也是沒(méi)有意義的。因此只有當(dāng)兩總體的均值有顯著差異時(shí)，進(jìn)行判別分析才有意義，為此，要對(duì)兩總體的均值差異性進(jìn)行檢驗(yàn)，對(duì)此在下文中敘述。（2）當(dāng)時(shí)按照距離最近準(zhǔn)則，類似地有：，如果，如果，待判，如果。仍然用作為判別函數(shù)，此時(shí)的判別函數(shù)是的二次函數(shù)。（3）關(guān)于兩組判別分析的檢驗(yàn)由于判別分析是假設(shè)兩組樣品是取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，則進(jìn)行判別分析意義不大。所以，兩組判別分析的檢驗(yàn)，實(shí)

6、際就是要經(jīng)驗(yàn)兩個(gè)正態(tài)總體的均值向量是否相等，為此，檢驗(yàn)的統(tǒng)計(jì)量為： 其中： 給定檢驗(yàn)水平，查分布表使，可得出，再由樣本值計(jì)算，若，則否定原假設(shè)，認(rèn)為兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異顯著，否則兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著。3、多個(gè)總體的距離判別法類似兩個(gè)總體的討論推廣到多個(gè)總體。設(shè)有個(gè)總體，相應(yīng)抽出樣品個(gè)數(shù)為，每個(gè)樣品觀測(cè)個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下，總體的樣本數(shù)據(jù)為： 該總體的樣本指標(biāo)平均值為： 總體的樣本數(shù)據(jù)為： 該總體的樣本指標(biāo)平均值為： 它們的樣本均值和協(xié)方差陣分別為： 、。一般的，記總體的樣本指標(biāo)平均值為：（），。（）當(dāng)時(shí)此時(shí)，判別函數(shù)為，相應(yīng)的判別準(zhǔn)則為： ， 當(dāng)時(shí)，對(duì)于一切 待判，

7、若有一個(gè)（）當(dāng)不相等時(shí)此時(shí)判別函數(shù)為相應(yīng)的判別準(zhǔn)則為： ， 當(dāng)時(shí)，對(duì)于一切 待判， 若有一個(gè)（二）費(fèi)舍判別法費(fèi)舍判別法是1936年提出來(lái)的，該方法對(duì)總體分布未提出什么特定的要求。1基本思想費(fèi)舍判別法是基于統(tǒng)計(jì)上的費(fèi)舍準(zhǔn)則，即判別的結(jié)果應(yīng)該使兩組間區(qū)別最大，使每組內(nèi)部離散性最小。在費(fèi)舍準(zhǔn)則意義下，確定線性判別函數(shù)：其中為待求的判別函數(shù)的系數(shù)。判別函數(shù)的系數(shù)的確定原則是使兩組間區(qū)別最大，使每組內(nèi)部離散性最小。有了判別函數(shù)后，對(duì)于一個(gè)新的樣品，將個(gè)指標(biāo)的具體數(shù)值代入判別式中求出值，然后與判別臨界值進(jìn)行比較，并判別其應(yīng)屬于哪一組。2兩組判別分析（1）方法原理設(shè)有兩組總體，相應(yīng)抽出樣品個(gè)數(shù)為，每個(gè)樣品觀

8、測(cè)個(gè)指標(biāo)得觀測(cè)數(shù)據(jù)如下， 總體的樣本數(shù)據(jù)為： 第1個(gè)總體的樣本指標(biāo)平均值為： 總體的樣本數(shù)據(jù)為： 第2個(gè)總體的樣本指標(biāo)平均值為：根據(jù)判別函數(shù)，用表示組樣品的重心，以表示組樣品的重心。則兩組之間的離差用來(lái)表示，、內(nèi)部的離差程度分別用和來(lái)表示，其中；。根據(jù)費(fèi)舍準(zhǔn)則，要使判別的結(jié)果滿足兩組間區(qū)別最大，每組內(nèi)部離散性最小。則判別函數(shù)的系數(shù)應(yīng)該能夠使：取得最大值。（2）判別系數(shù)的導(dǎo)出令 +根據(jù)數(shù)學(xué)分析求極值的原理，對(duì)上式兩邊取對(duì)數(shù)： 令 則 即 而 =令 有 則有 而 +=+=+令 =+有 則有 于是有 令 是一個(gè)常數(shù)因子，不依賴，它對(duì)方程組的解只起到共同擴(kuò)大倍的作用，不影響它的解之間的比例關(guān)系，因此也

9、不會(huì)影響判別函數(shù)，所以，取，得方程組：即 解此方程即得，進(jìn)而得判別函數(shù)：（3）判別準(zhǔn)則由判別函數(shù)，可得兩組總體各自樣品的重心：對(duì)它們進(jìn)行根據(jù)樣本的容量進(jìn)行加權(quán)得：稱為兩組判別的綜合指標(biāo)。據(jù)此可得判別準(zhǔn)則為：如果，則對(duì)于給定的新樣品，若有則將該樣品判屬于組，若，則判其屬于組；如果，則對(duì)于給定的新樣品，若有則將該樣品判屬于組，若，則判其屬于組。（4）兩組判別分析的檢驗(yàn)由于判別分析是假設(shè)兩組樣品是取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，則進(jìn)行判別分析意義不大。所以，兩組判別分析的檢驗(yàn)，實(shí)際就是要檢驗(yàn)兩個(gè)正態(tài)總體的均值向量是否相等，為此，檢驗(yàn)的統(tǒng)計(jì)量為： 其中： ， 給定檢驗(yàn)水平，查分

10、布表使，可得出，再由樣本值計(jì)算，若，則否定原假設(shè)，認(rèn)為兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異顯著，判別函數(shù)有效，可用；否則兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，判別函數(shù)無(wú)效不可用。3、多組費(fèi)舍判別分析（1）方法原理類似兩總體的費(fèi)舍判別法,下面給出多總體的費(fèi)舍判別法。設(shè)有個(gè)總體抽取樣品數(shù)分別為令。為第個(gè)總體的第個(gè)樣品的觀測(cè)向量。假定所建立的判別函數(shù)為 其中 記和分別是總體內(nèi)的樣本均值向量和樣本協(xié)差陣，根據(jù)求隨機(jī)變量線性組合的均值和方差的性質(zhì)可知，在上的樣本均值和樣本方差為記為總的均值向量，則 在多總體情況下，F(xiàn)isher準(zhǔn)則就是要選取系數(shù)向量，使達(dá)到最大，其中是人為的正的加權(quán)系數(shù)，它可以取為先驗(yàn)概率。如

11、果取 ，并將 ，代入上式可化為：其中為組內(nèi)離差陣，為總體之間樣本的協(xié)差陣，即 （2）判別函數(shù)判別系數(shù)（矩陣關(guān)于矩陣的廣義特征向量）的導(dǎo)出。為求的最大值，根據(jù)極值存在的必要條件，令=0，利用對(duì)向量求導(dǎo)的公式： 因此 這說(shuō)明了及恰好是矩陣關(guān)于矩陣的廣義特征根及其對(duì)應(yīng)的特征向量（因?yàn)楦鶕?jù)定義有，設(shè)為階對(duì)稱矩陣，為階正定矩陣，若有或，則稱為關(guān)于矩陣的廣義特征根，是對(duì)應(yīng)的特征向量）。由于一般都要求加權(quán)協(xié)差陣是正定的，因此由代數(shù)知識(shí)可知，上式非零特征根個(gè)數(shù)不超過(guò)，又因?yàn)闉榉秦?fù)定的，所以非零特征根必定為正根，記為于是可構(gòu)造個(gè)判別函數(shù)： 判別函數(shù)的判別能力與判別函數(shù)的個(gè)數(shù)。由上述知，由于非零特征根有個(gè)，由此對(duì)

12、應(yīng)有個(gè)特征向量，即個(gè)判別函數(shù)，為了選取有效的判別函數(shù)，對(duì)于每個(gè)判別函數(shù)必須給出一個(gè)用以衡量判別能力的指標(biāo)，衡量判別函數(shù)判別能力的指標(biāo)定義為： 個(gè)判別函數(shù)的判別能力定義為如果達(dá)到某個(gè)人定的值（比如85%）則就認(rèn)為個(gè)判別函數(shù)就夠了。（3）判別準(zhǔn)則有了判別函數(shù)之后，如何對(duì)待判的樣品進(jìn)行分類？Fisher判別法本身并未給出最合適的分類法，在實(shí)際工作中可以選用下列分類法之一進(jìn)行分類。第一方法，當(dāng)取=1時(shí)（即只取一個(gè)判別函數(shù)），此時(shí)有兩種可供選用的方法不加權(quán)法若則判加權(quán)法 將按大小次序排列，記為，相應(yīng)的判別函數(shù)的標(biāo)準(zhǔn)差排為。令 則可作為與之間的分界點(diǎn)。如果使得，則判。第二種方法，當(dāng)取時(shí)（即取多個(gè)判別函數(shù)）

13、，也有類似兩種供選用的方法不加權(quán)法記 對(duì)待判樣品，計(jì)算 若，則判加權(quán)法考慮到每個(gè)判別函數(shù)的判別能力不同，記其中是由求出的特征根。若，則判。（三）貝葉斯判別法1.基本思想 設(shè)有個(gè)總體，它們的先驗(yàn)概率分別為，密度函數(shù)為（在離散情形是概率函數(shù)），在觀測(cè)到一個(gè)樣品的情況下，可用貝葉斯公式計(jì)算它來(lái)自第g個(gè)總體的后驗(yàn)概率：并且當(dāng)時(shí)，判定來(lái)自第個(gè)總體。另外，有時(shí)為了合理考慮錯(cuò)判所帶來(lái)的損失，還使用錯(cuò)判損失最小的概念確定判別函數(shù)，這時(shí)，把錯(cuò)判給第個(gè)總體的平均損失定義為：其中稱為損失函數(shù)。它表示本來(lái)是第個(gè)總體的樣品錯(cuò)判為第個(gè)總體的損失。于是建立判別準(zhǔn)則為，如果則，判定來(lái)自第個(gè)總體。顯然考慮損失函數(shù)更為合理，但是

14、由于實(shí)際應(yīng)用中，由于不容易確定，經(jīng)常在數(shù)學(xué)模型中假定各種錯(cuò)判的損失皆相等，這樣，尋找使后驗(yàn)概率最大實(shí)際上等價(jià)于使錯(cuò)判損失最小。 根據(jù)上述思想，在假定協(xié)方差矩陣相等的條件下，即可以導(dǎo)出判別函數(shù)。2.多元正態(tài)總體的Bayes判別法在實(shí)際問(wèn)題中遇到的許多總體往往服從正態(tài)分布，下面給出元正態(tài)總體的Bayes判別法，以及判別函數(shù)的導(dǎo)出。（1）待判樣品的先驗(yàn)概率和密度函數(shù)使用Bayes準(zhǔn)則進(jìn)行分析,首先需要知道待判總體的先驗(yàn)概率和密度函數(shù) (如果是離散情形則是概率函數(shù))。對(duì)于先驗(yàn)概率，一般可用樣品頻率來(lái)代替，即令，其中為用于建立判別函數(shù)的已知分類數(shù)據(jù)中來(lái)自第總體樣品的數(shù)目，且，或者干脆令先驗(yàn)概率相等，即，

15、這時(shí)可以認(rèn)為先驗(yàn)概率不起作用。對(duì)于第g總體的密度函數(shù)，設(shè)元正態(tài)分布密度函數(shù)為：式中和分別是第g總體的均值向量（維）和協(xié)差陣（階）。把代入的表達(dá)式中，因?yàn)槲覀冎魂P(guān)心尋找使最大的，而分式中的分母不論為何值都是常數(shù)，故可改令對(duì)取對(duì)數(shù)并去掉與無(wú)關(guān)的項(xiàng)，記為，則問(wèn)題可化為（2）假設(shè)各組協(xié)方差陣相等，導(dǎo)出判別函數(shù)中含有個(gè)總體的協(xié)方差陣（逆陣及行列式值），而且對(duì)于還是二次函數(shù)，實(shí)際計(jì)算時(shí)工作量很大。如果進(jìn)一步假定個(gè)總體協(xié)方差陣相同，即，這時(shí)中和兩項(xiàng)與無(wú)關(guān)，求最大時(shí)可以去掉，最終得到如下形式的判別函數(shù)與判別準(zhǔn)則（如果協(xié)方差陣不等，則有非線形判別函數(shù)）；上式判別函數(shù)也可以寫(xiě)成多項(xiàng)式形式：其中，用樣本資料這里為， ，總樣本總協(xié)差為總協(xié)差陣的估計(jì)，為總協(xié)差陣的逆矩陣。（3）計(jì)算后驗(yàn)概率進(jìn)行計(jì)算分類時(shí)，主要根據(jù)判別式的大小，而它不是后驗(yàn)概率，但是有了之后，就可以根據(jù)下式算出后驗(yàn)概率： 因?yàn)?其中是中與無(wú)關(guān)的部分。所以由上式知使為最大的，其必為最大，因此我們只須把樣品代入判別式中：分別計(jì)算，