模式識(shí)別第三StatisticDiscriminant

1、3.1.貝葉斯判別原則3.2.Bayes最小風(fēng)險(xiǎn)判別準(zhǔn)則3.3.聶曼皮爾遜判別準(zhǔn)則3.4.正態(tài)分布模式的貝葉斯分類器3.5.貝葉斯分類器的錯(cuò)誤概率l隨機(jī)特征向量的概念 模式識(shí)別的目的就是要確定某一個(gè)給定的模式樣本屬于哪一類?？梢酝ㄟ^對(duì)被識(shí)別對(duì)象的多次觀察和測(cè)量，構(gòu)成特征向量，并將其作為某一個(gè)判決規(guī)則的輸入，按此規(guī)則來對(duì)樣本進(jìn)行分類。l隨機(jī)特征向量的概念 在獲取模式的觀測(cè)值時(shí)，有些事物具有確定的因果關(guān)系，即在一定的條件下，它必然會(huì)發(fā)生或必然不發(fā)生。例如識(shí)別一塊模板是不是直角三角形，只要憑“三條直線邊閉合連線和一個(gè)直角”這個(gè)特征，測(cè)量它是否有三條直線邊的閉合連線并有一個(gè)直角，就完全可以確定它是不是

2、直角三角形。這種現(xiàn)象是確定性的現(xiàn)象，前一章的模式判別就是基于這種現(xiàn)象進(jìn)行的。l隨機(jī)特征向量的概念 但在現(xiàn)實(shí)世界中，由許多客觀現(xiàn)象的發(fā)生，就每一次觀察和測(cè)量來說，即使在基本條件保持不變的情況下也具有不確定性。 只有在大量重復(fù)的觀察下，其結(jié)果才能呈現(xiàn)出某種規(guī)律性，即對(duì)它們觀察到的特征具有統(tǒng)計(jì)特性。 特征值不再是一個(gè)確定的向量，而是一個(gè)隨機(jī)向量。 此時(shí)，只能利用模式集的統(tǒng)計(jì)特性來分類，以使分類器發(fā)生錯(cuò)誤的概率最小。l兩類模式集的分類目的： 要確定x（隨機(jī)特征向量）是屬于1類還是2類，要看x是來自于1類的概率大還是來自2類的概率大。剖析： x是來自于1類的概率大 把x劃分到1類，正確的可能性大，錯(cuò)誤的

3、可能性小。l基本概念 （1）樣本概率P(x) 模式空間的樣本x是通過多次觀察得到的，樣本點(diǎn)的出現(xiàn)具有隨機(jī)性，那么也就有重復(fù)性。P(x)表示樣本X=x出現(xiàn)的概率。也就是在全體樣本中出現(xiàn)的概率 l基本概念 (2) 先驗(yàn)概率、條件概率、后驗(yàn)概率221121)|()|()|()|(xxPxPxxPxP則，如果則，如果(3.1-1) 其中后驗(yàn)概率 21)()|()()|()()()|()|(iiiiiiiiPxpPxpxpPxpxP我們通常稱為似然函數(shù)，它可以通過已知的樣本來求得。帶入3.1-1式子，則有 2221112211)()|()()|()()|()()|(xPxpPxpxPxpPxp則，如果則

4、，如果21221121122112)()()|()|()()()()|()|()(xPPxpxpxlxPPxpxpxl則，則， 該式稱為貝葉斯判別。關(guān)于這個(gè)判別表達(dá)式的直觀意義解釋是：總是劃分到它出現(xiàn)概率最多的某個(gè)類中，從而使分類錯(cuò)誤概率最小。整理前述公式有：ijjixxPxP，則如果)|(max)|() 1 (2, 1ijjjiixPxpPxp，則如果)()|(max)()|()2(2, 121122112)()()|()|()()3(xPPxpxpxl，則如果2121211212)()(ln)|(ln)|(ln)(ln)()4(xPPxpxpxlxh，則如果例子對(duì)一大批人進(jìn)行某種疾病普查，

5、患癌者以1類代表，正常人以2類代表。設(shè)被試驗(yàn)的人中患有某種疾病的概率為0.005，即P(1)=0.005，則P(2)=1-0.005=0.995現(xiàn)任意抽取一人，要判斷他是否患有某種疾病。顯然，因?yàn)镻(2) P(1)，只能說是正常的可能性大。如要進(jìn)行判斷，只能通過某一種化驗(yàn)來實(shí)現(xiàn)。l例子設(shè)有一種診斷某種疾病的試驗(yàn)，其結(jié)果為“陽(yáng)性”和“陰性”兩種反應(yīng)。若用這種試驗(yàn)來對(duì)一個(gè)病人進(jìn)行診斷，提供的化驗(yàn)結(jié)果以模式x代表，這里x為一維特征，且只有x=“陽(yáng)”和x=“陰”兩種結(jié)果。l假設(shè)根據(jù)臨床記錄，發(fā)現(xiàn)這種方法有以下統(tǒng)計(jì)結(jié)果l患有該疾病的人試驗(yàn)反應(yīng)為陽(yáng)性的概率=0.95，即p(x=陽(yáng)| 1)=0.95l患有該

6、疾病的人試驗(yàn)反應(yīng)為陰性的概率=0.05，即p(x=陰| 1)=0.05l正常人試驗(yàn)反應(yīng)為陽(yáng)性的概率=0.01，即p(x=陽(yáng)| 2)=0.01l正常人試驗(yàn)反應(yīng)為陰性的概率=0.99，即p(x=陰| 2)=0.99l問題若被化驗(yàn)的人具有陽(yáng)性反應(yīng)，他患該疾病的概率為多少，即求P(1 | x=陽(yáng))=？這里P(1) 是根據(jù)以往的統(tǒng)計(jì)資料得到的，為患某種疾病的先驗(yàn)概率?，F(xiàn)在經(jīng)過化驗(yàn)，要求出P(1 | x=陽(yáng))，即經(jīng)過化驗(yàn)后為陽(yáng)性反應(yīng)的人中患某種疾病的概率，稱為后驗(yàn)概率。l計(jì)算 v 例例：疾病細(xì)胞識(shí)別； 正常P(1)=0.9， 異常P(2)=0.1， 對(duì)某個(gè)未知細(xì)胞特征值x，先從類條件概率密度分布曲線上查到

7、：v 解解：該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞，先計(jì)算后驗(yàn)概率：.),()(),()(,182. 0)(1)(818. 01 . 04 . 09 . 02 . 09 . 02 . 0)()()()()(211211221111用所以先驗(yàn)概率起很大作因?yàn)閷僬＜?xì)胞。因?yàn)镻PxxPxPxPxPPxpPxpxPjjjp(x/ 1)=0.2， p(x/ 2)=0.4dxxpPdxxpPePxpPxpPdxxpPdxxpPePPePPePdxxpRxPePdxxpRxPePdxxpxePdxxePePxxPxxPxePxPxxPxPTTYYRRRR)()()()()()()()()()()()()()()(

8、)()()()()()()()()()()(),()(),(),()().(,),()(1122min22112211221122121121211221211212（證明略）使錯(cuò)誤率最小條件：總錯(cuò)誤率：第二類判錯(cuò)：第一類判錯(cuò)：平均錯(cuò)誤率：這時(shí)錯(cuò)誤率最小。當(dāng)當(dāng)這時(shí)錯(cuò)誤率為則二類問題：若)()(11Pxp)()(22PxpTY1R2R1Y當(dāng)考慮到對(duì)于某一類的錯(cuò)誤判決要比對(duì)另一類的判決更為關(guān)鍵時(shí)，就需要把最小錯(cuò)誤概率的貝葉斯判別做一些修正假定要判斷某人是正常(1)還是肺病患者(2),于是在判斷中可能出現(xiàn)以下情況：第一類，判對(duì)(正常正常) 11 ；第二類，判錯(cuò)(正常肺病) 21 ； 第三類，判對(duì)(肺

9、病肺病) 22；第四類，判錯(cuò)(肺病正常) 12 。在判斷時(shí)，除了能做出“是” i類或“不是” i類的動(dòng)作以外，還可以做出“拒識(shí)”的動(dòng)作。為了更好地研究最小風(fēng)險(xiǎn)分類器，我們先說明幾個(gè)概念： 在整個(gè)特征空間中定義期望風(fēng)險(xiǎn), 期望風(fēng)險(xiǎn)：風(fēng)險(xiǎn)R（期望損失）：對(duì)未知x采取一個(gè)決策為(x)所付出的代價(jià)（損耗） ).(,.,2 , 1,1MaaixPExRjMjjijii可能不等于 )( , 平均風(fēng)險(xiǎn)dxxpxxRR決策i：表示把模式x判決為 i的一次動(dòng)作。 損耗函數(shù)ii=(i,i)表示模式X本來屬于i類而錯(cuò)判為 i所受損失。因?yàn)檫@是正確判決，故損失最小。 損耗函數(shù)ij=(i,j)表示模式X本來屬于j類錯(cuò)判

10、為 i所受損失。因?yàn)檫@是錯(cuò)誤判決，故損失大。 條件風(fēng)險(xiǎn)（也叫條件期望損失）：條件風(fēng)險(xiǎn)只反映對(duì)某x取值的決策行動(dòng)i所帶來的風(fēng)險(xiǎn)。期望風(fēng)險(xiǎn)則反映在整個(gè)特征空間不同的x取值的決策行動(dòng)所帶來的平均風(fēng)險(xiǎn)。 最小風(fēng)險(xiǎn)Bayes決策規(guī)則：kiMikxxRxR則若,min,.,2 , 1二類問題：把x歸于1時(shí)風(fēng)險(xiǎn)： 把x歸于2時(shí)風(fēng)險(xiǎn)：作用。較大，決策損失起決定因類風(fēng)險(xiǎn)大。因決策異常細(xì)胞因?yàn)闂l件風(fēng)險(xiǎn)：概率：由上例中計(jì)算出的后驗(yàn)，曲線上查的從類條件概率密度分布異常為概率為例：已知正常細(xì)胞先驗(yàn)6,)()(818. 0)()(092. 1)()()(182. 0)(,818. 0)(0, 1, 6, 04 . 0)(

11、, 2 . 0)(, 1 . 0)(, 9 . 0)(121211212212121121222112112121xxRxRxPxRxPxPxRxPxPxPxPPPjjj)()()()()()(22212122121111xPxPxRxPxPxRl通常取)()()()()|()|(112122121221PPxpxpiiij若則x劃分到1閾值)()()()()(112122121221PPx)|()|()(2112xpxpxl似然比l兩類的貝葉斯判決條件： 211221122112)()()(xlxlxl（I）當(dāng)（ii）當(dāng)（iii）當(dāng)1x，則，則，則2x1x1x或者當(dāng)滿足如下條件時(shí)，最小風(fēng)險(xiǎn)代

12、價(jià)的貝葉斯判決方法就是最小錯(cuò)誤概率判決方法：0, 111221221)()()()()|()|(112122121221PPxpxp)()()|()|(1221PPxpxp一般多類（M類）的情況)()|()(1jMjjijiPxpxr如果ijixijMjxrxr則且, 2, 1),()(特別的 (習(xí)慣稱為0-1代價(jià)） 則jijiij當(dāng)當(dāng)1, 0)()|()()()|()()|()(1jjjjiMiijPxpxpPxpPxpxr)()|()()|()()(jjiijiPxpPxpxrxr此時(shí)有2221112211)()|()()|()()|()()|(xPxpPxpxPxpPxp則，如果則，如果

13、 直接使用上述貝葉斯分類器需要知道先驗(yàn)概率，如果先驗(yàn)概率不知道，而知道條件概率，此時(shí)，可以使用聶曼皮爾遜判決方法。同樣力求錯(cuò)誤分類的概率最小。l以一維為例分析11為 類被錯(cuò)劃分成 類的錯(cuò)誤概率222為 類被錯(cuò)劃分成 類的錯(cuò)誤概率1dxxpePdxxpePaa)|()()|()(122221111)|()|(1211aadxxpdxxp1)|()|(1222aadxxpdxxp實(shí)際中經(jīng)常用到：在限制某一類的錯(cuò)誤一定的條件下，使另一類的錯(cuò)誤最小的決策問題。)|()|()|(0012021xpxpdxxpa得：，令：x法：最小，用的情況下使假設(shè)在令larange1102)()(ePePdxxpxpd

14、xxpdxxpdxxpdxxpaaaaa11112)|()|(1)|()|(1)|()|()(120021021021l從 因在a1范圍內(nèi)，故 同理有 綜合上面兩個(gè)式子 因此)|()|(12xpxp121)|()|(xxpxp221)|()|(xxpxp2121)|()|(xxpxp)()|()|(21xxpxp)(221)|()(xdxxpl聶曼皮爾遜判別準(zhǔn)則最終就是尋找閾值T,該值可以用作為劃分a1和a2的邊界，也是最為判別分類的準(zhǔn)則。其中 在確定了在確定了2 2的值后，就可以求出的值后，就可以求出T T的值。的值。從而找到判決閾值從而找到判決閾值)(221)|()(xTdxxpl例 兩個(gè)

15、二維正態(tài)分布 求聶曼皮爾遜判別閾值。 解：04. 0,)0 , 1 (,)0 , 1(22121Immttln21)()2exp()|()|(111121xxxxpxp11ln( )ln( ) 12222121111( )expexp2222xudxdu查標(biāo)準(zhǔn)正態(tài)分布表：210.046,1.693,0.693,4ux 得前邊的討論都是假定先驗(yàn)概率不變，現(xiàn)在討論在P(i)變化時(shí)如何使最大可能風(fēng)險(xiǎn)最小，先驗(yàn)概率P(1)與風(fēng)險(xiǎn)R間的變化關(guān)系如下： .)(,11)(12122212111212211122212221121222211212212111121122122121的線性函數(shù)就是被確定，風(fēng)險(xiǎn)

16、一旦，對(duì)二類情況有：關(guān)系：與風(fēng)險(xiǎn)PRdxxpdxxpPdxxpRdxxpdxxpPPdxxpPxpPdxxpPxpPdxxpxxRdxxpxxRdxxPxxRRPRi 1222221211121221122212221dxxPdxxPbdxxPabPaR其中：)(1xp)(2xp12X1X12這樣，就得出最小風(fēng)險(xiǎn)與先驗(yàn)概率的關(guān)系曲線，如圖所示：討論： 。使最大風(fēng)險(xiǎn)為不變，變化，則平行，與橫坐標(biāo)這時(shí)直線如圖所示，這時(shí)候最大風(fēng)險(xiǎn)為最小即無關(guān)與使如果選擇關(guān)系為一條曲線與選擇不同時(shí)，當(dāng)關(guān)系為直線關(guān)系與區(qū)間固定時(shí)，當(dāng)a:0., 0,3;,2;,111222122222212111212211121121

17、1121212RPPRdxxPaRdxxPdxxPPRbPRRPPR1PR固定21,*RA選擇不同21,)(1*P1PR*RB)(1*P不變變化RP1 .,0. 0,2121211222112112兩類錯(cuò)誤概率相等若選取損失為滿足應(yīng)該使邊界所以在最大最小判別中ePePdxxPdxxPb上式證明，所選的判別邊界，使兩類的概率相等： ePeP21這時(shí)可使最大可能的風(fēng)險(xiǎn)為最小，這時(shí)先驗(yàn)概率變化，其最大風(fēng)險(xiǎn)不變迄今為止所討論的分類問題，關(guān)于待分類樣本的所有信息都是一次性提供的。但是，在許多實(shí)際問題中，觀察實(shí)際上是序貫的。隨著時(shí)間的推移可以得到越來越多的信息。一種方法是計(jì)算停止損失和計(jì)算繼續(xù)損失，在兩者

18、的臨界點(diǎn)上得到分類決策。這種方法需要知道先驗(yàn)概率、決策損失以及觀測(cè)每個(gè)新特征需要的代價(jià)。后來開發(fā)了一系列基于這種方法的快速算法。v假設(shè)對(duì)樣品進(jìn)行第 i 次觀察獲取一序列特征為：X=(x1,x2, xi )T 則對(duì)于1，2兩類問題,v若X 1，則判決完畢v若X 2 ，則判決完畢v若X不屬1也不屬2 ，則不能判決，進(jìn)行第i+1次觀察，得X=(x1,x2,xi,x i+1)T ，再重復(fù)上面的判決，直到所有的樣品分類完畢為止。v這樣做的好處是使那些在二類邊界附近的樣本不會(huì)因某種偶然的微小變化而誤判，當(dāng)然這是以多次觀察為代價(jià)的。另外一種是基于錯(cuò)誤概率的序貫處理。:),.,()()()()()(12121

19、1221時(shí)可計(jì)算其似然比當(dāng)測(cè)得第一個(gè)特征參數(shù)其中，特征矢量xxxxXXPPXpXpxlTNi)()()()()(2111211111xpxpxpxpxlv由最小錯(cuò)誤概率的Bayes 判決，對(duì)于兩類問題，似然比為)()()(,)(,)(,)(22112121221121111111xxpxxpxxlxAxlBxXBxlxXAxl，并計(jì)算似然比則測(cè)量下一個(gè)特征參數(shù)如果則如果則如果v現(xiàn)在來確定A、B的值。v因?yàn)槭巧舷麻T限），（其中止樣品的類別全部確定為所有，為重復(fù)以上過程直到，再測(cè)第三個(gè)特征參數(shù)，若，則，若，則，若BAxAxxlBxxXBxxlxxXAxxlTT.)()(,)()(,)(321222

20、1212121212類的概率。判決為類而屬于，左邊的積分代表模式得：的特征空間內(nèi)取積分可對(duì)上式兩邊對(duì)應(yīng)于次測(cè)量表示第11211212111)()()()(,)()()(dXXpAdXXpXApXpNNAXpXpxlNNNNNNN22112121212111212121122221111)(1)()()(1)(1)(),(1 ()()()()()(,)()()()()(1)()(1)()()()(1)(2211XePePBXePePAePePBePBePdXXpBdXXpXBpXpBXpXpxlePePAeAPePePdXXpePePdXXpNNNNNNNNN用錯(cuò)誤概率表示為即所以同理，因?yàn)榛蝾?/p>

21、的分類誤差概率類而錯(cuò)判為為本來屬于而積分類的分類誤差概率類而錯(cuò)判為表示本來屬于即：)()(121ePePA)(1)(21ePePB繼續(xù)觀察區(qū)區(qū)判決1X區(qū)判決2Xv序貫分類決策規(guī)則：l上下門限A、B是由設(shè)計(jì)給定的錯(cuò)誤概率P1(e), P2(e)來確定的，Wald 已證明，觀察次數(shù)不會(huì)很大，它收斂的很快。時(shí)，繼續(xù)觀察時(shí)時(shí)AXpXpBXePePBXpXpXePePAXpXpiiiiii)()()(1)()()()()(1)()(212212112121)|()() 1xPxgii)()|()()2iiiPxpxg)(ln)|(ln)()3iiiPxpxgcixgi,.,2 , 1),( 為任一單調(diào)增

22、函數(shù)fxhxpfxgii,)|()()4)()(jxgxgi（1）判別函數(shù)：（2）決策面方程：（3）分類器設(shè)計(jì)：(類似線性分類器多類第三種情況）v一、正態(tài)分布判別函數(shù) 1、為什么采用正態(tài)分布： a、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學(xué)上簡(jiǎn)單，N(, ) 只有均值和方差兩個(gè)參數(shù)。 2、單變量正態(tài)分布： )()()(,)()(:),(21exp21)(22222方差，均值或數(shù)學(xué)期望其中dxxpxxEdxxxpxENxxp1)()( , 0)(dxxpxxp列關(guān)系：概率密度函數(shù)應(yīng)滿足下)(xpX2295.013、（多變量）多維正態(tài)分布 （1）函數(shù)形式：的行列式為的逆陣，為維協(xié)方差矩陣

23、，為維均值向量，維特征向量其中121211212),.,(,.,:21exp21)(pnnnnxxxxxxxTnTnTniiiiidxxpxxE)()(nnnnnnnnnnnnTxxxxxxxxExxxxExxE.,.,.111111111111是協(xié)方差，非對(duì)角線是方差對(duì)角線jijixxExxExxExxEijijnnnnnnnnnnnnn22222212121221111111111,.(2)、性質(zhì)：、與對(duì)分布起決定作用P(X)=N(, ), 由n個(gè)分量組成，由n(n+1)/2元素組成。多維正態(tài)分布由n+n(n+1)/2個(gè)參數(shù)組成。 、等密度點(diǎn)的軌跡是一個(gè)超橢球面。區(qū)域中心由決定，區(qū)域形狀由

24、決定。 、不相關(guān)性等價(jià)于獨(dú)立性。若xi與xj互不相關(guān),則xi與xj一定獨(dú)立。 、邊緣分布和條件分布也是正態(tài)的。 、線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。 、線性組合的正態(tài)性。211X2X 判別函數(shù)：類條件概率密度用正態(tài)來表示：112211221()ln()()11lnexp()2211lnexpln()2211ln 2lnln()222iiTiiiniiTiiiniiTiiiiigxp xPxxPxxPnxxP 二、最小錯(cuò)誤率(Bayes)分類器：從最小錯(cuò)誤率這個(gè)角度來分析Bayes 分類器 1.第一種情況：第一種情況：各個(gè)特征統(tǒng)計(jì)獨(dú)立，且同方差情況。(

25、最簡(jiǎn)單情況) 決策面方程：0)()(xgxgji0)()(lnln2121)()(11jijijjjiiijiPPxxxxxgxg iTiiiiiiiTiiiiiiiiiTiixxxPxPxxxginIIIPnxxxg222121221),(ln2)(ln21)(2ln2,1,)(lnln212ln221)(其中對(duì)分類無影響。無關(guān)。都與因?yàn)?(,2)()(.)()(2221歐氏距離imxxgPPP零。，只有方差，協(xié)方差為即22112.0.0.:nniI判別函數(shù)： 最小距離分類器：未知x，找最近的i把x歸類v如果M類先驗(yàn)概率相等： ijTjMwiTiiiiTiiiiiTiiTiTiiTiTixw

26、xwwxwxgPwwwxwxgixxxxxxx0102020max)()(ln21,1)( ,)(,2判別規(guī)則：其中：線性判別函數(shù)簡(jiǎn)化可得：無關(guān)與因?yàn)槎雾?xiàng))()(ln)(210)(0)()(2200jijijijijitjiPPxWxxWxgxg其中決策面方程：21212211212212)()(ln)(21)(1)()()(xPPxxgxgxgTTT對(duì)于二類情況討論：的聯(lián)線。垂直于決策面同方向同相與，所以又因?yàn)榇怪迸c，因此分界面點(diǎn)積為與因率面是一個(gè)圓形。協(xié)方差為零。所以等概因?yàn)镠WWWHxxWbIajii)(0)(: )(,: )(21210221i二類情況下線的垂直線為界面。同時(shí)可用各類

27、的均值聯(lián)多類情況，先驗(yàn)概率相。離開先驗(yàn)概率大的一類否則就是聯(lián)線的中點(diǎn)。通過如果先驗(yàn)概率相等: )(),()(),()(: )(2121dHPPHPPc12WH時(shí)決策面)()(21PP124334H23H14H12H1121x2xHW20 x)21()()(21)()(.)()()()(ln)()(21)(.21321121馬氏距離平方的，若先驗(yàn)概率相等無關(guān)與因?yàn)閞xxxgPPPPPxxxgiiTiiiiiTiiM 未知x，把x與各類均值相減，把x歸于最近一類。最小距離分類器。)(ln21,)()()(101011iiTiiiiiTiiTiTiPwWwxWxgixxxx其中（線性函數(shù)）無關(guān)。與展

28、開；把 2、第二種情況：、第二種情況：即各類協(xié)方差相等。iI )()()()(ln)()(21)(, 0)(1010jiTjijijijijiTPPxWxxW。其中0)()()()(ln)(21)()()()(max)(212121211111212010 xgxgxPPxxgxgxgxwxWwxWxgjijiTTijTjMjiTii相鄰與決策界面：若對(duì)于二類情況決策規(guī)則： 討論：針對(duì)1，2二類情況，如圖：。離開先驗(yàn)概率大的一類否則通過均值聯(lián)線中點(diǎn)則則若各類先驗(yàn)概率相等，值聯(lián)線。不垂直于不同相與所以因?yàn)辄c(diǎn)。通過正交，與所以點(diǎn)積為與因?yàn)楸菊髦禌Q定長(zhǎng)軸由所以等概率面是橢圓，因?yàn)镠HxdHWWcxH

29、xxWxxWbIajijijiii;),(21: )(;)();(: )()(, 0)(: )(,: )(010001121x2xHW20 x 3、第三種情況、第三種情況(一般情況)：為任意，各類協(xié)方差矩陣不等，二次項(xiàng)xT x與i有關(guān)。所以判別函數(shù)為二次型函數(shù)。ijTjjTMjiTiiTixwxWxWxwxWxWxxg010max)(決策規(guī)則：2121212122111121)()(lnln21)()(21)()(21)()()(xPPxxxxxgxgxgTT對(duì)于二類情況)(lnln2121)()( ,21,)(:10110iiiiTiiiiiiiiTiiTiPwnWnnWwxWxWxxg，維

30、列向量矩陣其中判別函數(shù)圓)(a1x2x12雙曲線)(d122橢圓)(b21拋物線)(c1212先驗(yàn)概率相等。為條件獨(dú)立；二類情況對(duì)于二類問題，條件：各種圖形：下面看一下決策界面的決策面方程：:0)()(2121cxxbaxgxgji直線)(e2211dxxpPdxxpPePxpPxpPdxxpPdxxpPePPePPePdxxpRxPePdxxpRxPePTTYYRRRR)()()()()()()()()()()()()()()()()()()()()()()()(1122min221122112211221211211212（證明略）使錯(cuò)誤率最小條件：總錯(cuò)誤率：第二類判錯(cuò)：第一類判錯(cuò)：l3.

31、4.1 錯(cuò)誤概率的概念 以兩類問題為例， 錯(cuò)誤分類的概率為 )()(11Pxp)()(22PxpTY1R2R1Y計(jì)算量很大）總錯(cuò)誤率對(duì)于多類問題：)()()()(.)()(.)()(.)()()()(.)()()(11121222321111312iMiMjjjMMMMMMMPRxPPRxPRxPRxPPRxPRxPRxPPRxPRxPRxPePijMiiRiMiiiidxPxpPRxPMPi11)()()()()(用平均正確分類概率：，計(jì)算相對(duì)簡(jiǎn)單。錯(cuò)誤率：)(1)(MPeP2、正態(tài)分布最小錯(cuò)誤率、正態(tài)分布最小錯(cuò)誤率(在正態(tài)分布情況下求最小錯(cuò)誤率)21)()(21PP設(shè)：(B)x21exp21)xp(A)x21exp21)xp(222211可計(jì)算出最小錯(cuò)誤率。若已知錯(cuò)誤率最