模式識別與人工智能原理

1、模式識別與人工智能原理喬誼正教授山東大學(xué)，控制科學(xué)與工程學(xué)院2006年十二月教材和參考書目.教材：現(xiàn)代模式識別，孫即祥等，國防科技大學(xué)出版社，2001年1月第一版。人工智能及其應(yīng)用（第二版），蔡自興徐光佑，清華大學(xué)出版社，1996年5月第二版。 參考：模式識別導(dǎo)論，李金宗，高等教育出版社，1994年7月第一版。模式識別（第二版），邊肇祺張學(xué)工，清華大學(xué)出版社，2000年1月第二版。人工智能原理與方法，王永慶，西安交通大學(xué)出版社，1998年5月第一版。人工智能與專家系統(tǒng)，吳泉源劉江寧，國防科技大學(xué)出版社，1995年3月第一版。.講義： HYPERLINK /faculty/yzqiao/inde

2、x.htm /faculty/yzqiao/index.htm口令.course123內(nèi)容提要第一部分模式識別原理介紹模式識別的基本概念和理論。包括代數(shù)域方程法、統(tǒng)計模式識別、聚 類分析、句法模式識別和新發(fā)展的模式識別方法等。第二部分人工智能原理介紹人工智能的基本概念、原理和方法。包括知識表示、搜索原理、推理第一部分機模等式識別原理愛是快樂的源泉。愛是投入、是給與和奉獻。愛永遠是知識之始，猶如火是光之始。-加萊爾Love is ever the beginning of knowledge as fire is oflight.-T. Carlyle第一章模式識別緒論內(nèi)容提要什么是模式？什么是

3、模式識別？模式識別的特點、原理、技術(shù)、方法和應(yīng)用概述。幾個模式識別應(yīng)用實例展示。普單的一般性的論籠類法。.什么是模式和模式識別？首先來看一個實例。有人想把一大批圖片分成人物、 動物、風(fēng)景、建筑物、其他等五種類型分別保管。如果把上述類別抽象為A, B, C,D,E就成為非常普遍的問題。其中各類別就是不同的模式，分類的過程叫做模式識別。.人類能勝任這個任務(wù)。但是如果需要將幾億張圖片分類，那將是極其辛苦的 事。于是想到了用計算機代替人的工作。.在過去的幾十年中，數(shù)字計算機的效能得到不斷的提高，而且發(fā)展速度越來 越快。.使得用計算機來處理非常復(fù)雜的信息過程成為可能。.人們對于動物所具有的思維能力一直很

4、感興趣，很想弄清它的機理，進而用 人造系統(tǒng)模擬這種能力。1.1 一般性的論述.計算機能夠象人類一樣進行模式識別嗎？要回答這個問題需要大量的多學(xué)科聯(lián)合攻關(guān)。.由于有關(guān)人類思維能力的研究是如此強烈地吸引著人們的興趣，以及60年代后期計算機技術(shù)的迅猛發(fā)展，使得采用計算機進行模式識別成為必要和可能。.有了這樣的動力和物質(zhì)基礎(chǔ)，首先認(rèn)知科學(xué)及其相關(guān)學(xué)科得到了迅的發(fā)展。.認(rèn)知科學(xué)研究思維的數(shù)學(xué)生物學(xué)機理。.模式識別研究思維的數(shù)學(xué)技術(shù)機理和開發(fā)。.認(rèn)知科學(xué)、心理學(xué)、生理學(xué)和生物控制論的研究和發(fā)展，促進和豐富了模式識別的理論和實踐。1.1 一般性的論述.模式識別在學(xué)科上的歸類初期主要有兩種觀點，.人工智能；.

5、控制科學(xué)。.如果不刻意進行學(xué)科上的歸類事實上是典型的多學(xué)科交叉：數(shù)學(xué)、信息科學(xué)、計算機科學(xué)、控制科學(xué)、生 理學(xué)、心理學(xué)、認(rèn)知科學(xué)和哲學(xué)等。正由于此，吸引了眾多學(xué)科的科學(xué)家、工程技術(shù)人員致力于模式識別的研究 和開發(fā)。.模式識別真正大規(guī)模研究始于60年代，并迅速發(fā)展成為一門新興學(xué)科。我國在70年代中期開始起步。深入學(xué)習(xí)模式識別的要點.注意掌握基本概念、原理和方法。.認(rèn)真聽講，做筆記。.課后認(rèn)真復(fù)習(xí)，自學(xué)和做練習(xí)。.學(xué)會使用Matlab (or Scilab), C , C+ ,等編程語言。.掌握圖象處理中的基本技術(shù)。.掌握一些最優(yōu)化技術(shù)，例如遺傳算法等。.善于學(xué)習(xí)和理解前人的成果。常用的軟件推薦.

6、 Matlab （官方網(wǎng)站：）優(yōu)點：通用性強，界面美觀，工具箱豐富。缺點：商用軟件，占用資源多，運行速度慢。建議：不要使用盜版。.Scilab （官方網(wǎng)站：）優(yōu)點：通用性強。缺點：自由軟件，占用資源少，運行速度快。建議：掌握。.C / C+ / Delphi /其他高級編程語言易于自主開渺平臺軟件，健于發(fā)布。強烈推薦。關(guān)于模式和模式識別|的直觀認(rèn)識.大腦的一個重要功能是將外部世界/現(xiàn)象加以分類。.分類的基礎(chǔ)是相似性概念。相似的事物/現(xiàn)象歸為同一類，統(tǒng)稱模式。模式是相似性在大腦中的反映。.經(jīng)過對大量現(xiàn)象的觀察，總結(jié)出模式有五個特點。模式的五個特點.模式的普遍性或概括性。人們只要熟悉現(xiàn)象中為數(shù)不多

7、的代表，就 能形成組或類的概念。.模式的特征性。同類中具有某些關(guān)鍵的特征或?qū)傩?，使大腦要處理 的信息量大大減少。同時也有利于模式的泛化。.模式的學(xué)習(xí)過程和客觀不變性。有教師（監(jiān)督）的學(xué)習(xí)、無教師（監(jiān) 督）的學(xué)習(xí)。.模式的變異性、不確定性和模糊性。.模式識別具有相當(dāng)明顯的主觀性。關(guān)于模式和模式識別的直觀認(rèn)識.模式的基本實質(zhì)是人類對客觀世界的綜合評判和歸納。人們以模式這種形式接受外部世界的信息。下圖用來揭示這一過程。自然界的模式識別（不透明的映射）關(guān)于模式和模式識別的直觀認(rèn)識.研究模式識別的目的：.揭開人類智能的秘密。.試圖用人造系統(tǒng)實現(xiàn)人類的智能。人造系統(tǒng)的模式識別（透明映射）關(guān)于模式和模式識別

8、的直觀認(rèn)識由于自然界的模式識別是不透明映射，而人造系統(tǒng)的模式識別要求是透明映射。因此要借助模型化，使不透明的映射成為透明。 一個復(fù)雜問題的模型化過程大體如下：確定問題空間，概念模型化。提出基本前提或假設(shè)。確定適當(dāng)?shù)膹?fù)雜性。子系統(tǒng)分解，系統(tǒng)分析。算法研究，轉(zhuǎn)化為程序?？尚行院头€(wěn)定性的驗證。口模式識別問題可以用多種方法模型化，其中以集合論模型最為常見。關(guān)于模式和模式識別的直觀認(rèn)識在集合論模型中，模式是由滿足等價關(guān)系或至少滿足相容關(guān)系的對象的總和。.在集合論模型中，模式識別的任務(wù)是找到適當(dāng)?shù)亩P(guān)系，使模式分類之間的界限盡可能地明顯。.盡管模型化不一定代表了人類真正采用的映射。但至少是一種簡化， 應(yīng)

9、當(dāng)具有初步的模式分類功能。這是選擇具體模型的基本原則。.模式和識別模式的定義，以及如何實現(xiàn)模型化，將在下一節(jié)討論。1.2技術(shù)性的論述1.2.1 一些基本概念環(huán)境 可測物理量的總體。樣本對客體觀察或測量后獲得的數(shù)據(jù)/函數(shù)集合。模式尚未有確切而嚴(yán)格的定義。普遍認(rèn)為“模式是對種種物質(zhì)的或精神的對象進行的分類、描述和理解。”（沈永歡，1997）但是在技術(shù)層面上，我們更傾向于將模式定義為一組函數(shù)的集合。因為與樣本的定義類似，有時也稱為模式樣本。1.2.1 一些基本概念模式識別研究模式的自動處理和判讀的數(shù)學(xué)技術(shù)科學(xué)。.模式識別中的最基本的問題是解決模式的分類。.較全面地看，研究模式的描述、分析、分類、理解

10、和綜合。.更高層次的模式識別應(yīng)該還包括對模式的學(xué)習(xí)、判斷、自適應(yīng)、自尋優(yōu)和自動發(fā)現(xiàn)規(guī)律等。.所以模式識別在某種意義上和人工智能中的“學(xué)習(xí)”或“概念形成”相近。.模式識別與機器智能的結(jié)合將開辟廣闊的前景。廣義的模式識別內(nèi)容分為兩大類：.對人類或其它生物體的識別能力的研究。.為滿足某些應(yīng)用的識別裝置的設(shè)計理論和技術(shù)的研究。然而，綜合的研究或許更加必要。1.2.1 一些基本概念模式分類執(zhí)行將一個模式f(x)對應(yīng)于一個整數(shù)KE0,1,2，,k，即模式類別的一個變換或映射。在集合論模型中稱之為確定一個二元關(guān)系。然而，按照至今已有的經(jīng)驗，在一個步驟中實施這一變換是不可能的。.只好將該目標(biāo)分解為多個子目標(biāo)或

11、階段步驟。遺憾的是，這種分解的依據(jù)往往是啟發(fā)式的，即不存在最優(yōu)的分解算法。只 是得到了一個可行解而已。目前流行的分解是將模式分類問題分解為預(yù)處理、特征抽取和分類三個基本 子任務(wù)。有時也許在細節(jié)或安排上會有些變化和修正。于是最終可以形成幾乎無限多 種模式分類方案。1.2.2模式分類問題分解自然界的模式分類/ x1 X - x2 - R(X) - C(X)=X xk /事件樣本不透明映射類別序號.計算機模式分類/ x1 f f(x1) X f x2 f f(x2) f R(X) f C(X)=X. xk f f(xk) /事件樣本樣本特征透明映射類別序號1.2.3計算機模式分類原理圖1.2.4數(shù)據(jù)

12、預(yù)處理.預(yù)處理的目的：在于提高后續(xù)處理的效率和性能。.準(zhǔn)則：盡可能簡化后續(xù)處理的復(fù)雜度、減小干擾、模式的描述要簡單有效， 并適合計算機處理。.和下一步特征抽取之間的界線不完全分明。有時兩者交叉在一起。.預(yù)處理經(jīng)常與具體的采樣設(shè)備和所處理的問題有關(guān)。.預(yù)處理通常包括五種基本運算：.編碼實現(xiàn)模式的有效描述，適合計算機運算。,閥值/濾波運算按需要選出某些函數(shù)，抑制另一些。.模式改善排除或修正模式中的錯誤，或不必要的函數(shù)值。.正規(guī)化使某些參數(shù)值適應(yīng)標(biāo)準(zhǔn)值，或標(biāo)準(zhǔn)值域。,離散模式運算離散模式處理中的特殊運算。1.2.5特征抽取.特征抽取的目的：從模式樣本中抽取能代表該模式特有的性質(zhì)。是 模式分類中最關(guān)鍵

13、的一步。但又是最難以控制的一步。理由請看下面的 論述。.準(zhǔn)則：抽取盡量少的特征，而能使分類的誤差最小。.矛盾：特征抽取在分類之前完成，事先如何知道哪些特征能使分類誤差最?。磕壳斑€無法解決這個矛盾。.對策：只好降低對特征抽取的期望，對理想的特征抽取準(zhǔn)則作出一些限定：.僅將錯誤率和特征的數(shù)目作為特征抽取優(yōu)劣的檢驗準(zhǔn)則。.不考慮全局，僅考慮局部最優(yōu)。特征抽取.特征抽取的方法.啟發(fā)式尋找基于直觀、想象和經(jīng)驗的特征。.分析法推導(dǎo)在某一確定意義下最優(yōu)的特征。實際中，通常綜合這兩種方法。.不同應(yīng)用領(lǐng)域典型特征舉例.印刷/手寫字符識別：線段長度、曲率、端點、方向角和夾角等。其他平面幾 何性質(zhì)或度量。采用特殊設(shè)

14、計的模板或探針獲取特征。采用動態(tài)信息的聯(lián)機 手寫字符識別。.語音識別：頻域特征、傅氏變換、小波變換、隨機過程。.一維信號識別：FFT、小波、過零分析。,指紋識別：核點、漩渦、三角點以及傾斜角。,臉貌識別：關(guān)鍵點相對距離、夾角等。.啟發(fā)式無一定規(guī)則，需要經(jīng)驗和耐心。與其說是一種技術(shù)，不如說是一種藝術(shù)。1.2.6分類器.分類器是模式識別中研究最成熟的部分。.按特征類型分為數(shù)值型分類器和符號型兩大類。.數(shù)值型分類器：統(tǒng)計分類器（統(tǒng)計理論為基礎(chǔ)）、模糊分類器（模糊集理論 為基礎(chǔ)）、人工神經(jīng)元網(wǎng)絡(luò)（模擬生物神經(jīng)系統(tǒng)的電子系統(tǒng)，也可以用軟件在計 算機上實現(xiàn)）、人工智能分類器（基于邏輯推理或?qū)＜蚁到y(tǒng)結(jié)構(gòu)）。

15、,符號型分類器：句法分類器（基于句法分析和自動機理論）、人工智能分類 器（基于邏輯推理或?qū)＜蚁到y(tǒng)結(jié)構(gòu)）。.其中符號型分類器具有更大的靈活性，所以能處理較為復(fù)雜的模式分類問題。但是，目前對符號型分類器的研究遠沒有數(shù)值型分類器成熟。.所有模式識別系統(tǒng)都需要經(jīng)過訓(xùn)練、驗證、改進，并反復(fù)多次，以成最終設(shè)計。1.2.7訓(xùn)練和性能評估訓(xùn)練：分類器參數(shù)必需確定。.性能評估：系統(tǒng)的可行性必需驗證。也是系統(tǒng)優(yōu)化的依據(jù)。.訓(xùn)練樣本和測試樣本：為達到客觀、公正目的，樣本的制備是關(guān)鍵。至少要滿足下列條件：.具有充分的代表性和完備性。,獨立于系統(tǒng)設(shè)計。測試樣本要與訓(xùn)練樣本相互獨立。.標(biāo)準(zhǔn)化的設(shè)計。標(biāo)準(zhǔn)化的使用規(guī)范。.權(quán)

16、威性。.常見困難：消耗大量時間、金錢和人力。權(quán)威認(rèn)證。.建議：盡量采用公認(rèn)的權(quán)威樣本集。1.3模式識別的應(yīng)用領(lǐng)域.可以列出一個長長的應(yīng)用領(lǐng)域名單。毫不夸大地講，凡是有人類活動的地方，都可以找到它的應(yīng)用。.主要應(yīng)用領(lǐng)域：問題大類應(yīng)用領(lǐng)域字符識別編碼、文本、票據(jù)語音識別輸入、控制、門禁零件監(jiān)測質(zhì)量控制遙感分析大地/氣象測量、軍事、環(huán)境保護、災(zāi)害預(yù)測醫(yī)學(xué)論斷病癥的確定1.3模式識別的應(yīng)用領(lǐng)域問題大類應(yīng)用領(lǐng)域生物識別形態(tài)、細胞、染色體氣象天氣預(yù)報地質(zhì)探礦、地震預(yù)測市場、營銷、經(jīng)濟、金融機器人景物分析、動作協(xié)調(diào)、行動指導(dǎo)安全指紋、筆跡、臉貌、步態(tài)、交通考古年代.應(yīng)用領(lǐng)域還正在不斷擴展。原因是模式分類是人

17、類思維的最基本功 能之一，以及計算機技術(shù)的高速發(fā)展。1.4模式識別應(yīng)用實例展示1.4.1例一、美國總統(tǒng)選舉結(jié)果的預(yù)測.問題空間：美國總統(tǒng)選舉每四年一次，結(jié)果為執(zhí)政黨獲勝或 者在野黨獲勝兩類之一。研究自1860年至1980年美國總統(tǒng) 選舉過程和結(jié)果，每次選舉作為一個樣本，共有N = 31個 樣本。全體樣本分為兩類，即I類代表執(zhí)政黨獲勝；C類代 表在野黨獲勝。屬于I類的樣本有18個；C類有13個。1.4.1例一、美國總統(tǒng)選舉結(jié)果的預(yù)測.特征抽?。禾岢?2個問題。每個樣本的特征值取為對這12個問 題的回答是否與答案一致，如果一致取值為1；否則為0。于是每個 樣本得到12個二值特征值。這12個問題及其

18、答案（）如下： .執(zhí)政黨在任多于一個任期嗎？（否）.上次選舉中執(zhí)政黨獲得票數(shù)多于50%嗎？（是）.在選舉中又第三大黨的活動嗎？（否）.執(zhí)政黨候選人在提名中有嚴(yán)重爭議嗎？（否）.執(zhí)政黨候選人是在任總統(tǒng)嗎？（是）.選舉年在衰退和蕭條期間嗎？（否）.執(zhí)政黨在執(zhí)政期內(nèi)的國民生產(chǎn)總值每年平均增長率達于等于前8年的平均 值，且大于1%嗎？（是）.現(xiàn)任總統(tǒng)對國家政治做過重大變革嗎？（是）1.4.1例一、美國總統(tǒng)選舉結(jié)果的預(yù)測.執(zhí)政黨管理期間國內(nèi)有過大的社會動蕩嗎？（否）.執(zhí)政黨曾被大的丑聞所敗壞嗎？（否）.執(zhí)政黨候選人是否有超人的魅力或者是國內(nèi)“中心人物”？（是）.在野黨候選人是否具有上一條中的特點？（否）

19、顯然，如果回答與答案一致，表示對執(zhí)政黨有利。.分類器：采用統(tǒng)計分類器，31個樣本分兩種訓(xùn)練方案。因為已知每個訓(xùn)練樣本的類別，因此屬于有教師（監(jiān)督）訓(xùn)練。分類器的輸出為I；C或U三者之一。其中I和C是類別名；U代表拒判。1.4.1 例一、美國總統(tǒng)選舉結(jié)果的預(yù)測.驗證：.用全部樣本訓(xùn)練和驗證*： 31個樣本出現(xiàn)一次誤判，即1912年?？疾煸?選舉過程，的確出現(xiàn)了不尋常的情況。由于共和黨總統(tǒng)與本黨提名的下屆候選人 塔夫脫之間出現(xiàn)分歧而競爭，組織了第三黨活動，并轉(zhuǎn)而支持民主黨候選人威 爾遜。結(jié)果執(zhí)政黨（共和黨）失敗。.將31個樣本分成兩組，即18601920年一組，和19241980年一組。用其中的一

20、組作訓(xùn)練，另一組作測試*。結(jié)果如下：訓(xùn)練組 18601920 19241980誤判0 0拒判0 3*其結(jié)果偏于樂觀。*訓(xùn)練和測試樣本完全獨立，更加客觀。1.4.1 例一、美國總統(tǒng)選舉結(jié)果的預(yù)測.預(yù)測試驗：用連續(xù)的前N】個樣本作為訓(xùn)練集，預(yù)測第N1 + 1次選舉結(jié)果， 并與實際結(jié)果比較。取自1860年開始的前十個樣本作為訓(xùn)練集，預(yù)測第十一個 樣本（對應(yīng)于1896年）的類別。以此下推，總共作了 21次預(yù)測。結(jié)果只出 現(xiàn)一次誤判，即1912年的那次。其余的預(yù)測全部正確，也沒有出現(xiàn)拒判。.結(jié)論與討論：.試驗表明該預(yù)測方法有效。所以模式識別可以用于預(yù)測。.對于選舉機理不清楚的過程，通過建立模型和訓(xùn)練，可

21、以取得比較穩(wěn)定的預(yù) 測結(jié)果。.試驗表明，預(yù)測結(jié)果的優(yōu)劣與訓(xùn)練樣本集的選取有關(guān)，當(dāng)訓(xùn)練樣本數(shù)減少時， 誤判率增加。.預(yù)測結(jié)果的優(yōu)劣還與特征的選取有關(guān)。當(dāng)特征數(shù)減少時，誤判率增加。當(dāng)特 征數(shù)增加時，拒判率增加。當(dāng)特征數(shù)一定時，誤判率與選擇哪些特征關(guān)系很大。1.4.2例二、遙感照片的圖像分割.問題空間：衛(wèi)星遙感攝像機對某一地面區(qū)域采用多波段攝取4張照 片，利用地面在不同波段的反射強度，分析地面區(qū)域的不同類別。由 于地面情況復(fù)雜，事先難以確定類別數(shù)，所以類別未知。要求將一幅 圖像分割成若干區(qū)域，同一區(qū)域中的性質(zhì)相似。例如分離出大陸區(qū)、 水面區(qū)、作物區(qū)、林區(qū)等。.特征抽?。赫掌系拿恳粋€像素點作為一個樣

22、本。而每一個樣本（像 素點）有4種強度值（對應(yīng)于4個波段照片上同一點的亮度），分 別記作x1=f4, x2=f5, x3=f6和x4=f7。此外，再加上三個組合 特征，分別是不同波段照片上同一像素點亮度值比；x5=f4/f5, x6=f5/f6,和x7=f5/f7。共 7 個特征。1.4.2例二、遙感照片的圖像分割.分類器：因為類別未知，屬于無教師（監(jiān)督）學(xué)習(xí)。所以采用聚類 分析分類器。運用相似性度量，將特征相似的樣本歸并在一個類內(nèi)。（聚 類算法有許多種，將在第？章中介紹。）最后完成了樣本（像素點） 的區(qū)域分割。.試驗結(jié)果：采用聚類算法，經(jīng)過十次迭代（包括分解、合并、刪除。） 最后得到12各類

23、別。經(jīng)過與專家討論，這些類別分別對應(yīng)于不同性 質(zhì)的土壤、潛山頂部或隆起部位，還顯示了地質(zhì)中的斷裂，有些用目 視是無法發(fā)現(xiàn)的。因為人最多只能區(qū)別十級灰度，而計算機能區(qū)分 128級灰度，甚至更高。.結(jié)論：衛(wèi)星遙感照片數(shù)量巨大，每天要處理上百萬張。用模式識別術(shù)處理速度快，精度高。1.4.3評論.盡管模式識別還有許多內(nèi)容有待進一步解決和發(fā)展，但它已經(jīng)能成功解決大量的實際問題。.目前，模式識別能達到的技術(shù)水平，離我們的期望還很遠，能力仍然十分低下。.我對模式識別的看法：富有趣味而充滿挑戰(zhàn)，成果累累而任重道遠，困難重重但前途光明。想象力較知識尤為重要。-愛因斯坦Imagination is more im

24、portant than knowledge.-Einstein求學(xué)的三個基本條件是，多觀察，多吃苦，多 研究。-加菲勞The three foundations of learning: seeing much, suffering much, and studying much.-Catherall1.5最簡單的模式分類方法-圖解法和解析法讓我們考察一個簡單而又實際的分類問題：例1.1男生和女生的分類問題?？疾?0個學(xué)生，其中男、女生各5名。對每個學(xué)生測取身高x1 (cm)和體 重X2 (kg)兩項指標(biāo)作為特征。要求構(gòu)造一種算法，能夠根據(jù)特征，區(qū)分誰是 男生，誰是女生。測量所得數(shù)據(jù)如下所示

25、：表1.1所測10個學(xué)生的身高和體重樣本 X1 X2 X3 X4 X5 | X6 X7 X8 X9 X10身高 170 175 165 180 178 | 160 155 160 165 170體重 65 70 60 65 70 | 60 45 45 50 55其中X1 X5為男生，X6 X10為女生。1.5最簡單的模式分類方法-圖解法和解析法圖解法：優(yōu)點是簡單、直觀。缺點是不能自動求解、精度受限、特征數(shù)不得多于兩個、劃分具有任意性。結(jié)論：不嚴(yán)格。解析法：構(gòu)造一條直線，將特征平面分割成兩部分，令直線方程為g(x)=W1x1+W2x2+W3=0，其中，W. W2, W3為待定系數(shù)，x. x2為特

26、征變量。g(x)稱為判別函數(shù)。假設(shè)g(x)0表示男生，g(x)0，對于所有女生有g(shù)(x)=W1x1+W2x2+W3 0時，將u判為屬于類；當(dāng)g(u) 0 X e 啊類 0 ,當(dāng)X e巧類；=0 ,不確定； 0, Vi豐j,則X e i類。2.2.2多類問題.沒有不確定區(qū)的皿|少兩分法：存在C個判別函數(shù)gk(X)=WktX, k=1,2,，C；判決條件為gi(X) gj(X) , V i主j,則X e 類?？梢宰C明，第3種情況是第二種情況的特例，但不存在不確定區(qū)。圖2.2多類模式判別類域的界面1,巧| j兩分法2,啊| 兩分法3,沒有不確定區(qū)的啊| 兩分法2.2.3廣義線性判別函數(shù).前面提到的都

27、是線性可分的情況。如果不是線性可分，則可以通過 某種變換，將模式映射到一個非線性空間中，往往能成為線性可分問題。故取X* = ( f1(X), f2(X),，fk(X), 1)T;使判決函數(shù)具有線性形式g(X)=WTX*，再用線性判別函數(shù)的分類方法解決。.Fi(X)的形式通常取正交/正交歸一的多項式函數(shù)。.小結(jié)：以上解決了已知一個樣本，通過線性判別函數(shù)確定它的歸屬。 但是，判別函數(shù)g(X)如何求得？答案是通過訓(xùn)練。也就是我們要解 決的模式識別中的第二個基本問題。主要的訓(xùn)練算法有：感知器算法； LMSE算法；H-K算法等。幸福是太多與太少中間的一站。-英國法官泊洛克Happiness is a

28、way station between too much and too little.-C. Pollock, British justice美寓于善。-英國劇作家莎士比亞 W.Beauty lives with kindness.-William Shakespeare, British dramatist2.2.4感知器訓(xùn)練算法.感知器訓(xùn)練算法用來確定線性判別函數(shù)中的系數(shù)矩陣。Rosenblatt 證明，如果兩類模式是線性可分的，該算法一定收斂。感知器算法至 今仍然是最有效的訓(xùn)練算法之一。.事實上，感知器是一種單層人工神經(jīng)元網(wǎng)絡(luò)模型，屬于線性閥值計 算單元?？梢杂孟聢D表示：它的數(shù)學(xué)模型為y = | WX - 0 |Y = 1, y0;-1, y o；其中b稱為N維余矢量；X=(x1,x2, .Xj, .xN)T。2.2.5最小均方差(LMSE)算法.用來確定上述判別函數(shù)中的系數(shù)矩陣。與感知器算法不同的是，選取最小均方差作為準(zhǔn)則函數(shù)求極值。優(yōu)點：在求解過程中，能同時判斷是否線性可分。代價：需要對矩陣求逆，運算較復(fù)雜。有時因為樣本的分布不能滿足 求逆條件，使該法失效。.LMSE算法是一種通用算法的統(tǒng)稱。在具體實現(xiàn)中可以有不同的表 達 形式。其中較為常用