非線性判別函數(shù)

第四次學習總結陳書燊模式識別非線性判別函數(shù)分段線性判別函數(shù)用凹函數(shù)的并表示分段線性判別函數(shù)用交遇區(qū)的樣本設計分段線性分類器二次判別函數(shù)1234CompanyLogo前言前面的線性分類器對于多分類問題，采用樹分類器進行分類。若在樹分類器的各節(jié)點上采用線性判別規(guī)則，構成了一個分段線性分類器。

在實際中，有很多實際模式識別問題并不是線性可分的，需要采用非線性分類器。當兩類樣本分布具有多峰性質并互相交錯，簡單的線性判別函數(shù)會帶來較大的分類錯誤。CompanyLogo分段線性判別函數(shù)基于距離的分段線性判別函數(shù)正態(tài)分布條件下，兩類別問題在各特征統(tǒng)計獨立、同方差、且先驗概率相等情況下，最小錯誤率決策可按最小距離決策，即CompanyLogo分段線性判別函數(shù)按距離分類的原理是可以推廣的，即把各類別樣本特征向量的均值作為各類的代表點，而樣本的類別按它到各類別代表點的最小距離劃分。在這種判別函數(shù)中，決策面是兩類別均值連線的垂直平分面。最小距離分類器只有在各類別密集地分布在其均值附近時才有效。CompanyLogo分段線性判別函數(shù)每類不只取單個代表點而是多個。分段線性距離分類器：

步驟1.先對每一類找到與子區(qū)域中心的最小距離；步驟2.對于每一類子區(qū)域最小距離進行排序，選擇最小作為決策。

CompanyLogo分段線性判別函數(shù)分段線性分類器設計的一般考慮

分類器設計的基本問題是，在一定判別函數(shù)內利用訓練樣本集確定分類器的參數(shù)，即判別函數(shù)中的系數(shù)。設計線性分類器，就是確定權向量和閥值權或廣義權向量，而設計分段線性分類器，則是利用樣本集確定一組該向量。1.利用多類線性判別函數(shù)算法設計分段線性分類器2.已知子類數(shù)目時的分段線性判別函數(shù)3.未知子類數(shù)目時的分段線性判別函數(shù)

CompanyLogo用凹函數(shù)的并表示分段線性判別函數(shù)算法問題

1.在算法執(zhí)行前，要首先判斷每類分布有多少個峰，從而決定選擇哪一類作設計，并確定設計幾個分段線性判別函數(shù)才符合要求。這就需要對樣本集有一定的先驗知識。2.在算法執(zhí)行前，要給出每個分段線性判別函數(shù)中分段的數(shù)目。3.沒有從理論上證明算法的收斂性。

CompanyLogo用交遇區(qū)的樣本設計分段線性分類器局部訓練法的思想是類間的分界面必然處在兩類樣本的交界處，因此只需找出這些交界處的樣本，然后對這些鄰近的不同類樣本,按需要確定分界面即可。實際上決策面都處在不同類別樣本分布的交界處或鄰接處所在的區(qū)域內，基于這種思想的樣本訓練法稱為“局部訓練法”。CompanyLogo用交遇區(qū)的樣本設計分段線性分類器參加訓練的局部樣本集由兩類樣本組成。這些區(qū)域稱之為“交遇區(qū)”，局部訓練法就是基于交遇區(qū)內樣本進行設計的。要解決的幾個問題是：(1)如何從樣本集中找到“交遇區(qū)”；(2)如何利用“交遇區(qū)”中的樣本設計線性分類器；(3)如何進行分類決策。

CompanyLogo用交遇區(qū)的樣本設計分段線性分類器提出尋找“交遇區(qū)”的一種方法，其實質是先在每類樣本集內進行分片劃分，所使用的方法是聚類方法，劃分的目的是使每類樣本劃分成小片（原型區(qū)）后，找到處在本類樣本占領區(qū)域邊界上的小片原型。找到邊界子集的方法是通過與另一類樣本子集中找近鄰的方法實現(xiàn)的。如果發(fā)現(xiàn)分屬兩類的兩個原型互為最近鄰，那么這兩個原型就被認定為處在兩類樣本決策域的交界處（緊互對原型對）。

CompanyLogo用交遇區(qū)的樣本設計分段線性分類器算法步驟步驟1：產生初始超平面步驟2：初始決策面最佳化步驟3：新決策面的產生與最佳化在使用上述方法得到一組超平面作為分段線性分類器的分界面后，僅對交遇區(qū)的樣本集進行性能檢測有時不能發(fā)現(xiàn)存在的問題，需要使用全體樣本對其進行性能檢驗，觀察其能否對全體樣本作出合理的劃分。

CompanyLogo二次判別函數(shù)二次判別函數(shù)的一般表達式：決策面為超二次曲面，包括超球面、超橢球面、超雙曲面等。

CompanyLogo二次判別函數(shù)二次判別函數(shù)的構造方法例如，一類樣本分布成團，另一類均勻散布在其周圍：

CompanyLogo二次判別函數(shù)二次判別函數(shù)為：決策面方程：

CompanyLogo本章小結由于樣本在特征空間分布的復雜性，許多情況下采用線性判別函數(shù)不能取得滿意的分類效果。在這種情況下，可以采用分段線性判別或二次函數(shù)判別等方法，效果就會好得多。與一般超曲面相比，分段線性判別函數(shù)是最為簡單的形式，是非線性判別函數(shù)情況下最為常用的形式。