模式識別理論.ppt

1、模式識別理論,PatternRecognition,什么是模式識別,模式識別（PatternRecognition）是一種從大量信息和數(shù)據(jù)出發(fā)，在專家經(jīng)驗(yàn)和已有認(rèn)識的基礎(chǔ)上，利用計(jì)算機(jī)和數(shù)學(xué)推理的方法對形狀、模式、曲線、數(shù)字、字符格式和圖形自動完成識別的、評價(jià)的過程。從數(shù)學(xué)角度而言，模式識別也是一個(gè)數(shù)學(xué)建模過程。只是給出的是定性結(jié)論而不是定量指標(biāo)。,什么是模式識別,模式識別包括兩個(gè)階段，即學(xué)習(xí)階段和實(shí)現(xiàn)階段，前者是對樣本進(jìn)行特征選擇，尋找分類的規(guī)律，后者是根據(jù)分類規(guī)律對未知樣本集進(jìn)行分類和識別。廣義的模式識別屬計(jì)算機(jī)科學(xué)中智能模擬的研究范疇，內(nèi)容非常廣泛，包括聲音和語言識別、文字識別、指紋識別

2、、聲納信號和地震信號分析、照片圖片分析、化學(xué)模式識別等等。計(jì)算機(jī)模式識別實(shí)現(xiàn)了部分腦力勞動自動化。,模式識別的特點(diǎn),模式識別的理論基礎(chǔ)是多元統(tǒng)計(jì)理論和一些近代數(shù)學(xué)方法（如神經(jīng)元網(wǎng)絡(luò)理論）。模式識別給出的是統(tǒng)計(jì)和經(jīng)驗(yàn)的規(guī)律，無法提供關(guān)于樣本理論模型。,用計(jì)算機(jī)模式識別方法總結(jié)規(guī)律預(yù)報(bào)未知，雖然不如純粹的理論方法嚴(yán)格和有明確的機(jī)理及解釋，但卻有廣泛的適應(yīng)面，能夠在現(xiàn)有知識、理論不夠完善的情況下發(fā)揮作用。在用計(jì)算機(jī)模式識別方法解決問題時(shí)，我們?nèi)孕枰柚谂c研究對象相關(guān)的理論知識，去估計(jì)、判斷影響研究對象的大致因素，用這些因素的參數(shù)構(gòu)筑多維空間（即模式空間）描述研究對象的特征，才能用模式識別的方法總結(jié)

3、規(guī)律。,模式識別計(jì)算過程示意圖,有監(jiān)督模式識別（判別分析）,如果樣本的類別數(shù)是已知的，先用一組已知類別的樣本作為訓(xùn)練集，建立判別模型，再用建立的模型根據(jù)相似性原則來對未知樣本進(jìn)行識別，稱為判別分析。判別分析是在事先知道類別特征的情況下建立判別模型對樣本進(jìn)行識別歸屬，是一種有監(jiān)督模式識別。,無監(jiān)督模式識別（聚類分析）,如果預(yù)先不知道樣本的類別，要在學(xué)習(xí)過程中根據(jù)樣本的相似性對被識別的樣品進(jìn)行識別分類和歸類，稱為聚類分析。聚類分析是完全依靠樣本自然特性進(jìn)行識別的方法，是一種無監(jiān)督模式識別。,模式空間,樣本xi可用一組參量(矢量)來表征，即xi=(xi1,xi2,.,xin)，在模式識別中，這種參量

4、值又稱特征。通常這些參量實(shí)際上就是原始數(shù)據(jù)。這樣一組參量構(gòu)成了模式識別空間的一個(gè)點(diǎn)，或稱一個(gè)n維的模式。由這些模式所構(gòu)成的n維變量空間，稱為模式空間。因高維模式空間提供了更多的信息，故有可能解決一些低維空間中難于解決的問題。,模式識別常用術(shù)語,特征抽提（FeatureExtraction）訓(xùn)練集（TrainingSet）識別率（RecognitionRate）預(yù)測能力（PredictiveAbility）,注意事項(xiàng),訓(xùn)練集的數(shù)據(jù)一定要可靠。訓(xùn)練集的樣本數(shù)目要足夠多，樣本數(shù)m與模式空間維數(shù)n的比值至少應(yīng)滿足m/n3，最好m/n10。模式空間特征的選擇是成敗的關(guān)鍵，要選取與樣本分類有關(guān)的特征，如果

5、不能包括與分類有關(guān)的主要特征，模式識別就不會有好的效果。,模式識別的數(shù)據(jù)預(yù)處理,模式間相似度的度量,模式識別方法I有監(jiān)督模式識別法（判別分析法）Supervisedpatternrecognition(Discriminatinganalysismethods),參數(shù)判別分析法包括距離判別、Fisher判別與Beayes判別分析法等非參數(shù)判別分析法包括線性學(xué)習(xí)機(jī)、K-最近鄰法、人工神經(jīng)網(wǎng)絡(luò)法等,K-NearestNeighborsDiscriminationMethod,KNN法的基本假設(shè)：“同類樣本在模式空間中相互較靠近，不同類樣本在模式空間中相互遠(yuǎn)離”。,K最近鄰法考查未知樣本點(diǎn)的K個(gè)近鄰

6、（K為單數(shù)整數(shù)），若近鄰某一類樣本最多，則可將未知樣本判為該類。為了進(jìn)行定量判別，可先找出待分類樣本的最近鄰，并事先約定最近鄰區(qū)域中的訓(xùn)練集樣本數(shù)。如果只取一個(gè)最近鄰樣本點(diǎn)，即樣本數(shù)為，則稱1NN法；如果取個(gè)最近鄰樣本點(diǎn)，即樣本數(shù)為2，則稱2NN法；如果樣本數(shù)為K，則稱K近鄰法，簡稱KNN法。,KNN算法,計(jì)算未知樣本點(diǎn)和所有訓(xùn)練集樣本點(diǎn)之間的距離。從最小距離開始計(jì)樣本數(shù)，一直計(jì)到有K個(gè)樣本數(shù)為止，此時(shí)所對應(yīng)的距離就為最近鄰的最小距離。如果在這個(gè)最小距離中，距某一類訓(xùn)練集中的樣本數(shù)多，距離又小，則可將待分類樣本劃到該類中。優(yōu)點(diǎn)：對數(shù)據(jù)結(jié)構(gòu)無特殊要求，簡單易行，不需要訓(xùn)練過程。缺點(diǎn)：未對訓(xùn)練點(diǎn)進(jìn)

7、行信息壓縮，每判斷一個(gè)點(diǎn)都要將其對所有已知點(diǎn)的距離計(jì)算一遍,工作量較大。,簡化的KNN法類重心法,將訓(xùn)練集中每類樣本點(diǎn)的重心求出，然后判別未知樣本點(diǎn)與各類樣本點(diǎn)重心的距離。未知樣本點(diǎn)距哪一類重心距離最近，即未知樣本屬于哪一類。例：有兩種地層，用7種指標(biāo)的分析數(shù)據(jù)判別，先從已經(jīng)準(zhǔn)確判斷的地層中各取9個(gè)樣本，測得的數(shù)據(jù)如下表：,1.將上表數(shù)據(jù)進(jìn)行歸一化處理后計(jì)算兩類的重心得：C1=-0.0103,0.0402,-0.0246,0.0166,0.0313,-0.0246,-0.0174C2=0.0103,-0.0402,0.0246,-0.0166,-0.0313,0.0246,0.01742.計(jì)算

8、地層I、II的每一個(gè)矢量與C1和C2的距離，分別如表a和表b所示：,線性學(xué)習(xí)機(jī)法LinearlearningmachineLLM,作為模式識別中決策分類的一種方法，該法希望通過某種方法，在模式空間中到找到一個(gè)判決面（此面叫做分類器），使不同類的模式點(diǎn)分別位于判別面的兩側(cè)。未知模式的分類可根據(jù)它位于判別面的哪一側(cè)來定。若判別面是一個(gè)線性超平面，就叫線性分類器。,例子現(xiàn)有甲狀腺病人（記為類1）和正常人（記為類2）各10例，分別測試5項(xiàng)功能指標(biāo)，測試結(jié)果見表a和表b所示。以每一類的前8個(gè)樣本作為訓(xùn)練集（表a），后2個(gè)作為測試集（表b）。用LLM法對其進(jìn)行判別。,Fisher線性判別,二維模式向一維空

9、間投影示意圖,二維模式向一維空間投影示意圖,二維模式向一維空間投影示意圖,o,x,y,o,x,y,（1)求解Fisher準(zhǔn)則函數(shù),類間離差度為：,并使其最大,上式稱為Fisher準(zhǔn)則函數(shù)。,利用二次型關(guān)于矢量求導(dǎo)的公式可得：,（2)求解Fisher最佳鑒別矢量,令,可得：,上式右邊后兩項(xiàng)因子的乘積為一標(biāo)量，令其為，于是可得式中為一標(biāo)量因子，其不改變軸的方向，可以取為1,于是有,此時(shí)的可使Fisher準(zhǔn)則函數(shù)取最大值，即是n維空間到一維空間投影軸的最佳方向，由,和,JF最大值為:,即稱為Fisher變換函數(shù),JF=,由于變換后的模式是一維的，因此判別界面實(shí)際上是各類模式所在軸上的一個(gè)點(diǎn)，所以可以

10、根據(jù)訓(xùn)練模式確定一個(gè)閾值yt，于是Fisher判別規(guī)則為:,（3)求解Fisher判別函數(shù),判別閾值可取兩個(gè)類心在u方向上軸的投影連線的中點(diǎn)作為閾值，即:,（7）計(jì)算。,（8）計(jì)算yt。,（9）對未知模式x判定模式類。,以100元A面數(shù)據(jù)和50元A面數(shù)據(jù)為例100元A面:(64,76,99,84,98,95,88,83),50元A面:(65,67,82,80,89,94,86,92),N1=N2=60算得:m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91.0,91.1,86.5),m1=(69

11、.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91.0,91.1,86.5),m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91,91.1,86.5),m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4)m2=(59.2,55.5,81.9,63.9,95.1,91,91.1,86.5),m1=(69.3,61.9,83.5,70.8,97.7,91.5,87.6,82.4

12、)m2=(59.2,55.5,81.9,63.9,95.1,91,91.1,86.5),無監(jiān)督模式識別法,不需要訓(xùn)練集，對所研究的模式進(jìn)行適當(dāng)分類的問題則需要用無監(jiān)督模式識別方法，這類模式識別方法又叫聚類分析法(clusteringanalysismethod)。,常用聚類分析方法有：分級聚類分析法Hierarchicalclusteringmethods最?。ù螅┥蓸浞∕inimun（Max）SpanningTreeMethodK均值聚類法K-meansClusteringMethod模糊聚類法FuzzyclusteringmethodPCA投影分類法等等,主成分分析的數(shù)學(xué)與幾何意義示意圖

13、,16個(gè)腦組織試樣進(jìn)行分析，在色譜圖中取多達(dá)156參量（可辨認(rèn)的156個(gè)峰處的峰高），組成(16156)階矩陣，通過將矩陣作主成分分解，分別求得對應(yīng)于兩個(gè)最大特征值的得分矢量t1和t2，并以t1和t2為投影軸作圖，得到下圖。其中正方形是有腫瘤的腦組織樣，圓是正常腦組織樣。,Projectiondiscriminationbasedonprincipalcomponentanalysis,最大生成樹法,上圖點(diǎn)與點(diǎn)之間的數(shù)據(jù)叫作路徑強(qiáng)度，表示兩樣本點(diǎn)間的相似程度。如果一個(gè)路徑的起點(diǎn)與終點(diǎn)重合，稱這條路徑構(gòu)成一個(gè)回路，對于圖中砍去某些邊得到的樹叫生成樹。若某生成樹所有路徑的強(qiáng)度都大于或等于其它生成樹的路徑強(qiáng)度，則稱此生成樹為最大生成樹。