南郵模式識別復習提綱(整理)

緒論列舉三個模式識別的應用：人臉識別，語音識別，基因識別列舉模式識別比較強的研究單位：擁有國家重點學科的五所大學：清華、上交、南理工、西交、北航。中科院。模式識別國家重點實驗室---中科院北京自動化研究所---漢王識別系統(tǒng)。機器人學國家重點實驗室---中科院沈陽自動化所---機器人視覺（ATR導彈自動目標識別）。南郵---江蘇省圖像處理與圖像通信重點實驗室。何為模式識別：Patternrecognitionisthestudyofhowmachinescanobservetheenvironment,learntodistinguishpatternsofinterestfromtheirbackground,andmakesoundandreasonabledecisionsaboutthecategoriesofthepatterns.模式識別是機器如何可以觀察到環(huán)境的研究，了解其背景，以區(qū)別于利益格局，使有關的模式類別的健全和合理的決定。模式識別系統(tǒng)的基本組成：模板匹配法：1首先對每個類別建立一個或多個模版2輸入樣本和數據庫中每個類別的模版進行比較，求相關或距離3根據相關性或距離大小進行決策句法模式識別（給圖畫樹）：在學習過程中，確定基元與基元的關系，推斷出生成景物的方法。判決過程中，首先提取基元，識別基元之間的連接關系，使用推斷的文法規(guī)則做句法分析。若分析成立，則判斷輸入的景物屬于相應的類型。監(jiān)督學習與非監(jiān)督學習的主要區(qū)別：訓練樣本的類別是否已知。語音識別的基本單位：音素模式識別過程：1三個空間：模式空間特征空間類型空間2三個操作：模式采集、特征提取/選擇、以及分類決策第二章貝葉斯決策理論貝葉斯公式：最小錯誤率貝葉斯決策最小風險貝葉斯決策細胞化驗ω1正常，ω2異常；P(ω1)=0.85P(ω2)=0.15；p(x|ω1)=0.15和p(x|ω2)=0.45;判決兩種α1,α2。風險矩陣：試用最小風險判決規(guī)則，判斷根據最小風險判決規(guī)則，x∈ω2，即試驗人屬于癌癥病人，與例1的結論相反。類型空間與決策空間統(tǒng)一根據最小風險判決規(guī)則，x∈ω2，即試驗人屬于癌癥病人，與例1的結論相反。類型空間與決策空間統(tǒng)一 Np判決規(guī)則的基本思想：在一種錯誤率不變的條件下，使另一種錯誤率最小。由于存在先驗概率未知，增加一種已知條件，由此給出判決規(guī)則限定一類錯誤率，使另一類錯誤率最小舉例：經濟過熱，細胞化驗NP適用條件：先驗概率未知（不可變），僅知道類概率密度。判別函數和決策面方程的區(qū)別——判別函數：每個類有一個判別函數。決策面方程：相鄰兩個類別判別函數相等構成的方程。最大值判決：gi（x）>gj(x)j=1,2……則x屬于wi最小距離判決：條件：先驗概率相等協方差矩陣……在描述特征中的兩點性質1對角線上的元素代表單個元素的離散性。2非對角線上的元素代表不同特征相關性，若都為0則各特征都獨立。協方差矩陣：類等概率曲線形狀：同心圓why：不同軸相互垂直且相等——對角陣。決策線與兩類的均值點（圓心）連線的位置關系：垂直先驗概率對交點的影響？交點向先驗概率較小的那個類型的均值點偏移。第三章概率密度函數的估計什么是參數估計，非參數估計？參數估計：先假定研究的問題（類概率密度）具有某種數學模型，如正態(tài)分布，二項分布，再用已知類別的訓練樣本估計里面的參數非參數估計：不假定數學模型，直接用已知類別的訓練樣本的先驗知識直接估計數學模型（類概率密度）。區(qū)別：類概率密度是否已知。分類器設計與判決過程似然函數：訓練樣本集和未知參數的函數。最大似然估計：將未知參數看做一確定值，所選取的估計參數能使得訓練樣本集能發(fā)生的概率最大，這一估計值成為最大似然估計。貝葉斯函數估計的基本思想：把待估的參數作為具有某種先驗分布的隨機變量;通過對第i類學習樣本Xi的觀察借助ρ(Xi|θ)使得ρ(θ)轉化為后驗概率ρ(θ|Xi);最后求貝葉斯估計。步驟：①已知θ的先驗分布p(θ),待估參數為隨機變量。②用第i類訓練樣本的似然函數p(Xi|θ)，它是θ的函數。由樣本獨立p(Xi|θ)=∏p(xi|θ)③

利用貝葉斯公式,求θ的后驗概率密度④求貝葉斯估計相比參數估計，非參數估計的優(yōu)缺：優(yōu)——無須已知類概率密度函數形式缺：需要大量的訓練樣本。直方圖法的三個步驟：1把樣本x的每個分量在其取值范圍內分成k個等間隔的小窗。如果x是d維向量，則這種分割就會得到kd方個小體積或者稱作小艙，每個小艙的體積記作V。2統(tǒng)計落入每個小艙內的樣本數目qi。3把每個小艙內的概率密度看作是常數，并用qi/(NV)作為其估計值，其中N為樣本總數。小艙體積的選擇的影響：如果小艙選擇過大，則假設p(x)在小艙內為常數的做法就顯得粗糙，導致最終估計出的密度函數也非常粗糙。如果小艙過小，則有些小艙內可能就會沒有樣本或很少樣本，導致估計出的概率密度很不連續(xù)。小艙的選擇應與樣本總數相適應。小艙體積固定的缺點：可能導致密度的估計在樣本密度不同的地方表現不一致。1隨著樣本數的增加，小艙體積應該盡可能小2必須保證小艙內有充分多的樣本3每個小艙內的樣本數又必須是總樣本數中很小的一部分kN近鄰估計法（可變大小的小艙）基本做法：根據樣本總數確定一個參數kN，即在總樣本數為N時我們要求每個小艙內擁有的樣本個數。在求x處的密度估計p(x)時，我們調整包含x的小艙的體積，直到小艙內恰好落入kN個樣本kN近鄰估計法中的窗口選擇與樣本密度的關系：樣本密度越大，小艙體積越小。kN近鄰估計法的優(yōu)點：能夠比較好地兼顧在高密度區(qū)域估計的分辨率和在低密度區(qū)域估計的連續(xù)性。立方體的邊長h的大小對概率密度估計的影響：h越大，樣本密度曲線越平滑，分辨率越低。第四章線性分類器樣本直接設計分類器要確定的三個基本要素：1分類器即判別函數的類型，也就是從什么樣的判別函數類（函數集）中去求解。2分類器設計的目的或準則，在確定了設計準則后，分類器設計就是根據樣本從事先決定的函數集中選擇在該準則下最優(yōu)的函數，通常就是確定函數類中的某些待定參數。3在前兩個要素明確之后，如何設計算法利用樣本數據搜索到最優(yōu)的函數參數（即選擇函數集中的函數）。設計線性分類器主要步驟如下：1、要有一組其有類別標志的樣本集2、要根據實際情況確定一個準則函數J，它必須滿足：J是樣本集和W、w0函數，J(X,W,w0)J的值反映分類器的性能，它的極值解則對應于“最好”的決策3、用最優(yōu)化技術求出準則函數的極值解W*和w*04、最后得到線性判別函數感知準則函數：梯度下降法迭代