分類模型 特征表示 (作業(yè)第四周講)- 330

分類模型&特征表示Classificationmodel&featuressaid主講人：juan日期：2015年3月30日《計算機視覺》--周平2024/5/12#4查準(zhǔn)率和查全率特征表示目錄#1#2#3模式識別分類模型2024/5/132024/5/14一、模式識別定義1：將一個目標(biāo)實例以一個目標(biāo)原型或類別定義進行匹配的過程成為驗證。（e:銀行自動柜員機）模式識別是根據(jù)輸入的原始數(shù)據(jù)對其進行各種分析判斷，從而得到其類別屬性，特征判斷的過程。模式是存在于時間和空間中的可觀察的事物，如果我們可以區(qū)別它們是否相同或者是否相似，那我們從這種事物所獲取的信息就可以稱之為模式。 人們?yōu)榱苏莆湛陀^的事物，往往會按照事物的相似程度組成類別，而模式識別的作用和目的就在于把某一個具體的事物正確的歸入某一個類別。 識別的一個定義是再認(rèn)識?！叭艘灶惥?，物以群分” 用計算機實現(xiàn)人對各種事物或現(xiàn)象的分析、描述、判斷、識別。2024/5/15用例子說明，哪些是模式識別的范疇：1．將鉛筆、鋼筆、圓珠筆、毛筆、彩筆都?xì)w類為書寫用的“筆”；2．醫(yī)生根據(jù)心電圖化驗單來判斷病人是否得心臟??；3．警察根據(jù)指紋來進行身份驗證；4．利用計算機進行字符識別；5．根據(jù)用戶的虹膜進行身份識別；（虹膜與指紋一樣獨一無二）6．判斷當(dāng)前用戶發(fā)出的聲音是什么字符；7．判斷當(dāng)前圖片中是否有行人、人臉、車輛等；8．對出現(xiàn)在圖片序列中的行人、車輛進行跟蹤；9．對圖片中的人臉進行身份識別驗證；10．對車輛的拍照進行識別；11．判斷車輛的顏色、車型；12．在海量圖片庫當(dāng)中尋找與某一張圖片相似的若干圖片；13．根據(jù)用戶哼唱的音調(diào)搜索對應(yīng)的歌曲......二、分類模型2024/5/18

一個理想類別是一些具有重要工頭屬性的目標(biāo)的集合在實際中，某目標(biāo)所屬類別用類別標(biāo)號來標(biāo)識。分類就是根據(jù)目標(biāo)的屬性表示賦予目標(biāo)類別號的過程。分類器是一種設(shè)備或算法，她輸入的是目標(biāo)的表示，輸出的是類別標(biāo)號。

拒絕類別是無法歸入任何已知類別的目標(biāo)設(shè)置的通用類別。特征空間：從模式得到的對分類有用的度量、屬性或基元構(gòu)成的空間。解釋空間：將C個類別表示為，其中為所屬類別的集合，稱為解釋空間。

二、分類模型分類任務(wù)的輸入數(shù)據(jù)是記錄的集合。每條記錄也稱實例或者樣例，用元組（x,y）表示，其中x是屬性的集合，而y是一個特殊的屬性，指出樣例的類標(biāo)號（也成為分類屬性或目標(biāo)屬性）。2024/5/19分類（classification通過學(xué)習(xí)得到一個目標(biāo)函數(shù)（targetfunction），也成為分類模型（classificationmodel），把每個屬性集x映射到一個預(yù)先定義的類標(biāo)號y。目的：1、描述性建模

分類模型可以作為解釋性的工具，用于區(qū)分不同類中的對象。2、預(yù)測性建模

分類模型還可以用于預(yù)測未知記錄的類標(biāo)號。2024/5/110分類2024/5/111輸入屬性集（x）

分類模型輸出類標(biāo)號（y）解決分類問題的一般方法2024/5/112表中每個表項表示實際類標(biāo)號為i但是被預(yù)測為類j的記錄數(shù)。被分類模型正確預(yù)測的樣本總數(shù)是，而被錯誤預(yù)測的樣本總數(shù)是。2024/5/113二類問題的混淆矩陣2024/5/114二類問題的混淆矩陣同樣，分類模型的性能也可以用錯誤率（errorrate）來表示，其定義如下：目標(biāo)：尋求最高的準(zhǔn)確率或者最低的錯誤率雖然混淆矩陣提供衡量分類模型的信息，但是用一個數(shù)匯總這些信息更便于比較不同模型的性能。為實現(xiàn)這一目的，可以使用性能度量（performancemetric），如準(zhǔn)確率（accuracy），其定義如下：2024/5/115三、查準(zhǔn)率查全率定義1：文檔檢測系統(tǒng)的查準(zhǔn)率，是檢索出的相關(guān)文檔數(shù)（屬于C1類）與檢索出的文檔總數(shù)（屬于C1類的文檔數(shù)加上實際是C2類的誤報文檔數(shù)）之比。定義2：文檔檢索系統(tǒng)的查全率，是檢索出的相關(guān)文檔數(shù)與數(shù)據(jù)庫中總的相關(guān)文檔數(shù)之比，即分子是檢索出的屬于C1的文檔數(shù)，分母是檢索出的屬于C1的文檔數(shù)與漏報的文檔數(shù)之和。2024/5/116查準(zhǔn)率和查全率假設(shè)一個圖像數(shù)據(jù)庫包含200張用戶感興趣的日落圖像，用戶希望能與查詢圖像匹配。假設(shè)系統(tǒng)檢索出200個相關(guān)圖像中的150幅以及另外100幅歐諾個戶不感興趣的圖像。 這次檢索（分類）的查準(zhǔn)率是：150/250=60% 查全率是：150/200=75%如果系統(tǒng)將數(shù)據(jù)庫中的所有圖像返回，則查全率是100%，但查準(zhǔn)率將非常低，另一方面，如果分類是為了低誤報率的話，查準(zhǔn)率將偏高，而查全率將偏低。什么是圖像特征?理想的特征描述符應(yīng)該具有：可重復(fù)性、可區(qū)分性、集中以及高效等特性；還需要能夠應(yīng)對圖像亮度變化、尺度變化、旋轉(zhuǎn)和仿射變換等變化的影響。計算機視覺中通常把角點（corner）作為是圖像的特征，而角點能夠作為圖像特征點的原因有以下兩點：1、角點具有唯一的可識別性，當(dāng)然，這是基于兩幅圖像沒有非常大的差別的前提下適用的；2、角點具有穩(wěn)定性，換句話說，就是當(dāng)該點有微小的運動時，就會產(chǎn)生明顯的變化。于是，可以清晰的看到該點的移動，這有利于特征點的跟蹤；對于圖像上其它的特征描述，如邊（edge），區(qū)域（patch）等，用數(shù)學(xué)的語言來描述，就是，這些特征點變化性比較小。如某一灰度相似的區(qū)域，其一階導(dǎo)數(shù)為常數(shù)，二階導(dǎo)數(shù)也為常數(shù)。因此，若選取一幅圖像中這樣的某個區(qū)域作為特征，則在另一幅圖像中，便很難找到同時滿足唯一可識別性和穩(wěn)定性要求的對應(yīng)特征。2024/5/117四、特征表示特征向量及其幾何解釋：2024/5/118四、特征表示圖像特征的分類有多種標(biāo)準(zhǔn)，如根據(jù)自身的特點可以將其分為兩大類：描述物體外形的形狀特征和描述物體表面灰度變化的紋理特征。而根據(jù)特征提取所采用的方法的不同又可以將其特征分為統(tǒng)計特征和結(jié)構(gòu)特征。灰度（彩色）圖像像素矩陣圖像特征的分類：我們常將某一類對象的多個特型組合在一起，形成一個特征向量來代表該類對象，如果只有單個數(shù)值特征，則特征向量為一個一維向量；如果是n個特征組合，則為一個n維特征向量，常常被作為識別系統(tǒng)的輸入。一般講帶分類的對象稱為樣本，將其特征向量稱為樣本特征向量或樣本向量。2024/5/119（a）三維空間中的3維特征向量樣本（b）二維空間中的2維特征向量及其上的一種可能的劃分四、特征表示2024/5/120四、特征表示投影降維法字符樣本的特征舉例2024/5/121四、特征表示特征處理的基本方法：分別處理單個特征，并除去那些幾乎不具（新的、不相關(guān)）辨別能力的特征；將特征綜合考慮，通過線性/非線性變換，使結(jié)果維數(shù)降低且具有更好地辨別能力。2024/5/122四、特征表示通常假定給出了維數(shù)為d的確定的模式樣本集，但d維特征如何確定尚未明確實際設(shè)計一個模式識別系統(tǒng)時，首先要解決的問題用各種可能的手段對識別對象的性質(zhì)作各種可能的測量，并將這些測量值作為分類的特征為了設(shè)計出好的分類器，一般需要對原始的測量值集合進行分析，進行選擇或變換，組成識別特征，在保證一定分類精度的前提下，減少特征維數(shù)，使分類器的工作又快又準(zhǔn)確要達(dá)到上述目的，關(guān)鍵是所提供的模式特征應(yīng)具有很好的可分性（類別可分離性判據(jù)來衡量），同時去掉那些關(guān)聯(lián)性較強的特征

需要依據(jù)某種準(zhǔn)則進行特征提取和選擇，為此應(yīng)當(dāng)首先構(gòu)造這樣的準(zhǔn)則——類別可分離性判據(jù)

可分離性判據(jù)應(yīng)能反映各類樣本在特征空間中的分布情況，能刻畫各特征分量在分類識別中的重要性或貢獻 1類別可分離性判據(jù)滿足的要求（1）與錯誤概率（或其的上下界）有單調(diào)關(guān)系（2）當(dāng)特征獨立時有可加性2024/5/1232024/5/124四、特征表示（3）具有“距離”的某些特性，即（4）對特征數(shù)目是單調(diào)不減，即加入新的特征后，判據(jù)值不減應(yīng)當(dāng)指出，所構(gòu)造的可分離性判據(jù)并不一定同時具有上述的四個性質(zhì)，但這并不影響它在實際使用中的性質(zhì)。2024/5/125