監(jiān)督分類的基本原理及算法

1、emc 監(jiān)督分類的基本原理及算法監(jiān)督分類的基本原理及算法 講解者：彭彬 統(tǒng)計模式識別 統(tǒng)計模式識別是研究每一個模式的各種測量數(shù)據(jù)的統(tǒng)計特統(tǒng)計模式識別是研究每一個模式的各種測量數(shù)據(jù)的統(tǒng)計特 性，按照統(tǒng)計決策理論來進(jìn)行分類。性，按照統(tǒng)計決策理論來進(jìn)行分類。 圖像圖像 輸入輸入 訓(xùn)練訓(xùn)練 樣本樣本 輸入輸入 改進(jìn)規(guī)則改進(jìn)規(guī)則 預(yù)處理預(yù)處理 特征處理特征處理 特征處理特征處理分類分類 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 誤差誤差 檢驗檢驗 預(yù)處理預(yù)處理 識別識別 分析分析 模式識別的大致過程模式識別的大致過程 圖中的上半部分是圖中的上半部分是識別部分識別部分，即對未知圖像進(jìn)行分類；下，即對未知圖像進(jìn)行分類；下 半部分是

2、半部分是分析部分分析部分，即由已知判別的訓(xùn)練樣本求出判別函，即由已知判別的訓(xùn)練樣本求出判別函 數(shù)及判別規(guī)則，進(jìn)而用來對未知類別的圖像進(jìn)行分類。右數(shù)及判別規(guī)則，進(jìn)而用來對未知類別的圖像進(jìn)行分類。右 下腳部分是下腳部分是自適應(yīng)處理自適應(yīng)處理（學(xué)習(xí)部分），當(dāng)訓(xùn)練樣本根據(jù)某（學(xué)習(xí)部分），當(dāng)訓(xùn)練樣本根據(jù)某 些規(guī)則求出一些判別規(guī)則后，再對這些順利樣本逐個進(jìn)行些規(guī)則求出一些判別規(guī)則后，再對這些順利樣本逐個進(jìn)行 檢驗，觀察是否有誤差。這樣不斷的改進(jìn)，直到滿足要求檢驗，觀察是否有誤差。這樣不斷的改進(jìn)，直到滿足要求 為止。為止。 從圖中可以看出統(tǒng)計模式識別部分主要是從圖中可以看出統(tǒng)計模式識別部分主要是特征處理特征

3、處理和和分類分類 倆部分。倆部分。 統(tǒng)計模式識別 特征處理：包括特征處理：包括特征選擇特征選擇和和特征變換特征變換 特征選擇：指從原來的特征選擇：指從原來的m個測量值集合中，按某一準(zhǔn)則選擇個測量值集合中，按某一準(zhǔn)則選擇 出一個出一個n維（維（nm）的子集作為分類特征。要選取具有區(qū)分）的子集作為分類特征。要選取具有區(qū)分 性，可靠性，獨(dú)立性好的少量特征。（下面介紹倆種方法）性，可靠性，獨(dú)立性好的少量特征。（下面介紹倆種方法） 窮取法窮取法：從：從m個原始的測量值中選出個原始的測量值中選出n個特征，一共有個特征，一共有c 種種 可能。對每一種選法用已知類別屬性的樣本進(jìn)行試分類，測可能。對每一種選法用

4、已知類別屬性的樣本進(jìn)行試分類，測 出其正確分類率，分類誤差最小的一組特征是最好的選擇。出其正確分類率，分類誤差最小的一組特征是最好的選擇。 最大最小類對距離法最大最小類對距離法：首先在：首先在k個類別中選出最難分離的一個類別中選出最難分離的一 對類別，然后選擇不同的特征子集，計算這一對類別的可分對類別，然后選擇不同的特征子集，計算這一對類別的可分 性，具有最大可分性的特征子集就是該方法選擇的最佳特征性，具有最大可分性的特征子集就是該方法選擇的最佳特征 子集。子集。 m n 特征處理 特征變換特征變換：是將原有的：是將原有的m個測量值集合通過某種變換，然后個測量值集合通過某種變換，然后 產(chǎn)生產(chǎn)生

5、n（nd （ x,g） 則 屬 于 g2類 。 費(fèi)歇爾判別法 費(fèi)歇爾費(fèi)歇爾(fisher)準(zhǔn)則：準(zhǔn)則： 要使判別函數(shù)值能充分地區(qū)分開地理類型，就需要使判別函數(shù)值能充分地區(qū)分開地理類型，就需 要使各類均值之間的差別最大要使各類均值之間的差別最大 （即使不同類之間（即使不同類之間 的差別最大），而使各類內(nèi)部的離差平方和為最的差別最大），而使各類內(nèi)部的離差平方和為最 小小 （即使同類間的差別最?。?。（即使同類間的差別最?。?。 換句話說，即要求類間（或組間）均值差與類內(nèi)換句話說，即要求類間（或組間）均值差與類內(nèi) （或組內(nèi)）方差之比最大（或組內(nèi)）方差之比最大 ，這樣就能把地理類型，這樣就能把地理類型 區(qū)

6、分得最清楚，這就是費(fèi)歇爾準(zhǔn)則的基本要點(diǎn)區(qū)分得最清楚，這就是費(fèi)歇爾準(zhǔn)則的基本要點(diǎn) 。 圖中：橫坐標(biāo)圖中：橫坐標(biāo)x1代表代表 變量變量x1,縱坐標(biāo)代表變縱坐標(biāo)代表變 量量x2，其中倆個，其中倆個 區(qū)域分別表示區(qū)域分別表示a類類 和和b類總體的等概率類總體的等概率 點(diǎn)的軌跡。如果只用點(diǎn)的軌跡。如果只用x1 和和x2來表示來表示a和和b類的類的 的分布概率和密度，的分布概率和密度， 則很難將倆個數(shù)據(jù)分則很難將倆個數(shù)據(jù)分 清楚，因為清楚，因為a和和b類的類的 數(shù)據(jù)在倆個坐標(biāo)軸上數(shù)據(jù)在倆個坐標(biāo)軸上 都有較大的都有較大的部分重疊部分重疊 。 a b a b x1 x2 a b a b y2 y1 c 費(fèi)歇爾

7、判別法 只有將倆類的數(shù)據(jù)投影到只有將倆類的數(shù)據(jù)投影到 直線直線y1上，倆類重疊部分上，倆類重疊部分 顯著減少，直線顯著減少，直線y上所代上所代 表的倆個變量的現(xiàn)象組合表的倆個變量的現(xiàn)象組合 ，即可看做是線性判別函，即可看做是線性判別函 數(shù)。數(shù)。c點(diǎn)可以看做是倆個點(diǎn)可以看做是倆個 樣本的判臨界值，將一維樣本的判臨界值，將一維 空間劃分成倆個空間空間劃分成倆個空間c可可 以看做是以看做是a類和類和b類的判類的判 別指標(biāo)。別指標(biāo)。 a b a b x1 x2 a b a b y2 y1 c 費(fèi)歇爾判別法 只有將倆類的數(shù)據(jù)投影到只有將倆類的數(shù)據(jù)投影到 直線直線y1上，倆類重疊部分上，倆類重疊部分 顯著

8、減少，直線顯著減少，直線y上所代上所代 表的倆個變量的現(xiàn)象組合表的倆個變量的現(xiàn)象組合 ，即可看做是線性判別函，即可看做是線性判別函 數(shù)。數(shù)。c點(diǎn)可以看做是倆個點(diǎn)可以看做是倆個 樣本的判臨界值，將一維樣本的判臨界值，將一維 空間劃分成倆個空間空間劃分成倆個空間c可可 以看做是以看做是a類和類和b類的判類的判 別指標(biāo)。別指標(biāo)。 依費(fèi)歇準(zhǔn)則的要求，就要根據(jù)已知的地理特征值依費(fèi)歇準(zhǔn)則的要求，就要根據(jù)已知的地理特征值 進(jìn)行線性組合，構(gòu)成一個線性判斷函數(shù)進(jìn)行線性組合，構(gòu)成一個線性判斷函數(shù)y即：即： y=c1*x1+c2*x2+cm*xm 其中其中, c1,c2, cm 為待求的判別函數(shù)系數(shù)，它可為待求的判

9、別函數(shù)系數(shù)，它可 反映各要素或特征值的作用方向、分辨能力和貢反映各要素或特征值的作用方向、分辨能力和貢 獻(xiàn)率的大小。獻(xiàn)率的大小。 只要確定了只要確定了ck(k=1,2,3)，判別函，判別函 數(shù)數(shù)y也就確定了。也就確定了。xk為已知各要素（變量）的特為已知各要素（變量）的特 征值。征值。 為了使判別函數(shù)為了使判別函數(shù)(y)能充分反映出能充分反映出a、b兩種地理兩種地理 類型的差別，就要使兩類之間均值差類型的差別，就要使兩類之間均值差 費(fèi)歇爾判別法 盡可能大，而內(nèi)部的離差平方和盡可能大，而內(nèi)部的離差平方和 盡可能的盡可能的 少。少。 從而要使從而要使i盡可能的大。盡可能的大。 費(fèi)歇爾判別法 可以一

10、求極值的原理使可以一求極值的原理使i 取最大值，從而求出取最大值，從而求出ck, 進(jìn)而算出：進(jìn)而算出： 當(dāng)判別函數(shù)求出后，為判定某一地點(diǎn)的地理歸屬當(dāng)判別函數(shù)求出后，為判定某一地點(diǎn)的地理歸屬 問題，還需計算出判別指標(biāo)值問題，還需計算出判別指標(biāo)值yc.判別臨界值可用判別臨界值可用 加權(quán)法求：加權(quán)法求： 費(fèi)歇爾判別法 式中，na為資料a類的組數(shù)，nb為資料b的組數(shù)。 費(fèi)歇爾判別法 最大似然法(貝葉斯) ii ii w wi 12k i -1/2 -2 ii p()p(x|). p() p()=,w n +.+=; 1 p()= . k 1 p(x|)= 2exp - (x 2 ww ww n wn

11、n nn n w w 為了使用最大似然法，必須預(yù)先求出 是類別被觀測到的概率，所以是可以預(yù)測的。 如果我們沒有更好的辦法，可以用樣品頻率代替，即 其中為已知分類數(shù)據(jù)中來自第 總體樣 品的數(shù)目，且或者我們可以令先 驗概率相等，即此時，可以認(rèn)為先驗概率不 起作用。 （ ） -1 t iii -)(x-) uu 最大似然法 ii 1,2,n 111m t n , i1,k 2 i=1 m1mm n kikjijij k=1 ii ii n . a a 1 u= n aa 1 =(-)(-),i,j=1,2,3,m n-1 p()p(x|) . logp()+logp(x|) u xx x uu ux

12、 auuxx ww ww 平均值 和斜方差矩陣 可從訓(xùn)練樣本中得到。從 個 訓(xùn)練樣本其中： 為了是似然度函數(shù)計算簡化，常把 用其對數(shù) 而 來代替。 最大似然法 12212211 12 21 21 12 1122 =() ( |)() ( |) x=x wwww t xx e t e pp xdpp xd wwwwp e e ww ww p e 則 表 示 類 別 誤 分 類 到 類 別 的 概 率 。 e 則 表 示 類 別 誤 分 類 到 類 別 的 概 率 。 誤 分 概 率 隨 t的 位 置 而 變 化 ， p()p( |)p()p( | ） 的 位 置 上 確 定 t時 ， 最 小 。

13、 1 x w p( |) 2 x w p( |） 11 x ww p()p( | 22 x ww p()p( |） 最大似然法 最大似然分類 最大似然法 神經(jīng)網(wǎng)絡(luò)識別 神經(jīng)網(wǎng)絡(luò)識別 精度評價精度評價 精度評價是對倆副圖像進(jìn)行比較，其中一精度評價是對倆副圖像進(jìn)行比較，其中一 幅是要進(jìn)行評價的幅是要進(jìn)行評價的遙感分類圖像遙感分類圖像，另一幅，另一幅 是假設(shè)是假設(shè)精確的參考圖精確的參考圖。 誤差矩陣與精度指標(biāo)：誤差矩陣與精度指標(biāo)： 誤差矩陣誤差矩陣（也稱混淆矩陣）用來表示精度（也稱混淆矩陣）用來表示精度 評價的一種標(biāo)準(zhǔn)格式。誤差矩陣是評價的一種標(biāo)準(zhǔn)格式。誤差矩陣是n行行n列列 的矩陣，其中的矩陣，其

14、中n代表列別的數(shù)量。代表列別的數(shù)量。 j 1 j 1 1 = = =/ p pp pp pp ij n iij n ij i n ckk k i p 其中， 是類型中第 類和類型 第j列所占的組成成分。 為分類所得的第i類的總和； 為實際觀測的第j類的總和； p ：樣本總數(shù)。 （1） ： 它是具有概率意義的一個統(tǒng)計量，表述的 是對每一個隨機(jī)樣本，所 分類數(shù) 分類的 據(jù)實測數(shù)據(jù) 總 結(jié)果與地面所 體分類精度 對應(yīng)區(qū)域的實際類型相一致的概率。 精度評價 j i / j / pp p pp p i iii jjj u a （2） （對于第類） = 它表示（如分類后產(chǎn)生的類型圖） 中任取一個隨機(jī)樣本，

15、其所具有的類型有 地面實際類型相同的概率。 （3） （對于第類） = 它表示相對于地面獲得的中的 任一個隨機(jī)樣本，分類圖上同一 用戶精度 分類結(jié)果 制圖精度 實際資料 地點(diǎn)的 分類結(jié)果與其一致的概率。 精度評價 （4）漏分誤差（）漏分誤差（ommission）：指對于地）：指對于地 面觀測的某種類型，在分類圖上任取一樣面觀測的某種類型，在分類圖上任取一樣 本，其被錯劃分為其他不同類型的概率，本，其被錯劃分為其他不同類型的概率， 也就是實際的某一類地物實際上有多少被也就是實際的某一類地物實際上有多少被 錯誤地分類到其他類別。錯誤地分類到其他類別。 （5）錯分誤差（）錯分誤差（commission

16、）：指對于）：指對于 所分出的某一類型，任取一個樣本，它與所分出的某一類型，任取一個樣本，它與 實際地面觀測類型不同的概率，也就是圖實際地面觀測類型不同的概率，也就是圖 像中被劃分某一類地物實際上有多少應(yīng)該像中被劃分某一類地物實際上有多少應(yīng)該 是別的類別。是別的類別。 漏分誤差和制圖精度互補(bǔ)，而錯分誤差與漏分誤差和制圖精度互補(bǔ)，而錯分誤差與 用戶精度互補(bǔ)。用戶精度互補(bǔ)。 當(dāng)檢查誤差矩陣中各種數(shù)據(jù)時，其地圖用當(dāng)檢查誤差矩陣中各種數(shù)據(jù)時，其地圖用 戶看到的是分類圖中各個類別的可信度，而戶看到的是分類圖中各個類別的可信度，而 制圖分析者關(guān)心的是用于產(chǎn)生這張分類圖的制圖分析者關(guān)心的是用于產(chǎn)生這張分類圖

17、的 方法的好壞。從用戶角度，誤差矩陣顯示的方法的好壞。從用戶角度，誤差矩陣顯示的 是用戶精度，從制圖者角度，其顯示的制圖是用戶精度，從制圖者角度，其顯示的制圖 精度。計算倆者時，其主要的區(qū)別是精度計精度。計算倆者時，其主要的區(qū)別是精度計 算時的基數(shù)。對制圖精度，基數(shù)是參照圖上算時的基數(shù)。對制圖精度，基數(shù)是參照圖上 各類別的總量；而對用戶精度，基數(shù)是被評各類別的總量；而對用戶精度，基數(shù)是被評 價圖像上的各類別的總數(shù)量。價圖像上的各類別的總數(shù)量。 精度評價 如下表：對居民區(qū)，其制圖精度為如下表：對居民區(qū)，其制圖精度為181/262， 即即69.08%；而用戶精度為；而用戶精度為181/244.即即

18、74.18% 。用戶精度指示的是這幅地圖的可靠性。表。用戶精度指示的是這幅地圖的可靠性。表 中表示被評價圖像中表明為居民區(qū)的像元中中表示被評價圖像中表明為居民區(qū)的像元中 ，有，有74.18%對于于實際的居民區(qū)；而制圖精對于于實際的居民區(qū)；而制圖精 度則告訴制圖者在實際為居民區(qū)的地表，有度則告訴制圖者在實際為居民區(qū)的地表，有 69.08%被正確地分類到居民區(qū)這一類中。被正確地分類到居民區(qū)這一類中。 精度評價 參參 考考 圖圖 像像 被評價的圖像被評價的圖像 居民區(qū)居民區(qū)空地空地植被植被道路道路總和總和 居民區(qū)居民空地空地1013014 植被植被483961148 道路道

19、路5186276 總和總和2441617268500 制圖精度制圖精度漏風(fēng)誤差漏風(fēng)誤差用戶精度用戶精度錯分精度錯分精度 居民居民 區(qū)區(qū) 181/262=69.08%30.92%181/244=74.18 % 25.82% 空地空地1/14=7.14%92.86%1/16=6.25%93.75% 植被植被96/148=64.96%35.14%96/172=55.81%44.19% 道路道路62/76=81.58%18.54%62/68=91.18%8.82% kappa分析：分析： 在對誤差矩陣進(jìn)行分析得出其總體精度在對誤差矩陣進(jìn)行分析得出其總體精度 ，用戶和制圖精度后，我們往往仍需要一，用戶和制圖精度后，我們往往仍需要一 個更客觀的指標(biāo)來評價分類質(zhì)量，比如倆個更客觀的指標(biāo)來評價分類質(zhì)量，比如倆 副圖像之間的吻合度。利用總體精度，用副圖像之間的吻合度。利用總體精度，用 戶精度或制圖精度的一個缺點(diǎn)是像元類別戶精度或制圖精度的一個缺點(diǎn)是像元類別 的小變動可能會導(dǎo)致其百分比變化。運(yùn)用的小變動可能會導(dǎo)致其百分比變化。運(yùn)用 這些指標(biāo)的客觀性依賴于采樣樣本以及方這些指標(biāo)的客觀性依賴于采樣樣本以及方 法。法。 kappa分析分析 采用另一種離散的多元技術(shù)采用另