RBF神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)過程課件

1、模式識(shí)別導(dǎo)論P(yáng)attern Recognition第四章 線性判別函數(shù)王文偉 Wang Wenwei, Dr.-Ing.Tel: 687-78652Email: wwwangWeb: /sites/ced/pr/電子信息學(xué)院IPLTable of Contents電子信息學(xué)院4.1 引言基于樣本的Bayes分類器：通過估計(jì)類條件概率密度函數(shù)，設(shè)計(jì)相應(yīng)的判別函數(shù)最一般情況下適用的“最優(yōu)”分類器：錯(cuò)誤率最小，對(duì)分類器設(shè)計(jì)在理論上有指導(dǎo)意義。獲取統(tǒng)計(jì)分布及其參數(shù)很困難，實(shí)際問題中并不一定具備獲取準(zhǔn)確統(tǒng)計(jì)分布的條件。 訓(xùn)練樣本集樣本分布的統(tǒng)計(jì)特征：概率密度函數(shù)決策規(guī)則：判別函數(shù)決策面方程分類器功能結(jié)構(gòu)

2、ARGMAXg1.g2gc.x1x2xna(x)直接確定判別函數(shù)基于樣本的直接確定判別函數(shù)方法：設(shè)定判別函數(shù)形式，用樣本集確定參數(shù)。使用準(zhǔn)則函數(shù)，表達(dá)分類器應(yīng)滿足的要求。這些準(zhǔn)則的“最優(yōu)”并不一定與錯(cuò)誤率最小相一致：次優(yōu)分類器。 實(shí)例：正態(tài)分布最小錯(cuò)誤率貝葉斯分類器在特殊情況下，是線性判別函數(shù)g(x)=wTx（決策面是超平面），能否基于樣本直接確定w?引言訓(xùn)練樣本集決策規(guī)則：判別函數(shù)決策面方程選擇最佳準(zhǔn)則線性分類器設(shè)計(jì)步驟線性分類器設(shè)計(jì)任務(wù)：給定樣本集K，確定線性判別函數(shù)g(x)=wTx的各項(xiàng)系數(shù)w。步驟：收集一組樣本K=x1,x2,xN按需要確定一準(zhǔn)則函數(shù)J(K,w)，其值反映分類器的性能，

3、其極值解對(duì)應(yīng)于“最好”決策。用最優(yōu)化技術(shù)求準(zhǔn)則函數(shù)J的極值解w*，從而確定判別函數(shù)，完成分類器設(shè)計(jì)。對(duì)于未知樣本x，計(jì)算g(x)，判斷其類別。引言設(shè)計(jì)應(yīng)用兩類問題的分類決策規(guī)則引言規(guī)則表達(dá)1規(guī)則表達(dá)2線性判別函數(shù)的幾何意義決策面(decision boundary)H方程：g(x)=0決策面將特征空間分成決策區(qū)域。向量w是決策面H的法向量g(x)是點(diǎn)x到?jīng)Q策面H的距離的一種代數(shù)度量x1x2wxxprH: g=0R1: g0R2: g0 對(duì)樣本y錯(cuò)誤分類，則有：aTy0定義一準(zhǔn)則函數(shù)JP(a) (感知準(zhǔn)則函數(shù))： 被錯(cuò)分類的規(guī)范化增廣樣本集恒有JP(a)0，且僅當(dāng)a為解向量，Yk為空集（不存在錯(cuò)

4、分樣本）時(shí)， JP(a)=0，即達(dá)到極小值。確定向量a的問題變?yōu)閷?duì)JP(a)求極小值的問題。感知器梯度下降算法梯度下降算法：對(duì)(迭代)向量沿某函數(shù)的負(fù)梯度方向修正，可較快到達(dá)該函數(shù)極小值。 感知器算法(step by step)1. 初值: 任意給定一向量初始值a(1)2. 迭代: 第k+1次迭代時(shí)的權(quán)向量a(k+1)等于第k次的權(quán)向量a(k)加上被錯(cuò)分類的所有樣本之和與rk的乘積3. 終止: 對(duì)所有樣本正確分類任意給定一向量初始值a(1)a(k+1)=a(k)+ rkSum(被錯(cuò)分類的所有樣本)所有樣本正確分類得到合理的a完成分類器設(shè)計(jì)NY感知器感知器方法例解 固定增量法與可變?cè)隽糠ㄅ繕颖?/p>

5、修正法與單樣本修正法批量樣本修正法：樣本成批或全部檢查后，修正權(quán)向量單樣本修正法：樣本集視為不斷重復(fù)出現(xiàn)的序列，逐個(gè)樣本檢查，修正權(quán)向量感知器感知器方法小結(jié)感知準(zhǔn)則函數(shù)方法的思路是：先隨意找一個(gè)初始向量a(1)，然后用訓(xùn)練樣本集中的每個(gè)樣本來計(jì)算。若發(fā)現(xiàn)一個(gè)y出現(xiàn)aTy0。當(dāng)然，修改后的a(k+1)還可以使某些y出現(xiàn)a(k+1)Ty 0, i=1,N線性分類器設(shè)計(jì)求一組N個(gè)線性不等式的解樣本集增廣矩陣Y及一組N個(gè)線性不等式的的矩陣表示：引入余量(目標(biāo)向量) b=b1, b2, , bNT， bi任意給定正常數(shù)， aTyi = bi 0N個(gè)線性方程的的矩陣表示：平方誤差準(zhǔn)則函數(shù)定義誤差向量 e=

6、Ya-b：定義平方誤差準(zhǔn)則函數(shù)Js(a):最小二乘解（MSE解）：MSE方法的思想：對(duì)每個(gè)樣本，設(shè)定一個(gè)“理想”的判別函數(shù)輸出值，以最小平方誤差為準(zhǔn)則求最優(yōu)權(quán)向量MSEMSE準(zhǔn)則函數(shù)的偽逆解Y的偽逆矩陣MSEMSE方法的迭代解a*=Y+b, Y+=(YTY)-1YT，計(jì)算量大實(shí)際中常用梯度下降法：批量樣本修正法單樣本修正法MSEMSE方法與Fisher方法的關(guān)系與Fisher方法的關(guān)系：當(dāng)N1個(gè)N2個(gè)MSE解等價(jià)于Fisher解MSEMSE方法與Bayes方法的關(guān)系當(dāng)N，b=uN= 1,1, , 1T 時(shí)，則它以最小均方誤差逼近Bayes判別函數(shù)：MSE4.5 多類問題兩類別問題可以推廣到多類

7、別問題i/i 法：將C類別問題化為(C-1)個(gè)兩類（第i類與所有非i類）問題，按兩類問題確定其判別函數(shù)與決策面方程 。i/j 法：將C類中的每兩類別單獨(dú)設(shè)計(jì)其線性判別函數(shù)，因此總共有C(C-1)/2個(gè)線性判別函數(shù)。 R1R3R21非12非2R1R3R2121332多類線性判別函數(shù)將特征空間確實(shí)劃分為c個(gè)決策域，共有c個(gè)判別函數(shù)決策規(guī)則：決策域的邊界由相鄰決策域的判別函數(shù)共同決定，此時(shí)應(yīng)有g(shù)i(x)=gj(x) 線性分類器的決策面是凸的，決策區(qū)域是單連通的多類分類器的分界面是分段線性的多類問題多類線性決策面圖例R1R3R2g1g2g1g3g3g1g3g2g2g3g2g1R1R3R2R5R4多類問

8、題決策樹簡(jiǎn)介決策樹：一種多極分類器，它采用分級(jí)的形式，綜合用多個(gè)決策規(guī)則，逐步把復(fù)雜的多類別分類問題轉(zhuǎn)化為若干個(gè)簡(jiǎn)單的分類問題來解決n1n2n3n4n5t1t2t3t4t5t6t7多類問題二叉決策樹二叉決策樹：除葉節(jié)點(diǎn)外，決策樹的每個(gè)節(jié)點(diǎn)ni都有且只有兩個(gè)子節(jié)點(diǎn)nil和nir。二叉決策樹把復(fù)雜的多類別分類問題轉(zhuǎn)化為多級(jí)兩類分類問題來解決。在每個(gè)節(jié)點(diǎn)ni ，都把樣本集分成兩個(gè)子集。每個(gè)子集可能仍包含多類別的樣本，繼續(xù)分直至僅包含單類別樣本的葉節(jié)點(diǎn)n1n2n3n4t1t2t5x25x12x34x2212323t3t4多類問題4.6 分段線性判別函數(shù) 有些復(fù)雜模式識(shí)別問題不是線性可分的，需使用非線性

9、的分類方法分段線性判別函數(shù)：一種特殊的非線性判別函數(shù)，它的決策面是若干超平面樹分類器的各節(jié)點(diǎn)上采用線性判別規(guī)則，即構(gòu)成分段線性分類器R1R3R2IIIIIII: 線性判別II：分段線性判別III: 二次判別分段線性距離分類器最小距離分類器：把各類別樣本的均值向量作為各類的代表點(diǎn)(prototype) ，根據(jù)待識(shí)樣本到各類別代表點(diǎn)的最小距離判別其類別。決策面是兩類別均值連線的垂直平分面。分段線性m1m2xg(x)=0m1m2x分段線性距離分類器(2)分段線性距離分類器：將各類別劃分成相對(duì)密集的子類，每個(gè)子類以它們的均值作為代表點(diǎn)，然后按最小距離分類。分段線性基于距離的分段線性判別函數(shù) 判別函數(shù)定

10、義：i有l(wèi)i個(gè)子類，即屬于i 的決策域Ri分成li個(gè)子域Ri1, Ri2, Rili)，每個(gè)子區(qū)域用均值mik作為代表點(diǎn)。判別規(guī)則：or分段線性分段線性判別函數(shù) 分段線性判別函數(shù)的形式: gik(x)表示第i類第k段線性判別函數(shù)，li為i類所具有的判別函數(shù)個(gè)數(shù)，wik與wi0k分別是第k段的權(quán)向量與閾值第i類的判別函數(shù):分段線性分段線性判別函數(shù)(II) 判別規(guī)則:決策面取決于相鄰的決策域，如第i類的第n個(gè)子類與第j類的第m個(gè)子類相鄰，則由它們共同決定的決策面方程為 分段線性4.7 討論基于樣本的直接確定判別函數(shù)方法主要包含兩個(gè)步驟：確定使用的判別函數(shù)類型或決策面方程類型，如線性分類器，分段線性分類器等在選定函數(shù)類型的條件下，確定相應(yīng)的參數(shù)，從而完成整個(gè)分類器設(shè)計(jì)線性判別函數(shù)計(jì)算簡(jiǎn)單，在一定條件下能實(shí)現(xiàn)最優(yōu)分類，經(jīng)常是一種“有限合理”的選擇分段線性分類器可以實(shí)現(xiàn)更復(fù)雜的分類面習(xí)題有一個(gè)三次判別函數(shù)：z=g(x)=x3+2x2+3x+4。試建立一映射xy，使得z轉(zhuǎn)化為y的線性判別函數(shù)。證明決策面H：wTx+w0=0的系數(shù)向量w是決策面H的法向量Ex-4.