感知器準則函數(shù)課件

感知器準則函數(shù)對于任何一個增廣權向量a，對樣本y正確分類，則有：aTy>0對樣本y錯誤分類，則有：aTy<0定義一準則函數(shù)JP(a)(感知準則函數(shù))：

感知器準則被錯分類的規(guī)范化增廣樣本集恒有JP(a)≥0，且僅當a為解向量，Yk為空集（不存在錯分樣本）時，JP(a)=0，即達到極小值。確定向量a的問題變?yōu)閷P(a)求極小值的問題。感知器準則函數(shù)對于任何一個增廣權向量a，感知器準則被錯分類1梯度下降算法梯度下降算法：對(迭代)向量沿某函數(shù)的負梯度方向修正，可較快到達該函數(shù)極小值。

感知器準則梯度下降算法梯度下降算法：對(迭代)向量沿某函數(shù)的負梯度方向2算法(stepbystep)感知器準則1.初值:任意給定一向量初始值a(1)2.迭代:第k+1次迭代時的權向量a(k+1)等于第k次的權向量a(k)加上被錯分類的所有樣本之和與rk的乘積3.終止:對所有樣本正確分類任意給定一向量

初始值a(1)a(k+1)=

a(k)+rk×Sum

(被錯分類的所有樣本)所有樣本

正確分類得到合理的a

完成

分類器設計NY算法(stepbystep)感知器準則1.初值:任意3梯度下降算法計算實例有兩類的二維數(shù)據(jù)，其中第一類的兩個樣本為(1,4)t和(2,3)t，第二類的兩個樣本為(3,2)t和(4,1)t。假設初始的a=(0,1,0)t，n(k)=1利用批處理感知器算法求解線性判別函數(shù)g(y)=aty的權向量a。首先對每個樣本增加一維為增廣樣本。然后規(guī)范化第二類的樣本為：(-3,-2,-1)t和(-4,-1,-1)t。梯度下降算法計算實例有兩類的二維數(shù)據(jù)，其中第一類的兩個樣本為4梯度下降算法計算實例計算錯分的樣本集：g(y1)=(0,1,0)(1,4,1)t=4（正確）g(y2)=(0,1,0)(2,3,1)t=3（正確）g(y3)=(0,1,0)(-3,-2,-1)t=-2（錯分）g(y4)=(0,1,0)(-4,-1,-1)t=-1（錯分）梯度下降算法計算實例5對錯分的樣本集求和：(-3,-2,-1)t+(-4,-1,-1)t=(-7,-3,-2)t修正權向量a：a=(0,1,0)t+(-7,-3,-2)t=(-7,-2,-2)t再計算錯分的樣本集：g(y1)=(-7,-2,-2)(1,4,1)t=-17（錯分）g(y2)=(-7,-2,-2)(2,3,1)t=-22（錯分）g(y3)=(-7,-2,-2)(-3,-2,-1)t=27（正確）g(y4)=(-7,-2,-2)(-4,-1,-1)t=32（正確）對錯分的樣本集求和：6對錯分的樣本集求和：(1,4,1)t+(2,3,1)t=(3,7,2)t修正權向量a：a=(-7,-2,-2)t+(3,7,2)t=(-4,5,0)t再計算錯分的樣本集：g(y1)=(-4,5,0)(1,4,1)t=16（正確）g(y2)=(-4,5,0)(2,3,1)t=7（正確）g(y3)=(-4,5,0)(-3,-2,-1)t=2（正確）g(y