人工智能樣板課件

第二章貝葉斯決策論蘭遠(yuǎn)東第二章蘭遠(yuǎn)東2.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計(jì)途徑。它做了如下假設(shè)，即決策問題可以用概率的形式來(lái)描述，并且假設(shè)所有的概率結(jié)構(gòu)已知。例：鮭魚和鱸魚分類

兩類魚自然狀態(tài)下的先驗(yàn)概率先驗(yàn)概率是一個(gè)隨機(jī)變量(=1鱸魚;=2鮭魚)

等概率假設(shè)下有：P(1)=P(2)P(1)+P(2)=12.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計(jì)途徑僅根據(jù)先驗(yàn)概率的判決規(guī)則ifP(1)>P(2)則判為1否則判為2連續(xù)判決和誤差概率使用類條件概率信息（P(x|)類條件概率密度函數(shù)）P(x|1)和P(x|2)描述兩類魚光澤度的不同2.1引言僅根據(jù)先驗(yàn)概率的判決規(guī)則2.1引言2.1引言2.1引言2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得貝葉斯公式：兩類問題情況下非正式表示：2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如人工智能樣板課件根據(jù)后驗(yàn)概率判決

X是觀測(cè)屬性 ifP(1|x)>P(2|x)

判決狀態(tài)為

1 ifP(1|x)<P(2|x)

判決狀態(tài)為

2

所以: 當(dāng)我們觀測(cè)到一個(gè)x,判決的誤差概率為:

P(error|x)=P(1|x)如果判決為

2 P(error|x)=P(2|x)如果判決為

12.1引言根據(jù)后驗(yàn)概率判決2.1引言2.1引言平均誤差概率可表示為：最小化誤差概率判決ifP(1|x)>P(2|x)

判為

1

否則判為2; 所以:P(error|x)=min[P(1|x),P(2|x)]

2.1引言平均誤差概率可表示為：最小化誤差概率判決2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

使用多余一個(gè)的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過引入一個(gè)更一般的損失函數(shù)來(lái)替代誤差概率2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c}表示有限的c個(gè)類別集{1,2,…,a}表示有限的a種可能的行為集

(i|j)為類別狀態(tài)j時(shí)采取行動(dòng)i的風(fēng)險(xiǎn)。則有下面的幾個(gè)等式：總風(fēng)險(xiǎn)：2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c

兩類情況下1:判為

12:判為

2ij=(i|j):類別為j時(shí)誤判為i所引起的損失

條件風(fēng)險(xiǎn):

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2貝葉斯決策論——連續(xù)特征兩類情況下2.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:

如果

R(1|x)<R(2|x)

則采取行動(dòng)

1:“判為1”等價(jià)判決規(guī)則1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判為

1

否則判為22.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:2.2貝葉斯決策論——連續(xù)特征2.2貝葉斯決策論——連續(xù)特征等價(jià)判別規(guī)則2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判為

1否則判為2

等價(jià)判別規(guī)則3(合理假設(shè)21>

11)：成立，則判為1

否則判為2似然比超過某個(gè)不依賴x的閥值，那么可判決為1

2.2貝葉斯決策論——連續(xù)特征等價(jià)判別規(guī)則2：成立，則判為2.3最小誤差率分類基于類別的行為如果采取行為i而實(shí)際類別為j，那么在i=j的情況下判決是正確的，如果ij，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對(duì)稱損失或0-1損失函數(shù):則,條件風(fēng)險(xiǎn)為:2.3最小誤差率分類基于類別的行為則,條件風(fēng)險(xiǎn)為:最小化誤差概率，需要最大化后驗(yàn)概率

P(i|x)(因?yàn)?/p>

R(i|x)=1–P(i|x))

基于最小化誤差概率，有：

對(duì)任給ji，如果P(i|x)>P(j|x)，則判為

i2.3最小誤差率分類最小化誤差概率，需要最大化后驗(yàn)概率P(i|x)2.32.4分類器、判別函數(shù)及判定面多類別情況

判別函數(shù)gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分類器將特征向量x判為i

2.4分類器、判別函數(shù)及判定面多類別情況

人工智能樣板課件2.4分類器、判別函數(shù)及判定面一般風(fēng)險(xiǎn)情況下，可令gi(x)=-R(i|x)(最大判別函數(shù)與最小的條件風(fēng)險(xiǎn)相對(duì)應(yīng))

根據(jù)最小誤差率情況下gi(x)=P(i|x)(最大判別函數(shù)與最大后驗(yàn)概率相對(duì)應(yīng))

其他判別函數(shù)：2.4分類器、判別函數(shù)及判定面一般風(fēng)險(xiǎn)情況下，可令gi(x2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個(gè)判決區(qū)域 ifgi(x)>gj(x)ji則x屬于Ri (也就是把x判為i)2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器） 令g(x)g1(x)–g2(x)

如果g(x)>0判為1;否則判為2g(x)的另類計(jì)算：2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器）g(x2.5正態(tài)密度分析的簡(jiǎn)易型連續(xù)性很多處理都是漸進(jìn)高斯的，大量小的獨(dú)立的隨機(jī)分布的和手寫字符,語(yǔ)音等都是高斯的單變量密度函數(shù)：

其中:

是x的期望值

2

是方差2.5正態(tài)密度分析的簡(jiǎn)易型2.5正態(tài)密度2.5正態(tài)密度多元密度函數(shù)一般的d維多元正態(tài)密度的形式如下:x=(x1,x2,…,xd)t

=(1,2,…,d)t

均值向量=d*d

協(xié)方差矩陣

||行列式值

-1逆矩陣

2.5正態(tài)密度多元密度函數(shù)2.5正態(tài)密度2.6正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過使用判別函數(shù)獲得

gi(x)=lnP(x|i)+lnP(i)

多元情況下：2.6正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過使用判別函2.6正態(tài)分布的判別函數(shù)情況1：i=2.I

(I是單位矩陣)

2.6正態(tài)分布的判別函數(shù)情況1：i=2.I“線性機(jī)器”使用線性判別函數(shù)的分類器。線性機(jī)器的決策面是一個(gè)由下式定義的超平面:

gi(x)=gj(x)2.6正態(tài)分布的判別函數(shù)“線性機(jī)器”使用線性判別函數(shù)的分類器。2.6正態(tài)分布的判別人工智能樣板課件情況：2i=(有所類的協(xié)方差矩陣都相等，但各自均值向量任意!)2.6正態(tài)分布的判別函數(shù)情況：2i=(有所類的協(xié)方差矩陣都相等，但各自均2.6正態(tài)分布的判別函數(shù)2.6正態(tài)分布的判別函數(shù)人工智能樣板課件人工智能樣板課件人工智能樣板課件人工智能樣板課件情況3：i=任意，每一類的協(xié)方差矩陣是不同的2.6正態(tài)分布的判別函數(shù)情況3：i=任意，每一類的協(xié)方差矩陣是不同的2.6人工智能樣板課件人工智能樣板課件Thankyou!Thankyou!第二章貝葉斯決策論蘭遠(yuǎn)東第二章蘭遠(yuǎn)東2.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計(jì)途徑。它做了如下假設(shè)，即決策問題可以用概率的形式來(lái)描述，并且假設(shè)所有的概率結(jié)構(gòu)已知。例：鮭魚和鱸魚分類

兩類魚自然狀態(tài)下的先驗(yàn)概率先驗(yàn)概率是一個(gè)隨機(jī)變量(=1鱸魚;=2鮭魚)

等概率假設(shè)下有：P(1)=P(2)P(1)+P(2)=12.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計(jì)途徑僅根據(jù)先驗(yàn)概率的判決規(guī)則ifP(1)>P(2)則判為1否則判為2連續(xù)判決和誤差概率使用類條件概率信息（P(x|)類條件概率密度函數(shù)）P(x|1)和P(x|2)描述兩類魚光澤度的不同2.1引言僅根據(jù)先驗(yàn)概率的判決規(guī)則2.1引言2.1引言2.1引言2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得貝葉斯公式：兩類問題情況下非正式表示：2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如人工智能樣板課件根據(jù)后驗(yàn)概率判決

X是觀測(cè)屬性 ifP(1|x)>P(2|x)

判決狀態(tài)為

1 ifP(1|x)<P(2|x)

判決狀態(tài)為

2

所以: 當(dāng)我們觀測(cè)到一個(gè)x,判決的誤差概率為:

P(error|x)=P(1|x)如果判決為

2 P(error|x)=P(2|x)如果判決為

12.1引言根據(jù)后驗(yàn)概率判決2.1引言2.1引言平均誤差概率可表示為：最小化誤差概率判決ifP(1|x)>P(2|x)

判為

1

否則判為2; 所以:P(error|x)=min[P(1|x),P(2|x)]

2.1引言平均誤差概率可表示為：最小化誤差概率判決2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

使用多余一個(gè)的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過引入一個(gè)更一般的損失函數(shù)來(lái)替代誤差概率2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c}表示有限的c個(gè)類別集{1,2,…,a}表示有限的a種可能的行為集

(i|j)為類別狀態(tài)j時(shí)采取行動(dòng)i的風(fēng)險(xiǎn)。則有下面的幾個(gè)等式：總風(fēng)險(xiǎn)：2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c

兩類情況下1:判為

12:判為

2ij=(i|j):類別為j時(shí)誤判為i所引起的損失

條件風(fēng)險(xiǎn):

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2貝葉斯決策論——連續(xù)特征兩類情況下2.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:

如果

R(1|x)<R(2|x)

則采取行動(dòng)

1:“判為1”等價(jià)判決規(guī)則1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判為

1

否則判為22.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:2.2貝葉斯決策論——連續(xù)特征2.2貝葉斯決策論——連續(xù)特征等價(jià)判別規(guī)則2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判為

1否則判為2

等價(jià)判別規(guī)則3(合理假設(shè)21>

11)：成立，則判為1

否則判為2似然比超過某個(gè)不依賴x的閥值，那么可判決為1

2.2貝葉斯決策論——連續(xù)特征等價(jià)判別規(guī)則2：成立，則判為2.3最小誤差率分類基于類別的行為如果采取行為i而實(shí)際類別為j，那么在i=j的情況下判決是正確的，如果ij，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對(duì)稱損失或0-1損失函數(shù):則,條件風(fēng)險(xiǎn)為:2.3最小誤差率分類基于類別的行為則,條件風(fēng)險(xiǎn)為:最小化誤差概率，需要最大化后驗(yàn)概率

P(i|x)(因?yàn)?/p>

R(i|x)=1–P(i|x))

基于最小化誤差概率，有：

對(duì)任給ji，如果P(i|x)>P(j|x)，則判為

i2.3最小誤差率分類最小化誤差概率，需要最大化后驗(yàn)概率P(i|x)2.32.4分類器、判別函數(shù)及判定面多類別情況

判別函數(shù)gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分類器將特征向量x判為i

2.4分類器、判別函數(shù)及判定面多類別情況

人工智能樣板課件2.4分類器、判別函數(shù)及判定面一般風(fēng)險(xiǎn)情況下，可令gi(x)=-R(i|x)(最大判別函數(shù)與最小的條件風(fēng)險(xiǎn)相對(duì)應(yīng))

根據(jù)最小誤差率情況下gi(x)=P(i|x)(最大判別函數(shù)與最大后驗(yàn)概率相對(duì)應(yīng))

其他判別函數(shù)：2.4分類器、判別函數(shù)及判定面一般風(fēng)險(xiǎn)情況下，可令gi(x2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個(gè)判決區(qū)域 ifgi(x)>gj(x)ji則x屬于Ri (也就是把x判為i)2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器） 令g(x)g1(x)–g2(x)

如果g(x)>0判為1;否則判為2g(x)的另類計(jì)算：2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器）g(x2.5正態(tài)密度分析的簡(jiǎn)易型連續(xù)性很多處理都是漸進(jìn)高斯的，大量小的獨(dú)立的隨機(jī)分布的和手寫字符,語(yǔ)音等都是高斯的單變量密度函數(shù)：

其中:

是x的期望