prml lecture06b kernel methods模式識(shí)別與機(jī)器學(xué)習(xí)

PatternRecognition&Machine信息與通 網(wǎng)絡(luò)搜索教主講信息與通 網(wǎng)絡(luò)搜索教中郵電大核方法內(nèi)容提對(duì)偶表正則化最小二過程(Gaussianforfor模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程的基本思與使用固定基函數(shù)的線性回歸相比，其區(qū)別在于我們通過引入定義在函數(shù)上的概率分布而使用無限多基在實(shí)際問題上,我們只考慮在訓(xùn)練和測(cè)試數(shù)據(jù)上的函 kx,

模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 回顧線性考慮由M對(duì)權(quán)值向量w使 pwNw|0,其中參數(shù)模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 回顧線性一個(gè)聯(lián)合分布:y

1 1其中 wTx

y , 若矩Φ的元素定義為:Φnkkxn則向量y也 分布，其參數(shù)

y y N其中K為Gram

kxn,xm

T 1模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine 1

C.G. 過 ?過程為y(x)在數(shù)據(jù)點(diǎn)x1,…xN的任意子集上的取值的合分布合分布也 分關(guān)鍵點(diǎn)聯(lián)合分布使用二階統(tǒng)計(jì)量(均值和協(xié)方差)通常均值為0，我們只需考慮協(xié)方差矩陣核函數(shù)

與其去選擇一組基函數(shù)，我們直接選擇一個(gè)核函模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 直接定義核直接定義核‘Gaussian’

exponential模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 核方法內(nèi)容提對(duì)偶表正則化最小二過程(Gaussianforfor模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程回假設(shè)噪聲服 分布,則令布為

；則聯(lián)合注意tn在給定yn模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程過程回歸 由定義，我們得如果數(shù)據(jù)點(diǎn)是相似的，則具有強(qiáng)相關(guān)對(duì)y進(jìn)行積分，可得邊緣分布其模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程回廣泛用于GPR的核其中0,1,2,3為4個(gè)超參模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 分別使用兩組超參分別使用兩組超參0,1,2,3模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 分別使用兩組超參分別使用兩組超參0,1,2,3模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 分別使用兩組超參分別使用兩組超參0,1,2,3模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. ?示例 過程回歸?模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 基 對(duì)新數(shù)據(jù)點(diǎn)xN+1，要計(jì)算過程的聯(lián)合分基于數(shù)據(jù) ,的聯(lián)合分然后再推導(dǎo)出條件由于 分布，只需計(jì)算均值和方模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 基 對(duì)新數(shù)據(jù)點(diǎn)xN+1，要計(jì)算過程的聯(lián)合分基于數(shù)據(jù) ,的聯(lián)合分然然后再推導(dǎo)出條件其中,模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 示例:基于GPR模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. ?示例:基于GPR?模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 模式識(shí)別與機(jī)器學(xué)習(xí)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine C.G. 參數(shù)估計(jì)的基本方法主 lnp(t|?)一般是non-convex解決策略–引入一個(gè)先驗(yàn)分解決策略–引入一個(gè)先驗(yàn)分布p(?)，然后化對(duì)數(shù)后驗(yàn)lnp(t|?)ln模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 自動(dòng)的相關(guān)特征檢 不相關(guān)的特征對(duì)應(yīng)于小的權(quán)值，可把這些維度模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 示例:自動(dòng)的相關(guān)特征檢不同的權(quán)模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 小的權(quán)值對(duì)應(yīng)于不相關(guān)的維度，小的權(quán)值對(duì)應(yīng)于不相關(guān)的維度，可以定并丟模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 核方法內(nèi)容提對(duì)偶表正則化最小二Fisher過程(Gaussianforfor模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 目標(biāo)

for分建模新輸入數(shù)據(jù)的對(duì)應(yīng)輸出的后驗(yàn)問題把輸入數(shù)據(jù)映射到一個(gè)區(qū)間使 過程和非線性激活函模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. for分兩個(gè)類別對(duì)應(yīng)于目標(biāo)輸出為0和 需要計(jì)算條件分 積分不能解析地處理，需要使用近似或數(shù)值計(jì)算模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. for分給定數(shù)據(jù)集X的對(duì)應(yīng)輸出似然函數(shù)其 先驗(yàn)分布p(aN)是一個(gè)零均 過先驗(yàn)分布p(aN+1)也是一個(gè)零均 過模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. ce 預(yù)測(cè)性分布的模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. cep(aN+1|tN)的后驗(yàn)概率 模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式?示例GPfor?模式識(shí)別與機(jī)器學(xué)-PatternRecognition&Mach