課程代碼-隨堂2.邏輯回歸機(jī)器學(xué)習(xí)之

, 邏輯回歸的基本概念和方個(gè)人信用30用戶033341邏輯回歸是一種用于分類的模型，就相當(dāng)于最常見問題有如醫(yī)生治病時(shí)的望、聞、問、切，之后判定是否生病或生了什么病，其中的望聞問切就是輸入，即特征數(shù)據(jù)，判斷是否生病就相當(dāng)

z0.5x-

f(z) 1ez11w2x2w3x3w4x4w5x5w6x6f(z)

1ez11w2x2w3x3w4x4w5x5w6x61 f(z)Z1Z

f(z)wW練模型類別1or換一種角度理解邏輯回1y1e(w1x1w2

w1x1w2 w0=0yy

w1

w2w2

w0>0 w1x1w2

w0=0有w0vs無 有w0vs無代碼演

x代碼演梯度下降xxxx)T wwww)T h(x)

T1e00

,w,

,...,w)12n12n 訓(xùn)練的目的就是找到合適的，使得整體誤站在數(shù)學(xué)的角度上來說，即最小化下式極值分為極大值和極小因此求解最小值的過程就為求解極值的過J(h(xi)y)xi ih(x) 1 1e

J(h(xi)y)xi

i

J

mim

(h(xi)

xi？ 表示當(dāng)前情況下，J隨著變化而變化的趨JJJ=0

J隨著變大而小，并且越小越陡峭J的變化不在隨變化J把誤差函數(shù)當(dāng)成一座山梯度就是往前走時(shí)陡峭程度的數(shù)字化表絕對(duì)值越大，此時(shí)山越陡梯度>0,往前走是上梯度<0,往前走是下梯度>0梯度<0梯度=0梯度下降法就是一個(gè)找尋一座山最低谷的過如果當(dāng)前往前走是上山，那么就后t1t1

Jm (h(xi)y)xi i魯棒性調(diào) w1x1w2

w0=00.5x10.4 0.3=05x14 3=0mL1|wimmL2

wiinE(y )2

1e(w1xi1w2xi2w0 E(y )2

1e(w1xi1w2xi2w0

數(shù)值優(yōu)化21301001

2310221301001120001數(shù)值優(yōu)化nnw 2(

1ewT

Tew (1ewTx wt1wtwtAxwt1

wt 1 0 wt1

A wt1 wt

xi2 2 120001111-0-0--1訓(xùn)練方法優(yōu)梯度下降法的選兩種梯度:1SGD2.L-L-BFGS為SGD的優(yōu)化方法，它的訓(xùn)練速比SGD訓(xùn)練數(shù)據(jù)選加載所有數(shù)據(jù)，都參與支持正態(tài)分 exp(1(x)T1(xf(x 1,)公P(x|y)P(x,P(對(duì)于二分類問題來P(C|x)P(C1,x)P(C1)P(x|C P(x) P(x) P(C|x)P(C2,x)P(C2)P(x|C P(x) P(x) 樣本屬于C1P(C|x)P(C1)P(x|C)

P(C1)P(x|C1 P(x|C1

P(x,11

)P(x,C2112P(x|C)P(C2)P(x|C12

1P(C2)P(x|C2

P(C1

)P(x|P(x|C2

=exp([(T1T1)x(T1T1P(x|

P(C1|x)

exp([(T1T1)x

1(T1T1

如 P(C1)P(C2x P(C|

0 1exp((wTxw0(w,...,w

(T

T1

1(T1T1 千辛萬苦學(xué)習(xí)出來的參數(shù)到底是什(w,...,w

(T

1

1 w1(T1T1