機(jī)器學(xué)習(xí)課件2.統(tǒng)計回歸

1、統(tǒng)計回歸王成（副教授）計算機(jī)科學(xué)與技術(shù)學(xué)院主要內(nèi)容線性回歸線性最小二乘問題的矩陣解法最小二乘的概率解釋局部加權(quán)線性回歸過擬合正則化Logistic回歸有監(jiān)督的機(jī)器學(xué)習(xí)過程輸出 y(貸款申請人信息)(是否可以批準(zhǔn)?)歷史數(shù)據(jù)學(xué)習(xí)算法輸出 y(是否可以批準(zhǔn)?)學(xué)習(xí)算法(貸款申請人信息)不可知假設(shè)(Hypothesis)，由學(xué)習(xí)得到，是f的近似機(jī)器學(xué)習(xí)的關(guān)鍵因素1. 模式存在2. 但無法用數(shù)學(xué)方式確定下來3. 有數(shù)據(jù)可供學(xué)習(xí)有監(jiān)督的機(jī)器學(xué)習(xí)過程擬合數(shù)據(jù)點(diǎn)擬合擬合: 指已知某函數(shù)的若干離散函數(shù)值，通過調(diào)整該函數(shù)中若干待定系數(shù)，使得該函數(shù)與已知點(diǎn)集的差別最小如果待定函數(shù)是線性，就叫線性擬合或者線性回歸分

2、類與回歸分類問題: 目標(biāo)變量是離散值回歸問題: 目標(biāo)變量是連續(xù)值(數(shù)值預(yù)測)“回歸”是由達(dá)爾文的表兄弟弗朗西斯高爾頓爵士(Sir Francis Galton,1822-1911)發(fā)明的。高爾頓于1877年完成了第一次回歸預(yù)測，目的是根據(jù)上一代豌豆種子(雙親)的尺寸預(yù)測下一代豌豆種子的尺寸。高爾頓在大量對象上應(yīng)用了回歸分析，包括人的身高。他注意到，如果雙親的高度比平均高度高，他們的子女也傾向于比平均高度高，但尚不及雙親，孩子的高度向著平均高度回退(回歸)。盡管這個單詞和數(shù)值預(yù)測沒有任何關(guān)系，但這種研究方法仍被稱為回歸。給定一套房屋的信息，如何預(yù)測其價格？房屋信息: (面積=100平, 三室,

3、兩衛(wèi))預(yù)測價格 = 0.8500 * 面積 + 0.0500 * 臥室數(shù)量 + 0.0015 * 衛(wèi)生間數(shù)量線性回歸設(shè)x0=1x1yx2這個方程稱為回歸方程，i稱為回歸系數(shù)或權(quán)重房屋價格與其面積及臥室數(shù)量的統(tǒng)計數(shù)據(jù)線性回歸y(i)表示第i個訓(xùn)練實(shí)例對應(yīng)的目標(biāo)變量值，m為實(shí)例數(shù)量；常數(shù)1/2是為了方便后續(xù)計算；最小二乘(least squares)損失函數(shù)線性回歸兩條不同的擬合直線線性回歸主要內(nèi)容線性回歸線性最小二乘問題的矩陣解法最小二乘的概率解釋局部加權(quán)線性回歸過擬合正則化Logistic回歸矩陣解法對于m*n矩陣A，定義關(guān)于A的函數(shù) f 的梯度:例如，其中第(i, j)個元素為 矩陣解法n*

4、n矩陣A的跡(trace)定義為A的主對角上元素之和，記為 tr A若a是一實(shí)數(shù)，即一個1x1矩陣，則 tr a = a性質(zhì):跡可理解為一個應(yīng)用在A上的函數(shù) f(A) = tr(A)矩陣解法輸入矩陣(m * (n+1)維):目標(biāo)變量值向量(m維):在房屋價格預(yù)測例子中，x1為“面積”屬性，x2為“臥室數(shù)量”屬性，x1(1)為第1個樣本的面積，x2(1)為第1個樣本的臥室數(shù)量，x1(2)為第2個樣本的面積，x2(2)為第2個樣本的臥室數(shù)量，共m個樣本，每個屬性有n個屬性在房屋價格預(yù)測例子中，y(1)為第1個樣本的報價，y(2)為第2個樣本的報價，共m個樣本假設(shè)共有m個訓(xùn)練樣本，每個樣本有n個屬性

5、矩陣解法矩陣解法為最小化 J，計算 J 的梯度X是m(n+1)維= 一個數(shù)矩陣解法若a為一實(shí)數(shù)，則 tr a = a矩陣解法矩陣解法矩陣解法主要內(nèi)容線性回歸線性最小二乘問題的矩陣解法最小二乘的概率解釋局部加權(quán)線性回歸過擬合正則化Logistic回歸最小二乘的概率解釋為什么最小二乘代價函數(shù)J是一個合理的選擇？最小二乘的概率解釋假設(shè)目標(biāo)變量和輸入的關(guān)系可表示為：其中(i)表示線性模型與目標(biāo)值的誤差。例如樣本的某屬性和房價預(yù)測相關(guān)，但卻沒有被考慮進(jìn)來；或隨機(jī)噪音。最小二乘的概率解釋假設(shè)誤差(i)獨(dú)立同分布(IID, Independent and Identical Distribution)，并服

6、從正態(tài)分布：中心極限定理: 若一隨機(jī)變量受大量微小獨(dú)立的隨機(jī)因素影響，其中每個個別隨機(jī)變量對于總和的作用都是微小的，那么作為總和的隨機(jī)變量的分布就會逼近于正態(tài)分布。因此，(i)的概率密度：最小二乘的概率解釋給定輸入矩陣X (每i行為第i個樣本的特征向量)和參數(shù)，可得到似然(likelihood)函數(shù):m為樣本總數(shù)，(i)上標(biāo)表示第(i)個樣本最大似然法，也叫極大似然估計最小二乘的概率解釋最小化最小二乘的概率解釋基于前面的概率假設(shè)(IID，正態(tài)分布)，最小二乘回歸相當(dāng)于尋找最大化似然函數(shù)的。因此，最小二乘回歸可被證明是一種非常自然的選擇。主要內(nèi)容線性回歸線性最小二乘問題的矩陣解法最小二乘的概率解

7、釋局部加權(quán)線性回歸過擬合正則化Logistic回歸局部加權(quán)線性回歸使用更多合適的特征，例如y=0+1x+2x2可能可以擬合得更好考慮對數(shù)據(jù)集進(jìn)行線性擬合得到線性模型 y=0+1x數(shù)據(jù)點(diǎn)不在一條直線上，用線性模型擬合的并不好局部加權(quán)線性回歸但也可能導(dǎo)致過擬合，例如上圖為y=0+1x+.+5x5的擬合結(jié)果考慮對數(shù)據(jù)集進(jìn)行線性擬合得到線性模型 y=0+1x數(shù)據(jù)點(diǎn)不在一條直線上，用線性模型擬合的并不好局部加權(quán)線性回歸局部加權(quán)線性回歸 (LWLR, Locally weighted linear regression):越靠近待預(yù)測點(diǎn)的訓(xùn)練樣本，對預(yù)測結(jié)果的影響越大，越遠(yuǎn)離待預(yù)測點(diǎn)的訓(xùn)練樣本，對預(yù)測結(jié)果

8、的影響越小。只關(guān)注位于待預(yù)測點(diǎn)附近的樣本點(diǎn)(即“局部”的含義)給每個訓(xùn)練樣本賦予一個權(quán)重w(i)，訓(xùn)練樣本點(diǎn)離待預(yù)測點(diǎn)越近，w(i)越趨于1訓(xùn)練樣本點(diǎn)離待預(yù)測點(diǎn)越遠(yuǎn)，w(i)越趨于0局部加權(quán)線性回歸直觀的理解，局部加權(quán)線性回歸在給定待預(yù)測點(diǎn)時，對其附近的點(diǎn)進(jìn)行訓(xùn)練得到局部線性模型，并用于預(yù)測局部加權(quán)線性回歸直觀的理解，局部加權(quán)線性回歸在給定待預(yù)測點(diǎn)時，對其附近的點(diǎn)進(jìn)行訓(xùn)練得到局部線性模型，并用于預(yù)測局部加權(quán)線性回歸直觀的理解，局部加權(quán)線性回歸在給定待預(yù)測點(diǎn)時，對其附近的點(diǎn)進(jìn)行訓(xùn)練得到局部線性模型，并用于預(yù)測局部加權(quán)線性回歸線性回歸局部加權(quán)線性回歸1. 求擬合參數(shù)以最小化2. 輸出 Tx1. 求

9、擬合參數(shù)以最小化2. 輸出 Tx權(quán)重向量權(quán)重的計算一種合適的權(quán)重計算公式為其中x為待預(yù)測點(diǎn)，x(i)為第i個樣本點(diǎn)若x(i)離x較近，則w(i)趨于1若x(i)離x較遠(yuǎn)，則w(i)趨于0 xw(i)x(i)x(i)w(i)為波長參數(shù)，值越小，圖形越尖權(quán)重的計算考慮到x為多維特征向量，w(i)的計算公式可改為局部加權(quán)線性回歸優(yōu)點(diǎn)：相比線性回歸，特征選擇的重要性不那么大；每次預(yù)測都要重新學(xué)習(xí)計算權(quán)值和參數(shù)，對數(shù)據(jù)的自適應(yīng)能力更強(qiáng)；缺點(diǎn)：每次預(yù)測都要重新學(xué)習(xí)計算權(quán)值和參數(shù)，計算量大；線性回歸中假設(shè)目標(biāo)變量與特征呈線性關(guān)系如果假設(shè)不成立呢？主要內(nèi)容線性回歸線性最小二乘問題的矩陣解法最小二乘的概率解釋局

10、部加權(quán)線性回歸過擬合正則化Logistic回歸過擬合h = 0 + 1xh = 0 + 1x + 2x2考慮線性回歸中房價預(yù)測例子，x表示面積欠擬合 (under fitting)剛好高偏差 (high bias)局部加權(quán)線性回歸考慮線性回歸中房價預(yù)測例子，x表示面積h = 0 + 1x欠擬合 (under fitting)h = 0 + 1x + . + 5x5過擬合 (over fitting)高方差 (high variance)過擬合如果有很多特征，學(xué)習(xí)到的函數(shù)(假設(shè), hypothesis)可能會對訓(xùn)練數(shù)據(jù)擬合的非常完美，但卻無法準(zhǔn)確地對新樣本進(jìn)行預(yù)測好的模型應(yīng)能對訓(xùn)練集之外的樣本進(jìn)

11、行很好的預(yù)測需要權(quán)衡偏差方差分解期望預(yù)測誤差：m為樣本數(shù)量，(i)上標(biāo)表示第i個樣本推導(dǎo)(略)可得期望預(yù)測誤差 = 偏差2 + 方差 + 噪音偏差方差分解期望預(yù)測誤差 = 偏差2 + 方差 + 噪音使用不同的訓(xùn)練數(shù)據(jù)訓(xùn)練得到模型，重復(fù)多次偏差度量預(yù)測值和真實(shí)值的平均偏離程度直觀理解欠擬合 高偏差過擬合 低偏差偏差方差分解期望預(yù)測誤差 = 偏差2 + 方差 + 噪音使用不同的訓(xùn)練數(shù)據(jù)訓(xùn)練得到模型，重復(fù)多次方差度量模型對一個樣本預(yù)測結(jié)果的差異程度直觀理解欠擬合：稍有不同的訓(xùn)練數(shù)據(jù)訓(xùn)練得到的模型預(yù)測結(jié)果相似過擬合：稍有不同的訓(xùn)練數(shù)據(jù)訓(xùn)練得到的模型預(yù)測結(jié)果差異很大欠擬合f(x)h(x)高偏差f(x):

12、 真實(shí)函數(shù)，h(x): 擬合函數(shù)欠擬合f(x)h(x)f(x): 真實(shí)函數(shù)，h(x): 擬合函數(shù)欠擬合f(x)h(x)h2(x)低方差f(x): 真實(shí)函數(shù)，h(x): 擬合函數(shù)過擬合f(x)h(x)f(x): 真實(shí)函數(shù)，h(x): 擬合函數(shù)過擬合, 低偏差f(x)h(x)低偏差f(x): 真實(shí)函數(shù)，h(x): 擬合函數(shù)過擬合, 高方差f(x)h(x)高方差h2(x)f(x): 真實(shí)函數(shù)，h(x): 擬合函數(shù)偏差方差權(quán)衡模型復(fù)雜度誤差模型越復(fù)雜，偏差越小，方差越大；模型越簡單，偏差越大，方差越??；主要內(nèi)容線性回歸線性最小二乘問題的矩陣解法最小二乘的概率解釋局部加權(quán)線性回歸過擬合正則化Logist

13、ic回歸過擬合房價預(yù)測例子中，若使用很多的特征.x1 = 面積x2 = 樓層x3 = 房齡x4 = 臥室數(shù)量x5 = .x100如何解決過擬合？方案1：減少特征數(shù)量手工選擇要保留的特征；使用算法來選擇；方案2：正則化 (Regularization)保留所有特征，但是對特征進(jìn)行懲罰(通過減少j的值)直觀理解h = 0 + 1x + 2x2h = 0 + 1x + 2x2 + 3x3 + 4x4(過擬合)讓3和4變小以懲罰x3和x4正則化的基本思路h = 0 + 1x + 2x2h = 0 + 1x + 2x2 + 3x3 + 4x4(過擬合)前面我們通過最小化損失函數(shù)J()來訓(xùn)練模型+ 100

14、032 + 1000423和4應(yīng)很小最小化J()30，40正則化小的1, 2, ., n值 更簡單的模型不容易過擬合按約定，不對0進(jìn)行懲罰正則化 - 參數(shù)如果給設(shè)置一個很大的值會如何？1 02 0.n 0h(x) 0h(x)欠擬合正則化后的線性回歸梯度下降j?未正則化時，和較小時，1- = 0.5 時，將郵件判定為正常郵件當(dāng) g(z) = 0.5h(x) 0.5推廣到多類問題為每個類單獨(dú)訓(xùn)練Logistic回歸模型給定待分類實(shí)例，計算每個回歸模型的輸出，并取最大的例如，假設(shè)共有三個類A、B、C對這三個類分別訓(xùn)練并得到三個Logistic回歸模型給定待分類實(shí)例，計算每個回歸模型的輸入假設(shè)輸出分別

15、是：hA = 0.2, hB = 0.75, hC = 0.9則可將待分類實(shí)例歸為C類這種方法有時也稱為多響應(yīng)線性回歸(multiresponse linear regression)主要內(nèi)容Logistic回歸Logistic回歸和搜索廣告Logistic回歸和搜索廣告第一階段以早期Overture和百度的廣告系統(tǒng)為代表；按廣告主出價高低來排名(誰給錢多先顯示誰的廣告)；雅虎：出得起錢的公司都是好公司，不會傷害用戶體驗(yàn)；事實(shí)上，出得起錢的公司都是賣假藥的公司Logistic回歸和搜索廣告第二階段Google廣告系統(tǒng)通過預(yù)測哪個廣告可能被點(diǎn)擊，結(jié)合出價和點(diǎn)擊率預(yù)估來決定廣告的顯示；雅虎和百度后來也學(xué)著Google的做法，即所謂的“Panama系統(tǒng)”和“鳳巢系統(tǒng)”Logistic回歸和搜索廣告影響廣告點(diǎn)擊率的因素有很多，例如廣告擺放位置、廣告和搜索詞的相關(guān)性、廣告展現(xiàn)時間等用x1, x2, . xn來表示影響廣告點(diǎn)擊的n個因素，并用線性的方法將它們組合起來預(yù)測點(diǎn)擊