監(jiān)督式學(xué)習(xí) 省賽獲獎(jiǎng)

監(jiān)督式學(xué)主講：陳治宇習(xí)監(jiān)督式學(xué)習(xí)之回歸模型回歸通俗一點(diǎn)就是，對(duì)已經(jīng)存在的點(diǎn)（訓(xùn)練數(shù)據(jù)）進(jìn)行分析，擬合出適當(dāng)?shù)暮瘮?shù)模型y=f(x)，這里y就是數(shù)據(jù)的標(biāo)簽，而對(duì)于一個(gè)新的自變量x，通過(guò)這個(gè)函數(shù)模型得到標(biāo)簽y。五種常見的回歸模型的概念及其優(yōu)缺點(diǎn)，包括線性回歸(LinearRegression),多項(xiàng)式回歸(PloynomialRegression),嶺回歸(RidgeRegression)，Lasso回歸和彈性回歸網(wǎng)絡(luò)(ElasticNetRegression).本章節(jié)首先介紹線性回歸(LinearRegression),多項(xiàng)式回歸(PloynomialRegression)監(jiān)督式學(xué)習(xí)之回歸模型線性回歸的幾個(gè)特點(diǎn)：

1.建模速度快，不需要很復(fù)雜的計(jì)算，在數(shù)據(jù)量大的情況下依然運(yùn)行速度很快。

2.可以根據(jù)系數(shù)給出每個(gè)變量的理解和解釋

3.對(duì)異常值很敏感多項(xiàng)式回歸的特點(diǎn)：

1.能夠擬合非線性可分的數(shù)據(jù)，更加靈活的處理復(fù)雜的關(guān)系

2.因?yàn)樾枰O(shè)置變量的指數(shù)，所以它是完全控制要素變量的建模

3.需要一些數(shù)據(jù)的先驗(yàn)知識(shí)才能選擇最佳指數(shù)

4.如果指數(shù)選擇不當(dāng)容易出現(xiàn)過(guò)擬合回歸模型之線性回歸回歸是在建模過(guò)程中用于分析變量之間的關(guān)系、以及變量是如何影響結(jié)果的一種技術(shù)。線性回歸是指全部由線性變量組成的回歸模型。例如，最簡(jiǎn)單的單變量線性回歸(SingleVariableLinearRegression)是用來(lái)描述單個(gè)變量和對(duì)應(yīng)輸出結(jié)果的關(guān)系,可以簡(jiǎn)單的表示成下面的式子：

因?yàn)樵趯?shí)際的建模過(guò)程中遇到的問(wèn)題往往更加復(fù)雜，用單個(gè)變量不能滿足描述輸出便變量的關(guān)系，所以需要用到更多的變量來(lái)表示與輸出之間的關(guān)系，也就是多變量線性回歸(MultiVariableLinearRegression)。多變量線性回歸模型如下：

其中a為系數(shù)，x是變量，b為偏置。因?yàn)檫@個(gè)函數(shù)只有線性關(guān)系，所以只適用于建模線性可分?jǐn)?shù)據(jù)。我們只是使用系數(shù)權(quán)重來(lái)加權(quán)每個(gè)特征變量的重要性。我們使用隨機(jī)梯度下降(SGD)來(lái)確定這些權(quán)重a和偏置b，過(guò)程如圖所示?；貧w模型之線性回歸回歸模型之多項(xiàng)式回歸線性回歸適合于線性可分的數(shù)據(jù)，當(dāng)我們處理非線性可分的數(shù)據(jù)時(shí)可以使用多項(xiàng)式回歸。在這種回歸中，我們是要找到一條曲線來(lái)擬合數(shù)據(jù)點(diǎn)。選擇每個(gè)變量的確切的質(zhì)數(shù)需要當(dāng)前數(shù)據(jù)集合與最終輸出的一些先驗(yàn)知識(shí)。下面兩個(gè)圖描述了線性回歸與多項(xiàng)式回歸的比較?？梢郧宄吹?，多項(xiàng)式回歸能夠擬合非線性可分的數(shù)據(jù)，更加靈活的處理復(fù)雜的關(guān)系?；貧w模型之多項(xiàng)式回歸多項(xiàng)式回歸在回歸分析中很重要，因?yàn)槿我庖粋€(gè)函數(shù)至少在一個(gè)較小的范圍內(nèi)都可以用多項(xiàng)式任意逼近，因此在比較復(fù)雜的實(shí)際問(wèn)題中，有時(shí)不問(wèn)y與諸元素的確切關(guān)系如何，而用回歸分析進(jìn)行分析運(yùn)算。比如，