FAFU機(jī)器學(xué)習(xí) 03-2inearegression中文

機(jī)器學(xué)習(xí)基礎(chǔ)回歸2020/12/3機(jī)器學(xué)習(xí)基礎(chǔ)回歸簡單線性回歸（）評(píng)估模型多元線性回歸（）多項(xiàng)式回歸（）正則化（）應(yīng)用線性回歸用梯度下降擬合模型（）2020/12/3線性回歸第3-2課簡單線性回歸簡單的線性回歸可以用來建模一個(gè)響應(yīng)變量和一個(gè)解釋變量之間的線性關(guān)系。假設(shè)你想知道比薩餅的價(jià)格2020/12/3線性回歸第3-3課觀察數(shù)據(jù)2020/12/3線性回歸第3-4課將matplotlib.pyplot導(dǎo)入為PLTX=[[6]，[8]，[10]，[14]，[18]]y=[[7]，[9]，[13]，[17.5]，[18]]PLT.FIGUE（）plt.title（“比薩餅價(jià)格與直徑之間的關(guān)系”）PLT.XLABEL（“直徑（英寸）”）PLT.YLabel（“以美元計(jì)價(jià)的價(jià)格”）plt.plot（X，y，'k.')PLT.Axis([0，25，0，25])PLT.GRID（真）plt.show（）sklearn.linear_model.linearregression2020/12/3線性回歸第3-5課#導(dǎo)入sklearn從sklearn.linear_model導(dǎo)入LinearRegression#訓(xùn)練數(shù)據(jù)X=[[6]，[8]，[10]，[14]，[18]]y=[[7]，[9]，[13]，[17.5]，[18]]#創(chuàng)建并擬合模型模型=線性回歸（）model.fit（X，y）打印('一個(gè)12英寸的比薩餅應(yīng)該花費(fèi):$%.2f'%Model.Predict([12])[0])#12英寸的比薩餅應(yīng)該要13.68美元sklearn.linear_model.linearregressionLinear_Model.LinearRegression類是一個(gè)估計(jì)器。估計(jì)器基于觀察到的數(shù)據(jù)預(yù)測(cè)值。在scikit-learn中，所有估計(jì)器都實(shí)現(xiàn)fit（）和predict（）方法。前一種方法用于學(xué)習(xí)一個(gè)模型的參數(shù)，后一種方法用于利用學(xué)習(xí)的參數(shù)對(duì)一個(gè)解釋變量預(yù)測(cè)一個(gè)響應(yīng)變量的值。使用scikit-learn可以很容易地對(duì)不同的模型進(jìn)行實(shí)驗(yàn)，因?yàn)樗械墓烙?jì)器都實(shí)現(xiàn)了擬合和預(yù)測(cè)方法2020/12/3線性回歸第3-6課結(jié)果2020/12/3線性回歸第3-7課打印((ercept_，model.coef_))Z=模型。預(yù)測(cè)(X)PLT散點(diǎn)（X，y）plt.plot（X，Z，color='red')plt.title（“比薩餅價(jià)格與直徑之間的關(guān)系”）PLT.XLABEL（“直徑（英寸）”）PLT.YLabel（“以美元計(jì)價(jià)的價(jià)格”）plt.show（）#(array([1.96551743])，array([[0.9762931]]))評(píng)估模型的適應(yīng)度由幾組參數(shù)值產(chǎn)生的回歸線繪制在下圖中。我們?nèi)绾卧u(píng)估哪些參數(shù)產(chǎn)生了最佳擬合的回歸線？2020/12/3線性回歸第3-8課成本函數(shù)成本函數(shù)，也稱為損失函數(shù)，用于定義和度量模型的誤差。模型預(yù)測(cè)的價(jià)格與訓(xùn)練集中的比薩觀察價(jià)格之間的差異稱為殘差或訓(xùn)練誤差。稍后，我們將在一組單獨(dú)的測(cè)試數(shù)據(jù)上評(píng)估一個(gè)模型；測(cè)試數(shù)據(jù)中預(yù)測(cè)值和觀察值之間的差異稱為預(yù)測(cè)誤差或測(cè)試誤差。我們模型的殘差由訓(xùn)練實(shí)例點(diǎn)和回歸超平面點(diǎn)之間的垂直線表示，如下圖所示：2023/11/4LinearRegressionLesson3-9通過最小化殘差和，我們可以得到最佳的比薩餅價(jià)格預(yù)測(cè)值。也就是說，如果我們的模型預(yù)測(cè)的響應(yīng)變量的值接近于所有訓(xùn)練示例的觀察值，那么我們的模型就適合了。這個(gè)模型適應(yīng)度的度量稱為殘差平方和代價(jià)函數(shù)。2023/11/4LinearRegressionLesson3-10importnumpyasnprss=np.sum((model.predict(X)-y)**2)print('Residualsumofsquares:%.2f'%(rss,))#Residualsumofsquares:8.75求解簡單線性回歸的最小二乘法對(duì)于一元線性回歸模型,

假設(shè)從總體中獲取了n組觀察值（X1，Y1），（X2，Y2），

…，（Xn，Yn）。對(duì)于平面中的這n個(gè)點(diǎn)，可以使用無數(shù)條曲線來擬合。要求樣本回歸函數(shù)盡可能好地?cái)M合這組值,最常用的是普通最小二乘法（

Ordinary

LeastSquare，OLS）：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。2023/11/4LinearRegressionLesson3-11varianceofx>>>importnumpyasnp>>>printnp.var([6,8,10,14,18],ddof=1)covarianceofxandy>>>importnumpyasnp>>>printnp.cov([6,8,10,14,18],[7,9,13,17.5,18])[0][1]2023/11/4LinearRegressionLesson3-12既然我們已經(jīng)計(jì)算了解釋變量的方差以及響應(yīng)和解釋變量的協(xié)方差，我們可以使用以下公式進(jìn)行求解：在求解β后，我們可以使用以下公式求解α：2023/11/4LinearRegressionLesson3-13評(píng)估模型我們使用了一種學(xué)習(xí)算法來從訓(xùn)練數(shù)據(jù)中估計(jì)模型的參數(shù)。我們?nèi)绾卧u(píng)估我們的模型是否是真實(shí)關(guān)系的良好代表？2023/11/4LinearRegressionLesson3-14R-squared有幾種方法可以用來評(píng)估我們模型的預(yù)測(cè)能力。我們將使用r平方來評(píng)估我們的比薩餅價(jià)格預(yù)測(cè)值。R平方度量模型對(duì)響應(yīng)變量的觀測(cè)值的預(yù)測(cè)效果。更具體地說，r平方是模型解釋的響應(yīng)變量中方差的比例。r平方分為1，表明利用該模型可以對(duì)響應(yīng)變量進(jìn)行無誤差預(yù)測(cè)。一半的r平方分?jǐn)?shù)表示可以使用該模型預(yù)測(cè)響應(yīng)變量中一半的方差。計(jì)算r-d有幾種方法。在簡單線性回歸的情況下，r平方等于Pearson積矩相關(guān)系數(shù)的平方，或Pearson的r。2023/11/4LinearRegressionLesson3-15

2023/11/4LinearRegressionLesson3-16多元線性回歸Formally,multiplelinearregressionisthefollowingmodel:Let'supdateourpizzatrainingdatatoincludethenumberoftoppingswiththefollowingvalues:2023/11/4LinearRegressionLesson3-17MultiplelinearregressionFormally,multiplelinearregressionisthefollowingmodel:2023/11/4LinearRegressionLesson3-18MultiplelinearregressionFormally,multiplelinearregressionisthefollowingmodel:Let'supdateourpizzatrainingdatatoincludethenumberoftoppingswiththefollowingvalues:Wemustalsoupdateourtestdatatoincludethesecondexplanatoryvariable,asfollows:2023/11/4LinearRegressionLesson3-19我們將X乘以它的轉(zhuǎn)置，得到一個(gè)可以反轉(zhuǎn)的方陣。用上標(biāo)T表示，矩陣的轉(zhuǎn)置是通過將矩陣的行變成列而形成的，反之亦然，如下所示：2023/11/4LinearRegressionLesson3-20>>>fromnumpy.linalgimportinv>>>fromnumpyimportdot,transpose>>>X=[[1,6,2],[1,8,1],[1,10,0],[1,14,2],[1,18,0]]>>>y=[[7],[9],[13],[17.5],[18]]>>>printdot(inv(dot(transpose(X),X)),dot(transpose(X),y))[[1.1875][1.01041667][0.39583333]]2023/11/4LinearRegressionLesson3-21NumPy還提供了一個(gè)最小二乘函數(shù)，可以更緊湊地求解參數(shù)值：>>>fromnumpy.linalgimportlstsq>>>X=[[1,6,2],[1,8,1],[1,10,0],[1,14,2],[1,18,0]]>>>y=[[7],[9],[13],[17.5],[18]]>>>printlstsq(X,y)[0][[1.1875][1.01041667][0.39583333]]2023/11/4LinearRegressionLesson3-22sklearn.linear_model.LinearRegression2023/11/4LinearRegressionLesson3-23Polynomialregression在前面的例子中，我們假設(shè)解釋變量和響應(yīng)變量之間的實(shí)際關(guān)系是線性的。這種假設(shè)并不總是正確的。在本節(jié)中，我們將使用多項(xiàng)式回歸，這是多元線性回歸的一個(gè)特例，它將階數(shù)大于1的項(xiàng)添加到模型中。當(dāng)您通過添加多項(xiàng)式項(xiàng)來轉(zhuǎn)換訓(xùn)練數(shù)據(jù)時(shí)，將捕獲真實(shí)的曲線關(guān)系，然后以與多元線性回歸相同的方式擬合這些項(xiàng)。為了便于可視化，我們將再次使用一個(gè)解釋變量，即比薩的直徑。讓我們使用以下數(shù)據(jù)集比較線性回歸和多項(xiàng)式回歸：2023/11/4LinearRegressionLesson3-24二次回歸，或二次多項(xiàng)式回歸，由以下公式給出：我們只使用了一個(gè)解釋變量，但是模型現(xiàn)在有三個(gè)術(shù)語而不是兩個(gè)術(shù)語。解釋變量已被轉(zhuǎn)換并作為第三項(xiàng)添加到模型中，以捕捉曲線關(guān)系。此外，請(qǐng)注意多項(xiàng)式回歸方程與向量表示法中的多元線性回歸方程相同。多項(xiàng)式特征變換器可以很容易地將多項(xiàng)式特征添加到特征表示中。讓我們根據(jù)這些特性擬合一個(gè)模型，并將其與簡單線性回歸模型進(jìn)行比較。2023/11/4LinearRegressionLesson3-252023/11/4LinearRegressionLesson3-262023/11/4LinearRegressionLesson3-27現(xiàn)在，讓我們嘗試一個(gè)更高階的多項(xiàng)式。下圖中的曲線圖顯示了由九次多項(xiàng)式創(chuàng)建的回歸曲線：2023/11/4LinearRegressionLesson3-28九次多項(xiàng)式回歸模型與訓(xùn)練數(shù)據(jù)擬合得很好！然而，模型的r平方得分是-0.09。我們創(chuàng)建了一個(gè)非常復(fù)雜的模型，它精確地?cái)M合了訓(xùn)練數(shù)據(jù)，但無法近似真實(shí)的關(guān)系。這個(gè)問題叫做過擬合。該模型應(yīng)該歸納出一個(gè)將輸入映射到輸出的一般規(guī)則；相反，它已經(jīng)記住了來自訓(xùn)練數(shù)據(jù)的輸入和輸出。因此，該模型在測(cè)試數(shù)據(jù)上表現(xiàn)不佳。據(jù)預(yù)測(cè)，一個(gè)16英寸的披薩應(yīng)該不到10美元，一個(gè)18英寸的披薩應(yīng)該超過30美元。該模型完全符合訓(xùn)練數(shù)據(jù)，但未能了解尺寸與價(jià)格之間的真實(shí)關(guān)系。2023/11/4LinearRegressionLesson3-29Regularization正則化是可以用來防止過度擬合的技術(shù)集合。正則化將信息添加到問題中，通常以對(duì)復(fù)雜性的懲罰的形式添加到問題中。奧卡姆的剃刀（奧卡姆剃刀律）指出，假設(shè)最少的假設(shè)是最好的。因此，正則化試圖找到解釋數(shù)據(jù)的最簡單模型。2023/11/4LinearRegressionLesson3-30

2023/11/4LinearRegressionLesson3-31嶺回歸通過添加系數(shù)的l2范數(shù)來修正平方代價(jià)函數(shù)的殘差和，如下圖所示，*是控制處罰強(qiáng)度的超參數(shù)，超參數(shù)是模型中不能自動(dòng)學(xué)習(xí)的參數(shù)，必須手動(dòng)設(shè)置。

2023/11/4LinearRegressionLesson3-32LASSO產(chǎn)生稀疏參數(shù)，大多數(shù)系數(shù)將為0，模型將依賴于特征的一小部分。

2023/11/4LinearRegressionLesson3-33應(yīng)用線性回歸假設(shè)你在一個(gè)聚會(huì)上，你想喝最好的酒。你可以向你的朋友征求建議，但你懷疑他們會(huì)喝任何葡萄酒，不管它來自何處。幸運(yùn)的是，你帶來了pH試紙和其他工具來測(cè)量葡萄酒的各種理化性質(zhì)這畢竟是一場聚會(huì)。我們將使用機(jī)器學(xué)習(xí)來根據(jù)葡萄酒的物理化學(xué)屬性來預(yù)測(cè)葡萄酒的質(zhì)量。2023/11/4LinearRegressionLesson3-34UCI機(jī)器學(xué)習(xí)庫的葡萄酒數(shù)據(jù)集測(cè)量了1599種不同紅酒的11種物理化學(xué)屬性，包括pH值和酒精含量。每一種葡萄酒的質(zhì)量都是由人類評(píng)委打分的。分?jǐn)?shù)從0分到10分；0分是最差的質(zhì)量，10分是最好的質(zhì)量。數(shù)據(jù)集可從/ml/datasets/Wine。我們將把這個(gè)問題作為一個(gè)回歸任務(wù)來處理，并將葡萄酒的質(zhì)量回歸到一個(gè)或多個(gè)物理化學(xué)屬性上。此問題中的響應(yīng)變量只接受0到10之間的整數(shù)值；我們可以將這些值視為離散值，并將問題作為一個(gè)多類分類任務(wù)來處理。然而，在本章中，我們將把響應(yīng)變量視為一個(gè)連續(xù)值。2023/11/4LinearRegressionLesson3-35Exploringthedatafixedacidity非揮發(fā)性酸，volatileacidity揮發(fā)性酸，citricacid檸檬酸，residualsugar剩余糖分，chlorides氯化物，freesulfurdioxide游離二氧化硫，totalsulfurdioxide總二氧化硫，density密度，pH酸堿性，sulphates硫酸鹽，alcohol酒精，quality質(zhì)量2023/11/4LinearRegressionLesson3-36首先，我們將加載數(shù)據(jù)集并查看變量的一些基本摘要統(tǒng)計(jì)信息。數(shù)據(jù)以.csv文件的形式提供。請(qǐng)注意，字段之間用分號(hào)分隔，而不是逗號(hào)）：2023/11/4LinearRegressionLesson3-37可視化數(shù)據(jù)有助于指示響應(yīng)變量和解釋變量之間是否存在關(guān)系。讓我們使用matplotlib創(chuàng)建一些散點(diǎn)圖?？紤]以下代碼片段：2023/11/4LinearRegressionLesson3-382023/11/4LinearRegressionLesson3-39這些圖表明，響應(yīng)變量依賴于多個(gè)解釋變量；讓我們用多元線性回歸來建模關(guān)系。我們?nèi)绾螞Q定在模型中包括哪些解釋變量？數(shù)據(jù)幀.corr（）計(jì)算成對(duì)相關(guān)矩陣。相關(guān)矩陣證實(shí)了酒精和品質(zhì)之間的正相關(guān)最強(qiáng)，而品質(zhì)與揮發(fā)性酸度呈負(fù)相關(guān)，而揮發(fā)性酸度是導(dǎo)致葡萄酒嘗起來像醋一樣的屬性?？偠灾?，我們假設(shè)好的葡萄酒酒精含量高，嘗起來不像醋。這一假設(shè)似乎是合理的，盡管它表明葡萄酒愛好者可能沒有他們聲稱的復(fù)雜的味覺2023/11/4LinearRegressionLesson3-40模型擬合與評(píng)價(jià)2023/11/4LinearRegressionLesson3-41r平方得分為0.35，表明該模型解釋了測(cè)試集中35%的方差。如果不同的75%的數(shù)據(jù)被分區(qū)到訓(xùn)練集，性能可能會(huì)發(fā)生變化。我們可以使用交叉驗(yàn)證來更好地估計(jì)估計(jì)器的性能?；叵胍幌碌谝徽?，每個(gè)交叉驗(yàn)證循環(huán)訓(xùn)練并測(cè)試數(shù)據(jù)的不同分區(qū)，以減少可變性：2023/11/4LinearRegressionLesson3-42Thefollowingfigureshowstheoutputoftheprecedingcode:2023/11/4LinearRegressionLesson3-43Fittingmodelswithgradientdescent在本章的示例中，我們通過以下等式解析求解使成本函數(shù)最小化的模型參數(shù)值：回想一下，X是每個(gè)訓(xùn)練示例的解釋變量值的矩陣。XTX的點(diǎn)積得到一個(gè)維數(shù)為n×n的方陣，其中n等于解釋變量的個(gè)數(shù)。反演這個(gè)方陣的計(jì)算復(fù)雜度在解釋變量的數(shù)目上幾乎是立方的。此外，如果XTX的行列式等于零，則不能求逆。2023/11/4LinearRegressionLesson3-44Gradientdescent在本節(jié)中，我們將討論另一種有效估計(jì)模型參數(shù)最優(yōu)值的方法，稱為梯度下降法。請(qǐng)注意，我們對(duì)良好擬合的定義沒有改變；我們?nèi)詫⑹褂锰荻认陆祦砉烙?jì)模型參數(shù)的值，這些參數(shù)使成本函數(shù)的值最小化。梯度下降有時(shí)被描述為一個(gè)蒙著眼睛的人試圖從山腰的某個(gè)地方找到通往山谷最低點(diǎn)的路。2023/11/4LinearRegressionLesson3-45形式上，梯度下降是一種優(yōu)化算法，可以用來估計(jì)函數(shù)的局部最小值?；叵胍幌拢覀兪褂玫氖菤埐钇椒胶统杀竞瘮?shù)，它由以下等式給出：我們可以使用梯度下降法來尋找使成本函數(shù)值最小化的模型參數(shù)值。梯度下降通過計(jì)算每一步代價(jià)函數(shù)的偏導(dǎo)數(shù)迭代更新模型參數(shù)的值。2023/11/4LinearRegressionLesson3-46需要注意的是，梯度下降估計(jì)函數(shù)的局部最小值。對(duì)于所有可能的參數(shù)值，凸成本函數(shù)值的三維繪圖看起來就像一個(gè)碗。碗的底部是唯一的局部最小值。非凸代價(jià)函數(shù)可以有許多局部極小值，也就是說，它們的代價(jià)函數(shù)值的圖可以有許多峰和谷。梯度下降只能保證找到局部最小值；它會(huì)找到一個(gè)山谷，但不一定會(huì)找到最低的山谷。幸運(yùn)的是，代價(jià)函數(shù)的平方和是凸的。2023/11/4LinearRegressionLesson3-47Typesof

Gradientdescent梯度下降可以根據(jù)用于計(jì)算誤差的訓(xùn)練模式的數(shù)量而變化；這反過來又用于更新模型。用于計(jì)算誤差的模式數(shù)包括用于更新模型的梯度的穩(wěn)定性。我們將看到，在梯度下降配置中，計(jì)算效率和誤差梯度的保真度存在緊張關(guān)系。梯度下降的三種主要方式是批處理、隨機(jī)和小批量。2023/11/4LinearRegressionLesson3-48StochasticGradientDescent隨機(jī)梯度下降，通常縮寫為SGD，是梯度下降算法的一種變體，它計(jì)算誤差并更新訓(xùn)練數(shù)據(jù)集中每個(gè)例子的模型。每個(gè)訓(xùn)練樣本的模型更新意味著隨機(jī)梯度下降通常被稱為在線機(jī)器學(xué)習(xí)算法。2023/11/4LinearRegressionLesson3-49StochasticGradientDescent正面頻繁的更新會(huì)立即深入了解模型的性能和改進(jìn)速度。這種梯度下降的變體可能是最容易理解和實(shí)現(xiàn)的，特別是對(duì)于初學(xué)者。增加模型更新頻率可以加快對(duì)某些問題的學(xué)習(xí)。噪聲更新過程可以使模型避免局部極?。ㄈ邕^早收斂）2023/11/4LinearRegressionLesson3-50StochasticGradientDescentUpsides缺點(diǎn)如此頻繁地更新模型比其他梯度下降配置的計(jì)算成本更高，在大數(shù)據(jù)集上訓(xùn)練模型所需的時(shí)間明顯更長。頻繁的更新會(huì)產(chǎn)生一個(gè)噪聲梯度信號(hào)，這可能導(dǎo)致模型參數(shù)和模型誤差跳變（在訓(xùn)練階段具有更高的方差）。誤差梯度下的噪聲學(xué)習(xí)過程也會(huì)使算法難以確定模型的誤差最小值。2023/11/4LinearRegressionLesson3-51BatchGradientDescent批量梯度下降算法是梯度下降算法的一種變體，該算法計(jì)算訓(xùn)練數(shù)據(jù)集中每個(gè)示例的誤差，但只在評(píng)估完所有訓(xùn)練示例后更新模型。通過整個(gè)訓(xùn)練數(shù)據(jù)集的一個(gè)周期稱為訓(xùn)練紀(jì)元。因此，通常說成批梯度下降在每個(gè)訓(xùn)練周期結(jié)束時(shí)進(jìn)行模型更新。2023/11/4LinearRegressionLesson3-52BatchGradientDescent正面對(duì)模型的更新較少意味著這種梯度下降比隨機(jī)梯度下降在計(jì)算上更有效。降低更新頻率可以使誤差梯度更穩(wěn)定，并且在某些問題上可能導(dǎo)致更穩(wěn)定的收斂。預(yù)測(cè)誤差計(jì)算和模型更新的分離使得該算法適用于基于并行處理的實(shí)現(xiàn)。2023/11/4LinearRegressionLesson3-53BatchGradientDescentUpsides缺點(diǎn)更穩(wěn)定的誤差梯度可能導(dǎo)致模型過早收斂到一組不太理想的參數(shù)。在訓(xùn)練周期結(jié)束時(shí)的更新需要在所有訓(xùn)練實(shí)例中累積預(yù)測(cè)誤差的額外復(fù)雜性。通常，批量梯度下降的實(shí)現(xiàn)方式是，它需要內(nèi)存中的整個(gè)訓(xùn)練數(shù)據(jù)集，并可用于算法。對(duì)于大型數(shù)據(jù)集，模型更新和訓(xùn)練速度可能會(huì)變得非常慢2023/11/4LinearRegressionLesson3-54Mini-BatchGradientDescent小批量梯度下降算法是梯度下降算法的一個(gè)變種，它將訓(xùn)練數(shù)據(jù)集分成小批量，用于計(jì)算模型誤差和更新模型系數(shù)。實(shí)現(xiàn)可以選擇在小批量上求和梯度，從而進(jìn)一步減小梯度的方差。小批量梯度下降尋求在隨機(jī)梯度下降的魯棒性和批量梯度下降的效率之間找到一個(gè)平衡點(diǎn)。它是在