從理論到應(yīng)用淺談lasso模型

從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型-11-/13-11-/13從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型-11-/13-11-/13本科生學(xué)年論文題目：從理論到應(yīng)用一一淺談lasso模型指導(dǎo)教師： 學(xué)院： 姓名： 學(xué)號： 班級： 從理論到應(yīng)用淺談lasso模型【摘要】回歸模型是我們在處理數(shù)據(jù)中常用的方法。其中，Lasso模型是一種適用于多重共線性問題，能夠在參數(shù)估訃的同時實現(xiàn)變屋的選擇的回歸方法。本文從lasso模型的概念談超，對其起源、思想、及嶺回歸的比較、通過lar的算法實現(xiàn)等方面進(jìn)行了探究。另外還使用R語言對簡單案例進(jìn)行l(wèi)asso模型的應(yīng)用。最后簡述了lasso模型的研究現(xiàn)狀。[abstract]Regressionmodelisourcommonlyusedmethodinprocessingdata?Lassomodelisakindofregressionmethodformultiplelinearproblems,whichcanbeusedtoachieveparameterestimationandvariableselectionatthesametime.Thispaperstartsfromtheconceptofthelassomodel,includingitsorigin,ideas,andthecomparisonofridgeregression,throughlaralgorithmimplementation,etc.Inaddition,usingRlanguagetosolveasimplecasethroughlasso.Atlast,theresearchstatusoflassomodelisintroduced.【關(guān)鍵詞】Lasso嶺?回歸最小角回歸R語言[keywords]LassoridgeregressionlarRlanguage目錄TOC\o"1-5"\h\z一、 定義及基本信息 - 2 -二、 起源及原理 - 2 -\o"CurrentDocument"三、 模型的思想 -2 -\o"CurrentDocument"四、 Lasso及嶺回歸 -3 -1、 嶺回歸的概念 -3 -2、 Lasso及嶺回歸的比較 -3 -\o"CurrentDocument"五、 Lasso的算法步驟 -4 -1、 lasso算法實現(xiàn)的背景 -4 -2、 最小角回歸 ~ 5 -3、 用lar實現(xiàn)lasso - 5 -六、 案例分析 _ 6 -1、 問題描述 -6 -2、 簡單線性回歸求解 -7 -3、 利用lasso求解 -9 -\o"CurrentDocument"七、 應(yīng)用及研究現(xiàn)狀 -10-八、 參考資料 -11-定義及基本信息Lasso模型是由RobertTibshirani在1996年JRSSB上的一篇文章Regressionshrinkageandselectionviathelasso所提岀的一種能夠?qū)崿F(xiàn)指標(biāo)集合精簡的估計方法。在參數(shù)估計的同時實現(xiàn)變量的選擇(可以解決回歸分析中的多重共線性問題)。全稱：LeastAbsoluteShrinkageandSelectionOperator讀音：険'su:］而不是［'Iseso］RobertTibshirani簡介：生于1956年7月10B,擔(dān)任斯坦福大學(xué)theDepartmentsofStatisticsandHealthResearchandPolicy的教授。1985-1998年擔(dān)任多倫多大學(xué)的教授。他主要研究方向是致力于開發(fā)處理復(fù)雜數(shù)據(jù)的分析統(tǒng)訃工具。Lasso模式是他最著名的貢獻(xiàn)。同時在著名的"GeneralizedAdditiveModels","AnIntroductiontotheBootstrap",and"TheElementsofStatisticalLearning''三本書中都有他的編著。⑴二、 起源及原理在常規(guī)的回歸分析中，假設(shè)我們有一組(人,y.),i=1,2,...,N,其中xi=(xi1,...,xip)T,yi是第i維觀測值的回歸量的數(shù)據(jù)。普通最小二乘(OLS)通過最小化殘差平方和來進(jìn)行估計。它對數(shù)據(jù)的分析不那么令人滿意通常有兩個原因。一是預(yù)測精度:OLS往往偏差較低但方差大;預(yù)測精度有時可以用縮小或設(shè)垃一些系數(shù)為0的方法來提高。通過這樣做，我們犧牲一點偏差減少預(yù)測的方差值，因此可以提髙整體預(yù)測準(zhǔn)確性。第二個原因是可解釋性的問題。在大量的預(yù)測值中，我們通常想確左一個展現(xiàn)出最強(qiáng)影響的更小的子集。兩個公認(rèn)優(yōu)秀的改善OLS估計的方法是子集選擇(subsetselection)和嶺回歸(ridgeregression)它們都有缺點。子集選擇提供了可解釋的模型但是可變性非常強(qiáng)，因為它是一個離散的過程一一回歸量要么保留要么從模型中去掉。小的數(shù)據(jù)變化就會使得模型的選擇改變，這會降低預(yù)測準(zhǔn)確度。嶺回歸是連續(xù)縮小參數(shù)的過程，因此更穩(wěn)左：然而它不會使得任何參數(shù)為0,沒辦法得岀簡單的可解釋的模型。lasso模型就此提出，Theleastabsoluteshrinkageandselectionoperator,同時縮小(shrinkage)和設(shè)K成參數(shù)為0(selection)，保持了子集選擇和峻回歸的良好特征。⑵三、 模型的思想lasso是在回歸系數(shù)的絕對值之和小于一個常數(shù)的約束條件下，使殘差平方和最小化，從而能夠產(chǎn)生某些嚴(yán)格等于0的回歸系數(shù)，得到解釋力較強(qiáng)的模型。

給出一組測量數(shù)據(jù)xi,x2...xP以及測量結(jié)果y,lasso符合線性模型yhat=b0+bixxn-b2xx2+...bPxxp它所使用的標(biāo)準(zhǔn)是：當(dāng)L|bj|<=s時,使得E(y-yhat)2最小最初的和是根據(jù)觀察數(shù)據(jù)集得來的。邊界”s”是一個調(diào)諧參數(shù)。當(dāng)s很大時，約束起不到作用，解決方案只是常見的多元線性最小二乘回歸的關(guān)于y,xl,x2,xp的函數(shù)。然而當(dāng)s變小時，解決方案就是縮小的版本最小二乘(leastsquares)估計。通常一些系數(shù)bj為零。選擇s就像選擇一個回歸模型的預(yù)報器的數(shù)值，交叉驗證(cross-validation)是估計s最佳值的一個好辦法。⑶四、Lasso及嶺回歸1、嶺回歸的概念嶺回歸(ridgeregression)是一種專用于共線性數(shù)據(jù)分析的有偏估il?回歸方法，實質(zhì)上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數(shù)更為符合實際、更可靠的回歸方法，對病態(tài)數(shù)據(jù)的擬合要強(qiáng)于最小二乘法。它的數(shù)學(xué)表達(dá)式如下：即在回歸系數(shù)的平方和小于一個常數(shù)的約朿條件下，使殘差平方和最小化。(3.41)(3.42)(3.41)(3.42)subjectto力<t.7=12、Lasso及嶺回歸的比較F而是lasso寫成相同形式的表達(dá)式。

(3.52)7=1(3.51)(3.52)7=1(3.51)可以看出Lasso及嶺回歸的區(qū)別就是約朿條件不一樣，一個是回歸系數(shù)絕對值之和小于一個常數(shù)，一個是平方和小于一個常數(shù).Lasso的約束條件是線性的，而ridge是L2?norm。通過這幅圖可以很明顯的看出嶺回歸和lasso之間的差異。圖中是兩個變雖:回歸的情況，等高線圖表示的是殘差平方和的等高線。殘差在最小二乘估訃處最小。陰影部分分別是嶺回歸和lasso的限制區(qū)域。顯然圓形為嶺回歸，菱形為lasso的。這兩種帶有懲罰項的方法都是要找到第一個落到限制區(qū)域上的等高線的那個位置的坐標(biāo)（即嶺估汁和lasso估計）。因為菱形帶尖角，所以更有可能使得某個變量的系數(shù)為0（即所找到的第一個點是菱形四個頂點之一）。當(dāng)回歸變量增多時，lasso的尖角也會變得更多，從而增大更多系數(shù)變0的可能性。而光滑的髙維球而的顯然不可能有這樣的概率。這也就是說lasso可以用于變量選擇。這是lasso相較于ridge有優(yōu)勢的一點。五、Lasso的算法步驟Lasso的算法實現(xiàn)及l(fā)ar（leastangleregression）有密不可分的關(guān)系。Klasso算法實現(xiàn)的背景Tibshirani在《TheScienceofBradleyEfron》這本書的序言里寫道，"Hesatdownandprettymuchsingle-handedlysolvedtheproblem.Alongtheway,hedevelopedanewalgorithm,'leastangleregression1,whichisinterest!nginitsownright,andshedsgreatstatisticalinsightontheLasso."大意是說：Efron獨(dú)自擺平了具有Shrinkage的GradientBoosting應(yīng)用到線性回歸中時及Lasso得到的SolutionPath相似這個問題，及此同時發(fā)明T“Leastangleregression(LAR)”。Efron結(jié)論是Lasso和Boosting的確有很緊密的數(shù)學(xué)聯(lián)系，它們都可以通過修改LAR得到?，F(xiàn)在，Lasso已經(jīng)家喻戶曉了，但是Lasso出生后的頭兩年卻很少有人問津。后來Tibshirani自己回憶時說，可能是由下而幾個原因造成的：1.速度問題：當(dāng)時計算機(jī)求解Lasso的速度太慢：2.理解問題：大家對Lasso模型的性質(zhì)理解不夠(直到Efron的LAR出來后大家才搞明白)；3.需求問題：當(dāng)時還沒有遇到太多髙維數(shù)據(jù)分析的問題，對Sparsity的需求似乎不足。⑷2、 最小角回歸Efrons提出最小角回歸(LARS)方法，這種方法既可以進(jìn)行變量選擇，可以用來解決Lasso問題，并且可以提高計算效率。LARS算法的基本思想是:首先選擇一個及因變量相關(guān)性最大的協(xié)變量，然后沿這個方向走一左長度，知逍出現(xiàn)第二個協(xié)變量，這兩個協(xié)變量及殘差的相關(guān)性相同，就沿著及這兩個變量等角度的方向繼續(xù)走，以此類推，選擇岀需要的協(xié)變量。LARS算法既不像向前法那樣貪婪，選擇一個變量后，定盡量長的長度來訃算殘差，也不像分段法(Stagewise),每步只建很短的距離。LARS方法具有很髙的il?算效率。⑹3、 用lar實現(xiàn)lassoX的每一行代表一個樣本，即：X=(首‘2，...,兀丿首先對數(shù)據(jù)進(jìn)行預(yù)處理，使其去均值標(biāo)準(zhǔn)化。乞升=°，￡旳=°f用T'0丿=1,2,...,"能義0=(久02,…，瓦)為當(dāng)前擬合向雖5的系數(shù)，則有則兀跟殘差y—y的相關(guān)系數(shù)％從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型-11-/13-11-/13從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型-11-/13-11-/13從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型KK問題描述-6-/13G=/(y-y)剛開始時，相關(guān)系數(shù)都為0,然后找出跟殘差(此時即為y)相關(guān)系數(shù)最大的變量，假設(shè)是勺-將苴加入到活動集，這時我們在“5的方向上找到一個最長的步長，使得出現(xiàn)下一個變量(假設(shè)是勺2)跟殘差的相關(guān)系數(shù)跟?[到殘差的相關(guān)系數(shù)相等，，此時也把?2活動集里，LARS繼續(xù)在跟前而2個變量等角度的方向上，找到第3個變量使得該變量跟前而2個跟殘差的相關(guān)系數(shù)相等，隨后LARS繼續(xù)找尋下一個變量。⑺具體算法步驟如下：“一一當(dāng)前最小角度方向，即角平分線方向 $——當(dāng)前擬合的y值——?dú)埐罡円傻南嚓P(guān)系數(shù) *—一當(dāng)前的最長步長$=0.For?=2,找p個最優(yōu)回歸量)c=Xr(y-y)=(q,c2,c,?)7A={j:Q=max(c)=C]=[...x7...,jeA]“伙)=Xw(必心氣Ga=X.；X,,14=(1，…,1)巧"人=X“=(5，°2，???4剛)八 C-JC+c. [p'r=min*c 、 /?=min*c\——-71心-幻心jIvvJifr<r$伙)=彳伙一1)+7"伙)A=A-{j}elsey(k)=y伙-1)+加伙) A=A\J{j}案例分析現(xiàn)在在R語言中包含了運(yùn)用lasso的包。

我們考慮一個簡單問題：假設(shè)某種水泥在凝固時放出的熱量Y（卡/克）及水泥中的四種活血成分X1,X2,X3,X4有關(guān)，現(xiàn)測得13組數(shù)據(jù)，如下表所示，希望從中選岀主要的變量，建立丫及它們的線性回歸方程。⑻序號123456X1711111711X2262956315255X36158869X4605220473322Y78.574.3104.387.695.9109.2序號78910111213271315447406668X317221842398X46442226341212Y102.772.593.1115.983.8113.3109.42、簡單線性回歸求解用R對數(shù)拯做簡單多元線性回歸：(輸入代碼以文字顯示，控制臺的響應(yīng)以圖丿*!顯示)>cement<-data.frame(X1=c(7,1,11,11,7,11,3,1,2,21,1,11,10),X2=C(26,29,56,31,52,55,71,31,54,47,40,66,68),X3=C(6,15,8,8,6,9,17,22,18,4,23,9,8),X4=C(60,52,20,47,33,22,6,44,22,26,34,12,12),Y=C(78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1,115.9,83.8,113.3,109.4))>cementXIX2X3X4Y17266607:8?52129155274?331156820104?341131847刖?6575263395?961155922109?27371176102?7S1312244兀?59254182293.1102147q26115.911140233483.8121166912113?3131068812103?4>lm?solv?lm(Y~?,data=cement)>summary(lm.sol)Call:lm(formula=Y~?了data=ceznen.t)Residuals:Min IQMedian 3侖Max一3?1750-I.€709 0?2508 丄?3783 3?9254Coefficients:Es*tima七亡Std?ErrortvaluePr(>|t|)(IntEHOwpt)62?4054?0?07100?8910?3991XI〕.?55110?744S2?O030?070S?X20?51020.723S0.7050?5009X30?10150.75470?1350?S959X4一0?14410.7091-0.2030?S441Signif?codes: 0w0.001 0?01'0?05??'0?丄'71Residualstandarderror:2?446on.SdegreesoffreedomMultipleR-squared: 0?9824rAdjustedR-squared:0?9736F-statistic:111?5on4andST>Frp-value:4?756e-07可以看到雖然R2接近于1,擬合優(yōu)度較理想，但是自變量的P值均大于0.05,回歸系數(shù)沒有通過顯著性檢驗。利用簡單線性回歸得到回歸方程中的X及Y的關(guān)系不明顯。F檢驗的值也非常大，說明自變雖:的顯著性較低，需要進(jìn)行變量選擇。利用car包中的vif()函數(shù)查看各自變量間的共線情況>library(car)>vif(lm.sol)Xi X2 X3 X433.49621254?42317 46?26339282.5128€從結(jié)果看，各自變量的VIF值都超過10,存在多重共線性，其中，X2及X4的VIF值

均超過200。>plot(X2~X4,col=■丫ecf,data=cement)o9_sg-o_oc_10 20 30 40 50 60X4圖中可以明顯看出X2及X4存在線性關(guān)系。3、利用lasso求解此時我們嘗試用lars-lasso來求解這個方程。>library(lars)>x=as.matrix(cement[,1:4])>y=as.matrix(cement[,5])>(laa=lars(x,y,type=*1a廣))Call:lars(x=丫=t-ype=R-squaxed;Q.982SequenceofLARiriovea:X4XIX2X3Var4 12 3Step12 3 4可以看到lasso的變量選擇依次是X4,X1,X2,X3.>plot(laa)從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型-11-/13-11-/13從理論到應(yīng)用從理論到應(yīng)用一一淺談lasso模型-10--10-/13S-U①S-U①oe①00p①z_p」epueco|beta|/max|beta|可以看岀齊變量的系數(shù)的變化過程。>summary（laa）LARS/LARCa.ll;Lars(x=y=type=^lar^)Df Rss Cp12715?12715?76442.916712232219?351917.5547.974 5 47.36361.9455313.50203.018412232219?351917.5547.974 5 47.36361.9455313.50203.01845.0000英中Cp（衡量多重共線性，其值越小越好）可以看到在第3步以后cp值明顯變小。說明lasso模型在實際應(yīng)用中能夠解決多重共線性的問題，有良好的應(yīng)用。應(yīng)用及研究現(xiàn)狀分組潮覽：來源數(shù)擁岸WF發(fā)耒年度研究層滅佢者機(jī)構(gòu)基金 丄雪訂咼虛制陰塞態(tài)計宜機(jī)軟件及計宜機(jī)應(yīng)冃 心血管系統(tǒng)我病C3）甦學(xué)（474）電魏和367）自曲化技術(shù)（274生物學(xué)（仮 X宏磁齊苣理與可掙魅展心；臨床冬學(xué)㈤）主融呵外科學(xué)（匹處國語吉文字（絶段資30互翊技朮刀）松Lt.0）證芽：66） 2我們在知網(wǎng)中對lasso進(jìn)行中文數(shù)據(jù)庫的搜索，結(jié)果見下圖:可以看到該模型在訃算機(jī)、醫(yī)學(xué)、經(jīng)濟(jì)等各個領(lǐng)域均有應(yīng)用。見微知著的可以下結(jié)論英運(yùn)用十分廣泛。在應(yīng)用和拓展方面的研究也十分豐富。下表中列出了部分內(nèi)容。Table1.AsamplingofgenoralizationsofthelassoMethodReferenceDetailGrouixjdlassoElasticnetFusedlassoAdaptivelassoGraphicallassoDantzigselectoiN已a(bǔ)risotonicregularizationMatrixcompletionCompressivesensingMultivariatemethodsYuanandLin(2007a)ZouandHcistie(2005)libshiianietal.(2005)Zou(2006)YuanandLin(2007b);Friedmanetal.(2(X)7)CandesandTao(2007)Tibshiranietal.(2010)CandesandTao(2(X)9);Mazumdcretal.(2010)Donoho(20(4);Candes(2(X)6)Jollift'eetui(2003);Wittenetal.(2009)%ll如2入Q?|+牡巧入￡|坊+1-?AlElVyl/?；!min{XT(y-Xr/)|loc}H4lli<f￡(叭如)仁||X-Xp+A||X|Lmin(l.?li)subjecltov=XBSparseprincipalcomponentsanalysis.lineardiscriminantanalysisandcanonicalcorrelationanalysis這些研究在數(shù)學(xué)層而考察了lasso產(chǎn)生最小預(yù)測誤差模型的能力，并重新獲得了真正的底層