線性回歸與分類

1、線性回歸與線性分類線性回歸在溫洲的一個房產(chǎn)網(wǎng)（）我弄到了下面的一些數(shù)據(jù):物業(yè)名稱面積偷貉備拄回六中學(xué)區(qū)好房出下呂浦73m=244.55六中學(xué)區(qū)環(huán)境憂美國32000急售市中心59.9m1191.能萬市中心咖里買的到的好園西城掰金山蛆團(tuán)西向5Bm=69.9 萬西城路，音裝修價格國新橋頭集新組團(tuán)西向6SmE119萬格裝修4耳，房朱包粗園康錦公寓西向120m=21訪電梯房，毛坯的套型國康城二組團(tuán)西向165m!363萬價格是廉城最便宜的回康園西向312萬產(chǎn)權(quán)滿5年，價格很便國黃曲二區(qū)登峻組西向87m!174萬套型很好,精裝修,產(chǎn)國銀廈公寓西向143就343,2全新希裝，公證國銀廈公寓西向142m=326

2、.OT毛壞房，公證國黃龍六區(qū)清泉組西向120.OT樓層墊高相當(dāng)于2層回出售黃茬九區(qū)玉西向57m=93,1 口萬清爽裝修，產(chǎn)權(quán)滿5年園園聞?wù)⑹兄行?7.79m2311.16城南總枝學(xué)區(qū)房國飛虹公寓市中心47m=108.你好？如果說你買房國湖演新村市中心60m31徑萬房孑的壹型光廢非園麻行小區(qū)江濱路90m=333萬有兩個陽臺的價格憂國謝池商廈市中心71mE209.45路段好公園旁邊現(xiàn)在我們以橫軸表示房子面積，縱軸表示房子價格，畫到坐標(biāo)軸上:m31BCO1 1 1 +1GCOMOO12DD- + -1000-+十-0CO-V + +-E00400-+ +豐+ +2CO-+廣L+-+汁0iH.現(xiàn)在

3、問題來了，我想要一套200平方米的房子價格大概是多少呢這時在數(shù)據(jù) 表中我又找不到到對應(yīng)的數(shù)據(jù)。那么這時就要做線性回歸分析了。如下圖找 到下面這樣的一條直線，使圖中的所有點(diǎn)到直線的距離最?。词拐`差最小）。14012X1下面我們用數(shù)學(xué)語言來表達(dá)“使圖中的所有點(diǎn)到直線的距離最小”這句話。圖中的（面積，價格）可以用坐標(biāo)點(diǎn)兇萬）表示。數(shù)學(xué)中的直線方程解析式為:y=kx+b，現(xiàn)在我們用機(jī)器學(xué)習(xí)里的表達(dá)方式如下：y=b+wx （在機(jī)器學(xué)習(xí)中b叫偏至，w叫超越平面參數(shù)）這樣的表達(dá)還不夠統(tǒng)一，不方便計算，寫成下式：y=wx,（w=1,w x=1,x）.現(xiàn)在我們繼續(xù)把上面改寫成向量形式，以便于推廣到N維形式，改

4、寫成正式:Y =（切，說Wr =血官伊=偵匚皿，.為如=1, 2,.“使圖中的所有點(diǎn)到直線的距離最小”用數(shù)學(xué)的語言描述如下:上式叫誤差平方和式，寫成向量形式如下:J(W)= ：(Y - XF(Y - Xrw)我們的目標(biāo)是使J(W)最小，上式對W求導(dǎo)得：w = (X?X) 1XW就是我們要求的結(jié)果了。把200平方米的代入式(1)就得到我們的估計房價了 這里的解有一個陷阱，不知道大家知道了沒有。在分類問題中，我會提出一 種要求更低的解決算法，即著名的感知機(jī)算法。線性分類什么是分類呢下面我列出一些實(shí)際的分類任務(wù)如下：識別圖像中的人臉，非人臉。識別正常郵件，垃圾郵件。識別信貸中的正常行為，欺詐行為。入

5、侵檢測中的系統(tǒng)的的正常訪問跟非法訪問。一些符號說明如下：X TlTT2n . . . . TjT? 1,幻/特征向量，其中贏表示特征屬性1-以下圖的兩類分類問題為例，樣本點(diǎn)的類別是已知的，并且兩類樣本點(diǎn)是線性可分的，定義映謝:f -(明，電 T 一 L L(皿叼)是圖中點(diǎn)的坐標(biāo)，一1是點(diǎn)所屬的類別，即圖中的紅點(diǎn)，藍(lán)點(diǎn)求分類平面 TOC o 1-5 h z wrx wq = 0使得：若wTx + wo 0：則 x E 1 類(32)為了便于計算，對(2)式進(jìn)行擴(kuò)展，定義：X = xT?lT. w = wT? wdT(4)所以式式又可以簡化為:分類平面應(yīng)該盡可能的把兩類點(diǎn)集分開，即，使下式的平方誤

6、差最小:依照回歸的例子，我們有同樣的結(jié)論:w = (xF-Wv上面的解要求是正定的，也就是可逆的?，F(xiàn)中的數(shù)據(jù)往往會不滿足這一條件。還好有個萬金有的方法，梯度下降算法，梯度下降算法能得到局部最優(yōu)解。我們先看一下，一元二次函數(shù)：y = f骯+ 血 + e通過對上式求一階導(dǎo)數(shù)，得到一下最優(yōu)解：匙=+6 = 0X=-b/(2a)處是方程的一個最優(yōu)解現(xiàn)在我們隨機(jī)給定一個初始的x，要經(jīng)過怎么樣的過程，或沒什么方向才能靠近-b/(2a)這個解答案就是沒著，曲線y的梯度下降方向。函數(shù)：那么梯度定義如下:r df df df算法的迭代式如下：Xn+i=x-點(diǎn)回到我們的問題也就是：w+1 = Wn-瑚黑)=Wn- TfXT (Y - XWn)n是學(xué)習(xí)速率，n