機器學(xué)習常用模型及優(yōu)化

1、第一章 模型建立1.1 回歸模型：條件：1. 數(shù)據(jù)2. 假設(shè)的模型結(jié)果：用模型對數(shù)據(jù)學(xué)習，預(yù)測新數(shù)據(jù)1.1.1 一元線性回歸模型（最小二乘法）它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配我們以最簡單的一元線性模型來解釋最小二乘法。什么是一元線性模型呢？ 監(jiān)督學(xué)習中，如果預(yù)測的變量是離散的，我們稱其為分類（如決策樹，支持向量機等），如果預(yù)測的變量是連續(xù)的，我們稱其為回歸假設(shè)從總體中獲取了n組觀察值（X1，Y1），（X2，Y2）， ，（Xn，Yn）平方損失函數(shù)1.1.2 邏輯回歸模型將線性回歸中的一次模型變成邏輯回歸函數(shù)，即sigmoid函數(shù)。或者：其他的思路和想法與線性回歸一樣，所以說邏輯回歸

2、的模型是一個非線性模型，但是它本質(zhì)上又是一個線性回歸模型損失函數(shù)（誤差函數(shù)）為：1.1.3 softmax回歸它是邏輯回歸的擴展從分類的角度來說，邏輯回歸只能將東西分成兩類（0,1），softmax可以分成多類邏輯回歸中，模型函數(shù)（系統(tǒng)函數(shù)）為：Softmax回歸中，模型函數(shù)（系統(tǒng)函數(shù)）為：1.2 神經(jīng)網(wǎng)絡(luò)模型1.2.1 神經(jīng)元首先來一個三輸入單輸出的神經(jīng)元，輸入輸出都是二進制（0,1）。舉例來說：X1表示天氣是否好X2表示交通是否好X3表示是否有女朋友陪你Y表示你是否去電影院看電影要讓這個神經(jīng)元工作起來，需要引入權(quán)重，w1,w2,w3。這樣就有了：（1）W1表示”天氣是否好”對你做決定的重要

3、程度W2表示”交通是否好”對你做決定的重要程度W3表示”是否有女朋友陪你”對你做決定的重要程度Threshold越低表示你越想去看電影，風雨無阻你都想去。Threshold越高表示你越不想去看電影，天氣再好也白搭。Threshold適中表示你去不去電影院要看情況，看心情。 1.2.2 神經(jīng)網(wǎng)絡(luò)現(xiàn)在擴展一下：這樣就出現(xiàn)神經(jīng)網(wǎng)絡(luò)了，可以看出這是很多神經(jīng)元組合成的。把上面的（1）式中的threshold用偏移量-b表示，并且移到不等式左邊，出現(xiàn)下面（2）式：（2）例子就不舉了，原文是實現(xiàn)與非門的一個例子，說明這個東西可以進行邏輯推理，它就很有潛力了，電腦就是靠邏輯加運算來實現(xiàn)各種功能。現(xiàn)在要用這個東

4、西學(xué)習識別手寫字體，我們的想法是這樣的：舉例來說，電腦錯把9當成了8，那么我們希望通過自動調(diào)整w或b來對output進行調(diào)整，以達到正確的結(jié)果。這時網(wǎng)絡(luò)會自己“學(xué)習”了。具體是這樣的：其中是sigmoid函數(shù)：下面是sigmoid函數(shù)的圖形它是階梯函數(shù)的一個平滑：輸出通過w和b進行微調(diào)的式子是這樣的：這個式子比較抽象，它只是戰(zhàn)略性的一個式子，下面引入cost函數(shù)來進行戰(zhàn)術(shù)實踐。Cost函數(shù)是評價模型準確與否的一個函數(shù)，它可能越大越好，也可能越小越好，看你怎么構(gòu)造了。這里用均方誤差來構(gòu)造：這個函數(shù)越小越好，所以通過使這個函數(shù)變得最小來得到最好的w和b，也就是達到最好的學(xué)習效果。1.3 最大似然估

5、計X的一個樣本X1，X2，Xn獨立同分布，其觀測值為x1，x2，xn。，其中參數(shù)未知根據(jù)X1，X2，Xn的觀測值x1，x2，xn來估計模型參數(shù)。假如這組數(shù)據(jù)服從B(1,p)，p未知求得到取極大值時的p，即為所求第二章 模型優(yōu)化2.1 遺傳算法有個博客講的很好，用袋鼠跳問題形象的比喻這個問題，類似的算法還有模擬退火法。2.2 梯度下降法一句話來說就是求損失函數(shù)或似然函數(shù)的極值，我們自己算的話就是求個導(dǎo)就完事了，但是有些函數(shù)的導(dǎo)數(shù)特別難求，這時候就需要梯度下降法，交給電腦迭代幾次就算出來了 舉例來說，求損失函數(shù)的最小值：2.3 牛頓法對于非線性優(yōu)化，假設(shè)任務(wù)是優(yōu)化一個目標函數(shù)，求解其極大極小值，轉(zhuǎn)化為求問題，是不是回到了上面的問題？二階泰勒級數(shù)：二階泰勒級數(shù)成立的充要條件是無限趨于0，兩邊約去和，并對求導(dǎo)，得到：解得：所以得到迭代式：紅色是牛頓法，綠色是梯度下降法，牛頓法更容易收斂。高