LogisticRegression(邏輯回歸)原理及公式推導(dǎo)

1、Logistic Regression （邏輯回歸）原理及公式推導(dǎo)版權(quán)聲明：本文為原創(chuàng)文章：http:/ Regression （邏輯回歸）是機器學(xué)習(xí)中一個非常非常 常見的模型，在實際生產(chǎn)環(huán)境中也常常被使用，是一種經(jīng)典 的分類模型（不是回歸模型） 。本文主要介紹了 Logistic Regression （邏輯回歸）模型的原理以及參數(shù)估計、公式推導(dǎo)方法。模型構(gòu)建在介紹 Logistic Regression 之前我們先簡單說一下線性回 歸，線性回歸的主要思想就是通過歷史數(shù)據(jù)擬合出一條直 線，用這條直線對新的數(shù)據(jù)進行預(yù)測，線性回歸可以參考我 之前的一篇文章。我們知道，線性回歸的公式如下：z=eo

2、+e1x1+e2x2+e3x3.+enxn=eTx而對于 Logistic Regression 來說，其思想也是基于線性回歸（Logistic Regression 屬于廣義線性回歸模型） 。其公式如下：he(x)=11+e?z=11+e?eTx其中，y=11+e?x 被稱作 sigmoid 函數(shù)，我們可以看到，LogisticRegression 算法是將線性函數(shù)的結(jié)果映射到了sigmoid 函數(shù)中。sigmoid 的函數(shù)圖形如下： 我們可以看到， sigmoid 的函數(shù)輸 出是介于( 0， 1)之間的，中間值是 0.5，于是之前的公式 he(x)的含義就很好理解了，因為 he(x)輸出是

3、介于(0,1) 之間，也就表明了數(shù)據(jù)屬于某一類別的概率，例如 ：he(x)0.5 則說明當前數(shù)據(jù)屬于 B 類。所以我們可以將 sigmoid 函數(shù)看成樣本數(shù)據(jù)的概率密度函 數(shù)。有了上面的公式，我們接下來需要做的就是怎樣去估計參數(shù)e了。首先我們來看，e函數(shù)的值有特殊的含義，它表示 he(x) 結(jié)果取 1的概率，因此對于輸入 x 分類結(jié)果為類別 1 和類別 0 的概率分別為：P(y=1|x;e)=he(x)P(y=0|x;e)=1?he(x)極大似然估計 根據(jù)上式，接下來我們可以使用概率論中極大似然估計的方 法去求解損失函數(shù)，首先得到概率函數(shù)為：P(y|x;e)=(he(x)y?(1?he(x)1

4、?y因為樣本數(shù)據(jù) (m 個 )獨立，所以它們的聯(lián)合分布可以表示為 各邊際分布的乘積 ,取似然函數(shù)為：L(e)=ni=1mP(y(i)|x(i);e)L(e弓ni=1m(he(x(i)y(i)?(1?he(x(i)1?y(i)取對數(shù)似然函數(shù)：l(e)=log(L(e)=刀 i=1mlog(he(x(i)y(i)+log(1?he(x(i)1?y(i)l(e)=log(L(e)=刀 i=1my(i)log(he(x(i)+(1?y(i)log(1?he(x(i)最大似然估計就是要求得使 l(e) 取最大值時的e，這里 可以使用梯度上升法求解。我們稍微變換一下：J（e）=?imi（ e）因為乘了一個負的系數(shù)