線性回歸推導(dǎo)及實(shí)例

1、精選文檔數(shù)據(jù)點(diǎn)基本落在一條直線附近。這告訴我們，變量X與Y的關(guān)系大致可看作是線性關(guān)系，即它們之間的相互關(guān)系可以用線性關(guān)系來描述。但是由于并非所有的數(shù)據(jù)點(diǎn)完全落在一條直線上，因此X與Y的關(guān)系并沒有確切到可以唯一地由一個X值確定一個Y值的程度。其它因素，諸如其它微量元素的含量以及測試誤差等都會影響Y的測試結(jié)果。如果我們要研究X與Y的關(guān)系，可以作線性擬合           （2-1-1） 我們稱（2-1-1）式為回歸方程，a與b是待定常數(shù)，稱為回歸系數(shù)。從理論上講，（2-1-1）

2、式有無窮多組解，回歸分析的任務(wù)是求出其最佳的線性擬合。 二、最小二乘法原理 如果把用回歸方程 計(jì)算得到的 i值(i=1,2,n)稱為回歸值，那么實(shí)際測量值yi與回歸值 i之間存在著偏差，我們把這種偏差稱為殘差，記為ei(i=1,2,3,n)。這樣，我們就可以用殘差平方和來度量測量值與回歸直線的接近或偏差程度。殘差平方和定義為:     (2-1-2)所謂最小二乘法，就是選擇a和b使Q(a,b)最小，即用最小二乘法得到的回歸直線 是在所有直線中與測量值殘差平方和Q最小的一條。由(2-1-

3、2)式可知Q是關(guān)于a,b的二次函數(shù)，所以它的最小值總是存在的。下面討論的a和b的求法。三、正規(guī)方程組根據(jù)微分中求極值的方法可知，Q(a,b)取得最小值應(yīng)滿足                                (2-1-3)由(2-1-2)式，并考慮上述條件，則 

4、60;          (2-1-4)(2-1-4)式稱為正規(guī)方程組。解這一方程組可得                       (2-1-5)   其中       

5、;                (2-1-6)   (2-1-7)    式中，Lxy稱為xy的協(xié)方差之和，Lxx稱為x的平方差之和。如果改寫(2-1-1)式，可得                 

6、     (2-1-8)    或                        (2-1-9) 由此可見，回歸直線是通過點(diǎn) 的，即通過由所有實(shí)驗(yàn)測量值的平均值組成的點(diǎn)。從力學(xué)觀點(diǎn)看， 即是N個散點(diǎn) 的重心位置。 現(xiàn)在我

7、們來建立關(guān)于例1的回歸關(guān)系式。將表2-1-1的結(jié)果代入(2-1-5)式至(2-1-7)式，得出a=1231.65b=-2236.63 因此，在例1中灰鑄鐵初生奧氏體析出溫度(y)與氮含量(x)的回歸關(guān)系式為y=1231.65-2236.63x  四、一元線性回歸的統(tǒng)計(jì)學(xué)原理 如果X和Y都是相關(guān)的隨機(jī)變量，在確定x的條件下，對應(yīng)的y值并不確定，而是形成一個分布。當(dāng)X取確定的值時，Y的數(shù)學(xué)期望值也就確定了，因此Y的數(shù)學(xué)期望是x的函數(shù)，即E(Y|X=x)=f(x)        &

8、#160;         (2-1-10) 這里方程f(x)稱為Y對X的回歸方程。如果回歸方程是線性的，則E(Y|X=x)=+x                (2-1-11) 或Y=+x+           

9、60;        (2-1-12) 其中     隨機(jī)誤差 從樣本中我們只能得到關(guān)于特征數(shù)的估計(jì)，并不能精確地求出特征數(shù)。因此只能用f(x)的估計(jì)式   來取代（2-1-11）式，用參數(shù)a和b分別作為和的估計(jì)量。那么，這兩個估計(jì)量是否能夠滿足要求呢？  1. 無偏性 把(x,y)的n組觀測值作為一個樣本，由樣本只能得到總體參數(shù)和的估計(jì)值?？梢宰C明，當(dāng)滿足下列條件： (1)(xi,yi

10、)是n個相互獨(dú)立的觀測值 (2)i是服從 分布的隨機(jī)變量 則由最小二乘法得到的a與b分別是總體參數(shù)和的無偏估計(jì)，即E(a)= E(b)=    由此可推知E( )=E(y)    即y是回歸值 在某點(diǎn)的數(shù)學(xué)期望值。 2. a和b的方差 可以證明，當(dāng)n組觀測值(xi,yi)相互獨(dú)立，并且D(yi)=2,時，a和b的方差為            

11、60;                  (2-1-13)                  (2-1-14)以上兩式表明，a和b的方差均與xi的變動有關(guān)，xi分布越寬，則a和b的方差越小。另外a的方差還與觀測點(diǎn)的數(shù)量有關(guān)，數(shù)據(jù)越多，a的方差越小。因

12、此，為提高估計(jì)量的準(zhǔn)確性，xi的分布應(yīng)盡量寬，觀測點(diǎn)數(shù)量應(yīng)盡量多。建立多元線性回歸方程，實(shí)際上是對多元線性模型（2-2-4）進(jìn)行估計(jì)，尋求估計(jì)式（2-2-3）的過程。與一元線性回歸分析相同，其基本思想是根據(jù)最小二乘原理，求解 使全部觀測值 與回歸值 的殘差平方和達(dá)到最小值。由于殘差平方和          （2-2-5）    是 的非負(fù)二次式，所以它的最小值一定存在。    根據(jù)極值原

13、理，當(dāng)Q取得極值時， 應(yīng)滿足    由（2-2-5）式，即滿足                    （2-2-6）    (2-2-6）式稱為正規(guī)方程組。它可以化為以下形式     （2-2-7）    如果用A表示上述方程組的系數(shù)矩陣可以看出A是

14、對稱矩陣。則有                   （2-2-8）  式中X是多元線性回歸模型中數(shù)據(jù)的結(jié)構(gòu)矩陣， 是結(jié)構(gòu)矩陣X的轉(zhuǎn)置矩陣。 (2-2-7)式右端常數(shù)項(xiàng)也可用矩陣D來表示    即           &#

15、160;   因此(2-2-7)式可寫成Ab=D           （2-2-10）    或            （2-2-11）如果A滿秩（即A的行列式  ）那么A的逆矩陣A-1存在，則由(2-10)式和(2-11)式得 的最小二乘估計(jì)為   

16、;         （2-2-12）  也就是多元線性回歸方程的回歸系數(shù)。  為了計(jì)算方便往往并不先求  ，再求b，而是通過解線性方程組(2-2-7)來求b。(2-2-7)是一個有p+1個未知量的線性方程組，它的第一個方程可化為            （2-2-13）    式中 

17、0;          （2-2-14）    將（2-2-13）式代入（2-2-7）式中的其余各方程，得            （2-2-15）    其中            （2-2

18、-16）    將方程組（2-2-15）式用矩陣表示，則有Lb=F           （2-2-17）    其中      于是b=L-1F           （2-2-18）  因此求解多元線性回歸方程的系數(shù)可由（2-2-

19、16）式先求出L，然后將其代回（2-2-17）式中求解。求b時，可用克萊姆法則求解，也可通過高斯變換求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩陣，因而相對復(fù)雜一些。  例2-2-1 表2-2-1為某地區(qū)土壤內(nèi)含植物可給態(tài)磷(y)與土壤內(nèi)所含無機(jī)磷濃度(x1)、土壤內(nèi)溶于K2CO3溶液并受溴化物水解的有機(jī)磷濃度(x2)以及土壤內(nèi)溶于K2CO3溶液但不溶于溴化物的有機(jī)磷(x3)的觀察數(shù)據(jù)。求y對x1, x2, x3的線性回歸方程  。表2-2-1 土壤含磷情況觀察數(shù)據(jù)    計(jì)算

20、如下：    由(2-2-16)式     代入(2-2-15)式得         （2-2-19）    若用克萊姆法則解上述方程組，則其解為                （2-2-20）    

21、;其中    計(jì)算得b1=1.7848，b2=-0.0834，b3=0.1611     回歸方程為  應(yīng)用克萊姆法則求解線性方程組計(jì)算量偏大，下面介紹更實(shí)用的方法高斯消去法和消去變換。在上一節(jié)所介紹的非線性回歸分析，首先要求我們對回歸方程的函數(shù)模型做出判斷。雖然在一些特定的情況下我們可以比較容易地做到這一點(diǎn),但是在許多實(shí)際問題上常常會令我們不知所措。根據(jù)高等數(shù)學(xué)知識我們知道，任何曲線可以近似地用多項(xiàng)式表示，所以在這種情況下我們可以用多項(xiàng)式進(jìn)行逼近，即多項(xiàng)式回歸分析。  &#

22、160; 一、多項(xiàng)式回歸方法假設(shè)變量y與x的關(guān)系為p次多項(xiàng)式，且在xi處對y的隨機(jī)誤差  (i=1,2,n)服從正態(tài)分布N(0,)，則    令xi1=xi, xi2=xi2，xip=xip    則上述非線性的多項(xiàng)式模型就轉(zhuǎn)化為多元線性模型，即     這樣我們就可以用前面介紹的多元線性回歸分析的方法來解決上述問題了。其系數(shù)矩陣、結(jié)構(gòu)矩陣、常數(shù)項(xiàng)矩陣分別為   (2-4-11)  &#

23、160;               (2-4-12)                        (2-4-13)     回歸方程系數(shù)的最小二乘估計(jì)為 &

24、#160;                     (2-4-14)需要說明的是，在多項(xiàng)式回歸分析中，檢驗(yàn)bj是否顯著，實(shí)質(zhì)上就是判斷x的j次項(xiàng)xj對y是否有顯著影響。對于多元多項(xiàng)式回歸問題，也可以化為多元線性回歸問題來解決。例如，對于       (2-4-15)    令xi1=Zi1

25、, xi2=Zi2, xi3=Zi12, xi4=Zi1Zi2, xi5=Zi22    則(2-4-15)式轉(zhuǎn)化為    轉(zhuǎn)化后就可以按照多元線性回歸分析的方法解決了。    下面我們通過一個實(shí)例來進(jìn)一步說明多項(xiàng)式回歸分析方法。        一、應(yīng)用舉例    例2-4-2  某種合金中的主要成分為元素A和B，試驗(yàn)發(fā)現(xiàn)這兩種元素之和與

26、合金膨脹系數(shù)之間有一定的數(shù)量關(guān)系，試根據(jù)表2-4-3給出的試驗(yàn)數(shù)據(jù)找出y與x之間的回歸關(guān)系。表2-4-3  例2-4-2試驗(yàn)數(shù)據(jù) 首先畫出散點(diǎn)圖（圖2-4-3）。從散點(diǎn)圖可以看出，y與x的關(guān)系可以用一個二次多項(xiàng)式來描述：i=1,2,3,13圖2-4-3  例2-4-2的散點(diǎn)圖    令xi1=xi,xi2=xi2,    則    現(xiàn)在我們就可以用本篇第二章介紹的方法求出   的最小二乘估計(jì)。由表2-4-3給出的數(shù)據(jù)，求出    由（2-2-16）式    由此可列出二元線性方程組    將這個方程組寫成矩陣形式，并通過初等變換求b1,b2和系數(shù)矩陣L的逆矩陣L-1:    于是