最小二乘法求回歸系數的解法探究 論文

2022年安徽省中小學教育教學論文評選最小二乘法求回歸系數的解法探究 摘要：本文通過具體到抽象的方式探究最小二乘法求回歸系數的三類解法（配方法、添項法、求導法）。根據殘差平方和的最小值，可以論證一元線性回歸模型的決定系數是樣本線性相關系數的平方，即Rr2。結合樣本線性相關系數公式和回歸系數公式，可以論證一元線性回歸模型滿足總偏差平方和等于回歸平方和與殘差平方和的和。關鍵詞：最小二乘法，殘差平方和，決定系數，樣本相關系數，總偏差平方和。引言：人教版《成對數據的統(tǒng)計分析》章節(jié)，包含樣本相關系數、回歸系數和決定系數，學生普遍認為這些統(tǒng)計量的公式復雜，理解困難。挖掘這些參數間的內在聯(lián)系，能夠幫助學生構建更好的統(tǒng)計觀。一元線性回歸模型中根據最小二乘法求回歸系數有哪些算法？線性回歸模型的決定系數R2與樣本相關系數r有何關系呢?一、最小二乘法的歷史和教學最小二乘法最早是由法國數學家勒讓德在1805年發(fā)表的著作《計算彗星軌道的新方法》中提出的，勒讓德提出直線應滿足各個散點的殘差平方和最小。高斯宣稱他在1801年計算谷神星的軌道時，已經采用了這種方法，但是沒有即時發(fā)表[1]。兩位數學家曾經為誰最先提出最小二乘法，產生過爭論。高斯在1809年出版的天文著作《天體沿圓錐曲線繞日運動之理論》中，首次發(fā)表了他的最小二乘法。后來，高斯用最小二乘法研究誤差問題，提出了誤差的正態(tài)分布思想[2]。在最小二乘法的教學方面，有學者限定回歸直線必過樣本中心點，然后求回歸系數，會使得推導過程簡單[3]。但是，如何讓學生發(fā)現并論證回歸直線過樣本中心呢？由于最小二乘法有多種形式，面對不同層級的學生，可以采取不同的講授方法[4]。本文從最小二乘法思想出發(fā)，通過三個散點完成回歸系數的不同算法，再從具體到一般，推導回歸系數公式，并通過不同算法，證明樣本回歸系數與決定系數之間的關系。二、回歸方程的求法

1．三個具體散點的回歸方程【問題1】如何確定直線l:ybxa中的參數，使得A11,1(),A2(3,2),A3(3,3)這三個散點的殘差平方和最小（圖1）？

12022年安徽省中小學教育教學論文評選方法一：配方法首先表示殘差平方和Q(a,b)(ba)12(2ba3)2(3ba3)2，Q(a,b)3a212ab14b214a32b193(a2b)214(a2b)2b24b193(a2b7)22(b)1222333當且僅當

a72b 3b100，即ab1時，Q(,)取最小值231ab.3上述方法首先將代數式全部展開，然后合并同類項，最后采取配方法，將目標函數化簡。通過這種方法，我們會發(fā)現ab70時，殘差平方和最小。這個等式意味著直3線l具有怎樣的特征呢？我們關注到三個散點的樣本中心為(,27)，直線過該樣本中心的3充要條件就是ab70。通過配方法，我們能夠發(fā)現針對三個具體散點的回歸直線是3經過樣本中心的。因此對殘差平方和的代數式進行變形時可以先添加代數式ab273。方法二：添項法Q(a,b)((a2b7)b4))2((a2b7)(2))2((a2b7)(b4))2Qa3333332,b)3(a2b722(b42b2)(a2b7)2(b4)2(b4)2(2)2(b2)3333333333(a2b7)22(b)1222333通過這種方法，我們會發(fā)現先配湊出代數式ab27會帶來運算的簡便。我們將該3代數式作為整體，然后將三個完全平方式進行展開，再次合并同類項后，會發(fā)現該代數式的一次項的系數和為0。除了上述兩種方法以外，能否借助于導數研究上述問題呢？方法三：求導法仿照一元函數由導數求最值的方法，對該二元函數分別求偏導，進行求值。先令f(a)Q(a,b)，對a求導數，f'(a)2(ab)12(a2b3)2(a3b3)2(3a6b7)8)再令g(b)Q(a,b),對b求導數，g'(b)2(ab)12(a2b3)22(a3b3)34(3a7b

f'(a)0得3a3a6b70，解得ab

1由703

17b80g'(b)022022年安徽省中小學教育教學論文評選 上述計算的結果和前兩種方法的計算結果是一致的，從運算量的角度看，該方法運算量是最少的。對于一般性的三個散點，如何確定直線方程呢？圖1 圖22．三個任意散點的回歸方程【問題2】如何確定直線l:ybxa中的參數，使得A1(x1,y1),A2(x2,y2),A3(x3,y3)這三個散點的殘差平方和最小？

方法一：添項法一般性問題的解決方法可以仿照問題1的方法。我們猜想直線l過樣本中心(xy),，(,(bx12[(bxay)b(x1x)(y1y)]2[(bxay)b(x2x)(y2y)]2[(bxay)b(x3x)(y3y)]23(bxay)2[2b(x1x)(y1y)b(x2x)(y2y)b(x3x)(y3y)](bxay)[b(x1x)(y1y)]2[b(x2x)(y2y)]2[b(x3x)(y3y)]2考慮到b(x1x)(y1y)b(x2x)(y2y)b(x3x)(y3y)b(x1x2x33x)(y1y2y33y)0Q(a,b)3(bxay)2[(x1x)2(x2x)2(x3x)2]b22[(x1x)(y1y)(x2x)(y2y)(x3x)(y3y)]b(y1y)2(y2y)2(y3y)2 當且僅當b (x1x)(y1y)bxay0(x3x)(y3y)時，Q(a,b)取最小值.(x2x)(y2y)(x1x)2(x2x)2(x3x)2Q(a,b)最小值為(y1y)2(y2y)2(y3y)2[(x1x)(y1y)(x2x)(y2y)(x3x)(y3y)]2.(x1x)2(x2x)2(x3x)2方法二：求導法32022年安徽省中小學教育教學論文評選先令f(a)Q(a,b)，對a求導數，f'(a)2(bx1ay1)2(bx2ay2)2(bx3ay3)2)f'(a)2[(x1x2x3)b3a(y1y2y3)]2x3(bx3ay3)再令g(b)Q(a,b)，對b求導數，g'(b)2x1(bx1ay1)2x2(bx2ayg'(b)2[(x12x22x32)b(x1x2x3)a(x1y1x2y2x3y3)]bxay0

由f'(a)0得

(x12x22(x1x2x3)b3a(y12y3)0x3y3，解得0

by)'x1y1x2y2x3y33xyg(b)0x32)b(x1x2x3)a(x1y1x2y2x12x22x323x2通過上述兩種方法，我們可以發(fā)現(x2y)x3xx3y3b(x1x)(y1y)x2)(y(x)(y3y)x1y12y23xy.(x1x)2(x2x)2(x3x)2x12x2x323x22上述兩種方法解決了一般性的三個散點，根據殘差平方和最小原理，確定回歸直線方程中的參數，同時對于回歸系數我們得到它的兩個公式。對于一般性的n個散點，如何確定直線方程呢？3．n個任意散點的回歸方程【問題3】如何確定直線l:ybxa中的參數，使得A1(x1,y1),A2(x2,y2),...,An(xn,yn)這n個散點的殘差平方和最小（圖2）？方法一：添項法Q(a,b)n

i1(bxiayi)2 n

i1[(bxay)b(xix)(yiy)]2yiy)n

i1(yiy)2n

i1(bxay)22(bxay)n

i1[b(xix)(yiy)]n

i1[b(xix)(yiy)]2考慮到n

i1[b(xix)(yiy)]b(n

i1xinx)(n

i1yiny)0，Q(a,b)n

i1(bxay)2n

i1[b(xix)(yiy)]2n(bxay)2b2n

i1(xix)22bn

i1(xix)(

當且僅當b

bxay0y)時，Q(a,b)取最小值n

i1(yiy)2ni1(xix)(yiy2n

i1)(xix)(yi)n

i1.ni1(xix)2(xix)2方法二：求導法42022年安徽省中小學教育教學論文評選先令f(a)Q(a,b)，對a求導數，f'(a)ni12(bxiayi)[2bni1xinani1yi]yi]nx再令g(b)Q(a,b)，對b求導數，g'(b)n

i12xi(bxiayi)[2bn

i1xi2an

i1xin

i1xi('a0

得0

bbn

i1nan

i1yi，解得

b

bxay0.所以bn

i1(xi)(y0n由f)xin

i1xiyinxyxyi)i1xiyiy.('bn

i1xin

i1xin

i1xiyin

i1g)xi)n

nx2g2a0n

i1xi2nx2(x2

i1xi2通過上述三個問題，我們從具體到一般，通過多種方法，推導出基于殘差平方和最小原理，求得回歸直線方程中的斜率參數和縱截距參數，其中我們還得到斜率參數的兩個公式。下面我們聚焦殘差平方和的最小值，研究一元線性回歸模型的決定系數與樣本線性相關系數間的關系。三、統(tǒng)計量間的關系【問題4】一元線性回歸模型的決定系數與樣本線性相關系數間有何關系呢？當用最小二乘法求回歸方程時，根據問題3的方法一，我們知道此時殘差平方和為n^nn(xix)(yiy)2

n

(yi^

yi)2n(xix)(yiy)2

(yy)2(yy)2i1n

i1x，所以R21i1i1r2yiii)1nnni1i1(xi)2i1(yiy)2i1(xix)2i1(yiy)2通過上述證明我們發(fā)現采用最小二乘法得到的一元線性回歸模型的決定系數為樣本線性相關系數的平方。樣本線性相關系數公式與回歸系數公式有很多類似之處，如果將兩個公式進行比較，會有什么新發(fā)現呢？【問題5】樣本線性相關系數是否還有其他的算法呢？因為rn

i1(xix)(yiy)，bn

i1(xix)(yiy)，所以rn

i1(xix)2n

i1(xix)2n

i1(yiy)2n

i1(xix)2bn

i1(yiy)252022年安徽省中小學教育教學論文評選r2n

i1(bxibx)2n

i1((bxia)(bxa))2n

i1(^yiy)2.nn(yn

i1(yiy)2

i1iy)2i1(yiy)2 通過上述論證，我們能夠發(fā)現樣本相關系數新的算法。我們將問題4和問題5的結論結合在一起，會有什么新的發(fā)現呢？【問題6】在一元線性回歸模型中，總偏差平方和n

i1(yiy2)，回歸平方和n

i1(^

yiy)2，殘差平方和n

i1(yi^

yi)2三者之間有何關系呢？^

yiy)21n

i1(yi^

yi)2，因為r2n

i1(^

yiy)2，r2R21n

i1(yi^

yi)2，所以n

i1(n

i11n

i1n

i11n(yiy)2(yiy)2(yi