最小二乘法簡介PPT課件

.,1,最小二乘法的思想方法及其應(yīng)用,.,2,目的,最小二乘法在農(nóng)、工、經(jīng)濟(jì)等領(lǐng)域都有廣泛使用。本文旨在向大家介紹最小二乘法的原理及其應(yīng)用,使大家對最小二乘法有初步了解，方便以后使用。,.,3,主要內(nèi)容,.,4,一、最小二乘法簡介,最小二乘法，又稱最小平方法，是一種數(shù)學(xué)技術(shù)。它通過最小誤差的平方和尋找數(shù)據(jù)函數(shù)的最佳匹配。最小二乘法是提供“觀測組合”的主要工具之一，它依據(jù)對某事件的大量觀測而獲得“最佳”結(jié)果或“最可能”表現(xiàn)形式。最小二乘法之于數(shù)理統(tǒng)計(jì)學(xué)，有如微積分之于數(shù)學(xué)，可以稱為數(shù)理統(tǒng)計(jì)學(xué)之靈魂。,.,5,二、創(chuàng)立思想,在先驅(qū)者解線性方程組的基礎(chǔ)上，以整體的思想方法創(chuàng)立了最小二乘法,由尋找隨機(jī)誤差函數(shù)為突破，以獨(dú)特的概率思想導(dǎo)出了正態(tài)分布，詳盡地闡述了最小二乘法的理論依據(jù)。,最小二乘法(OLSE)的思想就是要使得觀測點(diǎn)和估計(jì)點(diǎn)的距離平方和達(dá)到最小，在各方程的誤差之間建立一種平衡，從而防止某一極端誤差，對決定參數(shù)的估計(jì)值取得支配地位，有助于揭示系統(tǒng)的更接近真實(shí)的狀態(tài)。在最小二乘法的創(chuàng)立過程中有兩位科學(xué)家為它的創(chuàng)立及發(fā)展作出了杰出的貢獻(xiàn)。,.,6,設(shè)一組數(shù)據(jù)(xi,yi)(i=1,2,.,n),現(xiàn)用近似曲線y=(xi)擬合這組數(shù)據(jù),“擬合得最好”的標(biāo)準(zhǔn)是所選擇的(xi)在xi處的函數(shù)值(xi)(i=1,2,.,n)與實(shí)際值yi的偏差（也稱殘差)(xi)-yi(i=1,2,.,n)最小，使偏差之和(xi)-yi最小來保證每個偏差都很小。但偏差有正有負(fù),在求和的時候可能相互抵消。為了避免這種情況，選擇使“偏差平方和(xi)-yi2最小”的原則來保證每個偏差的絕對值都很小,從而得到最佳擬合曲線y=(xi)。,.,7,三、最小二乘法擬合,一般而言，擬合函數(shù)(x)可以使不同的函數(shù)類,由m個線性無關(guān)函數(shù)1(x),2(x),.,m(x)的線性組合而成，即,其中,a1,a2,.,am為待定系數(shù)，1(x),2(x),.,m(x)稱為基函數(shù)。常用的基函數(shù)有：多項(xiàng)式：1,x,x2,xm;三角函數(shù)：sinx,sin2x,.,sinmx;指數(shù)函數(shù)：e1x,e2x,.,emx。,.,8,1、一元線性擬合,已知實(shí)測到的一組數(shù)據(jù)(xi,yi)(i=1,2,.,n),設(shè)線性關(guān)系式為y=a+bx,最小二乘法求出a,b。,.,9,2、多元性擬合,設(shè)變量y與n個變量x1,x2,xn(n1)內(nèi)在聯(lián)系是線性的，即有y=a0+ajxj(j=1,.,n)。,.,10,擬合函數(shù)y=aebx,3、指數(shù)函數(shù)的擬合,單擊添加,lny=lna+bx,Y=lnyb0=lna,Y=b0+bx,得到一組數(shù)據(jù)(xi,yi)(i=1,.,n),還可以考慮用指數(shù)函數(shù)為基函數(shù)來擬合。,.,11,擬合函數(shù)y=a+blnx,4、對數(shù)函數(shù)的擬合,單擊添加,令X=lnx,y=a+bX,得到一組數(shù)據(jù)(xi,yi)(i=1,.,n),還可以考慮用對數(shù)函數(shù)為基函數(shù)來擬合。,.,12,OLSE的一般假設(shè),解釋變量xi為確定型變量,樣本容量大于解釋變量個數(shù),等方差不相關(guān),5、脫離一般假設(shè)的最小二乘估計(jì),.,13,在實(shí)際應(yīng)用中，采集到的數(shù)據(jù)不一定滿足OLSE(ordinaryleastsquareestimation)的一般假設(shè)，即會出現(xiàn)異方差問題。利用得到的數(shù)據(jù)進(jìn)行殘差圖檢驗(yàn)，若殘差圍繞e=0這條線波動，則滿足基本假設(shè)，否則，便是異方差現(xiàn)象。對于這種問題的處理，我們引入加權(quán)最小二乘估計(jì)。,.,14,5.1加權(quán)原理,在等方差條件下，偏差平方和S中每一項(xiàng)的地位是相同的；在異方差條件下，誤差項(xiàng)方差i2大的在S中的作用偏大。加權(quán)最小二乘估計(jì)（WLS,weightedleastsquare）的方法是在平方和中加入一適當(dāng)?shù)臋?quán)數(shù)i，以調(diào)整各項(xiàng)在平方和中的作用。,.,15,5.2權(quán)數(shù)的取定,為消除異方差的影響，使各項(xiàng)的地位相同，觀測值的權(quán)數(shù)取觀測值誤差項(xiàng)方差的倒數(shù)，即i=1/i2在實(shí)際問題中，i2通常是未知的，當(dāng)自變量水平以系統(tǒng)的形式變化時，取i=1/xi2,.,16,5.3WLS模型,加權(quán)后的