多元線性回歸和非線性回歸課件

1、多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件22110)(xxyE1. 表示 保持不變時(shí)， 每變動(dòng)一個(gè)單位時(shí)的相應(yīng)變化量.2. 表示 保持不變時(shí)， 每變動(dòng)一個(gè)單位時(shí)的相應(yīng)變化量.21x1x)(yE22110 xxy考慮二元線性回歸模型12x2x)(yE多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件例例1 1 生產(chǎn)總值是衡量一個(gè)國(guó)家地區(qū)經(jīng)濟(jì)發(fā)展的重要指標(biāo)，影響一個(gè)國(guó)家或地區(qū)生產(chǎn)總值的因素包括資本、資源、科技、

2、勞動(dòng)力、進(jìn)出口、國(guó)家基礎(chǔ)設(shè)施建設(shè)等方面的因素。本例研究財(cái)政支出對(duì)生產(chǎn)總值的影響。 中國(guó)統(tǒng)計(jì)年鑒把財(cái)政支出劃分為31個(gè)組成部分，本例只選取其中的13個(gè)重要支出項(xiàng)。多元線性回歸和非線性回歸課件CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.1

3、57.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)x1x2x3x4x5x6x7x8x9x10 x11x12x13Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficie

4、ntstSig.Dependent Variable: ya. 回歸系數(shù)表用spss軟件計(jì)算的回歸系數(shù)如下：多元線性回歸和非線性回歸課件123456789101112134122901 25.70226.7415.87895.66842.28811.724187.53250.28058.08281.72646.79154.81741.123yxxxxxxxxxxxxx 多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件 對(duì)多元回歸，總方差同樣可分解成如下形式SSRSSESST則決定系數(shù)為(12.6)(12.7)多元線性回歸和非線性回歸課件 多重決定系數(shù)反映樣本回歸方程的擬合好壞程度，R

5、愈大，說(shuō)明樣本回歸方程擬合得愈好。顯然， . 而稱(chēng) y 關(guān)于 的樣本復(fù)相關(guān)系數(shù)，R 的大小可以反映作為一個(gè)整體的與 y 的線性相關(guān)的密切程度.102 R2121)()(yyyySSTSSRRniiniipxxx,21pxxx,21多元線性回歸和非線性回歸課件11)1 (1) 1/()() 1/()(1221122pnnRnyypnyyRniiniii 由于樣本多重判定系數(shù)的分母 SST 對(duì)給定的樣本數(shù)據(jù)是不變的，而 SSR 與引進(jìn)回歸方程的自變量個(gè)數(shù)有關(guān).因此，應(yīng)對(duì) R 作調(diào)整，調(diào)整的樣本多重判定系數(shù)為(12.8)多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸

6、課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件前面的這些計(jì)算結(jié)果可以列成表格的形式，稱(chēng)為方差分析表. 方差分析表) 1/(/ pnSSEpSSRF) 1,( pnpF多元線性回歸和非線性回歸課件1xANOVAANOVAb b8.78E+016136.753E+01584.258.000a1.36E+015178.015E+0138.92E+01630RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), x13, x7, x2, x9, x6, x1, x3, x11,

7、 x5, x4, x10,x8, x12a. Dependent Variable: yb. 表中的Sig即為顯著性P值，由P值0.000（近似值）可知回歸方程十分顯著。即可以以99.9以上的概率斷言所有自變量全體對(duì)因變量產(chǎn)生顯著線性影響。對(duì)例對(duì)例1回歸方程的檢驗(yàn)回歸方程的檢驗(yàn):多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件對(duì)回歸系數(shù)的檢驗(yàn):CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.

8、2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.0

9、12(Constant)基本建設(shè)支出改造資金科技三項(xiàng)費(fèi)用農(nóng)業(yè)支出農(nóng)林等部門(mén)事業(yè)費(fèi)工交部門(mén)事業(yè)費(fèi)流動(dòng)部門(mén)事業(yè)費(fèi)教育事業(yè)費(fèi)科學(xué)事業(yè)費(fèi)衛(wèi)生事業(yè)費(fèi)行政管理費(fèi)公檢法司支出城市維護(hù)費(fèi)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生產(chǎn)總值a. 多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件剔除 x3科技三項(xiàng)費(fèi) 后：CoefficientsCoefficientsa a-41548855446144.26-.763.455-25.4979.557-.326

10、-2.668.01626.89116.821.2091.599.127-95.43851.869-.280-1.840.082-44.71281.932-.079-.546.5928.12262.282.010.130.898-179.053250.935-.042-.714.48550.47013.485.6803.743.001-60.391180.817-.049-.334.742-80.24339.609-.296-2.026.05847.02222.413.4252.098.05053.23034.567.4361.540.14140.62413.318.2703.050.007(C

11、onstant)基本建設(shè)支出改造資金農(nóng)業(yè)支出農(nóng)林等部門(mén)事業(yè)費(fèi)工交部門(mén)事業(yè)費(fèi)流動(dòng)部門(mén)事業(yè)費(fèi)教育事業(yè)費(fèi)科學(xué)事業(yè)費(fèi)衛(wèi)生事業(yè)費(fèi)行政管理費(fèi)公檢法司支出城市維護(hù)費(fèi)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生產(chǎn)總值a. 多元線性回歸和非線性回歸課件CoefficientsCoefficientsa a-42863285211760.28-.822.421-25.1678.976-.322-2.804.01126.51816.141.2061.643.117-9

12、1.19739.346-.268-2.318.032-46.75978.306-.082-.597.557-179.366244.347-.042-.734.47250.59913.097.6823.864.001-66.501170.062-.054-.391.700-80.01038.531-.295-2.077.05245.95220.311.4152.262.03654.73831.722.4481.726.10140.14312.460.2673.222.004(Constant)基本建設(shè)支出改造資金農(nóng)業(yè)支出農(nóng)林等部門(mén)事業(yè)費(fèi)流動(dòng)部門(mén)事業(yè)費(fèi)教育事業(yè)費(fèi)科學(xué)事業(yè)費(fèi)衛(wèi)生事業(yè)費(fèi)行政管理費(fèi)公檢法

13、司支出城市維護(hù)費(fèi)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生產(chǎn)總值a. 多元線性回歸和非線性回歸課件CoefficientsCoefficientsa a-37120144554130.63-.815.424-26.7787.522-.342-3.560.00228.31111.817.2202.396.026-101.27634.646-.297-2.923.00849.19411.897.6634.135.000-73.62922.303-.

14、272-3.301.00349.94617.028.4512.933.00832.46215.730.2662.064.05145.5859.140.3034.987.000(Constant)x1x2x4x8x10 x11x12x13Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件 水文研究中水文研究中X X和和Y Y的數(shù)量關(guān)系常常

15、不是的數(shù)量關(guān)系常常不是線性的，如線性的，如洪峰流量與流域面積洪峰流量與流域面積之間。如之間。如果用線性描述將丟失大量信息，甚至得出果用線性描述將丟失大量信息，甚至得出錯(cuò)誤結(jié)論。這時(shí)可以用錯(cuò)誤結(jié)論。這時(shí)可以用曲線估計(jì)曲線估計(jì)（Curve Curve estimationestimation）或）或非線性回歸非線性回歸(Nonlinear (Nonlinear regression) regression) 方法分析。方法分析。 本部分僅就一元非線性回歸問(wèn)題，討本部分僅就一元非線性回歸問(wèn)題，討論其參數(shù)估計(jì)。論其參數(shù)估計(jì)。多元線性回歸和非線性回歸課件一元非線性回歸方程參數(shù)估計(jì)的常用方法：一元非線性回

16、歸方程參數(shù)估計(jì)的常用方法：多元線性回歸和非線性回歸課件1，最簡(jiǎn)單最常用的方法2，通過(guò)對(duì)變量作適當(dāng)變換，將原變量的非線性關(guān) 系轉(zhuǎn)化為新變量的線性關(guān)系，建立起線性回歸方程，然后再還原為原變量，這樣建立曲線回歸方程的方法稱(chēng)為線性化法。3，首先，要確定非線性函數(shù)的類(lèi)型，然后再考慮能否通過(guò)變量變換的方法使之線性化。4，如何確定非線性函數(shù)的類(lèi)型？ 專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn) 數(shù)學(xué)方法：散點(diǎn)圖多元線性回歸和非線性回歸課件 下面列出一些常用的非線性函數(shù)的線性化變換，如果實(shí)測(cè)數(shù)據(jù)的散點(diǎn)圖大致圍繞下列的某一曲線散布，就可采用與之相應(yīng)的變換，使其轉(zhuǎn)化為線性問(wèn)題。雙曲線型指數(shù)曲線型冪函數(shù)型對(duì)數(shù)曲線型S曲線型多元線性回歸和非線性回

17、歸課件繪制散點(diǎn)圖，根據(jù)圖形和專(zhuān)業(yè)知識(shí)選取曲線類(lèi)繪制散點(diǎn)圖，根據(jù)圖形和專(zhuān)業(yè)知識(shí)選取曲線類(lèi)型（可同時(shí)選取幾類(lèi)）型（可同時(shí)選取幾類(lèi)）按曲線類(lèi)型，作曲線直線化變換按曲線類(lèi)型，作曲線直線化變換建立直線化的直線回歸方程；作假設(shè)檢驗(yàn)，計(jì)建立直線化的直線回歸方程；作假設(shè)檢驗(yàn)，計(jì)算決定系數(shù)算決定系數(shù)將變量還原，寫(xiě)出用原變量表達(dá)的曲線方程將變量還原，寫(xiě)出用原變量表達(dá)的曲線方程比較決定系數(shù)選取比較決定系數(shù)選取“最佳最佳”曲線方程曲線方程多元線性回歸和非線性回歸課件Y多元線性回歸和非線性回歸課件Y多元線性回歸和非線性回歸課件Y回歸方程為：回歸方程為： =19.7451+7.7771lnX=19.7451+7.7771

18、lnX方差分析有統(tǒng)計(jì)學(xué)意義，方差分析有統(tǒng)計(jì)學(xué)意義，P P0.00000.0000，F(xiàn) F763.50763.50，表明回歸方程有意義。，表明回歸方程有意義。確定系數(shù)為確定系數(shù)為0.990.99，表明回歸擬合原資，表明回歸擬合原資料很好。料很好。Y多元線性回歸和非線性回歸課件類(lèi)似于建立線性回歸方程的方法，根據(jù)類(lèi)似于建立線性回歸方程的方法，根據(jù)x,yx,y的原始的原始觀測(cè)資料，依據(jù)最小二乘法原理，直接尋求方程中觀測(cè)資料，依據(jù)最小二乘法原理，直接尋求方程中未知參數(shù)的最小二乘估計(jì)。未知參數(shù)的最小二乘估計(jì)。對(duì)于非線性回歸，由于回歸方程是非線性函數(shù)，對(duì)于非線性回歸，由于回歸方程是非線性函數(shù)，其正規(guī)方程組一

19、般是超越方程（非代數(shù)方程），其正規(guī)方程組一般是超越方程（非代數(shù)方程），不不能用代數(shù)方法求解，能用代數(shù)方法求解，只能用數(shù)值解法，迭代計(jì)算出只能用數(shù)值解法，迭代計(jì)算出其近似解。其近似解。多元線性回歸和非線性回歸課件多元線性回歸和非線性回歸課件0102030405060020406080住院天數(shù)X預(yù)后指數(shù)Y指數(shù)曲線指數(shù)曲線多元線性回歸和非線性回歸課件012345020406080住院天數(shù)（天）X預(yù)后指數(shù)的對(duì)數(shù)lnY多元線性回歸和非線性回歸課件Yln回歸方程為：回歸方程為： 4.037-0.0384.037-0.038X X方差分析有統(tǒng)計(jì)學(xué)意義，方差分析有統(tǒng)計(jì)學(xué)意義，P P0.00000.0000，F(xiàn)

20、 F276.38276.38，表明回歸方程有貢獻(xiàn)。，表明回歸方程有貢獻(xiàn)。確定系數(shù)為確定系數(shù)為0.95510.9551，表明回歸擬合原，表明回歸擬合原資料較好。資料較好。轉(zhuǎn)換為原方程的另一種形式：轉(zhuǎn)換為原方程的另一種形式： XXeeY038. 0)038. 0037. 4(665.56多元線性回歸和非線性回歸課件XXeYeY0396. 0038. 06066.58;665.56多元線性回歸和非線性回歸課件XXeYeY0396. 0038. 06066.58;665.56比較兩個(gè)回歸方程可見(jiàn)，對(duì)同一份樣本比較兩個(gè)回歸方程可見(jiàn)，對(duì)同一份樣本采用不同估計(jì)方法得到的結(jié)果并不相同。采用不同估計(jì)方法得到的結(jié)果并不相同。主要因?yàn)榍€直線化