第三章 回歸分析預測法

1、(3)1第三章第三章 回歸分析預測法回歸分析預測法(3)2第三章 目錄3.1 3.1 一元線性回歸分析預測法一元線性回歸分析預測法3.2 3.2 多元線性回歸分析預測法多元線性回歸分析預測法3.3 3.3 非線性回歸分析預測法非線性回歸分析預測法3.4 3.4 進行回歸分析預測時應注意的問題進行回歸分析預測時應注意的問題3.5 3.5 多元回歸分析預測案例多元回歸分析預測案例(3)3第三章 3.1 3.1 一元線性回歸分析預測法一元線性回歸分析預測法 是指成對的兩個變量數(shù)據(jù)分布大體上呈直是指成對的兩個變量數(shù)據(jù)分布大體上呈直線趨勢時，運用合適的參數(shù)估計方法，求出一線趨勢時，運用合適的參數(shù)估計方法

2、，求出一元線性回歸模型，然后根據(jù)自變量與因變量之元線性回歸模型，然后根據(jù)自變量與因變量之間的關系，預測因變量的趨勢。間的關系，預測因變量的趨勢。(3)4經(jīng)濟變量之間的關系經(jīng)濟變量之間的關系： y=f(x) 數(shù)學上稱函數(shù)關系。一一對應的關系。數(shù)學上稱函數(shù)關系。一一對應的關系。：y=f(x)+u 在經(jīng)濟現(xiàn)象中，這種關系大量存在，它不能由一在經(jīng)濟現(xiàn)象中，這種關系大量存在，它不能由一種（或者幾種）經(jīng)濟變量與另一經(jīng)濟變量的函數(shù)關系種（或者幾種）經(jīng)濟變量與另一經(jīng)濟變量的函數(shù)關系來表示，這種關系也稱相關關系。來表示，這種關系也稱相關關系。X為自變量（解釋為自變量（解釋變量），變量），Y為因變量（被解釋變量）

3、為因變量（被解釋變量） u為隨機擾動項。比如，供給量與價格之間的關系；為隨機擾動項。比如，供給量與價格之間的關系；單位面積土地上農單位面積土地上農 作物施肥量與收獲量之間的關系；作物施肥量與收獲量之間的關系；產品量與成本之間的關系。產品量與成本之間的關系。(3)5變量間的關系變量間的關系 確定性關系或函數(shù)關系：確定性關系或函數(shù)關系：研究的是確定性研究的是確定性現(xiàn)象非隨機變量間的關系?，F(xiàn)象非隨機變量間的關系。2,半徑半徑圓面積f 統(tǒng)計依賴或相關關系：統(tǒng)計依賴或相關關系：研究的是非確定性現(xiàn)研究的是非確定性現(xiàn)象隨機變量間的關系。象隨機變量間的關系。施肥量陽光降雨量氣溫農作物產量,f(3)6 對變量間

4、對變量間統(tǒng)計依賴關系統(tǒng)計依賴關系的考察主要是通的考察主要是通過過相關分析相關分析(correlation analysis)或或回歸回歸分析分析(regression analysis)來完成的。來完成的。 相關分析相關分析適用于所有統(tǒng)計關系。適用于所有統(tǒng)計關系。 相關系數(shù)相關系數(shù)(correlation coefficient) 正相關正相關(positive correlation) 負相關負相關(negative correlation) 不相關不相關(non-correlation) 回歸分析回歸分析僅對存在因果關系而言。僅對存在因果關系而言。(3)7 回歸分析對變量的處理方法存在不對

5、稱回歸分析對變量的處理方法存在不對稱性，即區(qū)分因變量（被解釋變量）和自性，即區(qū)分因變量（被解釋變量）和自變量（解釋變量），前者是隨機變量，變量（解釋變量），前者是隨機變量，后者不一定是。后者不一定是。(3)8 回歸分析回歸分析( (regression analysis) )是研究一個變量是研究一個變量關于另一個（些）變量的具體依賴關系的計算關于另一個（些）變量的具體依賴關系的計算方法和理論。方法和理論。 其目的其目的在于通過后者的已知或設定值，去估計在于通過后者的已知或設定值，去估計和（或）預測前者的（總體）均值。和（或）預測前者的（總體）均值。 兩類變量；兩類變量；被解釋變量被解釋變量（E

6、xplained Variable）或）或應變量應變量（Dependent Variable）。）。解釋變量解釋變量（Explanatory Variable）或）或自變量自變量（Independent Variable）。）。(3)9第一章一、一元線性回歸模型的建立一、一元線性回歸模型的建立（一）一元線性總體回歸模型（一）一元線性總體回歸模型其中，其中， ， 是未知參數(shù)，是未知參數(shù)， 是隨機擾動項。是隨機擾動項。01iiiyx01ii(3)10描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費“平均地說平均地說”也在增加，且也在增加，且Y的條件均值均落在一根正斜率的直線

7、上。的條件均值均落在一根正斜率的直線上。05001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消費支出Y（元）(3)11第三章（二）隨機誤差項的意義和標準假定（二）隨機誤差項的意義和標準假定 擾動項擾動項 包含了豐富的內容，產生的原因主要有包含了豐富的內容，產生的原因主要有以下幾個方面：以下幾個方面： 1、忽略掉的影響因素造成的誤差、忽略掉的影響因素造成的誤差 2、模型關系不準確造成的誤差、模型關系不準確造成的誤差 3、變量觀測值的計量誤差、變量觀測值的計量誤差 4、變量數(shù)據(jù)難以獲得、變量數(shù)據(jù)難以獲得(3

8、)12第三章隨機擾動項通常滿足五個假定條件：隨機擾動項通常滿足五個假定條件：(3)13第三章01iiiyxe01（三）樣本回歸模型（三）樣本回歸模型 i=1，2.n上式中，上式中， , 和和 是根據(jù)所獲得的一個樣本對是根據(jù)所獲得的一個樣本對總體回歸參數(shù)總體回歸參數(shù) 、 和和 的估計，的估計，n為樣本容為樣本容量，量， 被稱為殘差。被稱為殘差。ie01uiie(3)14樣本回歸方程樣本回歸方程 對于給定的一個樣本，總體回歸模型的近似估計為：對于給定的一個樣本，總體回歸模型的近似估計為： 上式稱為樣本回歸方程，又稱為經(jīng)驗方程，上式稱為樣本回歸方程，又稱為經(jīng)驗方程， 是是 的的估計估計 01iiyx

9、iyiyiiiyye(3)15二、一元線性回歸模型參數(shù)的估計二、一元線性回歸模型參數(shù)的估計 (3)16(3)17 根據(jù)微積分中求極值的原理，對上式中根據(jù)微積分中求極值的原理，對上式中的，求偏導，并令其為零，得到如下方的，求偏導，并令其為零，得到如下方程組：程組： 01201iiiiiiynxxyxx(3)18 解上述方程組，得出參數(shù)估計值：解上述方程組，得出參數(shù)估計值：01112211()iiiiiiiiyxyxnnn x yxyn xx (3)19 例例3-1 以我國城市居民家庭人均可支配以我國城市居民家庭人均可支配收入和恩格爾系數(shù)的關系為例說明回歸收入和恩格爾系數(shù)的關系為例說明回歸模型參數(shù)

10、的估計方法，資料見下表模型參數(shù)的估計方法，資料見下表(3)20年份人均可支配收入xi恩格爾系數(shù)yi年份人均可支配收入xi恩格爾系數(shù)yi19891373.954.519975160.346.619901510.254.219985425.144.719911700.653.819995854.042.119922026.653.020006280.039.419932577.450.320016859.638.219943496.250.020027702.837.719954283.050.120038472.237.119964838.948.8(3)21(3)22(3)23三、一元線性回歸

11、模型的檢驗三、一元線性回歸模型的檢驗 進行預測是建立回歸模型的目的，進行預測是建立回歸模型的目的，只有當所建立的回歸模型是正確的、顯只有當所建立的回歸模型是正確的、顯著有效的時，才可以利用它來進行經(jīng)濟著有效的時，才可以利用它來進行經(jīng)濟預測預測(3)24（一）經(jīng)濟意義檢驗經(jīng)濟意義檢驗 經(jīng)濟檢驗是檢驗估計出來的參數(shù)的符號、經(jīng)濟檢驗是檢驗估計出來的參數(shù)的符號、大小是否與經(jīng)濟理論和實際經(jīng)驗相符合，即是大小是否與經(jīng)濟理論和實際經(jīng)驗相符合，即是否具有經(jīng)濟意義。否具有經(jīng)濟意義。 例如，根據(jù)實際經(jīng)驗，城市居民家庭的恩例如，根據(jù)實際經(jīng)驗，城市居民家庭的恩格爾系數(shù)是隨著人均可支配收入的增加而減少格爾系數(shù)是隨著人均

12、可支配收入的增加而減少的，因此，人均可支配收入對恩格爾系數(shù)的影的，因此，人均可支配收入對恩格爾系數(shù)的影響是負向的，即人均可支配收入前的參數(shù)符合響是負向的，即人均可支配收入前的參數(shù)符合應該是負號。應該是負號。(3)25（二）統(tǒng)計檢驗（二）統(tǒng)計檢驗1、對回歸參數(shù)的檢驗（、對回歸參數(shù)的檢驗（t檢驗）檢驗） 對回歸參數(shù)的檢驗就是對回歸參數(shù)對回歸參數(shù)的檢驗就是對回歸參數(shù) 是是否顯著不為否顯著不為0的的t檢驗。只有當檢驗。只有當 顯著地顯著地不為不為0時，回歸模型中因變量和自變量之時，回歸模型中因變量和自變量之間確實存在線性關系，所建立的模型才間確實存在線性關系，所建立的模型才有統(tǒng)計意義。有統(tǒng)計意義。11

13、(3)26對回歸模型參數(shù) 進行t檢驗的程序為：(3)27續(xù)（3）查出臨界值并做出判斷）查出臨界值并做出判斷回歸系數(shù)回歸系數(shù)顯著顯著回歸系數(shù)回歸系數(shù)不顯著。不顯著。(3)282.回歸方程的擬合優(yōu)度（判別系數(shù)）回歸方程的擬合優(yōu)度（判別系數(shù)）(3)29(3)30(3)31(3)323.對回歸方程的顯著性檢驗（對回歸方程的顯著性檢驗（F檢驗）檢驗）(3)33（三）（三） 經(jīng)濟計量檢驗經(jīng)濟計量檢驗 經(jīng)濟計量檢驗主要是用來檢驗所采經(jīng)濟計量檢驗主要是用來檢驗所采用的計量經(jīng)濟方法是否令人滿意，計量用的計量經(jīng)濟方法是否令人滿意，計量經(jīng)濟方法的假設條件是否得到滿足，從經(jīng)濟方法的假設條件是否得到滿足，從而確定統(tǒng)計檢

14、驗的可靠性，主要包括隨而確定統(tǒng)計檢驗的可靠性，主要包括隨機誤差項的序列相關檢驗、異方差檢驗機誤差項的序列相關檢驗、異方差檢驗和解釋變量的多重共線性檢驗等。和解釋變量的多重共線性檢驗等。(3)34(3)35(3)36四、利用線性回歸模型進行預測四、利用線性回歸模型進行預測 如果所擬合的樣本回歸方程通過了如果所擬合的樣本回歸方程通過了各種檢驗，則該樣本回歸方程可用來進各種檢驗，則該樣本回歸方程可用來進行預測。預測分為點預測和區(qū)間預測。行預測。預測分為點預測和區(qū)間預測。(3)37（一）點預測（一）點預測(3)38（二）區(qū)間預測（二）區(qū)間預測(3)39(3)403.2多元線性回歸分析預測法多元線性回歸

15、分析預測法 一元線性回歸分析預測法討論的是一元線性回歸分析預測法討論的是一個因變量和一個自變量的回歸預測問一個因變量和一個自變量的回歸預測問題，然而在許多情況下，需要考慮一個題，然而在許多情況下，需要考慮一個因變量與多個自變量之間的回歸分析，因變量與多個自變量之間的回歸分析，及多元回歸分析。及多元回歸分析。(3)41一、多元線性回歸模型的建立一、多元線性回歸模型的建立(3)42(3)43(3)44(3)45 為了進行多元線性回歸分析，除了上一為了進行多元線性回歸分析，除了上一節(jié)提出的標準假定以外，還假定多元線節(jié)提出的標準假定以外，還假定多元線性回歸模型所包含的自變量之間不具有性回歸模型所包含的

16、自變量之間不具有較強的線性相關關系，即不存在多重共較強的線性相關關系，即不存在多重共線性線性(3)46二、多元線性回歸模型參數(shù)的估計二、多元線性回歸模型參數(shù)的估計 最小二乘原理：最小二乘原理：根據(jù)被解釋變量的所有根據(jù)被解釋變量的所有觀測值與估計值之差的平方和最小的原觀測值與估計值之差的平方和最小的原則求得參數(shù)估計量。則求得參數(shù)估計量。(3)47步驟：步驟：(3)48(3)49(3)50正規(guī)方程組的矩陣形式正規(guī)方程組的矩陣形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111YXX)X(YXXX1)(3)51(3)52三

17、、多元線性回歸模型的檢驗三、多元線性回歸模型的檢驗 同一元線性回歸模型一樣，在利用所建同一元線性回歸模型一樣，在利用所建立的多元線性回歸模型進行預測之前，立的多元線性回歸模型進行預測之前，需要對其進行各種檢驗。首先進行經(jīng)濟需要對其進行各種檢驗。首先進行經(jīng)濟理論檢驗，再進行統(tǒng)計檢驗和計量經(jīng)濟理論檢驗，再進行統(tǒng)計檢驗和計量經(jīng)濟學檢驗。學檢驗。(3)53（一）統(tǒng)計檢驗（一）統(tǒng)計檢驗1.擬合優(yōu)度檢驗擬合優(yōu)度檢驗 建立在總離差平方和分解基礎上的多元建立在總離差平方和分解基礎上的多元線性回歸模型判定系數(shù)（復判定系數(shù)）線性回歸模型判定系數(shù)（復判定系數(shù)）記為記為 ,以區(qū)別于一元線性回歸模型判定以區(qū)別于一元線性

18、回歸模型判定系數(shù)系數(shù) 。2R2r(3)542222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiiiESSRSSYYYYTSSiii22)()(總離差平方和的分解總離差平方和的分解證明：證明：該項等于該項等于0(3)55判定系數(shù)判定系數(shù) 的計算公式為：的計算公式為：2RTSSRSSTSSESSR12該統(tǒng)計量越接近于該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。，模型的擬合優(yōu)度越高。 從從R2的表達式中發(fā)現(xiàn)，如果在模型中增加解釋變量，的表達式中發(fā)現(xiàn)，如果在模型中增加解釋變量， R2往往增大。往往增大。這就給人一個錯覺：要使得模型擬合得好，只要這就給人一個錯覺：要使得模型擬

19、合得好，只要增加解釋變量即可。但是，由增加解釋變量引起增加解釋變量即可。但是，由增加解釋變量引起的的R2的增大與擬合好壞無關，所以的增大與擬合好壞無關，所以R2需調整。需調整。(3)56(3)572.回歸方程的顯著性檢驗回歸方程的顯著性檢驗 所謂所謂假設檢驗假設檢驗，就是事先對總體參數(shù)或總體分布形式，就是事先對總體參數(shù)或總體分布形式作出一個假設，然后利用樣本信息來判斷原假設是否作出一個假設，然后利用樣本信息來判斷原假設是否合理，即判斷樣本信息與原假設是否有顯著差異，從合理，即判斷樣本信息與原假設是否有顯著差異，從而決定是否接受或否定原假設。而決定是否接受或否定原假設。 假設檢驗采用的邏輯推理方

20、法是反證法。假設檢驗采用的邏輯推理方法是反證法。先假定原假先假定原假設正確，然后根據(jù)樣本信息，觀察由此假設而導致的設正確，然后根據(jù)樣本信息，觀察由此假設而導致的結果是否合理，從而判斷是否接受原假設。結果是否合理，從而判斷是否接受原假設。 判斷結果合理與否，是基于判斷結果合理與否，是基于“小概率事件不易發(fā)生小概率事件不易發(fā)生”這一原理的。這一原理的。(3)58 方程的顯著性檢驗，旨在對模型中被解釋變量方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系與解釋變量之間的線性關系在總體上在總體上是否顯著是否顯著成立作出推斷。成立作出推斷。 在多元模型中，即檢驗模型在多元模型中，即檢驗模型

21、中的中的參數(shù)參數(shù) j是否是否顯著不為顯著不為0。01122iiikkiiYXXX012:0,0,0kH1:(1,2, )0jHjk不全為(3)59 F檢驗的思想來自于總離差平方和的分解式檢驗的思想來自于總離差平方和的分解式 TSS=ESS+RSS如果這個比值較大，則如果這個比值較大，則X的聯(lián)合體對的聯(lián)合體對Y的解釋程度高，可認的解釋程度高，可認為總體存在線性關系，反之總體上可能不存在線性關系。為總體存在線性關系，反之總體上可能不存在線性關系。因此因此,可通過該比值的大小對總體線性關系進行推斷?？赏ㄟ^該比值的大小對總體線性關系進行推斷?？紤]考慮 ESS/RSS(3)60在原假設在原假設H0成立的

22、條件下，統(tǒng)計量成立的條件下，統(tǒng)計量 /( ,1)/(1)ESS kFF k nkRSSnk 給定顯著性水平給定顯著性水平 ，可得到臨界值，可得到臨界值F (k,n-k-1)，由樣本求出統(tǒng)，由樣本求出統(tǒng)計量計量F的數(shù)值，通過的數(shù)值，通過 F F (k,n-k-1) 或或 F F (k,n-k-1)來拒絕或接受原假設來拒絕或接受原假設H0，以判定原方程，以判定原方程總體上總體上的線性關系是否的線性關系是否顯著成立。顯著成立。 (3)613.各回歸參數(shù)的顯著性檢驗各回歸參數(shù)的顯著性檢驗 方程的方程的總體線性總體線性關系顯著關系顯著不等于不等于每個解每個解釋變量釋變量對被解釋變量的影響都是顯著的。對被

23、解釋變量的影響都是顯著的。 必須對每個解釋變量進行顯著性檢驗，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型以決定是否作為解釋變量被保留在模型中。中。(參考參考) 這一檢驗是由對變量的這一檢驗是由對變量的 t 檢驗完成的檢驗完成的。(3)621、t統(tǒng)計量統(tǒng)計量12)()(XXCoviiicVar2)(),(2iiiicN1122knkneiee(1)(1) (1)1jjjjjjjtt nkscnke e以以cii表示矩表示矩陣陣(XX)-1 主主對角線上的對角線上的第第i個元素個元素(3)63（二）經(jīng)濟計量檢驗（二）經(jīng)濟計量檢驗1.序列相關檢驗采用序列相關檢驗采用DW檢驗

24、法對多元線性檢驗法對多元線性回歸模型的隨機誤差項回歸模型的隨機誤差項 是否存在序列是否存在序列相關進行檢驗。相關進行檢驗。i(3)642.多重共線性檢驗的經(jīng)驗方法多重共線性檢驗的經(jīng)驗方法（1）判定系數(shù)）判定系數(shù) 值高而回歸參數(shù)顯著的值高而回歸參數(shù)顯著的t值小值小,這是多重共線性的經(jīng)典征兆。這是多重共線性的經(jīng)典征兆。（2）自變量之間有高度的兩兩相關。）自變量之間有高度的兩兩相關。（3）輔助回歸的判定系數(shù)）輔助回歸的判定系數(shù) 大于大于 ，2R2iR2R(3)65四、多元線性回歸模型的預測四、多元線性回歸模型的預測 所設定的多元線性回歸模型若通過了各所設定的多元線性回歸模型若通過了各種檢驗，則可以用

25、于預測。對于給定的種檢驗，則可以用于預測。對于給定的一組自變量一組自變量 ，因變量，因變量的點預測為：的點預測為：1 0 ,2 0 ,0(,)kxxx00110220kkoYXXX(3)66221tS ), 1 ()(, 1 (0201010201022kkxxxXXxxxS00(,)yy 記記則在顯著性水平則在顯著性水平 下，因變量的預測區(qū)間為：下，因變量的預測區(qū)間為：(3)673.3 非線性回歸分析預測法非線性回歸分析預測法一、非線性回歸分析的意義及分類一、非線性回歸分析的意義及分類 在實際經(jīng)濟活動中，經(jīng)濟變量的關系是復雜的，在實際經(jīng)濟活動中，經(jīng)濟變量的關系是復雜的，直接表現(xiàn)為線性關系的情

26、況并不多見。直接表現(xiàn)為線性關系的情況并不多見。 如著名的如著名的恩格爾曲線恩格爾曲線(Engle curves)表現(xiàn)為表現(xiàn)為冪函冪函數(shù)曲線數(shù)曲線形式、宏觀經(jīng)濟學中的形式、宏觀經(jīng)濟學中的菲利普斯曲線菲利普斯曲線（Pillips cuves）表現(xiàn)為）表現(xiàn)為雙曲線雙曲線形式等。形式等。 但是，大部分非線性關系又可以通過一些簡單但是，大部分非線性關系又可以通過一些簡單的數(shù)學處理，使之化為數(shù)學上的線性關系，從的數(shù)學處理，使之化為數(shù)學上的線性關系，從而可以運用線性回歸模型的理論方法。而可以運用線性回歸模型的理論方法。(3)68 非線性相關關系存在以下兩種情況：非線性相關關系存在以下兩種情況： 因變量和參數(shù)之間的關系是線性的，這因變量和參數(shù)之間的關系是線性的，這種情況可通過變量代換轉化為線性的形種情況可通過變量代換轉化為線性的形式式 因變量和參數(shù)之間的關系是非線性的，因變量和參數(shù)之間的關系是非線性的，有些模型可以找到適當?shù)淖儞Q而化為線有些模型可以找到適當?shù)淖儞Q而化為線性模型性模型(3)69二、幾種常見的非線性模型及其線性化方二、幾種常見的非線性模型及其線性化方法法 多項式模型 雙曲線模型 半對數(shù)模型和