回歸分析預(yù)測(cè)法

1、回歸分析預(yù)測(cè)法第一節(jié)一元線(xiàn)性回歸分析預(yù)測(cè)法一、概念（思路）根據(jù)預(yù)測(cè)變量（因變量）Y 和影響因素（自變量）X 的歷史yabx統(tǒng)計(jì)數(shù)據(jù)，建立一元線(xiàn)性回歸方程 ? ，然后代入X 的預(yù)測(cè)值，求出 Y 的預(yù)測(cè)值的方法?；竟剑?y=a+bx其中： a、b 為回歸系數(shù)，是未知參數(shù)?；舅悸罚?、利用 X ，Y 的歷史統(tǒng)計(jì)數(shù)據(jù)， 求出合理的回歸系數(shù)： a、b，確定出回歸方程2、根據(jù)預(yù)計(jì)的自變量x 的取值，求出因變量y 的預(yù)測(cè)值。二、一元線(xiàn)性回歸方程的建立1、使用散點(diǎn)圖定性判斷變量間是否存在線(xiàn)性關(guān)系例：某地區(qū)民航運(yùn)輸總周轉(zhuǎn)量和該地區(qū)社會(huì)總產(chǎn)值由密切相關(guān)關(guān)系。年份總周轉(zhuǎn)量（億噸公里） Y社會(huì)總產(chǎn)值 ( 百億元

2、 )X112.530214.536314.738415.141515.548616.852717.553818.253.5918.855某地區(qū)民航運(yùn)輸總周轉(zhuǎn)量和社會(huì)總產(chǎn)值關(guān)系圖20191817161514131211102025303540455055602、使用最小二乘法確定回歸系數(shù)使實(shí)際值與理論值誤差平方和最小的參數(shù)取值。對(duì)應(yīng)于自變量xi，預(yù)測(cè)值（理論值）為b+m*x i，實(shí)際值 yi，min (yi-b-mx i)2，求 a、b 的值。使用微積分中求極值的方法，得：由下列方程代表的直線(xiàn)的最小二乘擬合直線(xiàn)的參數(shù)公式：ymxb?nxi yixi yimnxi2( xi ) 2?by mx其中

3、 m 代表斜率， b 代表截距。一元線(xiàn)性回歸 .xls三、回歸方程的顯著性檢驗(yàn)判斷 X 、Y 之間是否確有線(xiàn)性關(guān)系，判定回歸方程是否有意義。有兩類(lèi)檢驗(yàn)方法：相關(guān)系數(shù)檢驗(yàn)法和方差分析法1、相關(guān)系數(shù)檢驗(yàn)法構(gòu)造統(tǒng)計(jì)量 rr(xix)( yiy)( xix)2( yiy)2Sxysxxsyynxi yixiyi nx2( x )2 ny2(y )2iiii相關(guān)系數(shù)的取值范圍為：-1 ，1 ，|r|的大小反映了兩個(gè)變量間線(xiàn)性關(guān)系的密切程度，利用它可以判斷兩個(gè)變量間的關(guān)系是否可以用直線(xiàn)方程表示。r 值兩變量之間的關(guān)系r=1完全正相關(guān)1>r>正相關(guān)，越接近 1，相關(guān)性越強(qiáng)。 越接近0 0，相關(guān)性

4、越弱r=0不線(xiàn)性相關(guān)負(fù)相關(guān)，越接近-1，相關(guān)性越強(qiáng)；越接-1近 0，相關(guān)性越弱r=-1完全負(fù)相關(guān)兩個(gè)變量是否存在線(xiàn)性相關(guān)關(guān)系的定量判斷規(guī)則：對(duì)于給定的置信水平，從相關(guān)系數(shù)臨界值表中查出r臨（ n-2），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量r0 比較：若|r0| r 臨（ n-2）成立，則認(rèn)為 X 、 Y 之間存在線(xiàn)性關(guān)系，回歸方程在 水平上顯著。差異越大，線(xiàn)性關(guān)系越好。反之則認(rèn)為不顯著，回歸方程無(wú)意義，變量間不存在線(xiàn)性關(guān)系。其中： n 為樣本數(shù)。2、方差分析法：方差分析的基本特點(diǎn)是把因變量的總變動(dòng)平方和分為兩部分，一部分反映因變量的實(shí)際值與用回歸方程計(jì)算出的理論值之差，一部分反映理論值與實(shí)際值的平均值

5、之差。Y 的總變差 =Y 的殘余變差 +Y 的說(shuō)明變差， SST=SSE+SSR或：總離差平方和=剩余平方和 +回歸平方和( yiy)2?)2?yi )2( yi yi(yi( yiy)2 n個(gè)數(shù)據(jù)和其平均值的偏 離程度，記為 Syy( yiy?i )2 除了 X以外其它因素對(duì) Y的影響造成的，殘余變 差、不可解釋變差，記 為Q( y?iyi )2 由于 X對(duì)Y的影響造成的，說(shuō)明變 差、可解釋變差，記為 U Syy Q U回歸平方和U 與剩余平方和Q 相比越大，說(shuō)明回歸效果越好。注：在方差分析中， 已被解釋的和未被解釋的變差除以相應(yīng)的自由度的個(gè)數(shù)即變?yōu)榉讲睢 的方差是 Y 的總偏差平方和除以

6、n-1，被解釋的方差等于被解釋的變差（因?yàn)榛貧w只比估計(jì)Y的均值多用一個(gè)約束條件），殘余方差等于殘差偏差平方和除以 n-2，殘差的方差 S2 是誤差方差的無(wú)偏且一致的估計(jì)（ S 叫做回歸標(biāo)準(zhǔn)差） S2=Q/(n-m)定量判斷回歸有效性有兩種方法：(1)可決系數(shù)檢驗(yàn)法擬合優(yōu)度 統(tǒng)計(jì)量；判定系數(shù)：r2=SSR/SST=U/Syy調(diào)整的 r2=1-Q/(n-m)/Syy/(n-1)復(fù)相關(guān)系數(shù)檢驗(yàn)法：構(gòu)造統(tǒng)計(jì)量 R=SQRT1-Q/Syy=SQRT（ U/Syy）判斷規(guī)則：對(duì)于給定的置信度 ，從相關(guān)系數(shù) r 分布表中查出 r 臨（ n-m），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量R0 比較：若 R0r 臨（ n-

7、m）成立，則認(rèn)為回歸方程在 水平上顯著。反之則認(rèn)為不顯著，回歸方程無(wú)意義，變量間不存在線(xiàn)性關(guān)系。(2) F 檢驗(yàn)法：構(gòu)造統(tǒng)計(jì)量 F=（U/m-1 ） /Q/（n-m）其中： m 為變量個(gè)數(shù)（總數(shù)）； n 為樣本數(shù)。統(tǒng)計(jì)量 F 服從第一自由度為 m-1、第二自由度為 n-m的F（m-1，n-m）分布。F=r 2/(1-r 2)*(n-m)/(m-1)判斷規(guī)則：對(duì)于給定的置信度，從 F 分布表中查出F（m-1，n-m），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量F0 比較：若 F0F（m-1，n-m）成立，則認(rèn)為回歸方程在 水平上顯著。反之則認(rèn)為不顯著，回歸方程無(wú)意義，變量間不存在線(xiàn)性關(guān)系。四、回歸方程沒(méi)有通過(guò)

8、檢驗(yàn)的原因1、定性分析選擇的各變量間，本來(lái)不存在因果關(guān)系。 定性分析設(shè)想不準(zhǔn)確。2、選擇的變量間存在因果關(guān)系， 但還存在其它起著更重要作用的變量尚未列入模型之中。3、選擇變量之間的關(guān)系是非線(xiàn)性關(guān)系。五、利用檢驗(yàn)通過(guò)的回歸方程進(jìn)行預(yù)測(cè)y=6.34+0.213x點(diǎn)估計(jì)值：若給定 x 值，則 y 的預(yù)測(cè)值為 6.34+0.213*58=18.69 區(qū)間估計(jì)：標(biāo)準(zhǔn)誤差： S=sqrt( e2)/(n-m)第二節(jié)一元非線(xiàn)性回歸分析預(yù)測(cè)法思路：與一元線(xiàn)性回歸分析基本相同。 即通過(guò)變量替換將非線(xiàn)性方程轉(zhuǎn)化為線(xiàn)性方程； 使用最小二乘法建立線(xiàn)性回歸方程； 在通過(guò)逆變換將線(xiàn)性方程轉(zhuǎn)化為非線(xiàn)性方程。函數(shù)的線(xiàn)性變換及

9、逆變換是個(gè)數(shù)學(xué)問(wèn)題，不講了。例題，參見(jiàn) 160 頁(yè)：航空貨物周轉(zhuǎn)量 =a* （社會(huì)總產(chǎn)值） 196 頁(yè)， SB 機(jī)場(chǎng)空運(yùn)需求預(yù)測(cè)202 頁(yè)，利雅得國(guó)際機(jī)場(chǎng)業(yè)務(wù)量預(yù)測(cè)第三節(jié)多元回歸分析一、思路多元非線(xiàn)性回歸分析轉(zhuǎn)換為多元線(xiàn)性回歸分析，多元線(xiàn)性回歸分析， 與一元線(xiàn)性回歸分析基本相同， 只是在自變量的選定上、求解回歸方程及統(tǒng)計(jì)檢驗(yàn)等方面比一元回歸要復(fù)雜一些。設(shè)多元線(xiàn)性回歸模型為： y=b0+b1*x 1+b2*x 2+ +bm*x m二、參數(shù)求法為最小二乘法：min （ yi-（b0+b1*x 1i+b2*x 2i+ +bm*x mi ） 2分別對(duì) bj 求偏導(dǎo)數(shù)，偏導(dǎo)數(shù)等于0 時(shí)，上式取得最小值。

10、可以得到 m+1 個(gè)關(guān)于 bj 的標(biāo)準(zhǔn)方程，使用線(xiàn)性代數(shù)中的行列式解法，可以求出回歸系數(shù)bj。以二元回歸分析為例，說(shuō)明多元回歸方程的建立1、定性判斷得知，因變量Y 與自變量 X1, X2 存在線(xiàn)性相關(guān)關(guān)系。模型形式為：y=b0+b1*x 1+b2*x 2Gn2( yib0i1Gn2( yib1i1Gn2( yib2i1整理得：nb0b1x1ib0x1ib1b0x2ib1b0b1 x1ib2 x2i )( 1)0b0b1x1ib2 x2i )(x1i )0b0b1 x1ib2 x2i )( x2i ) 0得：b2x2iyib0 y b1 x1b2 x22b2x1i x2iyi x1iS1yS12

11、x1iC1S2 yS22S1y S22S12S2 yx1i x2ib22yi x2ib1x2 iAS11S12S11S22S12S21S21S22S11S1yb2C2S21S2 yS11S2 yS1y S22AS11S12S11S22S12S21S21S222、確定回歸系數(shù)b0、b1、 b2，最小二乘法。分別對(duì)b0、b1、b2 求偏導(dǎo)，令偏導(dǎo)數(shù)=0，構(gòu)成如下方程組：手工列表計(jì)算：其中：S1 y( x1ix1 )( yiy)S2 y( x2 ix2 )( yiy)S11( x1ix1 ) 2S22( x2 ix2 )2S12S21( x1i x1 )( x2i x2 )三、回歸方程的統(tǒng)計(jì)檢驗(yàn)1、

12、回歸方程的顯著性檢驗(yàn)，檢驗(yàn)回歸方程的有效性檢驗(yàn)方法有： F 檢驗(yàn)法、復(fù)相關(guān)系數(shù)檢驗(yàn)法2、回歸系數(shù)的顯著性檢驗(yàn)，檢驗(yàn)回歸系數(shù)的有效性，檢驗(yàn)方法有： t 檢驗(yàn)法構(gòu)造統(tǒng)計(jì)量t?bjt jC jjSy( yi?2Syyi )nmC jj 為矩陣 A 的擬矩陣的對(duì)角線(xiàn)上的第 j個(gè)元素S11S12AA 1IA 1C11C12AS22C21C22S21bj( x jix j ) 2t j( yiy?i ) 2nm其中： m 為變量個(gè)數(shù)； n 為樣本數(shù)。統(tǒng)計(jì)量 t 服從自由度為n-m 的 t（ n-m）分布。判斷規(guī)則：對(duì)于給定的置信度，從 t 分布表中查出t/2（ n-m），把其與用樣本計(jì)算出來(lái)的統(tǒng)計(jì)量t0

13、比較：若 t0t（n-m）成立，則認(rèn)為回歸方程在 水平上顯著。反之則認(rèn)為不顯著，回歸系數(shù)無(wú)意義，變量間不存在線(xiàn)性相關(guān)關(guān)系。統(tǒng)計(jì)假設(shè)檢驗(yàn)總結(jié)：對(duì)于一元回歸，四種檢驗(yàn)方法選一即可；對(duì)于多元回歸必須進(jìn)行t 檢驗(yàn)和 R、F 間嚴(yán)重的一種。檢驗(yàn)?zāi)康臋z驗(yàn)方法統(tǒng)計(jì)量判斷規(guī)則相關(guān)系數(shù)檢驗(yàn)法r檢驗(yàn)回歸方程的復(fù)相關(guān)系數(shù)檢驗(yàn)法R有效性F 檢驗(yàn)F檢驗(yàn)回歸系數(shù)的t 檢驗(yàn)t有效性四、例題：國(guó)外預(yù)測(cè)模型簡(jiǎn)介全行業(yè)運(yùn)量預(yù)測(cè)五、幾個(gè)基本問(wèn)題及內(nèi)在假設(shè)1、自變量的選擇（回歸分析測(cè)法的程序）1) 確定預(yù)測(cè)變量2) 確定影響預(yù)測(cè)變量的因素 定性分析 ，具有經(jīng)濟(jì)上的意義和內(nèi)在的因果關(guān)系 。3) 收集整理預(yù)測(cè)變量及其影響因素的歷史統(tǒng)計(jì)資

14、料4) 分析因變量和自變量的關(guān)系，確定回歸模型 定量分析，因變量與自變量、自變量之間的相關(guān)系數(shù)，判別因變量和自變量是否顯著相關(guān)，顯著相關(guān)的影響因素作為自變量；同時(shí)與因變量不相關(guān)或與某個(gè)自變量高度線(xiàn)性相關(guān)的自變量，應(yīng)予剔除 。實(shí)踐經(jīng)驗(yàn)確定散點(diǎn)圖分析確定理論試算（計(jì)算擬和誤差（預(yù)測(cè)誤差），選出擬和程度最好的模型5) 求解模型參數(shù)，建立回歸方程6) 檢驗(yàn)回歸方程的有效性7) 利用檢驗(yàn)通過(guò)的回歸方程進(jìn)行預(yù)測(cè)，并確定預(yù)測(cè)值的置信區(qū)間2、多元共線(xiàn)性（多重共線(xiàn)性）1） 概念：回歸分析中，自變量之間存在著相關(guān)關(guān)系，稱(chēng)這種關(guān)系為多元共線(xiàn)性。多元回歸分析的假設(shè)是自變量之間是獨(dú)立的。得出的參數(shù)估計(jì)值是不可靠的。例如

15、：某省宏觀(guān)經(jīng)濟(jì)模型中，建筑業(yè)產(chǎn)值 =2.1684+0.1601* 工業(yè)總產(chǎn)值 -0.0795* 上年工業(yè)總產(chǎn)值 +0.5651* 上年建筑業(yè)產(chǎn)值負(fù)號(hào)的出現(xiàn)很難解釋?zhuān)?上年工業(yè)總產(chǎn)值和上年建筑業(yè)產(chǎn)值存在共線(xiàn)性。2） 檢驗(yàn)多元共線(xiàn)性的方法：U 2（ m-1）分布Q 2（ n-m）分布Syy 2（ n-1）分布擬和優(yōu)度判定系數(shù)：R21Q /(nm)Syy /(n1)判定系數(shù)法：把某自變量用其它自變量進(jìn)行回歸計(jì)算，計(jì)算相應(yīng)的判定系數(shù)R2，若 R2 較大，說(shuō)明本自變量可以用其它自變量的線(xiàn)性組合替代，存在多重共線(xiàn)性?；蛘哂靡蜃兞糠謩e與含有本自變量或不含有本自變量的自變量組合進(jìn)行回歸計(jì)算，若兩者計(jì)算的判定系

16、數(shù)差不多，則說(shuō)明本自變量與其它自變量間存在多元共線(xiàn)性。逐步回歸法：逐個(gè)引進(jìn)自變量，根據(jù)R2 的變化情況判斷是否存在多重共線(xiàn)性。 若 R2 變化顯著，則不存在多重共線(xiàn)性，應(yīng)引入；若 R2 無(wú)顯著變化，則無(wú)需引入。 偏相關(guān)系數(shù)檢驗(yàn)法， 計(jì)算兩兩變量間的相關(guān)系數(shù)， 進(jìn)行分析檢驗(yàn)。3、自相關(guān)（序列相關(guān)）概念：若隨機(jī)誤差項(xiàng)在不同樣本之間存在相關(guān)性，ei 與ej相關(guān)，則稱(chēng)為序列相關(guān)；較多的是ei與eI+1之間序列相關(guān)，稱(chēng)為自相關(guān)自相關(guān)的檢驗(yàn)：達(dá)賓沃爾森檢驗(yàn)n( ?t?t 1 ) 2D .Wt2n?t2t 1計(jì)算出 D.W 值后，查達(dá)賓沃爾森檢驗(yàn)表判定是否存在自相關(guān)。 馮諾曼比檢驗(yàn) 回歸檢驗(yàn)4、線(xiàn)性假設(shè)回歸的另一假設(shè)是線(xiàn)性假設(shè)， 因變量和自變量間的關(guān)系可以用線(xiàn)性表示出來(lái)