系列5spss之回歸分析課件91

1、第第9 9章章 回歸分析回歸分析本章主要內(nèi)容本章主要內(nèi)容p線性回歸分析線性回歸分析p曲線估計(jì)曲線估計(jì)p二項(xiàng)二項(xiàng)Logistic回歸回歸第第1 1節(jié)節(jié) 線性回歸線性回歸基礎(chǔ)知識(shí)回顧基礎(chǔ)知識(shí)回顧p一元線性回歸一元線性回歸p多元線性回歸多元線性回歸p殘差分析殘差分析p其他問題其他問題1 1 一元線性回歸一元線性回歸例例1 1 x x鋼材中碳的含量鋼材中碳的含量, y , y 合金鋼的強(qiáng)度合金鋼的強(qiáng)度 需了解需了解y y與與x x之間的關(guān)系之間的關(guān)系 iX(%)Y(kg/mm2)123456789100.030.040.050.070.090.100.120.150.170.2040.539.541.

2、041.543.042.045.047.553.056.00.050.050.100.100.150.150.200.203030404050506060一元線性一元線性(總體總體)回歸模型回歸模型 一般地，假設(shè)一般地，假設(shè) ), 0()(, 0)(2210NVarExy或進(jìn)一步假設(shè)其中其中為隨機(jī)誤差為回歸系數(shù))(,10tscoefficienregression變量為回歸變量為響應(yīng))(,)(regressorxresponsey最小二乘法（圖示）(經(jīng)驗(yàn)經(jīng)驗(yàn))回歸方程回歸方程)(110 xxyxyxy10u t 檢驗(yàn)檢驗(yàn)u 方差分析法方差分析法(F 檢驗(yàn)檢驗(yàn))u 相關(guān)系數(shù)法相關(guān)系數(shù)法0:0:1

3、110HH回歸的顯著性檢驗(yàn)回歸的顯著性檢驗(yàn)(significance of regression)SST = SSR + SSRes總平方和總平方和（SST）回歸平方和回歸平方和（SSR）ResF檢驗(yàn)（檢驗(yàn)（方差分析法）方差分析法）檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量FF F (1,n-2),拒絕域拒絕域 反映反映y的變化由的變化由x解釋的比例解釋的比例, 回歸直線與樣本觀測值的擬合優(yōu)度回歸直線與樣本觀測值的擬合優(yōu)度, 取值范圍在取值范圍在 0 , 1 之間之間, r2 1，說明，說明y的變化大部分由回歸的變化大部分由回歸 方程解釋方程解釋,擬合優(yōu)度好擬合優(yōu)度好, r2 0，擬合優(yōu)度差擬合優(yōu)度差決定系數(shù)決定系

4、數(shù)回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)修正決定系數(shù)修正決定系數(shù)) 1/()/(1Re2nSSpnSSRTsAdj1.1.反映實(shí)際觀察值在回歸直線周圍的分散狀況；反映實(shí)際觀察值在回歸直線周圍的分散狀況；2.2.說明了回歸直線的擬合程度（衡量回歸方程的說明了回歸直線的擬合程度（衡量回歸方程的代表性，代表性，測定回歸估計(jì)的精度測定回歸估計(jì)的精度）；）；回歸標(biāo)準(zhǔn)誤差回歸標(biāo)準(zhǔn)誤差例例1 ads.sav:利用線性回歸分析利用線性回歸分析 廣告收入與消費(fèi)之間廣告收入與消費(fèi)之間的關(guān)系的關(guān)系選擇菜單中的選擇菜單中的“Analyze = Regression = Linear”選項(xiàng)，選項(xiàng)，在彈

5、出的窗口分別選定模型的在彈出的窗口分別選定模型的因變量因變量和和自變量自變量即可。即可。結(jié)果的分析結(jié)果的分析1.Unstandardized Coefficients B 回歸系數(shù)回歸系數(shù)(參數(shù)參數(shù))的的估計(jì)估計(jì)值值 和和 。2.Unstandardized Coefficients Std. Error 估計(jì)量估計(jì)量 和和 的的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差。3.Standardized Coefficients Beta 表示若事先把應(yīng)變量表示若事先把應(yīng)變量 Y 和自變量和自變量 X 標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化后再來作回歸所得到的回歸系數(shù)后再來作回歸所得到的回歸系數(shù)(參參數(shù)數(shù))的估計(jì)值。注意的估計(jì)值。注意此時(shí)此時(shí) 0 的

6、估計(jì)值一定是的估計(jì)值一定是0。4.t 估計(jì)值估計(jì)值 和和 的的 t-檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量的值的值(t-值值)，其值等，其值等于于估計(jì)值估計(jì)值除以除以該估計(jì)量的該估計(jì)量的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差。5.Sig. 相應(yīng)于各相應(yīng)于各 t-值的值的雙邊雙邊假設(shè)檢驗(yàn)的假設(shè)檢驗(yàn)的 p-值值。缺省原假缺省原假設(shè)為設(shè)為 H0: 0 = 0 或或 1 = 0。 0 1 0 1 0 1從輸出結(jié)果可以知道，我們得到的擬合直線是從輸出結(jié)果可以知道，我們得到的擬合直線是y = 37.187 + 1.209 x。 也即也即 = 37.187， = 1.209。上述結(jié)果表明：上述結(jié)果表明：1. = 37.187 表明，如果不作任何廣告推

7、廣，則商品的表明，如果不作任何廣告推廣，則商品的(周周)銷售額為銷售額為 37.187(萬元萬元)。2. = 1.209 表明，每增加表明，每增加 1 萬元的廣告投入，會(huì)導(dǎo)致萬元的廣告投入，會(huì)導(dǎo)致 1.209 萬元的銷售收入的增加。萬元的銷售收入的增加。3. 0 表明，廣告投入于銷售收入之間有一定的表明，廣告投入于銷售收入之間有一定的正比關(guān)正比關(guān)系系. 0 1 0 1 12 多元線性回歸模型多元線性回歸模型例例:某公司為了了解營銷手段對(duì)某一種某公司為了了解營銷手段對(duì)某一種食品產(chǎn)品的銷售量產(chǎn)生的影響，統(tǒng)食品產(chǎn)品的銷售量產(chǎn)生的影響，統(tǒng)計(jì)了三年期間的周銷售數(shù)據(jù)，見計(jì)了三年期間的周銷售數(shù)據(jù)，見SPSS

8、數(shù)據(jù)文件數(shù)據(jù)文件 food.sav。kkxxxy.22110多元線性回歸模型多元線性回歸模型假設(shè)假設(shè)2)(Var0)(EkkxxxyE.)(22110回歸系數(shù)的最小二乘估計(jì)回歸系數(shù)的最小二乘估計(jì)YXXX1)(ssMSpnSSReRe2的估計(jì)2(經(jīng)驗(yàn)經(jīng)驗(yàn))回歸方程回歸方程jkjjxxy10 反映反映y的變化由的變化由x解釋的比例解釋的比例, 回歸直線與樣本觀測值的擬合優(yōu)度回歸直線與樣本觀測值的擬合優(yōu)度, 取值范圍在取值范圍在 0 , 1 之間之間, r2 1，說明，說明y的變化大部分由回歸的變化大部分由回歸 方程解釋方程解釋,擬合優(yōu)度好擬合優(yōu)度好, r2 0，擬合優(yōu)度差擬合優(yōu)度差決定系數(shù)決定系數(shù)

9、回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)修正決定系數(shù)修正決定系數(shù)) 1/()/(1Re2nSSpnSSRTsAdj1.1.反映實(shí)際觀察值在回歸直線周圍的分散狀況；反映實(shí)際觀察值在回歸直線周圍的分散狀況；2.2.說明了回歸直線的擬合程度（衡量回歸方程的說明了回歸直線的擬合程度（衡量回歸方程的代表性，代表性，測定回歸估計(jì)的精度測定回歸估計(jì)的精度）；）；回歸標(biāo)準(zhǔn)誤差回歸標(biāo)準(zhǔn)誤差回歸的顯著性檢驗(yàn)（回歸的顯著性檢驗(yàn)（F檢驗(yàn)）檢驗(yàn)）0,.,:H 0.: 211210不全為kkH) 1,() 1/(/ ReReknkFMSMSknSSkSSFsRsRk,.,2 , 1j 0 :H 0 :H

10、j1j0回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)檢驗(yàn)) 1( t0kntcjjj例例2 :某公司為了了解營銷手段對(duì)某一種某公司為了了解營銷手段對(duì)某一種食品產(chǎn)品的銷售量產(chǎn)生的影響，統(tǒng)食品產(chǎn)品的銷售量產(chǎn)生的影響，統(tǒng)計(jì)了三年期間的周銷售數(shù)據(jù)，見計(jì)了三年期間的周銷售數(shù)據(jù)，見SPSS數(shù)據(jù)文件數(shù)據(jù)文件 food.sav。以周銷售量為因變量以周銷售量為因變量,促銷價(jià)格和特色廣告促銷價(jià)格和特色廣告為自變量為自變量,建立線性回歸模型建立線性回歸模型. SPSS操作操作 仍選擇菜單中的仍選擇菜單中的“Analyze = Regression = Linear”選項(xiàng)，選項(xiàng)， 回歸方程為回歸方程為 vol =

11、171500.1171500.1 9042.69042.6 promp + 100.7 feat + 經(jīng)檢驗(yàn)，上式中各變量經(jīng)檢驗(yàn)，上式中各變量(的參數(shù)的參數(shù))均是均是顯著顯著(0)的。的。 上式結(jié)果表明：上式結(jié)果表明：如果特色廣告保持不變?nèi)绻厣珡V告保持不變，則促銷價(jià)，則促銷價(jià)格每上漲一元，周銷售下跌格每上漲一元，周銷售下跌9042.6元；元；如果促銷價(jià)如果促銷價(jià)格保持不變格保持不變，則每增加一元的特色廣告投入，會(huì)帶，則每增加一元的特色廣告投入，會(huì)帶來來100.7元的周銷售量的增加。元的周銷售量的增加。3 3 殘差分析殘差分析殘差殘差(residual)iiiyyeu 度量了數(shù)據(jù)和擬合值間的偏

12、離度量了數(shù)據(jù)和擬合值間的偏離u反映了反映變量中不能由回歸模型解釋的部分反映了反映變量中不能由回歸模型解釋的部分u 的實(shí)現(xiàn)的實(shí)現(xiàn)(觀測觀測)值值是以自變量是以自變量x x作橫軸（或以因變量回歸值作橫軸）作橫軸（或以因變量回歸值作橫軸）以殘差作縱軸，將相應(yīng)的殘差點(diǎn)畫在直角坐標(biāo)以殘差作縱軸，將相應(yīng)的殘差點(diǎn)畫在直角坐標(biāo)系上，就可得到殘差圖系上，就可得到殘差圖. .殘差圖殘差圖:正常的殘差圖正常的殘差圖異方差異方差異方差異方差非線性非線性正態(tài)概率圖正態(tài)概率圖如果正態(tài)性假設(shè)成立如果正態(tài)性假設(shè)成立, ,那么圖中的點(diǎn)將形成一條直線那么圖中的點(diǎn)將形成一條直線目的目的: :檢驗(yàn)?zāi)Ｐ偷恼龖B(tài)性假設(shè)檢驗(yàn)?zāi)Ｐ偷恼龖B(tài)性假設(shè)

13、1. 00. 80. 60. 40. 20. 0O bserved C um P robO bserved C um P rob1. 00. 80. 60. 40. 20. 0E xpected C um P robE xpected C um P robD ependent V ari abl e: 民航客運(yùn)量（萬人）D ependent V ari abl e: 民航客運(yùn)量（萬人）N orm al P -P P l ot of R egressi on S tandardi zed R esi dualN orm al P -P P l ot of R egressi on S tanda

14、rdi zed R esi dualp異常值: y空間上的異常值點(diǎn)l標(biāo)準(zhǔn)化殘差l學(xué)生化殘差iiiiiiheSREeZRE1刪除殘差刪除學(xué)生化殘差iiiiiheSRE1)()(iiiihee1)(觀測值為異常值時(shí)，或3|3, 3)(iiiSRESREZRE例例3 civil.sav: 研究我國民航客運(yùn)量的變化趨勢與成因研究我國民航客運(yùn)量的變化趨勢與成因并作殘差分析并作殘差分析例例4 高?？蒲醒芯扛咝？蒲醒芯? 研究立項(xiàng)課題數(shù)受哪些因素影響研究立項(xiàng)課題數(shù)受哪些因素影響.并作殘差分析并作殘差分析4 4 其他問題其他問題 第第 1步：步： 首先將全部首先將全部K個(gè)回歸變量，分別對(duì)響應(yīng)變個(gè)回歸變量，分別

15、對(duì)響應(yīng)變量量y建立建立K個(gè)一元線性回歸方程，并分別個(gè)一元線性回歸方程，并分別 計(jì)計(jì)算這算這K個(gè)一元線性回歸方程的個(gè)一元線性回歸方程的K個(gè)回歸系數(shù)個(gè)回歸系數(shù)的的F檢驗(yàn)值，設(shè)起其最大值為檢驗(yàn)值，設(shè)起其最大值為F,若若 FFin 將所對(duì)應(yīng)的回歸變量首先引入回歸將所對(duì)應(yīng)的回歸變量首先引入回歸 方程方程,設(shè)引入的變量為設(shè)引入的變量為x1。l一、前進(jìn)法一、前進(jìn)法(forward selection)逐步回歸法逐步回歸法回歸方程中回歸方程中 的回歸系數(shù)進(jìn)行偏的回歸系數(shù)進(jìn)行偏F檢驗(yàn)檢驗(yàn),若其最大檢驗(yàn)統(tǒng)計(jì)量若其最大檢驗(yàn)統(tǒng)計(jì)量 y分別與分別與建立建立K-1個(gè)二元線性回歸方程，再對(duì)這個(gè)二元線性回歸方程，再對(duì)這K-1

16、個(gè)個(gè)將所對(duì)應(yīng)的回歸變量引入回歸方程。將所對(duì)應(yīng)的回歸變量引入回歸方程。 第第2步：步：),(),(),(13121KxxxxxxKxxx,32inFF 入方程的回歸變量的入方程的回歸變量的F F值均小于值均小于 時(shí)時(shí) 為止。這時(shí)，得到的回歸方程就是最終確定為止。這時(shí)，得到的回歸方程就是最終確定的方程。的方程。 依上述方法接著做下去。直至所有未被引依上述方法接著做下去。直至所有未被引 第第3步：步：inF 第第 1步：步： 首先將全部首先將全部K個(gè)回歸變量，對(duì)響應(yīng)變量個(gè)回歸變量，對(duì)響應(yīng)變量y建建立線性回歸方程，并分別立線性回歸方程，并分別 計(jì)算計(jì)算K個(gè)回歸系個(gè)回歸系數(shù)的偏數(shù)的偏F檢驗(yàn)值，設(shè)起其最小

17、值為檢驗(yàn)值，設(shè)起其最小值為F,若若 FFin 將所對(duì)應(yīng)的回歸變量首先引入回歸將所對(duì)應(yīng)的回歸變量首先引入回歸 方程方程,設(shè)引入的變量為設(shè)引入的變量為x1。l三、逐步回歸法三、逐步回歸法(stepwise regression)回歸方程中回歸方程中 的回歸系數(shù)進(jìn)行偏的回歸系數(shù)進(jìn)行偏F檢驗(yàn)檢驗(yàn),若其最大檢驗(yàn)統(tǒng)計(jì)量若其最大檢驗(yàn)統(tǒng)計(jì)量 y分別與分別與建立建立K-1個(gè)二元線性回歸方程，再對(duì)這個(gè)二元線性回歸方程，再對(duì)這K-1個(gè)個(gè)將所對(duì)應(yīng)的回歸變量引入回歸方程。設(shè)引入將所對(duì)應(yīng)的回歸變量引入回歸方程。設(shè)引入的回歸變量為的回歸變量為x2 第第2步：步：),(),(),(13121KxxxxxxKxxx,32inF

18、F 檢驗(yàn)的回歸系數(shù)進(jìn)行顯著性再對(duì)1x刪除將若1,xFFout 依上述方法接著做下去。直至沒有引入依上述方法接著做下去。直至沒有引入也沒有刪除的回歸變量也沒有刪除的回歸變量, 這時(shí)，得到的回歸方這時(shí)，得到的回歸方程就是最終確定的方程。程就是最終確定的方程。 第第3步：步：應(yīng)用回歸分析設(shè)回歸模型ppxxxy22110 存在完全的多重共線性，即對(duì)設(shè)計(jì)矩陣X的列向量存在不完全為零的一組數(shù)c0,c1,c2,cp，使得：nixcxcxccippii, 2, 1, 022110應(yīng)用回歸分析1*)*()(XXcCijjjjcVIF211jjjRc10jVIFjx量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會(huì)會(huì)過度地影響最小二乘估計(jì)值?？梢宰C明：方差擴(kuò)大