第九章回歸分析和相關(guān)分析PPT

1、第九章第九章 回歸分析和相關(guān)分析回歸分析和相關(guān)分析1 9.1 相關(guān)性及其度量 9.2 一元線性回歸分析 9.3 多元線性回歸分析 9.4 回歸診斷 9.5 logistics回歸 目的：通過研究變量間的相互關(guān)系，測定其緊密程度，揭示數(shù)據(jù)后的規(guī)律，構(gòu)建模型，來進行結(jié)構(gòu)分析，政策評價，預(yù)測和控制。29.1 相關(guān)性及其度量變量間相互關(guān)系分為兩種： 函數(shù)關(guān)系：可以用某一方程y=f(x)表達 相關(guān)關(guān)系：數(shù)值變化存在不完全確定的依存關(guān)系?？梢杂媚撤N相關(guān)性度量來刻畫 相關(guān)關(guān)系相關(guān)關(guān)系相關(guān)分析；函數(shù)關(guān)系相關(guān)分析；函數(shù)關(guān)系回歸分析回歸分析；3相關(guān)的種類相關(guān)程度： 完全相關(guān) 不完全相關(guān) 不相關(guān)相關(guān)方向： 正相關(guān)

2、負相關(guān)相關(guān)形式： 線性相關(guān) 非線性相關(guān)涉及變量： 一元相關(guān) 多元相關(guān)影響因素： 單相關(guān) 復(fù)相關(guān)45 線性相關(guān)： Pearson相關(guān)系數(shù) Spearman秩相關(guān)系數(shù) Kendall相關(guān)系數(shù) H0:x和y不相關(guān) 檢驗函數(shù)：cor.tsest()6cor.test() cor.test(x, y, alternative = c(two.sided, less, greater), method = c(pearson, kendall, spearman), exact = NULL, conf.level = 0.95, .) x和y的相關(guān)系數(shù)為0.68，p值=0.030.05，故拒絕原假設(shè)，從

3、而認為x和y相關(guān)。 如何算x和y的Spearman秩相關(guān)系數(shù)？ 練習(xí)：P271，9.179.2 一元線性回歸分析 數(shù)學(xué)模型：y=0+1X+相關(guān)的函數(shù)：求回歸方程：lm()求參數(shù)置信區(qū)間：confint()summary();anova();predict()8R軟件實現(xiàn) lm(yx) summary(lm(yx)9一元線性回歸步驟 散點圖（判斷能否進行回歸分析） 回歸分析 需要對回歸系數(shù)（t值）； 擬合優(yōu)度（R方）； 方程進行檢驗（F值） 殘差分析 預(yù)測:10舉例：糧食需求量x和人口增加量y a=data.frame(x=c(274,180,375,205,86,265,98,330,195,

4、53,430,372,236,157,370),y=c(162,120,223,131,67,169,81,192,116,55,525,234,144,103,212) plot(a$x,a$y) #作x和y的散點圖 summary(lm(yx) #回歸分析結(jié)果 abline(lm(yx) #在散點圖上顯示回歸直線 plot(residuals(lm(yx) #殘差散點圖 predict(lm(yx),data.frame(x=200),interval=prediction) #x=200時的預(yù)測區(qū)間 根據(jù)顯示結(jié)果說說X和Y的關(guān)系如何？ 練習(xí)：P272，9.2119.3 多元線性回歸分析

5、數(shù)學(xué)模型：y=0+1X1+2X2+3X3+4X4+.+12數(shù)據(jù)輸入y-c(11.2, 8.8, 12.3, 11.6, 13.4, 18.3, 11.1, 12.1,9.6, 8.4, 9.3, 10.6, 8.4, 9.6, 10.9, 10.1,14.8, 9.1, 10.8, 10.2, 13.6, 14.9, 16.0, 13.2,20.0, 13.3, 10.4)x1-c(5.68, 3.79, 6.02, 4.85, 4.60, 6.05, 4.90, 7.08,3.85,4.65, 4.59, 4.29, 7.97, 6.19, 6.13, 5.71,6.40,6.06, 5.0

6、9, 6.13, 5.78, 5.43, 6.50, 7.98,11.54,5.84, 3.84)x2-c(1.90, 1.64, 3.56, 1.07, 2.32, 0.64, 8.50, 3.00,2.11, 0.63, 1.97, 1.97, 1.93, 1.18, 2.06, 1.78,2.40, 3.67, 1.03, 1.71, 3.36, 1.13, 6.21, 7.92,10.89, 0.92, 1.20)x3-c(4.53, 7.32, 6.95, 5.88, 4.05, 1.42, 12.60, 6.75,16.28, 6.59, 3.61, 6.61, 7.57, 1.4

7、2, 10.35, 8.53,4.53,12.79, 2.53, 5.28, 2.96, 4.31, 3.47, 3.37,1.20, 8.61, 6.45)x4-c(8.2, 6.9, 10.8, 8.3, 7.5, 13.6, 8.5, 11.5,7.9, 7.1, 8.7, 7.8, 9.9, 6.9, 10.5, 8.0,10.3, 7.1, 8.9, 9.9, 8.0, 11.3, 12.3, 9.8,10.5, 6.4, 9.6)A=data.frame(y,x1,x2,x3,x4)13軟件實現(xiàn) lm.reg-lm(yx1+x2+x3+x4, data=A) summary(lm.

8、reg) 有些自變量通不過檢驗怎么辦？ lm.step-step(lm.reg)AIC（赤遲信息準則，值越少越好） summary(lm.step) 練習(xí)：P245，例9.3.1149.4 回歸診斷 誤差項是否滿足不相關(guān)性、等方差性、正態(tài)性等 選擇的模型是否合適 是否存在異常樣本 回歸分析是否具備穩(wěn)定性 自變量之間是否存在高度相關(guān)，（多重共線性）15殘差分析（殘差散點圖） 殘差圖：以殘差為縱坐標的圖形。 殘差圖應(yīng)隨機在-2+2之間的帶狀區(qū)間里，稱之為正常殘差圖（圖a），其他三張為異常殘差圖。 圖b：應(yīng)改為曲線模型； 圖c：主差齊性不成立； 圖d：觀測值不獨立。16R語言實現(xiàn) y.res-res

9、iduals(lm.reg) #計算殘差 print(y.res) y.rst-rstandard(lm.reg) #計算標準化殘差 print(y.rst) y.fit-predict(lm.reg) #計算預(yù)測值 op-par(mfrow=c(1, 2) #將兩張散殘差點圖一并輸出 plot(y.resy.fit)； plot(y.rsty.fit)17方差齊性的診斷及修正方法 當(dāng)殘差的絕對值隨預(yù)測值的增加也有明顯增加的趨勢(或減少的趨勢, 或先增加后減少的趨勢)時, 表示關(guān)于誤差的方差齊性(即誤差方差 ）的假定不成立. 誤差方差非齊性時, 有時可以通過對因變量作適當(dāng)?shù)淖儞Q，使得關(guān)于因變量

10、Z在回歸中誤差的方差接近齊性.18R語言實現(xiàn) x-c(294, 247, 267, 358, 423, 311, 450, 534, 438, 697,688, 630, 709, 627, 615, 999, 1022, 1015, 700, 850,980, 1025, 1021, 1200, 1250, 1500, 1650); y-c(50, 40, 45, 55, 70, 65, 55, 62, 68, 78,80, 84, 88, 97, 100, 109, 114, 117, 106, 128,130, 160, 97, 180, 112, 210, 135) B-data.fr

11、ame(x, y) lm.reg-lm(yx);summary(lm.reg) y.rst-rstandard(lm.reg); y.fit-predict(lm.reg) op-par(mfrow=c(2, 2);plot(y.rsty.fit) lm.new_reg-update(lm.reg, sqrt(.).);coef(lm.new_reg) yn.rst-rstandard(lm.new_reg); yn.fit4/n 強影響點 DFFITS準則：|Di| 強影響點 COVRATIO準則： 離1越遠，影響越大。 influence.measures(模型)n1p222R語言實現(xiàn) x

12、1-c(1500, 1500, 3300, 4200, 2000, 2500, 2300, 2500) x2-c(5000, 4000, 3000, 2500, 2000, 2500, 3500, 3000) y-c(96000, 95000, 95000, 94000, 90000, 92000, 95000, 94000) money-data.frame(x1, x2, y) lm.reg10，模型有很強的共線性問題。 vif(lm(yx1+x2+x3+.)27Logistic回歸logistic回歸模型屬于廣義線性模型(Generalized Linear Model)的一種28R語言

13、實現(xiàn) x1-rep(c(1, 0, 1, 0, 1), c(5, 10, 10, 10, 10) x2-c(17, 44, 48, 55, 75, 35, 42, 57, 28, 20,38, 45, 47, 52, 55, 68, 18, 68, 48, 17,70, 72, 35, 19, 62, 39, 40, 55, 68, 25,17, 45, 44, 67, 55, 61, 19, 69, 23, 19,72, 74, 31, 16, 61) x3-c(1, 0, 1, 0, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0,1, 1, 0, 1, 0, 1, 1,

14、0, 1, 1, 1, 1, 0, 0, 1,0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 1, 1, 0, 1, 1) y-c(1, 0, 0, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0, 1,0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0,0, 1, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0) accident-data.frame(x1, x2, x3, y) log.glm-glm(yx1+x2+x3, family=binomial, data=accident) summa

15、ry(log.glm)29方程如果有系數(shù)沒有通過檢驗（逐步）：log.step-step(log.glm)summary(log.step)30預(yù)測 log.pre-predict(log.step, data.frame(x1=1) p1-exp(log.pre)/(1+exp(log.pre);p1 log.pre-predict(log.step, data.frame(x1=0) p2-exp(log.pre)/(1+exp(log.pre);p2319.3.1 數(shù)據(jù) y-c(162, 120, 223, 131, 67, 169, 81, 192, 116, 55,252, 232, 144, 103, 212) x1-c(274, 180, 375, 205, 86, 265, 98