第4章 多元相關與回歸分析及R使用(王斌會)

第4章多元相關與回歸分析及R使用,多元統(tǒng)計分析及R語言建模,-1-,王斌會教授,多元統(tǒng)計分析及R語言建模,4多元相關與回歸分析及R使用,內(nèi)容與要求,內(nèi)容：變量間的關系分析與回歸分析。多元相關回歸分析的目的和基本思想，回歸變量選擇及逐步回歸分析方法。,要求：在學生已具有的（一元）相關與回歸分析的基礎知識上，掌握和應用多元線性相關與回歸分析。,多元統(tǒng)計分析及R語言建模,第4章多元相關與回歸分析及R使用,4.1變量間的關系分析,1簡單相關分析的R計算,2一元線性回歸分析的R計算,4多元相關與回歸分析及R使用,4.1變量間的關系分析,4多元相關與回歸分析及R使用,兩變量線性相關系數(shù),樣本的線性相關系數(shù)：,離均差平方和與離均差積和：,.,4.1變量間的關系分析,4多元相關與回歸分析及R使用,說明與舉例,舉例：【例4-1】（續(xù)例2-2）身高與體重的相關關系分析。下面以例2-2的身高與體重數(shù)據(jù)分析。,先建立一個離均差積和函數(shù)：,.,4.1變量間的關系分析,4多元相關與回歸分析及R使用,數(shù)據(jù)輸入：讀取身高與體重的數(shù)據(jù),數(shù)據(jù)輸出：,plot(x1,x2),直觀分析：圖示法通過散點圖看身高與體重的關系,x1=c(171,175,159,155,152,158,154,164,168,166,159,164)x2=c(57,64,41,38,35,44,41,51,57,49,47,46),.,4.1變量間的關系分析,4多元相關與回歸分析及R使用,建立離均差乘積和函數(shù)：,數(shù)據(jù)輸出：,lxyF)x171207771207727427|t|)(Intercept)-1.196601.16126-1.030.311x1.116230.00674165.61|t|)(Intercept)23.53210884.59907145.1172.47e-05*x1-0.00338660.0080749-0.4190.678x21.16411500.040488928.7512e-16*x30.00029190.00855270.0340.973x4-0.04374160.0092638-4.7227.00e-05*Signif.codes:0*0.001*0.01*0.05.0.11Residualstandarderror:2.79on26degreesoffreedomMultipleR-squared:0.9997,AdjustedR-squared:0.9997F-statistic:2.289e+04on4and26DF,p-value:2.2e-16,summary(fm)#多元線性回歸系數(shù)t檢驗lm(formula=yx1+x2+x3+x4,data=yX)Residuals:Min1QMedian3QMax-5.0229-2.13540.32971.26396.9690,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,在相關分析中，研究較多的是兩個變量之間的關系，稱為簡單相關；當涉及到的變量為三個或者三個以上時，稱為偏相關或復相關。實際上，偏相關和復相關是對簡單相關的一種推廣。,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,設樣本矩陣為：,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,此時任意兩個變量間相關系數(shù)構成的矩陣為：,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,其中rij為任意兩變量之間的簡單相關系數(shù)：,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,舉例與說明,(續(xù)例4.4)財政收入與其他變量間的相關分析。計算財政收入和國民生產(chǎn)總值及稅收、進出口貿(mào)易總額、經(jīng)濟活動人口兩兩之間相關系數(shù)，表4.9給出了相關系數(shù)的假設檢驗統(tǒng)計量。首先我們計算變量兩兩間的相關系數(shù),多元統(tǒng)計分析及R語言建模,4.3多元相關分析,#多元數(shù)據(jù)相關系數(shù)矩陣cor(yX),R語言代碼,數(shù)據(jù)輸出,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,函數(shù)說明,由于沒有現(xiàn)成的進行相關系數(shù)矩陣的假設檢驗，下面編寫計算相關系數(shù)的值和值的函數(shù)corr.test()。,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,library(mvstats)#多元數(shù)據(jù)相關系數(shù)檢驗corr.test(yX),R語言代碼,數(shù)據(jù)輸出,從結果可以看出，財政收入和國民生產(chǎn)總值及稅收、進出口貿(mào)易總額、經(jīng)濟活動人口之間的關系都非常密切，財政收入與稅收之間的關系最為密切。,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,復相關分析,在實際分析中，一個變量的變化往往要受到多種變量的綜合影響，這時就需要采用復相關分析方法。所謂復相關，就是研究多個變量同時與某個變量之間的相關關系，度量復相關程度的指標是復相關系數(shù)。,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,假定回歸模型為：,復相關系數(shù),多元統(tǒng)計分析及R語言建模,4.3多元相關分析,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,復相關系數(shù)計算公式為：,復相關系數(shù),多元統(tǒng)計分析及R語言建模,4.3多元相關分析,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,復相關系數(shù)：,決定系數(shù),決定系數(shù)：,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,#顯示多元線性回歸模型決定系數(shù)(R2=summary(fm)$r.sq),R語言代碼,數(shù)據(jù)輸出,#顯示多元數(shù)據(jù)復相關系數(shù)(R=sqrt(R2),10.9997,10.9999,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,多元回歸分析主要用途,用于描述解釋現(xiàn)象,這時希望回歸方程中所包含的自變量盡可能少一些,用于預測,這時希望預測的均方誤差較小,用于控制,這時希望各回歸系數(shù)具有較小的方差和均方誤差,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,變量太多，容易引起的問題,變量多增加了模型的復雜,計算量增大,估計和預測的精度下降,模型應用費用增加,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,解決方法,全部子集法,向后刪除法,向前引入法,逐步回歸法,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,全局最優(yōu)法,從理論上說，自變量選擇最好的方法是所有可能回歸法，即建立因變量和所有自變量全部子集組合的回歸模型，也稱全部子集法。,對于每個模型，在實用上，從數(shù)據(jù)與模型擬合優(yōu)劣的直觀考慮出發(fā)，基于殘差（誤差）平方和的變量選擇準則使用的最多。,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,舉例與說明,【例4.6】（續(xù)例4.4）在“財政收入”數(shù)據(jù)中，有4個自變量：x1,x2,x3,x4。所有可能的模型可分為5組子集：,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,舉例與說明,例4.4數(shù)據(jù)的RSS與R2準則回歸子集:,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,library(leaps)#加載leaps包varsel=regsubsets(yx1+x2+x3+x4,data=yX)result=summary(varsel)data.frame(resultoutmat,RSS=resultrss,R2=result$rsq),R語言代碼,數(shù)據(jù)輸出,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,R2和RSS準則優(yōu)缺點,具有較大R2的對較少自變量的模型應該是好的選擇，較大的意味著有好的擬合效果，而較少的變量個數(shù)可減輕信息的收集和控制。,對于有個自變量的回歸模型來說，當自變量子集在擴大時，殘差平方和隨之減少。因此，如果按RSS“愈小愈好”和按R2”愈大愈好”的原則來選擇自變量子集，則毫無疑問應該選全部自變量,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,變量選擇的常用準則,平均殘差平方和最小準則,誤差均方根MSE最小準則,校正復相關系數(shù)平方（AdjustedR2）準則,Cp準則,AIC準則BIC準則,多元統(tǒng)計分析及R語言建模,舉例與說明,表4.10例4.4數(shù)據(jù)的Cp與BIC準則回歸子集,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,4.3多元相關分析,data.frame(resultoutmat,adjR2=resultadjr2,Cp=resultcp,BIC=result$bic),R語言代碼,數(shù)據(jù)輸出,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,全局擇優(yōu)法的缺陷,如果自變量個數(shù)為4，則所有的回歸有15個，當自變量個數(shù)為10時，所有可能的回歸為1023個，當自變量數(shù)個數(shù)為50時，所有可能的回歸為1015個，當p很大時，數(shù)字2p大得驚人，有時計算是不可能的，于是就提出了所謂逐步回歸的方法.,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,逐步回歸分析,在作實際多元線性回歸時常有這樣情況,變量x1,x2,.xp相互之間常常是線性相關的，即在x1,x2,.xp中任何兩個變量是完全線性相關的,即相關系數(shù)為1,則矩陣XTX的秩小于p,XTX就無解。當變量x1,x2,.xp中任有兩個變量存在較大的相關性時,矩陣XTX處于病態(tài),會給模型帶來很大誤差。因此作回歸時,應選變量x1,x2,.xp中的一部分作回歸,剔除一些變量。逐步回歸法就是尋找較優(yōu)子空間的一種變量選擇方法。,多元統(tǒng)計分析及R語言建模,4.4回歸變量的選擇方法,多元統(tǒng)計分析及R語言建模,逐步變量選擇的方法,向前引入法,向后剔除法,逐步篩選法,多元統(tǒng)計分析及R語言建模,fm=lm(yx1+x2+x3+x4,data=yX)fm.step=step(fm,directio