《多元統(tǒng)計分析及R語言》第4章多元相關與回歸分析

問題：

如何確定身高和體重之間相關關系，如果存在關系性，如何建立數(shù)據(jù)模型對身高或體重進行預測？分析方法：相關分析和回歸分析問題提出身高171175159155152158154164168166159164體重576441383544415157494746相關與回歸相關關系平行關系相關分析依存關系回歸分析函數(shù)關系有精確的數(shù)學表達式相關與回歸一元相關分析多元相關分析復相關典型相關一元回歸多元回歸第4章多元相關與回歸分析4.1變量間的關系分析4.2多元線性回歸分析4.3多元線性相關分析4.4回歸變量的選擇方法4.1變量間的關系分析1.簡單相關分析結論：相關系數(shù)|ρ|≦1,絕對值越接近1，相關性越密切，接近0則相關性弱。計算公式：Pearson相關系數(shù)：(1)兩變量線性相關系數(shù)計算(2)相關系數(shù)檢驗結論：說明該組人群的身高與體重之間呈現(xiàn)正的線性相關關系。相關系數(shù)顯著性需進行假設檢驗。身高171175159155152158154164168166159164體重576441383544415157494746lxy<-function(x,y){n=length(x);sum(x*y)-sum(x)*sum(y)/n}#建立離均差乘積和函數(shù)lxy(x1,x1)#x1的離均差平方和[1]556.9lxy(x2,x2)#x2的離均差平方和[1]813lxy(x1,x2)#x1與x2的離均差乘積和[1]645.5(r=lxy(x1,x2)/sqrt(lxy(x1,x1)*lxy(x2,x2)))#用離均差乘積和計算相關系數(shù)r=0.9593結論：說明該組人群的身高與體重之間呈現(xiàn)正的線性相關關系。相關系數(shù)顯著性需進行假設檢驗。身高171175159155152158154164168166159164體重576441383544415157494746cor(x,y=NULL,method=c("pearson","kendall","spearman"))method計算方法，包括"pearson","kendall"或"spearman"三種，默認pearsonr=0.9593t檢驗統(tǒng)計量來自ρ=0的總體所有樣本相關系數(shù)呈對稱分布，故r的顯著性可用t檢驗來進行。（2）相關系數(shù)的假設檢驗—t檢驗n=length(x1)#向量的長度tr=r/sqrt((1-r^2)/(n-2))#相關系數(shù)檢驗t統(tǒng)計量p=2*（1-pt(tr,df=10,0.05)）=8.21×10-7#雙側檢驗結論：p<0.05,拒絕原假設，接受備則假設，ρ不顯著為0。身高和體重正相關。相關與回歸相關關系平行關系相關分析依存關系回歸分析函數(shù)關系有精確的數(shù)學表達式相關與回歸一元相關分析多元相關分析復相關典型相關一元回歸多元回歸2.一元線性回歸模型和參數(shù)估計實際值與估計值離差平方和：最小二乘法，對a，b求偏導：此處lxx表示的離差平方和，lxy表示與的離差積和。基本模型形式：參數(shù)估計（最小二乘法）(1)模型系數(shù)估計(2)模型和系數(shù)檢驗2.直線回歸方程的建立步驟（2）計算斜率:b=lxy(x,y)/lxy(x,x)=-140.364（1）確定變量：x=x1#自變量,y=x2#因變量,（3）計算截距：a=mean(y)-b*mean(x)=1.159（4）建立回歸方程（5）plot(x,y)；lines(x,a+bx)3.回歸模型假設檢驗：方差分析離差平方和的分解xyy{}}殘差平方和(SSE)扣除x對y線性影響后變異回歸平方和(SSR)x對y的線性影響離差平方和(SST)與自由度結合：F統(tǒng)計量為其中結論：p<0.05,拒絕原假設，接受備則假設，模型參數(shù)不顯著同時0。模型有意義。假設條件：原假設:b=0，模型無意義;

備擇假設：b≠0,模型有意義p=1-pf(F,df1=1,df2=(n-2))=8.21×10-7自變量個數(shù)n-1-自變量個數(shù)結論：p<0.05,拒絕原假設，接受備則假設，模型參數(shù)不顯著為0。模型有意義。t統(tǒng)計量為：其中Sb標準化為：3.回歸系數(shù)假設檢驗：t檢驗假設條件：原假設:β=0;備擇假設：β≠04實例分析

財政收入與稅收有密切的依存關系。收集了我國1978年改革開放以來到2008年共31年的稅收(x,百億元)和財政收入(y，百億元)數(shù)據(jù)。tyx197811.32625.1928197911.46385.3782198011.59935.7170198111.75796.2989198212.12337.0002………1.數(shù)據(jù)形式問題：分析稅收與財政收入之間的依存關系。

yx=read.table(“clipboard”,header=T)#加載數(shù)據(jù)(fm=lm(y~x,data=yx))#顯示一元線性回歸模型lm(formula=y~x)Coefficients:(Intercept)x-1.1971.1162.模型估計線性回歸方程為：plot(y~x,data=yx)#做散點圖abline(fm)#添加回歸線3.模型檢驗結論：F統(tǒng)計量對應的p<0.05,則拒絕原假設，模型系數(shù)不顯著為0，模型有統(tǒng)計學意義假設條件：原假設:β=0;備擇假設：β≠0

anova(fm)#模型方差分析 DfSumSqMeanSqFvaluePr(>F)x1712077712077

=27428<2.2e-16***Residuals29753264.模型系數(shù)檢驗結論：t統(tǒng)計量對應的p<0.05,則拒絕原假設，模型系數(shù)不顯著為0，模型有統(tǒng)計學意義注意：t2=F，當自變量只有1個時，方差分析與檢驗的結果是等價的。但在多元分析中，方差分析與檢驗的結果并不等價假設條件：原假設:β=0;備擇假設:β≠0summary(fm)#回歸系數(shù)t檢驗變量回歸系數(shù)標準誤t值P值截距-1.19656/1.1612

=-1.0304

0.3113x1.1162/0.0067=165.6144<2e-16***F-statistic:27428.133on1and29DF,p-value:<2.22045e-164.2多元線性回歸分析1.多元線性回歸模型建立模型基本公式：n組觀測值回歸模型：矩陣形式：2.基本假設4、n>p.即要求樣本容量個數(shù)多于解釋變量的個數(shù)。1、解釋變量（自變量）一般說來是非隨機變量2、誤差等方差及不相關假定（G-M條件）：3、誤差正態(tài)分布的假定條件為：3.多元線性回歸最小二乘估計模型基本公式：對參數(shù)β求偏導，使其實際值與估計值離差平方和最?。害鹿烙嬛禐椋航Y論：在正態(tài)性假定條件下，β的最小二乘估計與極大似然估計值完全相同。4.模型檢驗結論：F統(tǒng)計量對應的p<0.05,則拒絕原假設，模型有意義，否則，接受原假設，模型無意義。其中：SSR為回歸平方和，SSE為殘差平方和。假設條件：原假設:β1=β2=…=βn=0;備擇假設：β1,β2,…,βn

不全為0離差平方和分解：檢驗F統(tǒng)計量：5.模型估計參數(shù)檢驗結論：t統(tǒng)計量對應的p<0.05,則拒絕原假設，系數(shù)不顯著為0，有意義，否則，接受原假設，系數(shù)無意義。假設條件：原假設:βj=0;備擇假設:βj≠0檢驗t統(tǒng)計量：其中：為估計值為第j個偏回歸系數(shù)的標準誤差4實例分析財政收入:反映一國經(jīng)濟實力的重要標志.分析財政收入(y百億元)和國內(nèi)生產(chǎn)總值(x1百億元)、稅收(x2百億元)、進出口貿(mào)易總額(x3百億元)、經(jīng)濟活動人口(x4百萬人)之間的關系。tyx1x2x3x4197811.326236.2415.19283.55406.82197911.463840.3825.37824.12415.92198011.599345.1785.71705.70429.03198111.757948.6036.29898.904441.65198212.123353.0187.000212.801456.74198318.669559.5747.555915.903467.071.數(shù)據(jù)形式結論：為了消除單位數(shù)量級影響，需要對數(shù)據(jù)進行標準化或歸一化處理標準化方法：

yX=read.table("clipboard",header=T)#加載例4.4數(shù)據(jù)

YX=data.frame(scale(yX))#標準化(fm=lm(y~x1+x2+x3+x4,data=yX))#顯示多元線性回歸模型lm(formula=y~x1+x2+x3+x4)Coefficients:(Intercept)x1x2x3x423.532109-0.0033871.1641150.000292-0.0437422.模型估計多元線性回歸方程為：結論：由于前期未對數(shù)據(jù)進行標準化處理，此時需要對系數(shù)進行后期標準化處理。3.模型估計系數(shù)標準化結論：稅收對財政收入線性影響最大標準化公式為：其中：si和sy分別是各自變量和因變量的標準差。library(mvstats)coef.sd(fm)#標準化偏回歸系數(shù)結果$coef.sdx1x2x3x4-0.01741.04230.0009-0.03714.模型檢驗結論：F統(tǒng)計量對應的p<0.05,則拒絕原假設，模型系數(shù)不同時為0，模型有統(tǒng)計學意義假設條件：原假設:β1=β2=…=βn=0;備擇假設：β1,β2,…,βn

不全為0來源離均差平方和自由度均方F值P值回歸712627.36/4=178156.84=22890.80

<.0001誤差202.3541/26=7.7829總計712829.718630殘差正態(tài)性檢驗：shapiro.test(fm$residuals)#原假設正態(tài)性4.模型系數(shù)檢驗結論：稅收x2和經(jīng)濟活動人口x4的p<0.05，拒絕原假設，說明系數(shù)不顯著為0，這兩個因素對財政收入有顯著影響，國內(nèi)生產(chǎn)總值x1和進出口貿(mào)易x3未通過顯著性檢驗，未對財政收入有顯著影響，可以去掉。另：結果與經(jīng)濟現(xiàn)實不符，需要消除共線性或去除部分變量假設條件：原假設:βj=0;備擇假設:βj≠0變量回歸系數(shù)標準誤t值P值標準回歸系數(shù)x023.53214.5995.122.5e-05……x1-0.0033870.0081-0.420.68-0.01745x21.164110.040528.75<2-e-161.04235x30.0002920.00850.030.950.00096x4-0.043740.0092-4.727.0e-05-0.037104.3多元線性相關分析1.矩陣相關分析n個變量：相關系數(shù)：相關系數(shù)公式：財政收入:反映一國經(jīng)濟實力的重要標志.分析財政收入(y百億元)和國內(nèi)生產(chǎn)總值(x1百億元)、稅收(x2百億元)、進出口貿(mào)易總額(x3百億元)、經(jīng)濟活動人口(x4百萬人)之間的關系。2.實例分析問題：分析財政收入與各變量間的相關性tyx1x2x3x4197811.326236.2415.19283.55406.82197911.463840.3825.37824.12415.92198011.599345.1785.7175.70429.03198111.757948.6036.29898.904441.65198212.123353.0187.000212.801456.74198318.669559.5747.555915.903467.07結論：財政收入與和國民生產(chǎn)總值及稅收、進出口貿(mào)易總額關系顯著，與經(jīng)濟活動人口關系不夠顯著。yx1x2x3x4y10.98710.99950.99120.6957x10.987110.99070.98680.7818x20.99950.990710.99170.7154x30.99120.98680.991710.7074x40.69570.78180.71540.70741cor(yX)#多元數(shù)據(jù)相關系數(shù)矩陣3.復相關分析定義：研究多個變量同時和某個變量間的相關關系，采用復相關系數(shù)對相關性進行度量回歸模型決定系數(shù)：研究因變量與一組自變量間的相關程度。計算公式：結論：R2稱為決定系數(shù)，體現(xiàn)模型擬合程度好壞，一般大于0.8就表示模型擬合程度好。計算公式：分析財政收入(y百億元)和國內(nèi)生產(chǎn)總值(x1百億元)、稅收(x2百億元)、進出口貿(mào)易總額(x3百億元)、經(jīng)濟活動人口(x4百萬人)之間的關系。2.實例分析問題：分析財政收入與各變量間的回歸模型擬合程度。tyx1x2x3x4197811.326236.2415.19283.55406.82197911.463840.3825.37824.12415.92198011.599345.1785.7175.70429.03(R2=summary(fm)$r.sq)#多元線性回歸模型決定系數(shù)[1]0.9997(R=sqrt(R2))#多元數(shù)據(jù)復相關系數(shù)[1]0.9999結論：模型可決系數(shù)大于0.9，擬合效果好，但隨著變量增加，決定系數(shù)會增加，故不能僅僅根據(jù)其判斷模型好壞4.4回歸變量選擇方法一.變量選擇標準選擇標準常用準則平均殘差平方和最小準則誤差平方根MSE最小準則校正復相關系數(shù)平方準則Cp準則AIC準則和BIC準則全局擇優(yōu)法殘差平方和(RSS)最小復相關系數(shù)平方(R2)和最大準測1.全局擇優(yōu)法定義:從所有可能回歸模型中，按一定準則選擇最優(yōu)模型

殘差平方和(RSS)最小復相關系數(shù)平方(R2)和最大準測：模型總個數(shù)：library(leaps)#加載leaps包varsel=regsubsets(y~x1+x2+x3+x4,data=yX)#線性回歸變量選擇模型result=summary(varsel)#變量選擇方法結果data.frame(result$outmat,RSS=result$rss,R2=result$rsq)#結果展示x1x2x3x4RSSR21(1) *752.880.998942(1)**203.880.999713(1)***202.350.999724(1)****202.340.99972結論:自變量子集越多,RSS越小,R2越大,總是會選擇自變量最多,模型,且當變量較多時,產(chǎn)生模型個數(shù)會很多(2p),計算量大.2.變量選擇常用標準結論：隨著模型變量個數(shù)增加，采用(n-p)-1方式對其進行懲罰，故RMSp越小越好。（1）平均殘差平方和最小準則：結論：MSE即為剩余標準差sy.x，故MSEp越小越好。（2）誤差均方根最小準則：結論：等價誤差平方根最小，故adjR2越大越好。（3）校正復相關系數(shù)：結論：按AIC和BIC越小越好準則進行模型選擇。結論：選擇對應點（p,Cp）最接近第一象限角平分線，且Cp最?。?）Cp準則：（5）AIC和BIC準則：實例data.frame(result$outmat,adjR2=result$adjr2,Cp=result$cp,BIC=result$bic)#調(diào)整決定系數(shù),Cp和BIC準則結果展示x1x2x3x4adjR2CpBIC1(1)*0.998969.745-205.62(1)**0.99971.199-242.63(1)***0.99973.001-239.44(1)****0.99975.000-236.0結論：按最小標準，選擇x2和x4兩個變量的模型較好。4.4.2.逐步回歸分析思想：當自變量之間相關性很強時，會使模型方程無解或病態(tài)，需要將這部分變量刪除，采用逐步篩選變量，尋找較優(yōu)子空間的變量選擇方法可以實現(xiàn)這一過程。三種方法向前引入法（forward）向后剔除法（backward）逐步篩選法（stepwise）1.向前引入法：只引入不剔除向前引入法x1,yx2,yxp,y分別建立p個一元回歸模型，設置引入門檻(F進=3.87)分別對p個模型回歸系數(shù)進行F檢驗選擇最大F統(tǒng)計量且大于F進值引入模型繼續(xù)引入操作，直到F統(tǒng)計量<F進為止…缺點：沒有考慮引入變量引入方程后變?yōu)椴伙@著的情況2.向后剔除法：只剔除不引入向后剔除法分別對模型p個回歸系數(shù)進行F檢驗選擇最小F統(tǒng)計量且小于F出值剔出模型繼續(xù)剔除操作，直到F統(tǒng)計量>F出為止對所有自變量和因變量建立一個多元回歸模型，設置剔除門檻(F出)缺點：計算量大3.逐步篩選法逐步篩選法計算方程與其他變量偏回歸平方和，選擇最大F進值引入方程檢驗引入方程模型，選擇變量系數(shù)最小F統(tǒng)計量且小于F出值剔出模型選擇相關性最強的1個變量建立一元回歸方程，設置引入（F進）和剔除門檻(F出)說明:由于變量間存在相關性，單一引入或剔除沒有考慮這種相關性，影響模型變量質量。重復操作，直到既不能引入也不能剔除為止4.實例分析fm=lm(y~x1+x2+x3+x4)#多元數(shù)據(jù)線性回歸模型fm.step=step(fm,direction="forward")Start:AIC=68.15y~x1+x2+x3+x4（1）向前引入法變量選擇（2）向后剔除法變量選擇fm.step=step(fm,direction=“backward”,test=“F”)Start:AIC=68.15y~x1+x2+x3+x4DfSum

ofSqRSS

AICFPr(>F)-x310.009

202

660.00120.9730-x111

204

660.17590.6784<none>

202

68-x41174

376

8522.29547.005e-05***-x216433

6635174826.6460<2.2e-16***（2）向后剔除法變量選擇fm.step=step(fm,direction=“backward”,test=“F”)Step:AIC=66.16y~x1+x2+x4

DfSumofSqRSSAICFvaluePr(>F)-x11

2

204640.20530.6541<none>

20266-x41

197

4008526.32502.143e-05***-x21

7382

7585176985.0464<2.2e-16***Step:AIC=64.39y~x2+x4

Df

SumofSq

RSSAICFvaluePr(>F)<none>

20464-x41

549

75310375.3961.972e-09***-x21

36765536785929550491.307<2.2e-16***（3）逐步篩選法變量選擇fm.step=step(fm,direction=“both”,test=“F”)Start:AIC=68.15y~x1+x2+x3+x4DfSumofSqRSSAICFvaluePr(>F)-x310.009202660.00120.9730-x111204660.17590.6784<none>20268x411743768522.29547.005e-05***-x2164336635174826.6460<2.2e-16***（3）逐步篩選法變量選擇fm.step=step(fm,direction=“both”,test=“F”)Step:AIC=66.16y~x1+x2+x4DfSumofSqRSSAICFvaluePr(>F)-x112204640.20530.6541<none>20266+x310.009202680.00120.9730-x411974008526.32502.143e-05***-x213827585176985.0464<2.2e-16***Step:AIC=64.39y~x2+x4DfSumofSqRSSAICFvaluePr(>F)<none>20464+x112202660.20530.6541+x310.18204660.02370.8789-x4154975310375.39621.972e-09***-x2136765536785929550491.3069<2.2e-16***4.5非線性回歸模型可直線化曲線方程多項式曲線:y=a+bx+cx2+…+pxp對數(shù)曲線:y=a+blogx指數(shù)函數(shù):y=aebx(a>0)冪函數(shù):y=axb(a>0)雙曲線函數(shù):y=a+b/x曲線回歸:通過兩個相關變量x與y的實際觀測值數(shù)據(jù)建立曲線回歸方程，揭示x與y曲線關系類型，此處指可直線化非線性回歸。經(jīng)濟增長模型:Y=A0emtLaKbCobb-Douglas生產(chǎn)函數(shù):Q=aLb1Kb2+e消費函數(shù):C=b1+b2Yb3+e不能精確直線化經(jīng)典經(jīng)濟非線性模型非線性回歸方程1、多項式曲線直線化多項式方程：直線化后方程：方法：令x1=x;x2=x2,…，xp=xpx1=x；x2=x^2lm.2=lm(y~x1+x2)#二次函數(shù)回歸模型summary(lm.2)$coef#二次函數(shù)回歸模型系數(shù)EstimateStd.ErrortvaluePr(>|t|)(Intercept)6.914690.33198720.8286.346e-09x1-0.465630.056969-8.1731.864e-05x20.010760.0020095.3534.604e-04決定系數(shù)；summary(lm.2)$r.sq=0.9513實例：分析百貨商店銷售額x與流通費率y之間的關系。結論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好2、對數(shù)曲線直線化對數(shù)曲線方程：y=a+blogx直線化后方程：y=a+bx’方法：令x’=logx;lm.log=lm(y~log(x))#對數(shù)函數(shù)回歸模型summary(lm.log)$coef#對數(shù)函數(shù)回歸模型系數(shù)EstimateStd.ErrortvaluePr(>|t|)(Intercept)7.3640.168843.649.596e-13log(x)-1.7570.0677-25.951.660e-10summary(lm.log)$r.sq=0.9854實例：分析百貨商店銷售額x與流通費率y之間的關系。結論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好.

模型為:y=7.364-1.757logx3、指數(shù)曲線直線化指數(shù)曲線方程：y=aebx(a>0)直線化后方程：y’=a+bx方法：兩邊取對數(shù)logy=loga+bxlm.exp=lm(log(y)~x)#指數(shù)函數(shù)回歸模型summary(lm.exp)$coef#指數(shù)函數(shù)回歸模型系數(shù)EstimateStd.ErrortvaluePr(>|t|)(Intercept)1.759660.07510123.434.543e-10x-0.048810.004697-10.391.116e-06summary(lm.exp)$r.sq=0.9153實例：分析百貨商店銷售額x與流通費率y之間的關系。結論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好.

模型為:y=5.81e-0.049x4、冪函數(shù)曲線直線化冪函數(shù)曲線方程：y=axb(a>0)直線化后方程：y’=a’+bx’方法：兩邊取對數(shù)logy=loga+blogxlm.pow=lm(log(y)~log(x))#冪函數(shù)回歸模型summary(lm.pow)$coef#冪函數(shù)回歸模型系數(shù)

EstimateStd.ErrortvaluePr(>|t|)(Intercept)2.19070.0295174.234.806e-15log(x)-0.47240.01184-39.902.337e-12summary(lm.pow)$r.sq=0.9938實例：分析百貨商店銷售額x與流通費率y之間的關系。結論：系數(shù)和模型都通過顯著性檢驗，模型擬合效果好.

模型為:y=8.942x-0.47245、不能精確直線化非線性回歸模型可直線化曲線方程多項式曲線:y=a+bx+cx2+…+pxp對數(shù)曲線:y=a+blogx指數(shù)函數(shù):y=aebx(a>0)冪函數(shù):y=axb(a>0)雙曲線函數(shù):y=a+b/x經(jīng)濟增長模型:Y=A0emtLaKbCobb-Douglas生產(chǎn)函數(shù):Q=aLb1Kb2+e消費函數(shù):C=b1+b2Yb3+e不能精確直線化經(jīng)典經(jīng)濟非線性模型非線性回歸方程基本形式：（1）非線性回歸模型參數(shù)計算Gauss-Newton迭代法求解:基本思想是使用泰勒級數(shù)展開式去近似地代替非線性回歸模型，然后通過多次迭代，多次修正回歸系數(shù)，使回歸系數(shù)不斷逼近非線性回歸模型的最佳回歸系數(shù)，最后使原模型的殘差平方和達到最小。殘差平方和：最小二乘法：在β=β1處Taylor展示：結論：對于給定初始值β=β1

，最小二乘原理，β2可求出Gauss-Newton迭代法求解對于給定初始值β=β1

，β2可求出結論：在給定初始值條件下，一直迭代,βn+1≈βn,即收斂，βn為最優(yōu)解，殘差平方和達到最小。該方法需要確定迭代初始值，通常取其線性模型結果作為其初始值β2估計值：估計擬線性模型：β3估計值：βn+1估計值：(S4=nls(y~a*(x^b),start=list(a=5,b=-0.1)))#冪函數(shù)回歸Nonlinearregressionmodelmodel:y~a*(x^b)data:parent.frame()ab8.609-0.452residualsum-of-squares:0.164Numberofiterationstoconvergence:5Achievedconvergencetolerance:6.07e-07使用非