線性與非線性回歸分析初步第1次

第五講一元/多元線性回歸(上)內(nèi)容：線性回歸簡(jiǎn)言之就是用統(tǒng)計(jì)數(shù)據(jù)尋求變量間線性相關(guān)關(guān)系的近似表達(dá)式的一種方法目的：學(xué)習(xí)回歸分析的基本思想和方法，掌握Matlab的一元/多元線性回歸函數(shù)和工具要求：掌握Matlab線性回歸分析，處理應(yīng)用問題了解回歸分析的基本思想和方法了解回歸分析的基本類型和實(shí)現(xiàn)步驟掌握線性回歸函數(shù)regressrcoplotrobustfit掌握交互式回歸分析工具rstoolstepwise回歸分析的基本思想和方法在客觀世界中普遍存在著變量之間的關(guān)系，變量之間的關(guān)系一般來說可分為確定性的與非確定性的兩種。確定性關(guān)系是指變量之間可以用確定的函數(shù)關(guān)系來表達(dá)(插值或擬合)。非確定性關(guān)系，例如人的身高和體重的關(guān)系、人的血壓和年齡的關(guān)系、某產(chǎn)品的廣告投入與銷售額間的關(guān)系等，它們之間是有關(guān)聯(lián)的，但又不能用普通函數(shù)來表示，我們稱這類非確定性關(guān)系為相關(guān)關(guān)系。具有相關(guān)關(guān)系的變量在很多時(shí)候涉及到隨機(jī)變量，雖然不具有確定的函數(shù)關(guān)系，但是可以借助函數(shù)關(guān)系來近似表示它們之間的統(tǒng)計(jì)規(guī)律，這種近似地表示它們之間的相關(guān)關(guān)系的函數(shù)被稱為回歸函數(shù)，對(duì)應(yīng)的數(shù)學(xué)方法稱為回歸分析?；貧w分析的基本思想和方法常見概率密度函數(shù)、累積分布函數(shù)...(helpstats

)回歸分析的基本思想和方法回歸分析是數(shù)學(xué)建模的有力工具，那么我們要建立回歸函數(shù)的數(shù)學(xué)模型，一般需要以下步驟：1、采集一組包含自變量和因變量的數(shù)據(jù)；2、選定自變量與因變量之間的模型，利用數(shù)據(jù)按照最小二乘準(zhǔn)則計(jì)算模型中的系數(shù)；3、利用統(tǒng)計(jì)分析方法對(duì)不同的模型進(jìn)行比較，找出與數(shù)據(jù)擬合得最好的模型；4、判斷得到的模型是否適合于這組數(shù)據(jù)，診斷有無不適合回歸模型的異常數(shù)據(jù)；5、利用模型對(duì)因變量做出預(yù)測(cè)或解釋。

附注：在第2步中，選定自變量與因變量的模型時(shí)，一般是憑經(jīng)驗(yàn)選取模型?；貧w分析主要包括一元線性回歸，多元線性回歸以及非線性回歸一元線性回歸(linearregression)基于最小二乘的一元線性回歸函數(shù)regress：UnaryLinearRegressionAnalysis：b=regress(y,X)回歸系數(shù)的點(diǎn)估計(jì)[b,bint,r,rint,stats]=regress(y,X,alpha)回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)，并檢驗(yàn)回歸模型范例

為實(shí)時(shí)地調(diào)整切削機(jī)床，需測(cè)定刀具的磨損程度，每隔一小時(shí)測(cè)量刀具的厚度得到以下的數(shù)據(jù)，試建立刀具厚度關(guān)于切削時(shí)間的回歸模型，對(duì)模型和系數(shù)進(jìn)行檢驗(yàn)，預(yù)測(cè)15小時(shí)后刀具的厚度:時(shí)間(h)012345678910厚度(cm)30.629.128.428.128.027.727.527.227.026.826.5一元線性回歸(linearregression)1、對(duì)原始數(shù)據(jù)進(jìn)行觀察，確定回歸模型：x=0:1:10;y=[30.6,29.1,28.4,28.1,28.0,27.7,27.5,27.2,27.0,26.8,26.5];plot(x,y,'rs','linewidth',2);從原始數(shù)據(jù)上看，可以建立一元線性回歸模型：一元線性回歸(linearregression)2、線性回歸函數(shù)regress相關(guān)參數(shù)的統(tǒng)計(jì)學(xué)意義:其中，alpha表示顯著性水平，缺省時(shí)為0.05；b為回歸系數(shù)估計(jì)值，bint為回歸系數(shù)的置信區(qū)間；r是殘差，rint是殘差的置信區(qū)間；stats是用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量。統(tǒng)計(jì)量stats有三個(gè)數(shù)值：一是相關(guān)系數(shù)

R的平方(用于相關(guān)系數(shù)評(píng)價(jià)，R的絕對(duì)值間于0.8～1，越靠近1表明回歸顯著)

；二是統(tǒng)計(jì)量F(用于F檢驗(yàn)法，F(xiàn)的值大于F1-a(v1,v2)表明回歸顯著)；三是與F對(duì)應(yīng)的概率P(P≤alpha表明回歸顯著，一般0.01＜P≤0.05被認(rèn)為是具有統(tǒng)計(jì)學(xué)意義，而0.001≤P≤0.01被認(rèn)為具有高度統(tǒng)計(jì)學(xué)意義)一元線性回歸(linearregression)3、計(jì)算回歸模型各項(xiàng)系數(shù)并繪制時(shí)序殘差圖:x=0:1:10;y=[30.6,29.1,28.4,28.1,28.0,27.7,27.5,27.2,27.0,26.8,26.5];alpha=0.05;x=[ones(length(x),1),x'];y=y';[b,bint,r,rint,stats]=regress(y,x,alpha);%線性回歸disp(['回歸系數(shù)b估計(jì)值:',num2str(b')]);disp(['相關(guān)系數(shù)R絕對(duì)值:',num2str(sqrt(stats(1)))]);%此值至少間于0.8～1，越接近1越顯著disp(['假設(shè)檢驗(yàn)統(tǒng)計(jì)量F:',num2str(stats(2))]);%此值大于對(duì)應(yīng)反查F累積分布表值，越大于越顯著。%查表finv(1-alpha,變量數(shù),數(shù)據(jù)數(shù)-變量數(shù)-1)如finv(0.95,1,9)disp(['統(tǒng)計(jì)量F對(duì)應(yīng)概率P:',num2str(stats(3))]);%此值小于alpha(默認(rèn)0.05)，越小于越顯著rcoplot(r,rint)%畫出殘差及其置信區(qū)間(時(shí)序殘差圖)fprintf('回歸函數(shù)為y=%.4f+%.4f*x\n',b(1),b(2));一元線性回歸(linearregression)4、診斷并剔除不適合回歸模型的異常數(shù)據(jù):%為了方便多次回歸，此處daoju.m已作適當(dāng)改寫

觀察殘差分布，發(fā)現(xiàn)第一個(gè)數(shù)據(jù)(0,30.6)殘差的置信區(qū)間不包括零點(diǎn)，應(yīng)視為異常點(diǎn)，將其剔除后，用剩余的數(shù)據(jù)點(diǎn)重新進(jìn)行計(jì)算：再次計(jì)算，發(fā)現(xiàn)原始數(shù)據(jù)中的第二個(gè)數(shù)據(jù)(1,29.1)殘差的置信區(qū)間也不包括零點(diǎn)，仍將該點(diǎn)視為異常點(diǎn)，將其剔除，重新計(jì)算：

提示:可在變量空間中雙擊變量然后右鍵Delete數(shù)據(jù)一元線性回歸(linearregression)5、綜合三種評(píng)價(jià)指數(shù)一時(shí)序殘差圖選定最佳回歸:最后一次回歸的數(shù)據(jù)殘差的置信區(qū)間全部包括零點(diǎn)，無異常點(diǎn)。對(duì)比分析：對(duì)比兩次剔除異常點(diǎn)前后的變化，發(fā)現(xiàn)置信區(qū)間明顯縮小，相關(guān)系數(shù)平方和明顯變大，表明異常點(diǎn)的剔除有利于更好的建立模型。一元線性回歸(linearregression)6、殘差向量正態(tài)性的圖形檢驗(yàn):目的是為了檢驗(yàn)誤差的正態(tài)性假設(shè)是否合理，常用的圖形檢驗(yàn)方法與三種：normplotqqplothistqqplot分位圖hist頻度統(tǒng)計(jì)圖一元線性回歸(linearregression)7、利用回歸模型對(duì)因變量做出預(yù)測(cè)或解釋:代入最后一次回歸系數(shù)估計(jì)值：28.8667-0.233333對(duì)比采樣點(diǎn)和回歸模型，并預(yù)測(cè)15小時(shí)后刀具的厚度：xdata=0:1:10;ydata=[30.6,29.1,28.4,28.1,28.0,27.7,27.5,27.2,27.0,26.8,26.5];plot(xdata,ydata,'rs','linewidth',2);holdon;x=0:0.01:16;y=b(1)+b(2)*x;plot(x,y,'b-','linewidth',2);y=b(1)+b(2)*15%ans=25.3667即該切削機(jī)床15小時(shí)后的刀具厚度預(yù)測(cè)值為25.3667

cm一元線性回歸(linearregression)基于最小二乘加權(quán)迭代的穩(wěn)健回歸函數(shù)robustfit：RobustRegressionAnalysis：b=robustfit(X,Y)[b,stats]=robustfit(X,Y)[b,stats]=robustfit(X,Y,'wfun',tune,'const')說明

b為回歸系數(shù)估計(jì)向量；stats為各種參數(shù)估計(jì)；'wfun'指定一個(gè)加權(quán)函數(shù)；'tune'為調(diào)協(xié)常數(shù)；'const'的值為'on'(默認(rèn)值)時(shí)添加一個(gè)常數(shù)項(xiàng)；為'off'時(shí)忽略常數(shù)項(xiàng)。穩(wěn)健回歸是指此回歸方法相對(duì)于其他回歸方法而言，受異常值的影響較小。一元線性回歸(linearregression)范例用函數(shù)y=10-2x加隨機(jī)干擾項(xiàng)生成數(shù)據(jù)集,改變y(10)的值形成異常值，分別作regress和robustfit線性回歸，觀察異常數(shù)據(jù)點(diǎn)對(duì)回歸效果的影響：x=1:1:10;y=10-2*x+randn(1,10);%生成數(shù)據(jù)并加干擾項(xiàng)y(10)=0;%產(chǎn)生異常數(shù)據(jù)點(diǎn)breg=regress(y',[ones(1,10);x]')brob=robustfit(x,y)%注意調(diào)用格式symsb1b2t;fun=b1+b2*t;f=inline(subs(fun,[b1,b2],[breg(1),breg(2)]));g=inline(subs(fun,[b1,b2],[brob(1),brob(2)]));plot(x,y,'rs','linewidth',2);holdon;plot(x,f(x),'g-','linewidth',2);plot(x,g(x),'b-','linewidth',2);上面的范例也可以通過運(yùn)行robustdemo動(dòng)態(tài)觀察多元線性回歸(linearregression)基于最小二乘的多元線性回歸函數(shù)regress：MultipleLinearRegressionAnalysis：b=regress(y,X)[b,bint,r,rint,stats]=regress(y,X,alpha)范例

現(xiàn)有23位病人對(duì)醫(yī)院的服務(wù)工作進(jìn)行綜合打分(百分制)，同時(shí)也調(diào)查病人的簡(jiǎn)單情況，項(xiàng)目包括，病人對(duì)醫(yī)院服務(wù)工作的滿意程度Y，病人的年齡X1，病情嚴(yán)重程度X2，病人憂慮程度X3，具體調(diào)查表格如下(參見p89-90)方法1:regress多元線性回歸多元線性回歸(linearregression)1、對(duì)原始數(shù)據(jù)進(jìn)行觀察，確定回歸模型：loadhospital.mat%載入數(shù)據(jù)源subplot(1,3,1);plot(x(1,:),y,'rs','linewidth',2);title('年齡vs評(píng)分');subplot(1,3,2);plot(x(2,:),y,'gs','linewidth',2);title('病情vs評(píng)分');subplot(1,3,3);plot(x(3,:),y,'bs','linewidth',2);title('憂慮vs評(píng)分');由散點(diǎn)圖分析知：自變量年齡、病情、憂慮與因變量評(píng)分呈顯著線性關(guān)系，所以可以建立多元線性回歸模型多元線性回歸(linearregression)2、利用數(shù)據(jù)按照最小二乘準(zhǔn)則計(jì)算模型中的系數(shù):loadhospital.mat%載入數(shù)據(jù)源alpha=0.05;x=[ones(length(x),1),x'];y=y';[b,bint,r,rint,stats]=regress(y,x,alpha);disp(['回歸系數(shù)b估計(jì)值:',

num2str(b')]);disp(['相關(guān)系數(shù)R絕對(duì)值:',num2str(sqrt(stats(1)))]);disp(['假設(shè)檢驗(yàn)統(tǒng)計(jì)量F:',num2str(stats(2))]);%finv(0.95,3,19)disp(['統(tǒng)計(jì)量F對(duì)應(yīng)概率P:',num2str(stats(3))]);rcoplot(r,rint)%畫出殘差及其置信區(qū)間(時(shí)序殘差圖)fprintf('回歸函數(shù)為y=%.4f+%.4f*x1+%.4f*x2+%.4f*x3',b(1),b(2),b(3),b(4));多元線性回歸(linearreg