回歸分析方法總結(jié)全面

1、精選文檔一、什么是回歸分析回歸分析(Regression Analysis)是研究變量之間作用關(guān)系的一種統(tǒng)計(jì)分析方法，其基本組成是一個(gè)（或一組）自變量與一個(gè)（或一組）因變量。回歸分析研究的目的是通過收集到的樣本數(shù)據(jù)用一定的統(tǒng)計(jì)方法探討自變量對因變量的影響關(guān)系，即原因?qū)Y(jié)果的影響程度?；貧w分析是指對具有高度相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)的形態(tài)，建立一個(gè)適當(dāng)?shù)臄?shù)學(xué)模型(函數(shù)式)，來近似地反映變量之間關(guān)系的統(tǒng)計(jì)分析方法。利用這種方法建立的數(shù)學(xué)模型稱為回歸方程，它實(shí)際上是相關(guān)現(xiàn)象之間不確定、不規(guī)則的數(shù)量關(guān)系的一般化。二、回歸分析的種類1.按涉及自變量的多少，可分為一元回歸分析和多元回歸分析一元回歸分析是對

2、一個(gè)因變量和一個(gè)自變量建立回歸方程。多元回歸分析是對一個(gè)因變量和兩個(gè)或兩個(gè)以上的自變量建立回歸方程。2.按回歸方程的表現(xiàn)形式不同，可分為線性回歸分析和非線性回歸分析若變量之間是線性相關(guān)關(guān)系，可通過建立直線方程來反映，這種分析叫線性回歸分析。若變量之間是非線性相關(guān)關(guān)系，可通過建立非線性回歸方程來反映，這種分析叫非線性回歸分析。三、回歸分析的主要內(nèi)容1.建立相關(guān)關(guān)系的數(shù)學(xué)表達(dá)式。依據(jù)現(xiàn)象之間的相關(guān)形態(tài)，建立適當(dāng)?shù)臄?shù)學(xué)模型，通過數(shù)學(xué)模型來反映現(xiàn)象之間的相關(guān)關(guān)系，從數(shù)量上近似地反映變量之間變動(dòng)的一般規(guī)律。2.依據(jù)回歸方程進(jìn)行回歸預(yù)測。由于回歸方程反映了變量之間的一般性關(guān)系，因此當(dāng)自變量發(fā)生變化時(shí)，可依

3、據(jù)回歸方程估計(jì)出因變量可能發(fā)生相應(yīng)變化的數(shù)值。因變量的回歸估計(jì)值，雖然不是一個(gè)必然的對應(yīng)值(他可能和系統(tǒng)真值存在比較大的差距)，但至少可以從一般性角度或平均意義角度反映因變量可能發(fā)生的數(shù)量變化。3.計(jì)算估計(jì)標(biāo)準(zhǔn)誤差。通過估計(jì)標(biāo)準(zhǔn)誤差這一指標(biāo)，可以分析回歸估計(jì)值與實(shí)際值之間的差異程度以及估計(jì)值的準(zhǔn)確性和代表性，還可利用估計(jì)標(biāo)準(zhǔn)誤差對因變量估計(jì)值進(jìn)行在一定把握程度條件下的區(qū)間估計(jì)。四、一元線性回歸分析1.一元線性回歸分析的特點(diǎn) 1)兩個(gè)變量不是對等關(guān)系，必須明確自變量和因變量。 2)如果x和 y兩個(gè)變量無明顯因果關(guān)系，則存在著兩個(gè)回歸方程：一個(gè)是以x為自變量，y為因變量建立的回歸方程；另一個(gè)是以y

4、為自變量，x為因變量建立的回歸方程。若繪出圖形，則是兩條斜率不同的回歸直線。3)直線回歸方程中，回歸系數(shù)b可以是正值，也可以是負(fù)值。若 0 b > ，表示直線上升，說明兩個(gè)變量同方向變動(dòng)；若 0 b < ，表示直線下降，說明兩個(gè)變量是反方向變動(dòng)。2.建立一元線性回歸方程的條件任何一種數(shù)學(xué)模型的運(yùn)用都是有前提條件的， 配合一元線性回歸方程應(yīng)具備以下兩個(gè)條件：1)兩個(gè)變量之間必須存在高度相關(guān)的關(guān)系。兩個(gè)變量之間只有存在著高度相關(guān)的關(guān)系，回歸方程才有實(shí)際意義。2)兩個(gè)變量之間確實(shí)呈現(xiàn)直線相關(guān)關(guān)系。兩個(gè)變量之間只有存在直線相關(guān)關(guān)系，才能配合直線回歸方程。3.建立一元線性回歸方程的方法一元線

5、性回歸方程是用于分析兩個(gè)變量（一個(gè)因變量和一個(gè)自變量）線性關(guān)系的數(shù)學(xué)表達(dá)式，一般形式為：yc=a+bx式中：x代表自變量； yc代表因變量y的估計(jì)值(又稱理論值)；ab為回歸方程參數(shù)。其中，a是直線在y軸上的截距，它表示當(dāng)自變量x等于 0 時(shí)，因變量所達(dá)到的數(shù)值；b是直線的斜率,在回歸方程中亦稱為回歸系數(shù),它表示當(dāng)自變量x每變動(dòng)一個(gè)單位時(shí)，因變量y平均變動(dòng)的數(shù)值。一元線性回歸方程應(yīng)根據(jù)最小二乘法原理建立，因?yàn)橹挥杏米钚《朔ㄔ斫⒌幕貧w方程才可以同時(shí)滿足兩個(gè)條件：1)因變量的實(shí)際值與回歸估計(jì)值的離差之和為零；2)因變量的實(shí)際值與回歸估計(jì)值的離差平方和為最小值。 只有滿足這兩個(gè)條件，建立的直線

6、方程的誤差才能最小，其代表性才能最強(qiáng)?，F(xiàn)在令要建立的一元線性回歸方程的標(biāo)準(zhǔn)形式為yc=a+bx,依據(jù)最小二乘法原理，因變量實(shí)際值y與估計(jì)值yc的離差平方和為最小值,即Q=(y-yc)2取得最小值。為使Q=(y-yc)2=最小值 根據(jù)微積分中求極值的原理，需分別對a,b求偏導(dǎo)數(shù)，并令其為0，經(jīng)過整理，可得到如下方程組：y=an+bxxy=ax+bx2解此方程組，可求得a,b兩個(gè)參數(shù)4. 計(jì)算估計(jì)標(biāo)準(zhǔn)誤差回歸方程只反映變量x和y之間大致的、平均的變化關(guān)系。因此，對每一個(gè)給定的x值，回歸方程的估計(jì)值yc與因變量的實(shí)際觀察值y之間總會(huì)有一定的離差，即估計(jì)標(biāo)準(zhǔn)誤差。估計(jì)標(biāo)準(zhǔn)誤差是因變量實(shí)際觀察值 y與估

7、計(jì)值yc離差平方和的平均數(shù)的平方根，它反映因變量實(shí)際值y與回歸直線上各相應(yīng)理論值yc之間離散程度的統(tǒng)計(jì)分析指標(biāo)。估計(jì)標(biāo)準(zhǔn)誤差：式中：sy估計(jì)標(biāo)準(zhǔn)誤差；y因變量實(shí)際觀察值；yc因變量估計(jì)值；n-2自由度如何描述兩個(gè)變量之間線性相關(guān)關(guān)系的強(qiáng)弱？利用相關(guān)系數(shù)r來衡量當(dāng)r>0時(shí)，表示x與y為正相關(guān); 當(dāng)r<0時(shí)，表示x與y為負(fù)相關(guān)。5.殘差分析與殘差圖： 殘差是指觀測值與預(yù)測值（擬合值）之間的差，即是實(shí)際觀察值與回歸估計(jì)值的差在研究兩個(gè)變量間的關(guān)系時(shí)，a) 要根據(jù)散點(diǎn)圖來粗略判斷它們是否線性相關(guān)； b) 判斷是否可以用回歸模型來擬合數(shù)據(jù)； c) 可以通過殘差來判斷模型擬合的效果，判斷原始數(shù)

8、據(jù)中是否存在可疑數(shù)據(jù)，這方面的分析工作就稱為殘差分析。6.殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點(diǎn)應(yīng)該分布在以橫軸為心的帶狀區(qū)域，帶狀區(qū)域的寬度越窄精度越高。對于遠(yuǎn)離橫軸的點(diǎn)，要特別注意。7.幾點(diǎn)注解： 第一個(gè)樣本點(diǎn)和第 6 個(gè)樣本點(diǎn)的殘差比較大， 需要確認(rèn)在采集過程中是否有人為的錯(cuò)誤。如果數(shù)據(jù)采集有錯(cuò)誤，就應(yīng)該予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯(cuò)誤，則需要尋找其他的原因。另外，殘差點(diǎn)比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計(jì)較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)報(bào)精度越高。還可

9、以用判定系數(shù)r2來刻畫回歸的效果，該指標(biāo)測度了回歸直線對觀測數(shù)據(jù)的擬合程度，其計(jì)算公式是：其中：SSR -回歸平方和； SSE -殘差平方和； Sst=ssr+sse總離差平方和。由公式知，R（相關(guān)指數(shù)）的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。在含有一個(gè)解釋變量的線性模型中r2恰好等于相關(guān)系數(shù)r的平方，即R2=r2在線性回歸模型中，R2表示解釋變量對預(yù)報(bào)變量變化的貢獻(xiàn)率。R2越接近1，表示回歸的效果越好（因?yàn)镽2越接近1，表示解釋變量和預(yù)報(bào)變量的線性相關(guān)性越強(qiáng)）。如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過比較R2的值來做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)

10、的模型?？偟膩碚f：相關(guān)指數(shù)R2是度量模型擬合效果的一種指標(biāo)。在線性模型中，它代表自變量刻畫預(yù)報(bào)變量的能力。五、多元線性回歸分析在一元線性回歸分析中，因變量y只受某一個(gè)因素的影響，即只由一個(gè)自變量x來估計(jì)。但對于復(fù)雜的自然界中的問題，影響因素往往很多，在這種情況下，因變量y要用多個(gè)自變量同時(shí)進(jìn)行估計(jì)。例如，某種產(chǎn)品的總成本不僅受原材料價(jià)格的影響，而且也與產(chǎn)品產(chǎn)量、管理水平等因素有關(guān)；農(nóng)作物產(chǎn)量的髙低受品種、氣候、施肥量等多個(gè)因素的影響。描述因變量與兩個(gè)或兩個(gè)以上自變量之間的數(shù)量關(guān)系的回歸分析方法稱為多元線性回歸分析。它是一元線性回歸分析的推廣，其分析過程相對復(fù)雜一些，但基本原理與一元線性回歸分析

11、類似。多元線性回歸方程的一般表達(dá)式為：為便于分析，當(dāng)自變量較多時(shí)可選用兩個(gè)主要的自變量x1和x2。其線性回歸方程標(biāo)準(zhǔn)式為：其中：yc為二元回歸估計(jì)值；a為常數(shù)項(xiàng)；b1和b2分別為y對x1和x2的回歸系數(shù)，b1表示當(dāng)自變量x2為一定時(shí)，由于自變量x1變化一個(gè)單位而使y平均變動(dòng)的數(shù)值，b2表示當(dāng)自變量x1為一定時(shí)，由于自變量x2變化一個(gè)單位而使y平均變動(dòng)的數(shù)值，因此，b1和b2稱為偏回歸系數(shù)。要建立二元回歸方程，關(guān)鍵問題是求出參數(shù)a，b1和b2的值，求解方法仍用最小二乘法，即分別對a，b1和b2求偏導(dǎo)數(shù)，并令函數(shù)的一階導(dǎo)數(shù)等于零，可得如下方程組：(二)在回歸分析中，通常稱自變量為回歸因子，一般用表

12、示，而稱因變量為指標(biāo)，一般用表示。預(yù)測公式：，稱之為回歸方程?；貧w模型，按照各種原則可以分為各種模型：1. 當(dāng)n =1 時(shí)，稱為一元(單因子)回歸；當(dāng)n 2時(shí)，稱為多元(多因子)回歸。 2. 當(dāng) f 為線性函數(shù)時(shí)，稱為線性回歸；當(dāng) f 為非線性函數(shù)時(shí)，稱為非線性(曲線)回歸。最小二乘準(zhǔn)則： 假設(shè)待定的擬合函數(shù)為，另據(jù)m個(gè)數(shù)據(jù)點(diǎn)，相當(dāng)于求解以下規(guī)劃問題：即使得總離差平方和最小。具體在線性擬合的過程中，假設(shè)擬合函數(shù)為y=a+bx，a與b為待定系數(shù)，已知有m個(gè)數(shù)據(jù)點(diǎn)，分別為，應(yīng)用最小二乘法，就是要使：達(dá)到最小值。把S 看成自變量為a和b的連續(xù)函數(shù)，則根據(jù)連續(xù)函數(shù)達(dá)到及致電的必要條件，于是得到：因此，

13、當(dāng)S 取得最小值時(shí)，有：可得方程組為：稱這個(gè)方程組為正規(guī)方程組，解這個(gè)二元一次方程組，得到：如果把已有數(shù)據(jù)描繪成散點(diǎn)圖，而且從散點(diǎn)圖中可以看出，各個(gè)數(shù)據(jù)點(diǎn)大致分布在一條直線附近，不妨設(shè)他們滿足線性方程：其中，x為自變量，y為因變量，a與b為待定系數(shù)；成為誤差項(xiàng)或者擾動(dòng)項(xiàng)。這里要對數(shù)據(jù)點(diǎn)做線性回歸分析，從而a和b就是待定的回歸系數(shù)，為隨機(jī)誤差。不妨設(shè)得到的線性擬合曲線為： 這就是要分析的線性回歸方程。一般情況下，得到這個(gè)方程以后，主要是描繪出回歸曲線，并且觀測擬合效果和計(jì)算一些誤差分析指標(biāo)，例如最大點(diǎn)誤差、總方差和標(biāo)準(zhǔn)差等。這里最缺乏的就是一個(gè)統(tǒng)一的評(píng)價(jià)系統(tǒng)，以下說明從概率角度確立的關(guān)于線性回歸

14、的一套評(píng)價(jià)系統(tǒng)。在實(shí)際的線性回歸分析中， 除了估計(jì)出線性回歸系數(shù)a和b， 還要計(jì)算y和x的相關(guān)程度，即相關(guān)性檢驗(yàn)。相關(guān)性檢驗(yàn)主要通過計(jì)算相關(guān)系數(shù)來分析，相關(guān)系數(shù)的計(jì)算公式為：其中n為數(shù)據(jù)點(diǎn)的個(gè)數(shù)，為原始數(shù)據(jù)點(diǎn)，r的值能夠很好地反映出線性相關(guān)程度的高低，一般來說，存在以下一些標(biāo)準(zhǔn)：1. 當(dāng) r 1 或者 r 1時(shí)，表示 y與x高度線性相關(guān)，于是由原始數(shù)據(jù)描繪出的散點(diǎn)圖中所有數(shù)據(jù)點(diǎn)都分布在一條直線的附近，分別稱為正相關(guān)和負(fù)相關(guān)； 2. 當(dāng) r 0 時(shí)，表示 y與x不相關(guān)，由原始數(shù)據(jù)描繪出的散點(diǎn)圖的數(shù)據(jù)點(diǎn)一般呈無規(guī)律的特點(diǎn)四散分布；3. 當(dāng)1<r < 0或者0<r<1 時(shí)，y

15、與x的相關(guān)程度介于1與2之間； 4. 如果r 1，則y與x線性相關(guān)程度越高；反之，如果r 0 ，則y與x線性相關(guān)程度越低。實(shí)際計(jì)算r值的過程中，長列表計(jì)算，即：在實(shí)際問題中，一般要保證回歸方程有最低程度的線性相關(guān)。因?yàn)樵S多實(shí)際問題中，兩個(gè)變量之間并非線性的相關(guān)關(guān)系，或者說線性相關(guān)程度不高，此時(shí)硬給他建立線性回歸方程，顯然沒有太大意義，也沒有什么實(shí)用價(jià)值。一般來說，把這個(gè)最低限度的值記為臨界值，稱之為相關(guān)性檢驗(yàn)標(biāo)準(zhǔn)。因此，如果計(jì)算出r的值，并且滿足，則符合相關(guān)性要求，線性回歸方程作用顯著。反之，如果，則線性回歸方程作用不顯著，就盡量不要采用線性回歸方程。臨界值的數(shù)值表如下：其中，自由度可以由原始

16、數(shù)據(jù)點(diǎn)的個(gè)數(shù)減去相應(yīng)的回歸方程的變量個(gè)數(shù)，例如線性回歸方程中有兩個(gè)變量，而數(shù)據(jù)點(diǎn)的個(gè)數(shù)為n個(gè)，則自由度為n 2.自由度一般記為 f ，但不要與一般的函數(shù)發(fā)生混淆。顯著性水平一般取為 0.01,0.02,0.05等，利用它可以計(jì)算y與x之間相關(guān)關(guān)系的可信程度或者稱為置信水平，計(jì)算公式為： (這里取顯著性水平為 =0.05 ) 現(xiàn)在介紹置信區(qū)間的問題，由于實(shí)際誤差的存在，由線性擬合得到的計(jì)算值跟實(shí)際值之間必然存在一定的差距，其差值就是計(jì)算誤差。假設(shè)原始數(shù)據(jù)點(diǎn)為，計(jì)算得到的數(shù)據(jù)點(diǎn)為，再給定附近的一個(gè)區(qū)間：則實(shí)際值yi可能落在這個(gè)區(qū)間內(nèi)，也可能落在這個(gè)區(qū)間外。如果所有的這些區(qū)間(以為中心，長度為)包含

17、實(shí)際值的個(gè)數(shù)占總數(shù)的比例達(dá)到95%或者以上，則稱這些區(qū)間的置信水平不少于95%根據(jù)以上的分析，可以知道置信區(qū)間的概念，如果確定了置信水平為95%，從而可以找到相應(yīng)的最小的t值，使得 95%以上的實(shí)際值落在區(qū)間內(nèi)， 則稱為預(yù)測值滿足置信水平95%的置信區(qū)間。一般情況下，如果不做特別說明，置信區(qū)間的相應(yīng)置信水平默認(rèn)為95%，置信區(qū)間反映了回歸方程的適用范圍和精確度，特別的，當(dāng)所有離散數(shù)據(jù)分布在回歸曲線的附件，大致呈現(xiàn)為正態(tài)分布時(shí)，置信區(qū)間為：其中S 為該回歸模型的標(biāo)準(zhǔn)差，計(jì)算公式為： 或者為： 那么，如果回歸方程為 y=a+bx，則有兩條控制直線分別為和，他們代表了置信區(qū)間的上限和下限，如下圖所示： 那么，可以預(yù)料實(shí)際的數(shù)據(jù)點(diǎn)幾乎全部(至少95%)落在上圖兩條虛線所夾的區(qū)域內(nèi)。這里對回歸方程的應(yīng)