回歸分析方法總結(jié)全面

一、什么是回歸分析回歸分析（RegressionAnalysis）是研究變量之間作用關(guān)系的一種統(tǒng)計分析方法，其基本組成是一個（或一組）自變量與一個（或一組）因變量?；貧w分析研究的目的是通過收集到的樣本數(shù)據(jù)用一定的統(tǒng)計方法探討自變量對因變量的影響關(guān)系，即原因?qū)Y(jié)果的影響程度?；貧w分析是指對具有高度相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)的形態(tài)，建立一個適當(dāng)?shù)臄?shù)學(xué)模型（函數(shù)式），來近似地反映變量之間關(guān)系的統(tǒng)計分析方法。利用這種方法建立的數(shù)學(xué)模型稱為回歸方程，它實際上是相關(guān)現(xiàn)象之間不確定、不規(guī)則的數(shù)量關(guān)系的一般化。二、回歸分析的種類按涉及自變量的多少，可分為一元回歸分析和多元回歸分析一元回歸分析是對一個因變量和一個自變量建立回歸方程。多元回歸分析是對一個因變量和兩個或兩個以上的自變量建立回歸方程。按回歸方程的表現(xiàn)形式不同，可分為線性回歸分析和非線性回歸分析若變量之間是線性相關(guān)關(guān)系，可通過建立直線方程來反映，這種分析叫線性回歸分析。若變量之間是非線性相關(guān)關(guān)系，可通過建立非線性回歸方程來反映，這種分析叫非線性回歸分析。三、回歸分析的主要內(nèi)容建立相關(guān)關(guān)系的數(shù)學(xué)表達式。依據(jù)現(xiàn)象之間的相關(guān)形態(tài)，建立適當(dāng)?shù)臄?shù)學(xué)模型，通過數(shù)學(xué)模型來反映現(xiàn)象之間的相關(guān)關(guān)系，從數(shù)量上近似地反映變量之間變動的一般規(guī)律。依據(jù)回歸方程進行回歸預(yù)測。由于回歸方程反映了變量之間的一般性關(guān)系，因此當(dāng)自變量發(fā)生變化時，可依據(jù)回歸方程估計出因變量可能發(fā)生相應(yīng)變化的數(shù)值。因變量的回歸估計值，雖然不是一個必然的對應(yīng)值（他可能和系統(tǒng)真值存在比較大的差距），但至少可以從一般性角度或平均意義角度反映因變量可能發(fā)生的數(shù)量變化。計算估計標(biāo)準(zhǔn)誤差。通過估計標(biāo)準(zhǔn)誤差這一指標(biāo)，可以分析回歸估計值與實際值之間的差異程度以及估計值的準(zhǔn)確性和代表性，還可利用估計標(biāo)準(zhǔn)誤差對因變量估計值進行在一定把握程度條件下的區(qū)間估計。四、一元線性回歸分析一元線性回歸分析的特點1）兩個變量不是對等關(guān)系，必須明確自變量和因變量。2）如果x和y兩個變量無明顯因果關(guān)系，則存在著兩個回歸方程：一個是以x為自變量，y為因變量建立的回歸方程；另一個是以y為自變量，x為因變量建立的回歸方程。若繪出圖形，則是兩條斜率不同的回歸直線。3）直線回歸方程中，回歸系數(shù)b可以是正值，也可以是負值。若0b＞，表示直線上升，說明兩個變量同方向變動；若0b＜，表示直線下降，說明兩個變量是反方向變動。建立一元線性回歸方程的條件任何一種數(shù)學(xué)模型的運用都是有前提條件的，配合一元線性回歸方程應(yīng)具備以下兩個條件：1）兩個變量之間必須存在高度相關(guān)的關(guān)系。兩個變量之間只有存在著高度相關(guān)的關(guān)系，回歸方程才有實際意義。2）兩個變量之間確實呈現(xiàn)直線相關(guān)關(guān)系。兩個變量之間只有存在直線相關(guān)關(guān)系，才能配合直線回歸方程。建立一元線性回歸方程的方法一元線性回歸方程是用于分析兩個變量（一個因變量和一個自變量）線性關(guān)系的數(shù)學(xué)表達式，一般形式為：yc=a+bx式中：x代表自變量；yc代表因變量y的估計值（又稱理論值）；ab為回歸方程參數(shù)。其中，a是直線在y軸上的截距，它表示當(dāng)自變量x等于0時，因變量所達到的數(shù)值；b是直線的斜率，在回歸方程中亦稱為回歸系數(shù)它表示當(dāng)自變量x每變動一個單位時，因變量y平均變動的數(shù)值。一元線性回歸方程應(yīng)根據(jù)最小二乘法原理建立，因為只有用最小二乘法原理建立的回歸方程才可以同時滿足兩個條件：1）因變量的實際值與回歸估計值的離差之和為零；2）因變量的實際值與回歸估計值的離差平方和為最小值。只有滿足這兩個條件，建立的直線方程的誤差才能最小，其代表性才能最強?，F(xiàn)在令要建立的一元線性回歸方程的標(biāo)準(zhǔn)形式為yc=a+bx，依據(jù)最小二乘法原理，因變量實際值y與估計值yc的離差平方和為最小值，即Q=E（y-yc）2取得最小值。為使Q=E（y-yc）2=最小值根據(jù)微積分中求極值的原理，需分別對a,b求偏導(dǎo)數(shù)，并令其為0，經(jīng)過整理，可得到如下方程組：Ey=an+bExExy=aEx+bEx2解此方程組，可求得a,b兩個參數(shù)計算估計標(biāo)準(zhǔn)誤差回歸方程只反映變量x和y之間大致的、平均的變化關(guān)系。因此，對每一個給定的x值，回歸方程的估計值yc與因變量的實際觀察值y之間總會有一定的離差，即估計標(biāo)準(zhǔn)誤差。估計標(biāo)準(zhǔn)誤差是因變量實際觀察值y與估計值yc離差平方和的平均數(shù)的平方根，它反映因變量實際值y與回歸直線上各相應(yīng)理論值yc之間離散程度的統(tǒng)計分析指標(biāo)。估計標(biāo)準(zhǔn)誤差：式中：sy——估計標(biāo)準(zhǔn)誤差；y——因變量實際觀察值；yc——因變量估計值；n-2——自由度如何描述兩個變量之間線性相關(guān)關(guān)系的強弱？利用相關(guān)系數(shù)r來衡量當(dāng)r>0時，表示x與y為正相關(guān)；當(dāng)r<0時，表示x與y為負相關(guān)。5.殘差分析與殘差圖：殘差是指觀測值與預(yù)測值（擬合值）之間的差，即是實際觀察值與回歸估計值的差在研究兩個變量間的關(guān)系時，a）要根據(jù)散點圖來粗略判斷它們是否線性相關(guān)；b）判斷是否可以用回歸模型來擬合數(shù)據(jù)；c）可以通過殘差來判斷模型擬合的效果，判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù)，這方面的分析工作就稱為殘差分析。殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點應(yīng)該分布在以橫軸為心的帶狀區(qū)域，帶狀區(qū)域的寬度越窄精度越高。對于遠離橫軸的點，要特別注意。15□叩T1000DH0000■5000-ia.aoo--15000-a15□叩T1000DH0000■5000-ia.aoo--15000-a5000H場56學(xué)生第一個樣本點和第6個樣本點的殘差比較大，需要確認在采集過程中是否有人為的錯誤。如果數(shù)據(jù)采集有錯誤，就應(yīng)該予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯誤，則需要尋找其他的原因。另外，殘差點比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)報精度越高。還可以用判定系數(shù)r2來刻畫回歸的效果，該指標(biāo)測度了回歸直線對觀測數(shù)據(jù)的擬合程度，其計算公式是：V（V-Vn.SSR|SSE乙'丸”&J■5E￡（"訐f?l其中：SSR-回歸平方和；SSE-殘差平方和；Sst=ssr+sse總離差平方和。由公式知，R（相關(guān)指數(shù)）的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。在含有一個解釋變量的線性模型中r2恰好等于相關(guān)系數(shù)r的平方，即R2=r2在線性回歸模型中，R2表示解釋變量對預(yù)報變量變化的貢獻率。R2越接近1，表示回歸的效果越好（因為R2越接近1，表示解釋變量和預(yù)報變量的線性相關(guān)性越強）。如果某組數(shù)據(jù)可能采取幾種不同回歸方程進行回歸分析，則可以通過比較R2的值來做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型?？偟膩碚f：相關(guān)指數(shù)R2是度量模型擬合效果的一種指標(biāo)。在線性模型中，它代表自變量刻畫預(yù)報變量的能力。五、多元線性回歸分析在一元線性回歸分析中，因變量y只受某一個因素的影響，即只由一個自變量x來估計。但對于復(fù)雜的自然界中的問題，影響因素往往很多，在這種情況下，因變量y要用多個自變量同時進行估計。例如，某種產(chǎn)品的總成本不僅受原材料價格的影響，而且也與產(chǎn)品產(chǎn)量、管理水平等因素有關(guān)；農(nóng)作物產(chǎn)量的高低受品種、氣候、施肥量等多個因素的影響。描述因變量與兩個或兩個以上自變量之間的數(shù)量關(guān)系的回歸分析方法稱為多元線性回歸分析。它是一元線性回歸分析的推廣，其分析過程相對復(fù)雜一些，但基本原理與一元線性回歸分析類似。多元線性回歸方程的一般表達式為：咒=a+b[x]+b.x2+……+如寫為便于分析，當(dāng)自變量較多時可選用兩個主要的自變量x1和x2。其線性回歸方程標(biāo)準(zhǔn)式為:其中：yc為二元回歸估計值；a為常數(shù)項；b1和b2分別為y對x1和x2的回歸系數(shù)，b1表示當(dāng)自變量x2為一定時，由于自變量x1變化一個單位而使y平均變動的數(shù)值，b2表示當(dāng)自變量x1為一定時，由于自變量x2變化一個單位而使y平均變動的數(shù)值，因此，b1和b2稱為偏回歸系數(shù)。要建立二元回歸方程，關(guān)鍵問題是求出參數(shù)a，b1和b2的值，求解方法仍用最小二乘法，即分別對a，b1和b2求偏導(dǎo)數(shù)，并令函數(shù)的一階導(dǎo)數(shù)等于零，可得如下方程組：Kctx-一&￡X阮十垣￡=￡x2y（二）在回歸分析中，通常稱自變量為回歸因子，一般用表示，而稱因變量為指標(biāo)，一般用表示。預(yù)測公式：’，稱之為回歸方程。回歸模型，按照各種原則可以分為各種模型：當(dāng)n=1時，稱為一元（單因子）回歸；當(dāng)nN2時，稱為多元（多因子）回歸。當(dāng)f為線性函數(shù)時，稱為線性回歸；當(dāng)f為非線性函數(shù)時，稱為非線性（曲線）回歸。最小二乘準(zhǔn)則：假設(shè)待定的擬合函數(shù)為「一'fV，另據(jù)m個數(shù)據(jù)點，相當(dāng)于求解以下規(guī)劃問題：mm習(xí)卜―/■（.）「j=i即使得總離差平方和最小。具體在線性擬合的過程中，假設(shè)擬合函數(shù)X/y=a+bx，a與b為待定系數(shù)，已知有m個數(shù)據(jù)點，分別為「'?'，，應(yīng)用最小二乘法，就是要使：S二￡（片-六3））'二￡（“-中j=lr=l達到最小值。把S看成自變量為a和b的連續(xù)函數(shù)，則根據(jù)連續(xù)函數(shù)達到及致電的必要條件，于是得到：—=0出土。\cb因此，當(dāng)S取得最小值時，有：TOC\o"1-5"\h\z「ES冊—--2匚（片-理-3）號Fq巾宗=-?￡（尤-理-巾）cbj_]可得方程組為：〃￡￡山2耳一￡%為\，=?i=ii=i〃￡§_椅_￡少；??=1f=1稱這個方程組為正規(guī)方程組，解這個二元一次方程組，得到:巾￡旦乂一評J=l1=1J=l—J—-If?l.也￡*E-￡e療屋,.b-^~r-lAl如果把已有數(shù)據(jù)描繪成散點圖，而且從散點圖中可以看出，各個數(shù)據(jù)點大致分布在一條直線附近，不妨設(shè)他們滿足線性方程：?’=「'’軟其中，x為自變量，y為因變量，a與b為待定系數(shù)；￡成為誤差項或者擾動項。這里要對數(shù)據(jù)點做線性回歸分析，從而a和b就是待定的回歸系數(shù)，￡為隨機誤差。不妨設(shè)得到的線性擬合曲線為：?'=",這就是要分析的線性回歸方程。一般情況下，得到這個方程以后，主要是描繪出回歸曲線，并且觀測擬合效果和計算一些誤差分析指標(biāo)，例如最大點誤差、總方差和標(biāo)準(zhǔn)差等。這里最缺乏的就是一個統(tǒng)一的評價系統(tǒng)，以下說明從概率角度確立的關(guān)于線性回歸的一套評價系統(tǒng)。在實際的線性回歸分析中，除了估計出線性回歸系數(shù)a和b，還要計算y和x的相關(guān)程度，即相關(guān)性檢驗。相關(guān)性檢驗主要通過計算相關(guān)系數(shù)來分析，相關(guān)系數(shù)的計算公式為：—應(yīng)（死）J￡%）'?小T￡J疔其中n為數(shù)據(jù)點的個數(shù)，「".「為原始數(shù)據(jù)點，r的值能夠很好地反映出線性相關(guān)程度的高低，一般來說，存在以下一些標(biāo)準(zhǔn)：當(dāng)r一1或者r一-1時，表示y與x高度線性相關(guān)，于是由原始數(shù)據(jù)描繪出的散點圖中所有數(shù)據(jù)點都分布在一條直線的附近，分別稱為正相關(guān)和負相關(guān)；當(dāng)r一0時，表示y與x不相關(guān)，由原始數(shù)據(jù)描繪出的散點圖的數(shù)據(jù)點一般呈無規(guī)律的特點四散分布；當(dāng)-1<r<0或者0<r<1時，y與x的相關(guān)程度介于1與2之間；如果r一1，則y與x線性相關(guān)程度越高；反之，如果r一0，則y與x線性相關(guān)程度越低。實際計算r值的過程中，長列表計算，即：序號y:e5r1工1￡/2x2y'2x2y2￡yl■rIP-■v■■-r■i■■■nA月Wn式求和A」?lJUA偵hlJUZv/■lJi&hl在實際問題中，一般要保證回歸方程有最低程度的線性相關(guān)。因為許多實際問題中，兩個變量之間并非線性的相關(guān)關(guān)系，或者說線性相關(guān)程度不高，此時硬給他建立線性回歸方程，顯然沒有太大意義，也沒有什么實用價值。.一般來說，把這個最低限度的值記為臨界值!’，稱之為相關(guān)性檢驗標(biāo)準(zhǔn)。因此，如果計算出r的值，并且滿足，J，則符合相關(guān)性要求，線性回歸方程作用顯著。反之，如果■"<，則線性回歸方程作用不顯著，就盡量不要采用線性回歸方程。臨界值的數(shù)值表如下：自由度顯著性wK平自由度顯著性』K平自由度顯著性』K平n-20.050.01n-20.050.01z?-20.050.0150.7540.874I50.4S20.6062503810.48760.7070.334160.4680.590300.3490.44970.6660.798170.4560.5753503250.418&0.6320.765180.4440.561400.3040.39390.6020.735190.4330.549450.28&0372100.5760.70S200.4230.537500.2730354II0.5530.684210.4130.5261000.1950.254120.5320.6610.4040.515200Cl.13&0.181130.5140.&41230.3960.5053000.]]30.148140.4970.632240.3880.49610000.062O.OBI其中，自由度可以由原始數(shù)據(jù)點的個數(shù)減去相應(yīng)的回歸方程的變量個數(shù)，例如線性回歸方程中有兩個變量，而數(shù)據(jù)點的個數(shù)為n個，則自由度為n-2.自由度一般記為f，但不要與一般的函數(shù)發(fā)生混淆。顯著性水平一般取為0.01,0.02,0.05等，利用它可以計算y與x之間相關(guān)關(guān)系的可信程度或者稱為置信水平，計算公式為："；頃1.：，.?."（這里取顯著性水平為a=0.05）現(xiàn)在介紹置信區(qū)間的問題，由于實際誤差的存在，由線性擬合得到的計算值跟實際值之間必然存在一定的差距，其差值就是計算誤差。假設(shè)原始數(shù)據(jù)點為：，計算得到的數(shù)據(jù)點為'"「：'，再給定附近的一個區(qū)間：1一上：則實際值yi可能落在這個區(qū)間內(nèi)，也可能落在這個區(qū)間外。如果所有的這些區(qū)間（以?「為中心，長度為二I）包含實際值的個數(shù)占總數(shù)的比例達到95%或者以