回歸分析方法總結(jié)全面

1、一、什么就是回歸分析回歸分析（Regression Analysis）就是研究變量之間作用關(guān)系的一種統(tǒng)計分析方法，其基本組成就是一個（或一組）自變量與一個（或一組）因變量?；貧w分析研究的目的就是通過收集到的樣 本數(shù)據(jù)用一定的統(tǒng)計方法探討自變量對因變量的影響關(guān)系，即原因?qū)Y(jié)果的影響程度。回歸分析就是指對具有高度相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)的形態(tài)，建立一個適當(dāng)?shù)臄?shù)學(xué)模型（函數(shù)式，來近似地反映變量之間關(guān)系的統(tǒng)計分析方法。利用這種方法建立的數(shù)學(xué)模型稱為回歸方程，它實際上就是相關(guān)現(xiàn)象之間不確定、不規(guī)則的數(shù)量關(guān)系的一般化。二、回歸分析的種類1、按涉及自變量的多少，可分為一元回歸分析與多元回歸分析一元回歸分析

2、就是對一個因變 量與一個自變量建立回歸方程。 多元回歸分析就是對一個因變量與兩個或兩個以上的自變量 建立回歸方程。2、按回歸方程的表現(xiàn)形式不同，可分為線性回歸分析與非線性回歸分析若變量之間就是線性相關(guān)關(guān)系，可通過建立直線方程來反映，這種分析叫線性回歸分析。若變量之間就是非線性相關(guān)關(guān)系，可通過建立非線性回歸方程來反映，這種分析叫非線性回歸分析。三、回歸分析的主要內(nèi)容1、建立相關(guān)關(guān)系的數(shù)學(xué)表達(dá)式。依據(jù)現(xiàn)象之間的相關(guān)形態(tài)，建立適當(dāng)?shù)臄?shù)學(xué)模型，通過數(shù)學(xué)模 型來反映現(xiàn)象之間的相關(guān)關(guān)系，從數(shù)量上近似地反映變量之間變動的一般規(guī)律。2、依據(jù)回歸方程進(jìn)行回歸預(yù)測。由于回歸方程反映了變量之間的一般性關(guān)系，因此當(dāng)自

3、變量發(fā)生變化時，可依據(jù)回歸方程估計出因變量可能發(fā)生相應(yīng)變化的數(shù)值。因變量的回歸估計值，雖然不就是一個必然的對應(yīng)值（她可能與系統(tǒng)真值存在比較大的差距，但至少可以從一般性角度或平均意義角度反映因變量可能發(fā)生的數(shù)量變化。3、計算估計標(biāo)準(zhǔn)誤差。通過估計標(biāo)準(zhǔn)誤差這一指標(biāo)，可以分析回歸估計值與實際值之間的差異程度以及估計值的準(zhǔn)確性與代表性，還可利用估計標(biāo)準(zhǔn)誤差對因變量估計值進(jìn)行在一定把握程度條件下的區(qū)間估計。四、一元線性回歸分析1、一元線性回歸分析的特點1）兩個變量不就是對等關(guān)系，必須明確自變量與因變量。2）如果x與y兩個變量無明顯因果關(guān)系，則存在著兩個回歸方程：一個就是以x為自變量，y為 因變量建立的回

4、歸方程；另一個就是以y為自變量，x為因變量建立的回歸方程。若繪出圖形 則就是兩條斜率不同的回歸直線。3）直線回歸方程中，回歸系數(shù)b可以就是正值，也可以就是負(fù)值。若0 b ，表示直線上升，說明兩個變量同方向變動；若0 b，表示直線下降，說明兩個變量就是反方向變動。2、建立一元線性回歸方程的條件任何一種數(shù)學(xué)模型的運用都就是有前提條件的，配合一元線性回歸方程應(yīng)具備以下兩個條件：1）兩個變量之間必須存在高度相關(guān)的關(guān)系。兩個變量之間只有存在著高度相關(guān)的關(guān)系，回歸方程才有實際意義。2）兩個變量之間確實呈現(xiàn)直線相關(guān)關(guān)系。兩個變量之間只有存在直線相關(guān)關(guān)系，才能配合直線回歸方程。3、建立一元線性回歸方程的方法一

5、元線性回歸方程就是用于分析兩個變量（一個因變量與一個自變量）線性關(guān)系的數(shù)學(xué)表達(dá)式,一般形式為：yc=a+bx式中:x代表自變量；yc代表因變量y的估計值（又稱理論值）;ab為回歸方程參數(shù)。其中，a就是直線在y軸上的截距，它表示當(dāng)自變量 x等于0時,因變量 所達(dá)到的數(shù)值 也就是直線的斜率，在回歸方程中亦稱為回歸系數(shù) ，它表示當(dāng)自變量x每變動一 個單位時，因變量y平均變動的數(shù)值。一元線性回歸方程應(yīng)根據(jù)最小二乘法原理建立，因為只有用最小二乘法原理建立的回歸方程才可以同時滿足兩個條件：1）因變量的實際值與回歸估計值的離差之與為零；2）因變量的實際值與回歸估計值的離差平方與為最小值。只有滿足這兩個條件，

6、建立的直線方程的誤差才能最小，其代表性才能最強?，F(xiàn)在令要建立的一元線性回歸方程的標(biāo)準(zhǔn)形式為yc=a+bx,依據(jù)最小二乘法原理，因變量實際值y與估計值yc的離差平方與為最小值，即Q=!2 （y-yc）2取得最小值。為使 Q=13 （y-yc）2=最小值根據(jù)微積分中求極值的原理，需分別對a,b求偏導(dǎo)數(shù)，并令其為0,經(jīng)過整理，可得到如下方程組Ey=an+bExExy=aEx+bE x2解此方程組，可求得a,b兩個參數(shù)4、計算估計標(biāo)準(zhǔn)誤差回歸方程只反映變量 x與y之間大致的、平均的變化關(guān)系。因此對每一個給定的x值，回歸方程的估計值yc與因變量的實際觀察值y之間總會有一定的離差，即估計標(biāo)準(zhǔn)誤差。估計標(biāo)準(zhǔn)

7、誤差就是因變量實際觀察值y與估計值yc離差平方與的平均數(shù)的平方根，它反映因變量實際值y與回歸直線上各相應(yīng)理論值yc之間離散程度的統(tǒng)計分析指標(biāo)。估計標(biāo)準(zhǔn)誤差：式中:與一一估計標(biāo)準(zhǔn)誤差；y因變量實際觀察值；yc因變量估計值;n-2 自由度如何描述兩個變量之間線性相關(guān)關(guān)系的強弱？ 利用相關(guān)系數(shù)r來衡量當(dāng)r>0時，表示x與y為正相關(guān)；當(dāng)r<0時，表示x與y為負(fù)相關(guān)。5、殘差分析與殘差圖：殘差就是指觀測值與預(yù)測值（擬合值）之間的差，即就是實際觀察值與回歸估計值的差在研究兩個變量間的關(guān)系時，a）要根據(jù)散點圖來粗略判斷它們就是否線性相關(guān)；b）判斷就是否可以用回歸模型來擬合數(shù)據(jù)；c）可以通過殘差來

8、判斷模型擬合的效果 ，判斷原始數(shù)據(jù)中就是否存在可疑數(shù)據(jù) ，這方面的分 析工作就稱為殘差分析。6、殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量 橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點應(yīng)該分布在 以橫軸為心的帶狀區(qū)域，帶狀區(qū)域的寬度越窄精度越高。對于遠(yuǎn)離橫軸的點，要特別注意。717、幾點注解：第一個樣本點與第 6個樣本點的殘差比較大，需要確認(rèn)在采集過程中就是否有人為的錯 誤。如果數(shù)據(jù)采集有錯誤，就應(yīng)該予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù) 采集沒有錯誤，則需要尋找其她的原因。另外，殘差點比較均勻地落在水平的帶狀區(qū)域中 ，說明選用的模型計較合適 ，這樣的帶狀區(qū)域 的寬度越窄，

9、說明模型擬合精度越高，回歸方程的預(yù)報精度越高。還可以用判定系數(shù) r2來刻畫 回歸的效果，該指標(biāo)測度了回歸直線對觀測數(shù)據(jù)的擬合程度 ，其計算公式就是：其中：SSR回歸平方與；SSE殘差平方與；Sst=ssr+sse總離差平方與。由公式知，RC目關(guān)指數(shù)）的值越大，說明殘差平方與越小，也就就是說模型擬合效果越好。在含有一個解釋變量的線性模型中r2恰好等于相關(guān)系數(shù)r的平方，即R2=r2在線性回D3模型中 R表示解釋變量對預(yù)報變量變化的貢獻(xiàn)率。R2越接近1,表示回歸的效果越好（因為R2越接近1,表示解釋變量與預(yù)報變量的線性相關(guān)性越強）。如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過比較 R

10、的值來做出選擇即選取R2較大的模型作為這組數(shù)據(jù)的模型?？偟膩碚f：相關(guān)指數(shù)R2就是度量模型擬合效果的一種指標(biāo)。在線性*II型中，它代表自變量刻畫預(yù)報變量的能力。五、多元線性回歸分析在一元線性回歸分析中，因變量y只受某一個因素的影響，即只由一個自變量 x來估計。但對 于復(fù)雜的自然界中的問題，影響因素往往很多，在這種，f#況下，因變量y要用多個自變量同時進(jìn) 行估計。例如，某種產(chǎn)品的總成本不僅受原材料價格的影響，而且也與產(chǎn)品產(chǎn)量、管理水平等因素有關(guān)；農(nóng)作物產(chǎn)量的高低受品種、氣候、施肥量等多個因素的影響。描述因變量與兩個或兩個以上自變量之間的數(shù)量關(guān)系的回歸分析方法稱為多元線性回歸分析。它就是一元線性回歸

11、分析的推廣，其分析過程相復(fù)雜一些，但基本原理與一元線性回歸分析類似。多元線性回歸方程的一般表達(dá)式為：L =4+力廝 +兒+4瓦兀r f££為便于分析，當(dāng)自變量較多時可選用兩個主要的自變量X1與X2。其線性回歸方程標(biāo)準(zhǔn)式為其中:yc為二元回歸估計值 上為常數(shù)項 加與b2分別為y對X1與X2的回歸系數(shù)，bi表示當(dāng)自變 量X2為一定時，由于自變量X1變化一個單位而使y平均變動的數(shù)值，b2表示當(dāng)自變量X1為一定 時，由于自變量X2變化一個單位而使 y平均變動的數(shù)值，因此，bi與b2稱為偏回歸系數(shù)。要建立二元回歸方程，關(guān)鍵問題就是求出參數(shù)a,bi與b2的值，求解方法仍用最小二乘法，即

12、分別對a,bi與b2求偏導(dǎo)數(shù)，并令函數(shù)的一階導(dǎo)數(shù)等于零，可得如下方程組：+ A V x, - A. V % = V v"E、w Z M+包工芭巧=E邛1上三十Z*三十生£W（二）在回歸分析中，通常稱自變量為回歸因子般用耳，七，一，兀表示，而稱因變量為指標(biāo)，一般用耳立，片表示。預(yù)測公式：.一K),稱之為回歸方程?；貧w 模型，按照各種原則可以分為各種模型1、 當(dāng)n =1時,稱為一元（單因子）回歸；當(dāng)n > 2時，稱為多元（多因子）回歸。2、 當(dāng)f為線性函數(shù)時，稱為線性回歸；當(dāng)f為非線性函數(shù)時，稱為非線性（曲線）回歸。最小二乘準(zhǔn)則：假設(shè)待定的擬合函數(shù)為=人劃，另據(jù)m個數(shù)據(jù)點

13、，相當(dāng)于求解以下規(guī)劃問題即使得總離差平方與最小。具體在線性擬合的過程中，假設(shè)擬合函數(shù)為y=a+bx,a與b為待定 系數(shù)，已知有m個數(shù)據(jù)點，分別為（斗上），1 = 1，2,叫應(yīng)用最小二乘法，就就是要使：產(chǎn)府§ 二 £（Z- /（工）"=SOr -%一少r=1達(dá)到最小值。把S瞧成自變量為a與b的連續(xù)函數(shù)，則根據(jù)連續(xù)函數(shù)達(dá)到及致電的必要條件,于就是得到：cb因此，當(dāng)S取得最小值時，有:陸=-2, (.£ axi-b)xi二-遼區(qū)-叭-與可得方程組為：川 面 總立片牛地上工2%內(nèi)產(chǎn)L 2稱這個方程組為正規(guī)方程組，解這個二元一次方程組得到: I2J i 量I或M-

14、必J黑力一£工6工E=|=jf=|g=|如果把已有數(shù)據(jù)描繪成散點圖，而且從散點圖中可以瞧出，各個數(shù)據(jù)點大致分布在一條直線附近,不妨設(shè)她們滿足線性方程 J =門十左 + £其中,x為自變量，y為因變量,a與b為待定系數(shù)； £成為誤差項或者擾動項。這里要對數(shù)據(jù)點做線性回歸分析 ，從而a與b就就是待定的回歸系數(shù)，£為隨機誤差。不妨設(shè)得到的線T擬合曲線為：快二口 + bt這就就是要分析的線性回歸方程。一般情況下得到這個方程以后，主要就是描繪出回歸曲線，并且觀測擬合效果與計算一些誤差分析指標(biāo)，例如最大點誤差、總方差與標(biāo)準(zhǔn)差等。這里最缺乏的就就是一個統(tǒng)一的評價系統(tǒng)，

15、以下說明從概率角度確立的關(guān)于線性回歸的一套評價系統(tǒng)。在實際的線性回歸分析中，除了估計出線性回歸系數(shù) a與b,還要計算y與x的相關(guān)程度，即 相關(guān)性檢驗。相關(guān)性檢驗主要通過計算相關(guān)系數(shù)來分析，相關(guān)系數(shù)的計算公式為：二 安丁匚皇,工凹：£（耳尸一（£ 為 5了工口；）其中n為數(shù)據(jù)點的個數(shù)|（X/，F(xiàn)）為原始數(shù)據(jù)點，r的值能夠很好地反映出線性相關(guān)程度的高低般來說，存在以下一些標(biāo)準(zhǔn)1、 當(dāng)r -1或者r - 1時，表示y與x高度線性相關(guān)，于就是由原始數(shù)據(jù)描繪出的散點 圖中所有數(shù)據(jù)點都分布在一條直線的附近，分別稱為正相關(guān)與負(fù)相關(guān)；2、 當(dāng)r -0時，表示y與x不相關(guān)，由原始數(shù)據(jù)描繪出的

16、散點圖的數(shù)據(jù)點一般呈無規(guī)律的 特點四散分布；3、 當(dāng)-1<r< 0或者0<r<1時,y與x的相關(guān)程度介于1與2之間；4、 如果r - 1,則y與x線性相關(guān)程度越高；反之，如果r - 0，則y與x線性相關(guān)程度越低。實際計算r值的過程中，長列表計算，即：序號工jtr, d1馬再加, 耳*V,x.v.*X；Nm « b* d HI Ah bisirW丸“二支求和砧a>1在實際問題中，一般要保證回歸方程有最低程度的線T相關(guān)。因為許多實際問題中，兩個變量之間并非線性的相關(guān)關(guān)系 ，或者說線性相關(guān)程度不高 ，此時硬給她建立線性回歸方程 ，顯然沒 有太大意義，也沒有什么

17、實用價值。一般來說，把這個最低限度的值記為臨界值/,，稱之為相關(guān)性檢驗標(biāo)準(zhǔn)。因此，如果計算出r的值，并且滿足r2 ,則符合相關(guān)性要求，線性回歸方程作用顯著。反之，如果廠< r，則線性回歸方程作用不顯著，就盡量不要采用線性回歸方程。臨界值的數(shù)值表如下自由篁顯著性水平自由度顯著用了平自由度顯著比,K平n 20.050.01n-20.050.01117-20.050.01505540.874150.4K20.WJ62503MI0.48760.7070.834160.46S0W93003490.44970.6660.798170.4560.575 13503250.-18S0.765IS0.44

18、40.561400.364039390.6020.735190.4330,f494502踹0.372100.5760.708200.4230.537500.2730.354110.5530.68421Q.4I30.526JOO0J950.254120.5J20.66112 一0J040.5152001OJ380.18 L130.514UM2303960.5053000JJ3UJ4S140,4470,W22403SB0.4610000,062O.ORI其中，自由度可以由原始數(shù)據(jù)點的個數(shù)減去相應(yīng)的回歸方程的變量個數(shù)，例如線性回歸方程中有兩個變量，而數(shù)據(jù)點的個數(shù)為 n個，則自由度為n - 2、自由度

19、一般記為 f,但不要與一般的函 數(shù)發(fā)生混淆。顯著性水平一般取為0、01,0、02,0、05等,利用它可以計算y與x之間相關(guān)關(guān)系的可信程度或者稱為置信水平，計算公式為：|（1-U.05）x100d= 95%（這里取顯著性水平為“ =0、05 ）現(xiàn)在介紹置信區(qū)間的問題，由于實際誤差的存在，由線性擬合得到的計算值跟實際值之間必然 存在一定的差距，其差值就就是計算誤差。假設(shè)原始數(shù)據(jù)點為I（鶯,rj,計算得到的數(shù)據(jù)點為（巧，兒），再給定E附近的一個區(qū)間JX 其+喜"則實際值yi可能落在這個區(qū)間內(nèi)，也可 能落在這個區(qū)間外。如果所有的這些區(qū)間（以仁為中心，長度為|2乂 ）包含實際值的個數(shù)占總數(shù)的比例達(dá)到95%或者以上，則稱這些區(qū)間的置信水平不少于 95%根據(jù)以上的分析，可以知道置信區(qū)間的概念，如果確定了置