回歸分析相關(guān)定義

1、回歸分析是一類數(shù)學(xué)模型，特別當(dāng)因變量和自變量為線性關(guān)系時(shí)，它是一種特殊的線性模型。最簡(jiǎn)單的情形是一個(gè)自變量和一個(gè)因變量，且它們大體上有線性關(guān)系，這叫一元線性回歸，即模型為YabX，這里X是自變量，Y是因變量，是隨機(jī)誤差，一般的情形，有k個(gè)自變量和一個(gè)因變量，因變量的值可以分解為兩部分：一部分是由自變量的影響，即表示為自變量的函數(shù)，其中函數(shù)形式已知，但含一些未知參數(shù)；另一部分是由于其他未被考慮的因素和隨機(jī)性的影響，即隨機(jī)誤差。當(dāng)函數(shù)形式為未知參數(shù)的線性函數(shù)時(shí)，稱線性回歸分析模型；當(dāng)函數(shù)形式為未知參數(shù)的非線性函數(shù)時(shí)，稱為非線性回歸分析模型。相關(guān)分析研究的是現(xiàn)象之間是否相關(guān)、相關(guān)的方向和密切程度，一

2、般不區(qū)別自變量或因變量。而回歸分析則要分析現(xiàn)象之間相關(guān)的具體形式，確定其因果關(guān)系，并用數(shù)學(xué)模型來(lái)表現(xiàn)其具體關(guān)系。兩個(gè)變量之間到底是哪個(gè)變量受哪個(gè)變量的影響，影響程度如何，則需要通過(guò)回歸分析方法來(lái)確定。一般來(lái)說(shuō)，回歸分析是通過(guò)規(guī)定因變量和自變量來(lái)確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實(shí)測(cè)數(shù)據(jù)來(lái)求解模型的各個(gè)參數(shù)，然后評(píng)價(jià)回歸模型是否能夠很好的擬合實(shí)測(cè)數(shù)據(jù)；如果能夠很好的擬合，則可以根據(jù)自變量作進(jìn)一步預(yù)測(cè)。R2又稱為方程的確定性系數(shù)（coefficient of determination），表示方程中變量X對(duì)Y的解釋程度。R2取值在0到1之間，越接近1，表明方程中X對(duì)Y的解釋能力越強(qiáng)。通常

3、將R2乘以100來(lái)表示回歸方程解釋Y變化的百分比。F檢驗(yàn)是通過(guò)方差分析表輸出的，通過(guò)顯著性水平（significant level）檢驗(yàn)回歸方程的線性關(guān)系是否顯著。一般來(lái)說(shuō)，顯著性水平在0.05以下，均有意義?；貧w分析的步驟根據(jù)預(yù)測(cè)目標(biāo)，確定自變量和因變量明確預(yù)測(cè)的具體目標(biāo)，也就確定了因變量。如預(yù)測(cè)具體目標(biāo)是下一年度的銷售量，那么銷售量Y就是因變量。通過(guò)市場(chǎng)調(diào)查和查閱資料，尋找與預(yù)測(cè)目標(biāo)的相關(guān)影響因素，即自變量，并從中選出主要的影響因素。 建立回歸預(yù)測(cè)模型依據(jù)自變量和因變量的歷史統(tǒng)計(jì)資料進(jìn)行計(jì)算，在此基礎(chǔ)上建立回歸分析方程，即回歸分析預(yù)測(cè)模型。 進(jìn)行相關(guān)分析回歸分析是對(duì)具有因果關(guān)系的影響因素（

4、自變量）和預(yù)測(cè)對(duì)象（因變量）所進(jìn)行的數(shù)理統(tǒng)計(jì)分析處理。只有當(dāng)變量與因變量確實(shí)存在某種關(guān)系時(shí)，建立的回歸方程才有意義。因此，作為自變量的因素與作為因變量的預(yù)測(cè)對(duì)象是否有關(guān)，相關(guān)程度如何，以及判斷這種相關(guān)程度的把握性多大，就成為進(jìn)行回歸分析必須要解決的問(wèn)題。進(jìn)行相關(guān)分析，一般要求出相關(guān)關(guān)系，以相關(guān)系數(shù)的大小來(lái)判斷自變量和因變量的相關(guān)的程度。 檢驗(yàn)回歸預(yù)測(cè)模型，計(jì)算預(yù)測(cè)誤差回歸預(yù)測(cè)模型是否可用于實(shí)際預(yù)測(cè)，取決于對(duì)回歸預(yù)測(cè)模型的檢驗(yàn)和對(duì)預(yù)測(cè)誤差的計(jì)算。回歸方程只有通過(guò)各種檢驗(yàn)，且預(yù)測(cè)誤差較小，才能將回歸方程作為預(yù)測(cè)模型進(jìn)行預(yù)測(cè)。 計(jì)算并確定預(yù)測(cè)值利用回歸預(yù)測(cè)模型計(jì)算預(yù)測(cè)值，并對(duì)預(yù)測(cè)值進(jìn)行綜合分析，確定

5、最后的預(yù)測(cè)值。三、一元線性回歸模型對(duì)于具有線性因果關(guān)系的兩個(gè)變量，由于有隨機(jī)因素的干擾，兩變量的線性關(guān)系中應(yīng)包括隨機(jī)誤差項(xiàng)，即有： （93）對(duì)于某一確定的值，其對(duì)應(yīng)的值雖有波動(dòng)，但在大量觀察中隨機(jī)誤差的期望值為零，即=0，因而從平均意義上說(shuō)，總體線性回歸方程為： （94）上式中，是回歸直線的截距項(xiàng)，即為0時(shí)的值，從數(shù)學(xué)意義上理解，它表示在沒(méi)有自變量的影響時(shí)，其它各種因素對(duì)因變量的平均影響；是回歸系數(shù)（直線的斜率），表示自變量每變動(dòng)一個(gè)單位時(shí)，因變量平均變動(dòng)個(gè)單位。我們可通過(guò)樣本觀察值計(jì)算參數(shù)、的估計(jì)值，求得參數(shù)的估計(jì)值后，即求得樣本回歸方程，用它對(duì)總體線性回歸方程進(jìn)行估計(jì)。樣本回歸直線方程又稱

6、一元線性回歸方程，其表達(dá)形式為： (95) 式中：表示因變量的估計(jì)值（回歸理論值）；和是待定參數(shù)和的估計(jì)值。一元線性回歸方程中的待定參數(shù)是根據(jù)樣本數(shù)據(jù)資料估計(jì)確定的。確定回歸方程就是要找出與的估計(jì)值及，使直線總體看來(lái)與所有的散點(diǎn)最接近，即確定最優(yōu)的與，統(tǒng)計(jì)學(xué)上常采用最小二乘法（Ordinary least squares estimation,亦稱最小平方法）。設(shè)樣本回歸模型為： （96） 于是有： 從式（96）可以看出，和取不同值就有不同的樣本回歸直線，從而有不同的殘差。為了保證殘差最小，希望接近于0，但由于有個(gè)，還必須考慮總體殘差最小，又因?yàn)榭赡艽嬖谡?fù)相互抵消，最小不能真正表達(dá)總體殘差最

7、小的思想。故此又想到使最小，但使達(dá)到最小，確定參數(shù)估計(jì)值的計(jì)算較為復(fù)雜，最終選擇普通最小二乘法確定和，就是估計(jì)使得所有的估計(jì)值與觀察值的殘差平方和達(dá)到最小的參數(shù)、即： 這就是最小二乘法的基本原理。由于本書旨在介紹該種方法在統(tǒng)計(jì)中的應(yīng)用，故數(shù)學(xué)推導(dǎo)過(guò)程省略,根據(jù)最小二乘法原理，利用微積分中求極值的方法，求得、的估計(jì)值， （97）當(dāng)、求出后，一元線性回歸方程便確定了。單次測(cè)量值x1與測(cè)定平均值之差的平方的總和，以Q表示，Q值越大，表示測(cè)定值之間的差異越大，用偏差平方和表征差異的優(yōu)點(diǎn)是能充分利用測(cè)度數(shù)據(jù)所提供的信息，缺點(diǎn)是Q隨著測(cè)定值數(shù)目的增多而增大，為了克服這一缺點(diǎn)，用方差S2=Q/f來(lái)表征差異的

8、大小，其中f為自由度。如一個(gè)測(cè)定結(jié)果受多個(gè)因素影響，則總偏差平方和等于實(shí)驗(yàn)誤差與各因素（包括固定因素與隨機(jī)因素）所形成的偏差平方和之總和。為了明確解釋變量和隨機(jī)誤差各產(chǎn)生的效應(yīng)是多少，統(tǒng)計(jì)學(xué)上把數(shù)據(jù)點(diǎn)與它在回歸直線上相應(yīng)位置的差異稱殘差，把每個(gè)殘差的平方后加起來(lái) 稱為殘差平方和，它表示隨機(jī)誤差的效應(yīng)意義：每一點(diǎn)的y值的估計(jì)值和實(shí)際值的平方差之和稱為殘差平方和,而y的實(shí)際值和平均值的平方差之和稱為總平方和。殘差平方和：為了明確解釋變量和隨機(jī)誤差各產(chǎn)生的效應(yīng)是多少，統(tǒng)計(jì)學(xué)上把數(shù)據(jù)點(diǎn)與它在回歸直線上相應(yīng)位置的差異 稱殘差，把每個(gè)殘差的平方后加起來(lái) 稱為殘差平方和，它表示隨機(jī)誤差的效應(yīng)?；貧w平方和 總偏差平方和=回歸平方和 + 殘差平方和。 殘差平方和與總平方和的比值越小，判定系數(shù) r2 的值就越大。殘差圖的評(píng)價(jià) “殘差圖”以回歸方程的自變量為橫坐標(biāo)，以殘差為縱坐標(biāo)，將每一個(gè)自變量的殘差描在該平面坐標(biāo)上所形成的圖形。當(dāng)描繪的點(diǎn)圍繞殘差等于0的直線上下