回歸分析相關(guān)定義.(精選)

1、回歸分析是一類數(shù)學(xué)模型，特別當(dāng)因變量和自變量為線性關(guān)系時(shí)，它 是一種特殊的線性模型。最簡(jiǎn)單的情形是一個(gè)自變量和一個(gè)因變量，且它 們大體上有線性關(guān)系，這叫一元線性回歸， 即模型為Y=a+ bX+ £,這里X是自變量，Y是因變量，e是隨機(jī)誤差，一般的情形，有 k個(gè)自變量和一個(gè) 因變量，因變量的值可以分解為兩部分：一部分是由自變量的影響，即表 示為自變量的 1燹，其中函數(shù)形式已知，但含一些未知參數(shù)；另一部分是由于其他未被考慮的因素和隨機(jī)性 的影響,即隨機(jī)誤差。當(dāng)函數(shù)形式為未知參數(shù)的線性函數(shù)時(shí)，稱線性回歸分析模型；當(dāng)函數(shù)形式為未知參數(shù)的韭線出函數(shù)時(shí)，稱為非線性回歸分析模型。一相關(guān)分析研究的是

2、現(xiàn)象之間是否相關(guān)、相關(guān)的方向和密切程度，一般 不區(qū)別自變量或因變量。而回歸分析則要分析現(xiàn)象之間相關(guān)的具體形式， 確定其因果關(guān)系，并用數(shù)學(xué)模型來(lái)表現(xiàn)其具體關(guān)系。兩個(gè)變量之間到底是 哪個(gè)變量受哪個(gè)變量的影響，影響程度如何，則需要通過(guò)回歸分析方法來(lái) 確定。一般來(lái)說(shuō)，回歸分析是通過(guò)規(guī)定因變量和自變量來(lái)確定變量之間的 因果關(guān)系，建立回歸模型，并根據(jù)實(shí)測(cè)數(shù)據(jù)來(lái)求解模型的各個(gè)參數(shù)，然后 評(píng)價(jià)回歸模型是否能夠很好的擬合實(shí)測(cè)數(shù)據(jù)；如果能夠很好的擬合，則可 以根據(jù)自變量作進(jìn)一步預(yù)測(cè)。R2又稱為方程的確定性系數(shù)(coefficient of determination ),表示方程中變量X對(duì)Y的解釋程度。R2取值在

3、0到1之間，越接近1,表明方程中 X對(duì)Y的解釋能力越強(qiáng)。通常將R2乘以100%來(lái)表示回歸方程解釋Y變化的百分比。F檢驗(yàn)是通過(guò)方差分析表輸出的，通過(guò)顯著性水平( significant level)檢驗(yàn)回歸方程的線性關(guān)系是否顯著。一般來(lái)說(shuō)，顯著性水平在0.05以下，均有意義?；貧w分析的步驟根據(jù)預(yù)測(cè)目標(biāo)，確定自變量和因變量明確預(yù)測(cè)的具體目標(biāo)，也就確定了因變量。如預(yù)測(cè)具體目標(biāo)是下一年 度的銷售量，那么銷售量 Y就是因變量。通過(guò) 市場(chǎng)調(diào)查 和查閱資料、尋找 與預(yù)測(cè)目標(biāo)的相關(guān)影響因素，即自變量，并從中選出主要的影響因素。建立回歸預(yù)測(cè)模型依據(jù)自變量和因變量的歷史統(tǒng)計(jì)資料進(jìn)行計(jì)算，在此基礎(chǔ)上建立回歸 分析方

4、程，即回歸分析預(yù)測(cè)模型。進(jìn)行相關(guān)分析回歸分析是對(duì)具有因果關(guān)系的影響因素(自變量)和預(yù)測(cè)對(duì)象(因變 量)所進(jìn)行的數(shù)理統(tǒng)計(jì)分析處理。只有當(dāng)變量與因變量確實(shí)存在某種關(guān)系 時(shí)，建立的回歸方程才有意義。因此，作為自變量的因素與作為因變量的預(yù)測(cè)對(duì)象是否有關(guān)，相關(guān)程度如何，以及判斷這種相關(guān)程度的把握性多大, 就成為進(jìn)行回歸分析必須要解決的問(wèn)題。進(jìn)行相關(guān)分析，一般要求出相關(guān) 關(guān)系，以相關(guān)系數(shù)的大小來(lái)判斷自變量和因變量的相關(guān)的程度。檢驗(yàn)回歸預(yù)測(cè)模型，計(jì)算預(yù)測(cè)誤差回歸預(yù)測(cè)模型是否可用于實(shí)際預(yù)測(cè)，取決于對(duì)回歸預(yù)測(cè)模型的檢驗(yàn)和 對(duì)預(yù)測(cè)誤差的計(jì)算?；貧w方程只有通過(guò)各種檢驗(yàn)，且預(yù)測(cè)誤差較小，才能 將回歸方程作為預(yù)測(cè)模型進(jìn)

5、行預(yù)測(cè)。計(jì)算并確定預(yù)測(cè)值利用回歸預(yù)測(cè)模型計(jì)算預(yù)測(cè)值，并對(duì)預(yù)測(cè)值進(jìn)行綜合分析，確定最后 的預(yù)測(cè)值。三、一元線性回歸模型對(duì)于具有線性因果關(guān)系的兩個(gè)變量，由于有隨機(jī)因素的干擾，兩變量的線性 關(guān)系中應(yīng)包括隨機(jī)誤差項(xiàng)，即有：y a bx u( 93)對(duì)于x某一確定的值，其對(duì)應(yīng)的y值雖有波動(dòng)，但在大量觀察中隨機(jī)誤差的 期望值為零，即E( )=o,因而從平均意義上說(shuō)，總體線性回歸方程為：Y E(Y) a bX(9_4)上式中，a是回歸直線的截距項(xiàng)，即X為0時(shí)Y的值，從數(shù)學(xué)意義上理解， 它表示在沒(méi)有自變量X的影響時(shí)，其它各種因素對(duì)因變量Y的平均影響；b是回 歸系數(shù)(直線的斜率)，表示自變量x每變動(dòng)一個(gè)單位時(shí)，

6、因變量Y平均變動(dòng)b個(gè) 單位。我們可通過(guò)樣本觀察值計(jì)算參數(shù)a、b的估計(jì)值，求得參數(shù)的估計(jì)值后，即 求得樣本回歸方程，用它對(duì)總體線性回歸方程進(jìn)行估計(jì)。 樣本回歸直線方程又稱 一元線性回歸方程，其表達(dá)形式為：?夕 bx(9 5)式中：？表示因變量的估計(jì)值(回歸理論值)；？和8是待定參數(shù)a和b的估 計(jì)值。一元線性回歸方程中的待定參數(shù)是根據(jù)樣本數(shù)據(jù)資料估計(jì)確定的。確定回歸方程就是要找出a與b的估計(jì)值臺(tái)及應(yīng)使直線？ ? B總體看來(lái)與所有的散點(diǎn) 最接近，即確定最優(yōu)的今與統(tǒng)計(jì)學(xué)上常采用最小二乘法(Ordinary least squares estimation,亦稱最小平方法)。設(shè)樣本回歸模型為：(9 6)

7、yi a?故 e i 1, 2, L , n 于是有：e yi a? & yi ?從式（9 6）可以看出，a?和?取不同值就有不同的樣本回歸直線，從而有不同的殘差ei0為了保證殘差最小，希望e接近于0,但由于有n個(gè)ei ,還必須考慮總體殘差最小，又因?yàn)閑i可能存在正負(fù)相互抵消，e最小不能真正表達(dá)總體殘差最小的思想。故此又想到使 0最小，但使 e達(dá)到最小，確定參數(shù)估計(jì)值的計(jì)算較為復(fù)雜，最終選擇普通最小二乘法確定 ?和8,就是估計(jì)使得所2有Y的估計(jì)值與觀察值的殘差平方和e達(dá)到最小的參數(shù)a?、8即:min Qe；(yi a?政J這就是最小二乘法的基本原理。由于本書(shū)旨在介紹該種方法在統(tǒng)計(jì)中的應(yīng)

8、用，故數(shù)學(xué)推導(dǎo)過(guò)程省略，根據(jù)最小二乘法原理，利用微積分中求極值的方法，求得 a、b的估計(jì)值，口 n xyx yb22n x ( x)(9- 7)a? y bX當(dāng)a?、8求出后，一元線性回歸方程？?B便確定了單次測(cè)量值x1與測(cè)定平均值之差的平方的總和，以 Q表示，Q值越大，表示測(cè)定值之間的差異越大，用偏差平方和表征差異的優(yōu)點(diǎn)是能充分利用測(cè)度數(shù)據(jù)所提供的信息，缺點(diǎn)是 Q隨著測(cè)定值數(shù)目的增多而增大，為了克服這一缺點(diǎn)，用笈上S2=Q/f來(lái)表征差異的大小，其中 f為自由度。如一個(gè)測(cè)定結(jié) 果受多個(gè)因素影響，則總偏差平方和等于 實(shí)驗(yàn)誤差與各因素（包括固定因素 與隨機(jī)因素）所形成的偏差平方和之總和。為了明確解

9、釋變量和隨機(jī)誤差各產(chǎn)生的效應(yīng)是多少，統(tǒng)計(jì)學(xué)上把數(shù)據(jù)點(diǎn)與它在回歸直線上相應(yīng)位置的差異稱殘差，把每個(gè)殘差的平方后加起來(lái)稱為殘差平方和，它表示隨機(jī)誤差的效應(yīng) 意義:每一點(diǎn)的y值的估計(jì)值和實(shí)際值的平方差之和稱為殘差平方和，而y的實(shí)際值和平均值的平方差之和稱為總平方和。殘差平方和：為了明確解釋變量和隨機(jī)誤差各產(chǎn)生的效應(yīng)是多少， 統(tǒng)計(jì)學(xué)上把數(shù) 據(jù)點(diǎn)與它在回歸直線上相應(yīng)位置的差異 稱殘差，把每個(gè)殘差的平方后加起來(lái)稱 為殘差平方和，它表示隨機(jī)誤差的效應(yīng)?；貧w平方和總偏差平方和二回歸平方和+殘差平方和。殘差平方和與總平方和的比值越小，判定系數(shù) r2的值就越大。殘差圖的評(píng)價(jià)“殘差圖”以回歸方程的自變量為橫坐標(biāo)，以殘差為縱坐標(biāo)，將每一個(gè)自變量的殘差描在該平面坐標(biāo)上所形成的圖形。當(dāng)描繪的點(diǎn)圍繞殘差等于0的直線上下隨機(jī)散布，說(shuō)明回歸直線對(duì)原觀測(cè)值的擬