總結(jié)：線性回歸分析的基本步驟

線性回歸分析的基本步驟步驟一、建立模型知識點(diǎn)：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程總體回歸模型：研究總體之中自變量和因變量之間某種非確定依賴關(guān)系的計(jì)量模型。Y=X卩+U特點(diǎn)：由于隨機(jī)誤差項(xiàng)U的存在，使得Y和X不在一條直線/平面上。例1：某鎮(zhèn)共有60個(gè)家庭，經(jīng)普查，60個(gè)家庭的每周收入（X）與每周消費(fèi)（Y）數(shù)據(jù)如下：每周收入（X）每周消費(fèi)支出（Y）8055606570751006570748085881207984909498140809395103108113115160102107110116118125180110115120130135140200120136140144145220135137140152157160162240137145155165175189260150152175178180185191作出其散點(diǎn)圖如下：200-|180-；*°TOC\o"1-5"\h\z160-署:140-::魯：Y120-°:*100-*"":g80-:-?■*■p060-40_111114080120160200240280

總體回歸方程（線）:由于假定EU=0，因此因變量的均值與自變量總處于一條直線上，這條直線E（YIX）=X卩就稱為總體回歸線（方程）?？傮w回歸方程的求法：以例1的數(shù)據(jù)為例1）對第一個(gè)兀，求出E（Y\X）每周收入（X）每周消費(fèi)支出（Y）E(YIX.)8055606570756510065707480858877120798490949889140809395103108113115101160102107110116118125113180110115120130135140125200120136140144145137220135137140152157160162149240137145155165175189161150152175178180185191173由于E(YiIX)=po+piX，因此任意^入^個(gè)X和其^應(yīng)的E(YIX.)<,ii01iii即可求出卩。和P，并進(jìn)而得到總體回歸方程。如將°X=100,E（XIX）=77和X=200,E（YIX）=137代入222777E(YIE(YIX)=卩+pX可得ii01i77=P+100卩01137=p+200卩01卩=170卩=0?61以上求出卩和卩反映了E（YX.）和X之間的真實(shí)關(guān)系，即所求的總體回歸01ii方程為：E*1X）=17+0?6X,其圖形為：IIIY

Y樣本回歸模型：總體通常難以得到，因此只能通過抽樣得到樣本數(shù)據(jù)。如在例1中，通過抽樣考察，我們得到了20個(gè)家庭的樣本數(shù)據(jù)：每周收入（X）每周消費(fèi)支出（Y）8055100砧7012079841408093160102107110180110200120136220135137240137145260150152175那么描述樣本數(shù)據(jù)中因變量Y和自變量X之間非確定依賴關(guān)系的模型Y=X『+e就稱為樣本回歸模型。樣本回歸方程（線：通過樣本數(shù)據(jù)估計(jì)出Q，得到樣本觀測值的擬合值與解釋變量之間的關(guān)系方程Y=X卩稱為樣本回歸方程。如下圖所示:四者之間的關(guān)系：i：總體回歸模型建立在總體數(shù)據(jù)之上，它描述的是因變量Y和自變量X之間的真實(shí)的非確定型依賴關(guān)系；樣本回歸模型建立在抽樣數(shù)據(jù)基礎(chǔ)之上，它描述的是因變量Y和自變量X之間的近似于真實(shí)的非確定型依賴關(guān)系。這種近似表現(xiàn)在兩個(gè)方面：一是結(jié)構(gòu)參數(shù)0是其真實(shí)值卩的一種e近似估計(jì)；二是殘差是隨機(jī)誤差項(xiàng)U的一個(gè)近似估計(jì)；ii：總體回歸方程是根據(jù)總體數(shù)據(jù)得到的，它描述的是因變量的條件均值因卿與自變量X之間的線性關(guān)系；樣本回歸方程是根據(jù)抽樣數(shù)據(jù)得到的，它描述的是因變量Y樣本預(yù)測值的擬合值Y與自變量X之間的線性關(guān)系。iii：回歸分析的目的是試圖通過樣本數(shù)據(jù)得到真實(shí)結(jié)構(gòu)參數(shù)P的估計(jì)值，并要求估計(jì)結(jié)果0足夠接近真實(shí)值卩。由于抽樣數(shù)據(jù)有多種可能，每一次抽樣所得到的估計(jì)值0都不會相同，即P的估計(jì)量0是一個(gè)隨機(jī)變量。因此必須選擇合適的參數(shù)估計(jì)方法，使其具有良好的統(tǒng)計(jì)性質(zhì)。2、隨機(jī)誤差項(xiàng)U存在的原因：非重要解釋變量的省略人的隨機(jī)行為數(shù)學(xué)模型形式欠妥歸并誤差(如一國GDP的計(jì)算)測量誤差等3、多元回歸模型的基本假定隨機(jī)誤差項(xiàng)的期望值為零E(U)=0i隨機(jī)誤差項(xiàng)具有同方差性Var(u)=b2i=1,2,…,ni隨機(jī)誤差項(xiàng)彼此之間不相關(guān)Cov(u,u)=0i豐j;i,j=12，…,nij解釋就變量X]X2,???耳為確定型變量，與隨機(jī)誤差項(xiàng)彼此不相關(guān)。Cov(X,u)=0i=1,2,?…,kj=1,2,…,n???ijj

解釋就變量X]X2,???Xt之間不存在精確的（完全的）線性關(guān)系，即解釋變量的樣本觀測值矩陣X為滿秩矩陣：rank（X）=k+1<n隨機(jī)誤差項(xiàng)服從正態(tài)分布，即："廠n（0q2），7=1,2,???n知識點(diǎn)：1、最小二乘估計(jì)的基本原理：殘差平方和最小化。2、參數(shù)估計(jì)量：①一元回歸②多元回歸7B①一元回歸②多元回歸7B=y-Bx

01f=(XXhXtY3、最小二乘估計(jì)量的性質(zhì)（Gauss-Markov定理）:在滿足基本假設(shè)的情況下，最小二乘估計(jì)量Q是卩的最優(yōu)線性無偏估計(jì)量（BLUE估計(jì)量）步驟三、模型檢驗(yàn)1、經(jīng)濟(jì)計(jì)量檢驗(yàn)（后三章內(nèi)容）2、統(tǒng)計(jì)檢驗(yàn)擬合優(yōu)度檢驗(yàn)知識點(diǎn)：i：擬合優(yōu)度檢驗(yàn)的作用：檢驗(yàn)回歸方程對樣本點(diǎn)的擬合程度ii：擬合優(yōu)度的檢驗(yàn)方法：計(jì)算（調(diào)整的）樣本可決系數(shù)R2/R2RSS亠空,R2亠ESS/n_k_1TSSTSSTSS/n-1注意掌握離差平方和、回歸平方和、殘差平方和之間的關(guān)系以及它們

的自由度。計(jì)算方法：通過方差分析表計(jì)算方差來源符號計(jì)算公式自由度(好)均方值(MSS)離差平方和TSSZ(y一Y》iin-1力&-Y》/n-1ii回歸平方和RSS瓏一Y)iikZ(y一Y)/kii殘差平方和ESS図一Jiin-k-1一彳)/n-k-1ii例2：下表列出了三變量(二元)模型的回歸結(jié)果：方差來源平方和(SS)自由度均方值離差平方和TSS6604214回歸平方和RSS65965殘差平方和ESS1)樣本容量為多少？解：由于TSS的自由度為n-1,由上表知n-1=14，因此樣本容量n=15。求ESS解：由于TSS=ESS+RSS，故ESS=TSS—RSS=77ESS和RSS的自由度各為多少？解：對三變量模型而言，k=2,故ESS的自由度為n-k-1=12RSS的自由度為k=24)求R2和R2解：R2=RSSTSS解：R2=RSSTSS_65965=66042=0.9988,ESS/n一k一1

TSS/n-1=0.9986回歸方程的顯著性檢驗(yàn)(F檢驗(yàn))目的：檢驗(yàn)?zāi)Ｐ椭械囊蜃兞颗c自變量之間是否存在顯著的線性關(guān)系步驟：1、提出假設(shè)：H:P=P=???=卩=0步驟：1、提出假設(shè)：012kH:至少有一卩豐0,j=1,2,.??,k1j2、構(gòu)造統(tǒng)計(jì)量：F=RSS2、構(gòu)造統(tǒng)計(jì)量：F=RSS/k

ESS/n-k-1~F(k,n-k-1)3、給定顯著性水平a，確定拒絕域F>F(k,n-k-1)a4、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例3：就例2中的數(shù)據(jù)，給定顯著性水平a=1%，對回歸方程進(jìn)行顯著性檢驗(yàn)。解：由于統(tǒng)計(jì)量值f=RSS/k=65965/2=5140.13，ESS/n-k-177/12又F(2,12)=6?93，而F=5140.13>F(2,12)=6?930?010?01故拒絕原假設(shè)，即在1%的顯著性水平下可以認(rèn)為回歸方程存在顯著的線性關(guān)系。附：R2與F檢驗(yàn)的關(guān)系：?nF=R2=空=一RSS一nRSS=-^ESS由于TSSESS+RSS1-?nF==RSS/kESS/n-k一1一解釋變量的顯著性檢驗(yàn)(/檢驗(yàn))目的：檢驗(yàn)?zāi)Ｐ椭械淖宰兞渴欠駥σ蜃兞看嬖陲@著影響。多元回歸：S知識點(diǎn)：多元回歸：S，其中c為(xX丄1中位于第Z+1行i+1,i+1和i+1列的元素；

S=I'eSS=I'eS0。(n-2)xSx￡1、提出假設(shè)：h:0=0H:卩主00i1i2、構(gòu)造統(tǒng)計(jì)量：t=暑~t(n-k_1)0i3、給定顯著性水平a，確定拒絕域Itl>t(n—k—1)1a/24、計(jì)算統(tǒng)計(jì)量值，并判斷是否拒絕原假設(shè)例4：根據(jù)19個(gè)樣本數(shù)據(jù)得到某一回歸方程如下：Y=—58.9+0.2X一0.1X12se(0.0092)(0.084)試在5%的顯著性水平下對變量X和X的顯著性進(jìn)行檢驗(yàn)。12解:由于ta/2(n-k-1)=t0025(16)=2?12，故t檢驗(yàn)的拒絕域?yàn)閨t|>2.12。對自變量X而言，其t統(tǒng)計(jì)量值為t=h=0.2=21.74>2.12，落入1S0.009201拒絕域，故拒絕0=0的原假設(shè)，即在5%的顯著性水平下，可以認(rèn)為自變1量X對因變量有顯著影響；1對自變量X而言，其t統(tǒng)計(jì)量值為t=h=-°L=1.19v2.12，未落入拒

211S0.08402絕域，故不能拒絕0=0的原假設(shè)，即在5%的顯著性水平下，可以認(rèn)為2自變量x2對因變量Y的影響并不顯著。2回歸系數(shù)的置信區(qū)間目的：給定某一置信水平1—a，構(gòu)造某一回歸參數(shù)0的一個(gè)置信區(qū)間，使i0落在該區(qū)間內(nèi)的概率為1—ai1、構(gòu)造統(tǒng)計(jì)量t=陽卩i~t(n-k-1)ft2、給定置信水平1-a，查表求出?水平的雙側(cè)分位數(shù)t(n-k-1)a/23、求出P的置信度為1-a的置信區(qū)間-1XS,0+1XS/iia/20ia/20ii例5：根據(jù)例4的數(shù)據(jù)，求出0的置信度為95%的置信區(qū)間。1解：由于t(16)=2.12，故0的置信度為95%的置信區(qū)間為：0.0251(0.2-2.12x0.0092,0.2+2?12x0.0092)=(0.18,0.22)3、經(jīng)濟(jì)意義檢驗(yàn)?zāi)康模簷z驗(yàn)回歸參數(shù)的符號及數(shù)值是否與經(jīng)濟(jì)理論的預(yù)期相符。例6：根據(jù)26個(gè)樣本數(shù)據(jù)建立了以下回歸方程用于解釋美國居民的個(gè)人消費(fèi)支出：Y=-10.96+0.93X一2.09X12t(-3.33)(249.06)(-3.09)R2=0.9996其中：Y為個(gè)人消費(fèi)支出(億元)；X1為居民可支配收入(億元)；X2為利率(%)先驗(yàn)估計(jì)0和0的符號；12解：由于居民可支配收入越高，其個(gè)人消費(fèi)水平也會越高，因此預(yù)期自變量X1回歸系數(shù)的符號為正；而利率越高，居民儲蓄意愿越強(qiáng)，消費(fèi)意愿相應(yīng)越低，因此個(gè)從消費(fèi)支出與利率應(yīng)該存在負(fù)相關(guān)關(guān)系，即Q應(yīng)為負(fù)。2解釋兩個(gè)自變量回歸系數(shù)的經(jīng)濟(jì)含義；im解：Q=0.93表示，居民可支配收入每增加1億元，其個(gè)人消費(fèi)支出相應(yīng)im1會增加0?93億元，即居民的邊際消費(fèi)傾向MPC=0?93；Q=-2.09表示，利率提高1個(gè)百分點(diǎn)，個(gè)人消費(fèi)支出將減少2.09億元。2截距項(xiàng)表示居民可支配收入和利率為零時(shí)的個(gè)人消費(fèi)支出為-10.96億元，它沒有明確的經(jīng)濟(jì)含義。檢驗(yàn)卩是否顯著不為1;(a=5%)1解：1)提出假設(shè)：H:P=1H:P工10111構(gòu)造統(tǒng)計(jì)量：t=卩1-卩i~t(n-k-1)卩1給定顯著性水平a=5%，查表得t(n-k-1)=t(23)=2.07，故拒絕TOC\o"1-5"\h\za/20.025域?yàn)閨t|>2.07計(jì)算統(tǒng)計(jì)量值：由于t(0)=￡aS=衛(wèi)=09匕=0.0037341S久t(0)249.06011則It=卩1-01=0.07=18.75>2.07，落入拒絕域。故拒絕0=1的原假設(shè)。1S0.003734101即在5%的顯著性水平下，可認(rèn)為邊際消費(fèi)傾向MPC顯著不為1。檢驗(yàn)0顯否顯著不為零；(a=5%)2解：1)提出假設(shè)：H:0=0H:0工00212構(gòu)造統(tǒng)計(jì)量：t=^^~t(n-k-1)02給定顯著性水平a=5%，查表得t(n—k—1)=t(23)=2.07，故拒絕a/20.025域?yàn)閨t|>2.07計(jì)算統(tǒng)計(jì)量值：由于|t(0；)|=3.09>2.07，落入拒絕域，故拒絕原假設(shè)。即在5%的顯著性水平下，可以認(rèn)為0顯著異于零。2計(jì)算R值；2R2=1-ESS/n-k-1=1-ESS=1-(!-R2解：由于TSS/n-1TSSn-k-1n-k-1=1-(1-0?9996)x26-1=0.9995726-2-1-10.96-10.96S=———3.29Pot(P)-3?330解由于心)=S--s$=濡亠卩i°0.93S-衛(wèi)—0.9^解由于心)=S--s$=濡亠卩i°0.931S=-^―-209—0.6764P2t(P)-3.092給出p置信水平為95%的置信區(qū)間；2解：由于p—-2.09,S-0.6764,t(23)-2.07，故P置信水平為95%的置信2p20.0252區(qū)間為(-2.09-2.07x0.6764,-2.09+2?07x0.6764)—(-3.49,-0.69)8)對回歸方程進(jìn)行顯著性檢驗(yàn)；解：提出假設(shè)：-:p或卩豐0012112構(gòu)造統(tǒng)計(jì)量f=Es；：n-：-1"(k，n-k-1)確定拒絕域：F>F(kn—k-1)=F(2,23)=3.42a0.05計(jì)算統(tǒng)計(jì)量并進(jìn)行判斷：由于F=由于F=G-加k-1)0.9996/20.0004/23—28738.5>3.42故拒絕原假設(shè)，即在5%的顯著性水平下認(rèn)為回歸方程的線性關(guān)系顯著成立。步驟四：經(jīng)濟(jì)預(yù)測點(diǎn)預(yù)測：Y—Xp可以看著是Y的條件均值E(YIX)和個(gè)別值Y的預(yù)測值,00000分別稱為均值預(yù)測和個(gè)值預(yù)測；性質(zhì)：Y—Xp是E(YIX)和Y的一個(gè)無偏估計(jì)量。00000區(qū)間預(yù)測：均值E(YIX)的區(qū)間預(yù)測00預(yù)測步驟：1)確定統(tǒng)計(jì)量：Y-E(YIX)預(yù)測步驟：1)確定統(tǒng)計(jì)量：t--000~t(