管理統(tǒng)計(jì)學(xué)-回歸分析1課件

線性回歸模型

§1回歸分析概述§2

線性回歸模型的參數(shù)估計(jì)§3

線性回歸模型的統(tǒng)計(jì)檢驗(yàn)§4

回歸預(yù)測(cè)§5

極大似然估計(jì)§6有約束回歸§1回歸分析概述

一、線性回歸模型的特征二、線性回歸模型的普遍性三、線性回歸模型的基本假設(shè)一、線性回歸模型的特征

1、線性回歸模型的特征一個(gè)例子

凱恩斯絕對(duì)收入假設(shè)消費(fèi)理論：消費(fèi)（C）是由收入（Y）唯一決定的，是收入的線性函數(shù)：

C=+Y(2.2.1)

但實(shí)際上上述等式不能準(zhǔn)確實(shí)現(xiàn)。原因⑴消費(fèi)除受收入影響外，還受其他因素的影響；⑵線性關(guān)系只是一個(gè)近似描述；⑶收入變量觀測(cè)值的近似性：收入數(shù)據(jù)本身并不絕對(duì)準(zhǔn)確地反映收入水平。因此，一個(gè)更符合實(shí)際的數(shù)學(xué)描述為：

C=+Y+(2.2.2)其中：是一個(gè)隨機(jī)誤差項(xiàng)，是其他影響因素的“綜合體”。線性回歸模型的特征：

⑴通過引入隨機(jī)誤差項(xiàng)，將變量之間的關(guān)系用一個(gè)線性隨機(jī)方程來描述，并用隨機(jī)數(shù)學(xué)的方法來估計(jì)方程中的參數(shù)；⑵在線性回歸模型中，被解釋變量的特征由解釋變量與隨機(jī)誤差項(xiàng)共同決定。2、模型的理論方程中為什么必須包含隨機(jī)誤差項(xiàng)？（1）在解釋變量中被忽略的因素的影響；（2）變量觀測(cè)值的觀測(cè)誤差的影響；（3）模型關(guān)系的設(shè)定誤差的影響；（4）其它隨機(jī)因素的影響。3、隨機(jī)誤差項(xiàng)主要包括哪些因素的影響？4.單方程線性回歸模型的一般形式

二、線性回歸模型的普遍性

線性回歸模型是計(jì)量經(jīng)濟(jì)學(xué)模型的主要形式，許多實(shí)際經(jīng)濟(jì)活動(dòng)中經(jīng)濟(jì)變量間的復(fù)雜關(guān)系都可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系。1.線性的含義對(duì)變量而言對(duì)參數(shù)而言2.將非線性模型轉(zhuǎn)化為線性模型的數(shù)學(xué)處理方法⑴變量置換例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0變量置換僅用于變量非線性的情況。⑵函數(shù)變換

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AKLQ：產(chǎn)出量，K：投入的資本；L：投入的勞動(dòng)方程兩邊取對(duì)數(shù)：

lnQ=lnA+lnK+lnL(3)級(jí)數(shù)展開例如，不變替代彈性CES生產(chǎn)函數(shù)：方程兩邊取對(duì)數(shù)后，得到：對(duì)在ρ=0處展開臺(tái)勞級(jí)數(shù)，取關(guān)于ρ的線性項(xiàng)，即得到一個(gè)線性近似式。

變量置換得到結(jié)論：實(shí)際中的許多問題，都可以最終化為線性問題，所以，線性回歸模型有其普遍意義。即使對(duì)于無法采取任何變換方法使之變成線性的非線性模型，目前使用得較多的參數(shù)估計(jì)方法——非線性最小二乘法，其原理仍然是以線性估計(jì)方法為基礎(chǔ)。線性模型理論方法在計(jì)量經(jīng)濟(jì)學(xué)模型理論方法的基礎(chǔ)。Back：三、線性回歸模型的基本假設(shè)對(duì)于線性回歸模型，模型估計(jì)的任務(wù)是用回歸分析的方法估計(jì)模型的參數(shù)。最常用的估計(jì)方法是普通最小二乘法。為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對(duì)模型提出若干基本假設(shè)。如果實(shí)際模型滿足這些基本假設(shè)，普通最小二乘法就是一種適用的估計(jì)方法；如果實(shí)際模型不滿足這些基本假設(shè)，普通最小二乘法就不再適用，而要發(fā)展其它方法來估計(jì)模型。線性回歸模型在上述意義上的基本假設(shè)

（1）解釋變量X1，X2，…，Xk

是確定性變量，不是隨機(jī)變量；解釋變量之間互不相關(guān)。

（2）隨機(jī)誤差項(xiàng)具有０均值和同方差。即

E(i)=0i=1,2,…,n

Var(i)=2i=1,2,…,n

（5）隨機(jī)誤差項(xiàng)服從０均值、同方差的正態(tài)分布。即i~N(0,2)i=1,2,…,n（3）隨機(jī)誤差項(xiàng)在不同樣本點(diǎn)之間是獨(dú)立的，不存在序列相關(guān)。即

Cov(i,j)=0i≠ji,j=1,2,…,n（4）隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)。即

Cov(Xji,i)=0j=1,2,…,ki=1,2,…,n重要提示幾乎沒有哪個(gè)實(shí)際問題能夠同時(shí)滿足所有基本假設(shè)；通過模型理論方法的發(fā)展，可以克服違背基本假設(shè)帶來的問題；違背基本假設(shè)問題的處理構(gòu)成了單方程線性模型的理論方法的主要內(nèi)容：

異方差問題（違背同方差假設(shè)）序列相關(guān)問題（違背序列不相關(guān)假設(shè)）共線性問題（違背解釋變量不相關(guān)假設(shè)）隨機(jī)解釋變量（違背解釋變量確定性假設(shè)）Back§2

線性回歸模型的參數(shù)估計(jì)

--普通最小二乘法

假定變量yt與k

個(gè)變量xjt,j=1,…,k

，存在線性關(guān)系。多元線性回歸模型表示為：其中yt是被解釋變量（因變量），xjt

是解釋變量（自變量），ut是隨機(jī)誤差項(xiàng)，i,i=0,1,…,k

是回歸參數(shù)（通常未知）。這說明xjt,j=1,…,k,是yt的重要解釋變量。ut代表眾多影響yt變化的微小因素。模型描述即形式★★矩陣形式§2

線性回歸模型的參數(shù)估計(jì)1.普通最小二乘法(OLS)

最小二乘法(OLS)的原理是通過求殘差（誤差項(xiàng)的估計(jì)值）平方和最小確定回歸參數(shù)估計(jì)值。這是求極值問題。用Q表示殘差平方和，求其最小值條件下的回歸參數(shù)的估計(jì)值。minQ得到下列方程組求參數(shù)估計(jì)值的實(shí)質(zhì)是求一個(gè)k+1元方程組正規(guī)方程變成矩陣形式★★最小二乘法的矩陣表示★★正規(guī)方程的結(jié)構(gòu)Y——被解釋變量觀測(cè)值nx1X——解釋變量觀測(cè)值（含虛擬變量nx(k+1)）X`X——設(shè)計(jì)矩陣（實(shí)對(duì)稱(k+1)x(k+1)矩陣）X`Y——正規(guī)方程右端(k+1)x1——回歸系數(shù)矩陣(k+1)x1——高斯乘數(shù)矩陣，設(shè)計(jì)矩陣的逆

——?dú)埐钕蛄浚╪x1）

——被解釋變量的擬合（預(yù)測(cè)）向量nx12.最小二乘估計(jì)量的性質(zhì)線性（估計(jì)量都是被解釋變量觀測(cè)值的線性組合）無偏性（估計(jì)量的數(shù)學(xué)期望=被估計(jì)的真值）有效性（估計(jì)量的方差是所有線性無偏估計(jì)中最小的）1)線性因?yàn)閄的元素是非隨機(jī)的，(X‘X)-1X是一個(gè)常數(shù)矩陣，由上式知是Y的線性組合，為線性估計(jì)量。具有線性特性2)無偏特性3)有效性★★具有最小方差特性?！铩镫S機(jī)誤差項(xiàng)的方差的估計(jì)量

M=M'M2=M'M=M'利用上述性質(zhì)，殘差平方和'

e'e=(Mu)'(Mu)=u'M'Mu=u'Mu=u'[I-X(X'X)-1X']uE(e'e)=E{tr[u'(I-X(X'X)-1X')u]=tr[(I-X(X'X)-1X')E(uu')]=(n-K-1)3.樣本容量問題樣本是一個(gè)重要的實(shí)際問題，模型依賴于實(shí)際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數(shù)據(jù)的困難。最小樣本容量：滿足基本要求的樣本容量樣本容量問題(X`X)-1存在|X`X|≠0X`X

為k+1階的滿秩陣R(AB)≤min(R(A),R(B))R(X)≥k+1因此，必須有n≥k+1，此為最小樣本容量▲滿足基本要求的樣本容量一般經(jīng)驗(yàn)認(rèn)為：n≥30或者n≥3(k+1)才能滿足模型估計(jì)的基本要求。n≥3(k+1)時(shí)，t分布才穩(wěn)定，檢驗(yàn)才較為有效§3

線性回歸模型的統(tǒng)計(jì)檢驗(yàn)1

擬合優(yōu)度檢驗(yàn)

2方程的整體顯著性

3參數(shù)的顯著性檢驗(yàn)回歸分析是要通過樣本所估計(jì)的參數(shù)來代替總體的真實(shí)參數(shù)，或者說是用樣本回歸線代替總體回歸。盡管從統(tǒng)計(jì)性質(zhì)上已知，如果有足夠多的重復(fù)抽樣，參數(shù)的估計(jì)值的期望（均值）就等于其總體的參數(shù)真值，但在一次抽樣中，估計(jì)值不一定就等于該真值。那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。主要包括擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)及模型整體的顯著性檢驗(yàn)。1.擬合優(yōu)度檢驗(yàn)

擬合優(yōu)度指用

樣本回歸線對(duì)樣本觀察值的擬合程度.(1)總離差平方和的分解YX0*******△****Y9由回歸方程解釋的部分，表示解釋變量X對(duì)Y的線性影響殘差項(xiàng)，表示回歸方程不能解釋的部分總離差平方和（TSS）回歸平方和（ESS）殘差平方和（RSS）(1)總離差平方和的分解★★注意英文縮小的含義TSS：TotalSquareSum/總離差平方和RSS：ResidualSquareSum/殘差平方和ESSExplainSquareSum/解釋平方和（回歸平方和）平方和分解的意義TSS=RSS+ESS被解釋變量Y總的變動(dòng)（差異）=解釋變量X引起的變動(dòng)（差異）+除X以外的因素引起的變動(dòng)（差異）如果X引起的變動(dòng)在Y的總變動(dòng)中占很大比例，那么X很好地解釋了Y；否則，X不能很好地解釋Y。(2)樣本可決系數(shù)樣本可決系數(shù)是擬合優(yōu)度評(píng)價(jià)的最重要指標(biāo)，殘差的標(biāo)準(zhǔn)差也能作為擬合優(yōu)度評(píng)價(jià)的參考指標(biāo)樣本可決系數(shù)（Thecoefficient

ofDetermination）R2隨機(jī)項(xiàng)μ的方差σ2的最小二乘估計(jì)量★★相關(guān)系數(shù)計(jì)算方法與樣本決定系數(shù)一樣含義有所不同：樣本可決系數(shù)是判斷回歸方程與樣本觀測(cè)值擬合優(yōu)度的一個(gè)數(shù)量指標(biāo)，隱含的前提條件是X和Y具有因果關(guān)系相關(guān)系數(shù)是判斷兩個(gè)隨機(jī)變量線性相關(guān)的密切程度，不考慮因果關(guān)系。(3)調(diào)整的可決系數(shù)(adjustedcoefficientofdetemination)增加解釋變量時(shí)，很可能增加R2，容易引起錯(cuò)覺，認(rèn)為只要在回歸模型中增加解釋變量就可以了，因此考慮對(duì)R2進(jìn)行修正思考：調(diào)整的可決系數(shù)能否為負(fù)？如果為負(fù)，說明什么問題？★★注意TSS、ESS、RSS的自由度TSS(離差平方和):n-1RSS(殘差平方和):n-k-1ESS(回歸平方和):k=n-1★★赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度,常用的標(biāo)準(zhǔn)還有赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則赤池信息準(zhǔn)則的定義為:AIC

=ln(

e’e/n)

+[2(k+1)]/n施瓦茨準(zhǔn)則的定義為:SC

=ln(

e’e/n)

+(k/n)lnn上面的兩個(gè)準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC和SC的值時(shí),才允許在模型中增加該解釋變量2.方程整體線性的顯著性檢驗(yàn)(F檢驗(yàn))檢驗(yàn)估計(jì)的回歸方程作為一個(gè)整體的統(tǒng)計(jì)顯著性3.參數(shù)估計(jì)量的t檢驗(yàn)檢驗(yàn)回歸方程中每個(gè)解釋變量的統(tǒng)計(jì)顯著性3.參數(shù)估計(jì)量的t檢驗(yàn)檢驗(yàn)回歸方程中每個(gè)解釋變量的統(tǒng)計(jì)顯著性★★參數(shù)的置信區(qū)間容易推出：在(1-)的置信水平下i的置信區(qū)間是其中，t/2為顯著性水平為、自由度為n-k-1的t分布的臨界值?！铩锘貧w模型統(tǒng)計(jì)檢驗(yàn)的步驟(1)

查看擬合優(yōu)度，進(jìn)行F檢驗(yàn)，從整體上判斷回歸方程是否成立，如果F檢驗(yàn)通不過，無須進(jìn)行下一步；否則進(jìn)行下一步查看各個(gè)變量的t值及其相應(yīng)的概率，進(jìn)行t檢驗(yàn)，如果相應(yīng)的概率小于給定的顯著水平，該自變量的系數(shù)顯著地不為0，該自變量對(duì)因變量作用顯著；否則系數(shù)與0無顯著差異（本質(zhì)上=0），該自變量對(duì)因變量無顯著的作用，應(yīng)從方程中刪去，重新估計(jì)方程?！铩锏?，一次只能將最不顯著（相應(yīng)概率最大）的刪除。每次刪除一個(gè)，直至全部顯著?！?

線性回歸模型的預(yù)測(cè)

對(duì)于模型給定樣本以外的解釋變量的觀測(cè)值X0=(1,X01,X02,…,X0k)，可以得到被解釋變量的預(yù)測(cè)值：它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測(cè)。但嚴(yán)格地說，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。為了進(jìn)行科學(xué)預(yù)測(cè)，還需求出預(yù)測(cè)值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。1.E(Y0)的置信區(qū)間易知)()?()?()?(00YEEEYE====BXBXBX000容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：其中，t/2為(1-)的置信水平下的臨界值。),(~?020XX)X(XBX100￠￠-sNY2.Y0的置信區(qū)間如果已經(jīng)知道實(shí)際的預(yù)測(cè)值Y0，那么預(yù)測(cè)誤差為：容易證明0))(())?(()?()(100000000=￠￠-=--=-+=-μXXXXBBXBXBXmmmEEEeEe0服從正態(tài)分布，即構(gòu)造t統(tǒng)計(jì)量可得給定(1-)的置信水平下Y0的置信區(qū)間：§5

極大似然估計(jì)(MaximumLikelihood)極大似然估計(jì)基本原理：當(dāng)從模型總體隨機(jī)抽取容量為n的一組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該組樣本觀測(cè)值的概率最大。在滿足基本假設(shè)條件下，對(duì)一元線性回歸模型：

隨機(jī)抽取容量為n的一組樣本觀測(cè)值后（Xi,Yi）（i=1,2,…n）。假如模型的參數(shù)估計(jì)量已經(jīng)求得，為那么Yi服從如下的正態(tài)分布：于是，Y的概率函數(shù)為:（i=1,2,…n）因?yàn)閅i是相互獨(dú)立的，所以的所有樣本觀測(cè)值的聯(lián)合概率，也即似然函數(shù)(likelihoodfunction)為：

將該似然函數(shù)極大化，即可求得到模型參數(shù)的極大似然估計(jì)量。由于似然函數(shù)的極大化與似然函數(shù)的對(duì)數(shù)的極大化是等價(jià)的，所以，取對(duì)數(shù)或然函數(shù)如下：解得模型的參數(shù)估計(jì)量為：

可見，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的極大似然估計(jì)量與普通最小二乘估計(jì)量是相同的?！?

受約束回歸一、模型參數(shù)的線性約束一般地,估計(jì)線性模型時(shí),可對(duì)模型參數(shù)施加若干個(gè)線性約束條件,例如對(duì)模型:可施加約束:于是上面的模型轉(zhuǎn)化為:采用普通最小二乘法得到參數(shù)的估計(jì)結(jié)果是:再由約束條件:可得:能否對(duì)直接施加了約束條件的模型進(jìn)行估計(jì)?這需進(jìn)一步的檢驗(yàn),常用的檢驗(yàn)方法有F檢驗(yàn),x2檢驗(yàn)與t檢驗(yàn)記無約束條件模型的矩陣表示式為記受約束條件模型的矩陣表示式:于是,受約束樣本回歸模型的殘差項(xiàng)可寫為:受約束樣本回歸模型的殘差平方和RSSR為:于是:由于無論對(duì)于無約束的回歸模型還是受約束的回歸模型,Y的總的離差平方和TSS相同,因此因此,通常情況下,受約束的回歸模型的解釋能力較無約束回歸模型來說要差但如果約束條件為真,則無約束條件模型與受約束條件模型有相同的解釋能力,即有由于:故:因此,我們可以采用此統(tǒng)計(jì)量進(jìn)行x2檢驗(yàn),當(dāng)σ2未知時(shí),采用它的估計(jì)量代替.F統(tǒng)計(jì)量無需估計(jì)隨機(jī)擾動(dòng)項(xiàng)的方差σ2差,根據(jù)該統(tǒng)計(jì)量,如果約束條件無效,則F值較大,當(dāng)對(duì)給定的顯著性水平α,有認(rèn)為約束條件無效當(dāng)σ2未知時(shí),可以構(gòu)造F統(tǒng)計(jì)量認(rèn)為約束條件有效二、對(duì)回歸模型增加或減少解釋變量對(duì)如下的兩個(gè)回歸模型:對(duì)模型中要不要增加解釋變量,哪些解釋變量要去掉?t檢驗(yàn)可以對(duì)單個(gè)變量的取舍進(jìn)行判斷;F檢驗(yàn)除了能對(duì)單個(gè)變量進(jìn)行取舍判斷外,還可以對(duì)多個(gè)變量的取舍進(jìn)行判斷.因此對(duì)模型解釋變量取舍的問題的檢驗(yàn),我們經(jīng)常采用的是F檢驗(yàn).其中(1)式可看成是對(duì)(2)式施加的如下的約束條件的受約束回歸:相應(yīng)的F統(tǒng)計(jì)量為:如果約束條件為真,則說明F統(tǒng)計(jì)量較小,無須加進(jìn)這q個(gè)解釋變量;否則F統(tǒng)計(jì)量較大,約束條件為假,說明這q個(gè)解釋變量對(duì)Y有較