演示文稿簡單回歸模型

演示文稿簡單回歸模型本文檔共63頁；當(dāng)前第1頁；編輯于星期日\18點(diǎn)37分（優(yōu)選）簡單回歸模型本文檔共63頁；當(dāng)前第2頁；編輯于星期日\18點(diǎn)37分回歸的歷史含義F.加爾頓最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于

“回歸”到全體人口的平均身高。簡單回歸模型的定義本文檔共63頁；當(dāng)前第3頁；編輯于星期日\18點(diǎn)37分

回歸的現(xiàn)代釋義

回歸分析用于研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。

關(guān)注對(duì)象：（1）用x來解釋y

（2）研究y如何隨x而變化商品需求函數(shù)：

警察和犯罪率：

本文檔共63頁；當(dāng)前第4頁；編輯于星期日\18點(diǎn)37分除x外其他影響y的因素如何處理？y和x函數(shù)關(guān)系如何設(shè)定？

簡單回歸的幾個(gè)問題：y=0

+1

x+u擾動(dòng)項(xiàng)u的引入。x和y的非線性關(guān)系怎么辦？生產(chǎn)函數(shù)：

本文檔共63頁；當(dāng)前第5頁；編輯于星期日\18點(diǎn)37分yx因變量(dependentV.)自變量(independentV.)被解釋變量(explainedV.)解釋變量(explainatoryV.)響應(yīng)變量(responseV.)控制變量(controlV.)被預(yù)測變量(predictedV.)預(yù)測變量(predictorV.)回歸子(regressand)回歸元(regressor)u誤差項(xiàng)（errorterm)擾動(dòng)項(xiàng)、干擾項(xiàng)（disturbance）本文檔共63頁；當(dāng)前第6頁；編輯于星期日\18點(diǎn)37分兩個(gè)例子yield=0

+1

fertilizer+uwage=0

+1

educ+u其他因素不變，u=0，則：

1

=yield/fertilizer

1

=wage/educ變化解釋變量fertilizer或educ時(shí)，能假定其他因

素不變嗎？

本文檔共63頁；當(dāng)前第7頁；編輯于星期日\18點(diǎn)37分

解釋變量x和擾動(dòng)項(xiàng)u關(guān)于均值獨(dú)立：均值獨(dú)立比“不相關(guān)”更強(qiáng)相關(guān)關(guān)系度量的是變量間的線性關(guān)系。若x表示受教育水平，u是個(gè)人能力，假定可能成立嗎？關(guān)于u的假定E(u|x)=E(u)本文檔共63頁；當(dāng)前第8頁；編輯于星期日\18點(diǎn)37分對(duì)于模型：

如方程包含常數(shù)項(xiàng)，可以假定：

若E(u)=a0，可將模型調(diào)整為：零條件均值假定：y=0

+1

x+uE(u)=0y=0

+a+1

x+u1E(u|x)=0本文檔共63頁；當(dāng)前第9頁；編輯于星期日\18點(diǎn)37分總體回歸函數(shù)（PRF）E(y|x)=0

+1

xPRF是確定的，未知的本文檔共63頁；當(dāng)前第10頁；編輯于星期日\18點(diǎn)37分總體回歸函數(shù)（傳統(tǒng)思路）

假想案例

總體回歸函數(shù)的隨機(jī)設(shè)定

隨機(jī)誤差項(xiàng)的意義本文檔共63頁；當(dāng)前第11頁；編輯于星期日\18點(diǎn)37分XY80100120140160180200220240260556579801021101201351371506070849310711513613714515265749095110120140140155175708094103116130144152165178758598108118135145157175180－88－113125140－160189185－－－115－－－162－191戶數(shù)5657665765總支出32546244570767875068510439661211

假設(shè)一個(gè)國家只有60戶居民，他們的可支配收入和消費(fèi)支出數(shù)據(jù)如下（單位：美元）：

假想案例本文檔共63頁；當(dāng)前第12頁；編輯于星期日\18點(diǎn)37分

描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。E(Y|Xi)

=0

+1Xi=17.00+0.6Xi本文檔共63頁；當(dāng)前第13頁；編輯于星期日\18點(diǎn)37分“天行有常，不為堯存，不為桀亡。應(yīng)之以治則吉，應(yīng)之以亂則兇。”

---荀子《天論》E(Y|Xi)

=0

+1Xi

總體回歸函數(shù)其中：Y——被解釋變量；X——解釋變量；0，1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）本文檔共63頁；當(dāng)前第14頁；編輯于星期日\18點(diǎn)37分

總體回歸模型的隨機(jī)設(shè)定

對(duì)于某一個(gè)家庭，如何描述可支配收入和消費(fèi)支出的關(guān)系?XiYi.........E(Y|Xi)

=0

+1

XiY1Y2Y3u1u2u3—總體回歸直線ui＝Y(jié)i-E(Y|Xi)—誤差項(xiàng)某個(gè)家庭的消費(fèi)支出分為兩部分：一是E(Y|Xi)=0

+1Xi

，稱為系統(tǒng)成分或確定性成分；二是ui，稱為非系統(tǒng)或隨機(jī)性成分。Yi=E(Y|Xi)

+ui

=0

+1

Xi

+ui本文檔共63頁；當(dāng)前第15頁；編輯于星期日\18點(diǎn)37分Yi=0

+1

Xi

+uiE(Y|Xi)

=0

+1

Xi,隨機(jī)性總體回歸函數(shù)確定性總體回歸函數(shù)本文檔共63頁；當(dāng)前第16頁；編輯于星期日\18點(diǎn)37分

隨機(jī)誤差項(xiàng)u的意義

反映被忽略掉的因素對(duì)被解釋變量的影響?；蛘呃碚摬粔蛲晟?，或者數(shù)據(jù)缺失；或者影響輕微。模型設(shè)定誤差度量誤差人類行為內(nèi)在的隨機(jī)性本文檔共63頁；當(dāng)前第17頁；編輯于星期日\18點(diǎn)37分普通最小二乘法對(duì)于一元回歸模型：兩個(gè)條件：兩個(gè)未知數(shù)：所有的yi和xi都是已知數(shù)據(jù)。

E(u)=0E(u|x)=0E(xu)=0yi=0

+1

xi

+ui0

和1

本文檔共63頁；當(dāng)前第18頁；編輯于星期日\18點(diǎn)37分方程組：

用樣本矩代替總體矩：

E(y-0

-1

x)=E(u)=0E[x(y-0

-1

x)]=E(xu)=0本文檔共63頁；當(dāng)前第19頁；編輯于星期日\18點(diǎn)37分當(dāng)滿足條件：

OLS估計(jì)量

：實(shí)際上就是y和x的樣本協(xié)方差與x的樣本方

差之比。本文檔共63頁；當(dāng)前第20頁；編輯于星期日\18點(diǎn)37分本文檔共63頁；當(dāng)前第21頁；編輯于星期日\18點(diǎn)37分?jǐn)M合值：給定截距和斜率估計(jì)值，y在x=xi時(shí)的預(yù)測值該函數(shù)為樣本回歸函數(shù)

（SRF）殘差：本文檔共63頁；當(dāng)前第22頁；編輯于星期日\18點(diǎn)37分普通最小二乘法（傳統(tǒng)思路）如何得到一條能夠較好地反映這些點(diǎn)變化規(guī)律

的直線呢？本文檔共63頁；當(dāng)前第23頁；編輯于星期日\18點(diǎn)37分Q==通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個(gè)求極值的問題，可以通過求導(dǎo)數(shù)得到。殘差的平方和最小本文檔共63頁；當(dāng)前第24頁；編輯于星期日\18點(diǎn)37分求Q對(duì)兩個(gè)待估參數(shù)的偏導(dǎo)數(shù)：即本文檔共63頁；當(dāng)前第25頁；編輯于星期日\18點(diǎn)37分XY8010012014016018020022024026055——————135137—60——93107115————6574—95110120—140—175——94103——144——17875—98108—135——175—－88－113125—－—189—－－－115－－－162－191戶數(shù)4226331333總支出255162192627342370144337501544樣本回歸函數(shù)

為研究總體，我們需要抽取一定的樣本。

第一個(gè)樣本本文檔共63頁；當(dāng)前第26頁；編輯于星期日\18點(diǎn)37分樣本回歸線樣本均值連線本文檔共63頁；當(dāng)前第27頁；編輯于星期日\18點(diǎn)37分XY80100120140160180200220240260—6579—102—120135——60708493—115——145152—7490—————155——80——116—144152165—7585——118—145——180－—－——140－160189185－－－115－－－—－—戶數(shù)2532323343總支出135374253208336255409447654517樣本回歸函數(shù)

第二個(gè)樣本本文檔共63頁；當(dāng)前第28頁；編輯于星期日\18點(diǎn)37分樣本回歸線樣本均值連線本文檔共63頁；當(dāng)前第29頁；編輯于星期日\18點(diǎn)37分

總體回歸模型和樣本回歸模型的比較本文檔共63頁；當(dāng)前第30頁；編輯于星期日\18點(diǎn)37分

幾個(gè)例子首席執(zhí)行官的薪水和股本回報(bào)率？本文檔共63頁；當(dāng)前第31頁；編輯于星期日\18點(diǎn)37分工資和受教育程度投票結(jié)果與競選支出：

本文檔共63頁；當(dāng)前第32頁；編輯于星期日\18點(diǎn)37分Xiyiy1y2y3u1u2u3E(y|xi)

=0

+1

xi注意：分清幾個(gè)關(guān)系式和表示符號(hào)（2）樣本（估計(jì)的）回歸直線：（3）總體（真實(shí)的）回歸模型：

（4）樣本（估計(jì)的）回歸模型：（1）總體（真實(shí)的）回歸直線：ui——隨機(jī)誤差項(xiàng)

——?dú)埐铐?xiàng)本文檔共63頁；當(dāng)前第33頁；編輯于星期日\18點(diǎn)37分OLS操作技巧

（1）殘差和及樣本均值都等于零OLS估計(jì)量代數(shù)性質(zhì)=

=

（2）回歸元和殘差的樣本協(xié)方差為零本文檔共63頁；當(dāng)前第34頁；編輯于星期日\18點(diǎn)37分（3）總在OLS回歸線上

（4）擬合值的樣本均值等于yi的樣本均值

（5）擬合值和殘差的樣本協(xié)方差為零本文檔共63頁；當(dāng)前第35頁；編輯于星期日\18點(diǎn)37分........yxyi

xi

A0=+總離差

=回歸差

+殘差

回歸差：由樣本回歸直線解釋的部分

殘差：不能由樣本回歸直線解釋的部分

可以證明:

離差平方和分解本文檔共63頁；當(dāng)前第36頁；編輯于星期日\18點(diǎn)37分

總平方和＝解釋平方和＋殘差平方和SST=SSE+SSR=+

利用性質(zhì)（1）和性質(zhì)（5）：本文檔共63頁；當(dāng)前第37頁；編輯于星期日\18點(diǎn)37分＋=1解釋平方（SSE）和在總平方和（SST）中所占的比重越大，說明樣本回歸模型對(duì)樣本數(shù)據(jù)擬合的程度越好。因此，用來表示擬合優(yōu)度的可決系數(shù)定義為：R2R2的取值范圍是

[0，1]。對(duì)于一組數(shù)據(jù)，TSS是不變，所以ESS↑（↓），RSS↓（↑）

擬合優(yōu)度與判定系數(shù)（可決系數(shù)）本文檔共63頁；當(dāng)前第38頁；編輯于星期日\18點(diǎn)37分R2=0時(shí)表明解釋變量x與被解釋變量y之間不存在線性關(guān)系；R2=1時(shí)表明樣本回歸線與樣本值重合；一般情況下，R2越接近1表示擬合程度越好，x對(duì)y的解釋能力越強(qiáng)；看似很低的R2值，并不意味著OLS回歸方程沒有用！

R2=

=

=

=(R)2本文檔共63頁；當(dāng)前第39頁；編輯于星期日\18點(diǎn)37分度量單位和函數(shù)形式改變度量單位對(duì)OLS估計(jì)量的影響首席執(zhí)行官的薪水和股本回報(bào)率？若salarydol=1000salary，即將薪水單位由千美元

調(diào)整為美元，模型估計(jì)結(jié)果為：本文檔共63頁；當(dāng)前第40頁；編輯于星期日\18點(diǎn)37分若股本回報(bào)率由百分比調(diào)整為小數(shù)，即roedoc=roe/100，模型估計(jì)結(jié)果為：若將薪水單位調(diào)整為美元，股本回報(bào)率調(diào)整為小數(shù)，

模型估計(jì)結(jié)果？判定系數(shù)R2為什么不變？本文檔共63頁；當(dāng)前第41頁；編輯于星期日\18點(diǎn)37分

彈性度量：雙對(duì)數(shù)模型

yt

=axtb

兩側(cè)同取對(duì)數(shù)，加入擾動(dòng)項(xiàng)：

Lnyt=Lna+bLnxt+ut令a*=Lna，yt*=Lnyt，xt*=Lnxt，上式表示為

yt*=a*+bxt*+utCobb-Douglas生產(chǎn)函數(shù)Q=AL

K

模型的非線性本文檔共63頁；當(dāng)前第42頁；編輯于星期日\18點(diǎn)37分雙對(duì)數(shù)模型與線性模型的區(qū)別雙對(duì)數(shù)模型中斜率系數(shù)b為y對(duì)x的彈性E：Lnyt=a*+bLnxt+utb=E=線性模型中斜率系數(shù)b為x對(duì)y的邊際影響：yt=a+bxt+ut

b=dy/dx從而彈性E

=(dy/dx)(x/y)=b(x/y)雙對(duì)數(shù)模型中彈性E是不變的，線性模型中彈性隨著x/y的變化而變化。

本文檔共63頁；當(dāng)前第43頁；編輯于星期日\18點(diǎn)37分增長率測度：半對(duì)數(shù)模型Lnyt

=a+bxt+ut

b反映x一單位變動(dòng)導(dǎo)致y的相對(duì)變動(dòng)：當(dāng)x表示時(shí)間時(shí)，b為y的增長率。

令

yt

=y0(1+r)t兩側(cè)同時(shí)取對(duì)數(shù)：Lnyt

=Lny0

+tLn(1+r)

當(dāng)r很小時(shí)，b=Ln(1+r)≈r本文檔共63頁；當(dāng)前第44頁；編輯于星期日\18點(diǎn)37分人力資本研究中，通常會(huì)使用半對(duì)數(shù)模型：

這里wage為工資收入，edu為受教育年限，ability為能力，work為工作經(jīng)驗(yàn)。引入work2是因?yàn)槿藗兺ǔＵJ(rèn)為存在最優(yōu)工作年限！半對(duì)數(shù)模型中，參數(shù)1的含義為：1

=如果使用線性模型，即被解釋變量為wage，則參數(shù)1的含義為本文檔共63頁；當(dāng)前第45頁；編輯于星期日\18點(diǎn)37分

線性—對(duì)數(shù)模型

yt=a+bLnxt

+ut

（b>0）

家庭預(yù)算的截面研究中，一類支出y和收入x的關(guān)系。預(yù)算花費(fèi)在這種商品之前，收入要達(dá)到一個(gè)確定的臨界水平e-a/b。而且支出隨著收入的增加而單調(diào)增加，但其增長率遞減，該商品消費(fèi)的邊際傾向(b/x)和彈性(b/y)都隨著收入增加而遞減。本文檔共63頁；當(dāng)前第46頁；編輯于星期日\18點(diǎn)37分本文檔共63頁；當(dāng)前第47頁；編輯于星期日\18點(diǎn)37分

倒數(shù)模型

yt=a+b/xt

+ut

yxy=a0yt=a+b/xtb>0，a<0yx0yt=a+b/xtb<0,a>0菲利普斯曲線恩格爾消費(fèi)曲線本文檔共63頁；當(dāng)前第48頁；編輯于星期日\18點(diǎn)37分多項(xiàng)式模型：二次函數(shù)：

yt=b0+b1xt+b2xt2+ut

交叉乘積項(xiàng)：

yt=b0+b1x1t+b2x2t+b3x1tx2t+ut

本文檔共63頁；當(dāng)前第49頁；編輯于星期日\18點(diǎn)37分吸煙與肺癌本文檔共63頁；當(dāng)前第50頁；編輯于星期日\18點(diǎn)37分關(guān)于參數(shù)線性，而不是關(guān)于變量線性！可以通過變量替換，轉(zhuǎn)化為線性模型！“線性”回歸的含義本文檔共63頁；當(dāng)前第51頁；編輯于星期日\18點(diǎn)37分OLS估計(jì)量的期望值和方差

高斯-馬爾可夫定理（參見P97）如果滿足古典線性回歸模型的基本假定，則在所有的線性估計(jì)量中，OLS估計(jì)量是最優(yōu)線性無偏估計(jì)量（BLUE）。線性性無偏性有效性本文檔共63頁；當(dāng)前第52頁；編輯于星期日\18點(diǎn)37分簡單回歸的高斯—馬爾科夫假定假定1：關(guān)于參數(shù)線性y=0

+1

x+u

（1）假定2：隨機(jī)抽樣

有一個(gè)服從總體模型（1）的隨機(jī)樣本{(xi,yi):i=1,2,…,n}，n為樣本容量假定3：解釋變量的樣本有變異

xi的樣本實(shí)現(xiàn)值，{xi:i=1,2,…,n}不是完全相同的數(shù)值假定4：零條件均值E(