標(biāo)準(zhǔn)線性回歸模型

標(biāo)準(zhǔn)線性回歸模型第1頁，課件共67頁，創(chuàng)作于2023年2月回歸（regression）的含義

英國統(tǒng)計(jì)學(xué)家Galton和其學(xué)生Pearson研究父母身高與其子女身高的遺傳問題，觀察了1078對(duì)父母，以每對(duì)父母身高為x，取他們一個(gè)成年兒子的身高為y，將結(jié)果繪成散點(diǎn)圖，發(fā)現(xiàn)趨勢(shì)近乎一條直線（父母平均身高68吋，成年兒子平均身高69吋）：

y=33.73+0.516x

可以發(fā)現(xiàn)：

x=72吋，y=70.89吋；

x=64吋，y=66.75吋；第2頁，課件共67頁，創(chuàng)作于2023年2月線性的含義第3頁，課件共67頁，創(chuàng)作于2023年2月一、一元線性回歸模型二、多元線性回歸模型第4頁，課件共67頁，創(chuàng)作于2023年2月一、一元線性回歸模型回歸模型的思想回歸模型的假定參數(shù)估計(jì)方法估計(jì)量的性質(zhì)假設(shè)檢驗(yàn)回歸分析的步驟第5頁，課件共67頁，創(chuàng)作于2023年2月一、一元線性回歸模型一元非線性回歸穩(wěn)健回歸第6頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想經(jīng)濟(jì)變量之間的關(guān)系有兩類：確定性關(guān)系和非確定性關(guān)系，所謂確定性關(guān)系是指一個(gè)變量的變化能完全決定另一個(gè)變量的變化：

價(jià)格一定時(shí)，銷量與銷售額利息率一定，存入本金與到期本息

第7頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想第8頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想更多出現(xiàn)的情況是：存在密切聯(lián)系但并非完全決定

居民收入與消費(fèi)密切相關(guān)，但不能完全決定消費(fèi)廣告費(fèi)支出與銷售額密切相關(guān)，但不能完全決定銷售額第9頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想不完全決定的原因在于：還有其他影響因素

第10頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想將數(shù)據(jù)點(diǎn)的分布理解為如下機(jī)制所產(chǎn)生的結(jié)果：第11頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想隨機(jī)干擾項(xiàng)的意義

將各種次要變量作了綜合處理，保證了分析的可操作性第12頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想假定隨機(jī)干擾項(xiàng)的均值為0，則有：回歸模型的目標(biāo)就是用樣本數(shù)據(jù)估計(jì)出參數(shù)的值，據(jù)此就可以根據(jù)X的變化估計(jì)Y的平均變化第13頁，課件共67頁，創(chuàng)作于2023年2月1、回歸模型的思想第14頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定1）X是非隨機(jī)的設(shè)計(jì)矩陣2）Gauss-Markov條件第15頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定同方差第16頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定異方差第17頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定無序列相關(guān)第18頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定負(fù)相關(guān)正相關(guān)第19頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定無序列相關(guān)其他影響因素不能存在相關(guān)性一般時(shí)序數(shù)據(jù)很難滿足無序列相關(guān)條件，而橫截面數(shù)據(jù)容易出現(xiàn)異方差第20頁，課件共67頁，創(chuàng)作于2023年2月2、一元線性回歸模型的假定3）隨機(jī)項(xiàng)服從正態(tài)分布第21頁，課件共67頁，創(chuàng)作于2023年2月3、參數(shù)估計(jì)方法通常采用最小二乘法（LeastSquareEstimation）來得到參數(shù)的估計(jì)量其目標(biāo)函數(shù)是：第22頁，課件共67頁，創(chuàng)作于2023年2月3、參數(shù)估計(jì)方法第23頁，課件共67頁，創(chuàng)作于2023年2月3、參數(shù)估計(jì)方法滿足目標(biāo)函數(shù)的參數(shù)值記為：第24頁，課件共67頁，創(chuàng)作于2023年2月回歸模型第25頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)第26頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)無偏一致方差最小第27頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)1）無偏性無偏性意味著這兩個(gè)估計(jì)量沒有高估或低估的系統(tǒng)傾向第28頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)2）方差含義：估計(jì)量方差與隨機(jī)項(xiàng)方差、自變量取值范圍、樣本量等有關(guān)第29頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)第30頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)利用回歸分析進(jìn)行均值預(yù)測(cè)的誤差：第31頁，課件共67頁，創(chuàng)作于2023年2月4、估計(jì)量的性質(zhì)對(duì)于個(gè)體數(shù)據(jù)而言，誤差為：第32頁，課件共67頁，創(chuàng)作于2023年2月不確定性知識(shí)

+

所含不確定性量度的知識(shí)

=

可用的知識(shí)

C.R.Rao第33頁，課件共67頁，創(chuàng)作于2023年2月5、假設(shè)檢驗(yàn)1）F檢驗(yàn)總平方和（SST）=回歸平方和（SSR）+殘差平方和（SSE）第34頁，課件共67頁，創(chuàng)作于2023年2月5、假設(shè)檢驗(yàn)定理：如果隨機(jī)項(xiàng)滿足Gauss-Markov條件，則原假設(shè)成立時(shí)有：第35頁，課件共67頁，創(chuàng)作于2023年2月5、假設(shè)檢驗(yàn)2）對(duì)回歸系數(shù)進(jìn)行檢驗(yàn)檢驗(yàn)?zāi)繕?biāo)：檢驗(yàn)統(tǒng)計(jì)量為：第36頁，課件共67頁，創(chuàng)作于2023年2月6、回歸分析的步驟1）繪制散點(diǎn)圖2）根據(jù)散點(diǎn)圖選擇合適函數(shù)形式并進(jìn)行估計(jì)3）評(píng)價(jià)4）如果理想，進(jìn)行經(jīng)濟(jì)解釋5）如果不理想，分析原因并進(jìn)行改進(jìn)6）考慮預(yù)測(cè)問題第37頁，課件共67頁，創(chuàng)作于2023年2月6、回歸分析的步驟1）繪制散點(diǎn)圖繪制散點(diǎn)圖是進(jìn)行回歸分析必不可少的步驟例：Anscombe’squartet2）根據(jù)散點(diǎn)圖選擇合適函數(shù)形式并進(jìn)行估計(jì)

如果根據(jù)理論分析，函數(shù)應(yīng)通過原點(diǎn)，則應(yīng)設(shè)定截距為0，否則采用一般形式第38頁，課件共67頁，創(chuàng)作于2023年2月6、回歸分析的步驟3）評(píng)價(jià)a判定系數(shù)R2或修正R2b假設(shè)檢驗(yàn)c置信區(qū)間d殘差圖e其他…………第39頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)a判定系數(shù)R2或修正R2第40頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)a判定系數(shù)R2或修正R2第41頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)修正R2的主要優(yōu)點(diǎn)在于：它為在一個(gè)模型中隨意增加自變量施加了懲罰，當(dāng)自由度過小時(shí)，該指標(biāo)會(huì)非常小，而R2則往往很大。

當(dāng)增加新變量時(shí)，當(dāng)且僅當(dāng)新變量的t檢驗(yàn)的絕對(duì)值大于1，修正R2才會(huì)增加第42頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)對(duì)于擬合優(yōu)度，沒有一個(gè)標(biāo)準(zhǔn)來說明，擬合優(yōu)度小到什么程度，就是不可接受的，對(duì)于時(shí)序數(shù)據(jù)而言，R2大于0.9也很正常，對(duì)于截面數(shù)據(jù)而言，R2等于0.5也不算小當(dāng)在自變量數(shù)目不同的模型間進(jìn)行選擇時(shí)，修正R2更適合作為選擇標(biāo)準(zhǔn)第43頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)b假設(shè)檢驗(yàn)如果F值大于臨界值，或者p值小于規(guī)定的顯著性水平，則說明：自變量前系數(shù)顯著不等于0，即如果自變量前系數(shù)為0，則只有很小概率（5%）出現(xiàn)樣本所發(fā)生的情況

如果t值大于臨界值，或者p值小于規(guī)定的顯著性水平，則說明：該系數(shù)顯著不等于0，即如果系數(shù)為0，則只有很小概率（5%）出現(xiàn)樣本所發(fā)生的情況第44頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)c置信區(qū)間

具體含義是：所給出的區(qū)間有95%（99%）的可能包括了總體真值區(qū)間越大，估計(jì)結(jié)果越?jīng)]有意義。第45頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)d殘差（）圖第46頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)殘差圖因縱坐標(biāo)、橫坐標(biāo)不同而有多種形式，常用的為：第47頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)帽子矩陣（hatmatrix）——尋找杠桿點(diǎn)第48頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)帽子矩陣對(duì)角線上的點(diǎn)稱為杠桿率，在高杠桿率的位置如果出現(xiàn)異常的Y值，將對(duì)擬合產(chǎn)生嚴(yán)重的影響。第49頁，課件共67頁，創(chuàng)作于2023年2月3）評(píng)價(jià)PRESS——預(yù)測(cè)誤差平方和，用以判斷交叉有效性Cook’sD

——反映刪除一個(gè)觀測(cè)值對(duì)參數(shù)估計(jì)的影響第50頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋基本含義：X增加1個(gè)單位，Y將平均增加個(gè)單位第51頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋取對(duì)數(shù)以后的解釋X增加1%，Y將增加%。第52頁，課件共67頁，創(chuàng)作于2023年2月雙對(duì)數(shù)模型應(yīng)用非常廣泛，其優(yōu)點(diǎn)是：參數(shù)具有彈性含義（可用來估計(jì)常彈性）經(jīng)過對(duì)數(shù)變換的變量，一般更加符合假設(shè)條件可以縮小取值范圍，減少異常值的影響4）經(jīng)濟(jì)解釋第53頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋X增加1%，Y將增加。第54頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋X增加1個(gè)單位，Y將增加第55頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋在解釋時(shí)，要考慮計(jì)量單位第56頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋與相關(guān)系數(shù)的關(guān)系兩者同號(hào)數(shù)據(jù)標(biāo)準(zhǔn)化后，回歸系數(shù)就等于相關(guān)系數(shù)第57頁，課件共67頁，創(chuàng)作于2023年2月4）經(jīng)濟(jì)解釋回歸模型只具有相關(guān)意義，不具有因果意義第58頁，課件共67頁，創(chuàng)作于2023年2月5）模型的改進(jìn)利用評(píng)價(jià)結(jié)果，結(jié)合經(jīng)濟(jì)分析對(duì)模型進(jìn)行改進(jìn)，常見導(dǎo)致問題的原因有：遺漏重要自變量函數(shù)形式不合適違背回歸模型的假設(shè)存在異常值第59頁，課件共67頁，創(chuàng)作于2023年2月6）預(yù)測(cè)問題第60頁，課件共67頁，創(chuàng)作于2023年2月6）預(yù)測(cè)問題第61頁，課件共67頁，創(chuàng)作于2023年2月6）預(yù)測(cè)問題在預(yù)測(cè)時(shí)，要注意：不能預(yù)測(cè)離樣本區(qū)間太遠(yuǎn)的點(diǎn)要分析參數(shù)會(huì)不會(huì)發(fā)生變化可以先按n-1個(gè)樣本建模，利用第n個(gè)數(shù)據(jù)進(jìn)行檢驗(yàn)第62頁，課件共67頁，創(chuàng)作于2023年2月7、一元非線性回歸可以分為兩類：1）可以變換為線性函數(shù)的模型各種對(duì)數(shù)模型、指數(shù)模型、冪函數(shù)等第63頁，課件共67頁，創(chuàng)作于2023年2月7、一元非線性回歸2）不能變換為線性函數(shù)的模型通過非線性擬合模塊進(jìn)行估計(jì)第64頁，課件共67頁，創(chuàng)作于2023年2月8、穩(wěn)健估計(jì)當(dāng)希望擬合結(jié)果不易受異常數(shù)據(jù)影響時(shí)，可以采用穩(wěn)健估計(jì)的方法估計(jì)步驟如下：首先將X值排序，在此基礎(chǔ)上將數(shù)據(jù)點(diǎn)劃分為盡可能相等的三組；求每組內(nèi)X的中位數(shù)，單獨(dú)求Y的