第五章 線性回歸的

第五章線性回歸的第一頁，共六十二頁，編輯于2023年，星期四線性回歸的定式偏差本章討論變量關(guān)系非線性、存在異常值、規(guī)律性擾動和解釋變量缺落等導(dǎo)致的線性回歸模型前兩條假設(shè)不成立的定式偏差，包括它們對線性回歸分析的影響、判斷和處理的方法等。第二頁，共六十二頁，編輯于2023年，星期四線性回歸的定式偏差第一節(jié)變量關(guān)系非線性第二節(jié)異常值第三節(jié)規(guī)律性擾動第四節(jié)解釋變量缺落第五節(jié)參數(shù)變化第三頁，共六十二頁，編輯于2023年，星期四第一節(jié)變量關(guān)系非線性（一）問題（二）發(fā)現(xiàn)和判斷（三）問題的處理和非線性回歸

1.泰勒級數(shù)展開法

2.非線性最小二乘法第四頁，共六十二頁，編輯于2023年，星期四（一）問題例：變量之間的真實(shí)關(guān)系其中滿足和線性回歸模型的其他假設(shè)。使用的模型因?yàn)樗圆豢赡苁冀K為0。第五頁，共六十二頁，編輯于2023年，星期四例：變量之間的真實(shí)關(guān)系其中滿足和線性回歸模型的其他假設(shè)。使用的模型變換后模型為因?yàn)?/p>

不可能始終為0?；貧w分析的有效性失去了保障第六頁，共六十二頁，編輯于2023年，星期四（二）發(fā)現(xiàn)和判斷用數(shù)理經(jīng)濟(jì)分析方法，對模型的關(guān)系進(jìn)行更深入的分析。根據(jù)數(shù)據(jù)及其分布圖形、散點(diǎn)圖進(jìn)行直接判斷。非線性變量關(guān)系的殘差序列圖第七頁，共六十二頁，編輯于2023年，星期四（三）問題的處理和非線性回歸1、模型修正和變換

恢復(fù)模型的合理非線性形式然后再變換成線性模型第八頁，共六十二頁，編輯于2023年，星期四

泰勒級數(shù)展開法

2、泰勒級數(shù)展開法假設(shè)一個(gè)非線性的變量關(guān)系為：在處對作泰勒級數(shù)展開：第九頁，共六十二頁，編輯于2023年，星期四

整理可得：

若令：

可以得到：泰勒級數(shù)展開的反復(fù)迭代第十頁，共六十二頁，編輯于2023年，星期四

3、非線性最小二乘法（非線性最優(yōu)化等）直接用Eviews軟件進(jìn)行估計(jì)。第十一頁，共六十二頁，編輯于2023年，星期四例5－1：某地總消費(fèi)和收入兩個(gè)變量的數(shù)據(jù)如下表所示。Y為總收入，C是消費(fèi)第十二頁，共六十二頁，編輯于2023年，星期四散點(diǎn)圖C在Eviews中專門用于表示常數(shù)項(xiàng)，因此用CC表示消費(fèi)。第十三頁，共六十二頁，編輯于2023年，星期四線性回歸結(jié)果第十四頁，共六十二頁，編輯于2023年，星期四殘差序列圖第十五頁，共六十二頁，編輯于2023年，星期四非線性回歸結(jié)果第十六頁，共六十二頁，編輯于2023年，星期四第二節(jié)異常值問題異常值的發(fā)現(xiàn)和判斷問題的處理第十七頁，共六十二頁，編輯于2023年，星期四（一）問題現(xiàn)實(shí)經(jīng)濟(jì)中常常存在這樣的情況，一些突發(fā)事件或變化對經(jīng)濟(jì)活動或經(jīng)濟(jì)關(guān)系造成短暫的但確實(shí)很顯著的沖擊影響。這些影響既不能被看作微小的隨機(jī)擾動，但又不會決定或改變長期的經(jīng)濟(jì)關(guān)系。這種情況在經(jīng)濟(jì)數(shù)據(jù)中反映出來，就會表現(xiàn)為一個(gè)脫離基本趨勢的異常值。如果所研究的經(jīng)濟(jì)問題或者相關(guān)數(shù)據(jù)中存在這種情況，建立線性回歸模型時(shí)又沒有預(yù)先處理或剔除這種影響，就會表現(xiàn)為模型誤差項(xiàng)在相應(yīng)時(shí)點(diǎn)存在均值非0的問題。第十八頁，共六十二頁，編輯于2023年，星期四（一）問題的特征例如變量和在長期的關(guān)系中，基本上都滿足線性回歸模型的各個(gè)假設(shè)，但在時(shí)刻有了一個(gè)突發(fā)情況，如果仍然用線性回歸模型這個(gè)模型的誤差項(xiàng)的均值，實(shí)際上就是

第十九頁，共六十二頁，編輯于2023年，星期四（一）問題的特征這種情況如果不作處理，那么線性回歸結(jié)果就會差強(qiáng)人意。因?yàn)榇藭r(shí)適用普通最小二乘法的前提條件即模型的第二條假設(shè)不成立，參數(shù)估計(jì)量的性質(zhì)和相關(guān)統(tǒng)計(jì)推斷都會失效。第二十頁，共六十二頁，編輯于2023年，星期四（二）發(fā)現(xiàn)和判斷克服異常值對線性回歸分析影響的前提，是發(fā)現(xiàn)和判斷異常值是否存在和在哪些時(shí)點(diǎn)存在。方法一是分析經(jīng)濟(jì)問題的相關(guān)背景情況，包括對經(jīng)濟(jì)現(xiàn)象、相關(guān)社會經(jīng)濟(jì)事件、以及數(shù)據(jù)序列的直接分析。方法二是進(jìn)行殘差序列分析。這是從技術(shù)角度發(fā)現(xiàn)和判斷異常值問題的基本方法。因?yàn)楫惓Ｖ抵皇莻€(gè)別情況，因此即使模型存在異常值問題，最小二乘估計(jì)仍是一致估計(jì)量，回歸殘差仍然能很好的近似得出模型的誤差項(xiàng)，回歸殘差中會包含由于異常值所導(dǎo)致模型誤差項(xiàng)均值非0的信息。第二十一頁，共六十二頁，編輯于2023年，星期四（二）發(fā)現(xiàn)和判斷基本方法：回歸殘差序列分析具體方法：模型假定成立的前提下，殘差服從正態(tài)分布根據(jù)殘差序列計(jì)算殘差的標(biāo)準(zhǔn)差用去除各個(gè)殘差，如果發(fā)現(xiàn)某個(gè)殘差存在的情況時(shí)，應(yīng)該高度懷疑模型在時(shí)點(diǎn)存在異常值問題第二十二頁，共六十二頁，編輯于2023年，星期四（二）發(fā)現(xiàn)和判斷異常值的檢驗(yàn)注意有經(jīng)濟(jì)意義的根據(jù)。第二十三頁，共六十二頁，編輯于2023年，星期四（三）問題的處理問題方法：引入一個(gè)針對性的虛擬變量，定義式為

得到一個(gè)新的回歸模型第二十四頁，共六十二頁，編輯于2023年，星期四（三）問題的處理由于兩個(gè)模型的誤差項(xiàng)之間有關(guān)系因此第二十五頁，共六十二頁，編輯于2023年，星期四例：P66第二十六頁，共六十二頁，編輯于2023年，星期四第二十七頁，共六十二頁，編輯于2023年，星期四第二十八頁，共六十二頁，編輯于2023年，星期四引入虛擬變量后的回歸結(jié)果第二十九頁，共六十二頁，編輯于2023年，星期四引入虛擬變量后的回歸殘差圖第三十頁，共六十二頁，編輯于2023年，星期四第三節(jié)規(guī)律性擾動問題問題的發(fā)現(xiàn)與判斷問題的處理第三十一頁，共六十二頁，編輯于2023年，星期四一、問題除了異常值問題以外，周期性或其它規(guī)律性擾動，也會使線性回歸模型的誤差項(xiàng)偏離零均值的假設(shè)。此外，在橫截面數(shù)據(jù)計(jì)量經(jīng)濟(jì)分析中，觀測對象的性別、年齡、受教育程度等特征差異，也是規(guī)律性擾動因素。這些問題不影響變量關(guān)系的總體趨勢，但都會對變量關(guān)系產(chǎn)生規(guī)律性影響，如果不預(yù)先加以處理或排除掉，就會導(dǎo)致誤差項(xiàng)均值非零的問題出現(xiàn)，影響回歸分析的效果。第三十二頁，共六十二頁，編輯于2023年，星期四一、問題例如，變量Y的季度數(shù)據(jù)中，第一季度總會受到一個(gè)季節(jié)性因素的影響。如果我們忽視這種影響，用兩變量模型或多元模型研究Y的規(guī)律，就會遇到誤差項(xiàng)非0問題，即第三十三頁，共六十二頁，編輯于2023年，星期四二、問題的發(fā)現(xiàn)和判斷經(jīng)濟(jì)問題背景分析回歸殘差序列圖分析兩種分析相結(jié)合，確定其是否屬于規(guī)律性擾動第三十四頁，共六十二頁，編輯于2023年，星期四三、問題的處理解決規(guī)律性擾動問題的方法之一就是對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)平滑處理，消除季節(jié)性或其他周期性擾動的影響。但這樣容易產(chǎn)生兩個(gè)問題：一是不能區(qū)別趨勢因素和季節(jié)性擾動，不能真正確定所研究變量關(guān)系的具體變化軌跡，二是容易導(dǎo)致誤差序列自相關(guān)問題。因此，它不是克服規(guī)律性擾動對線性回歸分析影響的好方法處理規(guī)律性擾動的較好方法是引進(jìn)虛擬變量，有時(shí)需要引進(jìn)多個(gè)虛擬變量。第三十五頁，共六十二頁，編輯于2023年，星期四例如（1）在上個(gè)例子中，第一季度存在季節(jié)性因素的影響，在這個(gè)例子中，可使用虛擬變量把模型改為或那么新模型的誤差項(xiàng)就不再存在均值非0的問題，回歸分析的效果就能得到保證。第三十六頁，共六十二頁，編輯于2023年，星期四例如（2）如果第一季度受到一種季節(jié)性因素影響，第三季度受到另一種方向和力度不同的因素的擾動，那么可以引進(jìn)兩個(gè)虛擬變量，即和將兩個(gè)虛擬變量引入模型，模型變?yōu)榛虻谌唔?，共六十二頁，編輯?023年，星期四對于截面數(shù)據(jù)計(jì)量分析的例子對于截面數(shù)據(jù)計(jì)量分析中，觀測對象特征差異導(dǎo)致的規(guī)律性擾動，也可以利用虛擬變量加以處理。如觀測對象的性別是一個(gè)影響因素，解決的辦法就是在模型中引進(jìn)虛擬變量，即這個(gè)虛擬變量就能解決由于觀測對象的性別因素所導(dǎo)致的誤差項(xiàng)均值非0問題。第三十八頁，共六十二頁，編輯于2023年，星期四注意利用虛擬變量解決擾動問題時(shí)，引進(jìn)虛擬變量是有限度的，因?yàn)橐M(jìn)一個(gè)虛擬變量就意味著要多估計(jì)一個(gè)參數(shù)和損失一個(gè)自由度，對回歸分析的效果有不利影響。引進(jìn)虛擬變量要注意“虛擬變量陷阱”。即屬性和類別的個(gè)數(shù)與虛擬變量個(gè)數(shù)一致，模型無截距。如上述季節(jié)性擾動模型同時(shí)引進(jìn)對應(yīng)全部4個(gè)季節(jié)的，按照類似規(guī)則定義的四個(gè)虛擬變量那么因?yàn)檫@4個(gè)虛擬變量相加等于1，則當(dāng)這四個(gè)變量同時(shí)出現(xiàn)在一個(gè)模型中，必然導(dǎo)致解釋變量嚴(yán)格線性相關(guān)，導(dǎo)致模型的崩潰。同樣，在考慮性別因素時(shí)，若同時(shí)引進(jìn)男性和女性兩個(gè)虛擬變量也會落入虛擬變量陷阱，所以，引進(jìn)虛擬變量時(shí)，應(yīng)該謹(jǐn)慎。第三十九頁，共六十二頁，編輯于2023年，星期四例題（考慮性別的一個(gè)回歸模型）性別（1為男性、0為女性）m教齡x年薪（千美元）y11230119.512240221132503221426.50423.1052515281629.506260727.51731.50829第四十頁，共六十二頁，編輯于2023年，星期四看年薪和教齡之間的散點(diǎn)圖第四十一頁，共六十二頁，編輯于2023年，星期四不加虛擬變量的回歸結(jié)果第四十二頁，共六十二頁，編輯于2023年，星期四加上虛擬變量后的回歸結(jié)果第四十三頁，共六十二頁，編輯于2023年，星期四第四節(jié)解釋變量缺落問題發(fā)現(xiàn)與判斷問題的處理第四十四頁，共六十二頁，編輯于2023年，星期四問題解釋變量缺落，也是引起誤差項(xiàng)均值非0問題的常見原因。所謂解釋變量缺落，就是線性回歸模型設(shè)定的變量關(guān)系中，忽略了某些重要的、對被解釋變量有趨勢性影響的因素。被忽略的因素對被解釋變量的影響，會從誤差項(xiàng)中表現(xiàn)出來，導(dǎo)致誤差不再是純粹的隨機(jī)擾動。第四十五頁，共六十二頁，編輯于2023年，星期四例如若真實(shí)的變量關(guān)系為若采用變量關(guān)系第四十六頁，共六十二頁，編輯于2023年，星期四發(fā)現(xiàn)和判斷：經(jīng)濟(jì)背景分析和殘差序列分析e第四十七頁，共六十二頁，編輯于2023年，星期四問題的處理根據(jù)找到的原因即缺落的解釋變量，針對性的加入該缺落的解釋變量，就可以解決問題。第四十八頁，共六十二頁，編輯于2023年，星期四第五節(jié)參數(shù)變化問題發(fā)現(xiàn)和判斷問題的解決第四十九頁，共六十二頁，編輯于2023年，星期四問題參數(shù)改變是指在考察期間（樣本數(shù)據(jù)范圍），變量關(guān)系中的參數(shù)發(fā)生變化，這種問題也可以被理解為模型的穩(wěn)定性問題。這時(shí)實(shí)際上不能用同一個(gè)線性回歸模型研究變量在整個(gè)考察期間的關(guān)系。如果忽視這種模型參數(shù)變化，也會導(dǎo)致誤差項(xiàng)均值非0問題。第五十頁，共六十二頁，編輯于2023年，星期四問題以兩變量線性關(guān)系在考察期【0，T】中的t時(shí)刻參數(shù)發(fā)生變化為例。這種情況下，真實(shí)的變量關(guān)系可以用【0，t】和【t，T】兩個(gè)時(shí)期中的兩個(gè)模型分別表示，即其中，和都滿足均值為0和線性回歸模型的其它假設(shè)，且如果忽略模型參數(shù)的變化，用同一變量關(guān)系代表Y和X在整個(gè)【0，T】時(shí)期的關(guān)系，那么在兩個(gè)時(shí)期中的誤差項(xiàng)就分別為第五十一頁，共六十二頁，編輯于2023年，星期四和因此，兩個(gè)時(shí)期誤差項(xiàng)的均值分別為和很顯然，除非和同時(shí)成立，否則的均值不可能在兩個(gè)時(shí)期都始終為0。因此在參數(shù)發(fā)生改變時(shí)，必然導(dǎo)致誤差項(xiàng)均值非0的問題。第五十二頁，共六十二頁，編輯于2023年，星期四二、發(fā)現(xiàn)和判斷發(fā)現(xiàn)和判斷模型參數(shù)改變的基本方法，也是經(jīng)濟(jì)問題背景分析和殘差序列分析相結(jié)合。如果以i為橫軸，殘差e為縱軸的殘差序列分布，存在某個(gè)時(shí)期附近轉(zhuǎn)折的情況，就應(yīng)該考慮變量關(guān)系在該時(shí)刻可能存在參數(shù)改變。第五十三頁，共六十二頁，編輯于2023年，星期四鄒檢驗(yàn)以懷疑發(fā)生結(jié)構(gòu)參數(shù)變化的時(shí)點(diǎn)為界，把觀測樣本分為兩組（每組樣本容量必須大于模型的解釋變量數(shù)），分別為兩個(gè)子樣本的樣本容量。對兩個(gè)子樣本和全樣本分別進(jìn)行回歸，將兩組子樣本回歸的殘差平方和加總得到，稱為無約束的殘差平方和，它的自由度為全樣本的回歸殘差平方和為，自由度為稱為有約束的殘差平方和。用“有約束的殘差平方和”減去“無約束的殘差平方和”，自由度為K+1。