第25章-非線性回歸與門限回歸

1、 陳強,高級計量經(jīng)濟學(xué)及 Stata 應(yīng)用課件，第二版，2014 年，高等教育。 第 25 章非線性回歸與門限回歸25.1非線性最小二乘法對于非線性回歸模型，除了 MLE，還可使用“非線性最小二乘法”(Nonlinear Least Square，簡記 NLS)。 考慮以下非線性回歸模型：yi = g( xi , b ) + ei(i = 1, L, n)1 b 為K 維參數(shù)向量， g() 是b 的非線性函數(shù)，且無法通過變量轉(zhuǎn)換變?yōu)閎 的線性函數(shù)。 如果g( xi , b ) = xib ，則回到古典線性回歸模型。 記b%為b 的一個假想值，對應(yīng)的殘差為ei = yi - g( xi , b%

2、)。非線性最小二乘法通過選擇b%，使得殘差平方和最?。?nni=1e= 2min SSR(b ) =y - g( x , b )%2iiib%i=12 最小化的一階條件為 SSR(b% ) b%n g( xi , b%)i=1g( x , b )%= -= 02yii b%可簡化為n g( xi , b%)i=1b )%y - g( x ,= 0ii b% g( xi , b%) =n ie0 b%i=1這是一個K 個方程、K 個未知數(shù)的非線性方程組。3 滿足這個非線性方程組的估計量被稱為“非線性最小二乘估計 量”，記為bNLS。 殘差向量e 與 g( x, b%) 正交，而不是與x 正交(線

3、性回歸的情形)。 b%通常沒有解析解，要用數(shù)值迭代方法求解，比如牛頓-拉夫森法。 例考慮如下非線性回歸模型：yi = b1 + b2 exp(b3xi ) + ei這個模型含有三個未知參數(shù)(b1, b2 , b3)，即K = 3。4 使用 NLS 進行估計，殘差平方和為ni=12min SSR(b )=y - b- bexp(b x )%i123ib%NLS 估計量的一階條件為nSSR(b% )i=1y - b- bexp(b x )= 0%= -2b%i123i1SSR(b% )ni=1y - b- bexp(bx )exp(b x )%= -=02b%i123i3i2SSR(b% )ni=

4、1y - b- bexp(%b x )b x exp(%b x i) = 0%= -2b%i123i2i335 NLS 的大樣本性質(zhì)如果E(ei | xi ) = 0，再加上一些技術(shù)性條件，則bNLS 為b 的一致估計量，且bNLS 服從漸近正態(tài)。 如果擾動項為球型擾動項，則bNLS 是漸近有效的(asymptotically efficient)。 非線性回歸的 Stata 命令及實例25.26 門限回歸25.3考察回歸系數(shù)是否穩(wěn)定：將樣本分成若干子樣本分別回歸，能 否得到相近的估計系數(shù)？ 對于時間序列，經(jīng)濟結(jié)構(gòu)是否隨著時間推移而改變(Chow test)？ 對于橫截面數(shù)據(jù)，比如，樣本中有男

5、性與女性，可根據(jù)性別將 樣本一分為二，分別估計男性樣本與女性樣本。 如果用來劃分樣本的變量是連續(xù)型變量，比如，企業(yè)規(guī)模、人均國民收入，則需要給出一個劃分的標(biāo)準(zhǔn)，即“門限(門檻)值”(threshold level)。 7 例 在應(yīng)用研究中，人們常常懷疑大企業(yè)與小企業(yè)的投資行為不 同，那么如何區(qū)分大企業(yè)與小企業(yè)呢？ 例 受到流動性約束(liquidityconstraint)的企業(yè)與沒有流動性約to束企業(yè)的投資行為也可能不同，如何通過債務(wù)股本比(debtequity ratio)或其他指標(biāo)來區(qū)分這兩類企業(yè)？ 例 發(fā)達國家與發(fā)展中國家的經(jīng)濟增長規(guī)律可能不同，如何通過人均國民收入這一指標(biāo)來區(qū)分一個國

6、家發(fā)達與否？ 傳統(tǒng)的做法由研究者主觀確定一個門限值，把樣本一分為二， 既不對門限值進行參數(shù)估計，也不進行統(tǒng)計檢驗，結(jié)果并不可靠。 Hansen(2000)提出“門限(門檻)回歸”(threshold regression)，以嚴(yán)格的統(tǒng)計推斷方法對門限值進行參數(shù)估計與假設(shè)檢驗。 8 n。假設(shè)樣本數(shù)據(jù)為 y , x , qiiii=1qi 為用來劃分樣本的“門限變量”(threshold variable)，qi 可以是解釋變量xi 的一部分： = b1xi + ei , 若 qi g yi y= b x + e , 若 q gi2iii其中，g 為待估門限值， xi 為外生解釋變量，與ei 不相

7、關(guān)。將此分段函數(shù)合并寫為 yi = b1 xi 1(qi g ) + b2 xi 1(qi g ) + ei14243= zi114243= zi 29 可用 NLS 來估計。如果g 已知，可定義zi1 xi 1(qi g )與zi 2 xi 1(qi g )，將此方 程轉(zhuǎn)化為線性回歸模型： yi = b1zi1 + b2zi 2 + ei實踐中，常分兩步來最小化殘差平方和。b依2 賴于g )， g 的取值，用OLS估計b (g )與b (g )( b 與首先，給定121并計算殘差平方和SSR(g ) ( 稱為 Concentrated Residuals)，也是g 的函數(shù)。 SumofSqu

8、ared其次，選擇g 使得SSR(g )最小化。10 給定qi ，由于示性函數(shù)1(qi g )與1(qi g )只能取值 0 或 1，故是 g 的階梯函數(shù)，而“階梯的升降點”正好是qi (只有一級“臺階”)。nSSR(g )也是g 的階梯函數(shù)，而階梯的升降點恰好在 q不重故ii=1g 取 qn以外的其他值，不會對子樣本疊的觀測值上，因為如果ii=1的劃分產(chǎn)生影響，故不改變SSR(g )。最多只需要考慮g 取n個值即可，即g q1, q2 , L, qn 。這使得SSR(g )的最小化計算得以簡化。 記最后的參數(shù)估計量為 ( (g), b (g), g)。1211 在一定的條件下，Hansen(

9、2000)導(dǎo)出了g的大樣本漸近分布，在此基礎(chǔ)上構(gòu)造g的置信區(qū)間，并對H0 : g = g 0進行似然比檢驗。 類似地，可考慮包含“多個門限值”的門限回歸。 g 2，則門限回歸比如，對于門限變量qi ，假設(shè)兩個門限值為g1 模型為 yi = b1xi 1(qi g1) + b2 xi1(g1 g 2 ) + ei12 面板數(shù)據(jù)的門限回歸25.4對于面板數(shù)據(jù)yit , xit , qit : 1 i n, 1 t T，Hansen (1999)考慮了如下的固定效應(yīng)門限回歸模型： = mi + b1xit + eit , 若 qit g yit y= m + b x+ e, 若 q giti2iti

10、tit其中，qit 為門限變量(可以是xit 的一部分)，g 為門限值，擾動項 eit 為 iid。假設(shè)xit 為外生變量（不包含yit 的滯后值），與eit 不相關(guān)。13 將模型更簡潔地表示為= mi + b1xit 1(qit g ) + b2xit 1(qit g ) + eityit假設(shè)n較大，T 較小(短面板)，故大樣本的漸近理論基于“n ”。 g ) b1 ， x(g ) xit1(qit1(qb b定義 g ) ，則方程簡化為 xit2 itit= mi + b xit (g ) + eityit對于個體i，將方程兩邊對時間求平均：yi = mi + b xi (g ) + ei

11、14 將兩方程相減，可得離差形式：- yi = b xit (g ) - xi (g )+ (eit - ei )yit記y* y- y ， x* (g ) x(g ) - x (g )，e * e- e ，則可得ititiititiititi= b x* (g ) + e *y*ititit仍使用兩步法進行估計。首先，給定g 的取值，用 OLS 進行一致估計(組內(nèi)估計量)，得到估計系數(shù)b(g ) 以及殘差平方和SSR(g )。其次，對于g qit :1 i n, 1 t T(g 最多有nT 個可能取值)，選擇g，使得SSR(g)最小。最后得到估計系數(shù)b(g)。15 如果不希望某個子樣本中的觀

12、測值過少，可限制g 的取值，比如不考慮qit 中最大 5%或最小 5%的取值。 對于是否存在“門限效應(yīng)”(threshold effect)，可檢驗原假設(shè)：H0 : b1 = b2如果此原假設(shè)成立，則不存在門限效應(yīng)，模型簡化為= mi + b1xit +eityit對于這個標(biāo)準(zhǔn)的固定效應(yīng)面板模型，將其轉(zhuǎn)化為離差形式，然 后用 OLS 來估計(組內(nèi)估計量)。 16 記在“ H0 : b1 = b2 ”約束下所得到的殘差平方和為SSR*，以區(qū)別于無約束的殘差平方和SSR(g)。 顯然，SSR* SSR(g)。如果SSR* - SSR(g) 越大，加上約束條件后使得SSR增大越多，則越應(yīng)該傾向于拒絕

13、“ H0 : b1 = b2 ”。 Hansen (1999)提出使用以下似然比檢驗(LR)統(tǒng)計量：LR SSR* - SSR(g)s 2其中，s2 SSR(g) 為對擾動項方差的一致估計。n(T -1)17 如果“ H0 : b1 = b2 ”成立，則不存在門限效應(yīng)，也就無所謂門限值g 等于多少。 在H0 成立的情況下，無論g 取什么值，對模型都沒有影響，故參數(shù)g 不可識別。 檢驗統(tǒng)計量LR 的漸近分布并非標(biāo)準(zhǔn)的c 2 分布，而依賴于樣本矩，無法將其臨界值列表，但可用自助法得到臨界值。 如果拒絕“ H0 : b1 = b2 ”，認(rèn)為存在門限效應(yīng)，可進一步對門限值進行檢驗，即檢驗“ H0 : g = g 0”。定義似然比檢驗統(tǒng)計量為 LR(g ) SSR(g ) - SSR(g) s218 在“ H0 : g = g 0”成立的情況下，LR(g ) 的漸近分布的累積分布函數(shù)為(1 - e-x)2 ，可直接算出臨界值?？衫媒y(tǒng)計量LR(g