非參數(shù)半?yún)?shù)模型

1、非參數(shù)與半?yún)?shù)模型The basic idea of nonparametric inference is to use data to infer an unknown quantity while making as few assumptions as possible.0.00.81.00.00.51.0ty0.00.81.00.00.51.0ty主要內(nèi)容p核密度估計p局部方法n核回歸n局部線性回歸n變系數(shù)回歸n半變系數(shù)回歸n部分變系數(shù)回歸p全局方法n樣條回歸p多元非參數(shù)模型Cornwell與Rupert數(shù)據(jù)p如何刻畫隨機變量的特征？n女性（對數(shù)）工

2、資n男性（對數(shù)工資） Min. 1st Qu. Median Mean 3rd Qu. Max. 4.605 5.958 6.261 6.255 6.562 7.279 Min. 1st Qu. Median Mean 3rd Qu. Max. 5.017 6.458 6.745 6.730 6.976 8.537直方圖p隨機樣本：x1,x2,xnp直方圖的構造n確定原點x0，將數(shù)軸分割為寬度為h的區(qū)間(bin)n數(shù)出落在每個區(qū)間的觀察值個數(shù)，記為njn用nj除以n，再除以h，得到n對每個區(qū)間，繪制高為fj ，寬為h的柱形圖jjhxhjxBj,) 1(00nhnfjj直方圖中密度的一般表示 n

3、ijjjihBxIBxInhxf1)()(1)(如何理解這個密度估計？有什么問題？如何改進？LWAGE的直方圖Histogram of fwfwDensity4.55.05.56.06.57.07.50.00.6Histogram of mwmwDensity5.05.56.06.57.07.58.08.50.00.4 0.8Histogram of fwfwDensity4.55.05.56.06.57.00.01.02.0Histogram of mwmwDensity5.05.56.06.57.07.58.08.50.01.0Histogram of fwfwDensity4.55.05

4、.56.06.57.0050150Histogram of mwmwDensity5.05.56.06.57.07.58.08.504080h對直方圖的影響是什么？直方圖的統(tǒng)計性質(zhì)p無偏？)()(1)()(1)()(1)()()(1)(1)(1)()(1)(,) 1(. 0)1()1()1(110 xfduufhxfBiasduufhxfEduufBxIPBxIEBxIEhBxInEnhBxIEnhxfEBxInhxfjhhjBxxjhhjhjhhjhjhhjjijijijinijihnijihj直方圖的密度估計為：對于某個點假定原點為直方圖密度估計的近似偏誤)()()()()()()21()

5、()()()(1)()(1)1()1(xmmfxfxfExumfxfufhjmxfufduxfufhxfduufhjjhjjjhhjjhhj從而有：為處的一階泰勒近似展開在直方圖密度估計的偏誤受什么影響？直方圖密度估計的方差)(1)(1)(1)(1)(1)(22221xfnhduufduufnhnBxInVarhnBxInhVarxfVarjjBBjinijih直方圖密度估計的方差受什么影響？直方圖密度估計的均方誤差p逐點均方誤差p積分均方誤差)1()(2121)(1)()()(222nhohoxhjhjfxfnhxfbiasxfVarxfMSEhhh22222222121)(1212121)

6、()(1)()()()(fhnhdxxfhnhdxhjfxhjBxIdxxfnhdxxfMSEdxxfxfExfMISEjjhhh最優(yōu)帶寬NoImage3/13/122022222260611)(121)(nfnhfhnhhfAMISEfhnhfAMISEhh對于標準正態(tài)分布，h03.5n-1/3原點的影響fwDensity4.55.05.56.06.57.07.50.00.81.01.2x0= 4.51 fwDensity4.55.05.56.06.57.07.50.00.8x0= 4.52 fwDensity4.55.05.56.06.57.07.50.

7、00.8x0= 4.53 fwDensity4.55.05.56.06.57.07.50.00.81.0 x0= 4.54 fwDensity4.55.05.56.06.57.07.50.00.8x0= 4.55 fwDensity4.55.05.56.06.57.07.50.00.81.0 x0= 4.56 不同原點的平均直方圖4.55.05.56.06.57.00.00.81.0Average shifted histogram for female lnwagefwdensityabline(h=)

8、 6.22059 直方圖vs核密度估計p直方圖密度估計的兩大局限n最優(yōu)帶寬h不易解決n原點的影響p即使解決了原點問題，直方圖仍然有缺點n區(qū)間內(nèi)每個點有相同的密度n估計的密度函數(shù)不連續(xù)p解決方法：核密度估計n沒有原點問題n最優(yōu)帶寬得到了較好的解決n收斂速度更快由直方圖到核密度估計p直方圖p核密度#1的小區(qū)間內(nèi)的觀察值包含落入某個區(qū)間長度xn#1的小區(qū)間內(nèi)的觀察值附近落入?yún)^(qū)間長度xn核密度估計niiniiihhxxKnhhxxInhhxhxxnhxf1111211,#21)(核函數(shù)K(u)通常取對稱單峰的概率密度函數(shù)且滿足limuK(u)=0核函數(shù)核函數(shù)核函數(shù)K(u)均勻(Uniform)三角(t

9、riangle)Epanechnikov二次權重(quartic/biweight)三次權重(triweight)高斯(Gaussian)余弦(cosine)121uI 11uIu11432uIu11161522uIu11323532uIu2exp212u12cos4uIu核密度估計的一般形式 hKhKxxKnhxxKhnxfhniihniih1111)(11其中，LWAGE的核密度估計fwDensity4.55.05.56.06.57.07.50.00.81.0Kernel Density With Different BandwidthBW=0.1112BW=0.05BW

10、=1mwDensity5.05.56.06.57.07.58.08.50.00.81.0Kernel Density With Different BandwidthBW=0.0673BW=0.05BW=1h對核密度估計的影響是什么？LWAGE的核密度估計（續(xù)）核函數(shù)對核密度估計的影響是什么？fwDensity4.55.05.56.06.57.07.50.00.81.0Kernel Density With Different Kernel FunctionguassianepanechnikovtriangularrectangularmwDensity5

11、.05.56.06.57.07.58.08.50.00.81.0Kernel Density With Different Kernel Functionguassianepanechnikovtriangularrectangular核密度估計的統(tǒng)計性質(zhì)p可以證明，對于對稱核函數(shù)，有： dssKKnhnhoxfKnhxfVardssKsKhoKxfhxfBiashh)( 1)(1)()()()()()(2)(2222222222其中，其中，f(t)核密度估計的均方誤差2222422422224224222224)()(41)(1)()()(41)()(1)()(1)()(4

12、)(xfKhKnhxfAMISEnhohoxfKhKnhdxxfMSExfMISEnhohoxfKnhKxfhxfMSEhhhh 最優(yōu)帶寬5/15/1222222)()( nKxfnKhopt光滑參數(shù)的確定-plug inp如果變量服從正態(tài)分布34. 1)()()(06. 1 )8(3)2(1)()(21,832)(34. 1, min06. 1 25. 075. 025. 075. 025. 075. 05/15/155/12222222255225/1 nnnnnnoptoptZZZZXXRnnKxfnhdxxfnIQRh光滑參數(shù)的確定-Cross-validationp對于任意分布 ni

13、ijnjijhniiihhninjjininjtjininjxjihhxfEfhhhhiijijhijijxxKnnxfnxfEestdvvKvuKuKKhxxKKhndttKthxxKhndxhxxKhxxKhndxxfdxxfdxxffdxxfdxxfxffISEhISExxKnnhxxKKhnhCVhh1, 11,112112112222)(222)(111)(1)(.)()(1 11)()()(2)()()()()() 1(21)( 其中，無關與的期望可由數(shù)據(jù)計算得到 LWAGE的核密度估計（續(xù)）fwDensity4.55.05.56.06.57.07.50.00.8

14、1.0Kernel Density With Different Bandwithsivermanscottcv-gaussiancv-epanechkovmwDensity5.05.56.06.57.07.58.08.50.00.81.0Kernel Density With Different Bandwithsivermanscottcv-gaussiancv-epanechkov置信區(qū)間 nhKxfzxfnhKxfzxfxfnhnhKxfzKxfhxfnhKxfzKxfhxfxfcnhvzbnxfxfvzbnxfPvzbxfxfnvzbPKxfcKxfcNxfxfnc

15、nhfhhhhhhxxhxxhxxhxxvbLh/xx222/1222/15/1222/122222/1225/12/15/22/15/22/15/22/12222525/1)()( ,)()( )()()()(2)( ,)()()(2)( )()()()( )()(1)(1, )()(2)()(2的近似置信區(qū)間為：界的第二項，從而得到足夠小，可忽略區(qū)間邊相對于如果的置信區(qū)間為：可得利用從而有：，則：存在，假定 lwage的密度函數(shù)及其置信區(qū)間fwDensity4.55.05.56.06.57.07.50.00.81.0Confidence Interval for Kern

16、el Density of Female lwagekernel densitylower intervalupper intervalnormalmwDensity5.05.56.06.57.07.58.08.50.00.81.0Confidence Interval for Kernel Density of Male lwagekernel densitylower intervalupper intervalnormal非參數(shù)回歸py = m(x) +nm(x)=E(Y|X=x)nE( |X=x)=0,Var( |X=x)=2(x)p目標:m(x)的估計與推斷n參數(shù)模

17、型關注參數(shù)的估計與推斷p基本方法：局部光滑n對于x0, m(x0) = i wi(x0 |x)yinols： 局部常數(shù)擬合pNadaraya-Watson估計niihiniinjjhihniiniiiniihniiihNWyxWnyxxKnxxKnhxxKYhxxKxxKYxxKxm1011010101010100)(1)()(1 )()()(Nadaraya-Watson估計的矩陣表示YLIYYLYYxWXXxWXxWXXxWXxWXXxWXYyyyYxxxxYxWXXxWXxmyxxKxxKxxKDiagxWyyyYXTnnTnTTTTTTnnTTNWnhhhTnT)(),( )()()(

18、)()()( ),(,)()()()(,),(),()( ),( ) 1 , 1 , 1 (211212111212100100000201021：從而殘差向量可表示為，則：，并記依次取各個設計點令則有：令lwageed468101214165678lwageed with kernel normal, h=1edulwagefemalemale468101214165678lwageed with kernel normal, h=5edulwagefemalemale模擬：邊界效應0.00.51.01.52.001234boundary bias, h=0.01xy0.00.51.01.5

19、2.001234boundary bias, h=0.025xy0.00.51.01.52.001234boundary bias, h=0.05xy0.00.51.01.52.001234boundary bias, h=0.1xyNadaraya-Watson估計的漸近性質(zhì) duuKuxfxfxmxmcnhOhohcxmxmExxmxmEWNxxKxfDxxfxmnhhhYExKxfDxxfxmNWNWnnn)()()()()(21)()()(-)( )6()3(2)()(lim )4() 1 (1)()6(0)()()()5(lim0lim)4()|(|2)3()()2(0)()()(1

20、20000112210000000000其中，點處有：成立，則在：如果條件定理：估計是漸近無偏的，即點處，回歸函數(shù)的成立，則在：如果條件定理具有緊支撐且對稱核函數(shù)可微且的某個鄰域內(nèi)二階連續(xù)均在和設計密度回歸函數(shù)且滿足光滑參數(shù)，使存在正實數(shù)具有緊支撐核函數(shù)連續(xù)且均在和設計密度）回歸函數(shù)（帶寬h對回歸函數(shù)估計偏差的影響是？Nadaraya-Watson估計的漸近性質(zhì)（續(xù)）duuKxfxcnhonhcxmxDxxxXVarNW)()()()()()(Var )7()4() 1 (3)(7)()|(2002211200022其中，點處有：成立，則在和條件：如果條件定理連續(xù)在）條件方差（假定誤差項的條件

21、方差帶寬h對回歸函數(shù)估計方差的影響是？最優(yōu)帶寬p使得逐點均方誤差最小的hp使得積分均方誤差最小的h5/15/121204)(nccxhoptDD)()()()()( )()()()()(21)(4222522245/15/1245分區(qū)域為的正的有界權函數(shù)，積為給定的具有緊支撐其中，xwdxxwxfxduuKcdxxwxfxfxmxmduuKucncchopt N-W估計的置信區(qū)間 nihihihhhhxxxxLh/XxmYxWnxxfnhKxzxmxfnhKxzxmxmnhxcfKxvxfxfxmxmKcbvbNxmxmncnhxfxXYExxduuKfm1222222/12222/15/12

22、222222525/1222)()(1)()()()( ,)()()( )()()()()()(2)()(,)()(0)(4)|(|)(3)0()(21其中，的近似置信區(qū)間為：足夠小，則相對于如果，其中，則：?。ǖ倪B續(xù)點和是）（對于某些）（存在和）（假定：Lwageed的N-W估計及其置信區(qū)間468101214165678lwageed, N-W estimateedulwageN-W estimatelower boundupper boundN-W估計的推導 niihniiihniihniiihhniiihniiihniiihghniiighXXxxKyxxKxxKnyxxKnxmxfy

23、xxKndssKysgxxKndygyyKgyxxKndyyxf ygyyKghxxKhnyxfxfdyyxyfdyxfyxfyxXYExm1111111,1,11)()(1)(1 1),(111),()(),()(),()|()(的核密度估計，有：代入從而有：有：利用乘法核密度估計，適用于隨機設計N-W估計的加權最小二乘估計表達pN-W估計與加權最小二乘估計估計的點題，即得到回歸函數(shù)在求解此加權最小二乘問其中，使，確定常數(shù)對于W-N)()(min)()( )(000102000 xxxKxwxwxayxaDxihiniii本質(zhì)是什么？可作何改進？局部多項式估計min)()( ), 2 , 1

24、)()()( )( )()()(2)()()()()(10200000000000000)(20000000 niihpjjijijpjjjppxxKxxxypjxxxmxxxxxxxpxmxxxmxxxmxmxmxTaylorDxpxm使具體說，即選擇參數(shù)此處的擬合值，即：處的值作為回歸函數(shù)在以此擬合的多項式在的局部擬合上述多項式加權最小二乘法，在局部多項式估計即利用的鄰域，有：公式，在，由階連續(xù)導數(shù)，對于有設局部多項式估計的矩陣表達YxWxXxXxWxXexxmxYxWxXxXxWxXxxxxxxxxxxKxxKxxKDiagxWyyyYxxxxxxxxxxxxxXTTTTTTpTpnhh

25、hnpnnpp)()()()()()()( )()()()()( )(,),(),()( )(,),(),()()(,),(),()( ,)(1)(1)(1)( 001000100000010000010000010000020102100020201010處的估計值為：回歸函數(shù)在的估計值為：得則由加權最小二乘法可令：與經(jīng)典OLS的區(qū)別？局部多項式估計的殘差估計YLILIYYLIYYLYYxWxXxXxWxXexWxXxXxWxXexWxXxXxWxXeYyyyYxmyyxxxxTTTTnnnTnnnTTTTTTTTTniiin)()(SSE )( ),()()()()()()()()()()

26、()()()()()( ),()(,21112212221111111121210殘差平方和為：，則：記殘差向量為，則記的擬合值，可得到各設計點處為設計點分別取局部多項式估計的統(tǒng)計性質(zhì)) )()-(, )()-(, )()-(D )()(,),(),()()( )()()()()()()()()()(| )(ar )()2()(,),(),(),()()( )()()()()()()(| )( )() 1 (),( )(!1,),(),()(,),(),()( )(!1,),(),()(,),(),()(202220221201202221200100000010000002100000010

27、00000210)(000010000)(00001000nnhhhnTTTTnTTnTpTpTpTpxxxKxxxKxxxKiagxWxxxDiagxWxxXxWxXxXxxXxXxWxXxXxVxxmxmxmmxxXmxrxrxWxXxXxWxXxXxExxxxXxmpxmxmxxxxxmpxmxmxxxx其中，為：的精確條件協(xié)方差矩陣其中，的精確條件偏為：則有：令：不存在邊界效應！局部線性估計p局部多項式估計的特例：p=1ikiikjjjjiiiiiniiTTTTihnixxwSSxxwSwSxxwSwxlyxlyxWxXxXxWxXexmxmexxKdiagWxxX)( )()()()

28、( )()()()()()()()0 , 1 ()(), 1 (01021020100010001001020其中，局部線性估計為則，令局部線性估計的統(tǒng)計性質(zhì))()()()()(| )(ar )()()(21)(| )( 1120020222000 nhonhduuKxfxXxmVhohduuKuxmxmXxmEPP件偏與方差分別為：局部線性估計的漸近條局部多項式擬合中多項式階數(shù)的選擇p階數(shù)高低的影響n高階的多項式會使估計的偏誤減小，但可能由于引入更多的參數(shù)而導致較大的方差p階數(shù)奇偶性的影響n由偶次多項式變?yōu)楦咭浑A的奇次多項式時，漸近方差保持不變n由奇次多項式變?yōu)楦咭浑A的偶次多項式時，漸近方差

29、會增加p如果主要目的是估計回歸函數(shù)，應采用奇次多項式，同時為了使估計的方差最小，局部線性逼近是估計回歸函數(shù)的首選局部多項式擬合中光滑參數(shù)的確定：CV各個設計點處的擬合值下基于全部數(shù)據(jù)計算的是在個元素主對角線上的第是矩陣其中，從而有：，可以證明：對于線性光滑器，使：交叉驗證法即選取令：執(zhí)行上述過程，得到依次對點的擬合值為記下對回歸函數(shù)進行擬合的，用其余數(shù)據(jù)，在給定個觀察值去掉第對于給定的hhyihLhlhlhyynhCVlylyyhLhyhCVhCVhhyynhCVnihynixhmhyxhxyihiiiniiiiiijiijijihniiiiiiiiii)( )()()(1)(1)( 1)()

30、( )(min)()(1)(), 2 , 1)(), 2 , 1()()(),(,12)(00012)()()()(局部多項式擬合中光滑參數(shù)的確定：GCV接近漸近等價，即所選出的與充分大時，可以證明，在叉驗證函數(shù)值，即代替，即可得到廣義交用平均值對于線性光滑器，將hGCVnhyyhLtrnnnhLtrhyynhGCVhLtrnhlnhlniiiniiiniiiiiCV)()( /)(1)(1)( )(1)(1 )(122121局部多項式擬合中光滑參數(shù)的確定：AICc很多情況下更為理想準則選擇的光滑參數(shù)在而依據(jù)光滑參數(shù)（過擬合）往往會確定一個偏小的和經(jīng)驗表明，其中，的光滑參數(shù)，令對于線性光滑器和

31、給定cTTTcAICGCVCVYhLIhLIYnnhhLtrnhLtrnh(hAIC)()(11 )()(2)()(log() 22模擬示例0.00.51.01.52.001234boundary bias, h=0.01xyksmoothlocpoly0.00.51.01.52.001234boundary bias, h=0.025xyksmoothlocpoly0.00.51.01.52.001234boundary bias, h=0.05xyksmoothlocpoly0.00.51.01.52.001234boundary bias, h=0.1xyksmoothlocpolylw

32、ageed的局部線性估計468101214165678lwageed with kernel normal, h=1edulwagefemalemale468101214165678lwageed with kernel normal, h=5edulwagefemalemalelwageed的局部線性估計及其置信區(qū)間468101214165678lwageed, ll estimateedulwagell estimatelower boundupper boundK近鄰回歸p定義x0的近鄰，對于最近的k個近鄰給予相等的權重，對其他觀察值給予0權重n可變帶寬niikiKNNyxNxkxm10

33、0)(11)(LOWESS估計p局部加權散點光滑估計（locally weighted scatterplot smoothing）n局部多項式估計n可變帶寬（由x0到距其最近的k個觀察值的距離決定）ntricubic核函數(shù)n對較大的殘差以較小的權重) 1|(|1)|1 (8170)(33uuuKlwageed的lowess與knn估計468101214165678lwageed with lowess and knnedulwagefem-lowessfem-knnmale-lowessmale-knn變系數(shù)模型p假定線性回歸模型中的回歸系數(shù)是其他自變量的未知函數(shù)n增加模型的靈活性和適應性n

34、系數(shù)函數(shù)通常是其他變量的一元函數(shù)，避免維數(shù)災難)(),|( 0),|()( )()()(2212112211UXXXUVarXXXUEXUXUXUXUYpppjjjpp其中，變系數(shù)模型的特例p半變系數(shù)模型p部分線性模型（半?yún)?shù)模型）：q=1,X1=1qjpqjjjjjXXUY11)()(11UgXYpjjj兩類變量變系數(shù)模型的局部線性估計1210000(;, ) ( )( )(1,2, ) ( )( )( )(),1,2,( )( )( / ) /iiiipipijiijijjijjjhyxxxtnyt xtjptTttTTaylorttttttjpK uK uK u hh設為 組獨立的觀察數(shù)

35、據(jù)，則：設關于 具有連續(xù)導數(shù)， 為的取值范圍對任一給定的，由公式，在 的鄰域內(nèi)設為給定的核函數(shù)，變系數(shù)模型的局002000011( )( )( )( )()()minjjnpijjijhijttyttttxK tt部線性擬合即選擇和，使：變系數(shù)模型的局部線性估計（續(xù)）YtWtXtXtWtXIttttttYtWtXtXtWtXtttttttatttttttattKttKttKDiagtWyyyYttxttxxxttxttxxxttxttxxxtXTTppTpTTTppTppnhhhTnnnpnnnpnpppp)()()()()()(0 ,()( )(,),(),()()()()()()( )(,

36、),(),(),(,),(),()( )(,),(),(),(,),(),()( )(,),(),()( ),( )()()()()()()( 00100000210010000020100201000201002010002010210011012022122101101111110處的局部線性估計為：在系數(shù)函數(shù)向量性估計為：則變系數(shù)模型的局部線記：變系數(shù)模型局部線性估計的擬合值與殘差YLIYYtWtXtXtWtXXtWtXtXtWtXXtWtXtXtWtXXLxxxXLYYtWtXtXtWtXXYtWtXtXtWtXIXtttxxxxtxtxtYtYYtWtXtXtWtXetttttnnT

37、nnnTpTnTTpTTTpTipiiTiiiTiiiTpTiiiTiiiTppTiTipiiipiiipipiiiiiiiiTiiiTTpjijn)()()()()()()(0 ,()()()()()()(0 ,()()()()()()(0 ,( ),( )()()()()()(0 ,( )()()()()()(0 ,( )(,),(),()(,( )()()( )()()()()()( ,112212221211111111211112121221112,210從而殘差向量為：其中，的擬合值為：在各個設計點從而得到因變量，有：取局部線性估計的漸近偏與方差)()()()()| )(Var(

38、)()(21)| )(ias( )()()|()()()(T ),(110100200220202022,111121 nhonhttftDthohtDtbtt tTXXE duuK duuKu tfxxxxtttDPPppijjiijpnpnn有：在一定的正則條件下，的邊緣概率密度函數(shù)為令變系數(shù)模型的二步估計p若不同系數(shù)的光滑度差異較大，需要對不同的系數(shù)采用不同的帶寬p第一步：在一個較小的光滑參數(shù)下，利用局部線性擬合方法得到系數(shù)的初始估計和近似模型p第二步：對近似模型進行局部三次多項式估計n可以采用局部線性擬合iipppjijjiiTpXXtYYtttt110002010)()(,),(),

39、()(變系數(shù)函數(shù)的統(tǒng)計推斷p系數(shù)函數(shù)的置信帶（confidence band）nFan, Zhang(2000), Simultaneous confidence bands and hypothesis testing in varying coefficient models, Scandinavian Journal of Statistics, 27: 715-731p關于某些系數(shù)是否為常數(shù)的檢驗n基于系數(shù)估計的最大偏差檢驗（Fan, Zhang, 2000）n基于廣義似然比統(tǒng)計量的檢驗（Cai Z, Fan J, Li R(2000), Efficient estimation an

40、d inferences for varying-coefficient models, Journal of the American Statistical Association, 95:888-902）npscoef(lwageed+exp+blk|gender)變系數(shù)模型 Intercept ed exp blkfemale 4.934 0.093 0.009 -0.108male 5.566 0.072 0.012 -0.155niicTpqciccnqppqpcTpqcTTTpqqqcvvnnhhhhTnnpqnqnpqqpqqcnqnnqqvnihpqjijjqjijjjijj

41、jjjjjtnttttttaItYtWtVtVtWtVtttttttaXXtUXtVttttttDiagtUttKttKttKDiagtWyyyYxxxxxxxxxXxxxxxxxxxXttKxxttttypqjqjttqjttttttTaylortTt1121002)(01001000001001001000002010002010212,1,22, 21, 212, 11, 1212222111211102110000000000)(1),( )(,)( ),0(),()()()()()( )(,),(),(,),(),(,),()( ),)(,()( ),()( )(,),(),()(

42、),( ,min)()()(), 1(), 2 , 1)()(, 2 , 1),)()()( )(11111量的最終估計：其平均值即為常參數(shù)向在各個設計點的估計為，得到令的估計為在從而則，令，使，以及和選擇的鄰域內(nèi)有公式知，在，由，對于變系數(shù)對于半變系數(shù)模型的二階段估計半變系數(shù)模型的二階段估計第一階段：常系數(shù)的估計處的估計到變系數(shù)向量在用局部線性擬合可以得：代入半變系數(shù)模型，得將0111)(),(txtxyYiqjijijpqjijjiiTpqc半變系數(shù)模型的二階段估計半變系數(shù)模型的二階段估計(續(xù)續(xù))第二階段：變系數(shù)的估計半變系數(shù)模型的輪廓最小二乘估計)5()()()()()()(0 ,()(

43、 ),2, 1()(,()()4()()()()()()(0 ,()( )()1 ()3()(,),(),()2(),( ),( ),( )(,),(),()()1 ()( )(1000001000002211212121211111ccihiTvivihiTvqqqiivvvcchTvvhTvqqqTnTnTTccTnTiqiiiTpqqcTqqjjjpqjjjiipqjjjqjjjXYtWtttWtItTnittXtUXtXYtWtttWtItuutXtXtXMMXYxxxXttttXTXYZXXTY：的各設計點處的估計為，則變系數(shù)函數(shù)在取其中，處的估計為：在局部線性擬合方法可得視為變系數(shù)

44、模型，利用將模型其中，則模型可寫為：令改寫為：將模型半變系數(shù)模型的輪廓最小二乘估計（續(xù)）)9()()()()()()(0 ,()( )4()8()8()( )(,)()7()()()( )2()6()()()()()()(0 ,()()()()()()(0 ,()()()()()()(0 ,()6()()(,),(),( )3()5(001000011122122212111111112211cchTvvhTvqqqTccTccccvcvccvvccvccnhnTvnvnhnTvqTnhTvvhTvqThTvvhTvqTvccvTnTnTTXYtWtttWtItYXXXXSIXYSIYXSIY

45、SIXYSXYtWtttWtXtWtttWtXtWtttWtXSXYStXtXtXM：得變系數(shù)向量的估計為代入將的估計為：以得到由普通最小二乘估計可記即：，得近似模型為：代入將其中，得：代入將基于輪廓最小二乘估計的擬合值與殘差)13()()12()()()11()()( )10()()(,),(),( )6()9(12211YLIYYSSIXXXXLLYYSXSIXXYSXMYYXYStXtXtXMMvvTccTccvccvccccvccccvTnTnTT相應的殘差向量為：其中，的擬合值為：從而得到的最終估計為：得代入將半變系數(shù)函數(shù)的統(tǒng)計推斷p常值系數(shù)的假設檢驗：H0:Ac=0nWald檢驗n

46、廣義似然比檢驗p變系數(shù)是否為常數(shù)的檢驗：是否為常數(shù)n廣義似然比檢驗YLILIYnRRSnXXXSISIXXXVarlAAAAhWTTcTccTvvTccTcchcThTTcn)()(11 )()( )()()(1221121其中：檢驗統(tǒng)計量)()()(2101lRRSRRSRRSnhTn檢驗統(tǒng)計量Lwageint(fem)+edu(fem)+exp(fem)+blk (兩階段估計)Lwageint(fem)+edu(fem)+exp(fem)+blk (輪廓最小二乘估計) round(betac,3) ,11, -0.143 round(betavb,3) intercept edu expf

47、emale 4.959 0.091 0.010male 5.564 0.072 0.012)|()|()( )()|(1lim, 0)( )|()|()|()|()|()|()|()|( )|()|()|()()|()|(0),|()(112d0iiiiiiiiiinniiiPLPLiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiizxEzyEzzzxExwwwnpNnuzxExzyEyzxEzyEzxEzyEzxEzyEzxExzyEyzEzzxEzyEzzxEzxy的非參數(shù)估計，即：最后可以得到其中，可以證明：到進行最小二乘估計，得對的估計和分別為和記回歸）估計可用非參數(shù)方法（如核和條件期望從而得到差分方程：，有：給定其中， 半?yún)?shù)模型估計半?yún)?shù)模型估計Robinson difference estimatornpplreg(lwagefem+ms+ed+blk|exp) 部分線性模型lwagefem+ms+ed+blk|exp 部分線性模型0.00.81.0fem lw