51一元線性回歸的參數(shù)估計

第五章回歸分析“回歸”一詞的由來1889年，英國著名統(tǒng)計學家FrancilsGalton在研究父代與子代身高之間的關系時發(fā)現(xiàn)：身材較高的父母，他們的孩子也較高，但這些孩子的平均身高并沒有他們父母的平均身高高；身材較矮的父母，他們的孩子也較矮，但這些孩子的平均身高卻比他們父母的平均身高高。Galton把這種后代的身高向中間值靠近的趨勢稱為“回歸現(xiàn)象”。后來，人們把由一個變量的變化去推測另一個變量的變化的方法稱為“回歸方法”。回歸分析的基本概念1?函數(shù)關系和統(tǒng)計相關關系在一個實際問題中會遇到多個變量，可將其區(qū)分為自變量和因變量.自變量和因變量之間的關系又可分為兩類:函數(shù)關系和統(tǒng)計相關關系.函數(shù)關系：自變量的取值確定后，因變量的值就完全確定.如圓的半徑與J的面積就構(gòu)成函數(shù)關系.統(tǒng)計相關關系：自變量的取值確定后，因變量的值并不完全確定；通過大量的統(tǒng)計數(shù)據(jù)又可發(fā)現(xiàn)它們之間確實存在著某種關系，這時稱自變量與因變量之間構(gòu)成統(tǒng)計相關關系.如商品定價x與該商品的銷售量日期x與某地的日平均氣溫父母身高(x,y)與兒子成年后的身高Z；上述自變量與相應因變量之間都構(gòu)成統(tǒng)計相關關系.2.回歸分析回歸分析（RegressionAnalysis，就是一種研究自變量(是可控變量時)與因變量(隨機變量)之間的統(tǒng)計相關關系的統(tǒng)計方法.從自變量和因變量的一組觀測數(shù)據(jù)出發(fā)，尋找一個函數(shù)式，將變量之間的統(tǒng)計相關關系近似表達出來，這個能近似表達自變量與因變量之間關系的函數(shù)，稱為回歸函數(shù).3.回歸的分類依照回歸函數(shù)是線性的還是非線性的，分為線性回歸(LinearRegression)和非線性回歸(NonlinearRegression；依照回歸函數(shù)是一元函數(shù)還是多元函數(shù)，又可分為一元回歸(SimpleRegression)和多元回歸(MultipleRegression).§5.1一元線性回歸中的

參數(shù)估計一元線性回歸的數(shù)學模型與主要問題

⑴一元回歸的數(shù)學模型一元回歸模型：設x是一元可控變量，Y是依賴于x的隨機變量，二者具有相關關系，通常稱x為自變量或預報變量；Y為因變量或響應變量.設想Y的值由兩部分組成：一部分是由x能夠決定的，記為f(x);另一部分是由其它未加考慮的因素(包括隨機因素)所產(chǎn)生的影響，看作隨機誤差，記為e，且有理由要求EG)=0.故有(5.1-1)Y=f(x)+(5.1-1)E(￡)二0稱(5.1-1)式為Y對x的一元回歸模型f(x)為回歸函數(shù)；其中E(Y)=f(x)，稱y=f(x)為回歸方程.一元線性回歸模型：若進一步假定回歸函數(shù)為f(x)=B+Bx，且存在D(e)=6，則有oiJy二B+Bx+￡(e(￡)=0,D(￡)=G2 (5*1-2)稱(5.1-2)式為Y對x的一元線性回歸模型，其中B，B，G2均為未知參數(shù)，卩，卩稱0101為回歸系數(shù)，而E(Y)=B+Bx，此時回歸01方程y=B+Bx是線性方程，稱為回歸直f 0 1線.一元正態(tài)線性回歸模型：應用中，為對回歸方程的合理性進行檢驗，還假定…N(0,G2)，于是模型(5*1-2)化為Jy=B+Bx+￡<018?N(0,G2)1-3)稱(5.1-3)式為Y對x的一元正態(tài)線性回歸模型，此時Y-N(B+Bx,G2)*01為研究x與Y之間的內(nèi)在關系，在x=xi，x2，，x的點上，做n次獨立試驗,1 2 n

得到y(tǒng)—yi,y昇?…y，于是有點1 2 n(x1,y1),(x2,y2)'…,(xn,y丿.畫出散點圖，如果這n個點(n很大時)分布在一條直線附近，直觀上就可認為x與Y的關系具有(5.1-3)式的模型。X+8ii (i—12X+8ii (i—12???n)8~N(0,”)，且相互獨立八-1,2,n)I[Y—B+Bi0 1(5?1-4)顯然此時有Y~N(P+Bx,。2),且當i 0 1ii—1,2,…,n時相互獨立.由(x,y),(x,y),???,(x,y)求出回歸11 2 2 nn系數(shù)的估計值B，B后得到直線方0101程y—/B+Bx，稱為經(jīng)驗回歸直線.01圖1，圖2i■■■■ ■L■經(jīng)驗回Y的試驗值i■■■■ ■L■經(jīng)驗回TOC\o"1-5"\h\zi iY的經(jīng)驗回歸值E(Y)=卩+卩xi i 0 1iY的理論回歸值E(Y)=P+卩xi i 0 1i(2)—元線性回歸的主要問題對未知參數(shù)力0,2的估計；1對參數(shù)及回歸模型的假設檢驗;對因變量Y的預測。對未知參數(shù)卩,卩Q2的估計1化,0］的最小二乘估計已。知x與Y試驗值(x,y),(x,y),,(x,y)，構(gòu)造y的試驗11 2 2 nn /的離差值y與理論回歸值E(Y)=0+0x的離差i i 0 1i平方和Q(0Q(0叫血6i2上(y.- 0二)2(5.1-5)以使q（p,p）取得最小值的p,卩為0101p,p的估計值，稱之為最小二乘估計.為此：令°Q=-2為(y—p—px)=0顧 t氣"iiTOC\o"1-5"\h\z0 i=1器=—2為(y,—p0—pix.)x.=0cp 101ii于是有關于p,p于是有關于p,p的線性方程組01np+(另x)p=2y0 i1 ii=1 i=1(乞x)p+(2x2)p=2xyi0 i1 iii=1 i=1 i=1(5.1-6)（5.1-6）式的解p,p是由容量為n01的子樣值得到的，只在這n個點處Y的試i驗值y與理論回歸值p+px的離差平方i 0 1i和最小，因此，解卩不是p,p的真值,101只是估計值。故有B+xP=y<oixP+x2P=xy101(5.1-7)其中1nx=yxn ii=11n,y=」y' n ii=11n, x2=yx2 ,， ni，i=11nxy=-Exiyi.(5.1-7)式稱為正規(guī)方程組.i=1解得P=P=1P=0(5.1-8)(5.1-8)式中的P,P稱為未知參數(shù)1P,P的最小二乘估計。01于是經(jīng)驗回歸直線y=y=p0+卩1x=(y-邙丿+卩1x=P(x-X)+j，1即：經(jīng)驗回歸直線恒過點(兀y).。2的矩估計e?N(0,(J2),/.Q2=D(￡)=E(￡2),則可用2的子樣均值1Zn￡2去估計其母nii=1體均值O2=E（￡2），即有cA=1為￡2.ni=1但e2=（Y.-代-叭x）2，其中卩,B未知，0 1i 0 1以其最小二乘估計代替，于是O2的矩估計為A2=1藝(Y-0-Bx)2=1Qn ii=10 1i n min(5.1-9)其中Q稱為殘差平方和。將（5.1-8）式min中的P=y-xJA代入，得01TOC\o"1-5"\h\zQ=另[Y-(Y-x/A)-Bx]2

min i 1 1ii=1=藝[(Y-Y)-A(x-x)]2i 1ii=1-A2藝(x-x)21 ii(5.1-10)

于是cA2=1Q=1工(Y-Y)2+B21工(xnminn i 1n i Y1xi=1 i=15?1-11)估計量的另一組表達式=藝(y-y)2=nS2，' yxx ii=1yy i=藝(y-y)2=nS2，' yxx ii=1yy ii=1(x-(x-x)(y-亍)=xy一nxy，則(5.1-8)i i iiTOC\o"1-5"\h\zxy i i(5.1-10)(5.1-11)式分別化為0 =xy(5.1-8')1 L~(5.1-8')xxB=y-Bx01Q=L-0L=L-B2Lmin yy 1xy yy 1xx(5.1-10')11A1A22=_Q=_(L-DL)=_(L-卩L)nminnyy1xnyy1xx(5.1-11')未知參數(shù)估計量的分布對于一元正態(tài)線性回歸模型(5.1-4)

定理5.1.1:①E(P)=卩,E(0)=卩.0 0 ii即(5.1-8'式中的估計量卩,p分別是010,0的無偏估計.1TOC\o"1-5"\h\z1 x2 n2②0?N(0,(—+ )n2),0?N(0,).nL 1 1Lxx xx定理5.1.2：定理5.1.2：①丄QO2min?X2(n-2),且Qmin分別與00相互獨立。（說明：二次型尸0尸1Q』（丫-0-0X）2中的00滿足正規(guī)方min i0 1i 。'程組（5?1-7）,即有2個獨立的線性約束條件，故自由度是n-2）。②E（°汕）=n-2 ，從而b2aQb2Qn—2E(b2)=E(min)=E(min)= b2， 艮卩n ~n b2nbA2=1q.只是b2的一個漸近無偏估計.nmin為糾偏，令b*2=厶b，貝Un—2EQ*2)=Q2，即。*2二1Q是b2的一個n—2 min無偏估計.定理5.1.3:"廠“i廠?t（n-2）.（由A VXXo*定理5.1?1②、定理5.1.2?及t分布定義可以證得）定理5?1?4:cov（Y,JA）=0?1子樣相關系數(shù)及意義為 刻 畫 點（x1，y1），（ry2），，（xn，yn）之間線性關聯(lián)程度，（1）定義：1另(X—x)(y—刃n1 1i=i(x—X)211ni=1

Lr=xy可以證得|rF1.(2)意義:Qmin~T~yyL2PL LQmin~T~yyr2= xy= 1xy=1—yy 1xy=1—L~L~~L Lxxyy yy yy故|r|越接近1時，q越接近0,說明線min性回歸分析的效果越好；特別，當|q=1時，Q=0，說明觀測點min(xy〉(xy丿,,(x,y)全部落在經(jīng)1122驗回歸直線y二Po+P]x上。例5?1?1測量上海市1~3歲男孩的平均體重『，得到如下數(shù)據(jù):年齡x(歲)i1.01.52.02.53.0平均體重yi(kg)9.7510.8112.0712.8813.74又設+卩x+8,8~N(0,a2),且相互i 0 1ii i獨立,i=1,2,,5?(7)求B,B的最小二乘估計P,$;0101(2)求殘差平方和Q ，標準差b的估m(xù)in計r*，子樣相關系數(shù)r?解：先畫散點圖>>X=[1?O1.52.02.53.0];?Y=[9?7510.8112.0712.8813.74];?plot(X,Y,'ro')1413.51413.51312.51211.51110.5109.52.2 2.4 2.6 2.8 3( 1 )由于n=5,x=2,L=nS2=2.5 ,y=11.85,xx xL=nS2=10.173,L=bxy—nxy=5.025.故yy y xyi=iiiP=Lxy=5,025=2.011匸^5-xx卩=y—px=11.85-2.01X2=7.83o 1于是經(jīng)驗回歸直線為可以將經(jīng)驗回歸直線與散點圖畫在一起>>holdon>>y=7?83+2?01*X;>>plot(X,y,'b-')13.51312.512y11.51110.5109.513.51312.512y11.51110.5109.511.2 1.4 1.6 1.82.2 2.4 2.6 2.82)「Q.n—2mmQ=L-PAL=10.173-2.01x5.025「Q.n—2mmL5.025 cccr= xy:二 二0.9964r^v~xxyy、/2.5x10.173Ab*=0.1557可見這組數(shù)據(jù)下的年齡與平均體重的線性關聯(lián)程度很咼。例5.1.2(P222Ex5?1)過原點的一元回歸的線性模型為Y二卩x+￡,i ii(i=1,2,…,n),其中e之間獨立，且i8~N(0Q2)?錯誤！未找到引用源。試由i(x，y.)用最小二乘法估計卩；錯誤！未ii找到引用源。用矩法估計解：錯誤！未找到引用源?；貧w模型為Y=加+￡，故(x.‘y.)滿足i ii =-2工(y=-2工(y—Px)x=2[(工x2)p—工xy]=0 ii i iiy—y—PX+8，i ii(i=1,2,…,n)，離差平方和i=i=lQ(P)上8i=1 i=1 i=1xyi=1 i=1 i=1xyx2i i ii=1 i=1為求使Q(p)=minQ(p)成立的《，令1n 1n其中：xy=_yxy，x2=工x2nii ni

錯誤！未找到引用源。b2的矩估計:?/￡?N(0,O2).?y2_D(8)_E(82)+E2(8)_E(82),則b2的矩估計為b2_］另￡2_］藝(y—pX)2ninii_1區(qū)V2—2卩1區(qū)xy+卩2￡區(qū)X2niinii_1 i_1xyxy—_y2一2_xy+(_)2x2X2 X2_—(xy)2_y2_X2例5.1.3(P224Ex5例5.1.3(P224Ex5?7)具有重復試驗一元線性回歸表述如下：對x,Y做n次試驗，x_x,x,…,x，在每一個x_x上1 2 r i對Y作m次試驗，其觀察值為iy『y.2,?…y.，而—_n.一元回歸的線i1i2 zm ii性模型為Y=卩+卩x+￡,e?N(0,o2)且相互獨立,j0 1iiij(i=1,2…，r;j=1,2，…，m)試求P,P的最小二乘估計。101E(Y)=B+Bx，?- 0 1i(i=l,2,???，r;j=l,2,???，m)，離差平方和iQ(B，B)=YYe2=YY(y-B-Bx)20 1 j j0 1ii=1j=1 i=1j=1為求B,B使Q(B,B)=minQ(B，B)，令010101

黑=-2工Y(y-B0-B；x.)=0TOC\o"1-5"\h\zOP j0 120 i=1j=1=-2YY(兒-B-Bx,)x.=0OD j0 1221 i=1j=1nB +(工Kx)B=YEy0 i1 iji=1j=1 i=1j=1x)B+(Y習x2)B=工習xyi0 i1 iijJi=1j=1 i=1j=1 i=1j=1亦即nB+（為mx）B=為習iy0 ii1 iji=1 i=1j=1）B+（為mx2）B=為習‘xy0 ii1 iij簡記為i=1 i=1j=1簡記為B+xB=y<01xB+帀B=xyJ0 1解此正規(guī)方程組得b=可-xb=可-xy1 x?-x2LxxB0=歹-B1元由下表易求B,B的值，得到經(jīng)驗回歸直01^線y=B+Bx.01xix1x2xr-1yrni=1mxiimimim2???mr— 1yrni=1mx2iiyijy,y,…，〕1112t,y,…，.1m21 22y…2my,y,…,:r1 r21rm?r=—Mrrm ni=1j=1尹xyzij=1jx區(qū)y1 1jj=1m?x工1y2 習j=1x^yr r/j=1 1rm；xy=_莎ni=1j=1ij■yij例5.1.4(P224Ex5.8)對自變量和因變量都分組的情形，經(jīng)驗回歸直線的配置方法如下：對x和y作n次試驗，得n對試驗值，把自變量的試驗值分成組，組中值記為x,x,…,x，各組以組中TOC\o"1-5"\h\z1 2 r值為代表；把因變量是試驗值分成s組,組中值記為y,，y2，…,y，同樣各組以組1 2 s中值為代表。若(x,y)有m對，.. ??ij j(i=12,…，r;j=1,2,…，s)，於'm=n?試求iji=1j=1$,B的最小二乘估計。01解：設Y=a+P%+￡，8?N(0,O2)，ij iijij則E(Y)=B+Bx，(i=1,2,…,r;j=1,2,…,s)，j 0 1i離差平方和rsQ(rsQ(B,B)二oii=ij=1mjjB0-卩“2為求B，B為求B，B使Q(B,B)=minQ(B,B)，010101?oQi=1j=i=-2Y乞i=1j=im(y-B一Bx)=0ijij0 1im(y-B-Bx)x=0

ijij0 1iiJi=1j=1mx)B+iji0iJi=1j=1mx)B+iji0i=1j=1mx)Biji1i=1j=1myijijmx2)B=mxyiji1 ijiiji=1j=1 i=1j