10.2 一元線性回歸

概率論

與數(shù)理統(tǒng)計(jì)理學(xué)院數(shù)學(xué)系“悟道詩---嚴(yán)加安”隨機(jī)非隨意，概率破玄機(jī)；無序隱有序，統(tǒng)計(jì)解迷離．第十章回歸分析第二節(jié)一元線性回歸二、參數(shù)的最小二乘估計(jì)四、利用回歸方程進(jìn)行預(yù)測一、一元線性回歸模型三、回歸方程的顯著性檢驗(yàn)五、小結(jié)一、一元線性回歸模型隨機(jī)變量

Y可控變量X線性相關(guān)Y

關(guān)于X的一

元線性回歸模型：

n

次獨(dú)立觀測數(shù)據(jù)a,b

為待估計(jì)的模型參數(shù).εi為隨機(jī)誤差項(xiàng).一、一元線性回歸模型當(dāng)時(shí)，，可得對每個(gè)，相應(yīng)的因變量的觀測值來自于正態(tài)總體，回歸直線將穿過點(diǎn),即回歸直線從Y的均值位置穿過.理論回歸方程：二、參數(shù)的最小二乘估計(jì)假設(shè)a,b

的估計(jì)量為擬合誤差（殘差）一個(gè)比較好的回歸方程應(yīng)該使所有觀測點(diǎn)的殘差平方和盡可能小二、參數(shù)的最小二乘估計(jì)殘差平方和：二元函數(shù)的最小值點(diǎn)稱為a,b

的最小二乘估計(jì).求關(guān)于的偏導(dǎo)數(shù)，并令其等于0，列方程組如下：二、參數(shù)的最小二乘估計(jì)進(jìn)一步整理得：其中當(dāng)不全相等時(shí)，方程組的系數(shù)矩陣的行列式二、參數(shù)的最小二乘估計(jì)解得唯一解：經(jīng)驗(yàn)回歸方程：其中注：經(jīng)驗(yàn)回歸直線一定過觀測數(shù)據(jù)散點(diǎn)圖的幾何中心例10.2.1

由專業(yè)知識可知，合金鋼的強(qiáng)度Y(107

Pa)與合金鋼中碳的含量X

(%)有關(guān)．為了研究它們之間的關(guān)系，從生產(chǎn)中收集了一批數(shù)據(jù)，如下表所列．試根據(jù)這些數(shù)據(jù)求Y關(guān)于X的經(jīng)驗(yàn)回歸方程．序號xy序號xy10.1042.070.1649.020.1143.580.1753.030.1245.090.1850.040.1345.5100.2055.050.1445.0110.2155.060.1547.5120.2360.0解先根據(jù)已知數(shù)據(jù)繪制X

和Y

的散點(diǎn)圖解由散點(diǎn)圖可知，12個(gè)觀測數(shù)據(jù)點(diǎn)分布在一條直線附近，Y與X是線性相關(guān)的．假定Y

關(guān)于X

的理論回歸方程為經(jīng)計(jì)算得從而可得故Y

關(guān)于X

的經(jīng)驗(yàn)回歸方程為三、回歸方程的顯著性檢驗(yàn)對于變量Y和X的任意n對觀測值，只要不全相等，則無論變量Y和X之間是否存在線性相關(guān)關(guān)系，都可根據(jù)上面介紹的方法求得一個(gè)線性回歸方程。顯然，只有當(dāng)變量Y和X之間存在線性相關(guān)關(guān)系時(shí)，這樣的線性回歸方程才是有意義的.為了使求得的線性回歸方程真正有意義，就需要檢驗(yàn)變量Y

和X

之間是否存在顯著的線性相關(guān)關(guān)系．三、回歸方程的顯著性檢驗(yàn)1.F

檢驗(yàn)離差分解：三、回歸方程的顯著性檢驗(yàn)1.F

檢驗(yàn)殘差平方和回歸平方和三、回歸方程的顯著性檢驗(yàn)1.F檢驗(yàn)定理10.2.1對于一

元線性回歸，有并且和相互獨(dú)立H0成立時(shí)，三、回歸方程的顯著性檢驗(yàn)1.F檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量拒絕域aF

(1,n-2)0拒絕H0不能拒絕H0FF分布三、回歸方程的顯著性檢驗(yàn)1.F

檢驗(yàn)當(dāng)時(shí)拒絕原假設(shè)H0，認(rèn)為Y

和X之間的線性相關(guān)關(guān)系是顯著的.方差來源平方和自由度均方F值臨界值回歸SSR1MSR=SSR/1MSR/MSE

Fα(1,n–2)殘差SSEn–2MSE=SSE

/(n–2)總和SSTn–1一元線性回歸的方差分析表：例10.2.2

在研究合金鋼的強(qiáng)度(Y)與碳含量(X)關(guān)系的例10.2.1中，我們已經(jīng)求出了Y關(guān)于X的經(jīng)驗(yàn)回歸方程，接下來取顯著性水平α

=0.01，對回歸方程進(jìn)行顯著性檢驗(yàn)．解經(jīng)計(jì)算得從而可得解SST,SSR,SSE

的自由度分別為11,1和10，從而可得各均方分別為檢驗(yàn)統(tǒng)計(jì)量的觀測值由于檢驗(yàn)統(tǒng)計(jì)量可得檢驗(yàn)的p

值為解由上表可知兩不等式均可說明在顯著性水平0.01下，Y和X之間的線性相關(guān)關(guān)系是顯著的，或者說Y關(guān)于X的回歸方程是顯著的.又F(1,10)分布的上側(cè)0.01分位數(shù)，于是可得方差分析表如下：方差來源平方和自由度均方F值臨界值p值回歸317.25871317.2587176.539310.040.0000殘差17.9705101.7971

總計(jì)335.229211

三、回歸方程的顯著性檢驗(yàn)2.t檢驗(yàn)定理10.2.2對于一

元線性回歸，有并且和相互獨(dú)立(1)的分布并且和相互獨(dú)立2.t檢驗(yàn)當(dāng)原假設(shè)成立時(shí)，檢驗(yàn)統(tǒng)計(jì)量(2)檢驗(yàn)統(tǒng)計(jì)量和拒絕域拒絕域檢驗(yàn)的p

值其中稱為剩余標(biāo)準(zhǔn)差(或均方根誤差)故在顯著性水平0.01下拒絕原假設(shè)H0，認(rèn)為Y關(guān)于X

的回歸方程是顯著的以例10.2.1中數(shù)據(jù)為例，經(jīng)計(jì)算得注：對于一元線性回歸分析，t檢驗(yàn)和F檢驗(yàn)是等同的四、利用回歸方程進(jìn)行預(yù)測1.點(diǎn)預(yù)測稱為

y0的點(diǎn)預(yù)測.對于給定的X=x0，由于因變量Y是隨機(jī)變量，Y

的相應(yīng)取值y0是無法準(zhǔn)確預(yù)測的．將x0代入經(jīng)驗(yàn)回歸方程，只能得到y(tǒng)0的均值的估計(jì)四、回歸系數(shù)的顯著性檢驗(yàn)2.區(qū)間預(yù)測對于給定的X=x0，相應(yīng)的y0

的均值a+bx0

的點(diǎn)估計(jì)為由可得y0

的置信水平為1-α

的預(yù)測區(qū)間為其中四、回歸系數(shù)的顯著性檢驗(yàn)2.區(qū)間預(yù)測當(dāng)時(shí)，y0的預(yù)測區(qū)間的長度達(dá)到最短當(dāng)x0逐漸遠(yuǎn)離時(shí)，預(yù)測區(qū)間的長度逐漸增大例10.2.3

在例10.2.1中，若碳含量為0.19，求相應(yīng)的合金鋼強(qiáng)度的預(yù)測值和置信水平為95%的預(yù)測區(qū)間.解令，可得合金鋼強(qiáng)度y0

的預(yù)測值為取，則，又可得從而可