統(tǒng)計學線性回歸分析(共36張PPT)精選

統(tǒng)計學線性回歸(huíguī)分析第一頁，共36頁。變量之間的關系(guānxì)有兩種：確定型的函數關系(guānxì)不確定型的函數關系(guānxì)這里主要研究不確定型的函數關系，如收入與受教育程度(chéngdù)之間的關系，等等問題。但它們之間存在明顯的相互關系（稱為相關關系），又是不確定的。回歸分析是研究隨機變量之間相關關系的統(tǒng)計方法。其研究一個被解釋變量（因變量）與一個或多個解釋變量（自變量）之間的統(tǒng)計關系。第二頁，共36頁。例：人均收入X與人均食品(shípǐn)消費支出Y的散點圖的關系如圖。1.一元線性回歸(huíguī)是研究一個自變量與一個因變量的統(tǒng)計關系。一.一元(yīyuán)線性回歸人均收入X人均食品支出Y第三頁，共36頁。這兩個(liǎnɡɡè)變量之間的不確定關系，可以用下式表示：式中，人均食品消費支出Y是被解釋變量，人均收入X是解釋變量，1，2是待估計參數；u是隨機(suíjī)干擾項，且與X無關，它反映了Y被X解釋的不確定性。如果隨機干擾項u的均值(jūnzhí)為0，對上式求條件均值(jūnzhí)，有反映出從“平均”角度看，是確定性關系。第四頁，共36頁。例：地區(qū)(dìqū)的多孩率與人均國民收入的散點圖如下：人均收入X多孩率Y這兩個變量(biànliàng)之間的不確定關系，大致可以用下式表示：設Z=LnX，可將上式線性關系為：第五頁，共36頁。線性回歸的任務：就是用恰當的方法，估計出參數1，2，并且使估計出來的參數具有良好的統(tǒng)計特征(tèzhēng)，所以，回歸問題從某種視角看，視同參數估計問題。如果把X，Y的樣本(yàngběn)觀測值代到線性回歸方程中，就得到i=1,2,…,n,n為樣本容量.從重復抽樣的角度看，Xi，Yi也可以(kěyǐ)視為隨機變量。第六頁，共36頁。2.高斯(ɡāosī)基本假設對于(duìyú)線性回歸模型i=1,2,…,n,n為樣本容量.高斯基本假設如下:ui為隨機變量(本假設成立(chénglì),因為我們研究就是不確定關系).E(ui)=0,隨機干擾項的期望值等于零(本假設成立(chénglì),如果其均值不是零,可以把它并入到1中).Var(ui)=2u,隨機干擾項的方差等于常數(本假設有可能不成立(chénglì),以后討論不成立(chénglì)時如何處理).E(uiuj)=0(ij)隨機干擾項協(xié)方差等于零(本假設第七頁，共36頁。有可能不成立,以后討論(tǎolùn)不成立時如何處理).(5)ui服從N(0,2u)分布;(6)E(Xiuj)=0,對Xi的性質有兩種解釋:a.Xi視為隨機變量,但與uj無關,所以(6)成立.b.Xi視為確定型變量,所以(6)也成立.第八頁，共36頁。3.普通(pǔtōng)最小二乘法(OLS)設線性回歸(huíguī)模型其中(qízhōng)為1，2

的估計值,則Y的計算值?,可以用下式表達:所要求出待估參數,要使Y與其計算值?之間的“誤差平方和”最小.即：使得最小.為此,分別求Q對的偏導,并令其為零:第九頁，共36頁。由上兩式,就可求出待估參數(cānshù)的值.4.所求參數(cānshù)的計算公式的另一個(yīɡè)表達式為:第十頁，共36頁。例:：在上述家庭可支配收入-消費支出例中，對于(duìyú)所抽出的一組樣本數，參數估計的計算可通過下面的表進行。

參數估計的計算(jìsuàn)表

iX

iY

ix

iy

iiyx

2ix

2iy

2iX

2iY

1

800

594

-1350

-973

1314090

1822500

947508

640000

352836

2

1100

638

-1050

-929

975870

1102500

863784

1210000

407044

3

1400

1122

-750

-445

334050

562500

198381

1960000

1258884

4

1700

1155

-450

-412

185580

202500

170074

2890000

1334025

5

2000

1408

-150

-159

23910

22500

25408

4000000

1982464

6

2300

1595

150

28

4140

22500

762

5290000

2544025

7

2600

1969

450

402

180720

202500

161283

6760000

3876961

8

2900

2078

750

511

382950

562500

260712

8410000

4318084

9

3200

2585

1050

1018

1068480

1102500

1035510

10240000

6682225

10

3500

2530

1350

963

1299510

1822500

926599

12250000

6400900

求和

21500

15674

5769300

7425000

4590020

53650000

29157448

平均

2150

1567

第十一頁，共36頁。因此，由該樣本(yàngběn)估計的回歸方程為：第十二頁，共36頁。5.幾何(jǐhé)解釋殘差向量(xiàngliàng)e=Y–?=(Y-Y)-(?-Y)=y-?向量(xiàngliàng)y,?,e三者之間關系如圖所示,普通最小二乘法(chéngfǎ)要使殘差平方和e2i最小,也就是要使e的長度盡可能小,等價于在幾何上ex.或者說,?的長度應當是y在x上的投影長度.yxe第十三頁，共36頁。二.多元(duōyuán)線性回歸本節(jié)要研究(yánjiū)一個被解釋變量(因變量),多個解釋變量(自變量)的線性模型,即1.基本(jīběn)假設

u為隨機變量向量；

E(u)=0；

cov(u)=E(u

uT)=2uIn(包含了兩個其本假設：一是不存在序列相關，即ij時,cov(ui,uj)=E(uiuj)=0;二是具有同方差性(齊次方差性),即Var(ui)=2u).第十四頁，共36頁。(4)u~N(0,2uIn)(5)E(XTu)=0,或者(huòzhě),X為確定矩陣(6)秩(X)=k,(k<n)第十五頁，共36頁。2.普通(pǔtōng)最小二乘法估計式在模型中,代入樣本觀測(guāncè)值之后,可得用矩陣(jǔzhèn)方式表達為Y=X+u其中,Y=(Y1,Y2,…,Yn)T

u=(u1,u2,…,un)T

=(

1,

2,…,k)T第十六頁，共36頁。若估計(gūjì)出,則有所以(suǒyǐ)于是(yúshì)有兩邊左乘XT,得由幾何解釋XT

e,故有XTe

=0,所以可以求出:這就是普通最小二乘法估計系數公式.第十七頁，共36頁。3.估計系數(xìshù)的性質高斯-馬爾柯夫定理:在模型的基本假設(jiǎshè)下,所估計的參數值是最優(yōu)的.即,滿足最小方差(fānɡchà)性,線性的、無偏的,且有4.的方差及分布表示矩陣的對角線元素,簡記cjj.（注：為向量）第十八頁，共36頁。所以(suǒyǐ),可以(kěyǐ)證明：（1）（2）5.干擾項方差的無偏(wúpiān)估計得到回歸系數后,就可以得到Y的計算值如下:第十九頁，共36頁。從而(cóngér)有殘差值ei向量(xiàngliàng)e由ei組成,稱為(chēnɡwéi)殘差平方和,記為Q.且為的無偏估計量。第二十頁，共36頁。R2稱為判定系數,它反映了回歸效果(xiàoguǒ)的好壞.其定義可以從線性回歸的幾何解釋中引出.多元回歸的幾何解釋的圖形與一元回歸的幾何解釋圖形完全相同,只是(zhǐshì)橫坐標x不再表示一個變量,而是表示k-1個變量.6.判定(pàndìng)系數R2判定系數R2的定義為:eyx式中,,其經濟解釋為第二十一頁，共36頁。已解釋(jiěshì)變差占總變差的百分比.判定系數(xìshù)R2的另一種表達:7.回歸效果(xiàoguǒ)的F檢驗檢驗回歸效果的F統(tǒng)計量的定義式為:服從F(k-1,n-k)分布.F越大越好.當計算出的統(tǒng)計值f>f(k-1,n-k),就表示回歸第二十二頁，共36頁。第三十四頁，共36頁。設Z=LnX，可將上式線性關系為：x3,···,xk如果隨機干擾項u的均值(jūnzhí)為0，對上式求條件均值(jūnzhí)，有一個二元線性回歸(huíguī)的例子表示矩陣的對角線元素,簡記cjj.本節(jié)要研究(yánjiū)一個被解釋變量(因變量),多個解釋變量(自變量)的線性模型,即05,則當t2時,有H1成立,即j顯著異于0)判定系數R2的定義為:x3,···,xk判定系數R2的定義為:第二十五頁，共36頁。例如(lìrú):已知調整(tiáozhěng)后的R2=基本(jīběn)假設效果是好的,在水平下,已解釋方差(fānɡchà)(Y的變化中已經解釋的部分)明顯大于未解釋方差(fānɡchà)(Y的變化中尚未解釋的部分).8.F與R2的關系(guānxì)F統(tǒng)計(tǒngjì)量與R2的統(tǒng)計(tǒngjì)量的關系,可以從下式的推演中看到:推演中用到勾股定理：。第二十三頁，共36頁。一個二元線性回歸(huíguī)的例子銷售額、人口數和年人均收入數據地區(qū)編號銷售額（萬元）y人口數(萬人)x1年人均收入(元)x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】一家百貨公司在10個地區(qū)設有經銷分公司。公司認為商品銷售額與該地區(qū)的人口數和年人均收入有關，并希望建立它們之間的數量關系式，以預測銷售額。有關數據如下表。試確定銷售額對人口數和年人均收入的線性回歸方程，并分析回歸方程的擬合程度(chéngdù)，對線性關系和回歸系數進行顯著性檢驗(=0.05)。第二十四頁，共36頁。一個二元線性回歸的例子(lìzi)

(Excel輸出的結果)第二十五頁，共36頁。一個二元線性回歸(huíguī)的例子

(計算機輸出結果解釋)銷售額與人口數和年人均收入的二元回歸方程為多重判定系數R2=；調整(tiáozhěng)后的R2=回歸方程的顯著性檢驗F=52.3498F>F，回歸方程顯著回歸系數的顯著性檢驗t=9.3548>t，；t2=4.7962>t；兩個回歸系數均顯著一個含有(hányǒu)四個變量的回歸第二十六頁，共36頁。9.校正(jiàozhèng)的判定系數（AdjustedR2）統(tǒng)計量R2中不含有(hányǒu)自由度。所謂校正的判定系數，就是指“考慮了自由度的判定系數R2adj”。其定義如下：這樣，R2adj剔除(tīchú)了自由度的影響。10.回歸系數的T檢驗假設Ho:j=0;備擇假設H1:j0(即Ho不成立).第二十七頁，共36頁。用統(tǒng)計(tǒngjì)量:服從t(n-k),可以(kěyǐ)完成上述假設檢驗.當時,H1成立(chénglì),即j顯著異于0.(n5時,若取=0.05,則當t2時,有H1

成立,即j顯著異于0)

針對回歸系數的t統(tǒng)計量的顯著性檢驗,決定了相應的變量能否作為解釋變量進入回歸方程.注意:第二十八頁，共36頁。11.回歸系數的置信區(qū)間得到區(qū)間(qūjiān)為水平上的置信區(qū)間(qūjiān).例:=0.05,則給定(ɡěidìnɡ)一置信水平,用統(tǒng)計量即第二十九頁，共36頁。12.偏相關系數的另一種幾何(jǐhé)解釋定義:偏相關系數是在其他變量不變的情況下,任意(rènyì)兩個變量之間的相關系數.例如(lìrú):已知偏相關系數表示排除X3,···,Xk影響后的Y和X2之間的相關關系,其計算過程如下:(1)求中心化數據y

對中心化數據x3,···,xk的OLS估計值:第三十頁，共36頁。要求出上式結果(jiēguǒ),需經兩個步驟:a.用中心化數據(shùjù)y對中心化數據(shùjù)x3,···,xk回歸,求出回歸系數b.依托(yītuō)已經求出的回歸系數和由樣本得到的中心化數據,計算.(2)令(從

yi

中剔除x3,···,xk

的影響).(3)求x2對x3,···,xk的最小二乘估計值:要求出上式結果,同樣需經兩個步驟:先用x2對x3,···,xk第三十一頁，共36頁?；貧w(huíguī),求出