多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

1、會(huì)計(jì)學(xué)1多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn) 我們所要進(jìn)行的統(tǒng)計(jì)檢驗(yàn)包括兩個(gè)方我們所要進(jìn)行的統(tǒng)計(jì)檢驗(yàn)包括兩個(gè)方面，一方面檢驗(yàn)回歸方程對(duì)樣本數(shù)據(jù)的面，一方面檢驗(yàn)回歸方程對(duì)樣本數(shù)據(jù)的擬合程度，通過可決系數(shù)來分析；另一擬合程度，通過可決系數(shù)來分析；另一方面檢驗(yàn)回歸方程的顯著性，方面檢驗(yàn)回歸方程的顯著性，通過假設(shè)通過假設(shè)檢驗(yàn)檢驗(yàn)對(duì)模型中被解釋變量與解釋變量之對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作間的線性關(guān)系在總體上是否顯著成立作出推斷出推斷，包括對(duì)回歸方程線性關(guān)系的檢包括對(duì)回歸方程線性關(guān)系的檢驗(yàn)和對(duì)回歸系數(shù)顯著性的檢驗(yàn)。驗(yàn)和對(duì)回歸系數(shù)顯著性的檢驗(yàn)。 第1頁/共

2、45頁第2頁/共45頁 擬合優(yōu)度檢驗(yàn)，顧名思擬合優(yōu)度檢驗(yàn)，顧名思義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。值的擬合程度。第3頁/共45頁222)()()(iiiiYYRSSYYESSYYTSS第4頁/共45頁 （1）可決系數(shù)）可決系數(shù) 用可決系數(shù)用可決系數(shù)2R進(jìn)行擬合優(yōu)度檢驗(yàn)，進(jìn)行擬合優(yōu)度檢驗(yàn)，可決系可決系數(shù)的計(jì)算公式為：數(shù)的計(jì)算公式為： 222YYYYRii ，該統(tǒng)計(jì)量越接近于，該統(tǒng)計(jì)量越接近于 1，模型，模型的擬合優(yōu)度越高。的擬合優(yōu)度越高。2R102 R第5頁/共45頁在應(yīng)用過程中我們會(huì)發(fā)現(xiàn)，如果在模型中增加一在應(yīng)用過程中我們會(huì)發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，模型的

3、解釋功能增強(qiáng)了，個(gè)解釋變量，模型的解釋功能增強(qiáng)了，可決系數(shù)可決系數(shù)2R計(jì)計(jì)算公式中的分子回歸平方和算公式中的分子回歸平方和2YYi就會(huì)增大，就會(huì)增大，因而因而2R就增大。這就給人一種錯(cuò)覺：似乎要使模型擬就增大。這就給人一種錯(cuò)覺：似乎要使模型擬合得好，就必須增加解釋變量。但是，在樣本容量一合得好，就必須增加解釋變量。但是，在樣本容量一定的情況下，增加解釋變量必定使得自由度減少。所定的情況下，增加解釋變量必定使得自由度減少。所以，用以檢驗(yàn)擬合優(yōu)度的統(tǒng)計(jì)量必須能夠防止這種傾以，用以檢驗(yàn)擬合優(yōu)度的統(tǒng)計(jì)量必須能夠防止這種傾向，我們可以用自由度來調(diào)整向，我們可以用自由度來調(diào)整2R ，用用2R來表示調(diào)整來表

4、示調(diào)整后的可決系數(shù)，以后的可決系數(shù)，以剔除解釋變量數(shù)目與樣本容量的影剔除解釋變量數(shù)目與樣本容量的影響，使具有不同樣本容量和解釋變量數(shù)目的回歸方程響，使具有不同樣本容量和解釋變量數(shù)目的回歸方程可以進(jìn)行擬合優(yōu)度的比較?？梢赃M(jìn)行擬合優(yōu)度的比較。 第6頁/共45頁22RR2R可以為負(fù))1 () 1(1122RknnR（2）校正可決系數(shù)）校正可決系數(shù)第7頁/共45頁對(duì)于前述一元回歸例題，對(duì)于前述一元回歸例題，2212iixYY， 9965. 04405903.98751239.97083. 0222212iiyxR結(jié)果表明，在結(jié)果表明，在 Y 的總變差中，有的總變差中，有 99.65%可以由解可以由解釋

5、變量釋變量 X（或回歸方程）做出解釋，（或回歸方程）做出解釋，回歸方程對(duì)于回歸方程對(duì)于樣本觀測(cè)點(diǎn)擬合良好。樣本觀測(cè)點(diǎn)擬合良好。也就是說，城鎮(zhèn)居民的人均也就是說，城鎮(zhèn)居民的人均消費(fèi)性支出的變化，有消費(fèi)性支出的變化，有 99.65%是由人均可支配收是由人均可支配收入決定的。入決定的。第8頁/共45頁二元回歸例題的二元回歸例題的可決系數(shù)可決系數(shù)為：為： 999. 037. 7366. 7222iiyyR這表明，在人均居民消費(fèi)額的總變差中，有這表明，在人均居民消費(fèi)額的總變差中，有 99.87%99.87%可以由人均國可以由人均國內(nèi)生產(chǎn)總值和前期人均居民消費(fèi)額做出解釋，回歸方程對(duì)于樣本內(nèi)生產(chǎn)總值和前期人

6、均居民消費(fèi)額做出解釋，回歸方程對(duì)于樣本觀測(cè)點(diǎn)擬合很好。觀測(cè)點(diǎn)擬合很好。校正判定系數(shù)校正判定系數(shù)為：為： 9987. 0999. 0112101101)1 () 1(1122RknnR統(tǒng)計(jì)意義：用方差而不用變差，考慮到自由度，剔除解釋變量數(shù)統(tǒng)計(jì)意義：用方差而不用變差，考慮到自由度，剔除解釋變量數(shù)目與樣本容量的影響，使具有不同樣本容量和解釋變量數(shù)目的回目與樣本容量的影響，使具有不同樣本容量和解釋變量數(shù)目的回歸方程可以對(duì)擬合優(yōu)度進(jìn)行比較。歸方程可以對(duì)擬合優(yōu)度進(jìn)行比較。Back第9頁/共45頁第10頁/共45頁第11頁/共45頁 第12頁/共45頁然后根據(jù)樣本觀測(cè)值和估計(jì)值，計(jì)算統(tǒng)計(jì)量然后根據(jù)樣本觀測(cè)

7、值和估計(jì)值，計(jì)算統(tǒng)計(jì)量： iiiSt) 1( kntt該統(tǒng)計(jì)量服從自由度為該統(tǒng)計(jì)量服從自由度為()nk1的的t分布，即分布，即 在在t統(tǒng)計(jì)量的算式中，統(tǒng)計(jì)量的算式中，i為總體回歸系數(shù)，為總體回歸系數(shù)，i為相應(yīng)的參數(shù)估計(jì)量，為相應(yīng)的參數(shù)估計(jì)量，iS為參數(shù)估計(jì)量為參數(shù)估計(jì)量i的標(biāo)準(zhǔn)差。的標(biāo)準(zhǔn)差。第13頁/共45頁對(duì)于一元回歸模型，對(duì)于一元回歸模型，221ixS，其中，其中2為隨機(jī)為隨機(jī)誤差項(xiàng)方差的估計(jì)量，誤差項(xiàng)方差的估計(jì)量，21221222nxyknYYiiii對(duì)于二元回歸模型，對(duì)于二元回歸模型， 2212221221222122212221)()(xxxxxSExxxxxSE第14頁/共45頁2

8、22221212222221iiiiiixxyyyekne計(jì)算出計(jì)算出t統(tǒng)計(jì)量后，要選定一個(gè)顯著性水平統(tǒng)計(jì)量后，要選定一個(gè)顯著性水平，結(jié)合自由度結(jié)合自由度()nk1，由，由t分布表分布表（見附表（見附表 5） ，） ，查得臨界值查得臨界值tnk21()。第15頁/共45頁如果計(jì)算出的如果計(jì)算出的t統(tǒng)計(jì)量的絕對(duì)值統(tǒng)計(jì)量的絕對(duì)值ttnk21()，則在則在(1 )的置信概率下拒絕原假設(shè)的置信概率下拒絕原假設(shè)H0。表。表明在明在(1 )的置信概率下，的置信概率下，i不是由不是由0i這樣的這樣的總體產(chǎn)生的，總體產(chǎn)生的，i顯著地不為顯著地不為 0，即變量，即變量iX對(duì)被對(duì)被解釋變量的影響是顯著的；解釋變量

9、的影響是顯著的；第16頁/共45頁如果如果t) 1(2knt，則在，則在(1)的置的置信概率下接受原假設(shè)信概率下接受原假設(shè) H0，表明在，表明在(1)的置信概率下，的置信概率下， 與與 0 沒有什麼差別，沒有什麼差別，即變量即變量 Xi對(duì)被解釋變量的影響是不顯著對(duì)被解釋變量的影響是不顯著的。的。第17頁/共45頁0:0:1110HH2584.01-1-88751239.97083. 0-4405903.9112221222knxyknYYiiii 對(duì)對(duì)前前述述一一元元例例題題的的回回歸歸系系數(shù)數(shù)進(jìn)進(jìn)行行顯顯著著性性檢檢驗(yàn)驗(yàn)：第18頁/共45頁665.41017. 007083. 0iStii6

10、,025. 06,025. 0665.41447. 2ttt017. 08751239.90 .2584221ixS第19頁/共45頁拒絕原假設(shè)拒絕原假設(shè)H0，接受備擇假設(shè)，接受備擇假設(shè)1H。表。表明在明在 95%置信概率下，置信概率下，1不是由不是由01這樣的總體產(chǎn)生的，這樣的總體產(chǎn)生的，1顯著地不為顯著地不為 0，即，即變量變量iX對(duì)被解釋變量的影響是顯著的；也對(duì)被解釋變量的影響是顯著的；也就是說，在就是說，在 95%的置信概率下，的置信概率下，城鎮(zhèn)居民城鎮(zhèn)居民的人均可支配收入的人均可支配收入對(duì)于對(duì)于人均消費(fèi)性支出的人均消費(fèi)性支出的影響是顯著的。影響是顯著的。第20頁/共45頁 0:0:1

11、110HH 2584.01-1-88751239.97083. 0-4405903.9112221222knxyknYYiiii 017. 08751239.90 .258422ixSi 665.41017. 007083. 0iStii 6,025. 06,025. 0665.41447. 2ttt第21頁/共45頁對(duì) 于 前 述 二 元 例 題 ， 我 們 已 經(jīng) 得 到 對(duì) 我 國對(duì) 于 前 述 二 元 例 題 ， 我 們 已 經(jīng) 得 到 對(duì) 我 國19912000 年消費(fèi)模型的估計(jì)結(jié)果：年消費(fèi)模型的估計(jì)結(jié)果：2122110302. 0339. 0011. 0XXXXY現(xiàn)選定顯著性水平現(xiàn)

12、選定顯著性水平05. 0，對(duì)偏回歸系數(shù)對(duì)偏回歸系數(shù)(斜率斜率)進(jìn)行檢驗(yàn)，進(jìn)行檢驗(yàn)，已知已知y yi i2 2= =7.377.37366. 724. 7302. 028.15339. 022112yxyxyi027. 089.1427. 783.31001. 027. 7)(001. 01210004. 01004. 0366. 737. 722212221222122222 xxxxxSEkneyyeiii第22頁/共45頁 7,025. 07,025. 01111110222122212212365. 2556.12027. 00339. 0)(0:0:057. 089.1427. 783

13、.31001. 083.31)(tttSEtHHxxxxxSE 拒絕拒絕0:10H，接受，接受0:11H檢驗(yàn)結(jié)果表明，在檢驗(yàn)結(jié)果表明，在 95%95%置信概率下，置信概率下，1不是由不是由01這樣這樣的總體產(chǎn)生的，的總體產(chǎn)生的，1顯著地不為顯著地不為 0 0，即變量，即變量1X對(duì)被解釋變量對(duì)被解釋變量的影響是顯著的；也就是說，在的影響是顯著的；也就是說，在 95%95%的置信概率下，人均的置信概率下，人均國內(nèi)生產(chǎn)總值對(duì)人均居民消費(fèi)額國內(nèi)生產(chǎn)總值對(duì)人均居民消費(fèi)額的的影響是顯著的。影響是顯著的。第23頁/共45頁 7,025. 07,025. 02222120365. 2298. 5057. 00

14、302. 0)(0:0:tttSEtHH拒絕拒絕0:20H，接受，接受0:21H檢驗(yàn)結(jié)果表明，在檢驗(yàn)結(jié)果表明，在 95%95%置信概率下，置信概率下，2不是由不是由02這樣這樣的總體產(chǎn)生的，的總體產(chǎn)生的，2顯著地不為顯著地不為 0 0，即變量，即變量2X對(duì)被解釋變對(duì)被解釋變量的影響是顯著的；也就是說，在量的影響是顯著的；也就是說，在 95%95%的置信概率下，前的置信概率下，前一期人均居民消費(fèi)額對(duì)本期人均居民消費(fèi)額一期人均居民消費(fèi)額對(duì)本期人均居民消費(fèi)額的的影響是顯著影響是顯著的。的。Back第24頁/共45頁第25頁/共45頁因此因此, ,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)可通過該比值的大小對(duì)

15、總體線性關(guān)系進(jìn)行推斷行推斷。1 1、F F檢驗(yàn)的思想檢驗(yàn)的思想第26頁/共45頁由于iY服從正態(tài)分布，根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，iY的一組樣本的平方和服從2分布。所以有： 2)(YYESSi2( )k 2)(iiYYRSS21()nk即回歸平方和、 殘差平方和分別服從自由度為k和()nk1的2分布。進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果構(gòu)造一個(gè)統(tǒng)計(jì)量 FE S SkR S Snk()1則該統(tǒng)計(jì)量服從自由度為（k，n-k-1）的F分布。 第27頁/共45頁2 2、方程顯著性、方程顯著性 F F 檢驗(yàn)的步驟檢驗(yàn)的步驟對(duì)對(duì)回歸方程線性關(guān)系顯著性的檢驗(yàn)采用回歸方程線性關(guān)系顯著性的檢驗(yàn)采用 F F 檢驗(yàn)檢驗(yàn)，

16、檢驗(yàn)檢驗(yàn)依據(jù)樣本估計(jì)的回歸方程所體現(xiàn)的被解釋變量與解釋變依據(jù)樣本估計(jì)的回歸方程所體現(xiàn)的被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立量之間的線性關(guān)系在總體上是否顯著成立，即是檢驗(yàn)總，即是檢驗(yàn)總體模型體模型 ikikiiiXXXY22110 i=1,2, i=1,2,n,n中的參數(shù)是否顯著不為中的參數(shù)是否顯著不為 0 0。按照假設(shè)檢驗(yàn)的原理與程序，。按照假設(shè)檢驗(yàn)的原理與程序，首先提出假設(shè)，原假設(shè)為：首先提出假設(shè)，原假設(shè)為： 0,:210kH即模型線性關(guān)系不成立。備擇假設(shè)為：即模型線性關(guān)系不成立。備擇假設(shè)為： 不全為零kH,:211第28頁/共45頁 對(duì)于對(duì)于一元線性回歸模型，假設(shè)為：一元

17、線性回歸模型，假設(shè)為： 0:0:1110HH 然后根據(jù)樣本觀測(cè)值和估計(jì)值，計(jì)算然后根據(jù)樣本觀測(cè)值和估計(jì)值，計(jì)算F統(tǒng)計(jì)量統(tǒng)計(jì)量的數(shù)值：的數(shù)值： 1/) 1(22knYYkYYknRSSkESSFiii第29頁/共45頁 F F 統(tǒng)計(jì)量服從自由度為統(tǒng)計(jì)量服從自由度為( ,)k nk1的的F分布。選定分布。選定一個(gè)顯著性水平一個(gè)顯著性水平，查，查F分布表分布表（見本書附錄） ，（見本書附錄） ，可以得到一個(gè)臨界值可以得到一個(gè)臨界值Fk nk( ,)1。1/1/22knRkRF其中，其中，2R為判定系數(shù)，為判定系數(shù)，k為模型中解釋變量的個(gè)為模型中解釋變量的個(gè)數(shù)，數(shù)，n為樣本容量。為樣本容量。第30頁/

18、共45頁 如果所計(jì)算的如果所計(jì)算的FFk nk( ,)1，則在，則在(1(1) )的的置信概率下拒絕原假設(shè)置信概率下拒絕原假設(shè)H0，即模型的線性關(guān)系顯著，即模型的線性關(guān)系顯著成立，模型通過方程顯著性檢驗(yàn)。如果所計(jì)算的成立，模型通過方程顯著性檢驗(yàn)。如果所計(jì)算的F Fk nk( ,)1，則在，則在(1(1) )的置信概率下接受的置信概率下接受原假設(shè)原假設(shè)H0，即模型的線性關(guān)系顯著不成立，模型未，即模型的線性關(guān)系顯著不成立，模型未通過方程顯著性檢驗(yàn)。通過方程顯著性檢驗(yàn)。第31頁/共45頁 對(duì)前述得到的對(duì)前述得到的回歸方程回歸方程21302. 0339. 0011. 0XXY 進(jìn)行進(jìn)行線性關(guān)系顯著性的

19、檢驗(yàn)，線性關(guān)系顯著性的檢驗(yàn)，首先給出假設(shè)首先給出假設(shè) 49957/999. 012/999. 01/1/,:0:22211210knRkRFHH不全為零3 3、方程顯著性、方程顯著性F F檢驗(yàn)的例題檢驗(yàn)的例題第32頁/共45頁選定顯著性水平選定顯著性水平05. 0， 本例中第一自由度， 本例中第一自由度21 k，第二自由度，第二自由度7121012kn，( ( 本本例中解釋變量數(shù)目例中解釋變量數(shù)目k= =2 2，樣本容量，樣本容量n= =10)10)，查，查F分布分布表，得到臨界值表，得到臨界值 7,2,05. 07,2,05. 074. 4FFF拒絕拒絕0H，接受，接受1H。在。在 95%9

20、5%的置信概率下，模型的的置信概率下，模型的線性關(guān)系顯著成立，人均國內(nèi)生產(chǎn)總值和前期人均線性關(guān)系顯著成立，人均國內(nèi)生產(chǎn)總值和前期人均居民消費(fèi)額在整體上對(duì)于人均居民消費(fèi)額的解釋作居民消費(fèi)額在整體上對(duì)于人均居民消費(fèi)額的解釋作用是顯著的。用是顯著的。第33頁/共45頁對(duì)于對(duì)于一元線性回歸模型，一元線性回歸模型，F(xiàn) 檢驗(yàn)與檢驗(yàn)與 t 檢驗(yàn)檢驗(yàn)的假設(shè)均為：的假設(shè)均為： 0:0:1110HH此時(shí)，此時(shí)，兩種檢驗(yàn)兩種檢驗(yàn)是一致的。是一致的。3 3、在一元線性回歸中，、在一元線性回歸中，t t檢驗(yàn)與檢驗(yàn)與F F檢驗(yàn)是一致的檢驗(yàn)是一致的第34頁/共45頁另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：22212221222

21、122)2()2()2()2(iiiiiiiixnexnenexneyF 2222112txneii但在多元回歸情況下，兩種檢驗(yàn)說明的問題不同、但在多元回歸情況下，兩種檢驗(yàn)說明的問題不同、作用不同，不能相互取代。作用不同，不能相互取代。第35頁/共45頁 擬合優(yōu)度檢驗(yàn)和方程顯著性檢驗(yàn)是從不同擬合優(yōu)度檢驗(yàn)和方程顯著性檢驗(yàn)是從不同原理出發(fā)的兩類檢驗(yàn)，前者是從已經(jīng)得到估計(jì)原理出發(fā)的兩類檢驗(yàn)，前者是從已經(jīng)得到估計(jì)的模型出發(fā)，檢驗(yàn)它對(duì)樣本觀測(cè)值的擬合程度，的模型出發(fā)，檢驗(yàn)它對(duì)樣本觀測(cè)值的擬合程度，后者是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線性關(guān)后者是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線性關(guān)系的顯著性。系的顯著性。4

22、4、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論關(guān)系的討論第36頁/共45頁 可見，與R2同向變化：當(dāng)R2 時(shí)，；當(dāng)R2=時(shí)，為無窮大；R2越大，值也越大。RnnkkF2111FE S SkR S Snk()1)1/()1/(12nTSSknRSSR因此，檢驗(yàn)是所估計(jì)回歸總顯著性的一個(gè)度量，也是對(duì)的一個(gè)顯著性檢驗(yàn)。即：2R檢驗(yàn)原假設(shè)，等價(jià)于檢驗(yàn)0:20H0:210H第37頁/共45頁0:20 0:21所以，拒絕原假設(shè)所以，拒絕原假設(shè)0:20 接受備擇假設(shè)接受備擇假設(shè)0:21統(tǒng)計(jì)意義：在統(tǒng)計(jì)意義：在 95%的置信概率下，回歸方程可以解釋的的置信概率下，回歸方程可以

23、解釋的方差顯著地大于未被解釋的方差，方差顯著地大于未被解釋的方差，9493. 02R顯著地不等于顯著地不等于0，9493. 02R不是由不是由02這樣的總體產(chǎn)生的。這樣的總體產(chǎn)生的。經(jīng)濟(jì)意義：在經(jīng)濟(jì)意義：在 95%的置信概率下，消費(fèi)者平均收入和該的置信概率下，消費(fèi)者平均收入和該商品價(jià)格在整體上對(duì)商品需求量的解釋作用是顯著的。商品價(jià)格在整體上對(duì)商品需求量的解釋作用是顯著的。7, 2,05. 02274. 449957/999. 012/999. 01/1/FknRkRF例如，前述求得二元回歸例題的可決系數(shù)為例如，前述求得二元回歸例題的可決系數(shù)為999. 02R，對(duì)其顯著性進(jìn)行檢驗(yàn)：對(duì)其顯著性進(jìn)行檢驗(yàn)：Back第38頁/共45頁 擬合優(yōu)度檢驗(yàn)，顧名思擬合優(yōu)度檢驗(yàn)，顧名思義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。值的擬合程度。第39頁/共45頁 擬合優(yōu)度檢驗(yàn)，顧名思擬合優(yōu)度檢驗(yàn)，顧名思義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本