回歸方程及回歸系數(shù)的顯著性檢驗

1、§3 回歸方程及回歸系數(shù)的顯著性檢驗、回歸方程的顯著性檢驗(1) 回歸平方和與剩余平方和建立回歸方程以后, 回歸效果如何呢？因變量與自變量是否確實存在線性關(guān)系呢？這是需要進行統(tǒng)計檢驗才能加以肯定或否定, 為此, 我們要進一步研究因變量取值的變化規(guī)律。的每次取值是有波動的, 這種波動常稱為變差, 每次觀測值的變差大小, 常用該次觀側(cè)值與次觀測值的平均值的差(稱為離差)來表示, 而全部次觀測值的總變差可由總的離差平方和,其中:稱為回歸平方和, 是回歸值與均值之差的平方和, 它反映了自變量的變化所引起的的波動, 其自由度(為自變量的個數(shù))。稱為剩余平方和(或稱殘差平方和), 是實測值與回歸

2、值之差的平方和, 它是由試驗誤差及其它因素引起的, 其自由度?？偟碾x差平方和的自由度為。如果觀測值給定, 則總的離差平方和是確定的, 即是確定的, 因此大則小, 反之, 小則大, 所以與都可用來衡量回歸效果, 且回歸平方和越大則線性回歸效果越顯著, 或者說剩余平方和越小回歸效果越顯著, 如果0, 則回歸超平面過所有觀測點; 如果大, 則線性回歸效果不好。(2) 復(fù)相關(guān)系數(shù)為檢驗總的回歸效果, 人們也常引用無量綱指標, (3.1)或, (3.2)稱為復(fù)相關(guān)系數(shù)。因為回歸平方和實際上是反映回歸方程中全部自變量的“方差貢獻”, 因此就是這種貢獻在總回歸平方和中所占的比例, 因此表示全部自變量與因變量

3、的相關(guān)程度。顯然。復(fù)相關(guān)系數(shù)越接近, 回歸效果就越好, 因此它可以作為檢驗總的回歸效果的一個指標。但應(yīng)注意, 與回歸方程中自變量的個數(shù)及觀測組數(shù)有關(guān), 當相對于并不很大時, 常有較大的值, 因此實際計算中應(yīng)注意與的適當比例, 一般認為應(yīng)取至少為的到10倍為宜。(3) 檢驗要檢驗與是否存在線性關(guān)系, 就是要檢驗假設(shè), (3.3)當假設(shè)成立時, 則與無線性關(guān)系, 否則認為線性關(guān)系顯著。檢驗假設(shè)應(yīng)用統(tǒng)計量, (3.4)這是兩個方差之比, 它服從自由度為及的分布, 即, (3.5)用此統(tǒng)計量可檢驗回歸的總體效果。如果假設(shè)成立, 則當給定檢驗水平下, 統(tǒng)計量應(yīng)有, (3.6)對于給定的置信度, 由分布表

4、可查得的值, 如果根據(jù)統(tǒng)計量算得的值為, 則拒絕假設(shè), 即不能認為全部為O, 即個自變量的總體回歸效果是顯著的, 否則認為回歸效果不顯著。利用檢驗對回歸方程進行顯著性檢驗的方法稱為方差分析。上面對回歸效果的討論可歸結(jié)于一個方差分析表中, 如表3.1。表3.1 方差分析表來 源平方和自由度方 差方差比回 歸剩 余總 計根據(jù)與的定義, 可以導(dǎo)出與的以下關(guān)系:,。利用這兩個關(guān)系式可以解決值多大時回歸效果才算是顯著的問題。因為對給定的檢驗水平, 由分布表可查出的臨界值, 然后由即可求出的臨界值:, (3.7)當時, 則認為回歸效果顯著。例3.1 利用方差分析對例2.1的回歸方程進行顯著性檢驗。方差分析

5、結(jié)果見表3.2。表3.2總 計取檢驗水平0.05, 查分布表得, 而, 所以例2.1的回歸方程回歸效果是顯著的。、回歸系數(shù)的顯著性檢驗前面討論了回歸方程中全部自變量的總體回歸效果, 但總體回歸效果顯著并不說明每個自變量對因變量都是重要的, 即可能有某個自變量對并不起作用或者能被其它的的作用所代替, 因此對這種自變量我們希望從回歸方程中剔除, 這樣可以建立更簡單的回歸方程。顯然某個自變量如果對作用不顯著, 則它的系數(shù)就應(yīng)取值為0, 因此檢驗每個自變量是否顯著, 就要檢驗假設(shè):, , (3.8)(1) 檢驗:在假設(shè)下, 可應(yīng)用檢驗:, , (3.9)其中為矩陣的對角線上第個元素。對給定的檢驗水平,

6、 從分布表中可查出與對應(yīng)的臨界值, 如果有, 則拒絕假設(shè), 即認為與0有顯著差異, 這說明對有重要作用不應(yīng)剔除; 如果有則接受假設(shè), 即認為成立, 這說明對不起作用, 應(yīng)予剔除。(2) 檢驗:檢驗假設(shè), 亦可用服從自由度分別為1與的分布的統(tǒng)計量, (3.10)其中為矩陣的主對角線上第個元素。對于給定的檢驗水平, 從分布表中可查得臨界, 如果有, 則拒絕假設(shè), 認為對有重要作用。如果, 則接受假設(shè), 即認為自變量對不起重要作用, 可以剔除。一般一次檢驗只剔除一個自變量, 且這個自變量是所有不顯著自變量中值最小者, 然后再建立回歸方程, 并繼續(xù)進行檢驗, 直到建立的回歸方程及各個自變量均顯著為止。

7、最后指出, 上述對各自變量進行顯著性檢驗采用的兩種統(tǒng)計量與實際上是等價的, 因為由(3.9)式及(3.10)式知, 有 (3.11)例3.2 對例2.1的回歸方程各系數(shù)進行顯著性檢驗。經(jīng)計算:,于是,其中0.002223, 0.004577。由(3.7)式知,查分布表得, , 因為, , 所以兩個自變量及都是顯著的。又由, 說明體長比胸圍對體重的影響更大。如果應(yīng)用檢驗, 查分布表有, 又由,因為, , 因此及都是顯著的, 均為重要變量, 應(yīng)保留在回歸方程中。(3) 偏回歸平方和檢驗?zāi)骋蛔宰兞渴欠耧@著, 還可應(yīng)用偏回歸平方和進行檢驗。個自變量的回歸平方和為,如果自個自變量中去掉, 則剩下的個自變量的回歸平方和設(shè)為, 并設(shè),則就表示變量在回歸平方和中的貢獻, 稱為的偏回歸平方和或貢獻?？梢宰C明, (3.12)偏回歸平方和越大, 說明在回歸方程中越重要, 對的作用和影響越大, 或者說對回歸方程的貢獻越大。因此偏回歸平方和也是用來衡量每個自變量在回歸方程中作用大小(貢獻大小)的一個指標。例如在