多重回歸與自變量的篩選方法

多重回歸與自變量的篩選方法第一頁(yè)，共十四頁(yè)，編輯于2023年，星期五二、自變量篩選的標(biāo)準(zhǔn)與原則

1.殘差平方和、殘差均方準(zhǔn)則

當(dāng)殘差平方和（SSE）最小時(shí)，決定系數(shù)（R2）達(dá)到最大。

n為樣本含量，R2為包含m個(gè)自變量的回歸方程的決定系數(shù)。R2是隨著變量數(shù)的增加而增大，而不受變量數(shù)的影響，第二頁(yè)，共十四頁(yè)，編輯于2023年，星期五

2.CP統(tǒng)計(jì)量

n為樣本含量，p表示進(jìn)入模型的自變量個(gè)數(shù)，m表示所有自變量個(gè)數(shù)，表示從全部m個(gè)自變量的回歸模型中得到的殘差均方。

在模型變量個(gè)數(shù)減少的過程中第一次值接近p+1時(shí)，模型最佳。如果自變量中沒有包含對(duì)Y有主要作用的變量，則不宜用方法選擇自變量。

3.AIC準(zhǔn)則由Akaike在極大似然基礎(chǔ)上提出的，Akaike信息量準(zhǔn)則AIC=n㏑（ssp）-2（p+1）ssp表示選入模型p個(gè)變量的剩余平方和。AIC越小越好。第三頁(yè)，共十四頁(yè)，編輯于2023年，星期五模型中變量數(shù)調(diào)整R2Cp變量13.71X115.83X218.99X322.69X1X224.70X1X324.81X2X334.00X1X2X3第四頁(yè)，共十四頁(yè)，編輯于2023年，星期五

4.預(yù)測(cè)平方和準(zhǔn)則（press統(tǒng)計(jì)量，預(yù)測(cè)精度）

Press=∑di2di2=Yi-X‘IX‘i

表示剔除了所要預(yù)測(cè)的第i觀測(cè)值以后所剩余觀測(cè)值所做估計(jì)。5.逐步回歸（統(tǒng)計(jì)顯著性準(zhǔn)則）統(tǒng)計(jì)顯著性準(zhǔn)則：把有統(tǒng)計(jì)學(xué)意義的變量選入模型，得到的回歸模型不一定是最佳預(yù)測(cè)模型。三.逐步回歸分析（stepwiseregression）

1.概述簡(jiǎn)單地對(duì)回歸系數(shù)作檢驗(yàn)，比較復(fù)雜；用前述的幾個(gè)指標(biāo)是在所有子集回歸中選最優(yōu)回歸模型，而逐步回歸是每一步引入或剔除一個(gè)變量（其標(biāo)準(zhǔn)是F檢驗(yàn)），直到引不進(jìn)又剔不出為止，建立一個(gè)包含所有對(duì)因變量有影響的自變量。不是最優(yōu)回歸

第五頁(yè)，共十四頁(yè)，編輯于2023年，星期五二、逐步回歸法方法：向前法（forward）、向后法（backward）、逐步法（stepwise）每一步只引入或剔除一個(gè)自變量準(zhǔn)則，是基于對(duì)偏回歸平方和的F檢驗(yàn)第六頁(yè)，共十四頁(yè)，編輯于2023年，星期五（1）向前法(forward)，回歸方程中的自變量是一個(gè)個(gè)進(jìn)入的，最有統(tǒng)計(jì)學(xué)意義的變量最先進(jìn)入，依此類推。即只進(jìn)不出。

Y對(duì)每一個(gè)自變量作線性回歸，計(jì)算各自變量的偏回歸平方和，選取偏回歸平方和最大者作F檢驗(yàn)，有意義（P?。﹦t引入…。局限性：即后續(xù)變量的引入可能會(huì)使進(jìn)入方程的自變量變得不重要。（2）

向后法(backward)，先將全部自變量選入方程，然后逐步剔除無(wú)統(tǒng)計(jì)學(xué)意義的自變量。即只出不進(jìn)。偏回歸平方和最小的變量，作F檢驗(yàn)及相應(yīng)的P值，決定它是否剔除（P大）。重復(fù)上述過程。第七頁(yè)，共十四頁(yè)，編輯于2023年，星期五剔除自變量的方法是在方程中選一個(gè)偏回歸平方和最小的變量，作F檢驗(yàn)決定它是否剔除，若無(wú)統(tǒng)計(jì)學(xué)意義則將其剔除，然后對(duì)剩余的自變量建立新的回歸方程。重復(fù)這一過程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。（3）逐步法(stepwise)，逐步回歸法是在前述兩種方法的基礎(chǔ)上，進(jìn)行雙向篩選的一種方法。逐步的把有統(tǒng)計(jì)學(xué)意義的變量選入模型，也逐步剔除原先無(wú)統(tǒng)計(jì)學(xué)意義的變量。即有進(jìn)有出。該方法本質(zhì)上是前進(jìn)法。第八頁(yè)，共十四頁(yè)，編輯于2023年，星期五3.計(jì)算方法與步驟首先確定引入與剔除變量的F統(tǒng)計(jì)量標(biāo)準(zhǔn)，檢驗(yàn)水準(zhǔn)a定為0.05~0.30，值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。注意：引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。四.注意事項(xiàng)1.選擇恰當(dāng)?shù)腶和F值（選擇不同的a多做幾次，看哪個(gè)更合要求）。2.當(dāng)自變量之間有高度相關(guān)時(shí)，很難建立模型。3.可以考察變量之間的交互作用。4.有從專業(yè)上認(rèn)為必須引入第九頁(yè)，共十四頁(yè)，編輯于2023年，星期五五.回歸系數(shù)反常分析㈠回歸系數(shù)的反常現(xiàn)象

1.回歸系數(shù)的正負(fù)符號(hào)與客觀實(shí)際不一致。

2.專業(yè)認(rèn)為有統(tǒng)計(jì)學(xué)意義，但結(jié)果無(wú)統(tǒng)計(jì)學(xué)意義?；貧w系數(shù)正常，但標(biāo)準(zhǔn)誤很大，無(wú)統(tǒng)計(jì)學(xué)意義。

3.稍微改變a，引入的變量差別較大，回歸方程不穩(wěn)定。

4.重要變量進(jìn)不了模型。㈡主要原因

1.

自變量的多重共線性

2.設(shè)計(jì)時(shí)某些重要的變量沒有考慮進(jìn)來。

3.樣本量太小

4.變量的測(cè)量誤差大有異常值。

5.變量取值范圍太窄。第十頁(yè)，共十四頁(yè)，編輯于2023年，星期五六.SAS程序第十一頁(yè)，共十四頁(yè)，編輯于2023年，星期五DataA;Inputx1-x3y;Cards;….Procreg;Modely=x1-x3/selection=stepwise(forwardbackward)slesls;Run;第十二頁(yè)，共十四頁(yè)，編輯于2023年，星期五Procreg;Modely=x1-x3/cpadjrsq;Run;Procstepwise;Modely=x1-x3/stepwise(forwardbackward)slesls;Run;第十