天大matlab大作業(yè)逐步回歸方法分析

1、逐步回歸分析方法在實(shí)際中,影響 Y 的因素很多,這些因素可能存在多重共線性相關(guān) 性,這就對(duì)系數(shù)的估計(jì)帶來不合理的解釋,從而影響對(duì) Y 的分析和 預(yù)測(cè).“最優(yōu)的回歸方程就是包含所有對(duì) Y 有影響的變量 , 而不包含對(duì) Y 影響不顯著的變量回歸方程.選擇“最優(yōu)的回歸方程有以下幾種方法：1從所有可能的因子變量組合的回歸方程中選擇最優(yōu)者；2從包含全部變量的回歸方程中逐次剔除不顯著因子；3從一個(gè)變量開始,把變量逐個(gè)引入方程；4“有進(jìn)有出的逐步回歸分析.以第四種方法,即逐步回歸分析法在篩選變量方面較為理想 . 逐步回歸分析法的思想：從一個(gè)自變量開始, 視自變量 Y 作用的顯著程度, 從大到小地依 次逐個(gè)引

2、入回歸方程.當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí),要將其剔除 掉.引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量, 為逐步回歸的對(duì)于每一步都要進(jìn)行丫值檢驗(yàn),以保證每次引入新的顯著性變量 前回歸方程中只包含對(duì)丫作用顯著的變量這個(gè)過程反復(fù)進(jìn)行,直至既無不顯著的變量從回歸方程中剔除, 又無顯著變量可引入回歸方程時(shí)為止.原理:1、最優(yōu)選擇的標(biāo)準(zhǔn)設(shè)n為觀測(cè)樣本數(shù),X 為所有自變量構(gòu)成的集合,Xi, X2,Xi,XmXil為X的子集.(1)均方誤差s2最小s2 ASe(A)/nil到達(dá)最小(2) 預(yù)測(cè)均方誤差最小J(A) n一1一 SE an 1 1到達(dá)最小(3) 統(tǒng)計(jì)量最小準(zhǔn)那么Cp a s &a

3、mp; A2| n7n m 1到達(dá)最小l ln nn到達(dá)最小(4) AIC或BIC準(zhǔn)那么2lAIC(A) ln Se A 一 BIC(A) ln Se A n或(5) 修正R2準(zhǔn)那么R21 J(1 R2)n l到達(dá)最大2、選擇最優(yōu)回歸子集的方法1選擇最優(yōu)子集的簡便方法： 逐步篩選法 STEPWISE 向前引入法或 前進(jìn)法 FORWARD 向后剔除法或后退法 BACKWARD2計(jì)算量最大的全子集法：R2 選擇法 RSQUARECp選擇法CP修正 R2 選擇法 ADJRSQ.3計(jì)算量適中的選擇法：最小 R2 增量法 MINR最大 R2 增量法 MAXR步驟1、前進(jìn)法：事先給定挑選自變量進(jìn)入方程的顯

4、著性水平, 按自變量對(duì)因變量 y 的奉獻(xiàn)由大到小依次挑選自變量進(jìn)入方程,直到方程外沒有顯著的 自變量可引入為止.該方法的特點(diǎn)是：自變量一旦被選入,就永遠(yuǎn)保存在模型中(1)2分別計(jì)算這m個(gè)一元回歸方程中回歸系數(shù)的檢驗(yàn)統(tǒng)計(jì)量 F,記為：Fi1, F21,F1)1 m取最大值Fk1maxF11, F21, ,F；假設(shè)F；F進(jìn)F1, n 2停止篩選；假設(shè)F；F進(jìn)F1 n 2選入Xk1,不妨設(shè)Xk1是X1,進(jìn)入步驟3;3分別將自變量組Xi,x2 , Xi,X3 , Xi,Xm與因變量y建立二元回歸方程,計(jì)算回歸方程中X2 , X3,Xm的回歸系數(shù)檢驗(yàn)統(tǒng)計(jì)量F, 記為:F 2,F2, ,F223m取其最大

5、值Fk22 max F22 , F32 , ,Fm2 ,假設(shè)F2 屜 F 1 n 2 1那么停止篩選,y與x1之間的回歸方程就是最優(yōu)的回歸方程；假設(shè)2Fk2F進(jìn) F 1, n 2 1選進(jìn)Xk2,不妨設(shè)Xk2是X2,進(jìn)入步驟(4).(4) 對(duì)已經(jīng)選入模型的變量,x1, x2,如同前面的方法做下去,直 到所有未被選入模型的自變量的 F值都小于相應(yīng)的臨界值為止,這時(shí) 的回歸方程就是最優(yōu)回歸方程.前進(jìn)法的一般步驟： 假設(shè)已進(jìn)行了 I步篩選,并選入自變量x1, x2,xl,現(xiàn)進(jìn)行第1+1步篩選： 停止篩選 ,上一步得到的回歸方程,即為最優(yōu)的回歸方程； 假設(shè)分別將自 變 量 組x1,x2, ,xl , x

6、l 1,x1,x2, , xl,xl 2X.X2, ,x|,xm與y建立I + 1元回歸方程；回歸方程中 xl 1, xl 2 ,xm的回歸系數(shù)檢驗(yàn)統(tǒng)計(jì)量記為:Fll11,Fll21, ,Fml 1Fkll 11l 1 l 1l 1max Fl 1 ,Fl 2 , ,FmFkllF (1, n (l 1) 1)Fkll 11 F (1, n (l 1) 1)將 xkl 1 選進(jìn)模型,進(jìn)行下一步篩選. 前進(jìn)法的缺點(diǎn)：不能反映自變量選進(jìn)模型后的變化情況2、后退法：事先給定從方程中剔除自變量的顯著性水平, 開始全部自變量都 在模型中,然后按自變量對(duì) y 的奉獻(xiàn)由小到大依次剔除, 直至方程中 沒有不顯

7、著的變量可剔除為止. 該方法的特點(diǎn)是：自變量一旦被剔除,就不再進(jìn)入模型(1)建立全部自變量x1, x2,xm對(duì)因變量y的回歸方程,對(duì)方程中m個(gè)自變量的回歸系數(shù)bl, b2,bm進(jìn)行F檢驗(yàn),相應(yīng)的F值記為：F11,F21, Fm1取最小值Fk11 min F11,F21, , Fm1假設(shè)FkiF出F 1 n m 1沒有自變量可剔除,此時(shí)的回歸方程就是最優(yōu)的回歸方程1Fk F 出 F 1 n m 1剔除Xki,不妨設(shè)Xk1是Xm,進(jìn)入步驟2.2建立xl, x2,xm-1與因變量y的回歸方程,對(duì)方程中自變 量的回歸系數(shù)進(jìn)行F檢驗(yàn),相應(yīng)的F值記為：F12,F22, ,Fm2 1取最小值F k22min

8、F12,F22,Fm2 m假設(shè)Fk22F出F 1, n (m1) 1那么無自變量可剔除,此時(shí)的回歸方程即最優(yōu)的回歸方程；假設(shè)Fk2 F出 F 1, n m 1 1將Xk2從模型中剔除,不妨設(shè)xk2就是xm-1,進(jìn)入步驟3;3重復(fù)前面的做法,直至回歸方程中各變量回歸系數(shù)的 F值均大 于臨界值, 即方程中沒有變量可剔除為止, 此時(shí)的回歸方程就是最優(yōu) 的回歸方程.后退法的一般步驟：假設(shè)已經(jīng)進(jìn)行了 I步剔除,模型中的自變量為x1, x2,xm-l,現(xiàn) 進(jìn)行第 l+1 步剔除：建立x1,x2,xm-l對(duì)y的回歸方程,對(duì)方程中x1,x2,xm-l的回歸系數(shù)進(jìn)行 F 檢驗(yàn),相應(yīng)的 F 統(tǒng)計(jì)量記為 ：F l

9、1,F l 1, ,F l 1 12m l取最小值l 1 l 1 l 1 l 1 Fkll 11 min F1l 1,F2l 1, ,Fml 1l假設(shè)Fkl 1 F 1,n m l 1 kl 1那么停止篩選,y與x1, x2,xm-l之間的回歸方程即為最優(yōu)的回歸方程；假設(shè)Fkll 11 F 1,n m l 1那么剔除 xkl 1 ,不妨設(shè) xkl 1 為 xm l ,進(jìn)行下一步篩選.后退法的缺點(diǎn)：開始把全部自變量都引入模型,計(jì)算量大.3、逐步篩選法：該方法在前進(jìn)法的根底上, 引進(jìn)后退法的思想. 即對(duì)每一個(gè)自變 量隨著其對(duì)回歸方程奉獻(xiàn)的變化, 隨時(shí)地引入或剔除模型, 使得最終 回歸方程中的變量對(duì)

10、 y 的影響都是顯著的,而回歸方程外的變量對(duì) y 的影響都是不顯著的,該方法即通常所說的逐步回歸法.設(shè)y是因變量,xl, x2,xm是所有自變量,yi, xi1, xi2, xim (i= 1, 2,n)是獨(dú)立抽取的n組樣本.設(shè)自變量被選進(jìn)模型的顯著性水平為被剔除模型的顯著性水平為2° 1 2 1(1)計(jì)算離差矩陣SS11S12S1mS1 ySSm mS21S22S2mS2ySm1Sm2SmmSmy(2)逐步篩選自變量第一步篩選：計(jì)算各自變量的奉獻(xiàn):2VjSjySjj取最大值Vk maxVj11 j m對(duì)Xk1的作用是否顯著進(jìn)行統(tǒng)計(jì)檢驗(yàn):Se1St Vk；F F 1 1,n111 7

11、那么結(jié)束所有自變量皆與y無關(guān),不能建立回歸方程；假設(shè)F F 1 1,n那么將xki選入模型,并將s轉(zhuǎn)化為sm進(jìn)行第二步篩選;其中第二步篩選:s1按m m 1s1m (m1Sj1)SijS-s2；S2s22)s1m) s2mS11y)s21ySk1)1(1) smsk1ySmuSm12s(1)mmsmySk1iSk1k1Sik1 Sk1j -當(dāng)iSk1k1丄當(dāng)iSk1 k1k1k1, jk1k1籠當(dāng) i k1, j k1sk1k1計(jì)算各自變量的奉獻(xiàn)模型外自變量的奉獻(xiàn):Vi2Sii模型中自變量的 xk1奉獻(xiàn):k1s(1) 2k1y計(jì)算F其中SeStVk22取模型外自變量的最大奉獻(xiàn)值,即(1, n-

12、2-1)那么篩選結(jié)束,第一步中所建立的回歸方程即最優(yōu)回歸方程;FF 1,n211 ,那么選Xk2進(jìn)入模型,將s 1m m1化為Sm2m 1,進(jìn)行第三步篩選;2222s11S12S1 mS1y2222S21S22S2mS2ys 2m m 12222Sk21Sk22Sk2mSk2y2222Sm1Sm2smmSmy其中Sj11Sk2k21 1Sik2 Sk2 jk2,jk22Sj1Sk2k2k2, jk2亠當(dāng)i j k2Sk2k21F 當(dāng) i k2, j k2Sk2 k2第三步：從第三步開始,先檢驗(yàn)已經(jīng)引入方程中的自變量是否滿足顯著性水平2,假設(shè)有不滿足顯著性水平 2的自變量,依次剔除最不顯著的,再

13、 從方程外挑選滿足著性水平的最顯著的自變量進(jìn)入模型 即從第三步 開始,先進(jìn)行變量的剔除,再進(jìn)行變量的選進(jìn).逐步回歸法篩選自變量的一般步驟為：假設(shè)已經(jīng)進(jìn)行I步篩選,并且已經(jīng)選入p個(gè)自變量,相應(yīng)的殘差平方和為Se,離差矩陣為1S11IS12IS1mIS1y1S21IS22IS2mIS2ys 1m m 11Sk2 1ISk2 2ISk2mISk2yISm1ISm2IQ mmImy那么第步的篩選過程為：a計(jì)算自變量的奉獻(xiàn):l 1X不在模型中SylVi11Sil 2-SyL(xi在模型中)Sib檢驗(yàn)已選入的自變量是否顯著 取模型中變量的最小值:vk(l 1)一切便選的1計(jì)算sEl1)n p 1其中SEStVkl1假設(shè)F F21,n p11將xk剔除,轉(zhuǎn)入d；1,那么xk不能被剔除,轉(zhuǎn)入cc取模型外變量奉獻(xiàn)的最大值,假設(shè)F F21,n pvkl1-切未燈的jVj11計(jì)算Vk11St Vj 1n (p 1) 1F1 1,n p 1F1 1, n p 11,那么篩選結(jié)束,轉(zhuǎn)入3；1,貝S選入xk,轉(zhuǎn)入d