逐步回歸分析(教材)

第6節(jié)逐步回歸分析逐步回歸分析實質上就是建立最優(yōu)的多元線性回歸方程，顯然既實用而應用又最廣泛。6.1逐步回歸分析概述1概念逐步回歸模型是以已知地理數(shù)據(jù)序列為基礎，根據(jù)多元回歸分析法和求解求逆緊湊變換法及雙檢驗法而建立的能夠反映地理要素之間變化關系的最優(yōu)回歸模型。逐步回歸分析是指在多元線性回歸分析中利，用求解求逆緊奏變換法和雙檢驗法，來研究和建立最優(yōu)回歸方程的并用于地理分析和地理決策的多元線性回歸分析。它實質上就是多元線性回歸分析的基礎上派生出一種研究和建立最優(yōu)多元線性回歸方程的算法技巧。主要含義如下1）逐步回歸分析的理論基礎是多元線性回歸分析法；2）逐步回歸分析的算法技巧是求解求逆緊奏變換法；3）逐步回歸分析的方法技巧是雙檢驗法，即引進和剔除檢驗法；4）逐步回歸分析的核心任務是建立最優(yōu)回歸方程；5）逐步回歸分析的主要作用是降維。主要用途：主要用于因果關系分析、聚類分析、區(qū)域規(guī)劃、綜合評價等等。2最優(yōu)回歸模型1）概念最優(yōu)回歸模型是指僅包含對因變量有顯著影響的自變量的回歸方程。逐步回歸分析就是解決如何建立最優(yōu)回歸方程的問題。2）最優(yōu)回歸模型的含義最優(yōu)回歸模型的含義有兩點：（1）自變量個數(shù)自變量個數(shù)要盡可能多，因為通過篩選自變量的辦法，選取自變量的個數(shù)越多，回歸平方和越大，剩余平方和越小，則回歸分析效果就越好，這也是提高回歸模型分析效果的重要條件。（2）自變量顯著性自變量對因變量y有顯著影響,建立最優(yōu)回歸模型的目的主要是用于預測和分析，自然要求自變量個數(shù)盡可能少，且對因變量y有顯著影響。若自變量個數(shù)越多，一方面預測計算量大，另一方面因n固定，所以QTS增大，即造成剩余標準差增大，故要求自變量個數(shù)要適n一k一1Q中。且引入和剔除自變量時都要進行顯著性檢驗使，之達到最優(yōu)化狀態(tài)，所以此回歸方程又稱為優(yōu)化模型。3最優(yōu)回歸模型的選擇方法最優(yōu)回歸模型的選擇方法是一種經(jīng)驗性發(fā)展方法，主要有以下四種：（1）組合優(yōu)選法組合優(yōu)選法是指從變量組合而建立的所有回歸方程中選取最優(yōu)著其具體過程是：（1）建立變量組合的所有回歸方程（2）優(yōu)選回歸方程首先對每一個方程及自變量均作顯著性檢驗，優(yōu)選原則：自變量全部顯著，剩余標準差較小，既可選得最優(yōu)回歸方程。2）剔除優(yōu)選法剔除優(yōu)選法適指從包含全部自變量的回歸方程中逐個剔除不顯著自變量而求得最優(yōu)回歸方程的優(yōu)選方法。其具體過程是：（1）建立多元回歸方程（2）優(yōu)選回歸方程剔除自變量的原則是先求取偏回歸平方和最小者并作顯著性檢驗若不顯著則剔除。終止原則是直至不顯著自變量剔除完為至，而僅保留對因變量y有顯著影響的自變量。3）引入優(yōu)選法引入優(yōu)選法是指將所有自變量經(jīng)顯著性檢驗而逐個引入對因變量有顯著影響的自變量的優(yōu)選方法。其具體過程是：（1）建立一元回歸方程（2）優(yōu)選回歸方程引入原則是偏相關系數(shù)絕對值最大者，引入后并進行顯著性檢驗若顯著則繼續(xù)引進自變量，直至再無顯著自變量引進為止。4）逐步回歸分析法逐步回歸分析法是指運用回歸分析原理采用雙檢驗原則逐，步引入和剔除自變量而建立最優(yōu)回歸方程的優(yōu)選方法。具體含義是：（1）每步有二個過程即引進變量和剔除變量，且引進變量和剔除變量均需作F檢驗后方可繼續(xù)進行，故又稱為雙重檢驗回歸分析法。（2）引入變量引入變量的原則是未引進變量中偏回歸平方和最大者并經(jīng)F顯著性檢驗，若顯著則引進，否則終止。（3）剔除變量剔除原則是在引進的自變量中偏回歸平方和最小者，并經(jīng)F檢驗不顯著，則剔除。（4）終止條件即最優(yōu)條件，再無顯著自變量引進，也沒有不顯著自變量可以剔除，這也是最優(yōu)回歸方程的實質。由此可知，它并沒新的理論，只是多元回歸分析基礎上派生出的一種算法技巧。現(xiàn)在就來介紹逐步回歸分析的具體建模原理和方法步驟6.2逐步回歸分析的數(shù)學模型逐步回歸分析的數(shù)學模型是指僅包含對因變量Y有顯著影響自變量的多元線性回歸方程。為了利于變換求算和上機計算，將對其變量進行重新編號并對原始數(shù)據(jù)進行標準化處理。6.2.1變量重新編號1新編號數(shù)學模型令y二x，自變量個數(shù)為k-1，則其數(shù)學模型為：aakxx+Bx+Bx+...+Bxak01a12a23a3k-1ak-1式中，a=l，2，3,…，nn：樣本個數(shù)其中：

S=工(x-X)2TOC\o"1-5"\h\zOkkS=工(X-x)2UOkkS=S-S=工(x-X)2QUOkkx的偏回歸平方和為：jccjjX:為X的算術平均值kOkb：x的偏回歸系數(shù)jjC：為逆矩陣L-1對角線對應元素jj2回歸數(shù)學模型新編號的回歸數(shù)學模型為：x=b+bx+bx+bx+…+bxk0112233k-1k-16.2.2標準化數(shù)學模型標準化回歸數(shù)學模型是指將原始數(shù)據(jù)進行標準化處理后而建立的回歸數(shù)學模型，即實質上是每個原始數(shù)據(jù)減去平均值后再除以離差平方和的方根。1標準化回歸數(shù)學模型令z=xoJ-xj=l，2,3,?…，kOjSj其中：1x?x=—乙xjnOjO=1S=廠=乞（x-x）2!為離差平方和的方根JjJOJJ注意：l，廠,S2,S它們之間的區(qū)別，即離差平方和，離差平方jjJjjj

和的方根，方差，標準差。則回歸數(shù)學模型為：z=3'+3'z+3'z+3'z+…+3'zak01a12a23a3k-1ak-12標準化回歸數(shù)學模型的正規(guī)方程組標準化回歸數(shù)學模型正規(guī)方程組的一般形式為+zazaza廠“、z4a343za?+zazaza廠“、z4a343za?、/f1232aaa+zazz標+...+z%，=工z3ak-1k-1ak+么zz舟,+...+匕zza1a33a1ak-1+0zz43'+...+么a343川R+么z2R+…+么2a33%'=工zzk-1a1akzzA'=乂a2ak-1k-1zz=乙zza3ak-1k-1a3akzza2ak⑤z%'k-10zzTa1ak-11zza2ak-1zz%'+...+@2a3ak-13z2ak-1'=工zzk-1ak-1ak因為，工zaj工(x.-x)0Sj工zij工(x-x)(x-x)a!iajj=rijSSij所以上述正規(guī)方程組可變?yōu)椋篢OC\o"1-5"\h\zn0'+0+0+0+...+0=000+r3'+r3'+r3'+...+r3'=r1111221331k-1k-11k0+r3'+r3'+r3'+…+r3'=r2112222332k-1k-12k0+r3'+r3'+r3'+…+r3'=r3113223333k-1k-13k0+r3'+r3'+r3'+...+r3'=rk-111k-122k-133k-1k-1k-1k-1k這樣，數(shù)據(jù)標準化處理后的估計值0，并令，則可得數(shù)據(jù)標準化處理后的回歸方程數(shù)學模型的正規(guī)方程組的一般形式為：r3'+r3'+r3'+…+r3'=r1111221331k-1k-11kr3'+r3'+r3'+…+r3'=r2112222332k-1k-12k<r3'+r3'+r3'+…+r3'=r3113223333k-1k-13kr3'+r3'+r3'+…+r3'=rlk-111k-122k-133k-1k-1k-1k-1k這樣，數(shù)據(jù)標準化后3'的估計值應為0，并3'=d令，則可得0jjX=1X=112k—1rd+rd+rd+..?+rd二r1111221331k—1k—11krd+rd+rd+?..+rd二r2112222332k—1k—12krd+rd+rd+?,??+rd:二r3113223333k—1k—13krd+rdJk-111k-122+rd+...+rdk-133k-1k-1k-1陣。其中:二rk-1krrr…r'1112陣。其中:二rk-1krrr…r'11121k—1R=r2122…r2k—1稱為相關系數(shù)矩r'k—11rk—12…r‘k—1k一1丿r1kr2krk-1k解此方程組，即可求出d,d,d,…123,d，k-1故可得標準化后的回歸模型為：z=dz+dz+…+dk1122標準化的回歸模型的矩陣形式：z

k-1k-1x一x—n1S1_x一x-^11S1_x一x—311S1x一xn1LSx一x122S2_x一x222S2_x一x32—S2x一xk一1k一1Sk-1_x一xk—1k—1Sk-1_x一xk—1k一1Sk-1x一xnk—1k—1Sx一x—1kkS

k_

x一x

~^2kkS

k_x一x—1kkS

k_

x一x

~^2kkS

k_

x一x

—3kkSkn00...0—0n0rr?r11121k-10rr???r—?2122.2k-10R0rr?r一一-k-11k-12k-1k-1-A=XX=x一x—nkkSk6.2.3標準化前后回歸模型的關系1標準化前后的回歸模型1）標準化前后回歸模型為：x=b+bx+bx+bx+…+bk01122332)標準化后回歸模型為：xk-1k-1z=dz+dz+...+dz

k1122k-1k-12標準化前后的偏回歸系數(shù)標準化前后偏回歸系數(shù)的關系可從變化過程反演得知令z=「j代入標準化前的回歸模型可得:jSj/\x-x,x-x,x-x,x-x—kk—d.—11+d.—22+???+d.―k~1k~1S1S2Sk-1Sk12k-1整理后得：x—(xkk22Sk-Sk-1dx)k-1k-1TOC\o"1-5"\h\zSSS+—kdx+kdx+?…+——dxS11S22Sk-1k-112k-1x=b+bx+bx+bx+…+bxk0112233k-1k-1將上式與標準化前的回歸模型作比較，由待定系數(shù)法可知標準化前后回歸模型的偏回歸系數(shù)的關系為：b=—kd]SJJj=l,2,3,???k—lb=x-七'bx0kjjj=1于是，只要求出d,即可求出b，今后僅討論標準化后的回歸模jj型。3標準化后的各種離差平方和S'=—S=1

S2k

kS'=丄SuS2ukS'=丄SQS2Qk6.3求解求逆緊湊變換法逐步回歸分析每引進和剔除一個變量都要用到求解求逆緊奏變換法進行矩陣變換，最后求出方程組的解和逆矩陣?，F(xiàn)介紹其變換原理和方法步驟。6.3.1求解求逆緊奏變換法的基本公式由上述介紹可知，標準化后的正規(guī)方程組為：rd+rd+rd+...+rd=rTOC\o"1-5"\h\z1111221331k-1k-11krd+rd+rd+...+rd=r2112222332k-1k-12k<rd+rd+rd+???+rd=r3113223333k-1k-13krd+rd+rd+...+rd=rk-111k-122k-133k-1k-1k-1k-1k可得增廣矩陣r（0），由（R⑼；E）經(jīng)髙斯消元法變換為（E\R-1），既可

求出解和相應的逆矩陣。rrr...rr10...0、11121k-11kr...rr01…021222k-12k(R(0):E)=:::::::::rr...rr00…0k-11k-12k-1k-1k-1krr???rr00…1k1k2kk-1kk丿經(jīng)高斯消元法變換為：10(E；R-10(E；R-i)=；00…0r(i)1k1…0r(l)2kr(l)r(l)k+11k+2r(l)r(l)k+12k+2r(l)2k+1r(l)2k+10…0r(l)k-1k0…1r(l)kkr(l)r(l)k-1k+1k-1k+2r(l)r(l)kk+1kk+2r(i)k-12k+1r(i)k2k+1其變換公式為：r(i)二r(i-i)/r(i-i)j二1,2,3,…,2k+1kjkjkkr(i)二r(i-1)—r(i-1).r(i-1)/r(i-1)i主kijijikkjkk說明：公式(1)是好理解的；公式（2）是指求算非主行和非主列的元素，實質上就是該元素減去其對應的主行與主列元素相乘并除以主元素。舉例，解下列方程組：10x+7x+4x=4123<7x+7x+3x=41234x+3x+4x=3123解：利用上述高斯消元法的（1）（2）公式，解上述方程組的求解求逆變換過程如下：

由上述方程組可得髙斯求解求逆變換法矩陣形式A(0):TOC\o"1-5"\h\z10744100A(o)=7734010434300111可得A(1)：「10.70.411可得A(1)：「10.70.40.40.100A(1)=02.10.21.2-0.71000.22.41.4-0.401當k=2,主元素為：a，根據(jù)髙斯求解求逆變換法原理和方法,22可得A(2)：「100.33300.333-0.3330A(2)=010.0950.571-0.3330.4760002.3811.286-0.333-0.0951當k=3，主元素為：a，根據(jù)髙斯求解求逆變換法原理和方法，33可得A(3)：「100-0.1810.380-0.320-0.141A(3)=0100.519-0.3200.480-0.0400010.541-0.141-0.0400.423ftftXA-1提出問題：由上述髙斯削元法變換可知，單位矩陣只是從后k逐列移至前k列，而只是起到形式作用。這樣，若利用計算機程序求解求逆就要多占用k*k個單元，試想能否節(jié)省k*k個單元呢？從以上變換可知，如果能將后k列經(jīng)過變換后放置前k列去，這樣k*k個單元即可節(jié)省。如何做呢？這要找出后k列變換前后的關系。若R（0）經(jīng)過（l-l）次變換得到R（l-1），則第k+l+1列除了第l個元素為1,其余均為0,即，第k+1+1列各元素值為:r（i-i）二1Jk,k+1+kr（i-i）二0i豐ki,k+1+k若再對R（i-i）變換一次得R（i），則第k+1+1列各元素可由咼斯消元法的公式（1）（2）變換為為：I(3)r(i)二r(i-i)/r(i-i)二1/r(i-i)Jk,k+i+kk,k+i+kk,kk,kI(4)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)二-r(i-i)/r(i-i)i豐ki,k+i+ki,k+i+ki,kk,k+i+kk,ki,kk,k這就相當于第k+1+1列的第k個元素1除以主元素，其余的元素都除以主元素并變號，于是可將第k+1+1列放到對應的前I列中，這樣單位矩陣就節(jié)省了，上述整個過程就稱為矩陣的求解求逆緊奏變換法。將上述公式合并即得求解求逆緊奏變換法的公式：I(i)r(i)二r(i-i)/r(i-i)j二1,2,3,,2k+1JkjkjkkI(2)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)i主kijijikkjkkI(3)r(i)二r(i-i)/r(i-i)二1/r(i-i)Jk,k+i+kk,k+i+kk,kk,kI(4)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)二-r(i-i)/r(i-i)i豐ki,k+i+ki,k+i+ki,kk,k+i+kk,ki,kk,k說明：(1)式為求主行各元素；2）式為求非主行非主列的各元素；用公式(2)求非主行所有元素，如：a(1),a(1),a⑴,a⑴,a(1)o2i22343536a(0):k=1,i=2,j=121a(i)=a(0)一a(0)-a(0)?-a(0)=a(0)一a(0)-a(o)fa(0)ijikkj:kk21211211二7-7x10.10二0a(0):k=1,i=2,j=222a(i)=a(0)一a(0)-a(0)Fa(0)=a(0)—a(0)-a(0)「a(0)22ijikkjkk22211211二7-7x710二2.1

a（o）:k=1,i=3,j=434a（i）=a（o）-a（o）-a（o）；a（o）=a（o）-a（o）-a（o）a（o）

34ijikkjkk34311411二3-4x410二1.4a（o）:k=1,i=3,j=535a（1）=a（o）-a（o）-a（o）.：a（o）=a（o）-a（o）-a（o）；'a（o）35ijikkj:kk353115■11二0-4x110=-0.4a（o）:k=1,i=3,j=636a（1）=a（o）-a（o）-a（o）'a（o）=a（o）-a（o）-a（o）fa（o）36ijikkj'kk36311611=0-4x010=0式為求主元素；式為求主列個各元素。舉例：利用求解求逆緊奏變換法解上述方程組解：「10744A（0）=77344343當k=1，主元素為：a11，根據(jù)求解求逆緊湊變換法原理和方法可得A(1)：-0.10.70.40.4「A（1）=-0.72.10.21.2-0.40.22.41.4當k=2,主元素為：a，根據(jù)求解求逆緊湊變換法原理和方法,22可得A(2)：0.333-0.3330.333A（2）=-0.3330.4760.0950.333-0.3330.333A（2）=-0.3330.4760.0950.571-0.333-0.0952.3811.286當k=3,主元素為：a，根據(jù)求解求逆緊湊變換法原理和方法,33可得A（3）：0.380-0.320-0.141-0.181A(3)=-0.3200.480-0.0400.519—0.141-0.0400.4230.541ftftA-1X由兩種方法比較可知，其結果一樣，故求解求逆緊奏變換法可節(jié)省K*K個存儲單元。6.3.2基本性質1每作一次變換，就求得一組解和相應的逆矩陣；2對R（0）作變換得R（l），同變換次序無關，即與哪個作主元素無關;3當lR（1-1）二R（1）,lR（i）二R（1+1）二R（1-1）,即，同一主元素作兩次變換可kk還原；4在矩陣中，具有下列對稱性：'r（i）當z.,z均作了變換或者均未作變換時TOC\o"1-5"\h\zr（i）=<'jij-r當z,z僅一個過消除變換時

jiij6.3.3求解求逆緊奏變換法與回歸分析的關系由上述分析可知，逐步回歸分析要求解的正規(guī)方程組為：rd+rd+rd+...+rd-r1111221331k-1k-11krd+rd+rd+...+rd二r2112222332k-1k-12k<rd+rd+rd+...+rd二r3113223333k-1k-13krd+rd+rd+...+rd二rk-111k-122k-133k-1k-1k-1k-1k則逐步回歸分析中的求解求逆緊奏變換法的增廣矩陣是

r11rr12…r1k-1…rR=21222k-1............rr…rk-11k-12k-1k-1在逐步回歸分析中，每引進一個變量或者剔除一個變量，都要對R進行一次求解求逆緊奏變換法變換，最后求得d,d,d…,d，再恒123k-1等變換為b,b,b,b…,b，所以求解求逆緊奏變換法在逐步回歸分析0123k-1中十分有用。6.4逐步回歸分析的步驟根據(jù)逐步回歸分析的原理和方法，現(xiàn)介紹其具體步驟。以表6-3P）中地理數(shù)據(jù)為例。125地理數(shù)據(jù)4--5臺風編號xxxxxxxy1234567750314.5127.08.82.0-0.58.0248.090065097.5727.710.87.00.85.081.035460031.9428.313.613.0-0.21.7124.856665213.0427.312.113.00.21.5314.652173018.0728.55.7-2.0-0.62.7110.433361224.6428.515.814.01.42.0109.635974123.0227.45.40.00.64.6110.058962136.2028.212.012.00.02.5378.041666152.6929.012.76.01.315.787.828960052.8527.55.012.00.06.8152.225461261.0227.020.71.01.010.0148.520962081.6227.57.04.01.56.048.042865137.0227.35.8-17.01.810.0230.067363122.0927.314.5-11.00.08.5110.539559040.8328.711.8-13.02.34.0125.032760074.5627.07.0-4.0-0.34.0240.082963065.4329.07.2-4.0-1.54.0157.226675044.0526.94.2-1.0-0.32.880.065359013.7828.011.68.0-1.012.297.018761021.1129.013.6-3.0-0.514.0144.017872077.1727.011.02.0-1.010.6157.3160

71235.0026.033.6-27.02.723.3206.428070103.8827.016.0-7.01.09.5134.023456120.7426.5-1.26.0-2.09.0368.026456223.0527.813.4-7.0-1.72.7165.221662140.3028.011.0-7.0-0.78.0144.229469113.4428.08.0-4.0-0.211.7256.026860015.9425.010.01.0-2.75.2201.618569063.1227.29.16.01.017.3173.0246x4.09227.5710.900.000.0837.7169.04374.9s15.5894.81432.76050.8516.76827.870439.191039.3i第一步求初始相關系數(shù)矩陣R（0）由表6--3中地理數(shù)據(jù)可求得初始相關系數(shù)矩陣為：‘1.0000‘1.0000—0.1819—0.06880.0020—0.18191.0000—0.09120.1964—0.0688—0.09121.0000—0.35840.00200.1964—0.35841.0000R（o）=—0.10610.14990.4547—0.2680—0.0784—0.18240.4514—0.40430.1733—0.2873—0.11570.0584、0.4208—0.1003—0.27330.0015—0.1061—0.07840.17330.4208'0.1499—0.1824—0.2873—0.10030.45470.4514—0.1157—0.2733—0.2680—0.40430.05840.00151.00000.3153—0.25110.15280.31531.0000—0.0057—0.3534—0.2511—0.00571.00000.16700.1528—0.35340.16701.0000丿第二步逐步優(yōu)選變量該步是指逐步優(yōu)選變量以建立最優(yōu)回歸方程。1選擇第一個變量首先，引入第一個變量以建立一元回歸模型：z二d⑴zj=1,2,3,,k—1kjj1）確定F=F=5（本例最好為2.5）,即引進與剔除變量的F檢驗12值。2）引進變量的原則與方法如何確定先引入哪一個變量呢？(1)選擇原則引入原則為偏回歸平方和最大者，也稱為方差貢獻最大者。由前述可知，回歸平方和越大，回歸方程的效果就越好。(2)選擇方法如何選擇偏回歸平方和最大者呢？方法有兩鐘，即：一般方法和直接方法。一般方法：一般方法是指從建立后的回歸方程求得，公式為：u二dljjjk這樣看來，工作量相當大，設想一下，能否從R(0)中直接求得各偏回歸平方和再從中選擇最大者呢？回答是肯定的！因為R⑴是從R(0)中變換得來的，所以，它們之間有數(shù)量聯(lián)系。直接方法：直接方法是指從R(0)中直接求得偏回歸平方和最大者。如何從R(0)中直接求呢？這就要從求解求逆緊湊變換法中找出R⑼tR⑴中的關系。由上述變換可知：d(1)二r(1)二r(0)/r(°)jjkjkjjc(i)二r(1)二1/r(0)二1/c(0)jjjjjjjj于是，z中的偏回歸平方和可得：ju(1)=[d(1)]2?c(0)=[d(1)]2/c(1)jjjjjjj=[r(o)/r(o)]2/[l/r(0)]jkjjjj=[r(0)]2/r(0)jkjj此式表明，u(1)完全可以從R(0)中直接求得。于是可拓展到：

u(2)-R(1)ju(3)-》R(2)ju(4)-R(3)juk_1--R(k-2)j3)引進變量(1)確定引進變量，即：求u(0)便可確定。j運用直接方法即可求算所有偏回歸平方和u(0)，并選取maxu(0)者。jj由于的對角元素均為：r(0)=r(0)=r(°)=?…=r(°)=1112233k-1k-1所以，最后一列絕對值最大者便為偏回歸平方和最大者。本例為z，即：1u(0)=L(0)】"(0)=b.4208]1=0.1771TOC\o"1-5"\h\z1k1l由此可知maxu(o)=0.0.1771，故引入的第一個變量為：z，即:11z=d(1)zj=1k11(2)引進變量檢驗方法為F檢驗法，首先，應經(jīng)驗性確定臨界值F(/")，其大小主a要與信度和自由度有關，所以，不宜太大，否則，引進變量較少，不實用。本例K=7,若試選4個變量，則n=29,4=4,f2=n-k-1=24,即：F(f1,f2)=F(4,24)=2.78，選2.5為宜。a0.05F=10.1771F=10.17711-0.1771)270.17711-0.1771x27=5.81因為L81〉^2.5,所以引進的第一個變量為勺。(3)求算Rd)R(0)經(jīng)求解求逆緊湊變換法可求得R(!)為:‘1.0000-0.1819‘1.0000-0.18190.18190.96680.0688-0.1037R(D=-0.00200.19680.10610.13060.0784-0.1967-0.1733-0.25580.4208-0.0237-0.06880.0020-0.1061-0.10370.19680.13060.9952-0.35830.4474-0.35830.9999-0.26850.4473-0.26850.98870.4460-0.40410.3070-0.10380.0580-0.2327-0.24430.00060.19754)剔除變量由于剛引進第一個變量，故略。2選擇第二個變量1)引進變量(1)確定引進變量，求算u(1)，并求取maxu(1)，jj-0.07840.17330.4208'-0.1967-0.2558-0.02370.4460-0.1038-0.2445-0.40410.05800.00060.3070-0.23270.19750.99380.0077-0.32040.00770.96990.0941-0.32040.09410.8228丿j=2，3，4，5，6，u(2)=LG】.rG=I-0.0237】.0.9668=0.000582k'22同理可求得：u(2u(2)=0.0601，u(2)=0.0000，34u(2)=0.0395，u(2)=0.1033，56u(2)=0.00917由此可知).10336(2)引進變量檢驗亠乙-3)=加1莎x26二3.75kk6因為叮3?75＞叮2?5，所以應引進變量z6，并對R(0)進行求解求逆緊湊變換得R(1)，如表所示。

‘1.0061—0.19740.19740.92790.0337—0.01540.02980.11680.08190.19140.0788—0.1979—0.1739—0.2542、一0.3955‘1.0061—0.19740.19740.92790.0337—0.01540.02980.11680.08190.19140.0788—0.1979—0.1739—0.2542、一0.3955—0.0871-0.0667-0.0298-0.01540.11680.7950-0.1769-0.17690.83560.3096-0.14360.4488-0.4066-0.10730.0612-0.1005-0.1296-0.08190.07880.19140.19790.3096-0.4488-0.14360.40660.8938-0.30890.30891.0061-0.2351-0.00780.29650.32240.17390.3955、—0.2542—0.0871—0.1073—0.10050.0612—0.1296—0.23510.29650.0078—0.32240.96980.09660.09660.7195丿2)剔除變量由于z變量剛剛引進，現(xiàn)只需對z作檢驗。61確定剔除變量，求算U⑵，并求取minuC),jju(2)=I(2」r(2)=b.3955L].0061=0.15541k11剔除檢驗j=1，6u(2)—1r(2)kkx(n-3)=0.1554x26=5.6220.7195因為，所以不應剔除，繼續(xù)引進變量。3選擇第三個變量(1)確定引進變量，求算uG)，并求取maxu(3)，j=2，3，4，5，7jju(3)=L(2)122k'r(2)=[-0.08711^0.9279=0.008222'同理可求得：u(3)二0.0127，u(3)二0.0201，uG)二0.0984，uG)二0.0096457由此可知0.009845(2)引進變量檢驗呼x(n-4)=rG)—u(3)kk50.09840.5434—0.0984x25二3.9588因為F二3.9588>F二2.5，所以，應引進變量z，并對R⑵進行求解315求逆緊湊變換得r⑶，如表所示。了1.0136—0.1799—0.0053—0.04290.09160.05050.15240.42270.17990.8869—0.08170.1475—0.21410.2641—0.2039—0.15070.0053—0.08170.6877—0.1271—0.3463—0.3418—0.0258—0.20320.04290.1475—0.12710.81250.16070.35690.0234—0.08190.09160.21410.3463—0.16071.1187—0.3456—0.26300.33170.0505—0.26410.3418—0.3569—0.34561.11290.0891—0.4249—0.1524—0.2039—0.02580.02340.2630—0.08910.90800.1746j-0.4227—0.1507—0.2032—0.0819—0.33170.42490.17460.6211R⑶=丿2）剔除變量z作剔除檢驗。6由于z變量剛剛引進，現(xiàn)只需對z，51（1）確定剔除變量，求算u⑶，并求取minuG），j=1jju（3）=卜1逬）=b.4227]2..1.0136=0.1763u（3）=r（3）=1-0.4249〕21.1129=0.1622666'由此可知，u（3）=0.1622為最小，故對z做剔除檢驗。66（2）剔除檢驗因為，說明：uG)fu⑶/八0.1622F=6+=6x(n—4)=x25=6.52873r⑶fr(3)0.6211kk2kkF=6.5287>F=2.5所以不應剔除，繼續(xù)引進變量。32有兩鐘情況，即：時，不應剔除變量z，并繼續(xù)引進新的變量；6z，并對l-R（3）=R（4）做變換，這時，還要6>F時，則終止剔除檢驗，繼續(xù)引進新的2F>F32F<F時，應剔除變量32對變量z作剔除檢驗，若F13變量；如F<F時，則繼續(xù)做剔除檢驗，直到?jīng)]有不顯著變量存在為32止。選擇第四個變量1)引進變量（1）確定引進變量，求算u（4），并求取maxu（4）,j=2,3,4,7jju（4）=lr（3」.r（3）=匸0.150710.8869=0.02562k22'同理可求得：u（4）二0.0600,u（4）二0.0083,u（4）二0.033647由此可知maxu（4）=0.06003（2）引進變量檢驗u34u34）x（n-5）=r（3）—u（4）kk30.06000.6211—0.0600x24二2.5664因為F二2.5664>F二2.5，所以，應引進變量z，并對R⑶進行求解313求逆緊湊變換得r⑷，即:l?R⑶二R⑷，如表所示?！?.0136—0.18050.0077—0.04390.08890.04790.15220.4211、0.18050.87720.11880.1324—0.25520.2235—0.2070—0.17480.0077—0.11881.4541—0.1848—0.5036—0.4970—0.0375—0.29550.04390.13240.18480.78900.09670.29370.0186—0.11950.08890.2552—0.5036—0.09671.2931—0.1735—0.25000.43400.0479—0.2235—0.4970—0.2937—0.17351.28280.1019—0.3239—0.1522—0.20700.03750.01860.2500—0.10190.90700.1670、-0.4211—0.17480.2955—0.11950.43400.32390.16700.5611丿2）剔除變量由于z變量剛剛引進，現(xiàn)只需對z，z，z作檢驗。3156（1）確定剔除變量，求算u（4），并求取minu（4），j=1，3,5,6。jju（4）=S）1.申）=b.4211]2.1.0136=0.1749u（4）=0.1457,u（4）=0.081856由此可知，u⑷=0.0818為最小，則先對z作剔除檢驗。66（2）剔除檢驗

F2u（4）0.0818F26x（n-5）=x24=3.499r⑷0.561166因為，所以不應剔除變量z，繼續(xù)引進新的變量。65選擇第五個變量1）引進變量j=2，4，j=2，4，7求算u（4），并求取maxu（4）,jju（5）=l（4）〕2；r（4）=[-0.1748〕2「0.8772=0.034822k'22'同理可求得：u（5）=0.0181,u（5）=0.030747由此可知maxu（5）=0.0348為最大，故確定引進變量z22（2）引進變量檢驗F=1呼F=1呼x（n-6）=r（4）—u（5）kk20.03480.5611—0.0348x23=1.5208因為叮1?5208＜叮2?5，所以不應引進變量Z2,同時表明再無顯著變量可以引進，則應終止，并即可求出最優(yōu)回歸模型。第三步建立回歸方程，即最優(yōu)回歸方程。1、求算d，j=l，3，5，6j根據(jù)求解求逆緊湊變換法的基本原理和方法步驟，由R⑷可知:d=0.42111d=—0.295523d=0.43405d=—0.323962、求算b，j=1，3，5，6。j（1）求有關項

二1039.3k7Q二27.87x1二4-二1039.3k7Q二27.87x1二4-092,x=10.9，3x=0.083,x=7.7,x=374.9567⑵求blb=乙d二1039.3x0.4211二28.0742iQ115.5891TOC\o"1-5"\h\zbd二一9-x(—0.2955)=—9.37463q332.763Q1039.3b=7d=x0.4340=66.6454Q56.7685bd=―93x(—0.3239)=—12.0786q627.876求算bob=y一bx一bx一bx一bx011335566=374.9—28.0742x4.072—(—9.3746x10.9)—66.6454x0.083—(—12.0786x7.7)=449.6772故求得逐步回歸分析的最優(yōu)回歸方程為：y=4496772+28.0742x—9.374&+66.6454x—12078&1356

第五步顯著性檢驗1、求有關項L二L=^(L二L=^(y—y》二1039.32二1080144.49kkyy=Y(y一y)(x-x)=11=Y(y-y)(x-x)=33=5(y-y)(x-x)=55=5(y-y)(x-x)=66L1yL3yL5yL6yU二S2(1-r(4))二1039.32x(1-0.5611)二474075.4167kkkQ=S2?r⑷二10393x0.5611二606069.0733kkk或者Q二L-U二1080144.49-474075.4167二606069.0733yy2、求FF=Uk=474075.4167/4=4.6933Qn-k-1606069.0733243、求F（f1,f2）a查表可得：F&“）=F（4,24）=2.78a0.05因為F=4.6933〉f（4,24）=2.78,所以該回歸方程顯著，可以應用于0.05地理分析。例2根據(jù)逐步回歸分析的原理和方法，現(xiàn)介紹其具體步驟。以表4.9

中地理數(shù)據(jù)為例。表4.9地理數(shù)據(jù)序口X1X2X3X4y140165140230243185339231.1328186653231.3441185143231.8528186653235.1656234253235.3740204450235.5847196243236932185658236.11042193552237.211572253552381231193267239.21367206232239.91434213166240.31551195847241.41647232873249.9第一步求初始相關系數(shù)矩陣r(0)由表4.9中地理數(shù)據(jù)可求得初始相關系數(shù)矩陣為：[10.50860.0551-0.41530.3004、0.50861-0.49160.48330.6757R（0）=0.0551-0.49161-0.6563-0.4966-0.41530.4833-0.656310.5865、0.30040.6757-0.49660.58651丿第二步選擇第一個變量1、確定F=F=5，即引進與剔除變量的F檢驗值。12

2、引進變量(1)求u(0)，即求算所有偏回歸平方和u(0)，并選取maxu(0)者。

jjju(0)=[(0J2r(0)=[(0)L.r(0)=lc.3004]2.1=0.090211k111511'u(u(0)=0.34404u(0)=0.4566，u(0)=0.2466，23由此可知maxu(0)=0.45662(2)引進變量檢驗u'0丿fu'0丿f一u(0)丿22因為F=11.7680〉F=5，所以引進的第一個變量為31(3)求算R(1)0.45661f=(1-0.4566)14=Ez。2R(o)經(jīng)求解求逆緊湊變換法可求得RG為:R(o)經(jīng)求解求逆緊湊變換法可求得RG為:0.7413一0.50860.3051一0.6611一0.04330.50861一0.49160.48330.67570.30510.49160.7583一0.4187一0.1644一0.6611一0.4833一0.41870.76640.2599－0.0433一0.6757一0.16440.25990.5434R⑴二2、剔除變量由于剛引進第一個變量，故略。第三步選擇第二個變量1、引進變量⑴求算u(1⑴求算u(1)，并求取maxu(1)，jjG)=\⑴2"⑴115;11j=1，3，u(1)=1同理可求得=L0.0433〕2,.0.7413=.002522uG=0.0356，uG=0.088134由此可知maxuG)=0.08814(2)引進變量檢驗0.54040-010881X13=20.54040-010881X13=2^553rG)—u6)kk4因為F=2?5155VF=5，所以再無顯著變量引進，故引進變工作32結束。2、剔除變量由于未引進變量，剔除工作也結束。第四步建立回歸方程，即最優(yōu)回歸方程。1、求算d，j=2j由R⑴可知：d=0.675722、求算b，j=2j(1)求有關項q=q=■,：丄f—X)2=4.7690k5n55q=」丄E(x—X)2=1.90292n22X=19.4375，Xv=236.756325⑵求bq4.7690b="=x0.6757=1.69342q21.90292求算bob二x-bx二236.7563-1.6934x19.43750522=203.8408故求得逐步回歸分析的最優(yōu)回歸方程為：y=203.8408+1.6934x2第五步顯著性檢驗1、求有關項L—x)2二363.89945555L=Y(x-x)X-x)=98.1063252255U=bL=1.6934x98.1063=166.1332225Q=L-U=363.8994-166.1332=197.7662552、求FF=Q7—=infill?=11-76063、求F(f1,f2)a查表可得：F(f1,f2)=F(1,14)=8.86a0.01因為F=11.7606〉F(U4)=8.86，所以該回歸方程顯著，可以應用于0.01地理分析。為了全面掌握逐步回歸分析的步驟，若設F=F=2.5時，則第三12步選擇第二個變量的引進變量檢驗中，因為F=2.5155〉F=2.5，所31以引進的第二個變量為z。這樣就須繼續(xù)進行。4

求R（2）由R（1）經(jīng)求解求逆緊湊變換法可求得R（2）為:現(xiàn)已引進z、z兩個變量,24由于z剛引進，故只須對z作剔除檢42現(xiàn)已引進z、z兩個變量,24由于z剛引進，故只須對z作剔除檢42驗，具體步驟如下：⑴求u（2）2衛(wèi)=阮118]2=o.2oo8uG)=2r(2)1.304822(2)求F3F=哩(n-3)=3r(2)550.20080.4553x13=5.7319因為導.7319〉叮2?5，所以r是顯著變量，不應剔除。繼續(xù)選擇第三個變量，若還有顯著變量引進則繼續(xù)進行，具體步驟同上述，若再無有顯著變量引進，則結束，即可建立回歸方程，具體步驟如下：求d,j=2,4j由R(2)可知「d=0.5118<2d=0.33914求算b，j=2，4j①求有關項q5=4.76900.1710-0.9255-0.05610.86260.18090.92551.3048-0.2276-0.63060.5118-0.05610.22760.52960.5463-0.0224-0.8626-0.6306-0.54631.30480.33910.1809-0.5118-0.0224-0.33910.4553aaq=1.90292q=10.63604X2=19.4375，xq=1.90292q=10.63604X2=19.4375，x=51.5，x=236.756345②求算b，jj=2，4q224.7690x0.5118=1.28271.9029b4dq4二4.7690x0.3391二0.152010.6360③求b0b0一b2X2-b4X4二236.7563-1.2827x19.4375-0.1520x51.5二203.9958故求得逐步回歸分析的最優(yōu)回歸方程為：y=203.9958+1.2827x+0.1520x24對回歸方程進行顯著性檢驗，具體步驟如下(1)求有關項L二363.899455L二98.106325L二475.9545U二bL+bL二1.2827x98.1063+0.1520x475.95二198.1854225445Q二L-U二363.8994-198.1854二165.714055(2)求FF二嚴)二嘰*542)二11.9350Q(n-k-1丿165.7140(16-2-1丿⑶求F吐)查表可得：F&“)=F(2,13)=6.70a0.01因為F=11.9350〉f(2,13)=6.70，所以該回歸方程顯著，可以應用于0.01地理分析。6.5逐步回歸分析的實習指導6.5.1實習目的1、鞏固逐步回歸分析的基本原理及方法步驟。2、掌握逐步回歸分析程序的使用方法及技巧3、求取最優(yōu)回歸方程并應用于預測等。4、掌握逐步回歸分析程序的變換應用方法。6.5.2實習內容1、標識符說明N樣本個數(shù)M自變量數(shù)Fl、F2F檢驗的臨界值Q存放選入l個自變量以后的剩余平方和Q2存放y的剩余標準差估計值L選入自變量的個數(shù)X(N,M+1)存放變量Xa,Xa,Xa,…，Xa=y的數(shù)據(jù)(a=1,2,3,…,l23m+lN)R(M+l,M+l)存放相關系數(shù)B(M)存放回歸系數(shù)b0,bl,b2,…，blT(M)臨時存貯單元，開始時用以標記自變量是否選上，當x未選入時iT(I)=0,—旦X選入，則T(I)存放R-1對角線元素。iZ(I)存放回歸系數(shù)顯著性檢驗的t統(tǒng)計量A(M+1)存放自變量xi和y的平均數(shù)1I—V(M+1)存放離差平方和的均方根Si二“L「=ai-￡)2(i=1,2,Va=l3,…，m+1)。,m。U(M+1)存放各自變量和y的離差平方和均方根之比Sm出,m。SiFF檢驗值S剩余標準差ay原始y值ipy預測y值iEr預測誤差Er%相對預測誤差2、程序5REM逐步回歸分析程序10INPUT“樣本數(shù)N,自變量數(shù)M,F檢驗數(shù)F],F?二”;N,M,片，F(xiàn)?15Y=M+120DIMX(N,Y),A(Y),R(Y,Y),V(Y),U(Y),T(M),Z(M),B(M),E(N)25FORI=1TON30FORJ=1TOY35READX(I,J)40PRINTX(I,J);45NEXTJ50PRINT55NEXTI57REM形成相關系數(shù)矩陣60FORJ=1TOY65T=070D=075FORI=1TON80T=T+X(I,J)85D=D+X(I,J)*X(I,J)90NEXTI95T=T/N100A(J)=T105D=SQR(D－N*T*T)110V(J)=D115NEXTJ120FORI=2TOY125FORJ=1TOI－1130G1=0

135140145150155160165170175180185190195200202205208209210213215220225230235240245250255260265270275280285290295FORK=1TONG1=G1+(X(K,I)－A(I))*(X(K,J)－A(J))NEXTKG1=G1/(V(I)*V(J))R(I,J)=G1R(J,I)=G1NEXTJNEXTIFORI=1TOYR(I,I)=1U(I)=V(Y)/V(I)NEXTIPRINT“RMatrix”FORI=1TOYFORJ=1TOIPRINTR(I,J),NEXTJPRINTNEXTIREM選因子和剔除因子的過程T1=0L=0Q=1T1=T1+1V1=0V2=10FORI=1TOMT(I)=0D=R(I,I)IFD<1E－08THEN315W=(R(Y,I)/D)*R(I,Y)IFW>0THEN300T(I)=DIF－W>=V2THEN315V2=－WI2=IGOTO315

300305310315320325330335340345350355360362365370375380385387390395400405410415420425430435440445450453455460IFW<=V1THEN315V1=WI1=INEXTIIFT1<=2THEN360F3=(N－L－1)*V2/QIFF3>F2THEN360L=L－1K=I2K1=－KPRINT“Imin=”；K1，“L=”；LGOTO390IFL>=MTHEN475F3=(N－L－2)*V1／(Q－V1)I