spss多重線性回歸逐步回歸法操作和結果解釋方法

spss多重線性回歸逐步回歸法操作和結果解釋方法?瀏覽：16524?瀏覽：16524TablesMixedModels.CorrelateRegressionLoglinearScaleMu!tinonriialLegist＜：,rNeuralNetworksClas-shyDimensionReductionReportsDescriptiveStatisticsTablesMixedModels.CorrelateRegressionLoglinearScaleMu!tinonriialLegist＜：,rNeuralNetworksClas-shyDimensionReductionReportsDescriptiveStatisticsCjcnpareMeansGeneralLinearModelNonparametricTestsForecastingSurvivalstrnt.&：'wasle變量36.36.任1.97.19；?切,GeneralizedLinearMadeJs]BinaryLogistic...百度師傅最快的到家服務，最優(yōu)質(zhì)的電腦清灰!spss經(jīng)常用到的一個回歸方法是stepwise，也就是逐步回歸，它指的是每次只納入或者移除一個變量進入模型，這個方法雖然好用，但是最后可能出現(xiàn)幾個模型都比較合適，你就要比較這幾個模型的優(yōu)劣，這是個麻煩事，這里就給大家簡單的分析分析。方法/步驟1.打開spss以后，打開數(shù)據(jù)，這些都準備好了以后，我們開始擬合方程，在菜單欄上執(zhí)行：analyze---regression---linear，打開回歸擬合對話框閭PartialLeastSquare?.^.2.，我們將因變量放大dependent欄，將自變量都放到independent2.LiBear￡egresai.?&^工業(yè)企業(yè)用地餉助胡"金屬制造業(yè)用咆［mei.妒道輻、批賽企業(yè)用地...疹卷售業(yè)用地［retaiil就賓館、搟洗Ik用地值一.rBlock1列Bqirtstffip...冊何?Dependent:：*li雀囹癰麗?；捕碒EthOd：By[,Pr&vjaus夕王業(yè)企業(yè)用地（indvslj質(zhì)段屆制造業(yè)用杷叩導閣割"這輸、拂戡儉業(yè)用地|血t楣［旺日已口口nd巨nt［涅）;Enter3.將method設置為stepwise，這就是逐步回歸法4.點擊ok按鈕，開始輸出擬合結果我們看到的第一個表格是變量進入和移除的情況，因為這個模型擬合的比較好，所以我們看變量只有進入沒有移除，但大部分的時候變量是有進有出的，在移、，海i那歡En&red除的變量這一欄也應該有變量的、，海i那歡En&red■^7Stepwise(Cri^ria:移除的醐ft050.Pnoij^bility-ol-F-lQ-reniov^>=.1蜘業(yè)用刪Stepwise(Gri^ria;業(yè)用刪ProLahilit;-nf-F-ig-enter,050bPr孫部ili牛汗F-I(34eniavfiy.10D).Ste-Owis^(Criteria:Probability'of-F--l3'enter<=,Q5Q.Prohablli^-o^F-lt?-rem(yve整.10€).(Gril&ria：Profciahility-of-F-la-enter'<=.050.第二個表格是模型的概況，我們看到下圖中標出來的四個參數(shù)，分別是負相關系數(shù)、決定系數(shù)、校正決定系數(shù)、隨機誤差的估計值，這些值（除了隨機誤差的估計值）都是越大表明模型的效果越好，根據(jù)比較，第四個模型應該是最好模型的概況隨機誤差復相關系數(shù)決定系數(shù)校正諛定毒數(shù)的估計值\J/ /^tactefSunwiary zModelRLtRSquireAdjtKted凡卻型.Std.Errorof就切sq咋拒ii,6注.6692,sg&b.903.792\3，耐.@114畫g.521.14*47方差分析表，四個模型都給出了方差分析的結果，這個表格可以檢驗是否所有偏回歸系數(shù)全為0，sig值小于0.05可以證明模型的偏回歸系數(shù)至少有一個不為零AMOVfl^SumolModel_Squ噩典UThlsGriSguareF灑1Hegression3.45fl13.45079S85000bPesidual1囊36.043Toial5.095392Regression4.09122.0^575329,■OODGP^idual37,027Total5.0953S3Regression4.2043140156.621,000dResidual89136.025Total5.095394Regression4.32441.09149.037.00DeResidual-77T35.022Total5.095的DepiI何entVarialite:E汰」-也:排放!。Pretficlors:(Conshnlj,罰!K、餐忙臼兀電e_Pr酒電si(Consfet^腳-餐鼬皿i■:?輜?批糕**岑您土PrMi雨尊tCon血商,宜布、轡仗敦周地-?/輸?眥窟住業(yè)用地,工訕釀通雨地g參數(shù)的檢驗，這個表格給出了對偏回歸系數(shù)和標準偏回歸系數(shù)的檢驗，偏回歸系數(shù)用于不同模型的比較，標準偏回歸系數(shù)用于同一個模型的不同系數(shù)的檢驗，其值越大表明對因變量的影響越大。標準偏回偏1口1白系豹 攻缺亦bMocfel'"XUrKtandardi^d、CaeFFkientsStandandizedS&g.BStd.Error] (Cwstanft)薊官、希枕業(yè)用地.147.010.042回1.B23I.+958.9Z7.001.DOD2 (ccmsana)瀚、翌慎業(yè)用地運都、掰發(fā)企業(yè)用地.ODD心明.001,WQ.5753.806十舊57.001曲0,00。3 仁西5品閔賓誼、金飲業(yè)用地遠輸?比發(fā)企處用增工ik洛業(yè)用境,134-OOB.0即,(B2,Ml.M0.MO.陳.449土54.1779-0K，就.005.039建搭、黃設世用她運輸、批發(fā)企業(yè)用始工業(yè)企業(yè)用詢零岳止用地.123,013.CDO-5.22^-05,031.002.300.000.(KQ1.073.翊-.Z21-.141■t.Ol-t5.934,00。.flOQ.利囪Depen問tliable；固洋15服排做里END經(jīng)驗內(nèi)容僅供參考，如果您需解決具體問題(尤其法律、醫(yī)學等領域)，建議您詳細咨詢相關領域專業(yè)人士。作者聲明：本篇經(jīng)驗系本人依照真實經(jīng)歷原創(chuàng)，未經(jīng)許可，謝絕轉載。第三十三課 逐步回歸分析一、 逐步回歸分析在一個多元線性回歸模型中，并不是所有的自變量都與因變量有顯著關系，有時有些自變量的作用可以忽略。這就產(chǎn)生了怎樣從大量可能有關的自變量中挑選出對因變量有顯著影響的部分自變量的問題。在可能自變量的整個集合有40到60個，甚至更多的自變量的情況下，使用“最優(yōu)”子集算法可能并不行得通。那么，逐步產(chǎn)生回歸模型要含有的X變量子集的自動搜索方法，可能是有效的。逐步回歸方法可能是應用最廣泛的自動搜索方法。這是在求適度“好”的自變量子集時，同所有可能回歸的方法比較，為節(jié)省計算工作量而產(chǎn)生的。從本質(zhì)上說，這種方法在每一步增加或剔除一個X變量時，產(chǎn)生一系列回歸模型。增加或剔除一個X變量的準則，可以等價地用誤差平方和縮減量、偏相關系數(shù)或F統(tǒng)計量來表示。無疑選擇自變量要靠有關專業(yè)知識，但是作為起參謀作用的數(shù)學工具，往往是不容輕視的。通常在多元線性模型中，我們首先從專業(yè)角度選擇有關的為數(shù)眾多的因子，然后用數(shù)學方法從中選擇適當?shù)淖蛹?。本?jié)介紹的逐步回歸法就是人們在實際問題中常用的，并且行之有效的方法。逐步回歸的基本思想是，將變量一個一個引入，引入變量的條件是偏回歸平方和經(jīng)檢驗是顯著的，同時每引入一個新變量后，對口選入的變量要進行逐個檢驗，將不顯著變量剔除，這樣保證最后所得的變量子集中的所有變量都是顯著的。這樣經(jīng)若干步以后便得“最優(yōu)”變量子集。逐步回歸是這樣一種方法，使用它時每一步只有一個單獨的回歸因子引進或從當前的回歸模型中剔除。Efroymoson（1966）編的程序中，有兩個F水平，記作%和馬妒在每一步時，只有一個回歸因子，比如說X,?，如果剔除它可能引起RSS的減少不超過殘'差均方MSE（即ESS/（N-k-1））的Fout倍，則將它剔除；這就是在當前的回歸模型中，用來檢驗=0的F比是小于或等于Fout.°Ut 1若剔除的變量需要選擇，則就選擇使RSS減少最少的那一個（或等價的選擇F比最小的）。用這種方式如果沒有變量被剔除，則開始引進一個回歸因子，比如X.，如果引進它后使RSS的增加，至少是殘差均方的FJ倍則將它引進。即若在當前模型加?.項后，為了檢驗j=0的F比，F(xiàn)>1時，則引進X，其次，若引進的變量需要選擇，則選擇F比最大的。程序按照上面的步驟開始擬合，當沒有回歸因子能夠引進模型時，該過程停止。二、 變量選擇的方法若在回歸方程中增加自變量X，稱為“引入”變量X，將已在回歸方程中的自變量Xj從回歸方程中刪除，則稱為“剔除”變量X。無論引入變量或剔除變量，都要利用F檢驗，將顯著的變量引入回歸方程，而將不顯著的從回歸方程中剔除。記引入變量F檢驗的臨界值為F（（進］，剔除變量F檢驗的臨界值為F"出），一般取F.>Fout，它的確定原則一般是對k個自變量的m個（m<k），對顯著性水平切1=1，df2=的F分布表的值，記為F*，則取F^F叫=F*。一般來說，也可以直接取F,=Fou=2.0或2.5。當然，為了回歸方程中還能夠多進入一'些自變量，甚至也可以取為1.0或彳.5。變量增加法首先對全部k個自變量，分別對因變量y建立一元回歸方程，并分別計算這k個一元回歸方程的k個回歸系數(shù)F檢驗值，記為｛｝，選其最大的記為=max｛｝，若有>尸擴則首先將*引入回歸方程，不失一般性，設*就是X］。接著考慮X］分別與X2X3,...Xk與因變量y組成二元回歸方程，對于這k-1個回歸方程中X2，...,Xk的回歸系數(shù)進行F檢驗，計算F值，并選其最大的F值，若>F,?疽則接著就將Xj引入回歸方程，不失一般性，設X.就是x2。 " 7對已經(jīng)引入回歸方程的變量x1和X2,如同前面的方法做下去，直至所有未被引入方程的變量的F值均小于Fn時為止。這時的回歸方程就是最終選定的回歸方程。顯然，這種增加法有一定的缺點，主要是，它不能反映后來變化的情況。因為對于某個自變量，它可能開始是顯著的，即將其引入到回歸方程，但是，隨著以后其他自變量的引入，它也可能又變?yōu)椴伙@著了，但是，并沒有將其及時從回歸方程中剔除掉。也就是增加變量法，只考慮引入而不考慮剔除。變量減少法與變量增加法相反，變量減少法是首先建立全部自變量X］,x2,...,xk對因變量y的回歸方程，然后對k個回歸系數(shù)進行F檢驗，記求得的F值為｛｝，選其最小的記為=min｛｝，若有<F。相,則可以考慮將自變量X,從回歸方程中剔除掉，不妨設X?.就取為*。 河再對X2,X3,...,Xk對因變量y建立的回歸方程重復上述過程，取最小的F值為，若有<Fout，則將*?也從回歸方程中剔除掉。不妨設*?就是X2。重復前面的做法，直至在回歸方程中"的自變量F檢驗值均大于Fout，即沒有變量可剔除為止。這時的回歸方程就是最終的回歸方程。這種減少法也有一個明顯的缺點，就是一開始把全部變量都引入回歸方程，這樣計算量比較大。若對一些不重要的變量，一開始就不引入，這樣就可以減少一些計算。變量增減法

前面的兩種方法各有其特點，若自變量X],x2,...，l完全是獨立的，則可結合這兩種方法，但是，在實際的數(shù)據(jù)中，自變量X],x2,...,x.之間往往并不是獨立的，而是有一定的相關性存在的，這就會使得隨著回歸方程中變量的增加和減少，某些自變量對回歸方程的貢獻也會發(fā)生變化。因此一種很自然的想法是將前兩種方法綜合起來，也就是對每一個自變量，隨著其對回歸方程貢獻的變化，它隨時可能被引入回歸方程或被剔除出去，最終的回歸模型是在回歸方程中的自變量均為顯著，不在回歸方程中的自變量均不顯著。三、 引入變量和剔除變量的依據(jù)如果在某一步時，已有個變量被引入到回歸方程中，不妨設為，即已得回歸方程:并且有平方和分解式：(33.1)顯然，回歸平方和及殘差平方和均與引入的變量相關。為了使其意義更清楚起見，將其分別設為RSS（）及ESS（）。下面我們來考慮，又有一個變量（l<i<被引入回歸方程中，這時對于新的回歸方程所對應的平方和分解式為：(33.2)TSS=RSS（，）ESS（,）當變量X.引入后，回歸平方和從RSS（）增加到RSS（，），而相應的殘差平方和卻從ESS（）降到ESS（,），并有：(33.3)RSS（,）-RSS（）=ESS（）-ESS（,）記，它反映了由于引入后，對回歸平方和的貢獻，也等價于引入后殘差平方量，稱其為對因變量的方差貢獻，故考慮檢驗統(tǒng)計量：，和所減少的(33.4)其中為樣本量，是已引入回歸方程的變量個數(shù)，這時若有，則可以考慮將自變量引入回歸方程，否則不能引入。實際上大于F的變量開始時可能同時有幾個，那么是否將它們都全部引入呢？實際編程序.n時并不是一起全部引入，而是選其最大的一個引入回歸方程。關于剔除變量，如果已有個變量被引入回歸方程，不失一般性，設其為，所對應的平方和分解公式為：(33.5)其中為了研究每個變量在回歸方程中的作用，我們來考慮分別刪掉X.（/=1,2,...,Z后相應的平方和分解公式為：(33.6)這時，回歸平方和從降為，同時殘差也發(fā)生相應的變化。殘差平方和從增加到，對回歸平方和的貢獻，也等價于刪除后殘差平方和所增加的量，同理可表示為：(33.7)同理，我們來構造檢驗統(tǒng)計量：(33.8)(33.9)顯然，這時■越小，則說明在回歸方程中起的作用（對回歸方程的貢獻）越小，也就是若I有,則可以考慮將自變量從回歸方程中剔除掉，我們在編程序時，每次只剔除一個，因此，我們每次選擇最小的來與進行比較。若有則可以不考慮剔除，而開始考慮引入。四、逐步回歸在使用過程中要注意的問題逐步回歸在計算過程中，進入和剔除變量規(guī)則的差別在例子中有可能得到說明。例如，可以根據(jù)F.統(tǒng)計量中MSE的自由度來使用不同的Fin和。但是，往往并不使用這種提純量，而是使用固定的F值，因為在搜索過程的重復檢驗中，并不可能得到精確的概率解釋。最低可接受Fn決不應小于最高可接受，否則就有可能重復進入和剔除一個自變量。自變量進入模型的順序并不反映它們的重要程度。例如，第一個進入模型的X1，最終卻可能被剔除。我們使用的逐步回歸程序，在每個階段上都打印出偏相關系數(shù)。對于篩選變量來說，使用這些相關系數(shù)與使用F.值是等價的，事實上，有些程序就是使用偏相關系數(shù)來篩I選變量的。進入和剔除一個變量的F限不必根據(jù)近似顯著性水平選定，但可以根據(jù)誤差縮減量來描述性地確定。例如，一個進入變量的F限2.0可以這樣來說明：變量一旦進入模型，那么，進入變量的邊際誤差縮減量至少應該是剩余誤差均方的二倍。逐步回歸方法的一個局限是預先假定有單一的最優(yōu)X變量子集，從而來進行識別。正如前面已經(jīng)提到的，常常并沒有唯一的最優(yōu)子集。因此，一些統(tǒng)計學家建議，求得逐步回歸的解!后，擬合所有可能與逐步回歸解的自變量個數(shù)相同的回歸模型，以研究是否存在更好的X變量子集。逐步回歸方法的另一個缺點是當X變量高度相關時，有時會得到不合理的“最優(yōu)”子集。也有人提出好幾種其他尋找“最優(yōu)”自變量子集的自動搜索方法。我們這里提一下其中的兩種。但這兩種方法都還未被接受為逐步搜索方法。其中之一為向前選元法，這種搜索方法只是逐步回歸方法的簡化，略去了檢驗進入模型的變量是否應被剔除這一步。其中之二為向后剔除法，這種搜索方法與向前選元法相反。它從包括所有X變量的模型開始，挑出值最小的那個變量。例如，假定為值最小的那個變量，有：(33.10)如果最小的值小于預定限，就剔除這個變量，然后擬合剩余的個自變量的模型，挑選下一個待剔除元。重復這種過程，直至沒有自變量可以被剔除。因為向后剔除法是從最大可能模型開始的，所以它比向前選元法需要更多的計算量。但是，向后剔除法有一個優(yōu)點，它可以使使用者明白含有許多變量模型的復雜性。五、 stepwise逐步回歸過程stepwise過程對逐步回歸提供了九種方法。當你有許多自變量且想找出哪些自變量是該選入回歸模型時，stepwise是有用的。由于stepwise可以使你深入地了解自變量與因變量或響應變量之間的關系，因此，它對考察分析是很有幫助的。但是，stepwise并不能保證給你“最好”的模型，甚至具有最大R2的模型也不一定是“最好”的，并且靠這些均值演變得來的模型沒有一個可以保證它精確地描述了真實世界的過程。stepwise與rsquare以及其他過程是不同的。rsquare對所有自變量的組合找出R2，所以它可以指出具有最大R2的模型。而stepwise在挑選變量時選擇下面描述的方法，所以，當stepwise判斷模型時，它打印一份多個回歸報告。1. stepwise過程提供的九種模型（1）none（全回歸模型）。沒有對回歸變量進行篩選，建立與全部自變量的全回歸模型。/brward(向前選擇)。向前選擇技術以模型中沒有變量開始，對每個自變量，forward計算反映自變量對模型的貢獻的F統(tǒng)計量。這些F統(tǒng)計量與model語句中給出的slentry=水平上的值相比較，如果F統(tǒng)計量的顯著水平?jīng)]有一個比slentry=水平上(如果缺省slentry=這個參數(shù)，則顯著水平假設為0.50)的值大，則forward停止。否則，forward在模型中加入具有最大F統(tǒng)計量的變量，然后forward再計算這些變量的F統(tǒng)計量直到剩下的變量都在模型的外面，再重復估計過程。變量就這樣一個接一個地進入模型直到剩下的變量沒有一個可以產(chǎn)生顯著的F統(tǒng)計量。一旦一個變量進入了模型，它就不再出去了。?如成財d(向后淘汰)。向后淘汰技術以計算含有全部自變量的模型的統(tǒng)計量為開始。然后變量一個接一個地從模型中剔除，直到留在模型中的所有變量產(chǎn)生的F統(tǒng)計量的顯著水平在slstay=水平上(如果缺省slstay=這個參數(shù)，則顯著水平假設為0.10)。在每一步，剔除對模型貢獻最小的變量。stepwise(逐步回歸，向前且向后)。逐步方法是向前選擇的修正。對已在模型中的變量，不一定必須一直在模型中，這點與向前選擇法是不同的°stepw，se按照向前選擇方法選入變量后，還考察模型中所包含的所有變量并剔除使得F統(tǒng)計量的顯著水平不在slstay=水平上的變量。只有在完成檢驗和必要的剔除之后，其他變量才可再進入模型。當模型外的變量沒有一個使F統(tǒng)計量在slentry=水平上顯著且模型中的每個變量在slstay=水平上顯著，或加到模型中的變量是剛剛剔除的變量時候，逐步處理便結束了。5(具有對偶切換的向前選擇)。最大R2改良技術是占優(yōu)勢的逐步技術，它幾乎與所有可能的回歸一樣好。不像上面三種技術，這個方法不是落在單個模型上，而是試著找出最佳一變量模型、最佳二變量模型等等，但它不能保證對每個量度都能找到具有最大R2的模型。maxr方法先找出一個產(chǎn)生最大R2值的變量，然后再加入另一個次最大R2值的變量，從而形成二變量的模型。形成二變量的模型之后，將模型中的變量與模型外的變量相比較，以決定是否移去一個變量而以另一個能生成更大R2值的變量來代替。全部比較結束后，便得到了最佳二變量模型。依次往下，便得到最佳三變量模型等等。mi^?(具有對偶搜索的向前選擇)。最小R2增量法非常類似于maxr，只是選擇準則為產(chǎn)生最小R2增量。對模型中一個已知的變量數(shù)，maxr和minr通常產(chǎn)生同樣的“最佳”模型，但是minr在每步中考慮較多的模型。rsquare(R2選擇法)。按給定樣本的R2大小準則選擇最優(yōu)的自變量子集，但不能保證對總體或其他樣本而言是最優(yōu)的。用戶可以規(guī)定出現(xiàn)在子集中自變量的最大和最小個數(shù)及被選擇的每種子集的個數(shù)。R2選擇法總能夠對所考慮變量的每種變量個數(shù)找到具有最大R2的模型，但需要很多的計算時間。a^/rsq(修正R2選擇法)。該方法類似于rsquare法，只是對于選擇模型使用的準則為修正R2統(tǒng)計量。修正公式見(32.27)式。Mallows的q統(tǒng)計量。&統(tǒng)計量是由Mallows提出的作為選擇模型的判別式的變量。Cp是一個誤差平方總和的量度：(33.11)其中，P是模型中包括截距項的