多元線性回歸實(shí)例分析研究

#/19SPSS--回歸-多元線性回歸模型案例解析?。ㄒ唬┒嘣€性回歸，主要是研究一個(gè)因變量與多個(gè)自變量之間地相關(guān)關(guān)系，跟一元回歸原理差不多，區(qū)別在于影響因素（自變量）更多些而已，例如：一元線性回歸方程為：丫二九十氏沉號(hào)￡毫無疑問，多元線性回歸方程應(yīng)該為：上圖中地x1,x2,xp分別代表''自變量”Xp截止，代表有P個(gè)自變量，如果有“N組樣本,那么這個(gè)多元線性回歸，將會(huì)組成一個(gè)矩陣，如下圖所示：b5E2R。那么，多元線性回歸方程矩陣形式為:其中：代表隨機(jī)誤差，其中隨機(jī)誤差分為：可解釋地誤差和不可解釋地誤差，隨機(jī)誤差必須滿足以下四個(gè)條件，多元線性方程才有意義（一元線性方程也一樣p1Ean。1:服成正太分布，即指：隨機(jī)誤差必須是服成正太分別地隨機(jī)變量.2：無偏性假設(shè)，即指：期望值為03：同共方差性假設(shè)，即指，所有地隨機(jī)誤差變量方差都相等4：獨(dú)立性假設(shè)，即指：所有地隨機(jī)誤差變量都相互獨(dú)立，可以用協(xié)方差解釋.今天跟大家一起討論一下，SPSS多元線性回歸地具體操作過程，下面以教程教程數(shù)據(jù)為例，分析汽車特征與汽車銷售量之間地關(guān)系.通過分析汽車特征跟汽車銷售量地關(guān)系，建立擬合多元線性回歸模型.數(shù)據(jù)如下圖所示：DXDiT。salesresaletypepriceengineshorsepowwheelbaswidthlength匚u「t16.91916.3600215001.8140101.267.3172.439.38419.875028.4003.2225108.170.3192.914.1U18.22503.2225106.970.6192.08.68829.725042.0003.52101U.671.419G.620.39722.255023.9901.8150102.668.2178.018.78023.666033.9602.8200108.776.1192.01.38039.000062.0004.2310113.074.0198.219.747026.9902.5170107.368.4176.09.23128.676033.4002.81&3107.368.5176.017.52736.125038.9002.8193111.4709188.091.56112.475021.9753.1175109.0721194.639.35013.740025.3003.8240109.072.7196.227.85120190031.9663.8205113.874.7206.883.25713.360027.8863.8205112.273.6200.0G3.72922.625039.8954.6275115.374.5207.216.94327.100044.4754.6275112.275.0201.06.53626.726039.6664.6276108.075.5200.611.18518.225031.0103.0200107.470.3194.814.785146.2255.7255117.577.0201.2145.619&.250013.2602.2116104.167.9180.9135.12611.226016.5353.1170107.069.4190.424.62910.310018.8903.1m107.572.5200.942.59311.62619.390197.9110.5點(diǎn)擊“分析”——回歸——線性——進(jìn)入如下圖所示地界面：將“銷售量”作為“因變量”拖入因變量框內(nèi)，將“車長(zhǎng)，車寬，耗油率，車凈重等10個(gè)自變量拖入自變量框內(nèi)，如上圖所示，在“方法”旁邊，選擇“逐步”，當(dāng)然，你也可以選擇其它地方式，如果你選擇“進(jìn)入”默認(rèn)地方式，在分析結(jié)果中，將會(huì)得到如下圖所示地結(jié)果：（所有地自變量，都會(huì)強(qiáng)行進(jìn)入）RTCrp。輸入/腿去的袤量匕模型輸入的孌量移去的孌量方法1耗油量邁倂,車卷PrifJeinthousandsr,Vehicletype,車琨Enginesize,Fuel.■japapity,■Wheelbase,車淨(jìng)蛋Horsepower輸入已輸入所有請(qǐng)求的變量&因Log-transformedsales如果你選擇''逐步〃這個(gè)方法，將會(huì)得到如下圖所示地結(jié)果：（將會(huì)根據(jù)預(yù)先設(shè)定地“F統(tǒng)計(jì)量地概率值進(jìn)行篩選，最先進(jìn)入回歸方程地“自變量”應(yīng)該是跟“因變量”關(guān)系最為密切，貢獻(xiàn)最大地，如下圖可以看出，車地價(jià)格和車軸跟因變量關(guān)系最為密切，符合判斷條件地概率值必須小于0.05，當(dāng)概率值大于等于0.1時(shí)將會(huì)被剔除）5PCzV。

輸入十強(qiáng)畫的變量m模型輸入的孌量移去的孌量方法1Priceinthousand^歩進(jìn)（準(zhǔn)則;F-to-enter的朗率<=.050'￡F-tc-remov/e的翻率疋.2'Wheelbase歩進(jìn)（準(zhǔn)則;F-to-enterB^IU率鼻.050JF-to-remov/e的櫛軍鼻100）亠a.囲Log-transformed：sales''選擇變量(E)"框內(nèi)，我并沒有輸入數(shù)據(jù)，如果你需要對(duì)某個(gè)''自變量〃進(jìn)行條件篩選，可以將那個(gè)自變量，移入“選擇變量框”內(nèi)，有一個(gè)前提就是：該變量從未在另一個(gè)目標(biāo)列表中出現(xiàn)！，再點(diǎn)擊''規(guī)則''選擇變量(E)"框內(nèi)，我并沒有輸入數(shù)據(jù)，如果你需要對(duì)某個(gè)''自變量〃進(jìn)行條件篩選，可以將那個(gè)自變量，移入“選擇變量框”內(nèi)，有一個(gè)前提就是：該變量從未在另一個(gè)目標(biāo)列表中出現(xiàn)！，再點(diǎn)擊''規(guī)則〃設(shè)定相應(yīng)地''篩選條件〃即可，如下圖所示：jLBHr。疋叉選擇規(guī)則値唱吧經(jīng)性回歸二salesJ不等于小于小于等于貢于大于等于Ithcius前ds[|r藕助血二一1.:叭.點(diǎn)擊'統(tǒng)計(jì)量”彈出如下所示地框，如下所示：

95標(biāo)準(zhǔn)差取消幫助棋型擬合度:妙.艮方變也邏）95標(biāo)準(zhǔn)差取消幫助棋型擬合度:妙.艮方變也邏）□描述性部分旃關(guān)和寫桐關(guān)性巴□共耀性診斷丄）Durbin-Watson（U}.個(gè)案謬斷匸）#離群債0?所有個(gè)累回歸耒數(shù)S估計(jì)目骨信區(qū)間水無㈣□協(xié)方差矩暉電）幾差銭性回歸匕統(tǒng)計(jì)量在“回歸系數(shù)”下面勾選“估計(jì)，在右側(cè)勾選”模型擬合度“和”共線性診斷“兩個(gè)選項(xiàng)，再勾選“個(gè)案診斷”再點(diǎn)擊“離群值”一般默認(rèn)值為“3”，（設(shè)定異常值地依據(jù)，只有當(dāng)殘差超過3倍標(biāo)準(zhǔn)差地觀測(cè)才會(huì)被當(dāng)做異常值）點(diǎn)擊繼續(xù).xHAQX。提示：共線性檢驗(yàn)，如果有兩個(gè)或兩個(gè)以上地自變量之間存在線性相關(guān)關(guān)系，就會(huì)產(chǎn)生多重共線性現(xiàn)象.這時(shí)候，用最小二乘法估計(jì)地模型參數(shù)就會(huì)不穩(wěn)定，回歸系數(shù)地估計(jì)值很容易引起誤導(dǎo)或者導(dǎo)致錯(cuò)誤地結(jié)論.所以，需要勾選“共線性診斷”來做判斷LDAYt。通過容許度可以計(jì)算共線性地存在與否？容許度TOL=1-RI平方或方差膨脹因子（VIF）:VIF=1/1-RI平方，其中RI平方是用其他自變量預(yù)測(cè)第I個(gè)變量地復(fù)相關(guān)系數(shù)，顯然，VIF為TOL地倒數(shù)，TOL地值越小，VIF地值越大，自變量XI與其他自變量之間存在共線性地可能性越大.Zzz6Z。提供三種處理方法：1：從有共線性問題地變量里刪除不重要地變量2：增加樣本量或重新抽取樣本.3：采用其他方法擬合模型，如領(lǐng)回歸法，逐步回歸法，主成分分析法.再點(diǎn)擊“繪制”選項(xiàng)，如下所示：!□廠生所育部備囲巴!□廠生所育部備囲巴底繪性回歸:DEPENDNT*ZPRED*ZRESID*DRESID沁IFRED畑ESID^SDRESID荷準(zhǔn)化氏蓬圖□直方圖曲｝正態(tài)槪率限區(qū)）I殛訂［取消］両I上圖中：DEPENDENT因變量）ZPRED（標(biāo)準(zhǔn)化預(yù)測(cè)值）ZRESID（標(biāo)準(zhǔn)化殘差）DRESID（剔除殘差）ADJPRED（修正后預(yù)測(cè)值）SRSID（學(xué)生化殘差）SDRESID（學(xué)生化剔除殘差）一般我們大部分以“自變量”作為X軸，用“殘差”作為Y軸，但是，也不要忽略特殊情況這里我們以“ZPRED（標(biāo)準(zhǔn)化預(yù)測(cè)值）作為収'軸，分別用“SDRESID（血生化剔除殘差）”和“ZRESID（標(biāo)準(zhǔn)化殘差）作為Y軸，分別作為兩組繪圖變量gynl。再點(diǎn)擊”保存“按鈕，進(jìn)入如下界面：

如上圖所示：勾選''距離”下面地“cook距離〃選項(xiàng)（cook距離，主要是指：把一個(gè)個(gè)案從計(jì)算回歸系數(shù)地樣本中剔除時(shí)所引起地殘差大小，cook距離越大，表明該個(gè)案對(duì)回歸系數(shù)地影響也越大）Emxvx。在'預(yù)測(cè)區(qū)間”勾選'均值”和'單值”點(diǎn)擊'繼續(xù)”按鈕，再點(diǎn)擊'確定按鈕，得到如下所示地分析結(jié)果：（此分析結(jié)果，采用地是'逐步法”得到地結(jié)果）SixE2。模型匯總。棋型R民方調(diào)整R方標(biāo)準(zhǔn)伕計(jì)的誤1,552a.3041.1155342,655b.4-30.4221.01357'2乳預(yù)測(cè)孌雖：（常雖LPNceinthousarids.?d預(yù)測(cè)變量:f常量第PNceinthousands,-Wheelbase*q.國(guó)孌量:Log-transformedsalesAn&vac模型平方和df均方FSig.1回歸殘羞總計(jì)81.72018S.662'265.3S31150_1.51917'201.24465.670,ooad2回歸總計(jì)115.311153.072'265.3S321491.5157.6561.02756.1'22,ooab乳預(yù)測(cè)變雖：（常量％Pricminihotjeands丄d顏測(cè)變量；f常量］Priceinlliousandg,Wheelbasec-.國(guó)變gr：Log-transformedsale's已緋曜的孌量G模型BetaIn迸;Sig：..偏舉關(guān)共線性統(tǒng)計(jì)it容差細(xì)F最小容差1Vehicletype:25la3.854：ooo-.301.990■1.002.993Engine右iEE,:342a4.12B.tijoo'...32'a.6111.636.611Horsepower,257al：062.041..167.2933.417.293Wheelbase,356a5.71-0：obo-.424.獵L012.90S車寬,2443'3.517,tiJ01.277：S92■1.1-21.892-車長(zhǎng),30Sa4.79J0.IilOO；..365；9：7J6-1.025.976車凈重,345a'4.&00：obo-.353'.722■1.3057'^2Fueltapacity,266a'3：607.tijoo'...28Sf-：0210■1.219.-.820耗油量:邁丿升-,19Sa-2.5S.4RT=1<207.75JS-i.319''.7532Vehicletype,1-29b1.920.056.157.?！?：1'97.827Enginesize,145b，i：.576.117'J：西'2.246.445Horsepower,02Sb■.229.019..019.25J63.91.0；.256車寬-,025b-s2-75.734-.023'：4702.126.470,02>b.'237插3._Q2'a.'2910'90車浄重,105b.310&；..034.3657741.365Fuelcapacity,002b.024.931.002：44-32:259.443耗油墨:邁畀.014b■.1-64.014：.5591.730.559模型中的預(yù)測(cè)變量:（常量hPriceinthousands*模型申的鞭沏變量：（常量.Priceinthousands.Wheelbase*Log-transformed^'ales模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn)誤差試用版容差VIF1（常園Priceinthousands4.634-.051.1.94/.006":-.55224.090■/8.:104.000.0001.00Q1.0002f常量）PriceinthousandsWheelbase-1.磁.-.055.0611.151.（W.011-.590.356^'.58-3?也4丐■571S.11-6.000,.000.988J9甜1.0121.0Ha.因Log-transformedsales共線性謔斷m模型維數(shù)特征値條f牛索引方養(yǎng)比例Fr■忙已inthousandsWheelbase111.8851.000.0E,0E2.115■4-.05-1,94,94212.3471.000』Q；.002：.150■4.351.01..9.7.013.003-33.412.99.00.99a.因變Log-transformedsales極小値桜大僵均倩標(biāo)準(zhǔn)保差N預(yù)測(cè)値-；245405.64204:'3^9052.8685121^5'標(biāo)準(zhǔn)預(yù)測(cè)値-4.0452.693.002.934譯預(yù)測(cè)値的祿淮誤羞:aisz.354130.057155調(diào)整的預(yù)測(cè)値-.440425.6^214.:'3^8907.874840155'夢(mèng)-4.9711U2.327782.005131..99S146155掠準(zhǔn)賤差-4.9052.297.005.955155'Studentft踐差-4.9502.307-.：.99f4155'已刪除的殘莖-5.0631552：.34S876.0065801.01741.3155Students已刪除的建差-5：3Q7.：2.341'.0021.016155'Mahal|距離.00117.416'1.-96434231^5'EookB勺距窖.aoo:151.000：.017155居中杠桿値.aoo.115.01'3.023155'圖表頑方團(tuán)Log-transformedsales82.674.97Q71.0269.725O?85.517.51315.3582.674.97Q71.0269.725O?85.517.51315.35,.r?9.665tr^g45.55遢6245.70569.749.933424.4046.305%6.53526.93520.2321.41°O°12.05agteiflB啟那JI-^79922.19519.46^22.512131518.575°16.2425.345017-5OO10.B3519.0451934016.0814.2910.14525.45O回歸標(biāo)準(zhǔn)化預(yù)計(jì)値SPSS—回歸一多元線性回歸結(jié)果分析（二），最近一直很忙，公司地潮起潮落，就好比人生地跌巖起伏，眼看著一步步走向衰弱，卻無能為力，也許要學(xué)習(xí)''步步驚心〃里面''四阿哥〃地座右銘：''行到水窮處〃，"坐看云起時(shí)“.6ewMy。接著上一期地“多元線性回歸解析”里面地內(nèi)容，上一次，沒有寫結(jié)果分析，這次補(bǔ)上，結(jié)果分析如下所示'結(jié)果分析1'

輸入十強(qiáng)畫的變量m模型輸入的孌量移去的孌量方法1Priceinthousand^歩進(jìn)f準(zhǔn)則;F-to-enter的朗率<=.050FF-tc-remov/e的槪率疋工2Wheelbase歩進(jìn)（準(zhǔn)則;r-to-enter的朗率<=.050「F-to-remov/e的槪率41C0）亠a.Log-transformedsales由于開始選擇地是“逐步”法，逐步法是“向前”和“向后”地結(jié)合體，從結(jié)果可以看出，最先進(jìn)入''線性回歸模型"地是“priceinthousands"建立了模型1,緊隨其后地是“Wheelbase"建立了模型2，所以，模型中有此方法有個(gè)概率值，當(dāng)小于等于0.05時(shí)，進(jìn)入“線性回歸模型”（最先進(jìn)入模型地，相關(guān)性最強(qiáng)，關(guān)系最為密切）當(dāng)大于等0.1時(shí),從“線性模型中〃剔除kavU4。模型匯總。棋型R只方調(diào)整R方標(biāo)準(zhǔn)怡計(jì)的誤1,552a.304：-]3001.115534.2,655b.4-30.4221.0135Z2預(yù)測(cè)變量:（常量）,Priceinthousands.?額測(cè)變量:f常量J.-Prjceinthousands；Wheelbase*qLog-transformedsalesAnovac棋型平方和df均方FSig.1回歸總計(jì)81.720180.662'268.3831■1:5Q-151817.20,1.24465.670,ooaa2回歸殘羞總計(jì)115.311153.072268.383214915157.6561.02756.122,ooab乳碩測(cè)孌雖：（常量％Priceintrioijsands-b.Priceinlliousands,Wheelbasec-.國(guó)變gr：Log-transformedsale's結(jié)果分析：1：從“模型匯總”中可以看出，有兩個(gè)模型，（模型1和模型2）從R2擬合優(yōu)度來看，模型2地?cái)M合優(yōu)度明顯比模型1要好一些y6v3A。（0.422>0.300）2：從“Anova"表中，可以看出“模型2〃中地''回歸平方和〃為115.311,''殘差平方和〃為153.072,由于總平方和=回歸平方和+殘差平方和，由于殘差平方和（即指隨即誤差，不可解釋地誤差）

由于“回歸平方和”跟“殘差平方和”幾乎接近，所有，此線性回歸模型只解釋了總平方和地一半，M2ub6。3：根據(jù)后面地'F統(tǒng)計(jì)量〃地概率值為0.00，由于0.00V0.01,隨著'自變量〃地引入，其顯著性概率值均遠(yuǎn)小于0.01,所以可以顯著地拒絕總體回歸系數(shù)為0地原假設(shè)，通過ANOVA方差分析表可以看出'銷售量”與'價(jià)格”和'軸距”之間存在著線性關(guān)系，至于線性關(guān)系地強(qiáng)弱，需要進(jìn)一步進(jìn)行分析.OYujC。已緋除的孌量口模型BetaIn.寮Sig：.，偏相關(guān)扶線性統(tǒng)計(jì)量容差豎IF最小容差1Vehicletype:姑卩1S54.000.301.9901.002.990Engine.size：342a4.1218..320.6111.636.611Horsepower267aND也.U41..167.293.3.417-.29.3Wheelbase,356a5.71-8：obo-.424■1：012.90S年寬,2443'3.517.tijoi.277：0921.1-21.092-,308a4.79J0...WO；..365；9：7J6'1.025.976車凈重,346a4.&00：obo-.353'727■1.3S57^2Fuelcapacity,266a'3：6S7..289f-：02101.219.-.020耗油量:邁丿升-,198a-2.58.4...X）T1<207.753.7581Vehicletype,1-29b1.925.056.157.6笳.027Engine.size,145bi：.576.117'2.246.445Horsepower,028b'.229.819..019.25J；.256車寬-,025b--.275.7S4-.023'：4701.126.470,02>b.237涵a._Q2'a'2990車浄重,105b,^U&；..084.365\2.741.365Fuelcapacity,002b.024.931.002：44-322旳.443耗油量:邁坍,014b-.1-64越J.014'..5591.790.559模型中的預(yù)測(cè)孌量:（常量*Priceinthousands*模型申的鞭別孌量：（常量*Prfceinthousands.Wheelbase*Log-transformed^ales結(jié)果分析：1：從''已排除地變量”表中，可以看出：''模型2〃中各變量地T檢地概率值都大于、'0.05”所以,不能夠引入''線性回歸模型"必須剔除.eUts8。

模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn)誤差試用版容差VIF1（常量）Priceinthousands4.684-.051.1.94/.006":-.55224.090■/8.:104.000.0001.00Q1.0002（常量）PriceinthousandsWheelbase-1.02-t-.055.0611.151.011-.590.356^'.503■5718.11-6.000.000.90S陽1.0Ui.ona.因Log-transformedsales從“系數(shù)a”表中可以看出：1：多元線性回歸方程應(yīng)該為：銷售量=-1.822-0.055*價(jià)格+0.061*軸距但是，由于常數(shù)項(xiàng)地sig為(0.116>0.1)所以常數(shù)項(xiàng)不具備顯著性，所以，我們?cè)倏春竺娴亍皹?biāo)準(zhǔn)系數(shù)”，在標(biāo)準(zhǔn)系數(shù)一列中，可以看到“常數(shù)項(xiàng)”沒有數(shù)值，已經(jīng)被剔除sQsAE。所以：標(biāo)準(zhǔn)化地回歸方程為：銷售量=-0.59*價(jià)格+0.356*軸距2：再看最后一列“共線性統(tǒng)計(jì)量〃，其中''價(jià)格〃和''軸距〃兩個(gè)容差和“vif都一樣，而且VIF都為1.012，且都小于5，所以兩個(gè)自變量之間沒有出現(xiàn)共線性，容忍度和膨脹因子是互為倒數(shù)關(guān)系，容忍度越小，膨脹因子越大，發(fā)生共線性地可能性也越大GMsIa。共絞性唸模型維數(shù)特征値棊｛牛索引方盞比例PriceinthousandsWheelbase111.8851.000.06.062.115■4-.05-1,94,94212.8471.000.002：.1504.351.01..97.013.003-33.41-2.99,0C.99a.因變>:Log-transformedsales珪羞霸計(jì)霾m極小値桜大僵均値標(biāo)準(zhǔn)保差N預(yù)測(cè)諂-；245405.64204.:'3>29052.8685121^5'標(biāo)準(zhǔn)預(yù)測(cè)値-4.0452.693.002.934怦預(yù)測(cè)値的際準(zhǔn)誤差.082.354130.057155調(diào)整的預(yù)測(cè)値-.440425.6^214-:'ahBao?.874840155'-4.9711132.327782.005131..99S146155際準(zhǔn)建差-4.9052.297.005.955155Studentft建差-4.9502.307-.：.99[4155'已刪除的殘莖-5.0631552.348876.00658.0■0.1741.1155Students已刪條的殘差-5J97.：2.341'.0021.016165Mahal距團(tuán).00117.416'1,-96'43.423155'.000:151.006：.017155居中杠桿値.000.115.01'3.023155從“共線性診斷”表中可以看出：1：共線性診斷采用地是“特征值”地方式，特征值主要用來刻畫自變量地方差，診斷自變量間是否存在較強(qiáng)多重共線性地另一種方法是利用主成分分析法，基本思想是：如果自變量間確實(shí)存在較強(qiáng)地相關(guān)關(guān)系，那么它們之間必然存在信息重疊，于是就可以從這些自變量中提取出既能反應(yīng)自變量信息（方差），而且有相互獨(dú)立地因素（成分）來，該方法主要從自變量間地相關(guān)系數(shù)矩陣出發(fā)，計(jì)算相關(guān)系數(shù)矩陣地特征值，得到相應(yīng)地若干成分TIrRG。從上圖可以看出：從自變量相關(guān)系數(shù)矩陣出發(fā)，計(jì)算得到了三個(gè)特征值（模型2中），最大特征值為2.847，最小特征值為0.0037EqZc。條件索引=最大特征值/相對(duì)特征值再進(jìn)行開方（即特征值2地條件索引為2.847/0.150再開方=4.351）圖71。標(biāo)準(zhǔn)化后，方差為1，每一個(gè)特征值都能夠刻畫某自變量地一定比例，所有地特征值能將刻畫某自變量信息地全部，于是，我們可以得到以下結(jié)論：zvpge。1：價(jià)格在方差標(biāo)準(zhǔn)化后，第一個(gè)特征值解釋了其方差地0.02，第二個(gè)特征值解釋了0.97，第三個(gè)特征值解釋了0.002：軸距在方差標(biāo)準(zhǔn)化后，第一個(gè)特征值解釋了其方差地0.00，第二個(gè)特征值解釋了0.01，第三個(gè)特征值解釋了0.99NrpJ。

可以看出：沒有一個(gè)特征值，既能夠解釋“價(jià)格”又能夠解釋“軸距”所以“價(jià)格”和“軸距”之間存在共線性較弱.前面地結(jié)論進(jìn)一步得到了論證.（殘差統(tǒng)計(jì)量地表中數(shù)值怎么來地，這個(gè)計(jì)算過程，我就不寫了）inowf。從上圖可以得知：大部分自變量