回歸分析總結(jié)

第十二章多元回歸分析在許多實(shí)際問題中，影響因變量的因素有一個時，我們用一元回歸分析解決問題，但是影響因變量的因素往往有多個，此時問題就上升到了一個因變量同多個自變量的多元回歸問題。當(dāng)因變量與自變量之間為線性關(guān)系時，我們稱之為多元線性回歸。多元性性回歸分析的原理同一元線性回歸基本相同，但計(jì)算上要復(fù)雜得多。主要知識點(diǎn)：建立的回歸模型中回歸系數(shù)和誤差項(xiàng)分別代表的含義：回歸系數(shù)表示當(dāng)其他個自變量不變時，第個自變量一個單位因變量的平均變動量；誤差項(xiàng)表示不能由各個自變量與之間的線性關(guān)系所解釋的變異性。利用軟件用最小二乘法對參數(shù)進(jìn)行估計(jì)的方法及步驟：在Excel中使用“工具”“數(shù)據(jù)分析”“回歸”輸入數(shù)據(jù)區(qū)域“確定”，即可得到各參數(shù)的估計(jì)值，此時便可以寫出回歸方程。擬合優(yōu)度的檢驗(yàn)方法：方法一：多重判定系數(shù)表示在因變量的總變差中被估計(jì)的回歸方程所解釋的比例；故越大越好。方法二：估計(jì)標(biāo)準(zhǔn)誤差表示根據(jù)所建立的回歸方程，用自變量來預(yù)測因變量時，平均預(yù)測誤差的大?。还试叫≡胶?，越小說明波動性越小。用軟件進(jìn)行線性關(guān)系檢驗(yàn)的方法：在Excel中，在“工具”“數(shù)據(jù)分析”“回歸”方差分析一欄中有“SignificanceF”值（即P值），當(dāng)時，拒絕原假設(shè)；當(dāng)時，接受原假設(shè)。回歸系數(shù)的檢驗(yàn)：檢驗(yàn)單個自變量對因變量的影響是否顯著，檢驗(yàn)步驟同線性關(guān)系的檢驗(yàn)，檢驗(yàn)過程中可能會因?yàn)椤岸嘀毓簿€性”問題導(dǎo)致某些自變量無法通過檢驗(yàn)。檢驗(yàn)步驟：第1步：提出假設(shè)。對于任意參數(shù)有第2步：計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t。第3步：做出統(tǒng)計(jì)決策。給定顯著性水平，根據(jù)自由度=n-k-1查t分布表，得的值。若，則拒絕原假設(shè)；若，則不拒絕原假設(shè)。多重共線性：產(chǎn)生原因：自變量之間的相關(guān)性；檢驗(yàn)方法：方法一：檢驗(yàn)?zāi)Ｐ椭懈鲗ψ宰兞恐g是否顯著相關(guān)，若顯著相關(guān)則暗示存在多重共線性；方法二：當(dāng)模型的線性關(guān)系檢驗(yàn)（F檢驗(yàn)）顯著時，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著；方法三：當(dāng)回歸系數(shù)的正負(fù)號與預(yù)期的相反時也預(yù)示著多重共線性的存在；問題的處理：方法一：將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)；方法二：如果要在模型中保留所有的自變量，那就應(yīng)該：ⅰ避免根據(jù)t統(tǒng)計(jì)量對單個參數(shù)進(jìn)行檢驗(yàn)。ⅱ對因變量y值得推斷（估計(jì)或預(yù)測）限定在自變量樣本值的范圍內(nèi)。利用回歸方程進(jìn)行預(yù)測：利用給定的k個自變量，求出因變量y的平均值的預(yù)測區(qū)間和個別值的預(yù)測區(qū)間。變量選擇：原理：對統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)，將一個或一個以上的自變量引入模型，如果增加一個自變量會使得殘差平方和（SSE）明顯減少，則將該自變量留在模型中，否則剔除。主要方法：1）向前選擇2）向后剔除3）逐步回歸建立回歸模型回歸方程利用最小二乘法對參數(shù)進(jìn)行估計(jì)建立回歸模型回歸方程利用最小二乘法對參數(shù)進(jìn)行估計(jì)參數(shù)包括寫出回歸方程方程擬合優(yōu)度的檢驗(yàn)線性關(guān)系檢驗(yàn)回歸系數(shù)的檢驗(yàn)檢驗(yàn)單個自變量對因變量的影響是否顯著，檢驗(yàn)步驟同線性關(guān)系的檢驗(yàn)，檢驗(yàn)過程中可能會因?yàn)椤岸嘀毓簿€性”問題導(dǎo)致某些自變量無法通過檢驗(yàn)。利用回歸方程進(jìn)行預(yù)測利用給定的k個自變量，求出因變量y的平均值的預(yù)測區(qū)間和個別值的預(yù)測區(qū)間。變量選擇——我稱之為“模型的簡化”主要方法原理：對統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)，將一個或一個以上的自變量引入模型，如果增加一個自變量