《－多元線性回歸》課件

多元線性回歸歡迎來到多元線性回歸的深入探討。本課程將帶您了解這一強大的統(tǒng)計工具的原理、應(yīng)用和局限性。什么是多元線性回歸？定義多元線性回歸是一種統(tǒng)計分析方法，用于研究多個自變量與一個因變量之間的線性關(guān)系。應(yīng)用廣泛應(yīng)用于經(jīng)濟、金融、醫(yī)學等領(lǐng)域，用于預測和解釋復雜現(xiàn)象。優(yōu)勢可以同時考慮多個因素的影響，提供更全面的分析視角。多元線性回歸模型模型形式Y(jié)=β?+β?X?+β?X?+...+β?X?+ε參數(shù)解釋Y為因變量，X為自變量，β為回歸系數(shù)，ε為誤差項目標估計回歸系數(shù)，建立最佳擬合模型模型假設(shè)線性關(guān)系自變量與因變量之間存在線性關(guān)系獨立性觀測值之間相互獨立同方差性誤差項具有恒定方差正態(tài)分布誤差項服從正態(tài)分布參數(shù)估計1數(shù)據(jù)收集獲取足夠的樣本數(shù)據(jù)2模型設(shè)定確定自變量和因變量3估計方法選擇通常采用最小二乘法4計算與解釋得到回歸系數(shù)并解釋其含義參數(shù)估計方法最小二乘法最常用的方法，minimizes誤差平方和極大似然估計基于概率模型，適用于非線性情況貝葉斯估計結(jié)合先驗信息，適用于小樣本最小二乘法原理最小化殘差平方和，找到最佳擬合直線。優(yōu)點計算簡單，結(jié)果易解釋，適用于大多數(shù)線性回歸問題。局限性對異常值敏感，可能導致過擬合。最小二乘法求解構(gòu)建目標函數(shù)Q(β)=Σ(Y?-??)2求偏導數(shù)?Q/?β=0解方程組得到β的估計值驗證檢查結(jié)果的合理性模型的評估1模型擬合優(yōu)度2統(tǒng)計顯著性檢驗3預測能力評估4殘差分析全面評估模型性能，確保其可靠性和有效性。R-squared決定系數(shù)定義R2衡量模型解釋因變量變異的程度計算R2=1-(殘差平方和/總平方和)解釋R2值越接近1，模型擬合越好F-檢驗?zāi)康臋z驗整個回歸模型的顯著性原理比較回歸均方與殘差均方判斷標準p值小于顯著性水平時，模型顯著t-檢驗1目的檢驗單個回歸系數(shù)的顯著性2計算t=(β-0)/SE(β)3判斷|t|>t臨界值時，系數(shù)顯著多重共線性診斷相關(guān)系數(shù)矩陣檢查自變量間的相關(guān)性方差膨脹因子(VIF)衡量自變量間的相關(guān)程度條件數(shù)評估自變量間的整體相關(guān)性多重共線性問題處理刪除變量移除高度相關(guān)的自變量主成分分析降維處理，減少變量數(shù)量嶺回歸引入偏差，減少方差LASSO回歸自動選擇重要變量回歸模型診斷殘差分析檢查模型假設(shè)是否滿足影響點分析識別對模型影響較大的觀測值預測能力評估測試模型在新數(shù)據(jù)上的表現(xiàn)殘差分析殘差圖檢查殘差的分布情況Q-Q圖驗證殘差的正態(tài)性杠桿值圖識別高影響力的觀測值Cook's距離評估單個觀測值的影響異方差診斷1殘差圖分析觀察殘差是否呈扇形分布2Park檢驗使用回歸方法檢驗異方差3White檢驗基于輔助回歸的異方差檢驗4Breusch-Pagan檢驗檢驗殘差方差與自變量的關(guān)系異方差問題處理變量轉(zhuǎn)換對變量進行對數(shù)或開方轉(zhuǎn)換加權(quán)最小二乘法給予不同觀測值不同權(quán)重穩(wěn)健標準誤使用White或HAC標準誤自相關(guān)診斷1Durbin-Watson檢驗檢測一階自相關(guān)2Breusch-Godfrey檢驗檢測高階自相關(guān)3自相關(guān)函數(shù)(ACF)圖觀察不同滯后期的自相關(guān)程度4偏自相關(guān)函數(shù)(PACF)圖識別直接自相關(guān)關(guān)系自相關(guān)問題處理差分法消除時間趨勢廣義最小二乘法考慮誤差項的相關(guān)性Cochrane-Orcutt法迭代估計自相關(guān)系數(shù)ARIMA模型結(jié)合自回歸和移動平均模型預測1點預測2區(qū)間預測3預測誤差評估4預測能力驗證利用建立的模型進行未來值預測，并評估預測的可靠性。預測區(qū)間定義包含未來觀測值的可能范圍計算基于模型參數(shù)和預測誤差解釋提供預測的不確定性度量置信區(qū)間定義包含真實參數(shù)值的可能范圍計算基于估計值和標準誤應(yīng)用評估參數(shù)估計的精確度假設(shè)檢驗零假設(shè)通常假設(shè)參數(shù)為零或無效應(yīng)備擇假設(shè)與零假設(shè)相反的陳述顯著性水平通常選擇5%或1%p值反映證據(jù)強度的概率值獨立變量選擇向前選擇法逐步添加顯著變量向后消除法逐步刪除不顯著變量逐步回歸法結(jié)合向前和向后方法模型比較1AIC赤池信息準則，平衡擬合度和復雜度2BIC貝葉斯信息準則，懲罰更重3調(diào)整R2考慮變量數(shù)量的R2修正版4交叉驗證評估模型在新數(shù)據(jù)上的表現(xiàn)模型應(yīng)用實例房價預測考慮面積、位置、年份等因素銷售額分析研究廣告支出、季節(jié)等對銷售的影響醫(yī)學研究分析多種因素對患病風險的影響應(yīng)用實例結(jié)果分析系數(shù)解釋分析各因素的影響程度和方向模型評估檢查R2、F統(tǒng)計量等指標預測能力在測試集上驗證模型準確性結(jié)果可視化使用圖表直觀展示分析結(jié)果多元線性回歸的優(yōu)缺點優(yōu)點可處理多個自變量結(jié)果易于解釋廣泛