【統計學】多元線性回歸.ppt

1、第三章是經典的單方程計量經濟模型：多元線性回歸模型的多元線性回歸模型，本章的內容，多元線性回歸模型的參數估計和多元線性回歸模型的統計檢驗。多元線性回歸模型的預測可以轉化為線性非線性模型?；貧w，3.1多元線性回歸模型的回歸分析，1。多元線性回歸模型，2。多元線性回歸模型的基本假設，1。多元線性回歸模型和多元線性回歸模型，因為：在實際經濟問題中，一個變量往往受到多個原因變量的影響；“從一般到簡單”的造型理念。因此，在線性回歸模型中有許多解釋變量，至少在一開始是這樣。這種模型被稱為多元線性回歸模型。多元線性回歸模型的參數估計與一元線性回歸模型相同，但計算較為復雜?？傮w回報模型，i=1，2，n，總體回

2、報模型：總體回報函數的隨機表達式，k是解釋變量的個數。傳統上，常項被認為是虛變量的系數，虛變量的樣本觀測值總是取1。因此，模型中解釋變量的數量是(k 1)。j被稱為回歸系數?？偸找婧瘮担好枋鼋忉屪兞恳自诮o定解釋變量下的條件均值。j，也稱為部分回歸系數，表示當Xj變化1個單位而其他解釋變量保持不變時，Y的平均值E(Y)的變化?；蛘遤給出Xj單位變化對Y均值的“直接”或“凈”(不包括其他變量)影響?？傮w回歸函數、總體回歸模型的矩陣表示、樣本回歸函數和樣本回歸模型，以及從一個樣本獲得的總體回歸函數的近似值稱為樣本回歸函數。樣本返回函數的隨機形式稱為樣本返回模型。樣本返回函數的矩陣表示；2.多元線性回

3、歸模型的基本假設；對于經典回歸模型的假設，當多元線性回歸模型滿足以下基本假設時，可以用普通最小二乘法(OLS)來估計參數。1.對于模型關系的假設，模型設定了正確的假設。正確指定了回歸模型。線性回歸假設?；貧w模型的參數是線性的。2.關于解釋變量的假設，確定性假設。解釋變量x是一個確定性變量，不是隨機變量，在重復抽樣中取一個固定值。與隨機項無關的假設。這可以從確定性假設中推斷出來。沒有完全多重共線性的假設。解釋變量之間不存在嚴格的線性相關性，適用于多元線性回歸模型。樣本方差假設。隨著樣本量的無限增加，解釋變量x的樣本方差趨于一個有限常數。時間序列數據可用作樣本時間。3.關于隨機項目的假設和0均值假

4、設。給定x，隨機誤差項的平均值為0。這是從模型設置的正確假設中推斷出來的。含義：隨機誤差項的條件零均值假設意味著其期望值的變化與X的變化無關，并且它總是常數零。也就是說，隨機誤差項與解釋變量無關。使總體回報函數的隨機形式等價于確定性形式的關鍵假設。是否滿足測試的需要。含義：條件零差假設意味著隨機誤差項的方差不依賴于X的變化，并且總是一個常數。零差假設：給定X，所有觀測值的方差都是相同的。無條件零均值性質：無條件零差性質：根據預期迭代規(guī)則：序列無關性假設。隨機誤差項之間沒有自相關。是否滿足測試的需要。4.當OLS用于參數估計時，隨機項的正態(tài)性假設是不必要的。當使用參數估計進行統計推斷時，有必要假

5、設隨機項目的概率分布。一般認為隨機項目服從正態(tài)分布。這可以由CLT的中心極限定理來證明)。常態(tài)假設。s遵循正態(tài)分布。5，CLRM和CNLRM，上述假設(正常假設除外)也稱為經典假設或高斯假設的線性回歸模型，而滿足這一假設的線性回歸模型也稱為經典線性回歸模型(clrm)。同時滿足正態(tài)性假設的線性回歸模型稱為經典正態(tài)線性回歸模型。3.2多元線性回歸模型的估計，1。普通最小二乘估計2。最大似然估計。力矩估計4。參數估計的性質。樣本量問題6。估計的例子，要明確的是，估計方法：3類方法：OLS，最大似然或最小均方誤差更多的OLS用于經典模型，最大似然或最小均方誤差用于非經典模型，1。普通最小二乘估計(O

6、LS)，1即使平方和最小。已知、假設、步驟：求解由這些(k 1)方程組成的線性代數方程，然后得到待估計的(k 1)參數的估計值、正規(guī)方程的矩陣形式和條件？OLS估計的矩陣表示，2。正規(guī)方程的另一個表達式、建立正規(guī)方程的條件是什么？3。隨機誤差項方差的無偏估計，m是冪等矩陣，2。最大似然估計，1。最大似然法(ML)，又稱為最大似然法，是不同于最小二乘法的另一種參數估計方法，是由最大似然原理發(fā)展而來的其他估計方法的基礎?；驹恚寒攺哪Ｐ涂傮w中隨機選擇N組樣本觀測值時，最合理的參數估計應該使從模型中提取N組樣本觀測值的概率最大。ML必須知道隨機項目的分布。2，估計步驟：以單變量模型為例，Yi分布，

7、Yi概率函數，Y所有樣本的聯合概率似然函數，對數似然函數，最大化對數似然函數的一階條件，結構參數的最大似然估計，分布參數的最大似然估計，3，似然函數，4，最大似然估計。M1和OLS的結構參數估計結果只有在正態(tài)分布下是相同的。如果y不服從正態(tài)分布，就不能用OLS。例如：選擇性樣本模型、計數數據模型等。力矩估算法，mm，1。參數的矩估計，使用樣本矩估計總矩。樣本的一階原點矩被用作預期估計量。樣本的第二中心矩被用作方差的估計量。從樣本的觀測值計算樣本的一階(原點)矩和二階(原點)矩，然后估計總體的一階矩和二階矩，然后進一步計算總體參數(期望和方差)的估計量。樣本的一階矩和二階矩，總體的一階矩和二階矩

8、的估計，總體參數(期望和方差)的估計，2，多元線性計量經濟模型的矩估計，如果模型設置正確，則有一些條件矩為0。矩估計的基本思想是利用矩條件來估計模型參數。一組矩條件，相當于OLS估計的正規(guī)方程。4.參數估計的性質表明，多元線性模型結構參數的普通最小二乘估計、最大似然估計和矩估計在基本假設下是線性的、無偏的和有效的。同時，隨著樣本量的增加，參數估計是漸近無偏、漸近有效和一致的。它可以很容易地通過矩陣表達式來證明，并注意證明過程中所使用的基本假設。1。無偏性。這里，我們使用假設： E(X)=0，2。有效性(最小方差)。5.樣本大小。1.最小樣本量，即所謂的“最小樣本量”，即從最小二乘原理和最大概率

9、原理出發(fā)，我們希望得到參數估計器所需樣本量的下限，而不管它們的質量如何。最小樣本量不得少于模型中解釋變量(包括常數項)的數量，即n k 1。為什么？2.滿足基本要求的樣本量。從統計檢驗的角度來看：Z檢驗只能在N為30時應用；在n-k8，t分布相對穩(wěn)定。一般經驗認為，只有當n30或至少n3(k 1)時，才能滿足模型估計的基本要求。模型的良好性質只能在大樣本下從理論上證明。6。例如，區(qū)域城鎮(zhèn)居民消費模型，解釋變量：區(qū)域城鎮(zhèn)居民人均消費y解釋變量：區(qū)域城鎮(zhèn)居民人均可支配收入X1區(qū)域城鎮(zhèn)居民人均消費X2樣本：2006年，31個地區(qū)，數據，變量之間的關系，變量之間的關系，OLS估計，OLS估計，最大似然

10、估計，最小似然估計，最小似然估計，最小似然估計3.3多元線性回歸模型的多元線性回歸模型的統計檢驗，1。擬合優(yōu)度測試2。方程的顯著性檢驗(f檢驗)3。變量顯著性檢驗(T檢驗)4。參數1的置信區(qū)間。擬合優(yōu)度測試1。概念、擬合優(yōu)度檢驗：檢驗樣本的回歸線與樣本的觀測值之間的擬合程度。問題：一般的最小二乘估計方法保證了模型最好地擬合樣本的觀測值，那么為什么要檢查擬合度呢？如何檢驗：構造的統計量的統計量只能是相對量；2.可確定系數、調整后的可確定系數和總偏差平方和的分解，證明該項等于0，即確定系數，該統計量越接近1，模型的擬合優(yōu)度越高。從R2的表達式可以發(fā)現，如果在模型中加入解釋變量，R2傾向于增加。這給

11、了人們一種錯覺：為了使模型更好地匹配，只需添加解釋變量。但是，解釋變量增加導致的R2的增加與擬合度無關，因此R2需要進行調整。調整后的測定系數，其中n-k-1是殘差平方和的自由度，n-1是平方和的自由度。調整多少才是合適的可確定系數？3。阿卡克信息準則和施瓦茨準則。為了比較具有不同解釋變量數的多元回歸模型的擬合優(yōu)度，有： Akaike信息準則(AIC)和Schwartz準則(SC)，這兩個準則都要求只有當增加的解釋變量能夠降低AIC值或SC值時，才需要將解釋變量加入到原始模型中。區(qū)域城鎮(zhèn)居民消費模型(k=2)和區(qū)域城鎮(zhèn)居民消費模型(k=1)與k=2相比變化不大。第二，方程的顯著性檢驗(F檢驗)

12、檢驗多元回歸的總體顯著性(F檢驗)，1，假設檢驗，即所謂的假設檢驗，是預先對總體參數或總體分布形式作出假設，然后利用樣本信息判斷原始假設是否合理，即判斷樣本信息與原始假設之間是否存在顯著差異，從而決定是否接受或否認原始假設。假設檢驗中使用的邏輯推理方法是反證。首先假設原始假設是正確的，然后根據樣本信息觀察這一假設引起的結果是否合理，從而判斷是否接受原始假設。判斷結果是否合理是基于“小概率事件不易發(fā)生”的原則。2。方程顯著性檢驗，方程顯著性檢驗，旨在推斷模型中解釋變量與被解釋變量之間的線性關系總體上是否顯著。在多元模型中，即檢查模型中的參數j是否與0顯著不同。f檢驗的思想來源于總偏差平方和的分解

13、公式。如果這個比值較大，則X的復數對Y的解釋程度較高，可以認為整體上存在線性關系，否則整體上可能不存在線性關系。因此，總的線性關系可以通過該比率來推斷。在原假設H0成立的條件下，臨界值F(k，n-k-1)可以通過給定顯著性水平的統計量得到，而統計量F的值可以從樣本中得到，而原假設H0可以得到區(qū)域城鎮(zhèn)居民消費模型拒絕0的假設，出錯概率為0，3。在討論擬合優(yōu)度檢驗和方程顯著性檢驗的關系時，對于一般實際問題，在顯著性水平為5%的情況下，對應于f統計臨界值的R2水平較低。因此，我們不應該過于注重R2價值，而應該注重模型的經濟意義；在總體顯著性檢驗中，顯著性水平應控制在5%以內。3。檢驗變量的顯著性(t

14、檢驗)，方程的整體線性關系并不意味著每個解釋變量對被解釋變量有顯著影響。有必要測試每個解釋變量的重要性，以確定它是否作為解釋變量保留在模型中。這個測試是通過變量的t檢驗完成的。1，t統計量，用cii表示矩陣主對角線上的ith元素(XX)-1、2，t檢驗，設計原始假設和替代假設：h1: i0，給定顯著性水平，可以得到臨界值t/2(n-k-1)，并且可以從樣本中得到統計量t的數值，通過|。h0: I=0 (I=1，2k)，該地區(qū)城鎮(zhèn)居民消費模型，3。至于常數項的顯著性檢驗，也可以進行T檢驗。一般來說，t檢驗不是用來確定常數項是否保留在模型中，而是從經濟的角度來分析回歸線是否應該穿過原點。4.參數的置信區(qū)間；1.區(qū)間估計?；貧w分析希望從樣本中獲得的參數估計值能夠替代總體參數。假設檢驗可以通過一次抽樣的結果來檢驗總體參數的可能假設值的范圍(例如，它是否為零)，但它不能表明在一次抽樣中樣本參數值與總體參數的真實值有多接近。為了判斷樣本參數的估計值在多大程度上“近似”替代了總體參數的真實值，有必要構建一個以樣本參數的估計值為中心的“區(qū)間”，以檢查它包含真實參數值的可能性(概率)。這種方法是參數檢驗的置信區(qū)間估計。如果有這樣一個區(qū)間，它被稱為置信區(qū)間；1-稱為置信系數(置信度)，稱為顯著性水平；置信區(qū)間的終點稱為置信限。2。參數的置信區(qū)間，