最小二乘法原理

1、三、最小二乘法 最小二乘法是根據最小二乘準則，利用樣本數據估計回歸方程的一種方法。 （一）殘差 設 是被解釋變量的第 次樣本觀測值， 是相應的第 次樣本估計值。將 與 之間的偏差記作 稱 為第 次樣本觀測值的殘差。 （二）最小二乘準則 使全部樣本觀測值的殘差平方和達到最小，即 來確定未知參數 估計量的準則，稱為最小二乘準則。 （三）最小二乘估計量 未知參數 的最小二乘估計量 的計算公式為 最小二乘估計量的推導 設殘差平方和 其中 它是 階殘差列向量。 為了得到最小二乘估計量 ，我們對上式進行極小化 移項后，得正規(guī)方程組 根據基本假定5.， 存在，用 左乘正規(guī)方程組兩邊，得 的最小二乘估計量 式

2、 （四） 的無偏估計量 隨機誤差項 的方差 的無偏估計量為 稱作回歸估計的均方誤差，而 稱作回歸估計的標準誤差。 （五） 的方差 其中， ，于是每個 的方差為 ，而 是矩陣 對角線上對應的第 個元素， 。 （六） 方差的估計量 方差的估計量為 則每個 方差的估計量為 ， 標準差的估計量為 ， 四、擬合優(yōu)度檢驗 擬合優(yōu)度檢驗是樣本回歸方程 對樣本觀測值 擬合程度的檢驗。 （一）總離差平方和的分解公式 其中 總離差平方和， 回歸平方和， 殘差平方和。于是，可以將平方和的分解公式寫成離差形式 （二）多元樣本決定系數 1.多元樣本決定系數 所謂多元樣本決定系數 ，也稱多元樣本判定系數或多元樣本可決系數

3、，是指被解釋變量 中的變異性能被樣本回歸方程解釋的比例，即 2. 修正的樣本決定系數 與 有如下關系： 在樣本容量一定的情形下，可以看出 有性質： (1) ， ； （2） 可能出現負值。例如， ， ， 時， 。顯然負的擬合優(yōu)度沒有任何意義，在這種情形時，我們取 。 （三）三個平方和的計算公式 于是有 因為 ，所以 。 作為度量回歸值 對樣本觀測值 擬合優(yōu)度的指標，顯然 的數值越大越好。 的數值越接近于1，表示 中的變異性能被估計的回歸方程解釋的部分越多，估計的回歸方程對樣本觀測值就擬合的越好；反之， 的數值越接近于0，表示 中的變異性能被估計的回歸方程解釋的部分越少，估計的回歸方程對樣本觀測值

4、就擬合的越差。五、 檢驗 檢驗是對回歸方程總體顯著性的檢驗，就是從總體上檢驗解釋變量 對被解釋變量 是否有顯著影響的一種統計檢驗方法。 ： ； ：至少有一個 不等于零。 檢驗的統計量 否定規(guī)則 如果檢驗的統計量 ，則否定 ，即認為在 顯著性水平下，被解釋變量 與解釋變量 之間存在顯著的線性關系；否則，不否定 。這里 是 水平的分子自由度為 ，分母自由度為 的 分布的上側分位數。六、 檢驗 檢驗是對線性回歸模型的系數進行顯著性檢驗，也就是說是檢驗模型的每個解釋變量 是否對被解釋變量 有影響顯著的一種統計檢驗方法。 ： ： ， 檢驗的統計量 其中， 是 標準差的估計量，而 是矩陣 對角線上對應的第

5、 個元素， 。 否定規(guī)則 如果 或者 ，則否定 ，即認為在 顯著性水平下，第 個解釋變量 對被解釋變量 存在顯著的影響；否則，不否定 。這里 是 水平的自由度為 的 分布的雙側分位數。七、預測 多元線性回歸分析的一個重要應用是利用樣本回歸方程進行預測。預測分為點預測和區(qū)間預測兩種情形。 （一）點預測 點預測就是對于給定的解釋變量 的一組特定值 估計對應的被解釋變量 的值。假設利用最小二乘法建立的樣本回歸方程為 其中 ， 將 代入樣本回歸方程中，得 就是被解釋變量 的點預測值或點估計值。 （二）區(qū)間預測 在實際應用中，人們不僅關心被解釋變量 的估計值，而且希望得到一個以相當大的概率包含 真值的區(qū)

6、間。這個區(qū)間就是數理統計中的置信區(qū)間，我們稱為預測區(qū)間或估計區(qū)間。 的置信度為 預測區(qū)間為 ， 其中， 是預測誤差 標準差的估計量， 是回歸估計標準誤差， 是自由度為 ，水平為 的 分布的雙側分位數。 的置信度為 預測區(qū)間的推導 對于給定的解釋變量 的一組特定值 根據多元線性回歸模型，有 其中， 。根據估計的樣本回歸模型，有 其中， 若將 看作是 的個別值 的點估計值時，它們的預測誤差記為 因為 = 所以， 是 的個別值 的無偏估計量。 接著我們考察 的方差。因為 與 有關，而 只與 有關，所以根據隨機誤差項彼此之間不相關的基本假定 3.， 與 也不相關。于是有 = = 因為 ， = ，所以

7、= = 于是， 方差的估計量為 因為 和 都服從正態(tài)分布，因此 也服從正態(tài)分布，即 所以有 由于 是未知的，我們用它的無偏估計量 代替，則由概率統計知識有 對于預先給定的顯著性水平 ，可從 分布表中查出自由度為 ，水平為 的雙側分位數 ，使 即 或者 于是有 最后，得 的置信度為 預測區(qū)間 式 ， 即 ， 八、案例分析 例8.12 我國19881998年的城鎮(zhèn)居民人均全年耐用消費品支出、人均全年可支配收入和耐用消費品價格指數的統計資料如下表所示。試建立城鎮(zhèn)居民人均全年耐用消費品支出 關于可支配收入 和耐用消費品價格指數 的回歸模型，并進行回歸分析。表8.8 我國19881998年間城鎮(zhèn)居民人均

8、全年耐用消費品支出、人均全年可支配收入和耐用消費品價格指數的統計資料年 份人均耐用消費品支出 (元)人均全年可支配收入 (元)耐用消費品價格指 (1987年=100)1988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133

9、.351998 327.265425.1126.39 資料來源：中國統計年鑒 解 根據經濟理論和對實際情況的分析可以知道，城鎮(zhèn)居民人均全年耐用消費品支出 依賴于可支配收入 和耐用消費品價格指數 的變化，因此我們設定回歸模型為 1. 估計模型未知參數 由原始數據，計算得 ， ， ， ， ， ， ， ， 將上述計算結果代入公式 ，得 即 ， ， 。最后，得估計的回歸方程 接著，計算殘差平方和 = 所以 的無偏估計量為 從而得到回歸估計標準誤差為 2. 經濟意義檢驗 ，表示城鎮(zhèn)居民全年人均耐用消費品支出是隨著可支配收入的增長而增加，并且介于0和1之間，因此該回歸系數的符號、大小都與經濟理論和人們的經驗期