線性回歸的基本思想

線性回歸的基本思想第一頁，共三十頁，編輯于2023年，星期三6.1回歸的含義6.2總體回歸函數(shù)6.3總體回歸函數(shù)的統(tǒng)計或隨機設(shè)定6.4隨機誤差項的性質(zhì)6.5樣本回歸函數(shù)6.6“線性”回歸的特殊含義6.7從雙變量回歸到多元線性回歸6.8參數(shù)估計：普通最小二乘法6.9綜合6.10一些例子6.11總結(jié)第二頁，共三十頁，編輯于2023年，星期三6.1

回歸的含義回歸分析是用來研究一個變量（稱之為被解釋變量explainedvariable或應(yīng)變量dependentvariable）與另一個或多個變量（稱之為解釋變量explanatoryvariable或自變量independentvariable）之間關(guān)系的一種分析方法。例如研究商品的需求量與該商品的價格、消費者的收入以及其他同類商品的價格之間的關(guān)系。通常我們用Y表示應(yīng)變量，用X表示自變量。第三頁，共三十頁，編輯于2023年，星期三

回歸分析是用來處理一個應(yīng)變量與另一個或多個自變量的關(guān)系，但它并不一定表明因果關(guān)系的存在。兩個變量是否存在因果關(guān)系，哪一個是應(yīng)變量，哪一個是自變量是由正確的經(jīng)濟理論決定的。

需要注意的是具有因果關(guān)系的變量之間一定具有數(shù)學(xué)上的相關(guān)關(guān)系，而具有相關(guān)關(guān)系的變量之間并不一定具有因果關(guān)系。

例如：中國的國內(nèi)生產(chǎn)總值與印度的人口之間具有較強的相關(guān)性（相關(guān)系數(shù)較高），因為二者都以較快的速度增長，但顯然二者之間不具有因果關(guān)系。第四頁，共三十頁，編輯于2023年，星期三回歸分析的應(yīng)用（1）通過已知變量的值來估計應(yīng)變量的均值（2）根據(jù)經(jīng)濟理論建立適當(dāng)?shù)募僭O(shè)并對其進(jìn)行檢驗（3）根據(jù)自變量的值對應(yīng)變量的均值進(jìn)行預(yù)測（4）上述多個目標(biāo)的綜合第五頁，共三十頁，編輯于2023年，星期三6.2

總體回歸函數(shù):假想一例下面我們通過一個具體例子說明回歸分析的用途。表6-1每周博彩支出和每周個人可支配收入個人可支配收入每周博彩支出

消費者1501752002252502753003253503751283335363840424345462273131343637393539403252930313332343133344332728293030313030315232426272829302927286152022262527293330327181820232325263228308121517212222243032319131416182018253132331015101916183223253431均值20.922.124.426.127.329.230.331.933.033.6第六頁，共三十頁，編輯于2023年，星期三分析步驟：（1）以個人可支配收入X為橫軸，每周博彩支出量Y為縱軸，對表中數(shù)據(jù)作散點圖。（2）分析兩變量間的關(guān)系（3）做出總體回歸直線見Excel文件。第七頁，共三十頁，編輯于2023年，星期三總體回歸函數(shù)PRFB1和B2是參數(shù)(parameters)，也稱回歸系數(shù)(regressioncoefficients)。B1又稱為截距(intercept)，B2又稱為斜率(slope)。斜率度量了X每變動一個單位，Y的均值的變化率。Y的條件期望，可簡寫為E(Y)注意：回歸分析是條件回歸分析(conditionalregressionanalysis)。(6-1)第八頁，共三十頁，編輯于2023年，星期三}u6.3

總體回歸函數(shù)的統(tǒng)計或隨機設(shè)定

隨機總體回歸方程(stochasticPRF)ui表示隨機誤差項(randomerrorterm)，簡稱誤差項。0150300XY每周個人可支配收入（美元）每周博彩支出（美元）20.902530.324.0}u...(6-2)第九頁，共三十頁，編輯于2023年，星期三6.4

隨機誤差項的性質(zhì)

（1）在解釋變量中被忽略的因素的影響；（2）變量觀測值的觀測誤差的影響；（3）模型關(guān)系的設(shè)定誤差的影響；（4）其它隨機因素的影響包括人類行為中的一些內(nèi)在隨機性；（5）奧卡姆的剃刀原則——“簡單優(yōu)于復(fù)雜”。第十頁，共三十頁，編輯于2023年，星期三6.5樣本回歸函數(shù)如何估計總體回歸函數(shù)，即求參數(shù)B1、B2呢？前面我們已經(jīng)介紹了：總體回歸函數(shù)PRF隨機總體回歸方程(stochasticPRF)(6-1)(6-2)如果已知整個總體的數(shù)據(jù)，如上例，問題就比較簡單，但在實際中，我們往往不能得到整個總體的數(shù)據(jù)，只有來自總體的某一個樣本數(shù)據(jù)，我們該怎么做？第十一頁，共三十頁，編輯于2023年，星期三Y18242623302734353340X150175200225250275300325350375Y23182425282731293334表6-2、6-3來自表6-1總體的兩個隨機樣本X150175200225250275300325350375做散點圖及估計樣本回歸直線見Excel文件表6-2表6-3第十二頁，共三十頁，編輯于2023年，星期三樣本回歸直線可用樣本回歸函數(shù)SRF來表示：(6-3)(6-1)隨機的樣本函數(shù)：(6-4)(6-2)第十三頁，共三十頁，編輯于2023年，星期三樣本回歸函數(shù)隨機樣本回歸函數(shù)總體回歸函數(shù)隨機總體回歸方程觀察值可表示為(6-3)(6-4)(6-1)(6-2)(6-6)(6-7)線性O(shè)LS總結(jié)第十四頁，共三十頁，編輯于2023年，星期三圖6-4

總體回歸線與樣本回歸線......e1u1Y1AenunXY0需求量價格第十五頁，共三十頁，編輯于2023年，星期三6.6“線性”回歸的特殊含義解釋變量線性與參數(shù)線性圖6-5

線性和非線性需求曲線非線性舉例：1.解釋變量線性例如：2.參數(shù)線性非線性舉例：例如：第十六頁，共三十頁，編輯于2023年，星期三圖6-5線性和非線性需求曲線1111XXYY價格價格需求量a)線性需求曲線b)非線性需求曲線第十七頁，共三十頁，編輯于2023年，星期三6.7從雙變量回歸到多元線性回歸多元線性回歸：如果博彩支出是收入(X2)、財富(X3)和年齡(X4)的函數(shù)，則擴展的博彩支出函數(shù)如下：個體博彩支出函數(shù)（即隨機總體回歸函數(shù)）為：（6-11）（6-12）第十八頁，共三十頁，編輯于2023年，星期三6.8參數(shù)估計：普通最小二乘法普通最小二乘法(OLS)最小二乘原理總體回歸方程：樣本回歸函數(shù)：因而[利用(6-3)]最小二乘原理就是選擇合適參數(shù)使得全部觀察值的殘差平方和(RSS)最小，數(shù)學(xué)形式為：

(6-13)第十九頁，共三十頁，編輯于2023年，星期三普通最小二乘法就是尋找使RSS達(dá)到最小時的參數(shù)作為參數(shù)估計值的一種方法。利用極值原理可以得到：(6-16)(6-17)正規(guī)方程(6-14)(6-15)求解得到：第二十頁，共三十頁，編輯于2023年，星期三普通最小二乘估計量的一些性質(zhì)：（1）（2）（3）（4）第二十一頁，共三十頁，編輯于2023年，星期三6.9綜合解得：利用OLS方法估計樣本回歸方程，具體計算步驟如表6-4：見Excel文件。第二十二頁，共三十頁，編輯于2023年，星期三斜率：截矩：表6-4博彩一例的原始數(shù)據(jù)及OLS計算步驟（來自表6-2）YiXiXiYiXi平方xiyiyi平方xi平方xiyiYi估計值eiei平方eiXi18150270022500-112.5-1112112656.25123819.8364-1.836433.372-275.464824175420030625-87.5-5257656.25437.521.87282.127194.525372.258826200520040000-62.5-393906.25187.523.90912.090824.372418.163623225517550625-37.5-6361406.2522525.9455-2.945568.676-662.750330250750062500-12.511156.25-12.527.98192.018074.073504.51702727574257562512.5-24156.25-2530.0183-3.018319.110-830.034434300102009000037.55251406.25187.532.05461.945323.784583.5954353251137510562562.56363906.2537534.09100.908940.826295.4065333501155012250087.54167656.2535036.1274-3.127439.781-1094.60124037515000140625112.51112112656.25123838.16381.836193.372688.5724合計2902625803257406250039451562.54200290.00-0.00119

51.891-0.3371第二十三頁，共三十頁，編輯于2023年，星期三對博彩支出回歸結(jié)果的解釋對博彩支出的估計結(jié)果解釋如下：斜率系數(shù)0.08145表示，在其他條件保持不變的情況下，PDI每增加一美元，每周平均博彩支出將增加約8每分。截距7.6182表示，當(dāng)PDI為0時，博彩的平均支出為7.62美元。截距一般沒有什么特殊的經(jīng)濟含義。第二十四頁，共三十頁，編輯于2023年，星期三6.10一些例子例6-1：受教育年限與平均小時工資根據(jù)由528個觀察值組成的樣本，表6-5給出了平均小時工資Y和受教育年限X的數(shù)據(jù)。根據(jù)勞動經(jīng)濟學(xué)中的人力資本理論，預(yù)期平均工資隨受教育年限的增加而增加，二者正相關(guān)。數(shù)據(jù)的回歸結(jié)果如下：

回歸結(jié)果表明，在其他條件不變的情況下，受教育年限每增加一年，平均小時工資增加72美分。前面已經(jīng)提到過，在大多數(shù)情況下，截距沒有什么明顯的經(jīng)濟含義，本例亦如此。第二十五頁，共三十頁，編輯于2023年，星期三例6-2：奧肯定律：布魯金斯學(xué)會主席，前總統(tǒng)經(jīng)濟顧問委員會主席奧肯（ArthurOkun）根據(jù)美國1947-1960年的數(shù)據(jù)，得到如下回歸方程，稱之為奧肯定律：其中，Yt表示失業(yè)率的變動（百分?jǐn)?shù)），Xt表示實際產(chǎn)出的增長率（百分率），用實際GNP度量，2.5是對美國歷史的觀察得到的長期產(chǎn)出增長率。在上面方程中，截距為零，斜率為-0.4。奧肯定律是說實際GNP的增長每超過2.5%一個百分點，失業(yè)率將降低0.4個百分點。奧肯定律被用來預(yù)測失業(yè)率減少到一定的百分點而所需的實際GNP的增長率。當(dāng)實際GNP增長率為5%時，將使失業(yè)率減少一個百分點，或者說若使增長率達(dá)到7.5%，則減少失業(yè)率2個百分點。第二十六頁，共三十頁，編輯于2023年，星期三例6-3：股票價格與利率股票價格和利率是重要的經(jīng)濟指標(biāo)。利用S&P500綜合指數(shù)(1941～1943年＝10)度量股票價格，三月期國債利率(％)度量利率。表6-13給出了1980～1999年這些變量的數(shù)據(jù)。根據(jù)散點圖（見Excel文