一元線性回歸模型理論與方法優(yōu)秀課件

第二章一元線性回歸模型理論與方法§1、回歸分析概述§2、一元線性回歸模型§2．1回歸分析概述一、變量間的關(guān)系及回歸分析的基本概念二、總體回歸函數(shù)（方程）PRF三、總體回歸函數(shù)（方程）PRF的隨機(jī)設(shè)定四、隨機(jī)誤差項(xiàng)的含義五、樣本回歸方程（函數(shù)）SRF一、變量間的關(guān)系及回歸分析的基本概念經(jīng)濟(jì)變量間的關(guān)系⑴確定性關(guān)系（函數(shù)關(guān)系）：研究的是確定現(xiàn)象而非隨機(jī)變量間的關(guān)系。例如：圓的面積S=*r2其中，r為半徑。⑵統(tǒng)計(jì)依賴關(guān)系（相關(guān)關(guān)系）：研究的是非確定現(xiàn)象隨機(jī)變量間的關(guān)系。例如：農(nóng)作物的產(chǎn)量=F(氣溫，降雨量，陽光，施肥量)。注意：⑴不線性相關(guān)并不意味著不相關(guān)。⑵有相關(guān)關(guān)系并不意味著一定有因果關(guān)系。⑶回歸分析與相關(guān)分析研究一個(gè)變量對(duì)另一個(gè)（些）變量的統(tǒng)計(jì)依賴關(guān)系，但它們并不意味著一定有因果關(guān)系。⑷回歸分析對(duì)變量的處理方法存在不對(duì)稱性，即區(qū)分被解釋變量和解釋變量：前者是隨機(jī)變量，后者不是。相關(guān)分析則對(duì)稱地對(duì)待被解釋變量和解釋變量，二者都被看作是隨機(jī)的?；貧w分析：回歸分析是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的統(tǒng)計(jì)依賴關(guān)系的計(jì)算方法和理論。其用意在于通過后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測(cè)前者的（總體）均值。前一個(gè)變量稱為被解釋變量（ExplainedVariable)或應(yīng)變量(DependentVariable)，后一個(gè)變量稱為解釋變量(ExplanatoryVariable)或自變量(IndependentVariable)?；貧w分析的主要內(nèi)容：⑴根據(jù)樣本觀察值對(duì)計(jì)量經(jīng)濟(jì)模型參數(shù)進(jìn)行估計(jì)，求得回歸方程。⑵對(duì)回歸方程、參數(shù)估計(jì)值進(jìn)行顯著性檢驗(yàn)。⑶利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測(cè)。例2.1：一個(gè)假想的社區(qū)人口總體有60戶家庭組成，要研究該社區(qū)每月家庭消費(fèi)支出Y與每月可支配家庭收入X的關(guān)系，即知道了家庭的每月收入，預(yù)測(cè)每月消費(fèi)支出的（總體）水平。為達(dá)到此目的，將該60戶家庭劃分為組內(nèi)收入差不多的10組，以分析每一收入組的家庭消費(fèi)支出。表2.1某社區(qū)每月家庭收入與消費(fèi)支出調(diào)查統(tǒng)計(jì)表每月家庭收入X（元）800100012001400160018002000220024002600每月家庭消費(fèi)支出Y（元）550650790800102011001200135013701500600700840930107011501360137014501520650740900950110012001400140015501750700800940103011601300144015201650178075085098010801180135014501570175018000880011301250140001600189018500001150000162001910共計(jì)325046204450707067807500685010430966012110f(Y|X)1/51/61/51/71/61/61/51/71/61/7E(Y|X)6507708901010113012501370149016101730PRF注意：⑴回歸函數(shù)（PRF）說明被解釋變量Yi的平均狀態(tài)（總體條件期望）隨解釋變量Xi變化的規(guī)律。⑵總體回歸函數(shù)的函數(shù)形式可以是線性的，也可以是非線性的。以線性函數(shù)為例，其形式為：其中，0與1為固定的參數(shù)，稱為回歸系數(shù)。三、PRF的隨機(jī)設(shè)定個(gè)別家庭的消費(fèi)支出與給定收入水平間的關(guān)系：其中，i稱為觀察值Yi圍繞它的期望值E(Y/Xi)的離差(deviation)，是一個(gè)不可觀測(cè)的隨機(jī)變量，又稱為隨機(jī)干擾項(xiàng)或隨機(jī)誤差項(xiàng)。將上述公式加以變幻，可得出個(gè)別家庭的消費(fèi)支出如下：公式表明，給定收入水平Xi，個(gè)別家庭的支出可表示為兩部分之和：⑴該收入水平下所有家庭的平均消費(fèi)支出E(Y/Xi)，稱為系統(tǒng)性(systematic)部分，或確定性(deterministic)部分。⑵隨機(jī)或非確定性部分四、隨機(jī)誤差項(xiàng)的含義隨機(jī)誤差項(xiàng)是在模型設(shè)定中省略下來而又集體地影響著被解釋變量Y的全部變量的替代物。主要內(nèi)容包括：⑴在解釋變量中被忽略的因素的影響。在研究一經(jīng)濟(jì)現(xiàn)象時(shí)，影響某一經(jīng)濟(jì)變量的因素有許多，但是，在建立計(jì)量經(jīng)濟(jì)學(xué)模型時(shí)，我們不可能將所有因素都作為自變量包括在模型中，只能選擇主要因素，其他被省略掉的因素對(duì)被解釋變量的影響都?xì)w入了隨機(jī)誤差項(xiàng)。⑵變量觀測(cè)值的觀測(cè)誤差的影響。對(duì)于變量的樣本觀測(cè)值，無論是實(shí)際測(cè)量得來的，或是調(diào)查統(tǒng)計(jì)得來得，都不可避免的會(huì)產(chǎn)生誤差。這些誤差歸并到隨機(jī)誤差項(xiàng)中。⑶模型關(guān)系的設(shè)定誤差的影響。即為數(shù)學(xué)模型形式的誤差。經(jīng)濟(jì)現(xiàn)象實(shí)際上是很復(fù)雜的，自變量與因變量之間的關(guān)系在許多情況下并非完全的線性關(guān)系，可是我們?yōu)榱撕?jiǎn)單起見往往用線性模型來代替，這就造成了模型形式的誤差，它對(duì)因變量的影響也包括在隨機(jī)誤差項(xiàng)中。⑷其他隨機(jī)因素的影響。由于經(jīng)濟(jì)行為不象科學(xué)實(shí)驗(yàn)?zāi)菢油耆谌藶榈乜刂葡逻M(jìn)行，有些因素是無法控制的，是一種隨機(jī)現(xiàn)象。如一個(gè)消費(fèi)者對(duì)某種商品的購買，可能由于廣告的宣傳本不想買而購買了；也可能由于某些人的勸告本想買反而不購買了等等。將這些不易預(yù)測(cè)和無法度量的因素，在模型中都有隨機(jī)誤差項(xiàng)表示。五、樣本回歸方程（函數(shù)）SRF(sampleregressionfunction)例2.2：在例2.1的總體中有如下一個(gè)樣本（見下表），問：能否用該樣本預(yù)測(cè)總體中對(duì)應(yīng)于選定X的平均每月消費(fèi)支出？即能否用該樣本估計(jì)總體回歸函數(shù)PRF？表2.2X800100012001400160018002000220024002600Y700650900950110011501200140015501500每月家庭收入與消費(fèi)支出數(shù)據(jù)表（樣本）X800100012001400160018002000220024002600Y700650900950110011501200140015501500SRF樣本回歸曲線(sampleregressionlines)和樣本回歸函數(shù)(sampleregressionfunction):上圖中的樣本散點(diǎn)圖近似于一條直線，劃一條直線以盡可能好地?cái)M合該散點(diǎn)圖，該直線稱為樣本回歸曲線。將上述樣本回歸線以函數(shù)形式表示為：稱為樣本回歸函數(shù)(SRF)。樣本回歸函數(shù)的隨機(jī)形式及樣本回歸模型：其中，樣本殘差項(xiàng)(residual)，代表了其他影響Yi的隨機(jī)因素的集合體，可看成為i的估計(jì)量。該模型由于引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，將該模型稱為樣本回歸模型。樣本殘差項(xiàng)回歸分析的主要目的：根據(jù)樣本回歸函數(shù)（SRF），估計(jì)總體回歸函數(shù)（PRF），即根據(jù)公式(2)估計(jì)公式(1)。(1)(2)即：設(shè)計(jì)一“方法”構(gòu)造SRF，使得SRF盡可能地“接近”PRF，或者說使盡可能地接近0和1。五、OLS估計(jì)量的性質(zhì)1、線性性2、無偏性3、有效性六、參數(shù)估計(jì)量的概率分布和隨機(jī)誤差項(xiàng)的方差估計(jì)七、統(tǒng)計(jì)檢驗(yàn)1、擬合優(yōu)度檢驗(yàn)2、參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）八、回歸系數(shù)的置信區(qū)間檢驗(yàn)九、回歸分析的應(yīng)用：預(yù)測(cè)問題一、線性回歸模型的特征單方程線性回歸模型的概念和一般形式：?jiǎn)畏匠逃?jì)量經(jīng)濟(jì)學(xué)模型是以單一經(jīng)濟(jì)現(xiàn)象為研究對(duì)象而建立的模型，模型中只包括一個(gè)方程，是應(yīng)用最為普遍的計(jì)量經(jīng)濟(jì)學(xué)模型，分為線性模型和非線性模型兩大類。一般形式為：i=1,2,…,n。其中，i為觀測(cè)下標(biāo)，n為樣本容量。一元線性回歸模型：形如的計(jì)量經(jīng)濟(jì)學(xué)模型稱為一元線性回歸模型（雙變量線性模型）。其中，Y為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機(jī)誤差項(xiàng)。一元線性回歸模型舉例：凱恩斯的絕對(duì)收入假設(shè)消費(fèi)理論認(rèn)為，消費(fèi)是由收入唯一決定的，是收入的線性函數(shù)，事實(shí)上，消費(fèi)與收入之間的關(guān)系并不是準(zhǔn)確實(shí)現(xiàn)的，其計(jì)量經(jīng)濟(jì)學(xué)模型為：每給定一個(gè)收入Y的值，消費(fèi)C并不是單一確定的，而是由許多因素共同確定，其概率分布與隨機(jī)誤差項(xiàng)的概率分布相同。線性回歸模型的特征：⑴通過引入隨機(jī)誤差項(xiàng)，將變量之間的關(guān)系用一個(gè)線性隨機(jī)方程來描述，并用隨機(jī)數(shù)學(xué)的方法來估計(jì)方程中的參數(shù)。⑵在線性回歸模型中，被解釋變量的特征由解釋變量與隨機(jī)誤差項(xiàng)共同決定。二、線性回歸方程的普遍性將非線性關(guān)系轉(zhuǎn)化為線性關(guān)系的常用的處理方法：⑴直接置換法雙曲線：如商品的需求曲線是一種雙曲線形式，商品需求量q與商品價(jià)格p之間的關(guān)系表現(xiàn)為雙曲線關(guān)系?，F(xiàn)令：y=1/q；x=1/p則原方程轉(zhuǎn)換為：y=a+bx拋物線：如拉弗曲線描述的稅收s和稅率r的關(guān)系是一種拋物線的形式：s=a+br+cr2c<0現(xiàn)令：x1=r，x2=r2原方程置換為：s=a+bx1+cx2c<0⑵對(duì)數(shù)變換法冪函數(shù)：如著名的Cobb-Dauglas生產(chǎn)函數(shù)將產(chǎn)出量Q與投入要素(K，L)之間的關(guān)系描述為冪函數(shù)的形式：現(xiàn)將方程兩邊取對(duì)數(shù)，則變換為線性形式如下：指數(shù)函數(shù)：如生產(chǎn)中成本C與產(chǎn)出量q的關(guān)系：將方程兩邊取對(duì)數(shù)后，即成為線性形式如下：結(jié)論：實(shí)際經(jīng)濟(jì)生活中的許多問題，都可以最終轉(zhuǎn)化為線性問題，因此，線性回歸模型具有普遍意義。即使對(duì)于無法采取任何變換方法使之變成線性的非線性模型，目前使用的較多的參數(shù)估計(jì)方法——非線性最小二乘法，其原理仍然是一線性估計(jì)方法為基礎(chǔ)。三、線性回歸模型的基本假定回歸分析的主要目的：通過樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)（模型）PRF。即通過估計(jì)

技術(shù)線路：⑴使估計(jì)量與Yi的“總體”誤差盡可能地小——最小二乘法。⑵使回歸系數(shù)的估計(jì)量盡可能地與其本身接近。要滿足上述要求，必須對(duì)解釋變量和隨機(jī)誤差項(xiàng)做出合理假定。線性回歸模型的基本假設(shè)：⑴解釋變量X1，X2，…，Xk是確定性變量，不是隨機(jī)變量，并且解釋變量之間互不相關(guān)。⑵隨機(jī)誤差項(xiàng)具有0均值和同方差。即：解釋：對(duì)X的每個(gè)觀測(cè)值來說可以取不同的值，有些大于零，有些小于零，但其總體的平均值，即均值等于零。

隨機(jī)誤差項(xiàng)具有同方差，是指各次觀測(cè)所受的隨機(jī)影響的程度相同，即等方差性。樣本與總體回歸線YXiXSRFPRF⑶隨機(jī)誤差項(xiàng)在不同樣本點(diǎn)之間是獨(dú)立的，不存在序列相關(guān)。即：該假設(shè)表明，在任意兩次觀測(cè)時(shí)，i，j是不相關(guān)的，即在某次觀測(cè)中取的值與任何其他次觀測(cè)中取的值互不影響。⑷隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)。即：該假設(shè)是指，隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。由于在建立回歸模型時(shí)，隨機(jī)誤差項(xiàng)代表了所有未包括在模型中的自變量及其它因素對(duì)因變量的影響，因此，應(yīng)把X和各自對(duì)Y的影響區(qū)分開，即二者之間不相關(guān)。⑸隨機(jī)誤差項(xiàng)服從0均值、同方差的正態(tài)分布。即：該假設(shè)符合經(jīng)濟(jì)實(shí)際，因?yàn)閺膶?shí)際經(jīng)驗(yàn)和理論分析可知，隨機(jī)影響可看作或近似看作服從正態(tài)分布。注意：在實(shí)際建立模型的過程中，除了基本假設(shè)⑸之外，對(duì)模型是否滿足假設(shè)都要進(jìn)行檢驗(yàn)。由于解釋變量Xi是確定性變量，隨機(jī)誤差項(xiàng)i

是隨機(jī)性變量，因此被解釋變量Yi是隨機(jī)變量，且其分布（特征）與

i相同。四、一元線性回歸模型的參數(shù)估計(jì)：普通最小二乘法（OLS）1、普通最小二乘法OLS2、參數(shù)估計(jì)的離差形式3、樣本回歸線SRF的性質(zhì)1、普通最小二乘法（OLS）已知一組樣本觀測(cè)值（Yi，Xi）(i=1,2,…,n)，要求樣本回歸函數(shù)盡可能好地?cái)M合這組值，即樣本回歸線上的點(diǎn)與真實(shí)觀測(cè)點(diǎn)Yi的“總體”誤差盡可能地小。在技術(shù)處理上我們一般采用“最小二乘法”。最小二乘原則：由于估計(jì)值和實(shí)測(cè)值之差可正可負(fù)，簡(jiǎn)單求和可能將很大的誤差抵消掉，因此，只有平方和才能反映二者在總體上的接近程度。最小二乘法給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小。即：最小。也就是說在給定樣本觀測(cè)值之下，選擇出、能使得Yi與之差的平方和最小。用最小二乘法估計(jì)和：是、的二次非負(fù)函數(shù)，故該函數(shù)存在極小值。根據(jù)微積分方法，當(dāng)Q對(duì)、的一階偏導(dǎo)數(shù)為0時(shí)，Q達(dá)到最小。即：求偏導(dǎo)后得：或該方程組稱為正則方程組（normalequations）解上述二元一次方程組得：2、參數(shù)估計(jì)的離差形式(deviationform)記則xi、yi分別表示對(duì)各自均值的離差。將離差帶入正則方程組，則參數(shù)估計(jì)量的離差形式為：由于、的估計(jì)結(jié)果是從最小二乘原理得到的，故稱之為最小二乘估計(jì)量。3、樣本回歸線SRF的性質(zhì)⑴樣本回歸線通過Y和X的樣本均值。證明：因?yàn)榧矗汗?，樣本回歸線通過Y和X的樣本均值。⑵估計(jì)的Y的均值等于實(shí)測(cè)的Y的均值證明：由于則有，即估計(jì)的Y的均值與實(shí)測(cè)的Y的均值相等。（3）殘差的均值為零。由正則方程組：可知：即：所以，即殘差的均值為零。（4）殘差和預(yù)測(cè)的Yi不相關(guān)。（5）殘差與Xi不相關(guān)。五、OLS估計(jì)量的性質(zhì)1、線性性2、無偏性3、有效性1、線性性指的是估計(jì)量、是Yi的線性組合。令則令則2、無偏性估計(jì)量、的均值（期望值）等于總體回歸參數(shù)真值0與1。即證：易知：同樣地，容易得出：3、有效性（最小方差性）在所有線性無偏估計(jì)量中，最小二乘估計(jì)量、具有最小方差。高斯—馬爾可夫定理：在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量。最佳線性無偏估計(jì)量——BLUE估計(jì)量（theBestLinearUnbiasedEstimator)普通最小二乘估計(jì)量OLS具有線性性、無偏性、最小方差性等優(yōu)良性質(zhì)。具有這些優(yōu)良性質(zhì)的估計(jì)量稱為最佳線性無偏估計(jì)量，即BLUE估計(jì)量。全部估計(jì)量線性無偏估計(jì)量BLUE估計(jì)量六、參數(shù)估計(jì)量的概率分布和隨機(jī)誤差項(xiàng)的方差估計(jì)1、和的概率分布、分別是Yi的線性組合，因此，和的概率分布取決于Y。我們知道，在是正態(tài)分布的假設(shè)下，Y是正態(tài)分布，因此，、也服從正態(tài)分布，其分布特征由其均值和方差共同決定。記、的標(biāo)準(zhǔn)差分別為：1S(^)2、隨機(jī)誤差項(xiàng)的方差2的估計(jì)在估計(jì)的參數(shù)和的方差和標(biāo)準(zhǔn)差的表達(dá)式中，都含有隨機(jī)誤差項(xiàng)方差2=var(i)。

2又稱為總體方差。由于隨機(jī)誤差項(xiàng)i不可觀測(cè)，2實(shí)際上是未知的，只能從i的估計(jì)量——?dú)埐頴i出發(fā)，對(duì)總體方差2進(jìn)行估計(jì)。總體方差2的無偏估計(jì)量為：在總體方差的無偏估計(jì)量求出后，和的方差和標(biāo)準(zhǔn)差的估計(jì)量分別為：的樣本方差：的樣本標(biāo)準(zhǔn)差為：的樣本方差：的樣本標(biāo)準(zhǔn)差為：思考：例2.3：在例2.1的總體中有如下一個(gè)樣本（見下表），