1一元線性回歸方程ppt課件.ppt

回歸分析 變量間的關(guān)系 確定性關(guān)系或函數(shù)關(guān)系y f x 人的身高和體重家庭的收入和消費(fèi)商品的廣告費(fèi)和銷(xiāo)售額糧食的施肥量和產(chǎn)量 非確定性關(guān)系 稱(chēng)這種非確定性關(guān)系為統(tǒng)計(jì)關(guān)系或相關(guān) x Y 第一章一元線性回歸模型 以下設(shè)x為自變量 普通變量 Y為因變量 隨機(jī)變量 現(xiàn)給定x的n個(gè)值x1 xn 觀察Y得到相應(yīng)的n個(gè)值y1 yn xi yi i 1 2 n稱(chēng)為樣本點(diǎn) 以 xi yi 為坐標(biāo)在平面直角坐標(biāo)系中描點(diǎn) 所得到的這張圖便稱(chēng)之為散點(diǎn)圖 1 1模型的建立及其假定條件 例如 研究某市可支配收入X對(duì)人均消費(fèi)支出Y的影響 建立如下理論回歸模型 Yi 0 1Xi i 其中 Yi 被解釋變量 Xi 解釋變量 I 隨機(jī)誤差項(xiàng) 0 1 回歸系數(shù) 隨機(jī)變量 i包含 回歸模型中省略的變量 確定數(shù)學(xué)模型的誤差 測(cè)量誤差 一 一元線性回歸模型 假設(shè)調(diào)查了某社區(qū)所有居民 他們的人均可支配收入和消費(fèi)支出數(shù)據(jù)如下 描出散點(diǎn)圖發(fā)現(xiàn) 隨著收入的增加 消費(fèi) 平均地說(shuō) 也在增加 且Y的條件均值均落在一根正斜率的直線上 這條直線稱(chēng)為總體回歸線 二 隨機(jī)誤差項(xiàng) i的假定條件 為了估計(jì)總體回歸模型中的參數(shù) 需對(duì)隨機(jī)誤差項(xiàng)作出如下假定 假定1 零期望假定 E i 0 假定2 同方差性假定 Var i 2 假定4 i服從正態(tài)分布 即 i N 0 2 假定3 無(wú)序列相關(guān)假定 Cov i j 0 i j 前三個(gè)條件稱(chēng)為G M條件 1 2一元線性回歸模型的參數(shù)估計(jì) 普通最小二乘法 OrdinaryLeastSquares OLS回歸直線的性質(zhì)OLSE的性質(zhì) 一 普通最小二乘法 對(duì)于所研究的問(wèn)題 通常真實(shí)的回歸直線E Yi Xi 0 1Xi是觀測(cè)不到的 可以通過(guò)收集樣本來(lái)對(duì)真實(shí)的回歸直線做出估計(jì) 經(jīng)驗(yàn)回歸直線 其中 為Yi的估計(jì)值 擬合值 為 0 1的估計(jì)值 如果觀測(cè)值到這條直線的縱向距離 真實(shí)值與估計(jì)值的偏差 用ei表示 稱(chēng)為殘差 則經(jīng)驗(yàn)回歸模型為 ei為 i的估計(jì)值 注意 分清4個(gè)式子的關(guān)系 4 經(jīng)驗(yàn) 估計(jì)的 回歸直線 1 理論 真實(shí)的 回歸模型 3 經(jīng)驗(yàn) 估計(jì)的 回歸模型 2 理論 真實(shí)的 回歸直線 對(duì)于參數(shù)的估計(jì)采用最小二乘估計(jì)法 最小二乘法的原則是以 殘差平方和最小 確定直線位置 即估計(jì)參數(shù) Q為殘差平方和 Q 則通過(guò)Q最小確定這條直線 即確定 以為變量 把它們看作是Q的函數(shù) 就變成了一個(gè)求極值的問(wèn)題 可以通過(guò)求導(dǎo)數(shù)得到 求Q對(duì)兩個(gè)待估參數(shù)的偏導(dǎo)數(shù) 0 0 正規(guī)方程組 即 根據(jù)以上兩個(gè)偏導(dǎo)方程得以下正規(guī)方程 Normalequation 若記 則 二 OLS回歸直線的性質(zhì) 1 估計(jì)的回歸直線過(guò)點(diǎn) 3 Yi的擬合值的平均數(shù)等于其樣本觀測(cè)值的平均數(shù) 2 統(tǒng)計(jì)性質(zhì)線性無(wú)偏性有效性 2的估計(jì) 三 OLSE回歸直線的性質(zhì) 1 線性 這里指都是Yi的線性函數(shù) 2 無(wú)偏性 證明 類(lèi)似可證 3 有效性 0 1的OLS估計(jì)量的方差比其他線性無(wú)偏估計(jì)量的方差都小 總體 隨機(jī)誤差項(xiàng) 真實(shí)方差 2的無(wú)偏估計(jì)量 三 2的估計(jì) 1 3回歸方程的顯著性檢驗(yàn) 一 回歸參數(shù)的顯著性檢驗(yàn) t檢驗(yàn) 首先 提出原假設(shè)和備擇假設(shè) H0 H1 其次 確定并計(jì)算統(tǒng)計(jì)量 如果不能拒絕H0 認(rèn)為X對(duì)Y沒(méi)有顯著影響 如果拒絕H0 認(rèn)為X對(duì)Y有顯著影響 同理 可對(duì)進(jìn)行顯著性檢驗(yàn) 二 回歸方程的顯著性檢驗(yàn) F檢驗(yàn) 三 用樣本可決系數(shù)檢驗(yàn)回歸方程的擬合優(yōu)度 R2 R2 0時(shí)表明解釋變量X與被解釋變量Y之間不存在線性關(guān)系 R2 1時(shí)表明樣本回歸線與樣本值重合 這種情況極少發(fā)生 一般情況下 R2越接近1表示擬合程度越好 X對(duì)Y的解釋能力越強(qiáng) 四 相關(guān)系數(shù)檢驗(yàn)法 1 提出原假設(shè)2 選擇統(tǒng)計(jì)量 3 對(duì)給定的顯著性水平 查臨界值r n 2 得否定域?yàn)?R r n 2 1 4回歸系數(shù)估計(jì)值的置信區(qū)間 t 2 n 2 0t 2 n 2 由于 由大括號(hào)內(nèi)不等式表示的 1的1 的置信區(qū)間為 得 P t 2 n 2 1 同理 可 并求得的置信區(qū)間為 1 5一元線性回歸方程的預(yù)測(cè)和控制 點(diǎn)預(yù)測(cè)Yi區(qū)間預(yù)測(cè) 1 單個(gè)值Yi的區(qū)間預(yù)測(cè) 2 均值E Yi 的區(qū)間預(yù)測(cè)控制 如果經(jīng)過(guò)檢驗(yàn) 樣本回歸方程的擬合優(yōu)度好 且回歸系數(shù)的估計(jì)值顯著不為0 則可以用回歸方程進(jìn)行預(yù)測(cè)和控制 1 點(diǎn)預(yù)測(cè) 假設(shè)X0為解釋變量的一個(gè)已知點(diǎn) 則帶入樣本回歸方程即可得到Y(jié)0的估計(jì)值 2 區(qū)間預(yù)測(cè) 估計(jì)值是一個(gè)點(diǎn)預(yù)測(cè)值 它可以是 1 總體真值Y0的預(yù)測(cè)值 也可以是 2 總體回歸線E Y0 的預(yù)測(cè)值 現(xiàn)在根據(jù)來(lái)對(duì) 1 2 進(jìn)行區(qū)間預(yù)測(cè) 1 Y0的預(yù)測(cè)區(qū)間 的分布是 所以