




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、第四章 線性回歸模型的矩陣方法,教師:盧時(shí)光,本章介紹用矩陣代數(shù)符號(hào)來(lái)表示經(jīng)典線性回歸模型。本章除矩陣模型之外,不涉及新概念。 矩陣代數(shù)最大的優(yōu)越性在于,它為處理任意多個(gè)變量的回歸模型提供了一種簡(jiǎn)潔的方法。 本章需要具有行列式和矩陣代數(shù)的數(shù)學(xué)基礎(chǔ),請(qǐng)各位同學(xué)自行復(fù)習(xí)相關(guān)知識(shí)。在本章的講授過(guò)程中所遇到的有關(guān)矩陣計(jì)算的定理和結(jié)論,不再一一證明,請(qǐng)自行參考有關(guān)書籍。,4.1 k變量的線性回歸模型 如果我們把雙變量和三變量的回歸模型進(jìn)行推廣,則包含應(yīng)變量Y和k-1個(gè)解釋變量X2,X3,Xk的總體回歸函數(shù)(PRF)表達(dá)為: 其中,1截距, 2 到k是偏斜率(回歸)系數(shù),u是隨機(jī)干擾項(xiàng),i是第i次觀測(cè),n
2、為總體大小。 總體回歸函數(shù)如同以前那樣解釋:給定了X2,X3,Xk的固定值(在重復(fù)抽樣中)為條件的Y的均值或期望值。PRF還可以表達(dá)為:,上述表達(dá)式,如果寫出矩陣的形式: 這樣,我們把下述方程表達(dá)稱之為:一般(k變量)線性模型的矩陣表現(xiàn): 如果矩陣和向量的各個(gè)維數(shù)或階不會(huì)引起誤解,則可以簡(jiǎn)單寫作: y :對(duì)應(yīng)變量Y觀測(cè)值的n1列向量。 X:給出對(duì)k-1個(gè)變量X2至Xk的那次觀測(cè)值的nk矩陣,其全為1的列表示截距項(xiàng)。此陣又稱為數(shù)據(jù)矩陣。 :未知參數(shù)1 到k的k1列向量。 u : n個(gè)干擾ui的n1列向量。,4.2 經(jīng)典回歸模型的假定的矩陣表達(dá) 1. 殘差期望為零 2. 同方差性和無(wú)序列相關(guān)性 u
3、是列向量u的轉(zhuǎn)置或者一個(gè)行向量。做向量乘法:,由于同方差性和無(wú)序列相關(guān)性,我們得到干擾項(xiàng)ui的方差-協(xié)方差矩陣。 此陣的主對(duì)角線(由左上角到右下角)上的元素給出方差,其他元素給出協(xié)方差。注意方差-協(xié)方差矩陣的對(duì)稱性。 其中I是一個(gè)恒等矩陣。,3.X是非隨機(jī)的。我們的分析是條件回歸分析,是以各個(gè)X變量的固定值作為條件的。 4.無(wú)多重共線性 無(wú)多重共線性是指矩陣X是列滿秩的,即其矩陣的秩等于矩陣的列數(shù),意思是,X矩陣的列是線性獨(dú)立的。 存在一組不全為零的數(shù)12k,使得: 用矩陣來(lái)表示: 5.向量u有一多維正態(tài)分布,即:,4.3 OLS估計(jì) 我們先寫出k變量樣本回歸函數(shù): 如同前面的分析,我們也是從
4、殘差平方和的最小化來(lái)進(jìn)行的:,為了使得殘差平方和 盡可能的小,我們?nèi)匀皇菍?duì)參數(shù)1 到k微分,并令微分的結(jié)果表達(dá)式為零,同樣得到最小二乘理論的正則方程:k個(gè)未知數(shù)的k個(gè)聯(lián)立方程。,整理后: 注意(XX)矩陣的特點(diǎn):1.主對(duì)角線是元素的平方和;2.因?yàn)閄2i與X3i之間的交叉乘積就是之間X3i與X2i的交叉乘積,因此矩陣的對(duì)稱的;3.它的階數(shù)是(kk),就是k行與k列。,上述方程是用矩陣符號(hào)來(lái)表示的OLS理論的一個(gè)基本結(jié)果。 上述方程也能夠通過(guò)uu對(duì)的微分直接求得,請(qǐng)大家自行參考相關(guān)文獻(xiàn)。,一個(gè)例子: 收入-消費(fèi),的方差-協(xié)方差矩陣 矩陣方法不僅能使我們導(dǎo)出 的任意元素 的方差公式,還求出 的任意
5、兩元素 和 的協(xié)方差。我們需要用這些方差和協(xié)方差來(lái)做統(tǒng)計(jì)推斷。 定義: 參考相關(guān)資料,上述方差-協(xié)方差矩陣可以從下述公式計(jì)算:,其中 是ui的共同方差,而 就是出現(xiàn)在OLS估計(jì)量方程中的逆矩陣。 和前面一樣, 用其無(wú)偏估計(jì)量 來(lái)替代: 的計(jì)算 原理上 可以從估計(jì)的殘差中算出,但實(shí)踐中更愿意按照下述方法直接得到。 回顧:,一項(xiàng)被稱為均值校正值。因此: 一旦得到 則 就容易計(jì)算?;氐轿覀兊睦又校?4.4 用矩陣來(lái)表示判定系數(shù)R2,4.5 關(guān)于個(gè)別回歸系數(shù)的假設(shè)檢驗(yàn)的矩陣表達(dá) 我們?cè)?jīng)假設(shè)每一個(gè)ui都服從均值為0和不變方差的正態(tài)分布。用矩陣符號(hào)來(lái)表示,為: 其中,u和0都是n1列向量,I是nn恒定
6、矩陣,0是零向量。 在k階回歸模型中,我們可以證明: 由于實(shí)際的 未知,我們使用估計(jì)量 ,就要用到從正態(tài)分布到t分布的的轉(zhuǎn)換,這樣 每一個(gè)元素都遵循n-k個(gè)自由度的t分布。 利用t分布來(lái)檢驗(yàn)關(guān)于真值 的假設(shè),并建立它的置信區(qū)間,具體的方法我們?cè)谇懊嬉呀?jīng)討論過(guò),這里不再重復(fù)。,4.6 檢驗(yàn)總體回歸的總顯著性:用矩陣表示的方差分析 方差分析(ANOVA)用以(1)檢驗(yàn)回歸估計(jì)的總顯著性,即檢驗(yàn)全部(偏)回歸系數(shù)同時(shí)為零的虛擬假設(shè)。(2)評(píng)價(jià)一個(gè)解釋變量的增量貢獻(xiàn)。 方差分析很容易推廣到k變量情形。 假定干擾ui是正態(tài)分布的,并且虛擬假設(shè): 則可以證明: 是服從自由度為(k-1, n-k)的F分布。,在前面的討論中,我們發(fā)現(xiàn)F與R2之間存在緊密聯(lián)系, 因此,上面的方差分析表還可以表達(dá)為: 這么做的好處是全部分析都通過(guò)R2來(lái)進(jìn)行,這樣我們不需考慮F變量中被消掉的 。,小結(jié) 本章的主要目的是介紹線性回歸模
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 物流倉(cāng)儲(chǔ)勞動(dòng)力和材料投入計(jì)劃及其保證措施
- 人教版八年級(jí)道德與法治教學(xué)能力提升計(jì)劃
- 一年級(jí)綜合實(shí)踐教學(xué)活動(dòng)創(chuàng)新計(jì)劃
- 客戶經(jīng)理員工試用期轉(zhuǎn)正談話記錄范文
- 護(hù)理團(tuán)隊(duì)災(zāi)害響應(yīng)調(diào)配方案及流程
- 酒店安全文化建設(shè)的管理措施
- 2025屆河南省南陽(yáng)中學(xué)物理高二第二學(xué)期期末調(diào)研模擬試題含解析
- 部編版五年級(jí)語(yǔ)文下冊(cè)教育教學(xué)計(jì)劃
- 四川省成都市武侯區(qū)2024-2025學(xué)年八年級(jí)物理第一學(xué)期期末檢測(cè)模擬試題含解析
- 廣西興業(yè)縣聯(lián)考2024年七上數(shù)學(xué)期末復(fù)習(xí)檢測(cè)模擬試題含解析
- 2025全員安全生產(chǎn)責(zé)任制范本
- 林業(yè)行政執(zhí)法培訓(xùn)
- 電大考試試題及答案商法
- 廣西壯族自治區(qū)柳州市上進(jìn)聯(lián)考2024-2025學(xué)年高一下學(xué)期6月期末聯(lián)合考試數(shù)學(xué)試題(含答案)
- 八年級(jí)暑假前家長(zhǎng)會(huì)課件
- 2025年河南省高考地理試卷真題(含答案)
- 2025屆廣東省惠州惠城區(qū)五校聯(lián)考英語(yǔ)八下期末檢測(cè)試題含答案
- 工廠績(jī)效計(jì)件方案(3篇)
- 2025年湖南省中考?xì)v史試卷真題(含答案)
- 高中英語(yǔ)必背3500單詞表完整版
- T/CNFAGS 16-2024綠色甲醇分級(jí)標(biāo)準(zhǔn)(試行)
評(píng)論
0/150
提交評(píng)論