13_多重回歸模版課件

1、 多重線性回歸與相關(guān) 多重回歸(multiple linear regression)與多重相關(guān)(multiple correlation)是研究一個(gè)因變量和多個(gè)自變量之間線性關(guān)系的統(tǒng)計(jì)學(xué)分析方法。 第一節(jié) 多重線性回歸的概念及其統(tǒng)計(jì)描述 例13-1 為了研究空氣中一氧化氮NO的濃度與汽車(chē)流量等因素的關(guān)系，有人測(cè)定了某城市交通點(diǎn)在單位時(shí)間內(nèi)過(guò)往的汽車(chē)數(shù)、氣溫、空氣濕度、風(fēng)速以及空氣中的NO的濃度，數(shù)據(jù)如表13-1所示。 bj為自變量Xj 的偏回歸系數(shù)partial regression coefficient，是j的估計(jì)值，表示當(dāng)方程中其他自變量保持常量時(shí)，自變量Xj變化一個(gè)計(jì)量單位,反響變量

2、Y的平均值變化的單位數(shù)。 標(biāo)準(zhǔn)化偏回歸系數(shù)standardized partial regression coefficient，又稱(chēng)為通徑系數(shù)path coefficient。標(biāo)準(zhǔn)化偏回歸系數(shù)bj較大的自變量在數(shù)值上對(duì)反響變量Y的作用較大。 回歸參數(shù)的估計(jì)： 前提條件：LINE。 最小二乘法 (least square method)。 根本原理是：利用觀察或收集到的因變量和自變量的一組數(shù)據(jù)建立一個(gè)因變量關(guān)于自變量的線性函數(shù)模型，使得這個(gè)模型的理論值和觀察值之間的殘差平方和盡可能地小。第二節(jié) 多重線性回歸的假設(shè)檢驗(yàn) 表13-2顯示，P 0.0001,拒絕H0。說(shuō)明從整體上而言，用這四個(gè)自變量

3、構(gòu)成的回歸方程解釋空氣中NO濃度的變化是有統(tǒng)計(jì)學(xué)意義的。 偏回歸系數(shù)的 t 檢驗(yàn) 偏回歸系數(shù)的 t 檢驗(yàn)是在回歸方程具有統(tǒng)計(jì)學(xué)意義的情況下，檢驗(yàn)?zāi)硞€(gè)總體偏回歸系數(shù)等于零的假設(shè),以判斷是否相應(yīng)的那個(gè)自變量對(duì)回歸確有奉獻(xiàn)。 H0: i = 0 H1: i 0第三節(jié) 復(fù)相關(guān)系數(shù)與偏相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)的平方稱(chēng)為確定系數(shù)coefficient of determination, 或決定系數(shù)，記為R2，用以反映線性回歸模型能在多大程度上解釋反響變量Y的變異性。其定義為 復(fù)相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)(multiple correlation coefficient) R 定義為確定系數(shù)的算術(shù)平方根，表示變量Y與

4、k個(gè)自變量X1,X2,Xk線性相關(guān)的密切程度。 調(diào)整的R2(Adjusted R-Square)：當(dāng)回歸方程中包含有很多自變量，即使其中有一些自變量如本例中的X3 對(duì)解釋反響變量變異的奉獻(xiàn)極小，隨著回歸方程的自變量的增加，R2 值表現(xiàn)為只增不減，這是復(fù)相關(guān)系數(shù)R2的缺點(diǎn)。調(diào)整的R2記為 ,定義為 偏相關(guān)系數(shù) 暑假期間雙胞胎兄弟大明和小明參加勤工儉學(xué)，大明在超級(jí)市場(chǎng)幫助賣(mài)冷飲，小明在游泳池收門(mén)票。每天晚上，二人閑聊。昨天大明冷飲賣(mài)得多，小明門(mén)票也收得多，今天，大明賣(mài)得少，小明門(mén)票也收得少。一個(gè)月下來(lái)，他們發(fā)現(xiàn)，超級(jí)市場(chǎng)冷飲銷(xiāo)售量和游泳人數(shù)呈正相關(guān)。是不是愛(ài)吃冷飲的人想游泳？或愛(ài)游泳的人喜歡冷飲？

5、 r0.05=0.602原來(lái)冷飲銷(xiāo)售量和氣溫正相關(guān)，游泳人數(shù)和氣溫也正相關(guān)，冷飲銷(xiāo)售量和游泳人數(shù)的正相關(guān)是氣溫造成的假象，扣除氣溫的影響之后兩者就不相關(guān)了。 一般地，扣除其他變量的影響后，變量Y與X的相關(guān)，稱(chēng)為Y與X的偏相關(guān)系數(shù)。偏相關(guān)系數(shù) 第四節(jié) 自變量篩選 為確保回歸方程包含所有對(duì)反響變量有較大影響的自變量，而把對(duì)反響變量作用不大或可有可無(wú)的自變量排除在方程之外，這一統(tǒng)計(jì)過(guò)程稱(chēng)為自變量的選擇。 一、自變量篩選的標(biāo)準(zhǔn)與原那么 1. 殘差平方和SSE縮小與確定系數(shù)R2增大； 2. 殘差均方MSE縮小與調(diào)整確定系數(shù)Ra2增大3. 統(tǒng)計(jì)量: 二、自變量篩選的常用方法 1. 所有可能自變量子集選擇

6、(all possible subsets selection) ，又稱(chēng)全局擇優(yōu)法；2. 前向選擇forward selection；3. 后向選擇backward selection；4. 逐步選擇stepwise selection。1. 全局擇優(yōu)法 根據(jù)某種變量的選擇準(zhǔn)那么，通過(guò)比較各子集符合準(zhǔn)那么的程度，從中選擇出一個(gè)或幾個(gè)最優(yōu)的回歸，稱(chēng)為“最優(yōu)子集回歸。2. 前向選擇forward selection 3. 后向選擇 (backward selection) 4.逐步選擇stepwise selection 第五節(jié) 多元線性回歸的應(yīng)用 及其本卷須知一、應(yīng)用影響因素分析，控制混雜因素預(yù)

7、測(cè)：由自變量值推出應(yīng)變量Y的值控制：指定應(yīng)變量Y的值查看自變量的改變量二、應(yīng)用條件應(yīng)用的本卷須知樣本含量 觀察個(gè)體數(shù)n與變量個(gè)數(shù)m的比例一般至少應(yīng)為：n : m510統(tǒng)計(jì)“最優(yōu)與專(zhuān)業(yè)的“最優(yōu)不同準(zhǔn)那么、方法得出的“最優(yōu)方程不同；不同的引入、剔除標(biāo)準(zhǔn)獲得的“最優(yōu)方程不同；方程還受數(shù)據(jù)的正確性、共線性影響多重共線性 自變量間存在著線性關(guān)系，使一個(gè)或幾個(gè)自變量可以由另外的自變量線性表示時(shí)，稱(chēng)為該變量與另外的自變量間存在有共線性(collinearity)?；貧w系數(shù)的符號(hào)與由專(zhuān)業(yè)知識(shí)不符變量的重要性與專(zhuān)業(yè)不符多重共線性的識(shí)別與解決方法 整個(gè)方程決定系數(shù)R2高，但各自變量對(duì)應(yīng)的回歸系數(shù)均不顯著。解決共線性的主要方法：篩選自變量用主成分回歸嶺回歸。交互作用 當(dāng)某一自變量對(duì)應(yīng)變量的作用大小與另一個(gè)自變量的取值有關(guān)時(shí)，那么表示兩個(gè)變量有交互作用interaction。 檢驗(yàn)兩變量間有無(wú)交互作用，普遍的做法是在方程中參加它們的乘積項(xiàng)再做檢驗(yàn)。如考察X1、X2間的交互作用，可在模型中參加X(jué)1X2項(xiàng)。幾個(gè)相關(guān)系數(shù)的區(qū)別