統(tǒng)計(jì)學(xué)第七章相關(guān)分析與回歸分析

統(tǒng)計(jì)學(xué)第七章相關(guān)分析與回歸分析第一頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析1.相關(guān)關(guān)系的種類(1)按相關(guān)程度劃分

完全相關(guān)：Y的變化完全由X的變化確定；

不相關(guān)：Y與X不相互影響，各自獨(dú)立變化；

不完全相關(guān)：Y與X之間有一定程度的相互影響。(2)按相關(guān)方向劃分

正相關(guān)：X與Y同時(shí)變大或變?。?/p>

負(fù)相關(guān)：X變大，Y變小或X變小，Y變大。(3)按相關(guān)形式劃分線性相關(guān)：Y與X的關(guān)系呈現(xiàn)出線性關(guān)系；非線性相關(guān)：Y與X的關(guān)系呈現(xiàn)出非線性關(guān)系。第二頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析1.相關(guān)關(guān)系的種類(4)按變量多少劃分

單相關(guān)：指兩個(gè)變量間的相關(guān)關(guān)系；復(fù)相關(guān)：指三個(gè)以上變量間的相關(guān)關(guān)系；偏相關(guān)：指多個(gè)變量情形下，固定其他變量，只考慮其中兩個(gè)變量間的相關(guān)關(guān)系。(5)按相關(guān)性質(zhì)劃分

真實(shí)相關(guān)：兩個(gè)變量確實(shí)存在內(nèi)在的相關(guān)關(guān)系；

虛假相關(guān)：兩個(gè)變量只是表現(xiàn)為數(shù)量上相關(guān)，并不存在內(nèi)在的聯(lián)系。第三頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析2.相關(guān)表和相關(guān)圖(1)相關(guān)表將某一變量按其數(shù)值的大小順序排列，然后再將與其相關(guān)的另一變量的對(duì)應(yīng)值平行排列，便可得到相關(guān)表。第四頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析2.相關(guān)表和相關(guān)圖(2)相關(guān)圖相關(guān)圖又稱散點(diǎn)圖，是以直角坐標(biāo)系的橫軸代表變量x，縱軸代表變量y，將兩個(gè)變量相對(duì)應(yīng)的成對(duì)數(shù)據(jù)用坐標(biāo)點(diǎn)的形式描繪出來，用于反映兩變量之間的相關(guān)關(guān)系的圖形。第五頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析3.相關(guān)系數(shù)及其計(jì)算方法相關(guān)系數(shù)的定義變量x與變量y之間的相關(guān)關(guān)系，可用數(shù)量指標(biāo)來表示。通常以字母表示總體的相關(guān)系數(shù)，以表示樣本的相關(guān)系數(shù)。定義如下：式中，是變量X與變量Y的協(xié)方差。

第六頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析3.相關(guān)系數(shù)及其計(jì)算方法(2)相關(guān)系數(shù)的特點(diǎn)a.r的取值介于-1到1之間；b.當(dāng)r=0時(shí)，X與Y的樣本觀測(cè)值之間沒有線性關(guān)系；c.在大多數(shù)情況下，。r>0，說明X與Y正相關(guān)；r<0，說明X與Y負(fù)相關(guān)。r值越接近1，X與Y的相關(guān)程度越高。微弱相關(guān)：低度相關(guān)：顯著相關(guān)：高度相關(guān)：

第七頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析3.相關(guān)系數(shù)及其計(jì)算方法(3)相關(guān)系數(shù)的計(jì)算具體計(jì)算相關(guān)系數(shù)時(shí)，通常利用以下公式：【例7-2】基于表7-1中的數(shù)據(jù)，求廣告費(fèi)與年銷售收入間的相關(guān)系數(shù)。

可見，廣告費(fèi)與銷售收入間存在高度的相關(guān)關(guān)系。

第八頁，共四十頁，2022年，8月28日第一節(jié)相關(guān)分析4.樣本相關(guān)系數(shù)(Pearson)顯著異于0的T檢驗(yàn)在二維總體(X,Y)服從正態(tài)分布的前提下，F(xiàn)isher給出了檢驗(yàn)簡(jiǎn)單相關(guān)系數(shù)(Pearson)顯著異于0的t統(tǒng)計(jì)量如下：式子中，n是樣本容量，r是簡(jiǎn)單相關(guān)系數(shù)(Pearson)。設(shè)定假設(shè)：H0:r=0,H1:r≠0這是一個(gè)雙尾檢驗(yàn)問題。第九頁，共四十頁，2022年，8月28日【例7-3】根據(jù)表7-3資料計(jì)算的相關(guān)系數(shù)，檢驗(yàn)該公司廣告費(fèi)和年銷售收入之間的相關(guān)系數(shù)是否顯著(設(shè)定顯著水平α=0.05)?解：第一步，提出假設(shè)：

H0:;H1:第二步，計(jì)算檢驗(yàn)的統(tǒng)計(jì)量第三步，統(tǒng)計(jì)決策。從下式中可以看出，相關(guān)系數(shù)顯著。第一節(jié)相關(guān)分析4.樣本相關(guān)系數(shù)(Pearson)顯著異于0的T檢驗(yàn)第十頁，共四十頁，2022年，8月28日此時(shí)的偏相關(guān)系數(shù)計(jì)算公式為：式中，是普通樣本相關(guān)系數(shù)。第一節(jié)相關(guān)分析5.剔除了一個(gè)變量Z的影響后，X、Y的偏相關(guān)系數(shù)6.剔除兩個(gè)變量Z1,Z2的影響后，X、Y的偏相關(guān)系數(shù)此時(shí)的偏相關(guān)系數(shù)計(jì)算公式為：式中，是固定z1的偏相關(guān)系數(shù)。第十一頁，共四十頁，2022年，8月28日偏相關(guān)系數(shù)顯著異于0的t統(tǒng)計(jì)量如下：，服從分布式中，n是樣本容量，k是剔除了的變量數(shù)，r是偏相關(guān)系數(shù)。第一節(jié)相關(guān)分析7.偏相關(guān)系數(shù)顯著異于0的T檢驗(yàn)第十二頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析1.相關(guān)分析與回歸分析的關(guān)系(1)相關(guān)分析通過計(jì)算相關(guān)系數(shù)來確定兩個(gè)變量之間的相關(guān)方向和密切程度，回歸分析則是選擇一個(gè)合適的數(shù)學(xué)模型，對(duì)具有相關(guān)關(guān)系的兩個(gè)或多個(gè)變量之間的具體數(shù)量關(guān)系進(jìn)行測(cè)定，以實(shí)現(xiàn)對(duì)因變量的估計(jì)或預(yù)測(cè)。(2)相關(guān)分析無需考慮變量作用順序，回歸分析則要考慮；(3)相關(guān)分析將變量都視為隨機(jī)變量，回歸分析則只將因變量視為隨機(jī)變量，自變量被認(rèn)為是非隨機(jī)的。第十三頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析2.一元線性回歸模型與回歸函數(shù)

總體回歸模型

總體回歸函數(shù)和是未知參數(shù)，又叫回歸系數(shù)；是隨機(jī)誤差項(xiàng)。3.樣本模型與樣本函數(shù)樣本回歸模型樣本回歸函數(shù)稱為截距項(xiàng)，稱為趨勢(shì)項(xiàng)，是殘差項(xiàng)。

第十四頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析

樣本回歸函數(shù)是對(duì)總體回歸函數(shù)的近似反映。回歸分析的主要任務(wù)就是采用適當(dāng)?shù)姆椒?，充分利用樣本提供的信息，使得樣本回歸函數(shù)盡可能地接近于真實(shí)的總體回歸函數(shù)。●第十五頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS

所謂最小二乘法就是通過令樣本的殘差平方和達(dá)到最小，來求得截距項(xiàng)與趨勢(shì)項(xiàng)的估計(jì)值的方法。大致包括三個(gè)步驟：第一，建立最小二乘函數(shù)；第二，應(yīng)用極值定理對(duì)最小二乘函數(shù)求偏導(dǎo)數(shù)；第三，求解偏導(dǎo)數(shù)方程組。第十六頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS（1）建立二乘函數(shù)：（2）基于極值定理對(duì)二乘函數(shù)求偏導(dǎo)數(shù)化簡(jiǎn)后可得第十七頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS應(yīng)用克萊姆法則解之得第十八頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS和是樣本值與均值的離差。對(duì)和做進(jìn)一步的變形為其中特例第十九頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS【例7-4】我們利用例7-1的表7-3的數(shù)據(jù)計(jì)算該公司廣告費(fèi)對(duì)年銷售收入的回歸方程（直線）。解：第一，觀察原始數(shù)據(jù)的散點(diǎn)圖；第二十頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS第二，利用Excel表格計(jì)算截距項(xiàng)與趨勢(shì)項(xiàng)中的各個(gè)值；第二十一頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析4.模型參數(shù)的點(diǎn)估計(jì)：最小二乘法OLS第二，利用Excel表格計(jì)算截距項(xiàng)與趨勢(shì)項(xiàng)中的各個(gè)值；從而有因此，樣本回歸方程為

第二十二頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析5.如何利用樣本殘差估計(jì)總體方差

除了和外，一元線性回歸模型中還包括另一個(gè)未知參數(shù)，那就是總體隨機(jī)誤差項(xiàng)的方差。在數(shù)學(xué)上已證明：因約束條件、，所以，自由度為

n-2。S2還可化簡(jiǎn)為：

第二十三頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析5.回歸參數(shù)的區(qū)間估計(jì)因?yàn)樗?/p>

第一，考慮、的概率分布由于服從正態(tài)分布，也服從正態(tài)分布。、都是的線性組合，因而也服從正態(tài)分布。公式表述如下：

第二十四頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析5.回歸參數(shù)的區(qū)間估計(jì)第二，考慮隨機(jī)變量的方差的方差可用殘差值來表示：是的無偏估計(jì)量，即因此，與的標(biāo)準(zhǔn)差估計(jì)值分別為：第二十五頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析5.回歸參數(shù)的區(qū)間估計(jì)第三，利用t統(tǒng)計(jì)量求出置信區(qū)間置信區(qū)間為：第二十六頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析5.回歸參數(shù)的區(qū)間估計(jì)【例7-6】根據(jù)例7-1中給出的有關(guān)數(shù)據(jù)和例7-4中已得到的回歸參數(shù)的估計(jì)值，求回歸系數(shù)的置信區(qū)間。解：由得進(jìn)一步簡(jiǎn)化得0.224≤β1≤0.382第二十七頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度(1)什么是擬合優(yōu)度？

擬合優(yōu)度指的是模型對(duì)樣本數(shù)據(jù)的擬合情況，回歸線距離樣本值越近擬合度越好，同時(shí)，說明X對(duì)Y的解釋程度越強(qiáng)。擬合優(yōu)度的評(píng)價(jià)指標(biāo)為“樣本可決系數(shù)”。第二十八頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度........YXYi

Xi

A0(2)什么是樣本可決系數(shù)？

在給出可決系數(shù)的公式之前，我們先來看離差平方和的“神奇分解”。離差未被解被解釋釋的部的部分分對(duì)式子求平方和可得：第二十九頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度下面證明最后一項(xiàng)為0因而，有第三十頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度其中是樣本的總離差平方和；是樣本的回歸平方和；是樣本的殘差平方和?？梢?，總離差平方和=回歸平方和+殘差平方和第三十一頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度則記第三十二頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度(2)什么是樣本可決系數(shù)呢？對(duì)上式移項(xiàng)可得就被稱作樣本的可決系數(shù)或決定系數(shù)或判定系數(shù)。第三十三頁，共四十頁，2022年，8月28日是樣本回歸線與樣本觀測(cè)值擬合優(yōu)度的度量指標(biāo)，也是回歸模型包含多少樣本信息量的具體表現(xiàn)。第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度(2)什么是樣本可決系數(shù)呢？說明變量X與Y之間不存在線性關(guān)系；說明變量X與Y之間存在線性關(guān)系，（X,Y）的樣本點(diǎn)都落在同一條直線上。通常越接近1，樣本回歸線對(duì)樣本值的擬合優(yōu)度越好，X對(duì)Y的解釋能力越強(qiáng)。第三十四頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度(3)樣本可決系數(shù)的計(jì)算公式由最小二乘回歸結(jié)果知：因此樣本系數(shù)可表示為：其中：第三十五頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析6.一元線性回歸模型的擬合優(yōu)度【例7-7】利用例7-2中表7-3的資料，計(jì)算年銷售收入對(duì)廣告費(fèi)的回歸的判定系數(shù)，并解釋其意義。解：方法1：方法2：第三十六頁，共四十頁，2022年，8月28日第二節(jié)一元線性回歸分析7.一元線性回歸模型的顯著性檢驗(yàn)(1)未知參數(shù)的t檢驗(yàn)

第一步：提出假設(shè)H0:;H1:第二步：確定顯著性水平

=0.05*或0.01**或