Ch線性關(guān)系的分析相關(guān)與回歸課件

1、第十三章 相關(guān)與迴歸1/26課程目標(biāo)瞭解線性關(guān)係的概念瞭解相關(guān)係數(shù)的原理瞭解其他類型的相關(guān)係數(shù)的概念瞭解迴歸分析的原理瞭解迴歸分析的假設(shè)熟習(xí)相關(guān)與迴歸的SPSS統(tǒng)計(jì)應(yīng)用第1頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸2/26 線性關(guān)係的分析原理線性關(guān)係（linear relationship）指兩個(gè)變項(xiàng)的關(guān)係呈現(xiàn)直線般的共同變化數(shù)據(jù)的分佈可以被一條最具代表性的直線來(lái)表達(dá)的關(guān)聯(lián)情形 。 該直線之方程式為Y=bx+a，b為斜率（即y/x，每單位的X變動(dòng)時(shí)，在Y軸上所變動(dòng)的量） 線性關(guān)係可以散佈圖來(lái)表現(xiàn) 第一節(jié)第2頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸3/26五種不同的相關(guān)情形完全正相關(guān)（perfect posi

2、tive correlation）完全負(fù)相關(guān)（perfect negative correlation）正相關(guān)（positive correlation）負(fù)相關(guān)（negative correlation）零相關(guān)（zero correlation） 第二節(jié)第3頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸4/26相關(guān)分析的圖示第二節(jié)第4頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸5/26積差相關(guān)的假設(shè)考驗(yàn) 相關(guān)係數(shù)是否具有統(tǒng)計(jì)上的意義，則必須透過(guò)統(tǒng)計(jì)考驗(yàn)(t-test)來(lái)判斷從樣本得到的r是否來(lái)自於相關(guān)為0的母體，即H0:XY=（0=0）相關(guān)係數(shù)的t檢定的自由度為N-2，因?yàn)閮蓚€(gè)變項(xiàng)各取一個(gè)自由度進(jìn)行樣本變異數(shù)估計(jì)

3、第二節(jié)第5頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸6/26相關(guān)係數(shù)的特質(zhì)隨著共變數(shù)的大小與正負(fù)向，相關(guān)係數(shù)可以分為正相關(guān)(完全正相關(guān))、負(fù)相關(guān)(完全負(fù)相關(guān))、零相關(guān)五種情形。相關(guān)的大小需經(jīng)顯著性檢定來(lái)證明是否顯著(是否有統(tǒng)計(jì)上的意義)。相關(guān)係數(shù)介於-1至1之間。相關(guān)情形的大小非與r係數(shù)大小成正比相關(guān)並不等於因果相關(guān)係數(shù)沒(méi)有單位, 可以進(jìn)行跨樣本的比較第二節(jié)第6頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸7/26相關(guān)係數(shù)的強(qiáng)度大小與意義 第二節(jié)第7頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸8/26點(diǎn)二系列相關(guān)係數(shù)適用於二分變數(shù)的相關(guān)係數(shù)計(jì)算rpb的係數(shù)數(shù)值介於1.0之間，絕對(duì)值越大，表示兩個(gè)變項(xiàng)的關(guān)係越強(qiáng)當(dāng)rpb係數(shù)為

4、正時(shí)，表示二分變項(xiàng)數(shù)值大者，在連續(xù)變項(xiàng)上的得分越高當(dāng)rpb係數(shù)為負(fù)時(shí)，表示二分變項(xiàng)數(shù)值小者，在連續(xù)變項(xiàng)上的得分越高當(dāng)p與q數(shù)值為越接近0.5時(shí)，rpb的數(shù)值才有可能接近1.0二分變項(xiàng)也可以視為一種連續(xù)變項(xiàng)，其與其他任何連續(xù)變項(xiàng)的相關(guān)，即等於Pearsons r 第三節(jié)第8頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸9/26eta係數(shù) 適用於一個(gè)類別變項(xiàng)與連續(xù)變項(xiàng)的相關(guān)，可以反應(yīng)非線性關(guān)係的強(qiáng)度 原理是計(jì)算類別變項(xiàng)的每一個(gè)數(shù)值（類別）下，連續(xù)變項(xiàng)的離散情形佔(zhàn)全體變異量的比例各類別中，在連續(xù)變項(xiàng)上的組內(nèi)離均差平方和，佔(zhàn)總離均差平方和的百分比（以X無(wú)法解釋Y的誤差部分），比例越小，表示兩變項(xiàng)的關(guān)聯(lián)越強(qiáng) 係數(shù)數(shù)

5、值類似積差相關(guān)係數(shù)，介於0至1之間，取平方後稱為2，具有削減誤差百分比（PRE）的概念，又稱為相關(guān)比（correlation ratio） 第三節(jié)第9頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸10/26偏相關(guān)與部分相關(guān) 偏相關(guān)（partial correlation）與部分相關(guān)（part correlation）計(jì)算兩個(gè)變項(xiàng)的相關(guān)係數(shù)時(shí)，把第三變項(xiàng)的影響加以控制的技術(shù) (b)YXYX(a)C(c)YXC(d)YXC(e)YXC第三節(jié)第10頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸11/26淨(jìng)相關(guān)與部份相關(guān) 線性關(guān)係的統(tǒng)計(jì)控制如果兩個(gè)連續(xù)變項(xiàng)之間的關(guān)係，可能受到其他變項(xiàng)的干擾之時(shí)，或研究者想要把影響這兩個(gè)變項(xiàng)的

6、第三個(gè)變項(xiàng)效果排除，可以利用控制的方式，將第三變項(xiàng)的效果進(jìn)行統(tǒng)計(jì)的控制。 淨(jìng)相關(guān) 在計(jì)算兩個(gè)連續(xù)變項(xiàng)X1與X2的相關(guān)之時(shí)，將第三變項(xiàng)（X3）與兩個(gè)相關(guān)變項(xiàng)的相關(guān)r13與r23予以排除之後的純淨(jìng)相關(guān)，以r123來(lái)表示。 部份相關(guān) 計(jì)算X1與X2的單純相關(guān)，如果在計(jì)算排除效果之時(shí)，僅處理第三變項(xiàng)與X1與X2當(dāng)中某一個(gè)變項(xiàng)的相關(guān)之時(shí)，所計(jì)算出來(lái)的相關(guān)係數(shù)，稱之為部份相關(guān)，或稱為半淨(jìng)相關(guān)（semipartial correlation） 第三節(jié)第11頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸12/26均值迴歸（regression toward the mean）緣起1855年，英國(guó)學(xué)者Galton以“Reg

7、ression toward mediocrity in heredity stature”，分析孩童身高與父母身高之間的關(guān)係父母的身高可以預(yù)測(cè)子女的身高：當(dāng)父母身高越高或越矮時(shí)，子女的身高會(huì)較一般孩童高或矮當(dāng)父母親身高很高或很矮（極端傾向）時(shí)，子女的身高會(huì)不如父母親身高的極端化，而朝向平均數(shù)移動(dòng)（regression toward mediocrity） 第四節(jié)第12頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸13/26迴歸原理迴歸原理將連續(xù)變項(xiàng)的線性關(guān)係以一最具代表性的直線來(lái)表示，建立一個(gè)線性方程式Y(jié)=bX+a ，b為斜率，a為截距 透過(guò)此一方程式，代入特定的X值，求得一個(gè)Y的預(yù)測(cè)值。此種以單一獨(dú)變

8、項(xiàng)X去預(yù)測(cè)依變項(xiàng)Y的過(guò)程，稱為簡(jiǎn)單迴歸（simple regression） 最小平方法與迴歸方程式 配對(duì)觀察值（X,Y），將X值代入方程式，得到的數(shù)值為對(duì)Y變項(xiàng)的預(yù)測(cè)值，記為Y差值Y-Y稱為殘差（residual），表示利用迴歸方程式無(wú)法準(zhǔn)確預(yù)測(cè)的誤差最小平方法：求取殘差的平方和最小化的一種估計(jì)迴歸線的方法利用此種原理所求得的迴歸方程式，稱為最小平方迴歸線第四節(jié)第13頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸14/26迴歸方程式與未標(biāo)準(zhǔn)化迴歸係數(shù) 迴歸方程式 的斜率與截距 第四節(jié)第14頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸15/26標(biāo)準(zhǔn)化迴歸係數(shù)（standardized regression coef

9、ficient） 標(biāo)準(zhǔn)化迴歸係數(shù)將b值乘以X變項(xiàng)的標(biāo)準(zhǔn)差再除以Y變項(xiàng)的標(biāo)準(zhǔn)差，即可去除單位的影響，得到一個(gè)不具特定單位的標(biāo)準(zhǔn)化迴歸係數(shù)標(biāo)準(zhǔn)化迴歸係數(shù)稱為（Beta）係數(shù)。係數(shù)是將X與Y變項(xiàng)所有數(shù)值轉(zhuǎn)換成Z分?jǐn)?shù)後，所計(jì)算得到的迴歸方程式的斜率 係數(shù)具有與相關(guān)係數(shù)相似的性質(zhì)，數(shù)值介於-1至+1之間絕對(duì)值越大者，表示預(yù)測(cè)能力越強(qiáng)，正負(fù)向則代表X與Y變項(xiàng)的關(guān)係方向 第四節(jié)第15頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸16/26迴歸誤差與可解釋變異 觀察值Y=bX+a+e 迴歸方程式為誤差為兩者之差：e=Y- Y第四節(jié)第16頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸17/26迴歸解釋變異量 迴歸解釋變異量(R2)表示

10、使用X去預(yù)測(cè)Y時(shí)的預(yù)測(cè)解釋力（獨(dú)變項(xiàng)對(duì)於依變項(xiàng)的解釋力）即Y變項(xiàng)被自變項(xiàng)所削減的誤差百分比 第四節(jié)第17頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸18/26調(diào)整迴歸解釋變異量 R2無(wú)法反應(yīng)模型的複雜度（或簡(jiǎn)效性）簡(jiǎn)效性（ parsimony ）問(wèn)題不斷增加獨(dú)變項(xiàng)，R2不會(huì)減低（R2為獨(dú)變項(xiàng)數(shù)目的非遞減函數(shù)）研究者為了提高模型的解釋力，不斷的投入獨(dú)變項(xiàng)，每增加一個(gè)獨(dú)變項(xiàng)，損失一個(gè)自由度，最後模型中無(wú)關(guān)的獨(dú)變項(xiàng)過(guò)多，自由度變項(xiàng)，失去了簡(jiǎn)效性調(diào)整後R2 （adjusted R2）為了處罰增加獨(dú)變項(xiàng)所損失的簡(jiǎn)效性，將自由度的變化作為分子與分母項(xiàng)的除項(xiàng)加以控制，可以反應(yīng)因?yàn)楠?dú)變項(xiàng)數(shù)目變動(dòng)的簡(jiǎn)效性損失的影響 當(dāng)獨(dú)

11、變項(xiàng)數(shù)目（p）越多，adjR2越小當(dāng)樣本數(shù)越大，對(duì)於簡(jiǎn)效性處罰的作用越不明顯 第四節(jié)第18頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸19/26迴歸模型的顯著性考驗(yàn) R2的基本原理是變異數(shù)，因此對(duì)於R2的檢定可利用F考驗(yàn)來(lái)進(jìn)行 第四節(jié)第19頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸20/26估計(jì)標(biāo)準(zhǔn)誤 預(yù)測(cè)誤差e是一個(gè)呈現(xiàn)常態(tài)分配的隨機(jī)變數(shù)，平均數(shù)為0，標(biāo)準(zhǔn)差為se估計(jì)標(biāo)準(zhǔn)誤的計(jì)量性質(zhì)是標(biāo)準(zhǔn)差，因此可用以反應(yīng)誤差分配的離散情形標(biāo)準(zhǔn)誤越大，估計(jì)誤差越大標(biāo)準(zhǔn)誤越小，估計(jì)誤差越小 估計(jì)標(biāo)準(zhǔn)誤取誤差變異的平方和除以自由度（N-k-1）的開方，亦即F考驗(yàn)當(dāng)中的誤差均方（MSe）的開方 第四節(jié)第20頁(yè)，共25頁(yè)。第十三章

12、相關(guān)與迴歸21/26迴歸模型的參數(shù)估計(jì) 個(gè)別的迴歸係數(shù)b或可以用以說(shuō)明預(yù)測(cè)變項(xiàng)對(duì)於依變項(xiàng)的解釋力迴歸係數(shù)數(shù)值的統(tǒng)計(jì)意義需經(jīng)過(guò)假設(shè)考驗(yàn)來(lái)檢驗(yàn)R2的顯著性考驗(yàn)是迴歸分析的整體考驗(yàn)（overall test） 迴歸係數(shù)的考驗(yàn)可視為事後考驗(yàn)（post hoc test）迴歸係數(shù)的考驗(yàn)H0：=0利用t檢定，自由度為N-p-1：第四節(jié)第21頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸22/26迴歸係數(shù)的區(qū)間估計(jì) b係數(shù)為未標(biāo)準(zhǔn)化係數(shù)，用以反應(yīng)獨(dú)變項(xiàng)對(duì)於依變項(xiàng)的影響程度b係數(shù)可以得知獨(dú)變項(xiàng)的變動(dòng)在依變項(xiàng)的變動(dòng)情形利用模型的迴歸係數(shù)標(biāo)準(zhǔn)誤，b係數(shù)的區(qū)間估計(jì)可用來(lái)推估母數(shù)出現(xiàn)的範(fàn)圍利用b係數(shù)的95%信心估計(jì)區(qū)間是否涵蓋0

13、，來(lái)檢驗(yàn)b係數(shù)是否顯著不等於0第四節(jié)第22頁(yè)，共25頁(yè)。第十三章 相關(guān)與迴歸23/26迴歸分析的基本假設(shè)(一)固定自變項(xiàng)假設(shè)（fixed variable）特定自變數(shù)的特定數(shù)值應(yīng)可以被重複獲得，然後得以此一特定的Xi代入方程式而得到預(yù)測(cè)值。(二)線性關(guān)係假設(shè)（linear relationship）當(dāng)X與Y的關(guān)係被納入研究之後，迴歸分析必須建立在變項(xiàng)之間具有線性關(guān)係的假設(shè)成立上。(三)常態(tài)性假設(shè)（normality）迴歸分析中的所有觀察值Y是一個(gè)常態(tài)分配，即Y來(lái)自於一個(gè)呈常態(tài)分配的母群體。因此經(jīng)由迴歸方程式所分離的誤差項(xiàng)e，即由特定Xi所預(yù)測(cè)得到的與實(shí)際Yi之間的差距，也應(yīng)呈常態(tài)分配。誤差項(xiàng)e的平均數(shù)為0。(四)誤差獨(dú)立性假設(shè)（independence）誤差項(xiàng)除了應(yīng)呈隨機(jī)化的常態(tài)分配，不同的X所產(chǎn)生的誤差之間應(yīng)相互獨(dú)立，無(wú)相關(guān)存在，也就是無(wú)自我相關(guān)（nonautocorrela