十簡單相關(guān)與簡單直線回歸分析SimpleLinearRegressionand課件

2023/9/14Jen-peiLiu,PhD1十一、簡單相關(guān)與簡單直線回歸分析(SimpleCorrelationsandSimpleLinearRegression)

(Chapter11)劉仁沛教授國立臺灣大學(xué)農(nóng)藝學(xué)研究所生物統(tǒng)計組國立臺灣大學(xué)流行病學(xué)與預(yù)防醫(yī)學(xué)研究所國家衛(wèi)生研究院生物統(tǒng)計與生物資訊組jpliu@.tw【本著作除另有註明，網(wǎng)站之內(nèi)容皆採用

創(chuàng)用CC姓名標(biāo)示-非商業(yè)使用-相同方式分享3.0臺灣

授權(quán)條款釋出】2023/8/5Jen-peiLiu,PhD1十一、簡單2023/9/14Jen-peiLiu,PhD2例1：氮肥用量與水稻穀收量表(公斤)氮肥用量x00.51.01.52.02.5稻穀收量y101832485562例2：成人年齡與血液中膽固醇的量年齡x343944464851膽固醇y(mg/ml)141.4180.5178.4212.0203.2224.1年齡x53661656667膽固醇y(mg/ml)186.0350.0286.3287.6330.3371.3例3：年雨量與小麥產(chǎn)量年雨量(公厘/20)23.520.422.825.928.927.126.825.2產(chǎn)量(公斤/100)20.423.033.535.844.641.245.439.02023/8/5Jen-peiLiu,PhD2例1：氮肥2023/9/14Jen-peiLiu,PhD3氮肥用量與稻穀收量的ScatterPlot2023/8/5Jen-peiLiu,PhD3氮肥用量與2023/9/14Jen-peiLiu,PhD4年齡與膽固醇量的ScatterPlot(mg/ml)2023/8/5Jen-peiLiu,PhD4年齡與膽固2023/9/14Jen-peiLiu,PhD5年雨量與小麥產(chǎn)量的ScatterPlot(公斤/100)2023/8/5Jen-peiLiu,PhD5年雨量與小2023/9/14Jen-peiLiu,PhD6探討兩個變數(shù)之間的關(guān)係問題： 兩個變數(shù)間是否存在直線關(guān)係？ 將直線關(guān)係以方程式表示

資料型態(tài)(xi,yi)2023/8/5Jen-peiLiu,PhD6探討兩個變2023/9/14Jen-peiLiu,PhD7探討兩個變數(shù)之間的關(guān)係假定(Assumptions)每對資料均為獨立常態(tài)相同變方X與Y的關(guān)係為直線2023/8/5Jen-peiLiu,PhD7探討兩個變2023/9/14Jen-peiLiu,PhD8簡單相關(guān)係數(shù)(Simplecorrelationcoefficient)簡單直線回歸(SimpleLinearRegression)模式建立之推論(ModelsandInference)回歸模式直線性檢定(EvaluationofLinearity)假定之確認(rèn)(CheckingtheModelAssumptions)2023/8/5Jen-peiLiu,PhD8簡單相關(guān)係2023/9/14Jen-peiLiu,PhD9ⅡⅠⅢⅣⅡⅠⅢⅣⅡⅠⅢⅣμχμχμχμyμyμyy(a)ρ>0正相關(guān)(b)ρ<0負(fù)相關(guān)(c)ρ=0無相關(guān)圖11.8b三種不同族群相關(guān)散播圖2023/8/5Jen-peiLiu,PhD9ⅡⅠⅢⅣⅡ2023/9/14Jen-peiLiu,PhD10象限(χ-μχ)(y-μy)(χ-μχ)(y-μy)Ⅰ+++Ⅱ-+-Ⅲ--+Ⅳ+--2023/8/5Jen-peiLiu,PhD10象限(χ2023/9/14Jen-peiLiu,PhD11正相關(guān)：落在第Ⅰ及Ⅲ象限的點數(shù)>落在第Ⅱ及Ⅳ象限的點數(shù)負(fù)相關(guān)：落在第Ⅰ及Ⅲ象限的點數(shù)<落在第Ⅱ及Ⅳ象限的點數(shù)無相關(guān)：落在第Ⅰ及Ⅲ象限的點數(shù)=落在第Ⅱ及Ⅳ象限的點數(shù)2023/8/5Jen-peiLiu,PhD11正相關(guān)：2023/9/14Jen-peiLiu,PhD12族群簡單相關(guān)係數(shù)：(x1,y1)…(xN,yN)，-1<ρ<12023/8/5Jen-peiLiu,PhD12族群簡單2023/9/14Jen-peiLiu,PhD13樣品簡單相關(guān)係數(shù)樣品資料：(x1,y1),…,(xn,yn)乘積和：X平方和：Y平方和：2023/8/5Jen-peiLiu,PhD13樣品簡單2023/9/14Jen-peiLiu,PhD14樣品簡單相關(guān)係數(shù)樣品資料：(x1,y1),…,(xn,yn)r之範(fàn)圍：-1≦r≦12023/8/5Jen-peiLiu,PhD14樣品簡單2023/9/14Jen-peiLiu,PhD15xyr=1xyr=-1(a)完全正相關(guān)(b)完全負(fù)相關(guān)2023/8/5Jen-peiLiu,PhD15xyr2023/9/14Jen-peiLiu,PhD16(a)不完全正相關(guān)(b)不完全負(fù)相關(guān)xy0<r<1xy-1<r<02023/8/5Jen-peiLiu,PhD16(a)不2023/9/14Jen-peiLiu,PhD17xyr=0xyr=0(a)無相關(guān)(b)曲線關(guān)系2023/8/5Jen-peiLiu,PhD17xyr2023/9/14Jen-peiLiu,PhD18簡單相關(guān)係數(shù)顯著性檢定H0：ρ=0v.s.Ha：ρ≠0顯著水準(zhǔn)：α檢定統(tǒng)計值：決策方法：若｜T｜>tα/2,n-2拒絕H02023/8/5Jen-peiLiu,PhD18簡單相關(guān)2023/9/14Jen-peiLiu,PhD19例：雨量與小麥產(chǎn)量

n=8,Σxi=200.5,Σyi=296.52023/8/5Jen-peiLiu,PhD19例：雨量2023/9/14Jen-peiLiu,PhD20簡單直線回歸(SimpleLinearRegression)水稻穀產(chǎn)量期望值E(y)與氮肥用量(x)可以用直線關(guān)係描述

E(yi)=β0+βxi，i=1,…,6(=n)yi：依變數(shù)(Dependentvariable)xi：獨立(自)變數(shù)(Independentvariable)β0：截距(Intercept)x=0時y的值

β：斜率(Slope)x變動一個單位y變動的量但實際觀測值與直線E(y)=β0+βx有差距原因：環(huán)境、實驗誤差、量測誤差及其他原因

yi=β0+βxi+εi，i=1,…,6(=n)εi：誤差(Error)2023/8/5Jen-peiLiu,PhD20簡單直線2023/9/14Jen-peiLiu,PhD21TheSimpleLinearRegressionModel(Hereβ>0)xy-interceptOne-unitchangeinxSlope=βMeanvalueofywhenxequalsx0Anobservedvalueofywhenxequalsx0yβ00ErrortermStraightlinedefinedbytheequationμy∣x=β0+βxx0=Aspecificvalueoftheindependentvariablex2023/8/5Jen-peiLiu,PhD21The2023/9/14Jen-peiLiu,PhD22假定(Assumptions)：獨立性(Independent)常態(tài)性(Normality)直線關(guān)係(Linearity)相同變方(homogeneityofVariance)無數(shù)條直線可描述X與Y的關(guān)係選擇直線的方法： 最小平方法(LeastSquaresMethod)

德國大數(shù)學(xué)家Gauss發(fā)明2023/8/5Jen-peiLiu,PhD22假定(A2023/9/14Jen-peiLiu,PhD23yixie1e2e3e4e6e5圖11.4回歸直線與殘差圖2023/8/5Jen-peiLiu,PhD23yixi2023/9/14Jen-peiLiu,PhD24最小平方法2023/8/5Jen-peiLiu,PhD24最小平方2023/9/14Jen-peiLiu,PhD25正常方程式(NormalEquations)2023/8/5Jen-peiLiu,PhD25正常方程2023/9/14Jen-peiLiu,PhD26斜率估算值截距估算值預(yù)測直線回歸方程式(PredictedLinearRegressionEquations)殘差估算值

為當(dāng)獨立之變數(shù)為xi時，依變數(shù)之最小平方預(yù)測平均值2023/8/5Jen-peiLiu,PhD26斜率估算2023/9/14Jen-peiLiu,PhD27計算推測直線回歸方程式所需統(tǒng)計值例：成人年齡與血液膽固醇含量2023/8/5Jen-peiLiu,PhD27計算推測2023/9/14Jen-peiLiu,PhD28假定獨立性常態(tài)性直線關(guān)係相同變方殘差εi為常態(tài)分布族群平均值為0族群變方為σ22023/8/5Jen-peiLiu,PhD28假定獨立2023/9/14Jen-peiLiu,PhD29AnIllustrationoftheModelAssumptionsy32.545.9XThestraightlinedefinedbytheequationμy∣x=β0+βx(thelineofmeans)Populationofyvalueswhenx=45.9Populationofyvalueswhenx=32.512.4=Observedvalueofywhenx=32.5Themeanfuelconsumptionwhenx=32.5Themeanfuelconsumptionwhenx=45.99.4=Observedvalueofywhenx=45.92023/8/5Jen-peiLiu,PhD29AnI2023/9/14Jen-peiLiu,PhD30σ2之估算殘差估算值殘差估算值平方殘差(估算值)平方和估算殘差值時必須先計算b0和bSSE之自由度為n-22023/8/5Jen-peiLiu,PhD30σ2之估2023/9/14Jen-peiLiu,PhD31斜率與截距變方之估計2023/8/5Jen-peiLiu,PhD31斜率與截2023/9/14Jen-peiLiu,PhD32例成人年齡與膽固醇2023/8/5Jen-peiLiu,PhD32例成2023/9/14Jen-peiLiu,PhD33斜率H0：β=0V.S.Ha：β≠0顯著水準(zhǔn)α檢定統(tǒng)計值(Teststatistic)決策方法若｜Tβ｜>tα/2,n-2拒絕H0β之(1-α)％信賴區(qū)間2023/8/5Jen-peiLiu,PhD33斜率H02023/9/14Jen-peiLiu,PhD34截距H0：β0=0V.S.Ha：β0≠0顯著水準(zhǔn)α檢定統(tǒng)計值(Teststatistic)決策方法若｜Tβ0｜>tα/2,n-2拒絕H0β0之(1-α)％信賴區(qū)間2023/8/5Jen-peiLiu,PhD34截距H02023/9/14Jen-peiLiu,PhD35例：成人年齡與膽固醇斜率H0：β=0V.S.Ha：β≠0α＝0.05

｜Tβ｜＝6.7419>t0.025,10＝2.228，拒絕H0β之95％信賴區(qū)間2023/8/5Jen-peiLiu,PhD35例：成人2023/9/14Jen-peiLiu,PhD36例：成人年齡與膽固醇截距H0：β0=0V.S.Ha：β0≠0α＝0.05

｜Tβ0｜＝1.2756<t0.025,10＝2.228β0之95％信賴區(qū)間2023/8/5Jen-peiLiu,PhD36例：成人2023/9/14Jen-peiLiu,PhD37回歸變方分析表總變異可由x解釋之變異不可由x解釋之變異獨立變數(shù)XY2023/8/5Jen-peiLiu,PhD37回歸變方2023/9/14Jen-peiLiu,PhD38總變異＝可由x所解釋變異+不可由x解釋變異總平方和＝回歸平方和+殘差平方和SST=SSR+SSESyy=bSxy+(Syy-bSxy)自由度：n-1=1+(n-2)2023/8/5Jen-peiLiu,PhD38總變異＝2023/9/14Jen-peiLiu,PhD39迴歸變方平方和變因自由度平方和均方F值迴歸1SSR=b×SxyMSR=SSR/1MSR/MSE殘差n-2SSE=SST-SSRMSE=SSE/(n-2)總計n-1SST2023/8/5Jen-peiLiu,PhD39迴歸變方2023/9/14Jen-peiLiu,PhD402023/8/5Jen-peiLiu,PhD402023/9/14Jen-peiLiu,PhD41例：成人年齡與膽固醇SST=Syy=52100.7825SSR=b×Sxy=(5.65025)×(7558.15) =42705.4370SSE=SST-SSR =52100.7825-42705.4370 =9395.3455ANOVA表變因自由度平方和均方F迴歸142705.437042705.437045.4538殘差109395.3455939.53455總計1152100.78252023/8/5Jen-peiLiu,PhD41例：成人2023/9/14Jen-peiLiu,PhD42決定係數(shù)(CoefficientofDetermination)R2=決定係數(shù)

=

可由獨立變數(shù)解釋之變異總變異

=SSR/SST 0<R2<1當(dāng)只有一個獨立變數(shù)時

R2=(相關(guān)係數(shù))２=r22023/8/5Jen-peiLiu,PhD42決定係數(shù)2023/9/14Jen-peiLiu,PhD43例：成人年齡與膽固醇F=42705.4370/939.53455=45.4538，F(xiàn)0.05,1,10=4.9646拒絕H0F=45.4538=(6.7419)2=(Tβ)2R2=SSR/SST=42705.4370/52100.7825=0.8197=(0.9054)22023/8/5Jen-peiLiu,PhD43例：成人2023/9/14Jen-peiLiu,PhD442023/8/5Jen-peiLiu,PhD442023/9/14Jen-peiLiu,PhD452023/8/5Jen-peiLiu,PhD452023/9/14Jen-peiLiu,PhD46例：成人年齡與膽固醇年齡為55歲之膽固醇分佈平均值的估計(預(yù)測)值95％信賴區(qū)間2023/8/5Jen-peiLiu,PhD46例：成人2023/9/14Jen-peiLiu,PhD47例：成人年齡與膽固醇年齡為55歲之膽固醇的預(yù)測值95％信賴區(qū)間2023/8/5Jen-peiLiu,PhD47例：成人2023/9/14Jen-peiLiu,PhD48獨立變數(shù)x2023/8/5Jen-peiLiu,PhD48獨立變數(shù)2023/9/14Jen-peiLiu,PhD49直線性檢定(TestforLinearity)獨立變數(shù)依變數(shù)(重複)平均重複數(shù)獨立變數(shù)下的依變數(shù)必須有重複2023/8/5Jen-peiLiu,PhD49直線性檢2023/9/14Jen-peiLiu,PhD50直線性檢定(TestforLinearily)2023/8/5Jen-peiLiu,PhD50直線性檢2023/9/14Jen-peiLiu,PhD512023/8/5Jen-peiLiu,PhD512023/9/14Jen-peiLiu,PhD52變方分析表變因自由度平方和均方F值迴歸1SSR=b．SxyMSR殘差n-2SSE=Syy-b．SxyMSE

欠合k-2SSLF=SSE-SSPEMSLF=SSLF/(k-2)MSLFMSPE

純誤差n-kSSPE=MSPE=SSPE/(n-k)總計n-1SST=Syy2023/8/5Jen-peiLiu,PhD52變方分析2023/9/14Jen-peiLiu,PhD53直線性檢定(TestforLinearity) H0：符合直線假定

v.s. Ha：不符合直線假定顯定水準(zhǔn)：α決策方法：

FLF=MSLF/MSPE>Fα，k-2，n-k

拒絕H02023/8/5Jen-peiLiu,PhD53直線性檢2023/9/14Jen-peiLiu,PhD54例子：成人年齡與血壓(mmHg)年齡203040506070血壓102110108120115118112126119120135130120128150146148138140160155159150總和yi320465365529722624ni3434542023/8/5Jen-peiLiu,PhD54例子：成2023/9/14Jen-peiLiu,PhD55例子：成人年齡與血壓(mmHg)2023/8/5Jen-peiLiu,PhD55例子：成2023/9/14Jen-peiLiu,PhD56例子：成人年齡與血壓(mmHg)2023/8/5Jen-peiLiu,PhD56例子：成2023/9/14Jen-peiLiu,PhD57例子：成人年齡與血壓(mmHg)2023/8/5Jen-peiLiu,PhD57例子：成2023/9/14Jen-peiLiu,PhD58變方分析表變因自由度平方和均方F值迴歸(R)16228.70966228.7096殘差(E)(23-2=21)391.029518.6025欠合(L)6-2=476.996219.24911.0420純誤差(P)23-6=17314.033318.4725總計(T)23-1=226619.7391FLF=1.0240<F0.05，4，17=2.9647無法拒絕H02023/8/5Jen-peiLiu,PhD58變方分析2023/9/14Jen-peiLiu,PhD59變方分析表變因自由度平方和均方F值迴歸(年齡)16228.70966228.7096334.5082殘差21391.029518.6025總計(T)226619.7391F

=6228.7096/18.6205=334.5082>F0.05，1，21=