第九章 雙變量回歸與相關(guān)

第九章雙變量回歸與相關(guān)LinearRegressionandCorrelation1102

函數(shù)關(guān)系有精確的數(shù)學(xué)表達(dá)式（確定性的關(guān)系）直線回歸分析一元回歸分析變量間的關(guān)系因果關(guān)系曲線回歸分析(回歸分析）多元回歸分析多元線性回歸分析統(tǒng)計(jì)關(guān)系 多元非線性回歸分析（非確定性的關(guān)系）簡單相關(guān)分析——直線相關(guān)分析相關(guān)關(guān)系復(fù)相關(guān)分析（相關(guān)分析）多元相關(guān)分析偏相關(guān)分析2102雙變量計(jì)量資料：每個(gè)個(gè)體有兩個(gè)變量值

總體：無限或有限對變量值樣本：從總體隨機(jī)抽取的n對變量值

（X1,Y1）,（X2,Y2）,…,（Xn,Yn）

目的：研究X和Y的數(shù)量關(guān)系

方法：回歸與相關(guān)簡單、基本——直線回歸、直線相關(guān)3102

Content

1.Linearregression2.Linearcorrelation3.Rankcorrelation4.Curvefitting

4102

十九世紀(jì)英國人類學(xué)家F.Galton首次在《自然遺傳》一書中，提出并闡明了“相關(guān)”和“相關(guān)系數(shù)”兩個(gè)概念，為相關(guān)論奠定了基礎(chǔ)。其后，他和英國統(tǒng)計(jì)學(xué)家KarlPearson對上千個(gè)家庭的身高、臂長、拃長（伸開大拇指與中指兩端的最大長度）做了測量，發(fā)現(xiàn)：歷史背景：5102

兒子身高（Y，英寸）與父親身高（X，英寸）存在線性關(guān)系：即高個(gè)子父代的子代在成年之后的身高平均來說不是更高，而是稍矮于其父代水平，而矮個(gè)子父代的子代的平均身高不是更矮，而是稍高于其父代水平。Galton將這種趨向于種族穩(wěn)定的現(xiàn)象稱之“回歸”。6102

目前，“回歸”已成為表示變量之間某種數(shù)量依存關(guān)系的統(tǒng)計(jì)學(xué)術(shù)語，并且衍生出“回歸方程”“回歸系數(shù)”等統(tǒng)計(jì)學(xué)概念。如研究糖尿病人血糖與其胰島素水平的關(guān)系，研究兒童年齡與體重的關(guān)系等。7102第一節(jié)直線回歸8102一、直線回歸的概念

目的：研究應(yīng)變量Y對自變量X的數(shù)量依存關(guān)系。特點(diǎn)：統(tǒng)計(jì)關(guān)系。X值和Y的均數(shù)的關(guān)系，不同于一般數(shù)學(xué)上的X和Y的函數(shù)關(guān)系。9102函數(shù)關(guān)系是一種確定性的關(guān)系，例如圓面積與半徑的關(guān)系為。其不包含誤差的干擾。統(tǒng)計(jì)關(guān)系是一種非確定性的關(guān)系。例如，作物的產(chǎn)量與施肥量的關(guān)系，兩類變數(shù)受誤差的干擾表現(xiàn)為統(tǒng)計(jì)關(guān)系。10102

例9-1

某地方病研究所調(diào)查了8名正常兒童的尿肌酐含量（mmol/24h）如表9-1。估計(jì)尿肌酐含量（Y）對其年齡（X）的回歸方程。11102

表9-18名正常兒童的年齡（歲）與尿肌酐含量（mmol/24h）

1210213102

在定量描述兒童年齡與其尿肌酐含量數(shù)量上的依存關(guān)系時(shí)，將年齡稱為自變量(independentvariable)，用X表示；尿肌酐含量稱為應(yīng)變量(dependentvariable)，用Y表示。14102

由圖9-1可見，尿肌酐含量Y

隨年齡X增加而增大且呈直線趨勢，但并非8個(gè)點(diǎn)子恰好全都在一直線上，此與兩變量間嚴(yán)格的直線函數(shù)關(guān)系不同，稱為直線回歸（linearregression）,其方程叫直線回歸方程，以區(qū)別嚴(yán)格意義的直線方程。雙變量直線回歸是回歸分析中最基本、最簡單的一種，故又稱簡單回歸。15102直線回歸方程的一般表達(dá)式為

為各X處Y的總體均數(shù)的估計(jì)。161021．a(chǎn)為回歸直線在Y

軸上的截距。a>0，表示直線與縱軸的交點(diǎn)在原點(diǎn)的上方；a<0，則交點(diǎn)在原點(diǎn)的下方；a=0，則回歸直線通過原點(diǎn)。a=0a<0a>0XY17102b>0，直線從左下方走向右上方，Y隨X增大而增大；

b<0，直線從左上方走向右下方，Y隨X增大而減??；

b=0，表示直線與X軸平行，X與Y無直線關(guān)系。XY2.b為回歸系數(shù)，即直線的斜率。b的統(tǒng)計(jì)學(xué)意義是：X

每增加(減)一個(gè)單位，Y

平均改變b個(gè)單位。b>0b<0b=018102

1910220102二、直線回歸方程的求法

殘差(residual)或剩余值，即實(shí)測值Y與假定回歸線上的估計(jì)值的縱向距離。求解a、b實(shí)際上就是“合理地”找到一條能最好地代表數(shù)據(jù)點(diǎn)分布趨勢的直線。原則：最小二乘法(leastsumofsquares)，即可保證各實(shí)測點(diǎn)至直線的縱向距離的平方和最?。╔，Y）21102

2210223102

例9-1

某地方病研究所調(diào)查了8名正常兒童的尿肌酐含量（mmol/24h）如表9-1。估計(jì)尿肌酐含量（Y）對其年齡（X）的回歸方程。24102

表9-18名正常兒童的年齡（歲）與尿肌酐含量（mmol/24h）

25102解題步驟261022710228102此直線必然通過點(diǎn)(,)且與縱坐標(biāo)軸相交于截距a。如果散點(diǎn)圖沒有從坐標(biāo)系原點(diǎn)開始，可在自變量實(shí)測范圍內(nèi)遠(yuǎn)端取易于讀數(shù)的X值代入回歸方程得到一個(gè)點(diǎn)的坐標(biāo)，連接此點(diǎn)與點(diǎn)(,)也可繪出回歸直線。2910230102三、直線回歸中的統(tǒng)計(jì)推斷31102（一）回歸方程的假設(shè)檢驗(yàn)

建立樣本直線回歸方程，只是完成了統(tǒng)計(jì)分析中兩變量關(guān)系的統(tǒng)計(jì)描述，研究者還須回答它所來自的總體的直線回歸關(guān)系是否確實(shí)存在，即是否對總體有？3210233102341021．方差分析

35102（X，Y）36102數(shù)理統(tǒng)計(jì)可證明：37102上式用符號(hào)表示為

式中

3810239102上述三個(gè)平方和，各有其相應(yīng)的自由度，并有如下的關(guān)系：

40102

如果兩變量間總體回歸關(guān)系確實(shí)存在，回歸的貢獻(xiàn)就要大于隨機(jī)誤差，大到何種程度時(shí)可以認(rèn)為具有統(tǒng)計(jì)意義，可計(jì)算統(tǒng)計(jì)量F41102式中421022.t檢驗(yàn)43102

例9-2檢驗(yàn)例9-1數(shù)據(jù)得到的直線回歸方程是否成立？

44102（1）方差分析45102

表9-2方差分析表

列出方差分析表如表9-2。46102（2）t檢驗(yàn)47102注意：

48102（二）總體回歸系數(shù)的可信區(qū)間

利用上述對回歸系數(shù)的t檢驗(yàn)，可以得到β的1－α雙側(cè)可信區(qū)間為49102

例9-3根據(jù)例9-1中所得b=0.1392，估計(jì)其總體回歸系數(shù)的雙側(cè)95%可信區(qū)間。50102（0.1392-2.447×0.0304，0.1392+2.447×0.0304）=（0.0648，0.2136）51102（三）利用回歸方程進(jìn)行估計(jì)和預(yù)測

52102（9-15）

（9-14）

反映其抽樣誤差大小的標(biāo)準(zhǔn)誤為53102（9-16）

（9-17）

54102兩條實(shí)曲線——總體均數(shù)的可信區(qū)間；兩條虛曲線——個(gè)體Y值的預(yù)測區(qū)間，范圍更寬。二者都是中間窄，兩頭寬；都在X=處最窄。55102

例9-4用例9-1所得直線回歸方程，計(jì)算當(dāng)X0=12時(shí)，的95%可信區(qū)間和相應(yīng)個(gè)體值的95%預(yù)測區(qū)間。56102計(jì)算步驟例9-1、例9-2已計(jì)算出

5710258102一、線性回歸的主要用途1．研究因素間的依存關(guān)系

自變量和應(yīng)變量之間是否存在線性關(guān)系，即研究一個(gè)或多個(gè)自變量對應(yīng)變量的作用，或者應(yīng)變量依賴自變量變化而變化的規(guī)律。

2．估計(jì)與預(yù)測

可用易測定的一組給定的自變量的觀測值來推算較難測定的Y值。3．統(tǒng)計(jì)控制是利用回歸方程進(jìn)行逆估計(jì)，即應(yīng)變量Y給出一個(gè)確定的值或在一定范圍內(nèi)波動(dòng)時(shí)，通過控制自變量的取值來實(shí)現(xiàn)。59102二、線性回歸應(yīng)用的注意事項(xiàng)1．在進(jìn)行直線回歸分析之前，應(yīng)繪制散點(diǎn)圖。2．作回歸分析時(shí)，要注意兩變量間是否存在實(shí)際意義。3．兩變量間存在直線關(guān)系時(shí)，不一定表明彼此之間就存在因果關(guān)系。601024．建立回歸方程后，須對回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。5.使用回歸方程進(jìn)行估計(jì)與預(yù)測時(shí)，一般只適用于原來的觀測范圍，即自變量的取值范圍，不能隨意將范圍擴(kuò)大。6.在線性回歸分析時(shí)，要注意遠(yuǎn)離群體的極端值對回歸效果的影響。61102第二節(jié)直線相關(guān)62102

直線相關(guān)(linearcorrelation)又稱簡單相關(guān)(simplecorrelation)，用于雙變量正態(tài)分布(bivariatenormaldistribution)資料。其性質(zhì)可由圖9-6散點(diǎn)圖直觀的說明。

目的：研究兩個(gè)變量X,Y數(shù)量上的依存（或相關(guān)）關(guān)系。

特點(diǎn)：統(tǒng)計(jì)關(guān)系一、直線相關(guān)的概念63102二、相關(guān)系數(shù)的意義與計(jì)算

1.意義：相關(guān)系數(shù)（correlationcoefficient）又稱Pearson積差相關(guān)系數(shù)，用來說明具有直線關(guān)系的兩變量間相關(guān)的密切程度與相關(guān)方向。相關(guān)系數(shù)沒有單位，其值為-1r1。r值為正表示正相關(guān)，r值為負(fù)表示負(fù)相關(guān)，r的絕對值等于1為完全相關(guān)，r=0為零相關(guān)。64102651022.計(jì)算：樣本相關(guān)系數(shù)的計(jì)算公式為

（9-18）

66102由例9-1算得，按公式（9-18）

例9-5

對例9-1數(shù)據(jù)（見表9-1），計(jì)算8名兒童的尿肌酐含量與其年齡的相關(guān)系數(shù)。67102三、相關(guān)系數(shù)的統(tǒng)計(jì)推斷（一）相關(guān)系數(shù)的假設(shè)檢驗(yàn)（9-19）68102例9-6對例9-5所得r值，檢驗(yàn)?zāi)蚣◆颗c年齡是否有直線相關(guān)關(guān)系？69102檢驗(yàn)步驟本例n=8，r=0.8818，按公式（9-19）70102（二）總體相關(guān)系數(shù)的可信區(qū)間

71102具體步驟如下72102例9-7對例9-5所得r值，估計(jì)總體相關(guān)系數(shù)的95%可信區(qū)間。

再按公式（9-22）將z作反變換，得到年齡與尿肌酐含量的總體相關(guān)系數(shù)95%可信區(qū)間為（0.4678,0.9971）。

73102四、決定系數(shù)(coefficientofdetermination)

定義為回歸平方和與總平方和之比，計(jì)算公式為：（9-23）

取值在0到1之間且無單位，其數(shù)值大小反映了回歸貢獻(xiàn)的相對程度，也就是在Y的總變異中回歸關(guān)系所能解釋的百分比。

7410275102五、直線回歸與相關(guān)應(yīng)用的注意事項(xiàng)

76102

1．根據(jù)分析目的選擇變量及統(tǒng)計(jì)方法

直線相關(guān)用于說明兩變量之間直線關(guān)系的方向和密切程度，X與Y沒有主次之分；直線回歸則進(jìn)一步地用于定量刻畫應(yīng)變量Y對自變量X在數(shù)值上的依存關(guān)系，其中應(yīng)變量的定奪主要依專業(yè)要求而定，可以考慮把易于精確測量的變量作為X，另一個(gè)隨機(jī)變量作Y，例如用身高估計(jì)體表面積。兩個(gè)變量的選擇一定要結(jié)合專業(yè)背景，不能把毫無關(guān)聯(lián)的兩種現(xiàn)象勉強(qiáng)作回歸或相關(guān)分析。77102781022．進(jìn)行相關(guān)、回歸分析前應(yīng)繪制散點(diǎn)圖—第一步

（1）

散點(diǎn)圖可考察兩變量是否有直線趨勢；（2）

可發(fā)現(xiàn)離群點(diǎn)（outlier）。散點(diǎn)圖對離群點(diǎn)的識(shí)別與處理需要從專業(yè)知識(shí)和現(xiàn)有數(shù)據(jù)兩方面來考慮，結(jié)果可能是現(xiàn)有回歸模型的假設(shè)錯(cuò)誤需要改變模型形式，也可能是抽樣誤差造成的一次偶然結(jié)果甚至過失誤差。需要認(rèn)真核對原始數(shù)據(jù)并檢查其產(chǎn)生過程認(rèn)定是過失誤差，或者通過重復(fù)測定確定是抽樣誤差造成的偶然結(jié)果，才可以謹(jǐn)慎地剔除或采用其它估計(jì)方法。791023．資料的要求