1.1 回歸分析的基本思想及其初步應(yīng)用ppt課件

1、統(tǒng)計案例第一章 .? , ? , :, 等等等等性性相相關(guān)關(guān)關(guān)關(guān)系系 線線體體重重之之間間是是否否存存在在身身高高和和一一個個重重要要因因素素 肥肥胖胖是是影影響響人人類類健健康康的的與與患患肺肺癌癌有有關(guān)關(guān)系系嗎嗎 吸吸煙煙脅脅人人類類性性命命的的一一種種疾疾病病肺肺癌癌是是嚴(yán)嚴(yán)重重威威 面面的的問問題題我我們們經(jīng)經(jīng)常常會會遇遇到到類類似似下下在在現(xiàn)現(xiàn)實實中中 ., ,)(, ,)( , 以以得得到到最最可可靠靠的的結(jié)結(jié)論論當(dāng)當(dāng)?shù)牡姆椒椒ǚǚ址治鑫鰯?shù)數(shù)據(jù)據(jù) 然然后后用用恰恰的的方方法法數(shù)數(shù)據(jù)據(jù)并并確確定定獲獲取取變變量量值值題題 決決的的問問用用怎怎樣樣的的量量來來描描述述要要解解是是什什么

2、么總總體體 象象必必須須明明確確問問題題涉涉及及的的對對為為了了回回答答這這些些問問題題 ., , , , . , 的的作作用用認(rèn)認(rèn)識識統(tǒng)統(tǒng)計計方方法法在在決決策策中中想想 的的基基本本思思并并初初步步了了解解獨獨立立性性檢檢驗驗其其應(yīng)應(yīng)用用 析析方方法法及及進(jìn)進(jìn)一一步步討討論論線線性性回回歸歸分分的的討討論論 通通過過對對典典型型例例案案我我們們將將在在此此基基礎(chǔ)礎(chǔ)上上章章中中 本本歸歸等等基基本本知知識識樣樣本本估估計計總總體體、線線性性回回 用用我我們們學(xué)學(xué)習(xí)習(xí)過過關(guān)關(guān)于于抽抽樣樣、在在必必修修模模塊塊中中 其初步應(yīng)用回歸分析的基本思想及1 . 1 ., , ,3. )analysisr

3、egression( . , 行行預(yù)預(yù)報報并并用用回回歸歸直直線線方方程程進(jìn)進(jìn)直直線線方方程程 求求回回歸歸點點圖圖其其步步驟驟為為畫畫散散進(jìn)進(jìn)行行了了研研究究 的的方方法法系系的的變變量量利利用用回回歸歸分分析析性性相相關(guān)關(guān)關(guān)關(guān) 我我們們對對兩兩個個具具有有線線中中數(shù)數(shù)學(xué)學(xué)在在方方法法 析析的的一一種種常常用用分分系系的的兩兩個個變變量量進(jìn)進(jìn)行行統(tǒng)統(tǒng)計計 是是對對具具有有相相關(guān)關(guān)關(guān)關(guān)析析 回回歸歸分分定定性性關(guān)關(guān)系系而而相相關(guān)關(guān)關(guān)關(guān)系系是是一一種種非非確確 性性關(guān)關(guān)系系函函數(shù)數(shù)關(guān)關(guān)系系是是一一種種確確定定我我們們知知道道 : ,y,x,y,x,y,x nn2211 二乘估計公式分別為二乘估計

4、公式分別為 截距和斜率的最小截距和斜率的最小我們知道其回歸方程的我們知道其回歸方程的 關(guān)系的數(shù)據(jù)關(guān)系的數(shù)據(jù)對于一組具有線性相關(guān)對于一組具有線性相關(guān)探究探究 1xb y a 2, xx yyxx b n 1i 2 i n 1i ii ?. y, x.yy,x n 1 x n 1i i n 1i i 公公式式嗎嗎你你能能推推導(dǎo)導(dǎo)出出這這兩兩個個計計算算 稱稱為為其其中中 樣樣本本點點的的 中中心心 .心心回回歸歸直直線線過過樣樣本本點點的的中中 ., xy, Q b a , n 1i 2 ii 的值取最小值時 分別是使和斜率截距從已經(jīng)學(xué)過的知識知道 n 1i 2 ii xyxyxy, Q由于 2

5、n 1i ii 2 ii xyxy xyxy2xyxy ,xynxy xyxy2xyxy 2 n 1i ii n 1i 2 ii xyxyxy n 1i ii 注意到 n 1i ii xyxyxy n 1i n 1i ii xynxyxy , 0 xynxnynxy 2 n 1i 2 ii xynxyxy, Q 所以 2 n 1i 2 i i n 1i n 1i i 2 i 2 xynyy yyxx2xx 2 n 1i 2 i n 1i ii n 1i 2 i 2 xx yyxx xxxyn .yy xx yyxx n 1i 2 i n 1i 2 i 2 n 1i ii 即有均為 當(dāng)且僅當(dāng)前兩

6、項的值取最小值因此要使數(shù) 而前兩項為非負(fù)無關(guān)后兩項和在上式中 , 0 ,Q, , , .xy, xx yyxx n 1i 2 i n 1i ii .公式這正是我們所要推導(dǎo)的 . , 基基本本思思想想及及其其應(yīng)應(yīng)用用 進(jìn)進(jìn)一一步步學(xué)學(xué)習(xí)習(xí)回回歸歸分分析析的的下下面面我我們們通通過過案案例例 .11 ,81 所示重數(shù)據(jù)如表 其身高和體名女大學(xué)生從某大學(xué)中隨機(jī)選取 5943616454505748kg/ 170155165175170157165165cm/ 87654321 體體重重 身身高高 編編號號 .cm172 , 的的女女大大學(xué)學(xué)生生的的體體重重并并預(yù)預(yù)報報一一名名身身高高為為 歸歸方方程

7、程身身高高預(yù)預(yù)報報她她的的體體重重的的回回求求根根據(jù)據(jù)一一名名女女大大學(xué)學(xué)生生的的 : ) 11 . 1( . , , 圖圖 作散點體重為因變量 真實取身高為自變量 因此選據(jù)身高預(yù)報體重 由于問題中要求根解 y x 11 . 1圖 x y . , , ,11 . 1 畫它們之間的關(guān)系 刻性回歸方程以用線 因此可線性相關(guān)關(guān)系 較好的重有比高和體 身樣本點呈條狀分布 中可以看出從圖 .712.85 x 849.0 y .849.0b ,712.85 a ,21 于是得到回歸方程 可以得到和根據(jù)探究中的公式 .kg316.60712.85172849.0y ,cm172, 預(yù)報其體重為 由回歸方程可

8、以的女大學(xué)生對身高為所以 11 . 1圖 x y ? . ,849.0y,1 x,849.0b 的強(qiáng)弱它們之間線性相關(guān)關(guān)系 如何描述性相關(guān)關(guān)系體重與身高具有正的線 這表明個單位就增加體重個單位時 每增加說明身高是斜率的估計值 為關(guān)系數(shù)的具體計算公式 樣本相關(guān)系的方法兩個變量之間線性相關(guān) 來衡量我們介紹了用相關(guān)系數(shù)中在必修 . r,3 . yyxx yyxx r n 1i n 1i 2 i 2 i n 1i ii . 75.0r,. , 0r ; , 1r . ,0r;,0r 強(qiáng)的線性相關(guān)關(guān)系 時認(rèn)為兩個變量有很大于當(dāng)通常關(guān)系 不存在線性相關(guān)表明兩個變量之間幾乎時 越接近于性越強(qiáng)明兩個變量的線性

9、相關(guān) 表的絕對值越接近表明兩個變量負(fù)相關(guān) 時當(dāng)表明兩個變量正相關(guān)時當(dāng) . , ,798.0r, 有意義的我們建立的回歸模型是 從而也表明關(guān)關(guān)系與身高有很強(qiáng)的線性相 這表明體重可以計算出在本例中 ?, ?kg316.60 cm172 其其原原因因是是什什么么不不是是 如如果果嗎嗎是是 女女大大學(xué)學(xué)生生的的體體重重一一定定 的的身身高高探探究究 . 21 . 1.316.60 316.60 172, 位置說明了這一點本點和回歸直線的相互 中的樣圖以認(rèn)為她的體重接近于 但一般可是 大學(xué)生的體重不一定 的女身高顯然 kg kg cm 21 . 1圖 3, eabxy: , , 回歸模型來表示 可用下面

10、的線性所以身高和體重的關(guān)系線的附近 而只是散布在某一條直線由于所有的樣本點不共 .y,x ,yx,e xy, 稱稱為為預(yù)預(yù)報報變變量量把把稱稱為為解解釋釋變變量量 因因此此我我們們把把的的變變化化只只能能解解釋釋部部分分即即共共同同確確定定素素 和和隨隨機(jī)機(jī)因因的的值值由由在在回回歸歸模模型型中中與與函函數(shù)數(shù)關(guān)關(guān)系系不不同同 : .0eD, 0eE ,e. abxyye,ba 2 整表達(dá)式為整表達(dá)式為 這樣線性回歸模型的完這樣線性回歸模型的完方差方差 它的均值它的均值稱為稱為為隨機(jī)變量為隨機(jī)變量通常通常的誤差的誤差 之間之間與與是是為模型的未知參數(shù)為模型的未知參數(shù)和和這里這里 隨機(jī)誤差隨機(jī)誤差

11、 .eD, 0eE ,eabxy 2 4 隨隨機(jī)機(jī)誤誤差差是是引引起起預(yù)預(yù)報報的的精精度度越越高高預(yù)預(yù)報報真真實實值值 通通過過回回歸歸直直線線 越越小小的的方方差差隨隨機(jī)機(jī)誤誤差差中中在在線線性性回回歸歸模模型型 .y 5,abxy ,e,4 2 . ,y y 取取決決于于隨隨機(jī)機(jī)誤誤差差的的方方差差 其其大大小小之之間間的的誤誤差差的的原原因因之之一一與與真真實實值值值值 . y y ,ba, b a 21, 另另一一個個原原因因 之之間間誤誤差差的的與與真真實實值值這這種種誤誤差差是是引引起起預(yù)預(yù)報報值值 之之間間也也存存在在誤誤差差和和它它們們與與真真實實值值的的估估計計值值 為為截截

12、距距和和斜斜率率和和中中和和由由于于公公式式另另一一方方面面 ?e的的原原因因是是什什么么產(chǎn)產(chǎn)生生隨隨機(jī)機(jī)誤誤差差項項思思考考 . . ,. . , 的產(chǎn)生差項 誤機(jī)隨所有這些因素都會導(dǎo)致是一種近似的模型 型往往只我們選用的線性模另外動、度量誤差等 食習(xí)慣、是否喜歡運例如飲許多其他因素的影響 還受身高的影響外一個人的體重值除了受實際上 e ? , , 如何衡量預(yù)報的精度隨機(jī)誤差 那么應(yīng)該怎樣研究它是一個不可觀測的量誤差 的預(yù)報真實值是用在線性回歸模型中探究yye . , 0 , , . , 2 隨隨機(jī)機(jī)誤誤差差的的大大小小 來來衡衡量量因因此此可可以以用用方方差差而而隨隨機(jī)機(jī)誤誤差差的的均均值

13、值為為 于于均均值值程程度度的的數(shù)數(shù)字字特特征征差差是是反反映映隨隨機(jī)機(jī)變變量量集集中中 方方平平均均水水平平的的數(shù)數(shù)字字特特征征值值是是反反映映隨隨機(jī)機(jī)變變量量取取值值 均均畫畫它它的的一一些些總總體體特特征征機(jī)機(jī)變變量量的的數(shù)數(shù)字字特特征征來來刻刻 因因此此可可以以通通過過這這個個隨隨量量因因為為隨隨機(jī)機(jī)誤誤差差是是隨隨機(jī)機(jī)變變 .e, y,y e43?e . ., 2 的的樣樣本本變變量量因因此此也也就就無無法法得得到到隨隨機(jī)機(jī)分分離離出出來來 中中我我們們無無法法精精確確地地把把它它從從中中隱隱含含在在預(yù)預(yù)報報變變量量 中中的的或或由由于于模模型型的的樣樣本本呢呢到到隨隨機(jī)機(jī)變變量量

14、如如何何得得來來估估計計總總體體方方差差的的想想法法是是通通過過樣樣本本方方差差 一一個個自自然然的的值值需需要要估估計計為為了了衡衡量量預(yù)預(yù)報報的的精精度度 , a xb y ,21 . 2 歸方程 可以建立回和公式根據(jù)截距和斜率的估計 樣本的估計值來估計解決問題的途徑是通過 .e y y e , y ye.y 5 y 的估計量是所以 由于隨機(jī)誤差的估計值中是因此 . n, 2 , 1i , abxyy ye , y,x,y,x,y,x iiiii nn2211 相應(yīng)它們的隨機(jī)誤差為相應(yīng)它們的隨機(jī)誤差為而言而言 對于樣本點對于樣本點 , n, 2 , 1 i , a xb y y y e i

15、iiii 其估計值為其估計值為 2nb , a Q 2n 1 e 2n 1 , ).residual(y,x e n 1i 22 iii 可可以以用用差差估估計計總總體體方方差差的的思思想想 類類比比樣樣本本方方的的稱稱為為相相應(yīng)應(yīng)于于點點殘殘差差 ., . ).squaresofsumresidual( b , a Q,21b a , 22 2 預(yù)預(yù)報報精精度度越越高高越越小小度度衡衡量量回回歸歸方方程程的的預(yù)預(yù)報報精精 可可以以用用稱稱為為 給給出出由由公公式式和和其其中中的的估估計計值值作作為為 殘差平方和殘差平方和 .2n效效果果是是為為了了達(dá)達(dá)到到更更好好的的估估計計公公式式中中的的

16、分分母母取取 . xx yyxx b 2. xb y a :1 n 1i 2 1 n 1i ii 公公式式公公式式 ?0 ?21 嗎嗎為為 報報誤誤差差性性回回歸歸方方程程的的預(yù)預(yù)用用這這樣樣的的樣樣本本建建立立的的線線 時時殘殘差差平平方方和和為為多多少少或或當(dāng)當(dāng)樣樣本本容容量量為為思思考考 . , e , e , e ,. , , n21 這這方方面面的的分分析析工工作作稱稱為為在在可可疑疑數(shù)數(shù)據(jù)據(jù) 判判斷斷原原始始數(shù)數(shù)據(jù)據(jù)中中是是否否存存來來判判斷斷模模型型擬擬合合的的效效果果 可可以以通通過過殘殘差差然然后后性性回回歸歸模模型型來來擬擬合合數(shù)數(shù)據(jù)據(jù) 是是否否可可以以用用線線線線性性相相

17、關(guān)關(guān)來來粗粗略略判判斷斷它它們們是是否否相相 首首先先要要根根據(jù)據(jù)散散點點圖圖系系時時在在研研究究兩兩個個變變量量間間的的關(guān)關(guān) 殘差分析殘差分析 . 21 相應(yīng)的殘差數(shù)據(jù) 重的原始數(shù)據(jù)以及列出女大學(xué)生身高和體表 382.0883.2627.6137.1618.4419.2627.2373.6 e 5943616454505748kg/ 170155165175170157165165cm/ 87654321 殘殘差差 體體重重 身身高高 編編號號 編號編號 殘殘差差 31 . 1圖 . 31 . 1. , , , , . 殘差圖 坐標(biāo)的樣本編號為橫 是以圖 這樣作出的圖形為等 或體重估計值高數(shù)

18、據(jù) 或身可選為樣本編號 橫坐標(biāo)縱坐標(biāo)為殘差 作圖時分析殘差特性 我們可以利用圖形來 殘殘差差圖圖 編號編號 殘殘差差 31 . 1圖 ., , ,., ; , , . , 61, 31 .1 越高回歸方程的預(yù)報精確度擬合精度越高 說明模型區(qū)域的寬度越窄均勻地落在水平的帶狀 殘差點比較另外則需要尋找其他的原因沒有錯誤 如果數(shù)據(jù)采集合數(shù)據(jù) 歸模型擬性回利用線 然后再重新予以糾正 就果數(shù)據(jù)采集有錯誤 如是否有人為的錯誤 點的過程中兩個樣本 需要確認(rèn)在采集這大 個樣本點的殘差比較 個樣本點和第第出 中可以看從圖 . yy y y 1R: ,R, n 1i 2 i n 1i 2 ii 2 2 其計算公式

19、是其計算公式是 來刻畫回歸的效果來刻畫回歸的效果我們還可以用相關(guān)指數(shù)我們還可以用相關(guān)指數(shù)另外另外 .r R, 2 的的平平方方系系數(shù)數(shù) 恰恰好好等等于于相相關(guān)關(guān)線線性性模模型型中中在在含含有有一一個個解解釋釋變變量量的的 如果對某組數(shù)據(jù)如果對某組數(shù)據(jù)關(guān)性越強(qiáng)關(guān)性越強(qiáng)量和預(yù)報變量的線性相量和預(yù)報變量的線性相 表示解釋變表示解釋變越接近于越接近于因為因為表示回歸的效果越好表示回歸的效果越好 接近于接近于越越化的貢獻(xiàn)率化的貢獻(xiàn)率釋變量對于預(yù)報變量變釋變量對于預(yù)報變量變 表示解表示解在線性回歸模型中在線性回歸模型中模型的擬合效果越好模型的擬合效果越好 也就是說也就是說意味著殘差平方和越小意味著殘差平方

20、和越小取值越大取值越大顯然顯然 . ) , 1R( , 1R. R,. ,R, 2 2 2 2 . R,R , 22 據(jù)的模型據(jù)的模型 大的模型作為這組數(shù)大的模型作為這組數(shù)選擇選擇可以通過比較幾個可以通過比較幾個 也也回歸分析回歸分析種不同的回歸方程進(jìn)行種不同的回歸方程進(jìn)行取幾取幾可能性采可能性采 . %64, %64,64.0R,1 2 高引起的高引起的 是由身是由身女大學(xué)生體重差異有女大學(xué)生體重差異有或者說或者說體重變化體重變化 的的女大學(xué)生身高解釋了女大學(xué)生身高解釋了表明表明中中在例在例 :,需要注意下列問題用身高預(yù)報體重時 . , ,. , ,.1 系木的高與直徑之間的關(guān)描述北方干旱地

21、區(qū)的樹 方程的高與直徑之間的回歸在南方多雨地區(qū)的樹木 不能用生長同樣之間的關(guān)系女運動員的身高和體重 描述和體重之間的回歸方程不能用女大學(xué)生的身高 例如所研究的樣本的總體回歸方程只適用于我們 ., 8020 ,.2 之間的關(guān)系描述現(xiàn)在的身高和體重方程 建立的回歸年代的身高體重數(shù)據(jù)所世紀(jì)能用 不例如一般都有時間性我們所建立的回歸方程 .),ycm70 x ,cm170,cm155x ,( , ,.3 顯然不合適值時的程計算 而用這個方的樣本的取值范圍為 解釋變量即在回歸方程中重之間的關(guān)系就不恰當(dāng) 幼兒時期的身高和體那么用它來描述一個人立的 建大學(xué)生身高和體重數(shù)據(jù)我們的回歸方程是由女 例如歸方程的適

22、用范圍樣本取值范圍會影響回 .,. .4 值的平均值它是預(yù)報變量的可能取事實上精確值 的的預(yù)報值就是預(yù)報變量不能期望回歸方程得到 :,驟為驟為建立回歸模型的基本步建立回歸模型的基本步一般地一般地 ; ,1 量是預(yù)報變量量是預(yù)報變量 哪個變哪個變量量明確哪個變量是解釋變明確哪個變量是解釋變確定研究對象確定研究對象 ; ,2 如是否存在線性關(guān)系等如是否存在線性關(guān)系等觀察它們之間的關(guān)系觀察它們之間的關(guān)系 散點圖散點圖釋主變量和預(yù)報變量的釋主變量和預(yù)報變量的畫出確定好的解畫出確定好的解 );abxy, (3 則選用線性回歸方程則選用線性回歸方程線性關(guān)系線性關(guān)系 如我們觀察到數(shù)據(jù)呈如我們觀察到數(shù)據(jù)呈型型

23、由經(jīng)驗確定回歸方程類由經(jīng)驗確定回歸方程類 ); (4 乘法乘法 如最小二如最小二程中的參數(shù)程中的參數(shù)按一定規(guī)則估計回歸方按一定規(guī)則估計回歸方 ., ), (5 或或模模型型是是否否合合適適等等則則檢檢查查數(shù)數(shù)據(jù)據(jù)是是否否有有誤誤在在異異常常 若若存存律律性性等等等等或或殘殘差差呈呈現(xiàn)現(xiàn)不不隨隨機(jī)機(jī)的的規(guī)規(guī)應(yīng)應(yīng)殘殘差差過過大大 個個別別數(shù)數(shù)據(jù)據(jù)對對是是否否有有異異常常得得出出結(jié)結(jié)果果后后分分析析殘殘差差圖圖 .,31 7.2 之間的回歸方程與試建立中觀察數(shù)據(jù)列于表 組現(xiàn)收集了有關(guān)和溫度一只紅鈴蟲的產(chǎn)卵數(shù) xy xy 31表 325115662421117/y 35322927252321C/ 0

24、 個個產(chǎn)產(chǎn)卵卵數(shù)數(shù) 溫溫度度 41 . 1圖 溫溫度度 產(chǎn)卵數(shù)產(chǎn)卵數(shù) .41 . 1據(jù)作散點圖 根據(jù)收集的數(shù)解 所以不能相關(guān)關(guān)系 線性個變量不呈線 因此兩帶狀區(qū)域內(nèi) 某個布在有分并沒 樣本點在散點圖中 , , , .cc,ecy , . 21 xc 1 2 是待定參數(shù)和其中的周圍指數(shù)函數(shù)曲線 某一條可以發(fā)現(xiàn)樣本點分布在根據(jù)已有的函數(shù)知識 系立兩個變量之間的關(guān)建來直接利用線性回歸方程 . xy,. )cb,clna(abxz , ylnz. .cc, 21 21 了間的非線性回歸方程 之和型來建立就可以利用線性回歸模這樣的周圍 直線換后樣本點應(yīng)該分布在 則變令系變?yōu)榫€性關(guān)過對數(shù)變換把指數(shù)關(guān)系 我

25、們可以通和參數(shù)問題變?yōu)槿绾喂烙嫶ìF(xiàn)在 . ,abxy 線線性性回回歸歸方方程程 我我們們稱稱之之為為非非時時當(dāng)當(dāng)回回歸歸方方程程不不是是形形如如 圖的樣本數(shù)據(jù)表的數(shù)據(jù)可以得到變換后由表, 4131 . , 51 . 1.4151 . 1 用線性回歸方程來擬合 因此可以一條直線的附近變換后的樣本點分布在看出 中可以從圖中數(shù)據(jù)的散點圖給出了表 784.5745.4190.4178.3045.3398.2946.1z 35322927252321x 41表 產(chǎn)卵數(shù)的對數(shù) 溫度 51 . 1圖 .843. 3272. 0 41 xz 到線性回歸方程 中的數(shù)據(jù)得由表 回歸方程為 數(shù)對溫度的非線性 因此

26、紅鈴蟲的產(chǎn)卵 6e y 843.3x272.01 . , ,. , 41 . 1, 2 434 2 3 非線性回歸方程 之間的與從而得到之間的線性回歸方程與立 然后建即令變換因此可以對溫度變量做數(shù) 為待定參和其中的附近次曲線 中樣本點集中在某二可以認(rèn)為圖另一方面 xyty xt cccxcy .61 . 1 ,51 是相應(yīng)的散點圖 圖應(yīng)的溫度的平方是紅鈴蟲的產(chǎn)卵數(shù)和對表 325115662421117y 12251024841729625529441t 51表 . . , , , 61 . 1 4 2 3 下面介紹具體方法到還可以通過殘差分析得 這個結(jié)論之間的關(guān)系與來擬合二次曲線 即不宜用合它

27、 回歸方程來擬 此不宜用線性 因直線的周圍 不分布在一條 的散點圖并 與可以看出 中從圖 xycxcy t y 溫度的平方 數(shù) 卵 產(chǎn) 61 . 1圖 中用線性回歸模型擬合表的二次回歸方程關(guān)于 下面建立的指數(shù)回歸方程關(guān)于前面已經(jīng)建立了方程 歸需要建立兩個相應(yīng)的回殘差為比較兩個不同模型的 51. ,. , xy xy 7.54.202x367.0 y xy,54.202t367.0 y ty, 22 2 的二次回歸方程為關(guān)于即 的線性回歸方程關(guān)于得到的數(shù)據(jù) 的殘差計算公式分別為 和則回歸方程列的數(shù)據(jù)行第第表示表用 的擬合效果和個回歸方程可以通過殘差來比較兩 7 6,1151 .76 ixi ; 7 , 2 ,