《誤差理論與數(shù)據(jù)處理(苐版)》 回歸分析

1、合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第6章 回歸分析合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理 本章主要闡述回歸分析的基本概念，并重點(diǎn)介紹一元線性回歸和非線性回歸的基本方法，給出回歸方程的方差分析和顯著性檢驗(yàn)。從而使學(xué)生掌握回歸分析方法的基本原理，學(xué)會(huì)從實(shí)際測量中尋求兩個(gè)變量和多個(gè)變量之間的內(nèi)在關(guān)系。教學(xué)目標(biāo)教學(xué)目標(biāo)合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理n 回歸分析的基本概念和主要內(nèi)容n 一元線性回歸方程的求法n 回歸方程的方差分析和顯著性檢驗(yàn)n一元非線性回歸方法重點(diǎn)與難點(diǎn)重點(diǎn)與難點(diǎn)合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第一節(jié)回歸分析的基本概念一、函數(shù)與相關(guān)一、函數(shù)與相關(guān)函數(shù)關(guān)系：可以用明確的函數(shù)關(guān)系式精確地表示 出來相關(guān)關(guān)系

2、：這些變量之間既存在著密切的關(guān)系， 又不能由一個(gè)（或幾個(gè)）自變量的數(shù) 值精確地求出另一個(gè)因變量的數(shù)值， 而是要通過試驗(yàn)和調(diào)查研究，才能確 定它們之間的關(guān)系。 合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第一節(jié)回歸分析的基本概念二、回歸分析思路二、回歸分析思路1、由數(shù)據(jù)確定變量之間的數(shù)學(xué)表達(dá)式回歸方程或經(jīng) 驗(yàn)公式；2、 對(duì)回歸方程的可信度進(jìn)行統(tǒng)計(jì)檢驗(yàn)；3、 因素分析。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸一元線性回歸：確定兩個(gè)變量之間的線性關(guān)系，即 直線擬合問題。一、回歸方程的確定一、回歸方程的確定例：確定某段導(dǎo)線的電阻與溫度之間的關(guān)系：19.125.030.136.040.046.550.076.

3、3077.8079.7580.8082.3583.9085.10散點(diǎn)圖：2025 303540 45507678828084Cxo/y合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸從散點(diǎn)圖可以看出：電阻與溫度大致成線性關(guān)系。設(shè)測量數(shù)據(jù)有如下結(jié)構(gòu)形式：Ntxyttt, 2 , 1,0式中， 分別表示其它隨機(jī)因素對(duì)電阻值 影響的總和。N,21Nyyy,21思路：要求電阻y與x的關(guān)系，即根據(jù)測量數(shù)據(jù)要求出0和 的估計(jì)值。根據(jù)測量數(shù)據(jù)，可以得到7個(gè)測量方程，結(jié)合前面所學(xué)，未知數(shù)有兩個(gè)，而方程個(gè)數(shù)大于未知數(shù)的個(gè)數(shù)，適合于用最小二乘法求解。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸設(shè)得到的回歸方程

4、bxby0殘差方程為Ntbxbyyyvttti, 2 , 1,0根據(jù)最小二乘原理可求得回歸系數(shù)b0和b。對(duì)照第五章最小二乘法的矩陣形式，令NNNvvvVbbbxxxXyyyY2102121111合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸則誤差方程的矩陣形式為VbXY對(duì)照 ，設(shè)測得值 的精度相等，則有XALVtyYXXXbTT1)(將測得值分別代入上式，可計(jì)算得xxxyNttNttNttNttNtttllxxNyxyxNb2112111)()(xbyxxNyxxyxbNtNttttNttNttNttNtt1122111120)()()(合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸其中2

5、11122111121121211)(1)()(1)( )()(1)(11NttNtNtttyyNttNttNttttNttxyNttNttNttxxNttNttyNyyylyxNyxyyxxlxNxxxlyNyxNx合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理二、回歸方程的方差分析及顯著性檢驗(yàn)二、回歸方程的方差分析及顯著性檢驗(yàn)第二節(jié)一元線性回歸問題：這條回歸直線是否符合y 與x之間的客觀規(guī)律？回歸直線的預(yù)報(bào)精度如何？u對(duì)N個(gè)觀測值與其算術(shù)平均值之差的平方和進(jìn)行分解；u從量值上區(qū)別對(duì)個(gè)觀測值的影響因素；u用F檢驗(yàn)法對(duì)所求回歸方程進(jìn)行顯著性檢驗(yàn)。方差分析法合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸（一）

6、回歸方程的方差分析1、引起變差的原因： A、自變量x取值的不同； B、其它因素（包括試驗(yàn)誤差）的影響。2、方差分析總的離差平方和（即N個(gè)觀測值之間的變差）NtyytlyyS12)(1 NS可以證明：合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸S=U+Q其中NtxytblyyU12)(xyyyNtttbllyyQ12)(1U2 NQU回歸平方和，反映總變差中由于x和y的線性關(guān) 系而引起 y變化的部分。Q殘余平方和，反映所有觀測點(diǎn)到回歸直線的殘 余誤差，即其它因素對(duì)y變差的影響。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸（二）回歸方程顯著性檢驗(yàn) F檢驗(yàn)法基本思路：方程是否顯著取決于U和Q

7、的大小，U越大，Q越小，說明y與x的線性關(guān)系愈密切。計(jì)算統(tǒng)計(jì)量FQUQUF/對(duì)一元線性回歸，應(yīng)為)2/(1/NQUF查F分布表，根據(jù)給定的顯著性水平 和已知的自由度1和N-2進(jìn)行檢驗(yàn)：合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理若 回歸在0.01的水平上高度顯著。第二節(jié)一元線性回歸),2, 1 (01. 0NFF),2, 1 ()2, 1 (01. 005. 0NFFNF回歸在0.05的水平上顯著。),2, 1 ()2, 1 (05. 010. 0NFFNF回歸在0.1的水平上顯著。),2, 1 (10. 0NFF回歸不顯著。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理（三）殘余方差與殘余標(biāo)準(zhǔn)差第二節(jié)一元線性回歸殘余方差

8、：排除了x 對(duì)y的線性影響后，衡量y 隨機(jī)波動(dòng)的特征量。22NQ殘余標(biāo)準(zhǔn)差：2NQ含義： 越小，回歸直線的精度越高。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸（四）方差分析表來源平方和自由度 方差 F顯著性回歸殘余 1 N-2 總計(jì) N-1 xyblU xyyybllQyylS 三、重復(fù)試驗(yàn)情況三、重復(fù)試驗(yàn)情況1、重復(fù)試驗(yàn)的意義“回歸方程顯著”：只表明因素x的一次項(xiàng)對(duì)y的影響顯著；難以確定影響y的是否還有其它不可忽略的因素？x和y是否線性? 不表明該方程擬合得很好。)2/(1/NQUF)2, 1 (NF合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理 為檢驗(yàn)一個(gè)回歸方程擬合的好壞，可通過重復(fù)試驗(yàn)，獲得誤差

9、平方和 和失擬平方和 ，然后用 對(duì) 進(jìn)行F檢驗(yàn)。第二節(jié)一元線性回歸EQLQEQLQ2、重復(fù)試驗(yàn)回歸直線的求法1）設(shè)N個(gè)試驗(yàn)點(diǎn)，每個(gè)試驗(yàn)點(diǎn)重復(fù)m次試驗(yàn)，則將 這m次試驗(yàn)取平均值，然后再按照前面的方法進(jìn) 行擬合，見表65和表66。2）方差分析合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理來源 平方和 自由度 方差 F 顯著性回歸失擬誤差總計(jì) 第二節(jié)一元線性回歸xymblU UmlQyyLNtmittiEyyQ112)(LEQQUS1U2 NL) 1(mNE1 NmSUU/LLQ/EEQ/EEUQUF/EELLQQF/1),(EUF),(ELF3）方差檢驗(yàn)EEUQUF/)/()(/2LELEUQQUF:判斷一元回歸

10、方程擬合效果:判斷失擬平方和對(duì)試驗(yàn)誤差的影響:綜合判斷一元回歸方程擬合效果EELLQQF/1合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸1）分組法平均值法 將自變量按由小到大次序排列，分成個(gè)數(shù)相等或近于相 等的兩個(gè)組（分組數(shù)等于未知數(shù)個(gè)數(shù)），則可建立相應(yīng)的兩 組觀測方程：kkbxbybxby0101NNkkbxbybxby0101將兩組觀測方程分別相加，得NktNktttktktttxbbkNyxbkby110110)(b和b02）圖解法緊繩法四、回歸直線的簡便求法四、回歸直線的簡便求法合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第三節(jié)一元非線性回歸2、求解未知參數(shù)?？苫€回歸為直線回歸，用最小二乘法

11、求解；可化曲線回歸為多項(xiàng)式回歸。1、確定函數(shù)類型并檢驗(yàn)。一、求解思路一、求解思路二、回歸曲線函數(shù)類型的選取和檢驗(yàn)二、回歸曲線函數(shù)類型的選取和檢驗(yàn)1、直接判斷法2、作圖觀察法，與典型曲線比較，確定其屬于何種類型，然后檢驗(yàn)。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理第三節(jié)一元非線性回歸3、直線檢驗(yàn)法（適用于待求參數(shù)不多的情況）a、預(yù)選回歸曲線b、c、求出幾對(duì)與x,y相對(duì)應(yīng)的Z1,Z2值d、以Z1,Z2為坐標(biāo)作圖，若為直線，則說明原選定的曲線類型是合適的，否則重新考慮。0),(bayxf0),(bayxf21BZAZ合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理4、表差法（適用于多項(xiàng)式回歸，含有常數(shù)項(xiàng)多于兩個(gè)的情況）第三節(jié)一元非線性回歸a、用試驗(yàn)數(shù)據(jù)畫圖；b、確定定差 ，列出xi,yi各對(duì)應(yīng)值；c、根據(jù)x,y的讀出值作出差值 ，看其是否與確 定方程式的標(biāo)準(zhǔn)相符，若一致，則說明原選定 的曲線類型是合適的。xky三、化曲線回歸為直線回歸問題三、化曲線回歸