誤差理論與數(shù)據(jù)處理第六章回歸分析

1、合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理一、變量之間的關(guān)系一、變量之間的關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系函數(shù)關(guān)系函數(shù)關(guān)系2xy vts u 產(chǎn)品的產(chǎn)品的銷售量銷售量與投入的與投入的廣告費(fèi)用廣告費(fèi)用之間的關(guān)系之間的關(guān)系u 水稻水稻產(chǎn)量產(chǎn)量與與施肥量施肥量的關(guān)系的關(guān)系u 加工誤差加工誤差與零件與零件直徑直徑之間的關(guān)系之間的關(guān)系合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理二、回歸分析步驟二、回歸分析步驟1) 由數(shù)據(jù)確定變量之間的數(shù)學(xué)表達(dá)式由數(shù)據(jù)確定變量之間的數(shù)學(xué)表達(dá)式回歸方程或經(jīng)回歸方程或經(jīng) 驗(yàn)公式驗(yàn)公式2) 對回歸方程進(jìn)行對回歸方程進(jìn)行方差分析方差分析和和顯著性檢驗(yàn)顯著性檢

2、驗(yàn)3) 因素分析因素分析合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理一元線性回歸：一元線性回歸：確定兩個(gè)變量之間的線性關(guān)系，即確定兩個(gè)變量之間的線性關(guān)系，即 直線擬合問題直線擬合問題。一、回歸方程的確定一、回歸方程的確定例：確定某段導(dǎo)線的電阻與溫度之間的關(guān)系：例：確定某段導(dǎo)線的電阻與溫度之間的關(guān)系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10散點(diǎn)圖：散點(diǎn)圖：2025 303540 45507678828084Cxo/y合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理如何求得如何求得 和和 的最佳估計(jì)值呢的最佳估計(jì)值呢? ?設(shè)測量數(shù)據(jù)有如下結(jié)構(gòu)形

3、式：設(shè)測量數(shù)據(jù)有如下結(jié)構(gòu)形式：Ntxyttt, 2 , 1,0式中，式中， 分別表示其它隨機(jī)因素對電阻值分別表示其它隨機(jī)因素對電阻值 影響的總和。影響的總和。N,21Nyyy,210最小二乘原理合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理設(shè)得到的回歸方程設(shè)得到的回歸方程bxby0殘差方程為殘差方程為Ntbxbyyyvtttti, 2 , 1,0NNNvvvVbbbxxxXyyyY2102121111設(shè)測得值設(shè)測得值 的精度相等，則有的精度相等，則有tyYXXXbTT1)(LAAAXTT1)(合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理2112111121)(1)(1)()(NttNttNttNttNtttNttNtttx

4、NxyxNyxxxyyxxbxbyb02111221111211212)(1)()(1)( )()(1)(NttNtNtttyyNttNttNttttNttxyNttNttNttxxyNyyylyxNyxyyxxlxNxxxl令xxxyll合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理問題一問題一：回歸直線回歸直線 的預(yù)報(bào)精度如何？的預(yù)報(bào)精度如何？問題二問題二: 回歸直線是否符合回歸直線是否符合 y 與與x 間的客觀規(guī)律？間的客觀規(guī)律？bxby0設(shè)x無誤差, bbbbyxRx0022222根據(jù)最小二乘原理, 2122222211200;dRddbbbb22211211dddd1XXTNxxxNlNttNttN

5、ttxx11121xxylxxN2)(1212NyyNttt合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理二、回歸方程的方差分析及顯著性檢驗(yàn)二、回歸方程的方差分析及顯著性檢驗(yàn)問題問題: y 與與x 的回歸直線是否顯著？的回歸直線是否顯著？（一）回歸方程的方差分析（一）回歸方程的方差分析引起變差的原因：引起變差的原因： A、自變量自變量x的取值不同的取值不同 B、其它因素其它因素xyytyty 如如: 實(shí)驗(yàn)誤差實(shí)驗(yàn)誤差 其他自變量其他自變量 與與x非線性非線性 與與x無關(guān)無關(guān)合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理NttttNtNttttNttttNttyyyyyyyyyyyyyyS111221212)(2)()()()

6、(0)()()()()(2121110001xxxxxyxyxxxyNttNtttNttttNttttNttttlllbbllbblxbbxxbbxyyxbbxbxxbyyxbbbxbbxbyyyyyUQ可以證明可以證明：QUSQUS合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理v總的離差平方和：總的離差平方和：NttyyS12)(1 NSv回歸平方和：回歸平方和：v殘余平方和：殘余平方和：NttyyU12)(1UNtttyyQ12)(2 NQyylxyblxyyybll反映總變差中由于反映總變差中由于x x和和y y的線性關(guān)系而引起的線性關(guān)系而引起y y的變化的變化反映所有觀測點(diǎn)到回歸直線的殘余誤差，即其反

7、映所有觀測點(diǎn)到回歸直線的殘余誤差，即其它它因素對因素對y y變差的影響。變差的影響。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理（二）回歸方程顯著性檢驗(yàn)（二）回歸方程顯著性檢驗(yàn) F檢驗(yàn)法檢驗(yàn)法基本思路：基本思路：方程是否顯著取決于方程是否顯著取決于U和和Q的大小，的大小， U越大，越大，Q越小，說明越小，說明y與與x的線性關(guān)的線性關(guān) 系愈密切。系愈密切。計(jì)算統(tǒng)計(jì)量計(jì)算統(tǒng)計(jì)量FQUQUF/對一元線性回歸，應(yīng)為對一元線性回歸，應(yīng)為)2/(1/NQUF合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理若若 回歸在回歸在0.01的水平上高度顯著。的水平上高度顯著。),2, 1 (01. 0NFF),2, 1 ()2, 1 (01. 0

8、05. 0NFFNF回歸在回歸在0.05的水平上顯著。的水平上顯著。),2, 1 ()2, 1 (05. 010. 0NFFNF回歸在回歸在0.1的水平上顯著。的水平上顯著。),2, 1 (10. 0NFF回歸不顯著?；貧w不顯著。查查F分布表，根據(jù)給定的顯著性水平分布表，根據(jù)給定的顯著性水平 和已知的和已知的自由度自由度1和和N-2進(jìn)行檢驗(yàn)進(jìn)行檢驗(yàn).合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理（三）殘余方差與殘余標(biāo)準(zhǔn)差（三）殘余方差與殘余標(biāo)準(zhǔn)差殘余方差：排除了殘余方差：排除了x 對對y的線性影響后，衡量的線性影響后，衡量y隨機(jī)波隨機(jī)波 動(dòng)的特征量。動(dòng)的特征量。22NQ殘余標(biāo)準(zhǔn)差：殘余標(biāo)準(zhǔn)差：2NQ含義：含義

9、： 越小，回歸直線的精度越高。越小，回歸直線的精度越高。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理（四）方差分析表（四）方差分析表xyblU xyyybllQyylS )2/(1/NQUF)2, 1 (NF合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理例：確定某段導(dǎo)線的電阻與溫度之間的關(guān)系：例：確定某段導(dǎo)線的電阻與溫度之間的關(guān)系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10Cxo/y1)求導(dǎo)線電阻與溫度的關(guān)系式求導(dǎo)線電阻與溫度的關(guān)系式;2)方差分析與顯著性檢驗(yàn)方差分析與顯著性檢驗(yàn);3)預(yù)報(bào)溫度為預(yù)報(bào)溫度為20度時(shí)度時(shí),導(dǎo)線的電阻值導(dǎo)線的電阻

10、值.解:1)作散點(diǎn)圖 2)令 ,bxby02211220111202112813.60)(1498.214)(1657.759)(1NttNttyyNttNttNtttxyNttNttxxyNylCyxNyxlCxNxl計(jì)算合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理90.700 xbybCllbxxxy0/2824. 0因此,xCy0/2824. 090.700514. 0574.60 xyblU257. 0Q831.60yylS31018. 1)2/(1/NQUF26.16)5 , 1 (01. 0F3) 方差分析和顯著性檢驗(yàn)4) 預(yù)報(bào)548.7620/2824. 090.7000CCy156合肥工業(yè)大

11、學(xué)誤差理論與數(shù)據(jù)處理2 2、重復(fù)試驗(yàn)回歸方程的求法、重復(fù)試驗(yàn)回歸方程的求法三、重復(fù)試驗(yàn)情況三、重復(fù)試驗(yàn)情況1 1、重復(fù)試驗(yàn)的目的：、重復(fù)試驗(yàn)的目的：減小試驗(yàn)誤差減小試驗(yàn)誤差分析回歸方程不顯著的原因分析回歸方程不顯著的原因用標(biāo)準(zhǔn)壓力計(jì)對某固體壓力傳感器進(jìn)行檢定用標(biāo)準(zhǔn)壓力計(jì)對某固體壓力傳感器進(jìn)行檢定, ,所得數(shù)據(jù)如所得數(shù)據(jù)如表表, ,試對儀器定標(biāo)并分析儀器的誤差。試對儀器定標(biāo)并分析儀器的誤差。i=1mt=1N合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理0990.5233)(1)(7057.758)(1)( )(110)(1)(2111221111211212NttNtNtttyyNttNttNttttNttxy

12、NttNttNttxxyNyyylyxNyxyyxxlxNxxxl8913. 2;89734. 60 xbybllbxxxyxy89734. 68913. 2合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理3 3、方差分析、方差分析NttimiyyS121)(1 NmSNttyymU12)(1U2 NmQxymbl)(xyyybllmELQQQNtttLyymQ12NtmittiEyyQ112)(2 NL) 1( mNE失擬平方和：失擬平方和：誤差平方和：誤差平方和：合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理QEEQLLQQF/1QEEUQUF/24 4、F F 統(tǒng)計(jì)檢驗(yàn)統(tǒng)計(jì)檢驗(yàn))2, 1 (/NmFQUFQU1 1）回歸

13、方程顯著性檢驗(yàn)）回歸方程顯著性檢驗(yàn)2 2）F F1 1 檢驗(yàn)檢驗(yàn) F F1 1顯著，說明失擬誤差大。顯著，說明失擬誤差大。 F F1 1不顯著，說明回歸方程不顯著可能與試驗(yàn)誤差有關(guān)。不顯著，說明回歸方程不顯著可能與試驗(yàn)誤差有關(guān)。3 3）F F2 2 檢驗(yàn)檢驗(yàn) F F2 2不顯著，說明試驗(yàn)誤差是回歸方程不顯著的主要原因不顯著，說明試驗(yàn)誤差是回歸方程不顯著的主要原因 F F2 2顯著，說明試驗(yàn)誤差不是回歸方程不顯著的唯一原因，可能顯著，說明試驗(yàn)誤差不是回歸方程不顯著的唯一原因，可能失失 擬誤差也是回歸方程不顯著的原因之一。擬誤差也是回歸方程不顯著的原因之一。合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理xymbl

14、U UmlQyyLNtmittiEyyQ112)(LEQQUS1U2 NL) 1(mNE1 NmSUU/LLQ/EEQ/QUQUF/),(QUFEELLQQF/15 5、方差分析表、方差分析表EEUQUF/2),(ELF),(EUF合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理用標(biāo)準(zhǔn)壓力計(jì)對某固體壓力傳感器進(jìn)行檢定用標(biāo)準(zhǔn)壓力計(jì)對某固體壓力傳感器進(jìn)行檢定, ,所得數(shù)據(jù)如所得數(shù)據(jù)如表表, ,試對儀器定標(biāo)并分析儀器的誤差。試對儀器定標(biāo)并分析儀器的誤差。i=1mt=1N合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理0990.5233)(1)(7057.758)(1)( )(110)(1)(2111221111211212NttNtN

15、tttyyNttNttNttttNttxyNttNttNttxxyNyyylyxNyxyyxxlxNxxxl8913. 2;89734. 60 xbybllbxxxyxy89734. 68913. 2合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理2574.20932U1386. 0LQ0899. 0EQ4859.20932S1U9L33E43S0154. 00027. 061085. 3/QUQUF28. 7),(QUF65. 5/1EELLQQF方差分析表方差分析表621068. 7/EEUQUF03. 3),(ELF47. 7),(EUFLLUQUF/3合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理1）分組法平均值法）分

16、組法平均值法 將自變量按由小到大次序排列，分成個(gè)數(shù)相等或近于相將自變量按由小到大次序排列，分成個(gè)數(shù)相等或近于相 等的兩個(gè)組（等的兩個(gè)組（分組數(shù)等于未知數(shù)個(gè)數(shù)分組數(shù)等于未知數(shù)個(gè)數(shù)），則可建立相應(yīng)的兩），則可建立相應(yīng)的兩 組觀測方程：組觀測方程：kkbxbybxby0101NNkkbxbybxby0101將兩組觀測方程分別相加，得將兩組觀測方程分別相加，得NktNktttktktttxbbkNyxbkby110110)(b和和b02）圖解法緊繩法）圖解法緊繩法四、回歸直線的簡便求法四、回歸直線的簡便求法合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理回歸方程的求法回歸方程的求法戴明（戴明（Deming）解法）解法

17、若若 ， 分別具有誤差分別具有誤差 ， ， 假定假定 之間為線性關(guān)系，其數(shù)學(xué)模型為之間為線性關(guān)系，其數(shù)學(xué)模型為 所求回歸方程為所求回歸方程為式中，式中， 分別為分別為 的估計(jì)值。的估計(jì)值。 為使為使 的誤差在求回歸方程式具有等價(jià)性，令的誤差在求回歸方程式具有等價(jià)性，令 ，則回歸方程可寫成，則回歸方程可寫成txty(0,)txN(0,)tyN1,2,tNxy、0()ttttyx0ybbx0 xybb、 、 、0 xy、 、xy、22/xy yy0 ybb x合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理式中，式中， ， 根據(jù)戴明推廣的最小二乘原理，點(diǎn)根據(jù)戴明推廣的最小二乘原理，點(diǎn) 到回歸直線的到回歸直線的垂直距

18、離垂直距離 的平方和的平方和 為最小條件下所求得的回歸系數(shù)為最小條件下所求得的回歸系數(shù) 是最佳估計(jì)值。是最佳估計(jì)值。 由解析幾何可知，點(diǎn)由解析幾何可知，點(diǎn) 到到回歸直線的距離回歸直線的距離 為為式中，式中， 0ybbx( ,)ttx ytdx y( ,)ttx y00bbbb( ,)ttx ytd1Nttd0bb、td02211ttttybb xddbb0tttdybbx合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理 根據(jù)最小二乘原理，為使根據(jù)最小二乘原理，為使 為最小，即求解為最小，即求解得得 1Nttd101()0()0NttNttdbdb220()42yyxxyyxxyyyylllllblbybx合肥工

19、業(yè)大學(xué)誤差理論與數(shù)據(jù)處理變量變量 的方差可用下式估計(jì)：的方差可用下式估計(jì)： 222122121NxttxydNbxy、合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理2、求解未知參數(shù)?？苫€回歸為直線回歸，、求解未知參數(shù)?？苫€回歸為直線回歸，用最小二乘法求解；可化曲線回歸為多項(xiàng)式用最小二乘法求解；可化曲線回歸為多項(xiàng)式回歸?；貧w。1、確定函數(shù)類型并檢驗(yàn)。、確定函數(shù)類型并檢驗(yàn)。一、求解思路一、求解思路二、回歸曲線函數(shù)類型的選取和檢驗(yàn)二、回歸曲線函數(shù)類型的選取和檢驗(yàn)1、直接判斷法、直接判斷法2、作圖觀察法，與典型曲線比較，確定其屬于何、作圖觀察法，與典型曲線比較，確定其屬于何種類型，然后檢驗(yàn)。種類型，然后檢驗(yàn)。

20、合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理3、直線檢驗(yàn)法（適用于待求參數(shù)不多的情況）、直線檢驗(yàn)法（適用于待求參數(shù)不多的情況）a、預(yù)選回歸曲線、預(yù)選回歸曲線b、c、求出幾對與、求出幾對與x,y相對應(yīng)的相對應(yīng)的Z1,Z2值值d、以、以Z1,Z2為坐標(biāo)作圖，若為直線，則說明原選定的曲線為坐標(biāo)作圖，若為直線，則說明原選定的曲線 類型是合適的，否則重新考慮。類型是合適的，否則重新考慮。0),(bayxf0),(bayxf21BZAZ合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理4、表差法（適用于多項(xiàng)式回歸，含有常數(shù)項(xiàng)多于兩、表差法（適用于多項(xiàng)式回歸，含有常數(shù)項(xiàng)多于兩個(gè)的情況）個(gè)的情況）a、用試驗(yàn)數(shù)據(jù)畫

21、圖；、用試驗(yàn)數(shù)據(jù)畫圖；b、確定定差、確定定差 ，列出，列出xi,yi各對應(yīng)值；各對應(yīng)值；c、根據(jù)、根據(jù)x,y的讀出值作出差值的讀出值作出差值 ，看其是否與確，看其是否與確 定方程式的標(biāo)準(zhǔn)相符，若一致，則說明原選定定方程式的標(biāo)準(zhǔn)相符，若一致，則說明原選定 的曲線類型是合適的。的曲線類型是合適的。xky合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理例：檢驗(yàn)表中所示觀測數(shù)據(jù)可用例：檢驗(yàn)表中所示觀測數(shù)據(jù)可用 表示。表示。xbeay合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理三、化曲線回歸為直線回歸問題三、化曲線回歸為直線回歸問題例：測定某變壓器油的例：測定某變壓器油的y與溫度與溫度x的變化曲線，以便根

22、據(jù)油溫的變化曲線，以便根據(jù)油溫 確定粘度。確定粘度。x/0C101520253035404550556065707580y/0E4.243.512.922.522.202.001.811.701.601.501.431.371.321.291.25baxy xbaylnlnln y0b x合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理6147. 0 xxyxllb8865. 20 xbybxyln6147. 08865. 2ln6147. 093.17xy合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理四、回歸曲線方程的效果與精度：四、回歸曲線方程的效果與精度：NtttyyQ12)(2NQ殘余平方和殘余平方和殘余標(biāo)準(zhǔn)差殘余標(biāo)準(zhǔn)

23、差相關(guān)指數(shù)相關(guān)指數(shù)NtttyyQR122)(1衡量回歸曲線效果好壞衡量回歸曲線效果好壞的指標(biāo)的指標(biāo)可以作為可以作為根據(jù)回歸根據(jù)回歸方程預(yù)報(bào)方程預(yù)報(bào)y值的精值的精度指標(biāo)度指標(biāo)0412. 0056. 09963. 0合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理注注 意意min)ln(ln12Ntttyymin)(12Ntttyy并非表明：合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理討論多個(gè)變量之間試驗(yàn)結(jié)果的數(shù)學(xué)表示討論多個(gè)變量之間試驗(yàn)結(jié)果的數(shù)學(xué)表示一、多元線性回歸方程一、多元線性回歸方程 假如因變量假如因變量 與與M個(gè)自變量個(gè)自變量 的內(nèi)的內(nèi)在聯(lián)系是線性的，通過試驗(yàn)得到在聯(lián)系是線性的，通過試驗(yàn)得到N組觀測數(shù)據(jù)：組觀測數(shù)據(jù)：

24、那么這批數(shù)據(jù)的測量方程為：那么這批數(shù)據(jù)的測量方程為：式中，式中， 是是M1個(gè)待估計(jì)參數(shù)；個(gè)待估計(jì)參數(shù)； 是是N個(gè)相互獨(dú)立，服從同一正態(tài)分布的隨機(jī)變量。個(gè)相互獨(dú)立，服從同一正態(tài)分布的隨機(jī)變量。y12,Mx xx12(,;)1,tttMtxxxytN101 112121101122MMNNNMNMNyxxxyxxx012,M 12,N 合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理回歸方程為：回歸方程為：其中，其中， 是是 的最佳估的最佳估計(jì)值。計(jì)值。令令01 122MMybb xb xb x012,Mb b bb012,M 1NyYy111211211MNNNMxxxXxxx0MbBb1()TTBX XX Y合

25、肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理常用回歸方程為：常用回歸方程為：)()()(2221110MMMxxbxxbxxby由最小二乘原理，由最小二乘原理，MyyyMlllLbbby211210其中，其中，MMMMMllllllL2111211)()(11NttitiiyNtjtjitiijyyxxlxxxxl合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理二、回歸方程的顯著性和精度二、回歸方程的顯著性和精度2(1)QNM21()Mtj jytjUyyb l2()ttyytQyylUyylS /(1)U MFQNM合肥工業(yè)大學(xué)誤差理論與數(shù)據(jù)處理三、每個(gè)自變量在多元回歸中所起的作用三、每個(gè)自變量在多元回歸中所起的作用問題：問題：一個(gè)回歸方程顯著，并不意味著每個(gè)自變量對一個(gè)回歸方程顯著，并不意味著每個(gè)自變量對 因變量因變量 的影響都是重要的，有些重要，有的影響都是重要的，有些重要，有 些次要，如何確定？些次要，如何確定？解決辦法：解決辦法：考察偏回歸平方和考察偏回歸平方和 的的F統(tǒng)計(jì)量衡量每個(gè)統(tǒng)計(jì)量衡量每個(gè)自變量自變量 在回歸中所起的作用。在回歸中所起的作用。UM個(gè)變量個(gè)變量 所引起的回歸平方和；所引起的回歸平方和；U去除去除 后的后的M1個(gè)變量。個(gè)變量。yiPix2iiiibP