05最小二乘法與回歸分析

1、跳轉(zhuǎn)到第一頁5 化學(xué)計(jì)量學(xué)方法6.1 引言6.2 線性回歸分析6.3 化學(xué)因子分析6.4 人工神經(jīng)網(wǎng)絡(luò)6.5 小波分析6.6 獨(dú)立成分分析6.7 支持向量機(jī)分類與回歸跳轉(zhuǎn)到第一頁本課程的教學(xué)內(nèi)容n最小二乘法與回歸分析n化學(xué)因子分析n人工神經(jīng)網(wǎng)絡(luò)n小波分析n獨(dú)立成分分析n支持向量機(jī)分類與回歸分析跳轉(zhuǎn)到第一頁5.2 回歸分析及檢驗(yàn)回歸分析及檢驗(yàn) n回歸分析是研究隨機(jī)現(xiàn)象中變量之間關(guān)系的一種數(shù)理統(tǒng)計(jì)方法，它在生產(chǎn)實(shí)踐和科學(xué)研究及實(shí)驗(yàn)中有著廣泛的應(yīng)用。目前在尋找經(jīng)驗(yàn)公式，探索新配方，制定新標(biāo)準(zhǔn)，預(yù)言效果等方面都已取得不少成績(jī)。n在科學(xué)研究及生產(chǎn)實(shí)驗(yàn)中，常常會(huì)遇到在同一個(gè)事物中有多個(gè)變量存在，而且它們相

2、互關(guān)聯(lián)，相互制約。這種關(guān)聯(lián)和制約表明它們之間客觀存在一定數(shù)學(xué)的或其他的關(guān)系。但要找出它們之間數(shù)學(xué)關(guān)系的數(shù)學(xué)解析式是非常困難的，有時(shí)是不可能的。因此需要用數(shù)量統(tǒng)計(jì)的方法，在大量的試驗(yàn)中，尋找出隱藏在各變量間的統(tǒng)計(jì)規(guī)律性或近似的數(shù)學(xué)模型，這種關(guān)系稱之謂回歸關(guān)系。有回歸關(guān)系的計(jì)算方法及理論叫做回歸分析。 跳轉(zhuǎn)到第一頁回歸分析的主要內(nèi)容回歸分析的主要內(nèi)容 n從一組數(shù)據(jù)出發(fā)，確定這些變量間的定量關(guān)系式；n對(duì)這些關(guān)系的可信度進(jìn)行統(tǒng)計(jì)檢驗(yàn)；n尋找某一個(gè)應(yīng)變量和哪些自變量有關(guān)，其影響程度如何；n利用上述關(guān)系，進(jìn)行預(yù)報(bào)和控制；n 選擇較少的試驗(yàn)點(diǎn)，獲得更多的信息，對(duì)試驗(yàn)進(jìn)行較好的設(shè)計(jì)。 跳轉(zhuǎn)到第一頁5.2.1

3、最小二乘法原理最小二乘法原理 設(shè)實(shí)測(cè)數(shù)據(jù)為(xi,yi)(i=1,2,n)，其近似符合函數(shù)y=(x,a1,a2,am) (nm; a1,a2,am是待定系數(shù) )當(dāng)用測(cè)定值x=xi(i=1,2,n)代入(4.6-1)可計(jì)算出y值，記作 ),(21miiaaaxy殘差的大小是衡量待定參數(shù)a1,a2,am好壞的重要標(biāo)志。 如何確定殘差？殘差和殘差絕對(duì)值和殘差平方和跳轉(zhuǎn)到第一頁nimiininiiiiaaaxyyyq12211122,這樣問題就歸納為求多元函數(shù)q(a1,a2,am) 極小值點(diǎn)01aq02aq0amq解此方程即得參數(shù)aj(j=1,2,m) 近似函數(shù) y(x,a1,a2,am)這就是曲線擬

4、合的最小二乘法原理最小二乘法原理。 跳轉(zhuǎn)到第一頁應(yīng)用舉例應(yīng)用舉例-1n問題: 改變某有色有機(jī)酸h2l的溶液的ph，測(cè)得溶液的吸光度a，計(jì)算該有機(jī)酸的離解常數(shù)ka1，ka2。n解:根據(jù)吸光度的加和性可得： h2lhll 將它們用h+及ka1、ka2表示,則有 211221122hhhhaaalaahlaahkkkakkakaaah2l、ahl和al為溶液全部以h2l、hl-或l2-形式存在時(shí)的吸光度。其中ah2l和al都可由實(shí)驗(yàn)直接測(cè)定，因?yàn)樵谧銐蚋叩乃岫认?，有機(jī)酸將全部以h2l形式存在，這時(shí)溶液的吸光度即ah2l；同理, 在足夠高的ph值時(shí), 測(cè)得的吸光度為al。所以只剩下ahl不易測(cè)準(zhǔn)。 1

5、21122hhhahlaalalhkakkaakaaa這是三元一次方程組, 理論上講只要測(cè)得三組數(shù)據(jù)(ph1,a1), (ph2,a2)和(ph3,a3), 就可以解出三元一次方程組, 算出a1，a2和a3。但是在實(shí)驗(yàn)中，常常帶有實(shí)驗(yàn)誤差，只憑三組測(cè)量值進(jìn)行計(jì)算會(huì)使結(jié)果很不可靠，所以，通常要測(cè)量許多組實(shí)驗(yàn)數(shù)據(jù)ph1,a1ph2,a2; ph3a3; phn,an,得到n個(gè)方程, 因?yàn)閚3, 該方程組為矛盾方程組, 可用最小二乘法求解。322113xaxaxay跳轉(zhuǎn)到第一頁上機(jī)作業(yè)上機(jī)作業(yè)n用光度法測(cè)定間苯二酚的離解常數(shù)ka1 ,ka2 ,測(cè)得溶液的ph和a的數(shù)據(jù)如下:n n ph 2.90 3

6、.00 3.10 3.20 3.30 3.40 3.50 3.60 3.70n a 0.370 0.374 0.378 0.382 0.387 0.393 0.398 0.403 0.407n n ph 4.28 4.38 4.46 4.54 4.64 4.72 4.78 4.85 4.91n a 0.407 0.403 0.398 0.393 0.387 0.382 0.378 0.374 0.370n n并且測(cè)得ah2l = 0.353, al = 0.337。 n要求：u將由實(shí)驗(yàn)測(cè)定所得ph和a經(jīng)換算后得到課堂所講y, x, a等形式，編程語言任選；u矛盾方程組求解可以編程實(shí)現(xiàn)，或由統(tǒng)計(jì)

7、軟件中的多元線性回歸分析而得；u將數(shù)據(jù)預(yù)處理程序及結(jié)果、數(shù)據(jù)處理最后結(jié)果等以附件l形式交送至化學(xué)信息學(xué)網(wǎng)絡(luò)課堂.跳轉(zhuǎn)到第一頁5.2.2 線性回歸分析線性回歸分析n一元線性回歸u通過一組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行最小二乘法回歸處理，求出直線的斜率和截矩，并根據(jù)一定的統(tǒng)計(jì)方法處理，得到較多的統(tǒng)計(jì)信息，對(duì)實(shí)驗(yàn)數(shù)據(jù)線性相關(guān)性進(jìn)行檢驗(yàn)及進(jìn)行預(yù)報(bào)等。 bxay111iixnx111iiyny niiniiniixxxnxxxl121212)(1 niiniiniiyyynyyyl121212)(1niniiniiiiniiixyyxnyxyyxxl11111平均值 差方和lxxlbxyxbya回歸分析結(jié)果跳轉(zhuǎn)到第一頁回

8、歸方程檢驗(yàn)n相關(guān)系數(shù)總差方和總差方和(s)=剩余差方和剩余差方和(q)+回歸差方和回歸差方和(u) r1。越大，表示相關(guān)性越好。r0,正相關(guān), 直線的斜率為正; r32kg/mm2，延伸率y233%，且要求有95%的把握滿足上述要求，問含碳量在什么范圍。 合金鋼成分及性能實(shí)測(cè)數(shù)據(jù) x(%) y1(kg/mm2) y2(%) x(%) y1(kg/mm2) y2 (%) 0.03 40.5 40.0 0.15 46.0 40.5 0.04 41.5 34.5 0.16 48.0 33.0 0.05 42.5 41.5 0.17 53.0 37.0 0.06 43.0 37.5 0.18 50.0

9、 36.5 0.07 39.5 36.0 0.20 52.5 37.0 0.08 42.0 40.0 0.21 56.0 31.0 0.09 42.5 34.5 0.23 60.0 32.5 0.10 43.5 39.0 0.24 56.0 32.4 0.11 42.5 31.5 0.25 54.5 35.5 0.12 49.0 41.0 0.26 61.5 33.3 0.13 43.0 37.5 0.29 59.5 31.0 0.14 49.0 40.0 0.32 64.0 32.0 解 將例實(shí)測(cè)數(shù)據(jù)進(jìn)行線性回歸處理得如下結(jié)果： 對(duì)抗拉強(qiáng)度抗拉強(qiáng)度：回歸方程 y1= 85.6093x +36

10、.02 剩余標(biāo)準(zhǔn)差 1=2.3673 顯著性檢驗(yàn) f=205.7 相關(guān)系數(shù) r=0.9504 對(duì)延伸率延伸率： 回歸方程 y2 = -25.1589x +39.89 剩余標(biāo)準(zhǔn)差 2 =2.7970 顯著性檢驗(yàn) f=12.72 相關(guān)系數(shù) r=0.6050 若有95%的把握的把握滿足題中條件，則應(yīng) 85.6093x + 36.02 + 22.3673 32 85.6093x + 36.02 - 22.3673 32 -25.1589x + 39.89 + 22.770 33 -25.1589x + 39.89 - 22.770 33 解之得 0.0083xm)n多元線性回歸方程的檢驗(yàn)多元線性回歸方

11、程的檢驗(yàn) 總差方和總差方和(s)=剩余差方和剩余差方和(q)+回歸差方和回歸差方和(u)n復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù) 方差比方差比 剩余標(biāo)準(zhǔn)偏差剩余標(biāo)準(zhǔn)偏差niiniiiyyyys1212s的自由度 fs=n-1 u的自由度 fu =m q的自由度 fq=n-m-1 sqssur1/mnqmuf1mnq跳轉(zhuǎn)到第一頁n例7 n,n-二甲基-2-溴苯乙胺衍生物是腎上腺阻斷劑當(dāng)y和z接上不同的取代基,其生物活性是不一樣的,y和z取代基的結(jié)構(gòu)信息參數(shù)通常取其疏水值和電子參數(shù),其結(jié)果如下表所示。 brch3nch3zy跳轉(zhuǎn)到第一頁跳轉(zhuǎn)到第一頁跳轉(zhuǎn)到第一頁regress multiple linear regression using least squares. b = regress(y,x) returns the vector of regression coefficients, b, in the linear model y = xb, (x is an nxp matrix, y is the nx1 vector of observations). 跳轉(zhuǎn)到第一頁b,bint,r,rint,stats = regress(y,x,alpha) uses the input, alpha to calculate 100(1 - alp