數(shù)值分析 第三章 數(shù)據(jù)擬合 (1)

1、5101520-100100200300400500數(shù)值分析數(shù)值分析Numerical Analysis第三章數(shù)據(jù)擬合方法 Data fitting鄭州大學研究生課程鄭州大學研究生課程 （2015-20162015-2016學年第一學期）學年第一學期） 2/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis第三章 數(shù)據(jù)擬合方法 3.1 問題提出 3.2 最小二乘法的基本概念3.3 線性擬合方法 3.4 非線性曲線的數(shù)據(jù)擬合 3/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis3.1 問題提出離散數(shù)據(jù)點插值

2、：插值函數(shù) 精確通過每一個數(shù)據(jù)點。 ( )P x4/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis兩類實際情況: 離散數(shù)據(jù)點提出來自試驗，具有測量誤差，要求插 值函數(shù)通過所有數(shù)據(jù)點反而會保留測量誤差的影響。 某些情況下, 只需要找出反映變量變化關系的經(jīng)驗函 數(shù)，而非精確通過關鍵點的外形控制函數(shù)。3.1 問題提出5/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 例3.1.16/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 已知一組數(shù)據(jù)(xi, yi)

3、, ，i = 1,2, m。yi = f(xi), 構造插值函數(shù)(x) 來逼近 f(x), 則有 (xi) = f(xi) = yi, i = 1,2, m或記 Q =(x1) , (x2) ,(xm) ), Y = (y1, y2,ym), 則有 Q = Y. 如果數(shù)據(jù)不能同時滿足某個特定函數(shù)，而要求所求的近似函數(shù)“最優(yōu)地”靠近數(shù)據(jù)點，即向量Q與Y 的誤差的某度量最小。按 Q與Y的誤差最小原則作為最優(yōu)標準所構造出的函數(shù)，我們稱為擬合函數(shù)。3.1 問題提出7/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 定義Q與Y 之間的度量：其中，R 稱為均

4、方誤差。 最小二乘法：按均方誤差達到極小構造擬合曲線的方法。 111122221 ();();().maxmiiiiii mmiiiRQYxyRQYxyRRQYxy 3.1 問題提出o均方誤差 mean squared error，均均方誤差是各數(shù)據(jù)偏離真實值的距離平方的方誤差是各數(shù)據(jù)偏離真實值的距離平方的平均數(shù)，也即誤差平方和的平均數(shù)。平均數(shù)，也即誤差平方和的平均數(shù)。8/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis3.2 最小二乘法的基本概念 構造擬合曲線的兩個問題：Q: 從哪一類函數(shù)族里面選擇擬合曲線的形式？A: 根據(jù)問題的實際背景，選擇逼

5、近 f ( x )的函數(shù)族。 2122123112341 1221212,sincos( )( )( )( ,)(,)a xnnnnyaa xyaa xa xya eyaa xaa xyaxaxaxyx a aaa aa其中為待定參數(shù)9/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis數(shù)據(jù)擬合的模型數(shù)據(jù)擬合的模型 (x)=a1 1(x) + +an n(x)例如例如: 1(x) , , n(x)=1, x, , xn-1 1(x) , , n(x)=1, cos x, , cos (n-1)x3.2 最小二乘法的基本概念10/41 鄭州大學研究生2

6、015-2016學年課程 數(shù)值分析 Numerical Analysis Q：如何確定參數(shù)a1,a2,an以確定一條擬合曲線呢？A: 按照在數(shù)據(jù)點處均方誤差最小的原則。11211111 (,) ,(,)( ,)(,),(,),kknnmmnnkkkkknkkkxyaaQ aaQ aarx aayrx aay2記誤差稱為數(shù)據(jù)點的擬合誤差，而其平方和應選擇（擬合參數(shù)），使得函數(shù)的值最小。這種用求解誤差函數(shù)最小值問題來確定擬合參數(shù)的方法稱為數(shù)據(jù)擬合的最小二乘法3.2 最小二乘法的基本概念11/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 1111 1

7、2122221(,) = ( )( )( )( )( )()()(nmkkkkknnnnnQ aayxxyaxaxaxaxaxxax2設擬合函數(shù)類是，其中， ，稱為擬合基函數(shù)。定義誤差函數(shù)，3.2 最小二乘法的基本概念12/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 11 12 220,(1,2,( )( )( )( ), .mkkkkkkin niQyaiaxaxaxxn求其最小值，我們用求駐點的方法可得 ） 最小二乘法歸結為 求n個未知數(shù)的線性代數(shù)方程組。3.2 最小二乘法的基本概念13/41 鄭州大學研究生2015-2016學年課程 數(shù)

8、值分析 Numerical Analysis 11111,(1,2,)(),()()(),()()()nmmkkjkkjkkmijn nijkkkmkkkijiijiaiGggxxyxnxxyx i n 1i其中記則系，F(xiàn)=( F ) , 其中數(shù)矩陣G 是F對稱的。最小二乘法的正規(guī)/法方程組 （其解為駐點）3.2 最小二乘法的基本概念14/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis引進矩陣和向量記號 112111222212111222()()()()()()()()(),nnmmnmmnnxxxxxxAxxxyaryarbXryarrAXb

9、 而有 3.2 最小二乘法的基本概念15/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 22222100(,),mTkkrrr rAXb AXbXXAXb 則最小二乘問題是： 求向量使得 在達到最小。3.2 最小二乘法的基本概念16/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 以上正規(guī)方程組是否存在唯一解? 正規(guī)方程組的解是最小二乘問題的駐點，此駐點是否就是最小二乘問題的解呢？ TTA AXA bGXF同時，正規(guī)方程組可寫成也可以記為 3.2 最小二乘法的基本概念17/41 鄭州大學研究生20

10、15-2016學年課程 數(shù)值分析 Numerical Analysis 13.2.1(),() ,1,2,TjjjmTTAnxxjnA AXA b 定理若 的 個列向量是線性無關的，則正規(guī)方程組 有唯一解。可以證明,此解是最小二乘問題的解.3.2 最小二乘法的基本概念18/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis定理3.2.23.2 最小二乘法的基本概念19/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 3.3 線性數(shù)據(jù)擬合方法 已知數(shù)據(jù)表已知數(shù)據(jù)表 x x1 x2 xmf(x) y1 y2

11、 ym求擬合函數(shù)求擬合函數(shù): (x) = a + b xa + b x1 = y1a + b x2 = y2a + b xm = ym mmyyybaxxx2121111超定方程組超定方程組AXb20/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 2-范數(shù)平方范數(shù)平方2221|()mkkkrabxy 殘差殘差: rk= (a + bxk) yk ( k = 1,2,m)3.3 線性數(shù)據(jù)擬合方法 21/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis mkkkybxarbaS1222)(|),(0aS

12、0bS求求 a, b 使使 S(a, b)= min3.3 線性數(shù)據(jù)擬合方法 22/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis021mkkkybxa)(mkkkkxybxa102)(mkkkmkkmkkmkkmkkyxbxaxybxma1121113.3 線性數(shù)據(jù)擬合方法 23/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis mmmkkmkkmkkxxxxxxxxxm11111121211211 mmmkkkmkkyyyxxxyxy212111111方程組方程組系數(shù)矩陣系數(shù)矩陣方程組方程組右端項

13、右端項3.3 線性數(shù)據(jù)擬合方法 24/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis超定方程組超定方程組: AX= 正規(guī)方程組正規(guī)方程組: ATAX=AT 112111 .mmiiiimmmiiiiiiiamxyxxx yb 擬合曲線的法方程(正規(guī)方程組)。 解之得 a，b。 代入 (x) = a +b x, 即得所求的擬合曲線。bb3.3 線性數(shù)據(jù)擬合方法 25/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis例例3.3.1 已知實驗數(shù)據(jù)如下已知實驗數(shù)據(jù)如下, ,求線性擬合函數(shù)求線性擬合函數(shù)。 解解

14、: 設擬合曲線方程為設擬合曲線方程為 (x)= a + b x x 1 2 3 4 5 f(x) 4 4.5 6 8 93.3 線性數(shù)據(jù)擬合方法 26/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis 9865 . 445141312111ba5a + 15b = 31.515a +55b =108a =2.25, b= 1.35 ATAX=ATAXbb3.3 線性數(shù)據(jù)擬合方法 112111 .mmiiiimmmiiiiiiiamxyxxx yb 27/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis1

15、2345246810R=| Q-Y |2 = 0.7583殘差向量殘差向量: (1)4= 0.40 (2)4.5= 0.45 (3)6= 0.30 (4)8=0.35 (5)9= 0 (x)= 2.25+1.35 x3.3 線性數(shù)據(jù)擬合方法 28/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis例3.3.2 求數(shù)據(jù)的二次擬合函數(shù)求數(shù)據(jù)的二次擬合函數(shù) P(x)=a0+a1x+a2x2x 1 2 3 4 5f(x) 4 4.5 6 8 9 解解:將數(shù)據(jù)點代入將數(shù)據(jù)點代入, , 得得3.3 線性數(shù)據(jù)擬合方法 29/41 鄭州大學研究生2015-2016學

16、年課程 數(shù)值分析 Numerical Analysis 4291085 .3197922555225551555155210aaaa0=3, a1=0.7071, a2=0.10713.3 線性數(shù)據(jù)擬合方法 11102311211123421111 .mmmiiiiiimmmmiiiiiiiiimmmmiiiiiiiiiymxxaax yxxxaxxxxy30/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis得得 P(x)=3+0.7071x + 0.1071x212345345678910二次擬合誤差二次擬合誤差: | Q-Y |2 = 0.64

17、37比較線性擬合誤差比較線性擬合誤差: | Q-Y |2 = 0.75833.3 線性數(shù)據(jù)擬合方法 31/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis3.3 線性數(shù)據(jù)擬合方法 x0=0:0.1:1;y0=(x0.2-3*x0+5).*exp(-5*x0).*sin(x0);p3=polyfit(x0,y0,3);vpa(poly2sym(p3),10)x=0:0.01:1;ya=(x.2-3*x+5).*exp(-5*x).*sin(x);y1=polyval(p3,x);subplot(2,1,1),plot(x,y1,x,ya,x0,y0,

18、o),legend(三次擬合三次擬合曲線曲線,原函數(shù)曲線原函數(shù)曲線,樣本點樣本點)p4=polyfit(x0,y0,4); y4=polyval(p4,x);p5=polyfit(x0,y0,5); y5=polyval(p5,x);p8=polyfit(x0,y0,8); y8=polyval(p8,x);subplot(2,1,2),plot(x,y4,x,x,y5,-,x,y8,:,x,ya,-)legend(四次擬合曲線四次擬合曲線,五次擬合曲線五次擬合曲線,八次擬合曲線八次擬合曲線,原函數(shù)曲線原函數(shù)曲線)vpa(poly2sym(p8),5)32/41 鄭州大學研究生2015-201

19、6學年課程 數(shù)值分析 Numerical Analysis3.3 線性數(shù)據(jù)擬合方法 n 次多項式擬合33/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis2112121,niiniiinnniiiiiinniimxxxxxAxxxyax yabXaxyAXbX解 出 得 34/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis3.4 非線性曲線的數(shù)據(jù)擬合問題提出：離散點圖呈非線性。35/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis1. 雙曲型曲線將給定數(shù)據(jù)

20、(xi, yi)轉換為(ui, vi),求出a, b,再代回原變量y, x，可求得原非線性擬合曲線。 類似的，1111,.abuvuabvyxyx 令而3.4 非線性曲線的數(shù)據(jù)擬合11,.yabvyabvxx令而 o變量代換變量代換36/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis2. 冪函數(shù)型曲線,ln,ln,ln.byaxuy vxuabv令而 3.4 非線性曲線的數(shù)據(jù)擬合3. 指數(shù)型曲線,ln,ln.bxyaeuyuabx令而 37/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis4. 對數(shù)型

21、曲線ln,ln,.yabxvxyabv令則有 3.4 非線性曲線的數(shù)據(jù)擬合5. S型曲線11,.xxyuveuabvyabe令 則有 38/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis例3.4.1 用給數(shù)據(jù)求經(jīng)驗公式：y = a ebx x 1 2 3 4 5 6 7 8 y 15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6解 首先線性化，對經(jīng)驗公式兩邊取自然對數(shù) ln y = ln a + bx 令 u = ln y ，u= ln a +bx 3.4 非線性曲線的數(shù)據(jù)擬合39/41 鄭州大學研究生2015-20

22、16學年課程 數(shù)值分析 Numerical Analysis由法方程 , 即 a = e2.4369 =11.4375. y =11.4375e0.2912x.2lnln, lniiiiiimxyabxyxx836ln13.0197ln2.4369i.e. , 36 20463.90030.2912 aabb40/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis擬合曲線的均方誤差為：擬合曲線的圖形為882211( ()0.0262401.iiiiiy xy3.4 非線性曲線的數(shù)據(jù)擬合41/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 N

23、umerical Analysis3.4 非線性曲線的數(shù)據(jù)擬合例3.4.2o回歸模型的參數(shù)估計回歸模型的參數(shù)估計42/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis f=inline(a(1)*exp(-a(2)*x)+a(3)*exp(-a(4)*x).*sin(a(5)*x),a,x)x=0:0.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);xx,res=lsqcurvefit(f,1,1,1,1,1,x,y);xx,resx1=0:0.01:10;y1=f(xx,x1);plot(x1,y1,x,y,o)legend(擬合曲線擬合曲線,樣本點樣本點)3.4 非線性曲線的數(shù)據(jù)擬合43/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis3.4 非線性曲線的數(shù)據(jù)擬合44/41 鄭州大學研究生2015-2016學年課程 數(shù)值分析 Numerical Analysis3.4 非線性曲