曲線插值和曲線擬合課件

第一章曲線插值與曲線擬合劉云華1第一章曲線插值與曲線擬合劉云華12§1引言§2拉格朗日插值多項式§3分段低次拉格朗日插值§4Neville逐步插值方法§5Newton插值§6Hermite插值和分段三次Hermite插值§7曲線擬合2

實際中，f(x)多樣，復(fù)雜，通常只能觀測到一些離散數(shù)據(jù)；或者f(x)過于復(fù)雜而難以運算。這時我們要用近似函數(shù)g(x)來逼近f(x)。

自然地，希望g(x)通過所有的離散點

概念x0x1x2x3x4xg(x)

f(x)實際中，f(x)多樣，復(fù)雜，通常只能觀測到一些離散定義：為定義在區(qū)間上的函數(shù)，為區(qū)間上n+1個互不相同的點，為給定的某一函數(shù)類。求上的函數(shù)滿足問題是否存在唯一如何構(gòu)造誤差估計定義：為定義在區(qū)間上的函數(shù)，設(shè)則所以有解，當(dāng)且僅當(dāng)系數(shù)行列式不為0設(shè)則所以有解，當(dāng)且僅當(dāng)系數(shù)行列式不為0存在唯一定理定理1.1：為n＋1個節(jié)點，

n+1維空間，則插值函數(shù)存在唯一，當(dāng)且僅當(dāng)存在唯一定理定理1.1：為n＋1個節(jié)點，與基函數(shù)無關(guān)與原函數(shù)f(x)無關(guān)基函數(shù)個數(shù)與點個數(shù)相同特點：與基函數(shù)無關(guān)特點：對應(yīng)于則Vandermonde行列式對應(yīng)于則Vandermonde行列式多項式插值的Lagrange型如何找？在基函數(shù)上下功夫，取基函數(shù)為要求則多項式插值的Lagrange型如何找？在基函數(shù)上下功夫，取基求，易知：記求，易知：記線性插值線性插值12x0y圖2-212x0y圖2-2二次插值二次插值14這是一個二次函數(shù)，用二次函數(shù)近似代替函數(shù)，在幾何上就是通過曲線上的三點，作一拋物線近似地代替曲線（圖2-3），故三點插值(二次插值)。圖2-3yx014這是一個二次函數(shù)，用二次函數(shù)近似代替函例：例：16例

已知分別用線性插值和拋物插值求的值。解

因為115在100和121之間，故取節(jié)點x0=100，x1=121相應(yīng)地有

y0=10，y1=11故用線性插值求得的近似值為16例已知17仿上，用拋物插值公式所求得的近似值為將所得結(jié)果與的精確值10.7328…相比較，可以看出拋物插值的精確度較好。為了便于上機計算，我們常將拉格朗日插值多項式改寫成對稱形式17仿上，用拋物插值公式所求得的近似值為算法：fx=0.0for(i=0;i<=n;i++){tmp=1.0;for(j=0;j<i;j++)tmp=tmp*(x-x[j])/(x[i]-x[j]);for(j=i+1;j<=n;j++)tmp=tmp*(x-x[j])/(x[i]-x[j]);fx=fx+tmp*y[i];}returnfx;算法：fx=0.0Lab02

Lagrange插值對函數(shù)構(gòu)造插值，并求插值節(jié)點取為：(1)(2)對N=5，10，20，40比較以上兩組節(jié)點的結(jié)果。Chebyshev點Lab02Lagrange插值對函數(shù)構(gòu)造插值，并求插值節(jié)誤差解：求設(shè)易知誤差解：求設(shè)易知有n+2個零點由a的任意性有n+2個零點由a的任意性例：已知分別利用sinx的1次、2次Lagrange插值計算sin50

并估計誤差。例：已知分別利用sinx的1次、2次Lagrange解：n=1分別利用x0,x1

以及x1,x2

計算利用這里而sin50=0.7660444…)185(50sin10pL0.77614外推

/*extrapolation*/

的實際誤差0.01001利用sin500.76008,內(nèi)插

/*interpolation*/

的實際誤差0.00596內(nèi)插通常優(yōu)于外推。選擇要計算的x

所在的區(qū)間的端點，插值效果較好。解：n=1分別利用x0,x1以及x1,x2計算n=2)185(50sin20pL0.76543sin50=0.7660444…2次插值的實際誤差0.00061高次插值通常優(yōu)于低次插值n=2)185(50sin20pL0.76543s例子P14~P17例子P14~P1726§4分段低次插值

例2、例4表明，適當(dāng)?shù)靥岣卟逯刀囗検降拇螖?shù)，有可能提高計算結(jié)果的準確程度。但是決不可由此提出結(jié)論，認為插值多項式的次數(shù)越高越好。例如，對函數(shù)

先以為節(jié)點作五次插值多項式P5(x)，再以

為節(jié)點作十次插值多項式P10(x)，并將曲線描繪在同一坐標系中，如圖2-5所示。

2627

-101xy

1y=1/(1+25x2)y=P5(x)圖2-5y=P10(x)27-1028

這種分段低次插值叫分段線性插值。在幾何上就是用折線代替曲線，如圖2-6所示。故分段線性插值又稱折線插值.

xy=f(x)yox0x1xnx2圖2-628xy=f(x)yox0x1xnx2圖2-629

類似地，為求的近似值，也可選取距點最近的三個節(jié)點

進行二次插值，即取這種分段低次插值叫分段二次插值。在幾何上就是用分段拋物線代替曲線，故分段二次插值又稱分段拋物插值。為了保證是距點最近的三個節(jié)點，（4.2）中的可通過下面方法確定:（4.2）29類似地，為求的近似值30Neville逐步插值方法通過兩點插值逐步生成多點插值的方法兩點插值30Neville逐步插值方法通過兩點插值逐步生成多點插值的31三點插值：由兩個兩點插值（x0,y0）(x1,y1)與（x1,y1）(x2,y2)31三點插值：由兩個兩點插值（x0,y0）(x1,y1)與（32多點Neville插值32多點Neville插值曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件2222曲線插值和曲線擬合課件Hermite插值在節(jié)點處已知函數(shù)值和導(dǎo)數(shù)值Hermite插值在節(jié)點處已知函數(shù)值和導(dǎo)數(shù)值兩點三次Hermite插值兩點三次Hermite插值曲線插值和曲線擬合課件兩點三次Hermite插值誤差分析兩點三次Hermite插值誤差分析例子P26~p29例子P26~p29曲線插值和曲線擬合課件三次樣條插值

分段低階插值，收斂性好，但光滑性不夠理想。在工業(yè)設(shè)計中，對曲線光滑性要求高，如：流線型設(shè)想這樣一曲線：插值，次數(shù)不高于3次，整個曲線2階連續(xù)導(dǎo)數(shù)，稱為三次樣條函數(shù)插值。三次樣條插值分段低階插值，收斂性好，但光滑性不夠每個小區(qū)間不高于3次，有4n個未知數(shù)，我們的已知條件如下：共3n-3+n+1=4n-2個條件每個小區(qū)間不高于3次，有4n個未知數(shù)，我們的已知條件如下：共曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件給定端點彎距值給定端點彎距值給定端點轉(zhuǎn)角值給定端點轉(zhuǎn)角值58曲線擬合的最小二乘法

§1引言

§2什么是最小二乘法

§3最小二乘解的求法

5859曲線擬合的最小二乘法

§1引言

在科學(xué)實驗和生產(chǎn)實踐中，經(jīng)常要從一組實驗數(shù)據(jù)出發(fā)，尋求函數(shù)y=f(x)的一個近似表達式y(tǒng)=φ（x）（稱為經(jīng)驗公式）。從幾何上，就是希望根據(jù)給出的m個點，求曲線y=f(x)的一條近似曲線y=φ（x）。因此，這是一個曲線擬合的問題。多項式插值雖然在一定程度上解決了由函數(shù)表求函數(shù)的近似表達式問題，但用它來解決這里提出的問題，有明顯缺陷。首先，實驗提供的數(shù)據(jù)通常帶有測試誤差。如要求近似曲線y=φ（x）嚴格地通過所給的每個數(shù)據(jù)點，就會使曲線保持原有的測試誤差。當(dāng)個別數(shù)據(jù)的誤差較大時，插值效果顯然是不理想的。其次，由實驗提供的數(shù)據(jù)往往較多（即m較大），用插值法得到的近似表達式，明顯地缺乏實用價值。59曲線擬合的最小二乘法60因此，怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類φ中尋求一個“最好”的函數(shù)φ（x）來擬合這組數(shù)據(jù)，是一個值得討論的問題。隨著擬合效果“好”、“壞”標準的不同，解決此類問題的方法也不同。這里介紹一種最常用的曲線擬合方法，即最小二乘法。?！?什么是最小二乘法

如前所述，在一般情況下，我們不能要求近似曲線y=f（x）嚴格地通過所有數(shù)據(jù)點，亦即不能要求所有擬合曲線函數(shù)在xi處的偏差（亦稱殘差）都嚴格地趨于零。但是，為了使近似曲線盡量反映所給數(shù)據(jù)點的變化趨勢，要求∣δi∣都較小還是需要的。達到這一目標的途徑很多，常見的有：

(1)選取φ（x），使偏差絕對值之和最小，即

(2.1)60因此，怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類φ中尋求一個61(2)

選取φ（x），使偏差最大絕對值最小，即

(2.2)(3)選取φ（x），使偏差平方和最小，即

(2.3)

為了方便計算、分析與應(yīng)用，我們較多地根據(jù)“偏差平方和最小”的原則（稱為最小二乘原則）來選取擬合曲線y=φ（x）按最小二乘原則選擇擬合曲線的方法，稱為最小二乘法。本章要著重討論的線性最小二乘問題，其基本提法是：對于給定數(shù)據(jù)表

x x1x2…xm

y y1y2…ym

61(2)

選取φ（x），使偏差最大絕對值62要求在某個函數(shù)類（其中n<m）中尋求一個函數(shù)

(2.4)使φ*(x)滿足條件

(2.5)

式中是函數(shù)類中任一函數(shù)。

滿足關(guān)系式（2.5）的函數(shù)，稱為上述最小二乘問題的最小二乘解。由上可知，用最小二乘法解決實際問題包含兩個基本環(huán)節(jié)：先根據(jù)所給數(shù)據(jù)點的變化趨勢與問題的實際背景確定函數(shù)類,即確定所具有的形式；然后按最小二乘法原則（2.3）求取最小二乘解，即確定其系數(shù)。62要求在某個函數(shù)類63§3最小二乘解的求法由最小二乘解（2.4）應(yīng)滿足條件（2.5）知，點是多元函數(shù)的極小點，從而滿足方程組即63§3最小二乘解的求法64亦即

若對任意的函數(shù)h(x)和g(x)，引入記號

則上述方程組可以表示成

寫成矩陣形式即

(3.1)(3.2)64亦即(3.1)(3.2)65

方程組(3.2)稱為法方程組。當(dāng)線性無關(guān)時，可以證明它有唯一解并且相應(yīng)的函數(shù)(2.4)就是滿足條件(2.5)的最小二乘解。綜上分析可得

定理1

對任意給定的一組實驗數(shù)據(jù)(其中互異),在函數(shù)類(線性無關(guān)）中,存在唯一的函數(shù)使得關(guān)系式(2.5)成立，并且其系數(shù)可以通過解方程組(3.2)得到。作為曲線擬合的一種常用的情況，若討論的是代數(shù)多項式擬合，即取

則由(3.1)知65方程組(3.2)稱為法方程組。當(dāng)66故相應(yīng)的法方程組為

(3.3)66(3.3)67例1

某種鋁合金的含鋁量為，其熔解溫度為c，由實驗測得與的數(shù)據(jù)如表3-1左邊三列。使用最小二乘法建立與之間的經(jīng)驗公式。解

根據(jù)前面的討論，解決問題的過程如下：

（1）

將表中給出的數(shù)據(jù)點描繪在坐標紙上，如圖3-1所示。

`

（2）

確定擬合曲線的形式。由圖3-1可以看出，六個點位于一條直線的附近，故可以選用線性函數(shù)（直線）來擬合這組實驗數(shù)據(jù)，即令180圖3-1y30026022030507090x67例1某種鋁合金的含鋁量為，其熔解溫68

其中a,b為待定常數(shù)。（3）建立法方程組。由于問題歸結(jié)為一次多項式擬合問題，故由

(3.3)知，相應(yīng)的法方程組形如經(jīng)過計算（表3-1）即得確定待定系數(shù)a，b的法方程組

（4）解法方程(3.5)得a=95.3524,b=2.2337

代入(3.4)即得經(jīng)驗公式

y=95.3524+2.2337x(3.4)(3.5)(3.6)68(3.4)(3.5)(3.6)69

i136.91811361.616678.9246.71972180.899199.9363.72354057.6914969.5477.82706052.8421006.0584.02837056.0023772.0687.52927656.2525550.0396.6145828365.28101176.3表3-169 i136.70

所得經(jīng)驗公式能否較好地反映客觀規(guī)律,還需通過實踐來檢驗.由(3.6)式算出的函數(shù)值(稱為擬合值)與實際值有一定的偏差。由表3-2可以看出，偏差的平方和

，其平方根（稱為均方誤差）在一定程度上反映了所得經(jīng)驗公式的好壞。同時，由表3-2還可以看出，最大偏差.

如果認為這樣的誤差都允許的話，就可以用經(jīng)驗公式(3.6)來計算含鋁量在36.9~87.5%之間的溶解度。否則，就要用改變函數(shù)類型或者增加實驗數(shù)據(jù)等方法來建立新的經(jīng)驗公式。例2

在某化學(xué)放應(yīng)里，測得生成物的濃度y%與時間t的數(shù)據(jù)表見表3-3，是用最小二乘法建立t與y的經(jīng)驗公式。解

將已知數(shù)據(jù)點描述在坐標紙上，見圖3-2。由圖3-2

及問題的物理背景可以看出，擬合曲線應(yīng)具下列特點：

7071i12345636.946.763.777.884.087.5177.78199.67237.64269.13282.98290.80181197235270283292-3.222.672.64-0.87-0.02-1.2010.377.136.970.760.00041.4426.6704表3-271i12345636.946.763.777.884.0872t12345678y4.006.408.008.809.229.509.709.86t910111213141516y10.0010.2010.3210.4210.5010.5510.5810.60表3-3

（1）曲線隨著t的增加而上升，但上升速度由快到慢。y10504812t16圖3-272t12345678y4.006.408.008.80973（2）當(dāng)t=0時，反應(yīng)還未開始，即y=0;當(dāng)時，y趨于某一常數(shù).

故曲線應(yīng)通過原點(或者當(dāng)t=0時以原點為極限點)，且有一條水平漸近線。

具有上述特點的曲線很多。選用不同的數(shù)學(xué)模型，可以獲得不同的擬合曲線與經(jīng)驗公式。

下面提供兩種方案:

方案1:

設(shè)想是雙曲線型的，并且具有下面的形式

(3.7)

此時，若直接按最小二乘法原則去確定參數(shù)a和b,則問題歸結(jié)為求二元函數(shù)

的極小點，這將導(dǎo)致求解非線性方程組:(3.8)73（2）當(dāng)t=0時，反應(yīng)還未開始，即y=0;當(dāng)74給計算帶來了麻煩?？赏ㄟ^變量替換來將它轉(zhuǎn)化為關(guān)于待定參數(shù)的線.性形函數(shù)。為此，將(3.7)改寫成于是，若引入新變量則(3.7)式就是74給計算帶來了麻煩?？赏ㄟ^變量替換來將它轉(zhuǎn)化為關(guān)于待定參數(shù)75同時，由題中所給數(shù)據(jù)表3-3可以算出新的數(shù)據(jù)表表3-4這樣，問題就歸結(jié)為：根據(jù)數(shù)據(jù)表3-4，求形如的最小二乘解.

參照例1的做法，解方程組i123161.000000.500000.333330.062500.250000.156250.125000.09434表3-475i123161.000000.500000.33333076既得

a=80.6621,b=161.6822代入(3.7)

,既得經(jīng)驗公式

(3.9)

方案2：設(shè)想具有指數(shù)形式

為了求參數(shù)a和b時，避免求解一個非線形方程組，對上式兩邊取對數(shù)

此時，若引入新變量

并記A=lna,B=b,則上式就是

(3.10)76(3.10)77又由數(shù)表3-3可算出新的數(shù)據(jù)表3-5。

表3-5于是將問題歸為：根據(jù)數(shù)據(jù)表3-5，求形如的最小二乘解。參照方案1，寫出相應(yīng)的法方程組并解之，即得

A=-4.4807，B=-1.0567于是i123161.000000.500000.333330.062501.386291.856302.079442.3608577又由數(shù)表3-3可算出新的數(shù)據(jù)表3-5。i123161.小結(jié)線形擬合二次多項式擬合指數(shù)曲線擬合冪函數(shù)擬合雙曲函數(shù)擬合小結(jié)線形擬合第一章曲線插值與曲線擬合劉云華79第一章曲線插值與曲線擬合劉云華180§1引言§2拉格朗日插值多項式§3分段低次拉格朗日插值§4Neville逐步插值方法§5Newton插值§6Hermite插值和分段三次Hermite插值§7曲線擬合2

實際中，f(x)多樣，復(fù)雜，通常只能觀測到一些離散數(shù)據(jù)；或者f(x)過于復(fù)雜而難以運算。這時我們要用近似函數(shù)g(x)來逼近f(x)。

自然地，希望g(x)通過所有的離散點

概念x0x1x2x3x4xg(x)

f(x)實際中，f(x)多樣，復(fù)雜，通常只能觀測到一些離散定義：為定義在區(qū)間上的函數(shù)，為區(qū)間上n+1個互不相同的點，為給定的某一函數(shù)類。求上的函數(shù)滿足問題是否存在唯一如何構(gòu)造誤差估計定義：為定義在區(qū)間上的函數(shù)，設(shè)則所以有解，當(dāng)且僅當(dāng)系數(shù)行列式不為0設(shè)則所以有解，當(dāng)且僅當(dāng)系數(shù)行列式不為0存在唯一定理定理1.1：為n＋1個節(jié)點，

n+1維空間，則插值函數(shù)存在唯一，當(dāng)且僅當(dāng)存在唯一定理定理1.1：為n＋1個節(jié)點，與基函數(shù)無關(guān)與原函數(shù)f(x)無關(guān)基函數(shù)個數(shù)與點個數(shù)相同特點：與基函數(shù)無關(guān)特點：對應(yīng)于則Vandermonde行列式對應(yīng)于則Vandermonde行列式多項式插值的Lagrange型如何找？在基函數(shù)上下功夫，取基函數(shù)為要求則多項式插值的Lagrange型如何找？在基函數(shù)上下功夫，取基求，易知：記求，易知：記線性插值線性插值90x0y圖2-212x0y圖2-2二次插值二次插值92這是一個二次函數(shù)，用二次函數(shù)近似代替函數(shù)，在幾何上就是通過曲線上的三點，作一拋物線近似地代替曲線（圖2-3），故三點插值(二次插值)。圖2-3yx014這是一個二次函數(shù)，用二次函數(shù)近似代替函例：例：94例

已知分別用線性插值和拋物插值求的值。解

因為115在100和121之間，故取節(jié)點x0=100，x1=121相應(yīng)地有

y0=10，y1=11故用線性插值求得的近似值為16例已知95仿上，用拋物插值公式所求得的近似值為將所得結(jié)果與的精確值10.7328…相比較，可以看出拋物插值的精確度較好。為了便于上機計算，我們常將拉格朗日插值多項式改寫成對稱形式17仿上，用拋物插值公式所求得的近似值為算法：fx=0.0for(i=0;i<=n;i++){tmp=1.0;for(j=0;j<i;j++)tmp=tmp*(x-x[j])/(x[i]-x[j]);for(j=i+1;j<=n;j++)tmp=tmp*(x-x[j])/(x[i]-x[j]);fx=fx+tmp*y[i];}returnfx;算法：fx=0.0Lab02

Lagrange插值對函數(shù)構(gòu)造插值，并求插值節(jié)點取為：(1)(2)對N=5，10，20，40比較以上兩組節(jié)點的結(jié)果。Chebyshev點Lab02Lagrange插值對函數(shù)構(gòu)造插值，并求插值節(jié)誤差解：求設(shè)易知誤差解：求設(shè)易知有n+2個零點由a的任意性有n+2個零點由a的任意性例：已知分別利用sinx的1次、2次Lagrange插值計算sin50

并估計誤差。例：已知分別利用sinx的1次、2次Lagrange解：n=1分別利用x0,x1

以及x1,x2

計算利用這里而sin50=0.7660444…)185(50sin10pL0.77614外推

/*extrapolation*/

的實際誤差0.01001利用sin500.76008,內(nèi)插

/*interpolation*/

的實際誤差0.00596內(nèi)插通常優(yōu)于外推。選擇要計算的x

所在的區(qū)間的端點，插值效果較好。解：n=1分別利用x0,x1以及x1,x2計算n=2)185(50sin20pL0.76543sin50=0.7660444…2次插值的實際誤差0.00061高次插值通常優(yōu)于低次插值n=2)185(50sin20pL0.76543s例子P14~P17例子P14~P17104§4分段低次插值

例2、例4表明，適當(dāng)?shù)靥岣卟逯刀囗検降拇螖?shù)，有可能提高計算結(jié)果的準確程度。但是決不可由此提出結(jié)論，認為插值多項式的次數(shù)越高越好。例如，對函數(shù)

先以為節(jié)點作五次插值多項式P5(x)，再以

為節(jié)點作十次插值多項式P10(x)，并將曲線描繪在同一坐標系中，如圖2-5所示。

26105

-101xy

1y=1/(1+25x2)y=P5(x)圖2-5y=P10(x)27-10106

這種分段低次插值叫分段線性插值。在幾何上就是用折線代替曲線，如圖2-6所示。故分段線性插值又稱折線插值.

xy=f(x)yox0x1xnx2圖2-628xy=f(x)yox0x1xnx2圖2-6107

類似地，為求的近似值，也可選取距點最近的三個節(jié)點

進行二次插值，即取這種分段低次插值叫分段二次插值。在幾何上就是用分段拋物線代替曲線，故分段二次插值又稱分段拋物插值。為了保證是距點最近的三個節(jié)點，（4.2）中的可通過下面方法確定:（4.2）29類似地，為求的近似值108Neville逐步插值方法通過兩點插值逐步生成多點插值的方法兩點插值30Neville逐步插值方法通過兩點插值逐步生成多點插值的109三點插值：由兩個兩點插值（x0,y0）(x1,y1)與（x1,y1）(x2,y2)31三點插值：由兩個兩點插值（x0,y0）(x1,y1)與（110多點Neville插值32多點Neville插值曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件2222曲線插值和曲線擬合課件Hermite插值在節(jié)點處已知函數(shù)值和導(dǎo)數(shù)值Hermite插值在節(jié)點處已知函數(shù)值和導(dǎo)數(shù)值兩點三次Hermite插值兩點三次Hermite插值曲線插值和曲線擬合課件兩點三次Hermite插值誤差分析兩點三次Hermite插值誤差分析例子P26~p29例子P26~p29曲線插值和曲線擬合課件三次樣條插值

分段低階插值，收斂性好，但光滑性不夠理想。在工業(yè)設(shè)計中，對曲線光滑性要求高，如：流線型設(shè)想這樣一曲線：插值，次數(shù)不高于3次，整個曲線2階連續(xù)導(dǎo)數(shù)，稱為三次樣條函數(shù)插值。三次樣條插值分段低階插值，收斂性好，但光滑性不夠每個小區(qū)間不高于3次，有4n個未知數(shù)，我們的已知條件如下：共3n-3+n+1=4n-2個條件每個小區(qū)間不高于3次，有4n個未知數(shù)，我們的已知條件如下：共曲線插值和曲線擬合課件曲線插值和曲線擬合課件曲線插值和曲線擬合課件給定端點彎距值給定端點彎距值給定端點轉(zhuǎn)角值給定端點轉(zhuǎn)角值136曲線擬合的最小二乘法

§1引言

§2什么是最小二乘法

§3最小二乘解的求法

58137曲線擬合的最小二乘法

§1引言

在科學(xué)實驗和生產(chǎn)實踐中，經(jīng)常要從一組實驗數(shù)據(jù)出發(fā)，尋求函數(shù)y=f(x)的一個近似表達式y(tǒng)=φ（x）（稱為經(jīng)驗公式）。從幾何上，就是希望根據(jù)給出的m個點，求曲線y=f(x)的一條近似曲線y=φ（x）。因此，這是一個曲線擬合的問題。多項式插值雖然在一定程度上解決了由函數(shù)表求函數(shù)的近似表達式問題，但用它來解決這里提出的問題，有明顯缺陷。首先，實驗提供的數(shù)據(jù)通常帶有測試誤差。如要求近似曲線y=φ（x）嚴格地通過所給的每個數(shù)據(jù)點，就會使曲線保持原有的測試誤差。當(dāng)個別數(shù)據(jù)的誤差較大時，插值效果顯然是不理想的。其次，由實驗提供的數(shù)據(jù)往往較多（即m較大），用插值法得到的近似表達式，明顯地缺乏實用價值。59曲線擬合的最小二乘法138因此，怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類φ中尋求一個“最好”的函數(shù)φ（x）來擬合這組數(shù)據(jù)，是一個值得討論的問題。隨著擬合效果“好”、“壞”標準的不同，解決此類問題的方法也不同。這里介紹一種最常用的曲線擬合方法，即最小二乘法。?！?什么是最小二乘法

如前所述，在一般情況下，我們不能要求近似曲線y=f（x）嚴格地通過所有數(shù)據(jù)點，亦即不能要求所有擬合曲線函數(shù)在xi處的偏差（亦稱殘差）都嚴格地趨于零。但是，為了使近似曲線盡量反映所給數(shù)據(jù)點的變化趨勢，要求∣δi∣都較小還是需要的。達到這一目標的途徑很多，常見的有：

(1)選取φ（x），使偏差絕對值之和最小，即

(2.1)60因此，怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類φ中尋求一個139(2)

選取φ（x），使偏差最大絕對值最小，即

(2.2)(3)選取φ（x），使偏差平方和最小，即

(2.3)

為了方便計算、分析與應(yīng)用，我們較多地根據(jù)“偏差平方和最小”的原則（稱為最小二乘原則）來選取擬合曲線y=φ（x）按最小二乘原則選擇擬合曲線的方法，稱為最小二乘法。本章要著重討論的線性最小二乘問題，其基本提法是：對于給定數(shù)據(jù)表

x x1x2…xm

y y1y2…ym

61(2)

選取φ（x），使偏差最大絕對值140要求在某個函數(shù)類（其中n<m）中尋求一個函數(shù)

(2.4)使φ*(x)滿足條件

(2.5)

式中是函數(shù)類中任一函數(shù)。

滿足關(guān)系式（2.5）的函數(shù)，稱為上述最小二乘問題的最小二乘解。由上可知，用最小二乘法解決實際問題包含兩個基本環(huán)節(jié)：先根據(jù)所給數(shù)據(jù)點的變化趨勢與問題的實際背景確定函數(shù)類,即確定所具有的形式；然后按最小二乘法原則（2.3）求取最小二乘解，即確定其系數(shù)。62要求在某個函數(shù)類141§3最小二乘解的求法由最小二乘解（2.4）應(yīng)滿足條件（2.5）知，點是多元函數(shù)的極小點，從而滿足方程組即63§3最小二乘解的求法142亦即

若對任意的函數(shù)h(x)和g(x)，引入記號

則上述方程組可以表示成

寫成矩陣形式即

(3.1)(3.2)64亦即(3.1)(3.2)143

方程組(3.2)稱為法方程組。當(dāng)線性無關(guān)時，可以證明它有唯一解并且相應(yīng)的函數(shù)(2.4)就是滿足條件(2.5)的最小二乘解。綜上分析可得

定理1

對任意給定的一組實驗數(shù)據(jù)(其中互異),在函數(shù)類(線性無關(guān)）中,存在唯一的函數(shù)使得關(guān)系式(2.5)成立，并且其系數(shù)可以通過解方程組(3.2)得到。作為曲線擬合的一種常用的情況，若討論的是代數(shù)多項式擬合，即取

則由(3.1)知65方程組(3.2)稱為法方程組。當(dāng)144故相應(yīng)的法方程組為

(3.3)66(3.3)145例1

某種鋁合金的含鋁量為，其熔解溫度為c，由實驗測得與的數(shù)據(jù)如表3-1左邊三列。使用最小二乘法建立與之間的經(jīng)驗公式。解

根據(jù)前面的討論，解決問題的過程如下：

（1）

將表中給出的數(shù)據(jù)點描繪在坐標紙上，如圖3-1所示。

`

（2）

確定擬合曲線的形式。由圖3-1可以看出，六個點位于一條直線的附近，故可以選用線性函數(shù)（直線）來擬合這組實驗數(shù)據(jù)，即令180圖3-1y30026022030507090x67例1某種鋁合金的含鋁量為，其熔解溫146

其中a,b為待定常數(shù)。（3）建立法方程組。由于問題歸結(jié)為一次多項式擬合問題，故由

(3.3)知，相應(yīng)的法方程組形如經(jīng)過計算（表3-1）即得確定待定系數(shù)a，b的法方程組

（4）解法方程(3.5)得a=95.3524,b=2.2337

代入(3.4)即得經(jīng)驗公式

y=95.3524+2.2337x(3.4)(3.5)(3.6)68(3.4)(3.5)(3.6)147

i136.91811361.616678.9246.71972180.899199.9363.72354057.6914969.5477.82706052.8421006.0584.02837056.0023772.0687.52927656.2525550.0396.6145828365.28101176.3表3-169 i136.148

所得經(jīng)驗公式能否較好地反映客觀規(guī)律,還需通過實踐來檢驗.由(3.6)式算出的函數(shù)值(稱為擬合值)與實際值有一定的偏差。由表3-2可以看出，偏差的平方和

，其平方根（稱為均方誤差）在一定程度上反映了所得經(jīng)驗公式的好壞。同時，由表3-2還可以看出，最大偏差.

如果認為這樣的誤差都允許的話，就可以用經(jīng)驗公式(3.6)來計算含鋁量在36.9~87.5%之間的溶解度。否則，就要用改變函數(shù)類型或者增加實驗數(shù)據(jù)等方法來建立新的經(jīng)驗公式。例2

在某化學(xué)放應(yīng)里，測得生成物的濃度y%與時間t的數(shù)據(jù)表見表3-3，是用最小二乘法建立t與y的經(jīng)驗公式。解

將已知數(shù)