ch03函數(shù)逼近與最小二乘法

第三章

函數(shù)逼近與曲線擬合

Approximationtheoryoffunctions

andcurvefitting函數(shù)逼近

問(wèn)題

數(shù)值計(jì)算中經(jīng)常要計(jì)算函數(shù)值，如計(jì)算機(jī)中計(jì)算基本初等函數(shù)及其他特殊函數(shù)；(連續(xù)情形)

當(dāng)函數(shù)只在有限點(diǎn)集上給定函數(shù)值，要在包含該點(diǎn)集的區(qū)間上用公式給出函數(shù)的簡(jiǎn)單表達(dá)式.(離散情形)

這些都涉及到在已知區(qū)間上用簡(jiǎn)單函數(shù)逼近已知復(fù)雜函數(shù)或未知函數(shù)的問(wèn)題，這就是函數(shù)逼近問(wèn)題函數(shù)逼近對(duì)于離散情形，插值法是一種逼近方法。由觀測(cè)得到的實(shí)驗(yàn)數(shù)據(jù)不可避免地帶有誤差，甚至是較大的誤差，此時(shí)要求近似函數(shù)P(x)過(guò)全部已知點(diǎn)，相當(dāng)于保留全部數(shù)據(jù)誤差，所以使用插值法不適合。對(duì)于連續(xù)情形，Taylor展開(kāi)式是一種逼近方法。但其是局部逼近，當(dāng)遠(yuǎn)離展開(kāi)點(diǎn)時(shí)誤差會(huì)很大。目的尋求一種整體逼近的方法，且能反映整體誤差

最佳逼近問(wèn)題

具體問(wèn)題可以表達(dá)為最常見(jiàn)的兩種度量標(biāo)準(zhǔn)

一致逼近（均勻逼近）連續(xù)情形：以度量整體誤差離散情形：以度量整體誤差平方逼近（均方逼近）連續(xù)情形：

以度量整體誤差離散情形：以度量整體誤差預(yù)備知識(shí)線性空間、線性相關(guān)、線性無(wú)關(guān)基、維數(shù)、有限維空間與無(wú)限維空間常見(jiàn)線性空間：Rn、Hn、C[a,b]、Cm[a,b]賦范線性空間C[a,b]2-范數(shù)：-范數(shù)：1-范數(shù)：線性空間C[a,b]

，f(x)C[a,b]

，等號(hào)當(dāng)且僅當(dāng)u=0時(shí)成立內(nèi)積空間Innerproductspace內(nèi)積空間設(shè)X是數(shù)域K(R或C)上的線性空間，對(duì)

u,v

X有K中的一個(gè)數(shù)(u,v)

與之對(duì)應(yīng)，且滿(mǎn)足

稱(chēng)(u,v)為X

上的內(nèi)積，定義了內(nèi)積的線性空間稱(chēng)為內(nèi)積空間

u,v

正交(u,v)=0內(nèi)積空間的性質(zhì)定理設(shè)

X是一個(gè)內(nèi)積空間，對(duì)

u,v

X有Cauchy-Schwarz不等式定理設(shè)

X是內(nèi)積空間，u1,u2,,un

X，定義矩陣則G

非奇異當(dāng)且僅當(dāng)

u1,u2,,un線性無(wú)關(guān)。Gram矩陣幾種內(nèi)積空間內(nèi)積導(dǎo)出范數(shù)：例：Rn上的內(nèi)積：導(dǎo)出的范數(shù)為加權(quán)內(nèi)積給定正實(shí)數(shù)1,2,,n,定義正實(shí)數(shù)

1,2,,n

稱(chēng)為加權(quán)系數(shù)例：Cn上的內(nèi)積：加權(quán)內(nèi)積1,2,,n

為正實(shí)數(shù)例：C[a,b]

上的內(nèi)積：幾種內(nèi)積空間權(quán)函數(shù)權(quán)函數(shù)設(shè)(x)

是[a,b]

上的非負(fù)函數(shù)，滿(mǎn)足，存在且為有限值對(duì)[a,b]

上的任意非負(fù)連續(xù)函數(shù)g(x)，則稱(chēng)(x)

是[a,b]

上一個(gè)權(quán)函數(shù)

[a,b]

可以是無(wú)限區(qū)間，即a,b可以是無(wú)窮大權(quán)函數(shù)與定義區(qū)間有關(guān)若，則(k=0,1,2,…)常見(jiàn)的權(quán)函數(shù)常見(jiàn)的權(quán)函數(shù)帶權(quán)內(nèi)積帶權(quán)內(nèi)積設(shè)(x)

是[a,b]

上的權(quán)函數(shù)，f(x),

g(x)

C[a,b]導(dǎo)出范數(shù)性質(zhì)設(shè)0,1,,nC[a,b]，則0,1,,n線性無(wú)關(guān)當(dāng)且僅當(dāng)det(G)0，其中正交函數(shù)族定義

設(shè)f(x),

g(x)C[a,b]，(x)是[a,b]上的權(quán)函數(shù)，若則稱(chēng)f(x)

與g(x)

在[a,b]

上帶權(quán)(x)正交定義若函數(shù)族0(x),1(x),,n(x)C[a,b]滿(mǎn)足則稱(chēng){k(x)}

是[a,b]

上帶權(quán)(x)的正交函數(shù)族若所有Ak=1

，則稱(chēng)為標(biāo)準(zhǔn)正交函數(shù)族

Orthogonalfunctions舉例例：三角函數(shù)系

1，cosx，sinx，sin2x，cos2x，…在[-,]

上是帶權(quán)(x)=1

的正交函數(shù)族證：(m,n=1,2,3,…)(m,n=0,1,2,…)正交多項(xiàng)式定義設(shè)n(x)

是首項(xiàng)系數(shù)不為0的n次多項(xiàng)式，若則稱(chēng)為[a,b]

上帶權(quán)(x)

正交稱(chēng)n(x)

為n

次正交多項(xiàng)式Orthogonalpolynomials正交多項(xiàng)式的構(gòu)造Gram-Schmidt正交化方法

給定區(qū)間[a,b]及權(quán)函數(shù)ρ(x),均可由一族線性無(wú)關(guān)的冪函數(shù)得到正交多項(xiàng)式{1,x,…,xn,…}設(shè)是[a,b]

上帶權(quán)(x)的正交多項(xiàng)式族，則n(x)在(a,b)內(nèi)有n

個(gè)不同的零點(diǎn)性質(zhì)1正交多項(xiàng)式的性質(zhì)性質(zhì)2設(shè)是[a,b]

上帶權(quán)(x)的正交多項(xiàng)式族，則對(duì)p(x)Hn-1，有性質(zhì)3設(shè)是首項(xiàng)系數(shù)為1的正交多項(xiàng)式族，則有其中0(x)=1,1(x)=x，，正交多項(xiàng)式Legendre多項(xiàng)式

Chebyshev多項(xiàng)式第二類(lèi)Chebyshev多項(xiàng)式

Laguerre多項(xiàng)式

Hermite多項(xiàng)式幾類(lèi)重要的正交多項(xiàng)式Legendre多項(xiàng)式

Pn(x)

的首項(xiàng)xn的系數(shù)為：Legendre多項(xiàng)式在[-1,1]

上帶權(quán)(x)=1

的正交多項(xiàng)式稱(chēng)為勒讓德多項(xiàng)式x[-1,1]，n=1,2,…記號(hào)：P0,P1,P2,...

則是首項(xiàng)系數(shù)為1的勒讓德多項(xiàng)式令Legendre多項(xiàng)式勒讓德多項(xiàng)式有以下性質(zhì)：(1)正交性：(3)遞推公式：其中

P0(x)=1,P1(x)=x，n=1,2,…

(4)Pn(x)

在(-1,1)內(nèi)有n

個(gè)不同的零點(diǎn)(2)奇偶性：(5)P2n(x)只含偶次冪，P2n+1(x)只含奇次冪Legendre多項(xiàng)式切比雪夫多項(xiàng)式Chebyshevpolynomials在[-1,1]

上帶權(quán)的正交多項(xiàng)式函數(shù)逼近記Hn為所有次數(shù)不超過(guò)n

的多項(xiàng)式組成的集合，給定函數(shù)f(x)C[a,b]，若P*(x)Hn

使得則稱(chēng)P*(x)為f(x)在C[a,b]上的最佳逼近多項(xiàng)式最佳逼近取不同的范數(shù)，就可以定義不同的最佳逼近方式函數(shù)逼近最佳平方逼近最佳一致逼近曲線擬合能否找到一個(gè)簡(jiǎn)單易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些點(diǎn)的函數(shù)值：xx0x1…xmf(x)y0y1…ym但是

m

通常很大

yi

本身是測(cè)量值，不準(zhǔn)確，即yi

f(xi)

這時(shí)不要求p(xi)=yi,而只要

p(xi)yi總體上盡可能小

Curve-fitting

使最小

使最小曲線擬合

p(xi)yi總體上盡可能小

使最小

常見(jiàn)做法太復(fù)雜不可導(dǎo)，求解困難最小二乘法：目前最好的多項(xiàng)式曲線擬合算法最小二乘曲線擬合的最小二乘問(wèn)題這個(gè)問(wèn)題實(shí)質(zhì)上是最佳平方逼近問(wèn)題的離散形式。

可以將求連續(xù)函數(shù)的最佳平方逼近函數(shù)的方法直接用于求解該問(wèn)題。已知函數(shù)值表(

xi,yi

)，在函數(shù)空間

中求S*(x)

，使得其中i

是點(diǎn)xi處的權(quán)。LinearleastsquaresApproximation注最小二乘問(wèn)題中，如何選擇數(shù)學(xué)模型很重要，即如何選取函數(shù)空間=span{0,1,,n}，通常需要根據(jù)物理意義，或所給數(shù)據(jù)的分布情況來(lái)選取合適的數(shù)學(xué)模型。最小二乘求解對(duì)任意S(x)

=span{0,1,,n}，可設(shè)

S(x)=a00+a11+···+

ann(x)則求S*(x)等價(jià)于求下面的多元函數(shù)的最小值點(diǎn)k=0,1,…,n最小值點(diǎn)最小二乘求解(k=0,1,…,n)這里的內(nèi)積是離散帶權(quán)內(nèi)積，即，法方程G法方程N(yùn)ormalequations最小二乘求解法方程存在唯一解det(G)0Haar條件0,1,,n的任意線性組合在點(diǎn)集x0,x1,,xm上至多只有n

個(gè)不同的零點(diǎn)，則稱(chēng)0,1,,n

在點(diǎn)集x0,x1,,xm上滿(mǎn)足Haar條件0,1,,n線性無(wú)關(guān)mn若0,1,,n

C[a,b]

在點(diǎn)集x0,x1,,xm上滿(mǎn)足Haar條件，則法方程的解存在唯一法方程的另一種形式舉例例：給定函數(shù)值表，求f(x)的最小二乘擬合函數(shù)S*(x)

i123456789

13456789101054211234解：將所給數(shù)據(jù)點(diǎn)畫(huà)在坐標(biāo)紙上，如圖可以看出即有這些點(diǎn)大致在一條拋物線上。設(shè)擬合曲線方程為相應(yīng)的正規(guī)方程組為于是可得因而所求擬合多項(xiàng)式為

多項(xiàng)式擬合＝Hn=span{1,x,...,xn},即i=xi,

則相應(yīng)的法方程為此時(shí)

為

f(x)的n

次最小二乘擬合多項(xiàng)式多項(xiàng)式最小二乘曲線擬合舉例例：求下面數(shù)據(jù)表的二次最小二乘擬合多項(xiàng)式得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：設(shè)二次擬合多項(xiàng)式為解得所以此組數(shù)據(jù)的二次最小二乘擬合多項(xiàng)式為(1)

若題目中沒(méi)有給出各點(diǎn)的權(quán)值i，默認(rèn)為i=1

(2)該方法不適合n

較大時(shí)的情形（病態(tài)問(wèn)題）正交多項(xiàng)式擬合帶權(quán)正交（離散情形）給定點(diǎn)集以及各點(diǎn)的權(quán)系數(shù)，如果函數(shù)族滿(mǎn)足則稱(chēng)關(guān)于點(diǎn)集帶權(quán)正交若0,1,,n是多項(xiàng)式，則可得正交多項(xiàng)式族正交多項(xiàng)式擬合用正交多項(xiàng)式做最小二乘設(shè)多項(xiàng)式

p0,p1,,pn關(guān)于點(diǎn)集x0,x1,,xm帶權(quán)0,1,,m正交，則f(x)

在Hn

中的最小二乘擬合多項(xiàng)式為其中k=0,1,…,n誤差離散形式的2-范數(shù)正交多項(xiàng)式的構(gòu)造給定和權(quán)系數(shù)，如何構(gòu)造正交多項(xiàng)式族可以證明：關(guān)于點(diǎn)集帶權(quán)正交三項(xiàng)遞推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)幾點(diǎn)注記可以將構(gòu)造正交多項(xiàng)式族、解法方程、形成擬合多項(xiàng)式穿插進(jìn)行；

n可以事先給定，或在計(jì)算過(guò)程中根據(jù)誤差來(lái)決定；該方法非常適合編程實(shí)現(xiàn)，只用遞推公式，并且當(dāng)逼近次數(shù)增加時(shí)，只要將相應(yīng)地增加程序中的循環(huán)次數(shù)即可。該方法是目前多項(xiàng)式擬合最好的計(jì)算方法，有通用程序。舉例例：給定數(shù)據(jù)點(diǎn)及權(quán)系數(shù)，求二次最小二乘擬合多項(xiàng)式xi00.50.60.70.80.91.0yi1.001.751.962.192.442.713.00i1111111解：通過(guò)直接計(jì)算，可得Matlab正交多項(xiàng)式最小二乘擬合函數(shù):polyfit(x,y,n)Matlab曲線擬合工具箱：cftool超定線性方程組求解

最小二乘法實(shí)際上源于對(duì)超定線性方程組求解超定線性方程組指方程個(gè)數(shù)大于未知量個(gè)數(shù)，其一般沒(méi)有解，也稱(chēng)矛盾線性方程組超定線性方程組的解指的是盡量使得每組方程近似成立的一組值最小二乘法可用于這類(lèi)方程超定線性方程組的最小二乘解等價(jià)如下形式非線性最小二乘有時(shí)需要其它函數(shù)，如，等擬合給定的數(shù)據(jù)，這時(shí)建立的法方程是一個(gè)非線性方程組，稱(chēng)這類(lèi)擬合問(wèn)題為非線性最小二乘問(wèn)題。xi1.001.251.501.752.00yi5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi0.61.11.61.82.01.91.71.3例：用指數(shù)函數(shù)擬合下面的數(shù)據(jù)例：用函數(shù)擬合表中的數(shù)據(jù)可化為線性擬合問(wèn)題的常見(jiàn)函數(shù)類(lèi)擬合函數(shù)類(lèi)型 變量代換 化成的擬合函數(shù)對(duì)于一些較特殊的非線性擬合函數(shù)類(lèi)型，可以通過(guò)適當(dāng)?shù)淖兞看鷵Q后化為線性最小二乘問(wèn)題

非線性擬合舉例在某化學(xué)反應(yīng)里，根據(jù)實(shí)驗(yàn)所得生成物的濃度與時(shí)間關(guān)系數(shù)據(jù)見(jiàn)下表，求濃度y與時(shí)間t的擬合曲線y=F(t)：

ti12345678yi(*10-3)4.006.408.08.809.229.509.709.86ti910111213141516yi(*10-3)10.010.210.3210.4210.5210.5510.5810.6061086422yx1816141210840將數(shù)據(jù)標(biāo)在坐標(biāo)紙上如圖（1）取擬合函數(shù)為雙曲型

可見(jiàn)y關(guān)于參數(shù)a,b是非線性的為確定a,b可令：

則擬合函數(shù)化為y=a+bt，而將數(shù)據(jù)(ti,yi)相應(yīng)地變?nèi)缦卤恚簍i11/21/31/41/51/61/71/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434（2）取擬合函數(shù)為指數(shù)型

同擬合函數(shù)為雙曲線型過(guò)程類(lèi)似，先由(ti,yi)算出相應(yīng)的(ti,yi)，然后進(jìn)行多項(xiàng)式擬合，解得a=4.48072,b=1.05669，從而得a=ea=1.13253×10－2，所以擬合函數(shù)：一般可通過(guò)比較擬合函數(shù)與所給數(shù)據(jù)誤差大小來(lái)確定?？梢?jiàn)y=F2(t)的誤差比較小，用它作為擬合曲線更好。

最佳平方逼近設(shè)f(