曲線擬合的最小二乘法

關(guān)于曲線擬合的最小二乘法第一頁(yè)，共四十六頁(yè)，2022年，8月28日曲線擬合問(wèn)題:

(建立試驗(yàn)數(shù)據(jù)的模型)

在實(shí)際應(yīng)用中，往往并不需要曲線通過(guò)給定的數(shù)據(jù)點(diǎn)，而只要求用曲線(函數(shù))近似代替給定的列表函數(shù)時(shí)，其

誤差在某種度量意義下最小。函數(shù)逼近問(wèn)題:

(連續(xù)函數(shù)的逼近)

在實(shí)際應(yīng)用中常需為解析式子比較復(fù)雜的函數(shù)尋找一個(gè)簡(jiǎn)單函數(shù)來(lái)近似代替它，并要求其誤差在某種度量意義下最小?？山y(tǒng)稱為最佳逼近問(wèn)題§

3.1擬合與逼近問(wèn)題第二頁(yè)，共四十六頁(yè)，2022年，8月28日一.問(wèn)題的提出插值法是使用插值多項(xiàng)式來(lái)逼近未知或復(fù)雜函數(shù)的，它要求插值函數(shù)與被插函數(shù)在插值節(jié)點(diǎn)上函數(shù)值相同，而在其他點(diǎn)上沒有要求。在非插值節(jié)點(diǎn)上有時(shí)函數(shù)值會(huì)相差很大。若要求在被插函數(shù)的定義區(qū)間上都有較好的近似，就是最佳逼近問(wèn)題。必須找到一種度量標(biāo)準(zhǔn)來(lái)衡量什么是最佳逼近.第三頁(yè)，共四十六頁(yè)，2022年，8月28日

最佳一致逼近是在函數(shù)空間M中選P(x)滿足

但由于絕對(duì)值函數(shù)不宜進(jìn)行分析運(yùn)算，常替之以來(lái)討論，于是最佳逼近問(wèn)題變?yōu)樽罴哑椒奖平鼏?wèn)題這即為連續(xù)函數(shù)的最佳平方逼近.對(duì)于離散的問(wèn)題，最佳平方逼近問(wèn)題為:就是常說(shuō)的曲線擬合的最小二乘法.

最佳逼近第四頁(yè)，共四十六頁(yè)，2022年，8月28日二.預(yù)備知識(shí)內(nèi)積:第五頁(yè)，共四十六頁(yè)，2022年，8月28日常采用的內(nèi)積與范數(shù)第六頁(yè)，共四十六頁(yè)，2022年，8月28日第七頁(yè)，共四十六頁(yè)，2022年，8月28日第八頁(yè)，共四十六頁(yè)，2022年，8月28日1.正交函數(shù)族與正交多項(xiàng)式

定義1

若f(x),g(x)∈C[a,b],ρ(x)為[a,b]上的權(quán)函數(shù)且滿足:

則稱f(x)與g(x)在[a,b]上帶權(quán)ρ(x)正交。

正交多項(xiàng)式

第九頁(yè)，共四十六頁(yè)，2022年，8月28日若函數(shù)族ψ0(x),ψ1(x),…,ψn(x),…滿足關(guān)系

則稱{ψk(x)}是[a,b]上帶權(quán)ρ(x)的正交函數(shù)族。

例如，三角函數(shù)族

1,cosx,sinx,cos2x,sin2x,…

就是在區(qū)間[-π,π]上的正交函數(shù)族。

第十頁(yè)，共四十六頁(yè)，2022年，8月28日定義2

設(shè)ψn(x)是[a,b]上首項(xiàng)系數(shù)an≠0的n次多項(xiàng)式,ρ(x)為[a,b]上權(quán)函數(shù)，如果多項(xiàng)式序列

滿足關(guān)系式:

則稱為多項(xiàng)式序列

為在[a,b]上帶權(quán)ρ(x)正交，稱ψn(x)為[a,b]上帶權(quán)ρ(x)的n次正交多項(xiàng)式。

第十一頁(yè)，共四十六頁(yè)，2022年，8月28日

只要給定區(qū)間[a,b]及權(quán)函數(shù)ρ(x),均可由一族線性無(wú)關(guān)的冪函數(shù)

{1,x,…,xn,…}

利用逐個(gè)正交化手續(xù)(Gram-Schmidt正交化方法)：構(gòu)造出正交多項(xiàng)式序列

。第十二頁(yè)，共四十六頁(yè)，2022年，8月28日2.勒讓德多項(xiàng)式

定義3

當(dāng)區(qū)間為[-1,1],權(quán)函數(shù)ρ(x)≡1時(shí),由{1,x,…,xn,…}正交化得到的多項(xiàng)式就稱為勒讓德

(Legendre)多項(xiàng)式,并用P0(x),P1(x)，…，Pn(x)，…

表示。這是勒讓德于1785年引進(jìn)的。1814年羅德利克(Rodrigul)給出了簡(jiǎn)單的表達(dá)式：

第十三頁(yè)，共四十六頁(yè)，2022年，8月28日

由于(x2-1)n

是2n次多項(xiàng)式，求n階導(dǎo)數(shù)后得到

于是得首項(xiàng)xn的系數(shù)顯然最高項(xiàng)系數(shù)為1的勒讓德多項(xiàng)式為:

第十四頁(yè)，共四十六頁(yè)，2022年，8月28日勒讓德多項(xiàng)式有下述幾個(gè)重要性質(zhì)：性質(zhì)1.

正交性性質(zhì)2.奇偶性

pn(-x)=(-1)npn(x)

性質(zhì)3.遞推關(guān)系

(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,……)(*)

由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表達(dá)式:

第十五頁(yè)，共四十六頁(yè)，2022年，8月28日性質(zhì)4.

pn(x)

在區(qū)間[-1，1]內(nèi)有n個(gè)不同的實(shí)零點(diǎn)。

第十六頁(yè)，共四十六頁(yè)，2022年，8月28日實(shí)例：考察某種纖維的強(qiáng)度y與其拉伸倍數(shù)x的關(guān)系，下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)的拉伸倍數(shù)的記錄:一.實(shí)例講解3.2曲線擬合(最小二乘法)第十七頁(yè)，共四十六頁(yè)，2022年，8月28日纖維強(qiáng)度隨拉伸倍數(shù)增加而增加并且24個(gè)點(diǎn)大致分布在一條直線附近---------(1)第十八頁(yè)，共四十六頁(yè)，2022年，8月28日必須找到一種度量標(biāo)準(zhǔn)來(lái)衡量什么曲線最接近所有數(shù)據(jù)點(diǎn).二、問(wèn)題的提法第十九頁(yè)，共四十六頁(yè)，2022年，8月28日定義平方誤差(偏差平方和):第二十頁(yè)，共四十六頁(yè)，2022年，8月28日我們選取的度量標(biāo)準(zhǔn)是---------(2)---------(3)使得第二十一頁(yè)，共四十六頁(yè)，2022年，8月28日第二十二頁(yè)，共四十六頁(yè)，2022年，8月28日三、法方程組由可知因此可假設(shè)因此求最小二乘解轉(zhuǎn)化為二次函數(shù)第二十三頁(yè)，共四十六頁(yè)，2022年，8月28日由多元函數(shù)取極值的必要條件得即第二十四頁(yè)，共四十六頁(yè)，2022年，8月28日---------(4)即第二十五頁(yè)，共四十六頁(yè)，2022年，8月28日引入記號(hào)則由內(nèi)積的概念可知---------(5)---------(6)顯然內(nèi)積滿足交換律第二十六頁(yè)，共四十六頁(yè)，2022年，8月28日方程組(4)便可化為---------(7)將其表示成矩陣形式-----(8)第二十七頁(yè)，共四十六頁(yè)，2022年，8月28日并且其系數(shù)矩陣為對(duì)稱陣.根據(jù)Cramer法則,法方程組有唯一解第二十八頁(yè)，共四十六頁(yè)，2022年，8月28日即是的最小值所以因此第二十九頁(yè)，共四十六頁(yè)，2022年，8月28日作為一種簡(jiǎn)單的情況,基函數(shù)之間的內(nèi)積為平方誤差第三十頁(yè)，共四十六頁(yè)，2022年，8月28日例1.回到本節(jié)開始的實(shí)例，從散點(diǎn)圖可以看出纖維強(qiáng)度和拉伸倍數(shù)之間近似與線性關(guān)系故可選取線性函數(shù)為擬合函數(shù)，其基函數(shù)為建立法方程組根據(jù)內(nèi)積公式，可得第三十一頁(yè)，共四十六頁(yè)，2022年，8月28日法方程組為解得平方誤差為第三十二頁(yè)，共四十六頁(yè)，2022年，8月28日擬合曲線與散點(diǎn)的關(guān)系如右圖:第三十三頁(yè)，共四十六頁(yè)，2022年，8月28日四、加權(quán)最小二乘法各點(diǎn)的重要性可能是不一樣的權(quán):即權(quán)重或者密度，統(tǒng)稱為權(quán)系數(shù).

定義加權(quán)平方誤差為-----(9)第三十四頁(yè)，共四十六頁(yè)，2022年，8月28日使得第三十五頁(yè)，共四十六頁(yè)，2022年，8月28日由多元函數(shù)取極值的必要條件得即第三十六頁(yè)，共四十六頁(yè)，2022年，8月28日引入記號(hào)定義加權(quán)內(nèi)積-----(10)第三十七頁(yè)，共四十六頁(yè)，2022年，8月28日矩陣形式(法方程組)為方程組(10)式化為-----(11)---(12)第三十八頁(yè)，共四十六頁(yè)，2022年，8月28日平方誤差為作為特殊情形,用多項(xiàng)式作擬合函數(shù)的法方程組為-----(13)第三十九頁(yè)，共四十六頁(yè)，2022年，8月28日五、最小二乘原理的其他應(yīng)用1、算術(shù)平均：最小二乘意義下誤差最小2、超定方程組的最小二乘解

P103例第四十頁(yè)，共四十六頁(yè)，2022年，8月28日

3.3連續(xù)函數(shù)的最佳平方逼近1.最佳平方逼近問(wèn)題-----(14)第四十一頁(yè)，共四十六頁(yè)，2022年，8月28日2.解法(法方程)-----(15)第四十二頁(yè)，共四十六頁(yè)，2022年，8月28日第四十三頁(yè)，共四十六頁(yè)，2022年，8月28日第四十四頁(yè)，共四十六頁(yè)，2022年，8月28日最小二乘法方法評(píng)注