稱(chēng)為曲線擬合的最小二乘法課件

曲線擬合曲線擬合1主要內(nèi)容背景及應(yīng)用1在故障診斷中的應(yīng)用3基本原理及實(shí)現(xiàn)方法2總結(jié)及展望4參考文獻(xiàn)5主要內(nèi)容背景及應(yīng)用1在故障21、背景及應(yīng)用理論上，可以根據(jù)插值原則構(gòu)造n次多項(xiàng)式Pn(x),使其正好通過(guò)實(shí)測(cè)點(diǎn)。實(shí)際情況，為盡量反應(yīng)真實(shí)情況，需要數(shù)目很多的采樣點(diǎn)。這樣，會(huì)造成插值多項(xiàng)式次數(shù)很高，增大計(jì)算量，影響函數(shù)逼近程度。并且差值多項(xiàng)式需要經(jīng)過(guò)每一個(gè)測(cè)試點(diǎn)，這樣會(huì)保留測(cè)量誤差，影響函數(shù)逼近精度。在許多領(lǐng)域中,常常需要根據(jù)實(shí)際測(cè)試所得到的一系列數(shù)據(jù),求出變量間的函數(shù)關(guān)系。因此,我們一般根據(jù)已知實(shí)際測(cè)試樣點(diǎn),找出被測(cè)試量之間的函數(shù)關(guān)系,使得找出的近似函數(shù)曲線能夠充分反映實(shí)際測(cè)試量之間的關(guān)系,這就是曲線擬合。1、背景及應(yīng)用實(shí)際情況，為盡量反應(yīng)真實(shí)情況，需要數(shù)目很多的采31、背景及應(yīng)用由于通過(guò)曲線擬合方法能將實(shí)際試驗(yàn)測(cè)試數(shù)據(jù)轉(zhuǎn)化成合乎誤差要求的近似曲線、函數(shù)解析式，它被廣泛應(yīng)用于圖像處理、逆向工程、計(jì)算機(jī)輔助設(shè)計(jì)，以及測(cè)試數(shù)據(jù)的處理分析等領(lǐng)域。1、背景及應(yīng)用由于通過(guò)曲線擬合方法能將實(shí)際試驗(yàn)測(cè)試數(shù)42、基本原理及實(shí)現(xiàn)方法2.1曲線擬合的定義曲線擬合，是指求取一個(gè)函數(shù)解析式y(tǒng)=f(x,c)，使其通過(guò)或者近似通過(guò)有限的試驗(yàn)數(shù)據(jù)對(duì)(xi,yi)(i=1,2,…,n)，從而實(shí)現(xiàn)用擬合曲線方程來(lái)分析變量之間的關(guān)系。其中，c=(c0,c1,…,cm),為曲線方程的待定參數(shù)。2、基本原理及實(shí)現(xiàn)方法2.1曲線擬合的定義曲線擬合，是指求52、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法實(shí)現(xiàn)曲線擬合的方法有很多，在實(shí)際應(yīng)用中需要針對(duì)不同的問(wèn)題采取不同的方法。有理論模型的曲線擬合無(wú)理論模型的曲線擬合有一定的背景資料、規(guī)律性強(qiáng)，只需要找出與背景資料相適應(yīng)的曲線方程。最常用的是最小二乘法。曲線擬合問(wèn)題規(guī)律性差、理論模型難以建立或不需要理論模型。這類(lèi)問(wèn)題一般采用幾何方法或者神經(jīng)網(wǎng)絡(luò)法實(shí)現(xiàn)曲線擬合。2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法實(shí)現(xiàn)曲線62、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法已知試驗(yàn)數(shù)據(jù)點(diǎn)（xi.yi）(i=1,2,…,n),假設(shè)實(shí)驗(yàn)數(shù)據(jù)點(diǎn)可以用線性模型擬合，解析式為：

y=β0+β1x+ε(1)其中，β0，β1是待求參數(shù)，誤差ε服從N(1,σ2)

將n個(gè)實(shí)驗(yàn)點(diǎn)分別帶入表達(dá)式（1）得到:yi=β0+β1xi+εi

根據(jù)最小二乘原理，擬合得到的參數(shù)應(yīng)使曲線與試驗(yàn)點(diǎn)之間的誤差的平方和達(dá)到最小，也就是使如下的目標(biāo)函數(shù)達(dá)到最?。?/p>

2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法已72、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法將試驗(yàn)點(diǎn)數(shù)據(jù)點(diǎn)入之后，求目標(biāo)函數(shù)的最值問(wèn)題就變成了求取使目標(biāo)函數(shù)對(duì)待求參數(shù)的偏導(dǎo)數(shù)為零時(shí)的參數(shù)值問(wèn)題，即：求解方程組，就能唯一地確定待求參數(shù)β0，β1的值，從而實(shí)現(xiàn)了曲線的最小二乘擬合。2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法將82、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法對(duì)于非線性模型，有的可以通過(guò)適當(dāng)?shù)臄?shù)學(xué)變換將其線性化，然后采用最小二乘法進(jìn)行擬合。常用的可以線性化的模型如下表所示：2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法對(duì)9實(shí)際問(wèn)題中，通過(guò)一組觀測(cè)數(shù)據(jù)，找出描述這些數(shù)據(jù)的規(guī)律，即構(gòu)造一條擬合曲線，反映所給數(shù)據(jù)點(diǎn)總的趨勢(shì)，以消除所給數(shù)據(jù)的局部誤差。問(wèn)題特點(diǎn)（xi,yi）,i=1,2,…,N,N很大yi本身為測(cè)量值，不準(zhǔn)確擬合函數(shù)f(x)沒(méi)有必要完全通過(guò)，所給的空間點(diǎn)，只需要ei=f(xi)-yi（殘差）總體上盡可能的小實(shí)際問(wèn)題中，通過(guò)一組觀測(cè)數(shù)據(jù)，找出描述這些數(shù)據(jù)的規(guī)律，即構(gòu)造10構(gòu)造擬合曲線的準(zhǔn)則基于準(zhǔn)則3來(lái)選取擬合曲線的方法，稱(chēng)為曲線擬合的最小二乘法構(gòu)造擬合曲線的準(zhǔn)則基于準(zhǔn)則3來(lái)選取擬合曲線的方法，稱(chēng)為曲線擬11一.直線擬合一.直線擬合12求解二元一次方程，得到取定擬合直線的參數(shù)a,b求解二元一次方程，得到取定擬合直線的參數(shù)a,b13實(shí)例：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系,下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)的拉伸倍數(shù)是記錄:實(shí)例：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系,下表是實(shí)際測(cè)定的14纖維強(qiáng)度隨拉伸倍數(shù)增加而增加并且24個(gè)點(diǎn)大致分布在一條直線附近纖維強(qiáng)度隨拉伸并且24個(gè)點(diǎn)大致分15解得：a=0.1505,b=0.8587解得：a=0.1505,b=0.858716二.多項(xiàng)式擬合若所給的數(shù)據(jù)點(diǎn)用直線擬合不合適，可以考慮用多項(xiàng)式擬擬合二.多項(xiàng)式擬合若所給的數(shù)據(jù)點(diǎn)用直線擬合不合適，可以考慮用多17稱(chēng)為曲線擬合的最小二乘法課件18因此有，正則方程組上方程組解是否存在唯一？因此有，正則方程組上方程組解是否存在唯一？19定理7正則方程組有唯一解定理8利用正則方程組求解曲線擬合問(wèn)題是一個(gè)古老的方法，在實(shí)際計(jì)算中，當(dāng)m較大時(shí)，正則方程組往往是病態(tài)的，其求解方法有待于進(jìn)一步改進(jìn)證明：即對(duì)應(yīng)的齊次方程組只有零解。定理7正則方程組有唯一解定理8利用正則方程組求解曲線擬合問(wèn)20三.觀察數(shù)據(jù)的修勻提高擬合多項(xiàng)式的次數(shù)不一定能改善逼近效果，實(shí)際計(jì)算時(shí)常用不同的低次多項(xiàng)式去擬合不同的分段----分段擬合設(shè)已給一批實(shí)測(cè)數(shù)據(jù)(xi,yi)(i=1,2,…,N)，由于測(cè)量方法和實(shí)驗(yàn)環(huán)境的影響，不可避免地會(huì)產(chǎn)生隨機(jī)干擾和誤差，希望根據(jù)數(shù)據(jù)的分布的總的趨勢(shì)去剔除觀察數(shù)據(jù)中的偶然誤差----數(shù)據(jù)修勻(數(shù)據(jù)平滑)問(wèn)題三.觀察數(shù)據(jù)的修勻提高擬合多項(xiàng)式的次數(shù)不一定能改善逼近效果，21ti-2-1012yiy-2y-1y0y1y2ti-2-1012yiy-2y-1y0y1y222稱(chēng)為曲線擬合的最小二乘法課件23稱(chēng)為曲線擬合的最小二乘法課件24注：三次樣條與分段Hermite插值的根本區(qū)別在于S(x)自身光滑，不需要知道f的導(dǎo)數(shù)值（除了在2個(gè)端點(diǎn)可能需要）；而Hermite插值依賴(lài)于f在所有插值點(diǎn)的導(dǎo)數(shù)值。f(x)H(x)S(x)注：三次樣條與分段Hermite插值的根本區(qū)別在于S(x25曲線擬合曲線擬合26主要內(nèi)容背景及應(yīng)用1在故障診斷中的應(yīng)用3基本原理及實(shí)現(xiàn)方法2總結(jié)及展望4參考文獻(xiàn)5主要內(nèi)容背景及應(yīng)用1在故障271、背景及應(yīng)用理論上，可以根據(jù)插值原則構(gòu)造n次多項(xiàng)式Pn(x),使其正好通過(guò)實(shí)測(cè)點(diǎn)。實(shí)際情況，為盡量反應(yīng)真實(shí)情況，需要數(shù)目很多的采樣點(diǎn)。這樣，會(huì)造成插值多項(xiàng)式次數(shù)很高，增大計(jì)算量，影響函數(shù)逼近程度。并且差值多項(xiàng)式需要經(jīng)過(guò)每一個(gè)測(cè)試點(diǎn)，這樣會(huì)保留測(cè)量誤差，影響函數(shù)逼近精度。在許多領(lǐng)域中,常常需要根據(jù)實(shí)際測(cè)試所得到的一系列數(shù)據(jù),求出變量間的函數(shù)關(guān)系。因此,我們一般根據(jù)已知實(shí)際測(cè)試樣點(diǎn),找出被測(cè)試量之間的函數(shù)關(guān)系,使得找出的近似函數(shù)曲線能夠充分反映實(shí)際測(cè)試量之間的關(guān)系,這就是曲線擬合。1、背景及應(yīng)用實(shí)際情況，為盡量反應(yīng)真實(shí)情況，需要數(shù)目很多的采281、背景及應(yīng)用由于通過(guò)曲線擬合方法能將實(shí)際試驗(yàn)測(cè)試數(shù)據(jù)轉(zhuǎn)化成合乎誤差要求的近似曲線、函數(shù)解析式，它被廣泛應(yīng)用于圖像處理、逆向工程、計(jì)算機(jī)輔助設(shè)計(jì)，以及測(cè)試數(shù)據(jù)的處理分析等領(lǐng)域。1、背景及應(yīng)用由于通過(guò)曲線擬合方法能將實(shí)際試驗(yàn)測(cè)試數(shù)292、基本原理及實(shí)現(xiàn)方法2.1曲線擬合的定義曲線擬合，是指求取一個(gè)函數(shù)解析式y(tǒng)=f(x,c)，使其通過(guò)或者近似通過(guò)有限的試驗(yàn)數(shù)據(jù)對(duì)(xi,yi)(i=1,2,…,n)，從而實(shí)現(xiàn)用擬合曲線方程來(lái)分析變量之間的關(guān)系。其中，c=(c0,c1,…,cm),為曲線方程的待定參數(shù)。2、基本原理及實(shí)現(xiàn)方法2.1曲線擬合的定義曲線擬合，是指求302、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法實(shí)現(xiàn)曲線擬合的方法有很多，在實(shí)際應(yīng)用中需要針對(duì)不同的問(wèn)題采取不同的方法。有理論模型的曲線擬合無(wú)理論模型的曲線擬合有一定的背景資料、規(guī)律性強(qiáng)，只需要找出與背景資料相適應(yīng)的曲線方程。最常用的是最小二乘法。曲線擬合問(wèn)題規(guī)律性差、理論模型難以建立或不需要理論模型。這類(lèi)問(wèn)題一般采用幾何方法或者神經(jīng)網(wǎng)絡(luò)法實(shí)現(xiàn)曲線擬合。2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法實(shí)現(xiàn)曲線312、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法已知試驗(yàn)數(shù)據(jù)點(diǎn)（xi.yi）(i=1,2,…,n),假設(shè)實(shí)驗(yàn)數(shù)據(jù)點(diǎn)可以用線性模型擬合，解析式為：

y=β0+β1x+ε(1)其中，β0，β1是待求參數(shù)，誤差ε服從N(1,σ2)

將n個(gè)實(shí)驗(yàn)點(diǎn)分別帶入表達(dá)式（1）得到:yi=β0+β1xi+εi

根據(jù)最小二乘原理，擬合得到的參數(shù)應(yīng)使曲線與試驗(yàn)點(diǎn)之間的誤差的平方和達(dá)到最小，也就是使如下的目標(biāo)函數(shù)達(dá)到最?。?/p>

2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法已322、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法將試驗(yàn)點(diǎn)數(shù)據(jù)點(diǎn)入之后，求目標(biāo)函數(shù)的最值問(wèn)題就變成了求取使目標(biāo)函數(shù)對(duì)待求參數(shù)的偏導(dǎo)數(shù)為零時(shí)的參數(shù)值問(wèn)題，即：求解方程組，就能唯一地確定待求參數(shù)β0，β1的值，從而實(shí)現(xiàn)了曲線的最小二乘擬合。2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法將332、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法對(duì)于非線性模型，有的可以通過(guò)適當(dāng)?shù)臄?shù)學(xué)變換將其線性化，然后采用最小二乘法進(jìn)行擬合。常用的可以線性化的模型如下表所示：2、基本原理及實(shí)現(xiàn)方法2.2曲線擬合的方法——最小二乘法對(duì)34實(shí)際問(wèn)題中，通過(guò)一組觀測(cè)數(shù)據(jù)，找出描述這些數(shù)據(jù)的規(guī)律，即構(gòu)造一條擬合曲線，反映所給數(shù)據(jù)點(diǎn)總的趨勢(shì)，以消除所給數(shù)據(jù)的局部誤差。問(wèn)題特點(diǎn)（xi,yi）,i=1,2,…,N,N很大yi本身為測(cè)量值，不準(zhǔn)確擬合函數(shù)f(x)沒(méi)有必要完全通過(guò)，所給的空間點(diǎn)，只需要ei=f(xi)-yi（殘差）總體上盡可能的小實(shí)際問(wèn)題中，通過(guò)一組觀測(cè)數(shù)據(jù)，找出描述這些數(shù)據(jù)的規(guī)律，即構(gòu)造35構(gòu)造擬合曲線的準(zhǔn)則基于準(zhǔn)則3來(lái)選取擬合曲線的方法，稱(chēng)為曲線擬合的最小二乘法構(gòu)造擬合曲線的準(zhǔn)則基于準(zhǔn)則3來(lái)選取擬合曲線的方法，稱(chēng)為曲線擬36一.直線擬合一.直線擬合37求解二元一次方程，得到取定擬合直線的參數(shù)a,b求解二元一次方程，得到取定擬合直線的參數(shù)a,b38實(shí)例：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系,下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)的拉伸倍數(shù)是記錄:實(shí)例：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系,下表是實(shí)際測(cè)定的39纖維強(qiáng)度隨拉伸倍數(shù)增加而增加并且24個(gè)點(diǎn)大致分布在一條直線附近纖維強(qiáng)度隨拉伸并且24個(gè)點(diǎn)大致分40解得：a=0.1505,b=0.8587解得：a=0.1505,b=0.858741二.多項(xiàng)式擬合若所給的數(shù)據(jù)點(diǎn)用直線擬合不合適，可以考慮用多項(xiàng)式擬擬合二.多項(xiàng)式擬合若所給的數(shù)據(jù)點(diǎn)用直線擬合不合適，可以考慮用多42稱(chēng)為曲線擬合的最小二乘法課件43因此有，正則方程組上方程組解是否存在唯一？因此有，正則方程組上方程組解是否存在唯一？44定理7正則方程組有唯一解定理8利用正則方程組求解曲線擬合問(wèn)題是一個(gè)古老的方法，在實(shí)際計(jì)算中，當(dāng)m較大時(shí)，正則方程組往往是病態(tài)的，其求解方法有待于進(jìn)一步改進(jìn)證明：即對(duì)應(yīng)的齊次方程組只有零解。定理7正則方程組有唯一解定理8利用正則方程組求解曲線擬合問(wèn)45三.觀察數(shù)據(jù)的修勻提高擬合多項(xiàng)式的次數(shù)不一定能改善逼近效果，實(shí)際計(jì)算時(shí)常用不同的低次多項(xiàng)式去擬合不同的分段----分段擬合設(shè)已給一批實(shí)測(cè)數(shù)據(jù)(xi,yi)(i=1,2,…,N)，由于測(cè)量方法和實(shí)驗(yàn)環(huán)境的影響，不可避免地會(huì)產(chǎn)生隨機(jī)干擾和誤差，希望根據(jù)數(shù)據(jù)的分布的總的趨勢(shì)去剔除觀察數(shù)據(jù)中的偶然誤差----數(shù)據(jù)修勻(數(shù)據(jù)平滑)問(wèn)題三.觀察數(shù)據(jù)的修勻