最小二乘法的基本原理和多項(xiàng)式擬合

最小二乘法的基本原理和多項(xiàng)式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)P（X）同所給數(shù)據(jù)點(diǎn)（人，yj）（i=o,i,…,m）誤差r.—嗆）.（i=0,1m）i—y.r.P(X.)i=i-y.（i=0,1，…,m）絕對值的最大值maxr，即誤差向量imim》仃/、Tr=（rm）的X—范數(shù)；二是誤差絕對值的和7，即誤差向量r的1mZri2i范數(shù)；三是誤差平方和7的算術(shù)平方根，即誤差向量r的2—范數(shù)；前兩種方法簡單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2—范數(shù)的平方，m送；rir因此在曲線擬合中常采用誤差平方和V來度量誤差r（i=o,1,…，m）的整i體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)（x,y）（i=0,1，…，m），在取定的函ii數(shù)類「中，求P（X），［使誤差ri二P（x.）-y.（i=0丄…,m）的平方和最小，即m/m7〔P（X.）-y.F二miniJiFi=0_i=0從幾何意義上講，就是尋求與給定點(diǎn)（x,y）（i=0,1,…,m）的距離平方和為最小ii的曲線y二P（x）（圖6-1）。函數(shù)P（x）稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)P（x）的方法稱為曲線擬合的最小二乘法?？捎胁煌倪x取方法.可有不同的選取方法.6-16-1二多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn)（X.，y.）（i=0丄…,m），為所有次數(shù)不超過n（n'm）的多項(xiàng)式構(gòu)

nP（X）二送akXnkk成的函數(shù)類，現(xiàn)求一心,使得I=送bmn(XI=送bmn(Xi)—yi2i=0V.k=0aXk-y=m|inkii丿1）當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式（1）的Pn（x）稱為最小二乘擬合多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱為線性擬合或直線擬合。i￡i￡i￡i￡顯然I7('akXk-yi)2kki2i-0k-0ikj=0,1,,n為a。旳…an的多元函數(shù)，因此上述問題即為求1=1(%片「魯j=0,1,,n：lmnk：aj=2、CakX：-yj燈=0,nm(遲X.+)aA￡Xy,j=0,1,,nnm(遲X.+)aA￡Xy,j=0,1,,nkz0iz0iz03)是關(guān)于a0炸…am+1ao1ain的線性方程組，用矩陣表示為m-廠1'Xi???ZXin1瓦yiii=0ii=0mi=0mX2…ZX1n41im送XiyiZv.ii=0i=0i=0mmmVn-Xii=0—n1Xii、-2nXiii=0i=0i=0式(3)或式(4)稱為正規(guī)方程組或法方程組?？梢宰C明，方程組(4)故存在唯一解。的系數(shù)矩陣是一個(gè)對稱正定矩陣，從式⑷中解出a(k=0,1，…，n)，從而可得多項(xiàng)式knPn(x)-'akXk心(5)可以證明，式(5)中的Pn(x)滿足式⑴，即卩Pn(x)為所求的擬合多項(xiàng)式。我瓦bn(Xi)-yi2(、們把i￡稱為最小二乘擬合多項(xiàng)式Pn(X)的平方誤差，記作12mr||2Dn(Xi)-yii=0r|：八y：-、a"x：%)i=ok=ei多項(xiàng)式擬合的一般方法可歸納為以下幾步:(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n由式(2)可得⑵列表計(jì)算m乞xij(j=0,1，，m2n)ZXiyiiji和i=°i=°j=0,1，，2n)8080-■-⑶寫出正規(guī)方程組，求出a0已,…魯；nP(x)八akXknkk（出4）擬寫k=0。在實(shí)際應(yīng)用中，n::m或n乞m；當(dāng)n=m時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式。例1測得銅導(dǎo)線在溫度t「c）時(shí)的電阻RD如表6-1，求電阻R與溫度T的近似函數(shù)關(guān)i系。■i0123456T(C)19125.0301―36040045.1500R.(⑵i76.3077.8079.2580.8082.3583.9085.10解畫出散點(diǎn)冬（冬6-2），可見測期得的數(shù)據(jù);接近一條直線，故取n=1，擬合函數(shù)為列表如下R=a0a"iT.iRiiT.12TRi01917630364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000E245.3565.59325.8320029.445規(guī)方程組為7245.3a0_565.50245.39325.83a,一20029.445解方程組得玄=70.572,a,=0.921故得R與T的擬合直線為R=70.572+0.92仃利用上述關(guān)系式，可以預(yù)測不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由R=0得T=-242?5，即預(yù)測溫度T=-242.5C時(shí)，銅導(dǎo)線無電阻。30■306-2

例2例2已知實(shí)驗(yàn)數(shù)據(jù)如下表■i012345678Xii1345678910y1054211234試用取小一乘法求文它的二次擬合多項(xiàng)式解設(shè)擬合曲線方程為2y二a。aixa2X列表如下1XiiXX2iX.iX.i0110111101013592781154521441664:25616F6435225T25625105046136216129663657149343240174968264512「409616P12879381729656127243810410010001000040400E53323813017253171471025得止規(guī)方程呈組952381a032523813017印=147'381301725317-」J025」解得a0=13.4597,a1--3.6053a2=0.2676故擬合多項(xiàng)式為y=13.4597-3.6053+0.2676x2*三最小二乘擬合多項(xiàng)式的存在唯一性定理1設(shè)節(jié)點(diǎn)X,X,,X互異，則法方程組（4）的解存在唯一。證由克萊姆法則，01n只需證明方程組（4）的系數(shù)矩陣非奇異即可。用反證法,設(shè)方程組（4）的系數(shù)矩陣奇異,則其所對應(yīng)的齊次方程組|m+1Xi..i=0mZX

iJOZXi27aXi有非零解。式（7）可寫為zmXii1送yini=0|m+1Xi..i=0mZX

iJOZXi27aXi有非零解。式（7）可寫為zmXii1送yini=0；a〕7Zx.iaimZXiyi\Jii=0i-a7寸丁2-_amn遲x.i=0n_1遲Xy..7iinm、('Xijk)ak=0,k衛(wèi)i=0j=0,1/',n(8)將式（8）中第j個(gè)方程乘以aj(j=0,1，…n），然后將新得到的n+1個(gè)方程左nnm

jk遲a」產(chǎn)億x廣）ak0「0因?yàn)橛覂啥朔謩e相加，得冋上￡7送1a*（瓦攀總卜送送送akQ.X廣邁（瓦a：X.）=E咕⑷了kjkikj衛(wèi)k=0i=0其中「izOjzOkzOi=0j=0k=0i=0所以Pn（X

ni）P（X）是次數(shù)不超過n的多項(xiàng)式,nnP(X)二為akXnkkkTO（j=0,i,?…,m）它有m+1>n個(gè)相異零點(diǎn),由代數(shù)基本定理，必須有k=0，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）aaa必有唯一解。定理2設(shè)aoa，,a是正規(guī)方程組（4）的解，貝U1n是滿足式（1）的最小二乘擬合多項(xiàng)式。n(X)=三akXkk=0bb.bQ證只需證明，對任意一組數(shù)b0b1，，bn組成的多項(xiàng)式X)n=瓦

心，kbkXk恒有m送Qn(Xim）—yiP上瓦【Pn（Xi）—yiF即可。i=0i=0送1Qn(X)-yF-遲〔PjXj-y」2i=0i=0m=Qn(Xi)ni)i=0mPn(Xj)22、Qn(Xj—nj2ni=0-Pn(Xj)l〔Pn(Xj)-％1nj)lnj02「?i=0j=0aj)Xij”akXk-yi_k=0二江《、mIi=0akXky.xjI因?yàn)閍k（k=0,1，…，n）是正規(guī)方程組（4）的解，所以滿足式（2），因此有mm'Qn（Xi）—yif—7〔Pn（Xi）—yif_0i衛(wèi)7i故Pn（X）為最小二乘擬合多項(xiàng)式。*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；擬合節(jié)點(diǎn)分布的區(qū)間X0，xm】偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重；X（i=0,i,…，m）的數(shù)量級相差越大，病態(tài)越嚴(yán)重。i為了克服以上缺點(diǎn)，一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn)人關(guān)于原點(diǎn)對稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：X—衛(wèi)x,i=0,1,,mTOC\o"1-5"\h\zi=Xim_2（9）對平移后的節(jié)點(diǎn)x（i=0,1，?…m）,再作壓縮或擴(kuò)張?zhí)幚恚篿x=pXi,i=0,1,,m（10）p=“（m+1）/送（X?）2r其中八7,（r是擬合次數(shù)）（11）經(jīng)過這樣調(diào)整可以使X.的數(shù)量級不太大也不太小，特別對于等距節(jié)點(diǎn)ih（i二01,…,m）,i=X0作式（10）和式（11）兩項(xiàng)變換后，其正規(guī)方程組的系數(shù)矩陣設(shè)為A,則對14次多項(xiàng)式擬合,條件數(shù)都不太大,都可以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234cond2(A)=1<9.9<50.3<435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩種方法都使正規(guī)方程組的系數(shù)矩陣為對角矩陣,從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種,見第三節(jié)。例如m=19,Xo-BZS'hTM^Xo+ih,i=0,1，…，19,即節(jié)點(diǎn)分布在[328,347],作二次多項(xiàng)式擬合時(shí)①直接用Xj構(gòu)造正規(guī)方程組系數(shù)矩陣A0，計(jì)算可得cond2（A））=2.2510216嚴(yán)重病態(tài)，擬合結(jié)果完全不能用Xi=xXi=xi3283472i=0,1,,19②作平移變換川X構(gòu)造正規(guī)方程組系數(shù)矩陣Ai,計(jì)算可得cond2(A)=4.48386810216比cond2(A