計算方法(B)課件：第3章 曲線擬合的最小二乘法

1、第3章 曲線擬合的最小二乘法,給出一組離散點，確定一個函數(shù)逼近原函數(shù)，插值是這樣的一種手段。在實際中，數(shù)據(jù)不可避免的會有誤差，插值函數(shù)會將這些誤差也包括在內(nèi)。,因此，我們需要一種新的逼近原函數(shù)的手段： 不要求過所有的點（可以消除誤差影響）； 盡可能表現(xiàn)數(shù)據(jù)的趨勢，靠近這些點。,有時候，問題本身不要求構(gòu)造的函數(shù)過所有的點。如：5個風景點，要修一條公路S使得S為直線，且到所有風景點的距離和最小。,先講些預(yù)備知識,對如上2類問題，有一個共同的數(shù)學提法：找函數(shù)空間上的函數(shù)g，使得g到f的距離最小。,向量范數(shù),映射：,滿足：,非負性,齊次性,三角不等式,稱該映射為向量的一種范數(shù),預(yù)備知識,定義,常見的范

2、數(shù)有：,常用范數(shù)的等價關(guān)系：,我們定義兩點的距離為：,定義：函數(shù) f 的離散范數(shù)為,提示：該種范數(shù)的定義與向量的 2 范數(shù)一致,我們還可以定義函數(shù)的離散范數(shù)為：,特性：,f(x)為定義在區(qū)間a,b上的函數(shù)， 為區(qū)間上n+1個互不相同的點， 為給定的某一函數(shù)類。求 上的函數(shù) g(x) 滿足 f(x) 和 g(x) 的距離最小,如果這種距離取為2范數(shù)的話，稱為最小二乘問題,曲線擬合的最小二乘問題,定義,下面我們來看看最小二乘問題：,求 使得 最小,設(shè),最小,則,即,關(guān)于系數(shù),即,寫成矩陣形式有：,法方程,第一步：函數(shù)空間的基,，然后列出法方程,第一步：函數(shù)空間的基,，然后列出法方程,例：,第一步：

3、函數(shù)空間的基,，然后列出法方程,由,，可以先做,求解一個矛盾方程組，計算的是在均方誤差,極小意義下的解,也就是最小二乘問題。,我們有：,矛盾方程組恒有解，且,矛盾方程組的求解,定義：矩陣范數(shù),矩陣范數(shù)，是由向量的范數(shù)定義的,矩陣范數(shù)和條件數(shù),矩陣范數(shù)也是等價的,對應(yīng)于3種常見的向量范數(shù)，有3種矩陣范數(shù),列和的最大值,行和的最大值,定理：,若,為,的特征值，則,證：,x為A的特征值,#證畢,易知：,條件數(shù)和病態(tài)矩陣,條件數(shù)表示了對誤差的放大率,類似有,可以證明,注：一般判斷矩陣是否病態(tài)，并不計算A1，而由經(jīng)驗得出。 行列式很大或很小（如某些行、列近似相關(guān)）； 元素間相差大數(shù)量級，且無規(guī)則； 主元消去過程中出現(xiàn)小主元； 特征值相差大數(shù)量級。,精確解為,A1 =,解：考察 A 的特征根,39206 1, 測試病態(tài)程度：,此時精確解為,2.0102 200%,為對稱矩陣,Homework,對數(shù)據(jù)點,估計如下兩組基函數(shù)的法方程的條件數(shù),Homework,對互不相同的點,，在次數(shù)不超過,