數(shù)據(jù)處理方法

常用實驗數(shù)據(jù)處理方法簡介數(shù)據(jù)處理方法一、數(shù)據(jù)處理方法綜述實驗數(shù)據(jù)處理的本質(zhì)：給定一組相互獨立的自變量x1,x2,x3….(xi均為n維向量)和因變量y（n維向量），找出一個“最佳”的映射，來刻畫自變量和因變量之間的關系。關于“最佳”的兩種理解：逼近和插值。數(shù)據(jù)處理方法一、數(shù)據(jù)處理方法綜述實驗數(shù)據(jù)處理方法的分類：按照自變量的個數(shù)，可分為一元和多元兩大類；按照映射（函數(shù)）形式，可分為線性和非線性兩大類。于是一共有2*2=4大類。數(shù)據(jù)處理方法二、線性方法考慮到線性方法已經(jīng)規(guī)定了函數(shù)形式為線性，故在線性方法中，“最佳”的判據(jù)只能是逼近。按照自變量個數(shù)，分為一元線性回歸和多元線性回歸。數(shù)據(jù)處理方法二、線性方法多元線性回歸模型：‥（1）‥（2）令其中為隨機誤差，，均為實際問題的解釋變量，是已知函數(shù)。假設作了n次試驗得到n組觀測值為：數(shù)據(jù)處理方法二、線性方法代入（2）中可得（3）（其中為第i次試驗時隨機誤差）該模型關于回歸系數(shù)是線性的，u為一般向量，若用矩陣形式，（3）變?yōu)椋簲?shù)據(jù)處理方法二、線性方法即數(shù)據(jù)處理方法二、線性方法其中X是模型設計矩陣，Y與是隨機向量且，（I為n階單位陣）

是不可觀測的隨機誤差向量，是回歸系數(shù)構成的向量，是未知、待定的常數(shù)向量。數(shù)據(jù)處理方法二、線性方法選取的一個估計值使隨機誤差的平方和達到最小數(shù)據(jù)處理方法二、線性方法由上式對求導（向量函數(shù)的求導），可得：由上式（正規(guī)方程組）記系數(shù)矩陣，常數(shù)矩陣如果存在，稱其為相關矩陣數(shù)據(jù)處理方法二、線性方法1.可以證明：對任意給定的X,Y，正規(guī)方程組總有解，雖然當X不滿秩時，其解不唯一，但對任意一組解都能是殘差平方和最小，即2.當X滿秩時，即

則正規(guī)方程組的解為，即為回歸系數(shù)的估計值3.性質(zhì)數(shù)據(jù)處理方法二、線性方法顯著性檢驗與擬合性檢驗。主要是檢驗模型是否一定與解釋變量有密切的關系。在模型的檢驗顯著的情況下，需要進一步地做擬合性檢驗，目的是檢驗是否一定為（2）所給的形式，即是否還存在其他的影響因素沒有考慮到。數(shù)據(jù)處理方法三、非線性方法理論上來說，對于需要處理的數(shù)據(jù)，如果已知所需擬合的函數(shù)的形式，那么通常都可以通過變量替換化成線性方式求解。那么，為什么要提出非線性方法呢？數(shù)據(jù)處理方法三、非線性方法對于非線性方法，與線性方法類似，同樣可以按照自變量的個數(shù)分為一元非線性回歸（曲線擬合）和多元非線性回歸（曲面擬合）。數(shù)據(jù)處理方法（一）曲線擬合對于曲線擬合，其“最佳”的理解可以有插值和逼近兩種方式。若按照插值來理解，那么就是《數(shù)值計算》中的插值法。若按照逼近來理解，那么就是《非線性規(guī)劃》中的一種特殊的無約束最優(yōu)化問題——非線性最小二乘法。數(shù)據(jù)處理方法插值法Lagrange插值(含線性插值、拋物插值、n次Lagrange插值公式)；牛頓（Newton）插值及余項、差商的定義與性質(zhì);埃爾米特(Hermite)插值公式及余項；等距節(jié)點的多項式插值、分段低次多項式插值、三次樣條插值。數(shù)據(jù)處理方法插值法插值唯一性定理證明：利用范德蒙行列式定理：(唯一性)滿足的n

階插值多項式是唯一存在的。數(shù)據(jù)處理方法插值法一、解方程組法：二、基函數(shù)法：一種既能避免解方程組，又能適合于計算機求解的方法，下面將具體介紹。數(shù)據(jù)處理方法拉格朗日插值公式拉格朗日（Lagrange）插值公式的基本思想是，把pn(x)的構造問題轉化為n+1個插值基函數(shù)li(x)(i=0,1,…,n)的構造。線性插值函數(shù)拋物插值函數(shù)N次插值函數(shù)數(shù)據(jù)處理方法一次Lagrange插值多項式由直線兩點式可知，通過A，B的直線方程為它也可變形為顯然有數(shù)據(jù)處理方法一次Lagrange插值多項式記可以看出：稱為節(jié)點,的線性插值基函數(shù)。數(shù)據(jù)處理方法一次Lagrange插值多項式線性插值基函數(shù)的特點：節(jié)點值；均為一次函數(shù)。注意她們的特點對下面的推廣很重要。數(shù)據(jù)處理方法二次Lagrange插值多項式由基函數(shù)方法得：其中：數(shù)據(jù)處理方法N次Lagrange插值多項式我們看到，兩個插值點可求出一次插值多項式，而三個插值點可求出二次插值多項式。從而，當插值點增加到n+1個時，我們可以利用Lagrange插值方法寫出n次插值多項式。數(shù)據(jù)處理方法N次Lagrange插值多項式構造各個插值節(jié)點上的基函數(shù)滿足如下條件：100001000001數(shù)據(jù)處理方法N次Lagrange插值多項式因此令：又由，得：數(shù)據(jù)處理方法N次Lagrange插值多項式從而得n階拉格朗日（Lagrange）插值公式：數(shù)據(jù)處理方法Newton插值Lagrange插值雖然易算，但若要增加一個節(jié)點時，全部基函數(shù)都需要重新計算。Newton插值的承襲性增加一個節(jié)點后：數(shù)據(jù)處理方法Hermite插值在實際問題中，對所構造的插值多項式，不僅要求函數(shù)值重合，而且要求若干階導數(shù)也重合。把此類插值多項式稱為埃米爾特（Hermite）插值多項式或稱帶導數(shù)的插值多項式，記為H(x)。數(shù)據(jù)處理方法分段插值高次插值的龍格現(xiàn)象分段插值。所謂分段插值，就是將被插值函數(shù)逐段多項式化。數(shù)據(jù)處理方法非線性最小二乘法從本質(zhì)上看，非線性最小二乘法就是一種特殊的無約束最優(yōu)化問題，因此，所有《非線性規(guī)劃》中關于無約束最優(yōu)化問題的算法，理論上都可以直接應用到非線性最小二乘法問題中。最速下降法，牛頓法，修正牛頓法，共軛梯度法，變度量法，Powell方法等一系列算法都可以用來解非線性最小二乘問題。數(shù)據(jù)處理方法非線性最小二乘法但是，由于非線性最小二乘問題的特殊性，可以有一些更加行之有效的方法來解。包括Gauss—Newton法，Levenberg—Marquartdt法等。僅介紹Gauss—Newton法。數(shù)據(jù)處理方法Gauss—Newton法Newton法：牛頓法基本思想：利用目標函數(shù)f(x)的二次泰勒展開式，并將其最小化。數(shù)據(jù)處理方法Gauss—Newton法(二次近似).如果二階海賽陣正定,那么存在最小點(方法同上)數(shù)據(jù)處理方法Gauss—Newton法說明:實際應用中,迭代方向通過解方程數(shù)據(jù)處理方法Gauss—Newton法Gauss—Newton法由于非線性最小二乘問題的特殊性，f(x)的梯度與黑塞矩陣有更為簡潔的表達形式：如下：即為Gauss-Newton法。數(shù)據(jù)處理方法Gauss—Newton法Gauss—Newton法的收斂性：距離初值偏差大時，收斂效果并不好。d是下降方向，但仍不能保證f（x）依次減小?？梢詤⒖夹拚齆ewton法，加入一維搜索策略。數(shù)據(jù)處理方法（二）曲