第五章線性參數(shù)的最小二乘法處理yj課件

第五章

線性參數(shù)的最小二乘法處理1第五章

線性參數(shù)的最小二乘法處理1設(shè)有一金屬尺，在溫度t時長度可表示為yt=y0（1+t）,

其中，y0為溫度零度時的精確長度。為金屬材料的線膨脹系數(shù)，求y0與的最可信賴值及其精度估計。

設(shè)a=y0，b=y0,則有yt=a+bt。在理論上，有引題:求標(biāo)準(zhǔn)米尺線膨脹系數(shù)

從中任選兩個方程可解得a、b,從而確定y0、α。線性參數(shù)的最小二乘法處理由于測量誤差的存在，需要n>22設(shè)有一金屬尺，在溫度t時長度可表示為yt=y0（1+t）,但是事實上，不可避免地存在測量誤差。設(shè)在t1，t2，t3……….tn溫度條件下分別測得金屬尺的長度是l1，l2，l3……….ln，則有誤差方程

最小二乘法a、b及

y0、α線性參數(shù)的最小二乘法處理3但是事實上，不可避免地存在測量誤差。設(shè)在t1，t2幾何解釋

對應(yīng)于ti的測量數(shù)據(jù)li,i=1,2,…,nyott1t2…

…

tn殘余誤差：a、b的最可信賴值為什么？怎樣求a

和b？精度估計？線性參數(shù)的最小二乘法處理4幾何解釋對應(yīng)于ti的測量數(shù)據(jù)li,i=1,2,…,nyo第一節(jié)最小二乘法原理第二節(jié)正規(guī)方程第三節(jié)精度估計第四節(jié)組合測量的最小二乘法處理線性參數(shù)的最小二乘法處理5第一節(jié)最小二乘法原理線性參數(shù)的最小二乘法處理5大綱要求掌握最小二乘原理。掌握正規(guī)方程:等精度測量線性參數(shù)的最小二乘處理不等精度測量線性參數(shù)的最小二乘處理掌握最小二乘精度估計方法。線性參數(shù)的最小二乘法處理6大綱要求掌握最小二乘原理。線性參數(shù)的最小二乘法處理6若測量數(shù)據(jù),不存在系統(tǒng)誤差和粗大誤差，相互獨立，且服從正態(tài)分布,其標(biāo)準(zhǔn)差為

則各測量結(jié)果出現(xiàn)于相應(yīng)真值附近區(qū)域內(nèi)的概率分別為：

第一節(jié)最小二乘法原理

各誤差相互獨立，由概率乘法定理，各測量數(shù)據(jù)同時分別出現(xiàn)在相應(yīng)區(qū)域的概率應(yīng)為：

理論分析

7若測量數(shù)據(jù),不存在系統(tǒng)誤差和粗大誤差，相互獨等精度測量：根據(jù)概率論的最大或然原理，由于測量值已經(jīng)出現(xiàn)，有理由認(rèn)為這n個測量值出現(xiàn)于相應(yīng)區(qū)間的概率P為最大。要使P最大，應(yīng)有由于結(jié)果只是接近真值的估計值，因此上述條件應(yīng)為引入權(quán)pi理論分析

第一節(jié)最小二乘法原理

8等精度測量：根據(jù)概率論的最大或然原理，由于測量值必須指出:上述最小二乘原理是在測量誤差無偏、正態(tài)分布和相互獨立的條件下推導(dǎo)出的，但在不嚴(yán)格服從正態(tài)分布的情形下也常被使用。實際上，按誤差或殘差平方和為最小進行統(tǒng)計推斷已形成一種準(zhǔn)則。最小二乘原理:測量結(jié)果的最可信賴值應(yīng)使殘余誤差平方和（或加權(quán)殘余誤差平方和）最小。第一節(jié)最小二乘法原理

9必須指出:上述最小二乘原理是在測量誤差無偏、正態(tài)分布和相互獨

為確定t個不可直接測量的未知量的估計量，可對與該t個未知量有函數(shù)關(guān)系的直接測量量Y進行n次測量，得測量數(shù)據(jù)（n>t）并設(shè)有如下函數(shù)關(guān)系：

設(shè)直接量Y1,Y2,…,Yn的估計量分別為y1,y2,…,yn，則有：

第一節(jié)最小二乘法原理

10為確定t個不可直接測量的未知量誤差方程(殘差方程)：

最小二乘法

等精度測量：不等精度測量：第一節(jié)最小二乘法原理

11誤差方程(殘差方程)：最小二乘法等精度測量：不等精度測矩陣形式

實測值矩陣

估計值矩陣

殘差矩陣

誤差方程系數(shù)矩陣

矩陣形式

誤差方程第一節(jié)最小二乘法原理

12矩陣形式實測值矩陣估計值矩陣殘差矩陣誤差方程矩陣形誤差方程的矩陣形式

1）等精度測量線性參數(shù)的最小二乘原理的矩陣形式

或

其中：矩陣形式

2）不等精度測量線性參數(shù)的最小二乘原理的矩陣形式

或

第一節(jié)最小二乘法原理

13誤差方程的矩陣形式1）等精度測量線性參數(shù)的最小二乘原理的矩矩陣形式

不等精度

等精度第一節(jié)最小二乘法原理

14矩陣形式不等精度等精度第一節(jié)最小二乘法原理14第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘法的正規(guī)方程二、不等精度測量線性參數(shù)最小二乘法的正規(guī)方程三、非線性參數(shù)最小二乘法處理的正規(guī)方程（略）四、最小二乘法與算術(shù)平均值的關(guān)系

15第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘法的正規(guī)方正規(guī)方程為了獲得更可靠的結(jié)果，測量次數(shù)n總要多余未知參數(shù)的個數(shù)t，即所得誤差方程式的個數(shù)總要多余未知數(shù)的個數(shù)。一般代數(shù)解方程法無法求解。最小二乘法可由誤差方程得到有確定解的代數(shù)方程組，從而求解未知參數(shù)。這個具有確定解的代數(shù)方程組稱為最小二乘法估計的正規(guī)方程。（或稱為法方程）16正規(guī)方程為了獲得更可靠的結(jié)果，測量次數(shù)n總要多余未知參數(shù)的個線性參數(shù)最小二乘法處理程序根據(jù)問題列出誤差方程式按最小二乘法原理，利用求極值的方法由誤差方程得到正規(guī)方程求解正規(guī)方程，得到待求估計量給出精度估計17線性參數(shù)最小二乘法處理程序根據(jù)問題列出誤差方程式17第二節(jié)正規(guī)方程

一、等精度測量線性參數(shù)最小二乘處理的正規(guī)方程且連續(xù)多元函數(shù)I(x1,x2,…,xn)的極值條件18第二節(jié)正規(guī)方程一、等精度測量線性參數(shù)最小二乘處理的正規(guī)方正規(guī)方程特點：

系數(shù)矩陣是對稱陣；主對角線分布著平方項系數(shù)，正數(shù)第二節(jié)正規(guī)方程

19正規(guī)方程特點：系數(shù)矩陣是對稱陣；第二節(jié)正規(guī)方程19看正規(guī)方程組中第r個方程：則正規(guī)方程可寫成即正規(guī)方程的矩陣形式20看正規(guī)方程組中第r個方程：則正規(guī)方程可寫成即正規(guī)方程的矩陣形將代入，得矩陣形式第二節(jié)正規(guī)方程

21將代入，得矩陣形式第二節(jié)正規(guī)方程21的數(shù)學(xué)期望這里

Y=[Y1,

Y2,…,

Yn]T,X=[X1,

X2,…,

Xn]T

C=ATA

可見為X的無偏估計。

第二節(jié)正規(guī)方程

22的數(shù)學(xué)期望這里C=ATA可見為X的無偏估計。第例1已知銅棒的長度和溫度之間具有線性關(guān)系：，為獲得０℃時銅棒的長度和銅的線膨脹系數(shù)，現(xiàn)測得不同溫度下銅棒的長度，如下表，求，的最可信賴值。例題1020304050602000.362000.722000.82001.072001.482000.60解：1）列出誤差方程23例1已知銅棒的長度和溫度之間具有線性關(guān)系：例題10203按照最小二乘的矩陣形式計算則有：令為兩個待估參量，則誤差方程為24按照最小二乘的矩陣形式計算則有：令那么：25那么：25例2在串聯(lián)諧振回路中，已知Y=ωL－1/ωC,式中ω，Y，L，C分別是外加電信號的角頻率和回路的電抗、電感、電容，不同角頻率時的電抗測量值li如下表，求L、C的最可信賴值。ωi521li0.80.2-0.3例題第二節(jié)正規(guī)方程

26例2在串聯(lián)諧振回路中，已知Y=ωL－1/ωC,式中ω解：令b=-1/C，則有誤差vi=li-(Lωi+b/ωi)。L、b是兩個待估計參數(shù)。正規(guī)方程為例題i

ai1

ai2

ai1ai1

ai2ai2

ai1ai2ai1li

ai2li

123

50.2250.04140.1620.540.2510.40.111111-0.3-0.3Σ301.2934.1-0.04第二節(jié)正規(guī)方程

27解：令b=-1/C，則有誤差vi=li-(Lωi+b/ω例題解得第二節(jié)正規(guī)方程

28例題解得第二節(jié)正規(guī)方程28作代換：二、不等精度測量線性參數(shù)最小二乘法處理的正規(guī)方程

把不等精度測量線性參數(shù)最小二乘法處理轉(zhuǎn)化為等精度測量問題。29作代換：二、不等精度測量線性參數(shù)最小二乘法處理的正規(guī)方程把由此可得不等精度測量線性參數(shù)最小二乘處理的正規(guī)方程：30由此可得不等精度測量線性參數(shù)最小二乘處理的30整理得：31整理得：31即不等精度的正規(guī)方程將代入上式，得（待測量Ｘ的無偏估計）32即不等精度的正規(guī)方程將代入上式，得（待測量Ｘ的無偏例5.2某測量過程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差：試求的最可信賴值。解：首先確定各式的權(quán)第二節(jié)正規(guī)方程

33例5.2某測量過程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差：試求作代換：iai1

ai2

li

a’i1

a’i2

l’i

12345

4116.444425.764128.604834.4031310.814932.4331413.2141239.6331515.2741545.81

第二節(jié)正規(guī)方程

34作代換：iai1ai2i

12345

161616103.04103.04166432137.60275.209812797.29291.87914436118.98475.92922545137.34687.15

59530156594.341833.18例題x1=4.186x2=2.227第二節(jié)正規(guī)方程

35i11616三、非線性參數(shù)最小二乘處理的正規(guī)方程針對非線性函數(shù)其測量誤差方程為令，現(xiàn)將函數(shù)在處展開，則有36三、非線性參數(shù)最小二乘處理的正規(guī)方程針對非線性函數(shù)其測量誤差將上述展開式代入誤差方程，令則誤差方程轉(zhuǎn)化為線性方程組于是可解得，進而可得。近似值37將上述展開式代入誤差方程，令則誤差方程轉(zhuǎn)化為線性方程組于是可四、最小二乘法與算術(shù)平均值的關(guān)系

為確定一個量X的估計值x，對它進行n次直接測量，得到n個數(shù)據(jù),相應(yīng)的權(quán)分別為，則誤差方程為運用最小二乘法的正規(guī)方程為

有誤差方程知ai=1，因此有

這正是不等精度測量的加權(quán)算術(shù)平均值！算術(shù)平均值原理可以看作是最小二乘法原理的特例。38四、最小二乘法與算術(shù)平均值的關(guān)系為確定一個量X的估計值x，第三節(jié)精度估計一、直接測量數(shù)據(jù)的精度估計

二、最小二乘估計量的精度估計

給出估計量x1,x2,…,xt的精度。39第三節(jié)精度估計一、直接測量數(shù)據(jù)的精第三節(jié)精度估計

一、測量數(shù)據(jù)精度估計(一）等精度測量數(shù)據(jù)的精度估計可以證明是自由度為(n－t)的變量。對包含t個未知線性參數(shù)的Y()進行n次等精度測量得l1,l2,…,ln

，由殘差v1,v2,…,vn得標(biāo)準(zhǔn)差σ的估計量。根據(jù)變量的性質(zhì)，有vi互相獨立，且服從正態(tài)分布40第三節(jié)精度估計一、測量數(shù)據(jù)精度估計(一）等精度測量數(shù)據(jù)的則可取作為的無偏估計量。因此測量數(shù)據(jù)的標(biāo)準(zhǔn)差的估計量為測量次數(shù)未知量個數(shù)殘差平方和當(dāng)t=1時？

第三節(jié)精度估計

41則可取作為的無偏估計量。因此測量數(shù)據(jù)的標(biāo)準(zhǔn)差的估計iωilivi1

50.8-0.0191220.20.063331-0.3-0.0275例5.2試求例2中電抗的測量精度解：已知殘余誤差方程為：

vi=li-(0.182ωi-1/2.2ωi)。第三節(jié)精度估計

42iωilivi150.8-0.0191220.20.063(二)不等精度測量數(shù)據(jù)的精度估計

一、直接測量數(shù)據(jù)的精度估計

測量數(shù)據(jù)的單位權(quán)標(biāo)準(zhǔn)差

未知量個數(shù)方程個數(shù)加權(quán)殘差平方和當(dāng)t=1時？

第三節(jié)精度估計

43(二)不等精度測量數(shù)據(jù)的精度估計一、直接測量數(shù)據(jù)二、最小二乘估計量的精度估計

最小二乘法所確定的估計量x1,x2,…,xt的精度取決于測量數(shù)據(jù)l1,l2,…,ln的精度和線性方程組所給出的函數(shù)關(guān)系。

第三節(jié)精度估計

44二、最小二乘估計量二、最小二乘估計量的精度估計

1、等精度測量時估計量的精度估計

設(shè)有n×n協(xié)方差矩陣這里，Dlii為li的方差,Dlii=E[(li-Eli)2]=σi2；Dlij為li與lj的協(xié)方差,Dlij=E[(li-Eli)(lj-Elj)]=ρijσiσj,i≠j.若l1,l2,…,ln是等精度獨立測量的結(jié)果，則有且相關(guān)系數(shù)ρij＝０。第三節(jié)精度估計

45二、最小二乘估計量對于估計量x1,x2,…,xt，其協(xié)方差矩陣為二、最小二乘估計量的精度估計

第三節(jié)精度估計

46對于估計量x1,x2,…,xt，其協(xié)方差矩陣為二、最小二乘估二、最小二乘估計量的精度估計

設(shè)因此，有第三節(jié)精度估計

47二、最小二乘估計量解：已知正規(guī)方程為例5.3試求例題5.1中電感和電容估計量的精度。有估計量L、b的標(biāo)準(zhǔn)差為測量數(shù)據(jù)的標(biāo)準(zhǔn)差為σ=0.0716而C=-1/b，σC=?第三節(jié)精度估計

48解：已知正規(guī)方程為例5.3試求例題5.1中電感和電容估二、最小二乘估計量的精度估計

2、不等精度測量估計量的精度估計

第三節(jié)精度估計

49二、最小二乘估計量第四節(jié)

組合測量（combinedmeasurement）的最小二乘法處理50第四節(jié)

組合測量（combinedmeasurement）組合測量基本概念組合測量是通過直接測量待測參數(shù)的各種組合量（一般是等精度測量），然后對這些測量數(shù)據(jù)進行處理，從而求得待測參數(shù)的估計值，并給出其精度估計。第四節(jié)組合測量的最小二乘法處理

例如要測量x,y,z三個量，可以采用如下組合測量組合測量的優(yōu)點是既能提高測量精度又能減少測量次數(shù)。若x,y,z三個量單獨測量，每個測量4次的話，總共需測12次。若用組合測量，三個量都還是各測了4次，但總測量次數(shù)只有7次，較前減少了5次，而又能達(dá)到同樣的目的。x=l1y=l2z=l3

x+y=l4y+z=l5x+z=l6x+y+z=l751組合測量基本概念組合測量是通過直接測量待測參數(shù)的各種組合量（組合測量基本概念通常組合測量數(shù)據(jù)是用最小二乘法進行處理，它是最小二乘法在精密測試中的一種重要應(yīng)用。t個被測量(t>1)

n個誤差方程式

求解n種組合(n>t)測得

最小二乘法第四節(jié)組合測量的最小二乘法處理

52組合測量基本概念t個被測量(t>1)n個誤差方程式求解n【例題】要求檢定絲紋尺0，1，2，3刻線間的距離x1,x2,x3.已知用組合測量法測得圖所示刻線間隙的各種組合量。試用最小二乘法求x1,x2,x3

及其標(biāo)準(zhǔn)偏差。第四節(jié)組合測量的最小二乘法處理

53【例題】要求檢定絲紋尺0，1，2，3刻線間的距離x1,x2直接測量各組合量Li，得首先列出誤差方程0123xxx123LLLLLL123456第四節(jié)組合測量的最小二乘法處理

54直接測量各組合量Li，得首先列出誤差方程0123xxx123由于由此可得：第四節(jié)組合測量的最小二乘法處理

55由于由此可得：第四節(jié)組合測量的最小二乘法處理55則有第四節(jié)組合測量的最小二乘法處理

56則有第四節(jié)組合測量的最小二乘法處理56那么，測量數(shù)據(jù)的標(biāo)準(zhǔn)差為將最佳估計值代入誤差方程中，得到求估計量的精度估計第四節(jié)組合測量的最小二乘法處理

57那么，測量數(shù)據(jù)