現(xiàn)代控制理論參數(shù)估計(jì)方法PPT課件

1、一、參數(shù)估計(jì)參數(shù)估計(jì)屬于曲線擬合問(wèn)題。例如做完某項(xiàng)試驗(yàn)之后，得到若干個(gè)觀測(cè)值 與相應(yīng)時(shí)間 的關(guān)系 。我們希望以一條曲線來(lái)表示 和 的關(guān)系，設(shè)izit,1,2,iiz timzt 1 122nnz tx h tx htx ht式中 為已知的時(shí)間函數(shù)，一般是 的冪函數(shù)、指數(shù)函數(shù)或正余弦函數(shù)等等。 為 個(gè)未知參數(shù)，它們不隨時(shí)間而變。 12nh ththt、 、t12nxxx、 、 、n第1頁(yè)/共86頁(yè)根據(jù) 對(duì)觀測(cè)值 來(lái)估計(jì)未知參數(shù)。按照什么準(zhǔn)則來(lái)估計(jì)這些參數(shù)呢？這將是第十章討論的主要問(wèn)題。m,1,2,iiz timmn；12nxxx、 、 、第2頁(yè)/共86頁(yè)二、狀態(tài)估計(jì)設(shè)系統(tǒng)的狀態(tài)方程和觀測(cè)方程分別

2、為 ttttttttH tttxAxBuFwzxv 式中， 為狀態(tài)變量，它是隨時(shí)間而變的隨機(jī)過(guò)程， 為控制變量， 為系統(tǒng)噪聲， 為測(cè)量噪聲， 為觀測(cè)值。現(xiàn)要根據(jù)觀測(cè)值來(lái)估計(jì)狀態(tài)變量 ，這就是狀態(tài)估計(jì)問(wèn)題?？柭鼮V波是一種最有效的狀態(tài)估計(jì)方法，將在第十一章討論這個(gè)問(wèn)題。 tx tu tw tv tz tx第3頁(yè)/共86頁(yè) 人們希望估計(jì)出來(lái)的參數(shù)或狀態(tài)愈接近真值愈好，因此提出了最優(yōu)估計(jì)問(wèn)題。所謂最優(yōu)估計(jì)，是指在某一確定的準(zhǔn)則條件下，從某種統(tǒng)計(jì)意義上來(lái)說(shuō)，估計(jì)達(dá)到最優(yōu)，顯然，最優(yōu)估計(jì)不是唯一的，它隨著準(zhǔn)則不同而不同，因此在估計(jì)時(shí)，要恰當(dāng)選擇估計(jì)準(zhǔn)則。 在自動(dòng)控制中，為了實(shí)現(xiàn)最優(yōu)控制和自適應(yīng)控制，遇到

3、許多參數(shù)估計(jì)或狀態(tài)估計(jì)問(wèn)題，促進(jìn)了估計(jì)理論和估計(jì)方法的發(fā)展。另外，由于電子計(jì)算機(jī)的迅猛發(fā)展和廣泛使用，使得許多復(fù)雜的估計(jì)問(wèn)題的解決成為可能，這也促進(jìn)了估計(jì)理論的發(fā)展。所以近二十多年來(lái)最優(yōu)估計(jì)理論及其應(yīng)用得到迅速的發(fā)展。第4頁(yè)/共86頁(yè)第十一章 參數(shù)估計(jì)方法 本章討論參數(shù)估計(jì)準(zhǔn)則和估計(jì)方法，根據(jù)對(duì)被估值統(tǒng)計(jì)特性的掌握程度不同，可提出不同的估計(jì)準(zhǔn)則。依據(jù)不同的準(zhǔn)則，就有相應(yīng)的估計(jì)方法，即最小方差估計(jì)、線性最小方差估計(jì)、極大似然估計(jì)、極大驗(yàn)后估計(jì)、最小二乘估計(jì)等，本章將對(duì)這些估計(jì)方法進(jìn)步不同程度的討論。第5頁(yè)/共86頁(yè)第一節(jié) 最小方差估計(jì)與線性最小方差估計(jì) 一、最小方差估計(jì) 最小方差準(zhǔn)則，要求誤差的

4、方差為最小，它是一種最古典的估計(jì)方法，這呼估計(jì)方法需要知道被估隨機(jī)變量 的概率分布密度 和數(shù)學(xué)期望 。這種苛刻的先驗(yàn)條件，使此方法在工程上的應(yīng)用受到很大限制。這里只以一維隨機(jī)變量的估計(jì)為例，介紹最小方差估計(jì)方法。x p x E x第6頁(yè)/共86頁(yè)將上式展開(kāi)，得 2222JExxE xxE xx 設(shè)有一維隨機(jī)變量 ，它的概率密度 和常數(shù)期望 ，都是已知的，求 的估值 。評(píng)價(jià)估計(jì)優(yōu)劣的準(zhǔn)則是 與 的誤差的方差為最小，即x p x xE xmx x xx 22minJExxxxp x dx(11-1)第7頁(yè)/共86頁(yè)求上式對(duì) 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，得 x 22JxE xx因此 的最小方差估值為

5、，估計(jì)誤差為xxm 0 xxxxxxxxmE xE xR xE xmmm即 E xE x則 的最優(yōu)估值為x xxE xxp x dxm(11-2)第8頁(yè)/共86頁(yè) 如果估值 的數(shù)學(xué)期望等于 的數(shù)學(xué)期望，或者估計(jì)誤差 的數(shù)學(xué)期望為零，則最小方差估計(jì)是無(wú)偏的。因此 的估計(jì)是無(wú)偏估計(jì)。 xx xx所以數(shù)學(xué)期望 是 的最小方差估計(jì)。xmx這種方法可以推廣到多維隨機(jī)變量的估值，這里不再敘述。估計(jì)誤差 的方差為 x 222xxxExmxmp x dx(11-3)第9頁(yè)/共86頁(yè)二、線性最小方差估計(jì) 線性最小方差估計(jì)就是估計(jì)值為觀測(cè)值的線性函數(shù)，估計(jì)誤差的方差為最小。在使用這種方法時(shí)，需要知道觀測(cè)值和被估值

6、的一、二階矩，即數(shù)學(xué)期望 和 、方差Varz和Varx及協(xié)方差 和 。 E z E xCov xz，Cov zx，第10頁(yè)/共86頁(yè)的條件來(lái)確定系數(shù) 和 。ab式中 和 為兩個(gè)待定常數(shù)。根據(jù)估計(jì)誤差的方差ab22JExxExazbmin(11-5) 先討論被估值 和觀測(cè)值 都是一維隨機(jī)變量的情況。線性最小方差估計(jì)是把 的估值 表示成 的線性函數(shù)，即xzxz x xazb(11-4)第11頁(yè)/共86頁(yè) 求式(11-5)對(duì) 和 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可求得 和 兩個(gè)系數(shù)。abba202JExazbzaJExazba (11-7)(11-6)從式(11-7)可得0 xzmamb式中 和 為 和

7、的數(shù)學(xué)期望，從此式可得xmzmxzxzbmam(11-8)第12頁(yè)/共86頁(yè)將式(11-8)代入式(11-6)得0 xzExazmamz把上式改寫成 0 xzzzExma zmzmm展開(kāi)上式得02xzzxzzzExmzmm E xmaEzmam E zm第13頁(yè)/共86頁(yè) 式中， 分別為隨機(jī)變量 和 的均方根差， 為 與 的相關(guān)系數(shù) 。于是的估值為xz、xzxzxzCov,/xzxzax z 2Cov,xzxx zxazbmzm(11-10)求上式的數(shù)學(xué)期望值，可得222220Cov,xzxzxzzxxxCov xzax za ，(11-9)第14頁(yè)/共86頁(yè)估計(jì)誤差為xxx 0 xzzzzx

8、xzzxzzzxE xE xE mE zmmmmm 因此 。所以估計(jì)是無(wú)偏的。 E xE x第15頁(yè)/共86頁(yè) 下面討論 和 都是多維隨機(jī)變量的估計(jì)問(wèn)題。設(shè) 為 維， 為維，已知 和 的一、二階矩，即 xzxxzznq VarVarzCov,Cov,E xE zx zz x、和假定 的估值 是 的線性函數(shù)xz x z xbAz式中， 是 維非隨機(jī)常數(shù)向量， 是 非隨機(jī)常數(shù)矩陣。nbAnq(11-11)第16頁(yè)/共86頁(yè)估計(jì)誤差方差陣為( )( ) TTJTraceExx zxx zExbAzxbAz(11-12) 估計(jì)準(zhǔn)則是方差陣J為最小，也可等價(jià)為方差陣J的跡 為最小，即 的各分量的方差之和

9、為最小tJx minTtTJTraceEExbAzxbAzxbAzxbAz(11-13)第17頁(yè)/共86頁(yè) 用函數(shù)對(duì)矩陣的微分法則（附錄一），求 和 ，令 和 ，聯(lián)立求解可得 。tJbtJA0tJb0tJAbA和220tzzJE xbAzbAmmb zzEEbmAmxAx 22220TtTTTTTTJEEEEEEE xbAzxbAzAAxbAz zxbxAzzAzzbzxx(11-15)(11-14)第18頁(yè)/共86頁(yè)將式(11-14)代入式(11-15)得 000( , )0TTTTTTTTTTEEEEEEzEE z EEEEEEEEEE zAVarzCov x zAzzxzAzzxAzzz

10、xzxzAzzzzxxz因此 1CovVarAxzz、(11-16)第19頁(yè)/共86頁(yè)將式(11-16)代入式(11-14)，可得 1CovVar EEbxxzzz、根據(jù)式(11-16)和式(11-17)求得 代入式(11-11)，得Ab和 11Cov,VarCov,VarzEExxxx zzzzmx zzzm(11-18)第20頁(yè)/共86頁(yè) 1Cov,VarzEEEExxxmx zzzmmx由式(11-18)可得所以估計(jì)是無(wú)偏的。估計(jì)誤差的方差陣為1Var -CovVarCovJxxzzzx、(11-19)第21頁(yè)/共86頁(yè)第二節(jié) 極大似然法估計(jì)與極大驗(yàn)后法估計(jì) 一 、極大似然法估計(jì) 極大似

11、然法估計(jì)是以觀測(cè)值出現(xiàn)的概率為最大作為估計(jì)準(zhǔn)則的，它是一種常用的參數(shù)估計(jì)方法。 設(shè) 是連續(xù)隨機(jī)變量，其分布密度為 ，含有 個(gè)未知參數(shù) 。把 個(gè)獨(dú)立觀測(cè)值 分別代入 中的 ，則得z12,np z n12,n k12,kz zz12,np z z12,1,2,inp zik ，第22頁(yè)/共86頁(yè)稱函數(shù) 為似然函數(shù)。當(dāng) 固定時(shí)， 是 的函數(shù)。極大似然法的實(shí)質(zhì)就是求出使 達(dá)到極大時(shí)的 的估值。從式(11-20)可看到 是觀測(cè)值 的函數(shù)。L12,kz zzL12,n L12,n 12,n 12,n 12,kz zz將所得的 個(gè)函數(shù)相乘，得k1212121,kkniniL z zzp z ， ；(11-2

12、0)第23頁(yè)/共86頁(yè) 為了便于求出使 達(dá)到極大的 ，對(duì)式(11-20)取對(duì)數(shù)，則L12,n 1121lnln,kniLp z (11-21) 由于對(duì)數(shù)函數(shù)是單調(diào)增加函數(shù)，因此當(dāng) 取極大值時(shí)， 也同時(shí)取極大值，將上式分別對(duì) 求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得下列方程組：LlnL12,n 1nln0ln0LL(11-22)第24頁(yè)/共86頁(yè) 解上述方程組，可得使 達(dá)到極大值的 。按極大似然法確定的 ，使 最有可能出現(xiàn)，并不需要的驗(yàn)前知識(shí)，即不需要知道的概率分布密度和一、二階矩。L12,n 12,n 12,kz zz12,n 第25頁(yè)/共86頁(yè) 例11-1 設(shè)有正態(tài)分布隨機(jī)變量 ，給出 個(gè)觀測(cè)值 。觀

13、測(cè)值相互獨(dú)立，試根據(jù)這 個(gè)觀測(cè)值，確定分布密度中的各參數(shù)。zk12,kz zzk解: 的分布密度可用下式表示：z221,exp22zmp z m式中的 和 為未知參數(shù)。 m現(xiàn)有極大似然法來(lái)確定參數(shù) 和 。 m第26頁(yè)/共86頁(yè)作似然函數(shù)： 212211,exp22kikizmL z zzm；對(duì)上式取對(duì)數(shù)，可得212212211ln,lnexp221lnln22kikikiizmL z zzmzmkk ；第27頁(yè)/共86頁(yè)將上式分別對(duì) 和 求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得m21231lnL0lnlnL10kiikiizmkzm聯(lián)立求解可得2211kkiiiizzmmkk，第28頁(yè)/共86頁(yè)上面介紹

14、了極大似然法的基本概念?，F(xiàn)在來(lái)討論極大似然法估計(jì)參數(shù)的問(wèn)題。 設(shè) 為 維隨機(jī)變量， 為 維未知參數(shù)，假定已知 的條件概率密度 。現(xiàn)在得到 組 的觀測(cè)值。觀測(cè)值相互獨(dú)立。當(dāng)參數(shù) 是何值時(shí)， 出現(xiàn)的可能性最大？為此，確定似然函數(shù)：/p z xzxmnzzkx12,kz zz 12,/kL z xp zx p zxp zxp z x或 ln,ln/L z xp z x(11-23)(11-24)第29頁(yè)/共86頁(yè)取極大值的充分條件是L2222ln00LLxx或 因此，用極大似然法時(shí)，應(yīng)先求似然函數(shù) ，然后用微分法求出使似然函數(shù) 為極大的的 估值 。LLx x解之，可得 的估值 。x x求出使 為極大

15、的 值，令 Lxln00LLxx或(11-25)第30頁(yè)/共86頁(yè)下面求似然函數(shù) 1,/p xvL z xp z xpx，設(shè)有一線性觀測(cè)系統(tǒng)zb z,vHzV 式中， 是 維觀測(cè)值， 是 維未知參數(shù)， 是 維測(cè)量誤差。設(shè)與 獨(dú)立。給出 的統(tǒng)計(jì)特性，求 的極大似然估計(jì)。zmxnvmvxvx(11-26)第31頁(yè)/共86頁(yè) 根據(jù)不同隨機(jī)變量的概率密度變換公式，并考慮到 與 獨(dú)立，可得xv 1212221,p x zp x Hzvp x vpx pvpx pvL z xpvpzHxpx令 2,0LpHz xzxxx得上式，可得的 估值 。x x第32頁(yè)/共86頁(yè)假定噪聲 是正態(tài)分布，其均值為零，方差

16、陣為 ，則vTE vvR 121/211,exp -22TmL z xpvvvRR把 代入上式，得vzHx121,exp -2TL z xpczHxzHxRzHx式中 1/212mcR第33頁(yè)/共86頁(yè)求出 ，使 為最大，也就是使x2,L z xpzHx11min2TJzHxRzHx(11-27)求 對(duì) 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得 的估值Jxx x110TT JH R zH R Hxx11TTH R HxH R z111TTxH R HH R z(11-28)第34頁(yè)/共86頁(yè)二、極大驗(yàn)后估計(jì) 如果給出 維隨機(jī)變量 的條件概率分布密度 也稱驗(yàn)后概率密度，怎樣求 的最優(yōu)估值 呢？極大驗(yàn)后估計(jì)

17、準(zhǔn)則：使 的驗(yàn)后概率密度 達(dá)到最大那個(gè) 值為極大驗(yàn)后估值 。可見(jiàn)，極大驗(yàn)后估計(jì)是已知 求 的最優(yōu)估值 的一種有效方法。nx/p x zx xx/p x zx x/p x z x第35頁(yè)/共86頁(yè) 式中 是 的驗(yàn)前概率密度， 是觀測(cè)值 的概率密度，可用計(jì)算方法或?qū)嶒?yàn)方法求得。為了計(jì)算 需要知道 。在 沒(méi)有驗(yàn)前知識(shí)可供利用時(shí)，可假定 在很大范圍內(nèi)變化。 p xx p zz/p z x/p x z p xxx 極大驗(yàn)后估計(jì)是以已知 為前提的。如果只知道 ，可按下式計(jì)算 。/p x z/p z x/p x z /p z x p xp x zp z(11-29)第36頁(yè)/共86頁(yè) 在這種情況下，可把 的

18、驗(yàn)前概率密度 近似地看作方差陣趨于無(wú)限大的正態(tài)分布密度x p x 11/211exp -22TxxnpxxmPxmP式中 為 的方差陣， 為 單位陣， ，于是xP PII，nn1P0 /21/2111lnln 2-2lnnTxxxpp xPxmPxmxPxmx(11-30)第37頁(yè)/共86頁(yè)當(dāng) 1P0 ln0pxx(11-31) 當(dāng)缺乏 的驗(yàn)前概率分布密度時(shí)，極大驗(yàn)后估計(jì)與極大似然估計(jì)是等同的，現(xiàn)證明如下：x對(duì)于極大似然估計(jì)，為了求得 的最優(yōu)估值 ，應(yīng)令x xln/0pz xx(11-32)對(duì)于極大驗(yàn)后估計(jì)，為了求得 的最優(yōu)估值 ，應(yīng)令x xln/0px zx(11-33)第38頁(yè)/共86頁(yè)根

19、據(jù)式(11-29)得 ln/ln/ln-lnln/ln/lnln0ppppppppx zz xxzx zz xxzxxxx考慮到 不是 的函數(shù)，同時(shí)考慮到式(11-31)，可得 p zxln/ln/ppx zz xxx 一般說(shuō)來(lái)，極大似然估計(jì)比極大驗(yàn)后估計(jì)應(yīng)用普遍，這是由于計(jì)算似然函數(shù)比計(jì)算驗(yàn)后概率密度較為簡(jiǎn)單。(11-34)第39頁(yè)/共86頁(yè) 第三節(jié) 最小二乘法估計(jì)與加權(quán)最小二乘法估計(jì) 上面討論的幾種估計(jì)方法，分別對(duì)被估隨機(jī)變量 的概率分布密度 、條件概率密度 、 以及一、二階矩等條件有著不同的要求。假定我們并不掌握上述任何條件，仍要估計(jì)隨機(jī)變量 的最優(yōu)估值 ，只有用高斯提出的最小二乘法。x

20、 p x/p z x/p x zx x第40頁(yè)/共86頁(yè)一、最小二乘法估計(jì) 設(shè) 次獨(dú)立試驗(yàn)，得到 對(duì)觀測(cè)值： 。這里 表示時(shí)間或其他物理量。現(xiàn)在的任務(wù)是：根據(jù)這些觀測(cè)值，用最優(yōu)的形式來(lái)表示 與 之間的函數(shù)關(guān)系。m 1122,mmz tz tzt， ，itztm 通常， 的未知函數(shù)可用 表示， 的類型應(yīng)根據(jù)這 對(duì)數(shù)據(jù)（ 個(gè)點(diǎn)）的分布情況或所研究問(wèn)題的物理性質(zhì)來(lái)確定。 f tz f tmm第41頁(yè)/共86頁(yè)為了便計(jì)算，可采用多項(xiàng)式 21123nnf txx tx tx t(11-35)來(lái)表示，也可以用更一般的形式表示： 1 12212nnnf tx h tx htx htf txxx， ， ， ，

21、在式(11-36)中， 為已知的確定性函數(shù)，如 的冪函數(shù)、正余弦函數(shù)和指數(shù)函數(shù)等。 為 個(gè)待定的未知數(shù)。 12nh ththt， ，t12nxxx， ， ，n(11-36)第42頁(yè)/共86頁(yè) 把 對(duì)觀測(cè)值代入式(11-35)或(11-36)，可得 個(gè)方程式。如果 ，即方程數(shù) 少于未知參數(shù)的數(shù)目。則方程的解不確定，不是唯一地確定解出 。當(dāng) 時(shí)，方程數(shù)正好與未知參數(shù)的數(shù)目相等，能唯一地解出 。在這種情況下， 曲線一定通過(guò)每一個(gè)觀測(cè)點(diǎn) 。因?yàn)樵谟^測(cè)結(jié)果中，不可避免地含有隨機(jī)測(cè)量誤差，如果曲線通過(guò)每一個(gè)觀測(cè)點(diǎn)，則曲線將包含這些測(cè)量誤差，反而不能真實(shí)地表達(dá)出 與 之間的正確函數(shù)關(guān)系。所以不應(yīng)要求 曲線一

22、定通過(guò)每一個(gè)觀測(cè)點(diǎn)。mmmnm12nxxx， ， ，mn12nxxx， ， ， f t( , )(1,2,)iiz timzt f t 一般，試驗(yàn)次數(shù) ，而且希望 比 大得多，即方程數(shù)大于未知參數(shù)數(shù)目這種情況只能采用數(shù)理統(tǒng)計(jì)求估值的方法。下面討論這一問(wèn)題。mnmn第43頁(yè)/共86頁(yè) 確定了函數(shù) 的類型之后，問(wèn)題就歸結(jié)為如何合理地選擇 中的參數(shù) ，使得這一函數(shù)在一定意義下比較準(zhǔn)確地反映出 與 的函數(shù)關(guān)系。通常用最小二乘法來(lái)選擇這些參數(shù)。所謂電波二乘法，就是要求所選擇的 的參數(shù)，使得觀測(cè) 與對(duì)應(yīng)的函數(shù) 的偏差的平方和為最小。設(shè) 為觀測(cè)值 與對(duì)應(yīng)函數(shù) 的偏差的平方和，即 if t f t f t12

23、nxxx， ， ，zt f tizJiz if t 221211,mmiiiniiiJzf tzf x xx t(11-37)第44頁(yè)/共86頁(yè) 按照 為最小的條件來(lái)確定 中的參數(shù) ，將上式分別對(duì) 求偏導(dǎo)數(shù)，并令它們等于零，可得下列方程組：J f t12nxxx， ， ，12nxxx， ， ，12121211212112121,0,0,0nminixniiminixniiminixniizf x xx tfx xx tzf x xx tfx xx tzf x xx tfx xx t 上述方程組有 個(gè)方程， 個(gè)未知數(shù)，解之可得 的最優(yōu)估值 。nn12nxxx， ， ，12nxxx， ， ，12n

24、xxx， ， ，(11-38)第45頁(yè)/共86頁(yè)例11-2 觀測(cè)值 和觀測(cè)時(shí)刻 如表11-1所示。izit245892.012.983.505.025.47itiz表11-1 設(shè) 。用最小二乘法確定 和 。 12f txx t1x2x第46頁(yè)/共86頁(yè)解: 1251215121100 xxiiiiiiifftzxx tzxx t t，把 值分別代入上面兩個(gè)方程，經(jīng)過(guò)整理后可得iizt，12125.63.7966.78574.3846xxxx第47頁(yè)/共86頁(yè)解上述方程組，可得 的估值：12xx和121.06160.496xx，所以 1.0160.496z tf tt第48頁(yè)/共86頁(yè)實(shí)際上 與

25、 不可能完全一致，這是由于以下幾個(gè)原因引起：iz if t 選得不夠準(zhǔn)確；ix 存在觀測(cè)誤差； 的模型方程 選得不夠確切。z f t當(dāng)選定 之后，可得觀測(cè)值 與 之差 xiz12 ,nif xxx t， ， ，12 ,1,2,iiniezf xxx tim， ， ，(11-39)第49頁(yè)/共86頁(yè)式(11-39)可寫成12 ,inizf xxx t， ， ，考慮到式(11-36)，上式可寫成 1 1221,2,iiinniizx h tx htx hteim(11-40)或?qū)懗?11 112211121 12222221 122nnnnmmmnnmmzx h tx htx htezx h tx

26、 htx htezx h tx htx hte(11-41)第50頁(yè)/共86頁(yè)如果設(shè)111222mnmzxezxezxezxe 112111222212nnmmnmh ththth ththth ththt12mhhHh(11-43)(11-42) 式中， 。則式(11-41)可寫成下列矩陣形式 121,2,iiinih ththtimh， ，zHxe(11-44)第51頁(yè)/共86頁(yè)求 對(duì) 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得J x20TTTTJH zH HxxH HxH z 下面用矩陣形式不表示最小二乘的公式。殘差的平方可用下式表示：21mTiiJee e(11-45)從式(11-44)得 TJe

27、zHxzHxzHx(11-46)(11-47)第52頁(yè)/共86頁(yè)因而 的估值為x1TTxH HH z為使 能求得估值 ，逆陣 必須存在。J x1TH H(11-48) 為極小的充分條件是J2220TJH Hx即 為正定矩陣。TH H(11-49)第53頁(yè)/共86頁(yè)當(dāng) 時(shí)， 為 階方陣，且 存在時(shí)，則mnHn1H1xH z在一般情況下， ，因此 要用式(11-48)來(lái)求。mn x(11-50)第54頁(yè)/共86頁(yè)例11-3 觀測(cè)值 和觀測(cè)時(shí)刻如例11-2，試用式(11-48)求 的系數(shù) 和 。iz z tf t1x2x解: 121 122121f txx tx h tx hth thtt，第55頁(yè)

28、/共86頁(yè)則 12121122121222124414551588189919hhhhxhhxhhhh xH，123452.012.98111112.50245895.025.47TzzzzzzH，第56頁(yè)/共86頁(yè)15281.144570.16867281900.168670.0301TTH HH H122.012.981.144570.16867111111.0162.500.168670.0301245890.4965.025.47xx 因此 = =1.016+0.496 z tf tt第57頁(yè)/共86頁(yè)二、加權(quán)最小二乘法 當(dāng) 的測(cè)量精度高時(shí)， 大；反之， 小。這樣可使擬合曲線接近于測(cè)量

29、精度高的點(diǎn)，從而保證擬合曲線有較高的準(zhǔn)確度。iziwiw 在式(11-45)中，每個(gè)誤差值 的系數(shù)都為1，即在 中每個(gè)誤差值都是“等權(quán)”的。事實(shí)上，在 值的不同測(cè)量范圍內(nèi)，測(cè)量精度往往是不同的，因而測(cè)量誤差也不相同。合理的辦法是對(duì)不同的誤差項(xiàng) 加不同的權(quán)，即把 寫成2ieJz2ieJ2211mmiiiiiiiJwew zh x(11-51)第58頁(yè)/共86頁(yè) 式中 為 對(duì)稱矩陣，稱為加權(quán)矩陣。求 對(duì) 的偏導(dǎo)數(shù)，并令其等于零，可得WmmJ x220TTTTJH H WzH W xxH WH xH Wz則可得 1TTxH WHH Wz(11-53)把式(11-51)寫成TJ zHxW zHx(11

30、-52)第59頁(yè)/共86頁(yè)為極小的充分條件為J2220TJH WHx即 為正定矩陣。TH WH(11-54)由于測(cè)量 時(shí)，存在測(cè)量誤差 ，故觀測(cè)方程為zvzHxv 和 都為 維向量。假定 ， 不一定是正態(tài)分布。xvm 0E vTEvvRv，(11-55)第60頁(yè)/共86頁(yè)由式(11-53)得加權(quán)最小二乘法的估計(jì)誤差11TTTTxxxxH WHH WzH WHH W Hxz考慮到式(11-55)，得1TT xH WHH Wv(11-56)由上式可得 10TTE xH WHH W v所以，在上述條件下的加權(quán)最小二乘法估計(jì)為無(wú)偏估計(jì)。(11-57)第61頁(yè)/共86頁(yè)可以證明， 使估計(jì)誤差的方差為最小

31、，因而 為最優(yōu)的加權(quán)矩陣。有時(shí)，人們把式(11-59)稱為馬爾柯夫估計(jì)。1WR1WR考慮式(11-56)，估計(jì)誤差的方差程為11VarTTTTERWxxxxxH WHH WH H WH(11-58)如果選取 ，則估計(jì) 和 分別為1WR xVarx 111TTxH R HH R z11VarTxH R H(11-59)(11-60)第62頁(yè)/共86頁(yè)第四節(jié) 遞推最小二乘法估計(jì) 在前面所討論的最小二乘法和加權(quán)最小二乘法，需要同時(shí)用到所有的測(cè)量數(shù)據(jù)，在計(jì)算時(shí)不考慮測(cè)量數(shù)據(jù)的時(shí)間順序。當(dāng)測(cè)量數(shù)據(jù)很多時(shí)，要求計(jì)算機(jī)具有很大的存儲(chǔ)量。在實(shí)際處理過(guò)程中，測(cè)量數(shù)據(jù)往往是按時(shí)間順序逐步給出的，我們可先處理已經(jīng)得

32、到的一批數(shù)據(jù)，得到的近似估值，來(lái)了新的數(shù)據(jù)后，再對(duì)原估值進(jìn)行修正，這樣可以減少計(jì)算機(jī)的存儲(chǔ)量。第63頁(yè)/共86頁(yè) 下面先討論一維遞推最小二乘法。設(shè)觀測(cè)值 是一維的，假定已進(jìn)行了 次觀測(cè)，得到 的 個(gè)觀測(cè)值。用 和 表示相應(yīng)的向量和矩陣，即zkzkkkzHx、kv 1111211221222212nnkkkkkknkzh ththtzh ththtzh thththhzHh，1122kknrxrxknrx vx，第64頁(yè)/共86頁(yè)先用加權(quán)最小二乘法處理這一批觀測(cè)值，加權(quán)矩陣 ，一般 為對(duì)角線矩陣。1kkWRkR21222000000kkR把觀測(cè)方程寫成矩陣形式kkkzH xv(11-61)第65

33、頁(yè)/共86頁(yè)則 21222100100100kkW第66頁(yè)/共86頁(yè)處理k個(gè)觀測(cè)值，可得 的估值 xkx1TTkkkkkkkxH W HH W z(11-62)設(shè) 1TkkkkPH W H(11-63)則 TkkkkkxP H W z(11-64)現(xiàn)在又得到了第 次觀測(cè)值1k 1kz11 1122111kkknnkkzx h tx htx ht hx式中， 。111211kkknkh ththt h， ，(11-65)第67頁(yè)/共86頁(yè) 下面通過(guò) 個(gè)觀測(cè)值，求得 的估值 ，然后進(jìn)一步推出 與 的遞推關(guān)系。 1k x1kx1kxkx將式(11-65)與式(11-61)合并，可得111kkkzvH

34、x(11-66)式中 111111kkkkkkkkkvzHvzHvzh，(11-67)第68頁(yè)/共86頁(yè)由于加權(quán)矩陣 一般為對(duì)角線矩陣，所以選取W1100kkkwWW(11-68)的估值x1kx11111111TTkkkkkkkxHWHHWz(11-69)利用矩陣求逆引理（附錄二），把求 逆矩陣問(wèn)題轉(zhuǎn)變?yōu)榍箅A數(shù)低的逆矩陣。nn11111111111100kkTTTkkkkkkkTTkkkkkkhwhhwhHWHWHHH W H(11-70)第69頁(yè)/共86頁(yè)再設(shè) 1TkkkkPH W H或 1TkkkkPH W H設(shè) 11111TkkkkPHWH(11-71)或 11111TTkkkkkkkh

35、whPH W H(11-72)根據(jù)矩陣求逆引理可得11111111TTTkkkkkkkkkkwPPP hhP hhP(11-73)第70頁(yè)/共86頁(yè) 這樣，把求 矩陣的逆陣轉(zhuǎn)變?yōu)榍髽?biāo)量 的倒數(shù)，使計(jì)算在為簡(jiǎn)化，把式(11-69)寫成nn1111TTkkkkwhP h111111111111111111111111kTTTTTkkkkkkkkkkkkkkkkTTTTkkkkkkkkkkkkkkkTTkkkkkkhhhwhhwhwzP hhhwhhwxPPPPH W zzP H W zPPPH W zz111111111111111111111TTTTkkkkkkkkkkkkkkkkkTTTTkk

36、kkkkkkkkkwwhhhwhhwxxP hzP hhP hP H W zPPPz(11-74)第71頁(yè)/共86頁(yè)注意到11111111111111111111111111111111TTTTkkkkkkkkkkkkkkkkTTTkkkkkkkkkkkTTkkkkkkkwwwwwwwP hzP hhP hhP hzP hhP hhP hzP hhP hz將式說(shuō)明(11-75)代入式(11-74)，并考慮到式(11-74)，可得111111111TTkkkkkkkkkkkwzxxP hhP hhx該式說(shuō)明： 的新估值 是原估值 加上與新的觀測(cè)值 和 之差的線性修正項(xiàng)。 按式(11-73)遞推公

37、式計(jì)算。x1kxkx1kz1kz1kkhx1kP(11-75)(11-76)第72頁(yè)/共86頁(yè) 在式(11-73)和式(11-76)中的 最優(yōu)值為觀測(cè)誤差 的方差，可用下式表示：11kw1kv122111kkkwE則式(11-76)代入和式(11-73)變成121111111TTkkkkkkkkkkkzxxP hhP hhx12111111TTkkkkkkkkkkPPP hhP hhP(11-77)(11-78)第73頁(yè)/共86頁(yè) 按式(11-77)和式(11-78)進(jìn)行遞推計(jì)算，必須知道 和 的初值 和 。初值 和 稱為驗(yàn)前估計(jì)。如果沒(méi)有給出 和 ，則可以先解第一批的 個(gè)方程，求 逆矩陣，這可大大減少計(jì)算工作量。kxkP0P0 x0P0 x0 x0Pnnn可以肯定，遞推計(jì)算結(jié)果與成批處理觀測(cè)數(shù)據(jù)的結(jié)果是相同的。第74頁(yè)/共86頁(yè)下面再討論觀測(cè)值 是多維的，假定維數(shù)為 。用 表示