《系統(tǒng)辨識第四章》PPT課件.ppt

1、1,系統(tǒng)辨識基礎(chǔ),2,系統(tǒng)辨識,第一章 模型方法與辨識 第二章 脈沖響應辨識 第三章 最小二乘辨識 第四章 極大似然辨識 第五章 時間序列建模與隨機逼近辨識 第六章 模型階次的辨識 第七章 閉環(huán)系統(tǒng)辨識,3,第四章 極大似然辨識, 前言 4-1 極大似然原理 4-2 動態(tài)系統(tǒng)模型參數(shù)的極大似然估計 4-3 極大似然估計的一致性 4-4 預報誤差參數(shù)辨識法,4,第四章 極大似然辨識,極大似然法，是一種適用范圍非常廣泛的傳統(tǒng)辨識方法，1906年，由R.A.Fisher提出。極大似然估計方法在隨機系統(tǒng)參數(shù)估計、故障檢測及容錯控制等方面，有廣泛應用。把這種經(jīng)典的估計方法用于動態(tài)過程或動態(tài)系統(tǒng)辨識，可以

2、獲得良好的估計性質(zhì)。,極大似然法要求已知輸出量的條件概率密度函數(shù)，建立隨機觀測數(shù)據(jù)與未知參數(shù)之間的概率特性和統(tǒng)計關(guān)系，通過使條件概率密度函數(shù)為極大的準則，求出未知參數(shù)的估計值。因而，極大似然辨識法是一種概率性的參數(shù)估計方法。,5,4-1 極大似然原理,一、似然函數(shù),6,7,可見，條件概率密度函數(shù)與似然函數(shù)有不同的物理含義，但其數(shù)學表達形式一致，即,8,9,10,11,二、極大似然估計求法,極大似然估計定義,12,似然方程與對數(shù)似然方程,故可通過,由于,13,14,正態(tài)獨立同分布隨機過程均值與方差的極大似然估計,15,取對數(shù)似然函數(shù),16,17,18,求出,19,驗證：,20,例4-1,解,21

3、,相應的對數(shù)似然函數(shù),22,且,23,例4-2,解,24,相應的對數(shù)似然函數(shù),25,4-2 動態(tài)系統(tǒng)模型參數(shù)的極大似然估計,一、第1種模型噪聲情況,設(shè)動態(tài)系統(tǒng)差分方程為,26,式中,27,28,噪聲的聯(lián)合概率密度函數(shù),29,30,31,輸出觀測向量的似然函數(shù),根據(jù)隨機向量變換法則，可以導出,32,模型參數(shù)的極大似然估計,觀測向量Y的對數(shù)似然函數(shù)為,33,34,35,兩點注意事項,36,37,38,39,方差陣,聯(lián)合概率密度函數(shù),40,41,42,43,構(gòu)造預報誤差方程：,因此，預報誤差方程中的,44,可見，預報誤差方程代表一大類含噪聲的線性動態(tài)系統(tǒng)。,假設(shè)：,45,噪聲的條件期望,取性能指標為

4、,(殘差平方和的均值),46,47,下面給出簡要證明。由預報誤差模型，預報誤差：,由預報誤差方程知：,因而預報誤差,48,式中,49,50,51,于是有,從而證明了預報誤差估計和正態(tài)條件下的極大似然估計具有一致性，都是真實參數(shù) 的一致估計。,52,4-4 預報誤差參數(shù)辨識法,極大似然法要求已知數(shù)據(jù)的概率分布，通常都假設(shè)數(shù)據(jù)服從正態(tài)(高斯)分布。然而，實際問題中的數(shù)據(jù)不一定都是正態(tài)分布的。當數(shù)據(jù)的概率分布不知道時，無法應用極大似然估計。,預報誤差參數(shù)辨識法不要求數(shù)據(jù)概率分布先驗知識，是一種更加一般的參數(shù)辨識方法，也是極大似然估計的一種推廣。,業(yè)已證明，當數(shù)據(jù)的概率服從正態(tài)分布時，預報誤差估計法等

5、價于極大似然法（Goodwin澳大利亞教授,1977）.,53,54,則預報誤差模型：,預報誤差模型表明：k時刻的輸出，可以用k時刻以前的數(shù)據(jù)來“預報”。,55,56,57,而在多入-多出情況下,58,59,由預報誤差模型,60,61,幅值相乘,相角相加,62,63,64,65,預報誤差協(xié)方差 未知時的似然函數(shù),取負對數(shù)似然函數(shù)，有,根據(jù)矩陣跡的微分運算法則：,66,67,以 代替 ，負對數(shù)似然函數(shù)為,68,69,三、預報誤差參數(shù)估計方法(Newton-Raphson法),預報誤差參數(shù)估計法實質(zhì),由于預報誤差準則 或 一般都是參數(shù),的非線性函數(shù)，故令 極小化求 的方法，,歸納為極小化 的最優(yōu)化算法。,若預報誤差 的協(xié)方差陣 已知，則取,作為預報誤差準則，且取權(quán)陣 ；,若 未知，則應選 為預報誤差準則。,70,預報誤差準則極小化的最優(yōu)化算法,根據(jù)NewtonRaphson原理，,的最優(yōu)化算法歸納為如下迭代方程：,式中：, 第 次迭代的參數(shù)估計值；, 預報誤差準則 關(guān)于 的梯度；,71, Hessian矩陣；, 迭代步長，使,顯然，上述最優(yōu)化算法的關(guān)鍵是： 關(guān)于 的梯度,及Hessian矩陣的具體計算式；利用一維搜索法求 ，使,。,72,梯度與Hessian矩陣的計算,設(shè) 的協(xié)方差矩陣已知，即 已知，取權(quán)陣,，而,(n為系統(tǒng)階