《系統(tǒng)辨識第四章》PPT課件.ppt

1、1,系統(tǒng)辨識基礎,2,系統(tǒng)辨識,第一章 模型方法與辨識 第二章 脈沖響應辨識 第三章 最小二乘辨識 第四章 極大似然辨識 第五章 時間序列建模與隨機逼近辨識 第六章 模型階次的辨識 第七章 閉環(huán)系統(tǒng)辨識,3,第四章 極大似然辨識, 前言 4-1 極大似然原理 4-2 動態(tài)系統(tǒng)模型參數的極大似然估計 4-3 極大似然估計的一致性 4-4 預報誤差參數辨識法,4,第四章 極大似然辨識,極大似然法，是一種適用范圍非常廣泛的傳統(tǒng)辨識方法，1906年，由R.A.Fisher提出。極大似然估計方法在隨機系統(tǒng)參數估計、故障檢測及容錯控制等方面，有廣泛應用。把這種經典的估計方法用于動態(tài)過程或動態(tài)系統(tǒng)辨識，可以

2、獲得良好的估計性質。,極大似然法要求已知輸出量的條件概率密度函數，建立隨機觀測數據與未知參數之間的概率特性和統(tǒng)計關系，通過使條件概率密度函數為極大的準則，求出未知參數的估計值。因而，極大似然辨識法是一種概率性的參數估計方法。,5,4-1 極大似然原理,一、似然函數,6,7,可見，條件概率密度函數與似然函數有不同的物理含義，但其數學表達形式一致，即,8,9,10,11,二、極大似然估計求法,極大似然估計定義,12,似然方程與對數似然方程,故可通過,由于,13,14,正態(tài)獨立同分布隨機過程均值與方差的極大似然估計,15,取對數似然函數,16,17,18,求出,19,驗證：,20,例4-1,解,21

3、,相應的對數似然函數,22,且,23,例4-2,解,24,相應的對數似然函數,25,4-2 動態(tài)系統(tǒng)模型參數的極大似然估計,一、第1種模型噪聲情況,設動態(tài)系統(tǒng)差分方程為,26,式中,27,28,噪聲的聯(lián)合概率密度函數,29,30,31,輸出觀測向量的似然函數,根據隨機向量變換法則，可以導出,32,模型參數的極大似然估計,觀測向量Y的對數似然函數為,33,34,35,兩點注意事項,36,37,38,39,方差陣,聯(lián)合概率密度函數,40,41,42,43,構造預報誤差方程：,因此，預報誤差方程中的,44,可見，預報誤差方程代表一大類含噪聲的線性動態(tài)系統(tǒng)。,假設：,45,噪聲的條件期望,取性能指標為

4、,(殘差平方和的均值),46,47,下面給出簡要證明。由預報誤差模型，預報誤差：,由預報誤差方程知：,因而預報誤差,48,式中,49,50,51,于是有,從而證明了預報誤差估計和正態(tài)條件下的極大似然估計具有一致性，都是真實參數 的一致估計。,52,4-4 預報誤差參數辨識法,極大似然法要求已知數據的概率分布，通常都假設數據服從正態(tài)(高斯)分布。然而，實際問題中的數據不一定都是正態(tài)分布的。當數據的概率分布不知道時，無法應用極大似然估計。,預報誤差參數辨識法不要求數據概率分布先驗知識，是一種更加一般的參數辨識方法，也是極大似然估計的一種推廣。,業(yè)已證明，當數據的概率服從正態(tài)分布時，預報誤差估計法等

5、價于極大似然法（Goodwin澳大利亞教授,1977）.,53,54,則預報誤差模型：,預報誤差模型表明：k時刻的輸出，可以用k時刻以前的數據來“預報”。,55,56,57,而在多入-多出情況下,58,59,由預報誤差模型,60,61,幅值相乘,相角相加,62,63,64,65,預報誤差協(xié)方差 未知時的似然函數,取負對數似然函數，有,根據矩陣跡的微分運算法則：,66,67,以 代替 ，負對數似然函數為,68,69,三、預報誤差參數估計方法(Newton-Raphson法),預報誤差參數估計法實質,由于預報誤差準則 或 一般都是參數,的非線性函數，故令 極小化求 的方法，,歸納為極小化 的最優(yōu)化算法。,若預報誤差 的協(xié)方差陣 已知，則取,作為預報誤差準則，且取權陣 ；,若 未知，則應選 為預報誤差準則。,70,預報誤差準則極小化的最優(yōu)化算法,根據NewtonRaphson原理，,的最優(yōu)化算法歸納為如下迭代方程：,式中：, 第 次迭代的參數估計值；, 預報誤差準則 關于 的梯度；,71, Hessian矩陣；, 迭代步長，使,顯然，上述最優(yōu)化算法的關鍵是： 關于 的梯度,及Hessian矩陣的具體計算式；利用一維搜索法求 ，使,。,72,梯度與Hessian矩陣的計算,設 的協(xié)方差矩陣已知，即 已知，取權陣,，而,(n為系統(tǒng)階