極大似然法和預報誤差方法

1第7章

極大似然法和預報誤差方法27.1引言極大似然法一種非常有用的傳統(tǒng)估計方法由Fisher

發(fā)展起來的基本思想可追溯到高斯（1809年）用于動態(tài)過程辯識可以獲得良好的估計性質(zhì)3最小二乘法和梯度校正法計算簡單參數(shù)估計具有優(yōu)良的統(tǒng)計性質(zhì)噪聲的先驗知識要求也不高極大似然法基本思想與最小二乘法和梯度校正法完全不同4極大似然法——需要構(gòu)造一個以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)，通過極大化似然函數(shù)獲得模型的參數(shù)估計值。模型輸出的概率分布將最大可能地逼近實際過程輸出的概率分布。為此極大似然法通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗知識。在獨立觀測條件下，必須知道輸出量的概率分布；在序貫觀測的條件下，則需要確定基于k時刻以前的數(shù)據(jù)在k+1時刻輸出量的條件概率分布。預報誤差法——需要事先確定一個預報誤差準則函數(shù)，并利用預報誤差的信息來確定模型的參數(shù)。5意味著模型輸出的概率分布將最大可能地逼近實際過程輸出的概率分布通常要求具有能夠?qū)懗鲚敵隽康臈l件概率密度函數(shù)的先驗知識獨立觀測的條件下，必須知道輸出量的概率分布在序貫觀測的條件下，需要確定基于時刻以前的數(shù)據(jù)在時刻輸出量的條件概率分布6預報誤差方法需要事先確定一個預報誤差準則函數(shù)利用預報誤差的信息來確定模型的參數(shù)某種意義上與極大似然法等價的或極大似然法的一種推廣7極大似然法和預報誤差方法優(yōu)點：參數(shù)估計量具有良好的漸近性質(zhì)缺點：計算量比較大87.2極大似然參數(shù)估計辨識方法

7.2.1極大似然原理設是一個隨機變量在參數(shù)條件下的概率密度函數(shù)為的個觀測值構(gòu)成一個隨機序列個觀測值記作則的聯(lián)合概率密度為的極大似然估計就是使的參數(shù)估計值9即有或10顯然對一組確定的數(shù)據(jù)只是參數(shù)的函數(shù)，已不再是概率密度函數(shù)這時的稱作的似然函數(shù)以示區(qū)別有時記作概率密度函數(shù)和似然函數(shù)有著不同的物理意義,但數(shù)學表達式是一致的11極大似然原理的數(shù)學表示或

-

對數(shù)似然函數(shù)

-極大似然參數(shù)估計值使得似然函數(shù)或?qū)?shù)似然函數(shù)達到最大值12物理意義（極大似然原理的數(shù)學表現(xiàn)）對一組確定的隨機序列設法找到參數(shù)估計值使得隨機變量在條件下的概率密度函數(shù)最大可能地逼近隨機變量在（真值）條件下的概率密度函數(shù)上式反映極大似然原理的本質(zhì)，但數(shù)學上不好實現(xiàn)Kullback－Leibler信息測度：我們稱為Kullback－Leibler信息測度?？梢宰C明：7.2.2動態(tài)過程模型參數(shù)的極大似然估計考慮以下模型：其中：是均值為零，方差為的服從正態(tài)分布的白噪聲。令：且假定過程是漸近穩(wěn)定的，即、和沒有公共因子，且和的零點都位于z平面的單位圓內(nèi)。噪聲模型已知的情形（已知）將模型（C）寫成最小二乘格式：其中：因為：則有記噪聲e(k)的協(xié)方差陣為，則由v(k)的正態(tài)性，可知：因此，有：對應的對數(shù)似然函數(shù)為：由極大似然原理可得：并且因此（D）式給出了參數(shù)的極大似然估計值。此時的恰好是參數(shù)的Markov估計。如果，則此時，參數(shù)的極大似然估計和最小二乘估計是等價的。對噪聲方差的極大似然估計：對噪聲方差的最小二乘估計：噪聲模型未知的情形（未知）

此時，令在獨立觀測的前提下，當獲得L組輸入輸出數(shù)據(jù)后，在給定的參數(shù)和輸入信號的條件下，的聯(lián)合概率密度函數(shù)可寫成：根據(jù)考察的模型（C），有：將此式代入到上式，我們有：由于當觀測至k時刻時，k-1時刻以前的z(?)、u(?)和v(?)都已經(jīng)確定，且v(k)與及無關，因此上式可以寫成：記：則有對數(shù)似然函數(shù)：其中滿足：（E）（F）利用極大似然原理，由得噪聲方差的極大似然估計：將此式代入（E），可得：再次利用極大似然原理，參數(shù)的極大似然估計必須使得：令：則這等價于使得其中v(k)滿足（F）的約束條件。（G）（H） 結(jié)論：在未知的情形下，求模型（C）的參數(shù)的極大似然估計等價于以下帶有約束條件的優(yōu)化問題：優(yōu)化的目標函數(shù)為（G），約束條件為（F）。同時噪聲方差的極大似然估計值為Lagrangian乘子法：根據(jù)以上得到的結(jié)論，求解帶有約束條件的優(yōu)化問題。引入Lagrangian乘子，構(gòu)造Lagrangian函數(shù)：由此，上述優(yōu)化問題轉(zhuǎn)化為Lagrangian函數(shù)對、和的求最小值問題。第一步：取并令：得到下面的方程組：第二步：就Lagrangian函數(shù)對求導，并令其為零，得：（J）因此，當給定和的初始值及輸入輸出數(shù)據(jù)，則由（J）可以計算得到，再利用

,由（I）式可以計算得到:

由于和與有關，對不能以線性的形式進行估計，因此必須對進行搜索，方可求得，使得:Newton－Raphson法

Newton－Raphson法求解以上優(yōu)化問題，本質(zhì)上是一種遞推算法，每得到L次觀測數(shù)據(jù)遞推一次的算法。優(yōu)化問題見上面。設是利用第N批輸入輸出數(shù)據(jù)，所求得的極大似然估計值，它使得或達到最小。當我們進一步獲得一批新的輸入輸出數(shù)據(jù)，由此可以求得，使得達到最小。(k)根據(jù)Newton－Raphson原理，我們有：其中為Hessian矩陣。將（K）式寫成遞推形式，即：(P)則可以求得：因此有：由上式遞推，得故有：將（Q）式代入（P）式，便可獲得的遞推算法。35預報誤差參數(shù)辯識方法極大似然法要求數(shù)據(jù)的概率分布是已知的通常都假設它們是服從高斯分布的實際問題不一定滿足這一假設如果數(shù)據(jù)的概率分布不知道使用極大似然法存在著一定的困難36預報誤差法不要求數(shù)據(jù)概率分布的先驗知識解決更加一般問題的一種辯識方法極大似然法的一種推廣當數(shù)據(jù)的概率分布服從正態(tài)分布時等價與極大似然法37預報誤差準則考慮更加一般的模型

-維的輸出向量

-維的輸入向量

-模型的參數(shù)向量

-噪聲項，其均值為零，協(xié)方差為

-輸出量的初始狀態(tài)，計算的必要信息38置則模型式寫成時刻的輸出可以用時刻以前的數(shù)據(jù)來刻劃39在獲得數(shù)據(jù)和的條件下對輸出的“最好”預報可取它的條件數(shù)學期望值使得這種“最好”的輸出預報應是“最好”模型的輸出可通過極小化預報誤差準則來獲得40常用的誤差預報準則加權(quán)陣-預先選定的矩陣或其中41當時將收斂于的協(xié)方差陣通過極小化或獲得的參數(shù)估計值稱作預報誤差估計它用不著數(shù)據(jù)概率分布知識4212.3其他兩種辯識方法43Bayes

方法基本原理所要估計的參數(shù)看作隨機變量設法通過觀測與該參數(shù)有關聯(lián)的其他變量以此來推斷這個參數(shù)44例如

Kalman

濾波器是典型的Bayes

方法不可觀測的待估計的狀態(tài)變量看作隨機變量狀態(tài)變量與可觀測的輸入輸出變量是密切相關的正是基于這些可觀測的輸入輸出變量推斷不可觀測的狀態(tài)變量45設是描述某一動態(tài)過程的模型是模型的參數(shù)，反映在動態(tài)過程的輸入輸出觀測值中如果過程的輸出變量在參數(shù)及其歷史記錄條件下的概率密度函數(shù)是已知的記作

-時刻以前的輸入輸出集合46根據(jù)Bayes

觀點，參數(shù)的估計問題表述成參數(shù)看作具有某種驗前概率密度的隨機變量設法從輸入輸出數(shù)據(jù)中提取關于參數(shù)的信息后者可以歸結(jié)為參數(shù)的驗后概率密度函數(shù)的計算問題47其中

-時刻以前的輸入輸出數(shù)據(jù)集合與之間的關系和-過程時刻的輸入輸出數(shù)據(jù)48如果是確定的變量，利用Bayes

公式參數(shù)的驗后概率密度函數(shù)可表示成參數(shù)的驗前概率密度函數(shù)及數(shù)據(jù)的條件概率密度函數(shù)是已知的49原則上根據(jù)式可以求得參數(shù)的驗后概率密度函數(shù)實際上這是困難的只有在參數(shù)與數(shù)據(jù)之間的關系是線性的，噪聲又是高斯分布的情況下才有可能得到式的解析解50求得參數(shù)的驗后概率密度函數(shù)后可進一步求得參數(shù)的估計值常用的方法極大驗后參數(shù)估計方法條件期望參數(shù)估計方法極大驗后參數(shù)估計方法和條件期望參數(shù)估計方法統(tǒng)稱為Bayes

方法51模型參考自適應辯識方法“模型參考”概念廣泛用于自適應控制中如果控制系統(tǒng)希望達到的控制性能指標用一個稱作參考模型的理想化控制系統(tǒng)的性能來描述以表示每一瞬間時實際過程與參考模型之間的特性的差異根據(jù)差異，不斷修改控制器參數(shù)可使實系統(tǒng)的控制性能指標盡可能的接近參考模型52模型參考自適應控制