《極大似然估計法》PPT課件.ppt

1、1,對參數(shù)估計來說，預(yù)報誤差法、極大似然法適用范圍均較為廣泛，它們不僅適用于線性模型也適用于非線性模型，是處理殘差序列相關(guān)情況下的另一類辯識算法。 預(yù)報誤差法類似于最小二乘法，它并不要求任何關(guān)于數(shù)據(jù)概率分布的統(tǒng)計假設(shè)為前提條件，而極大似然估計屬于一種概率性的參數(shù)估計法。 隨機(jī)逼近法是由統(tǒng)計學(xué)中，通過連續(xù)逼近以獲得估計參數(shù)發(fā)展而來的。它是隨機(jī)問題的梯度法應(yīng)用于觀測數(shù)據(jù)被噪聲污染，且對此噪聲的統(tǒng)計特性不夠了解的情況。算法十分簡單，具有實用價值。,第六章極大似然法及其它辯識方法,2,極大似然的思想,先看一個簡單例子：,某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過。只聽一聲槍響，野兔應(yīng)聲到下了，

2、如果要你推測，這一發(fā)命中的子彈是誰打的？,你就會想，只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學(xué)命中的概率，看來這一槍應(yīng)該是獵人射中的。這個例子所作的推斷就體現(xiàn)了極大似然的基本思想。,3,如果樣本取值x1x2xn，則事件 發(fā)生的概率為 。這一概率隨 的值變化而 變化。從直觀上來看，既然樣本值x1x2xn已經(jīng)出現(xiàn) 了，它們出現(xiàn)的概率相對來說應(yīng)比較大，應(yīng)使其概 率取比較大的值。取似然函數(shù)如下：,設(shè)總體X是離散型隨機(jī)變量，其概率函數(shù)為 ，其中是未知參數(shù)。設(shè)X1X2Xn為取自總體X的樣本。X1X2Xn的聯(lián)合概率函數(shù)為。這里，是常量，X1X2Xn是變量。,4,因此，求參數(shù)的極大似然估計值的問題就是

3、求似然函數(shù)最大值問題。這通過解方程 來得到。因為 和的增減性相同，所以它們在的同一值處取得最大值，稱為對數(shù)似然函數(shù)。可以通過求解下列方程來得到極大似然解。,極大似然估計法就是在參數(shù)的可能取值范圍內(nèi)，選取使達(dá)到最大的參數(shù)值，作為參數(shù) 的估計值。即取，使得：,5,例1：設(shè)某工序生產(chǎn)的產(chǎn)品的不合格率為p，抽n個產(chǎn)品作檢驗，發(fā)現(xiàn)有T個不合格，試求p的極大似然估計值。,分析：設(shè)X是抽查一個產(chǎn)品時的不合格品的個數(shù)，則X服從參數(shù)為p的兩點分布。抽查n個產(chǎn)品，則得樣本X1,X2,Xn，其觀察值為x1,x2xn，假如樣本有T個不合格，即表示x1,x2xn中有T個取值為1，有n-T個取值為0?；诖饲髤?shù)p的極大

4、似然估計值。,6,(1) 寫出似然函數(shù),(2) 對似然函數(shù)取對數(shù)，得到對數(shù)似然函數(shù):,(3) 對似然函數(shù)求導(dǎo)，令其為零，得到似然估計值,7,例2：設(shè)某機(jī)床加工的軸的直徑與圖紙規(guī)定的中心尺寸的偏差服從，其中參數(shù)未知。為了估計，從中隨機(jī)抽取n=100根軸，測得其偏差為x1,x2x100。試求的極大似然估計。,分析：顯然，該問題是求解含有多個(兩個)未知參數(shù)的極大似然估計問題。通過建立關(guān)于未知參數(shù)的似然方程組，從而進(jìn)行求解。,8,9,例3：某電子管的使用壽命X(單位:小時)服從指數(shù)分布：,今取得一組樣本Xk數(shù)據(jù)如下，問如何估計？,10,11,1、由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)； 2、把樣本聯(lián)合概率

5、函數(shù)中自變量看成已知常數(shù)， 而把參數(shù)看作自變量，得到似然函數(shù)； 3、求似然函數(shù)的最大值點(常轉(zhuǎn)化為求對數(shù)似 然函數(shù)的最大值點)； 4、在最大值點的表達(dá)式中，用樣本值代入就得 參數(shù)的極大似然估計值。,極大似然估計的法的運(yùn)算步驟：,12,作業(yè)：設(shè)總體的密度函數(shù)為：,現(xiàn)在得到總體的一個樣本X1,X2,Xn，其觀測值為x1,x2,xn，求參數(shù)的極大似然估計。,13,對極大似然原理描述如下：對于已有的一組觀測數(shù)據(jù)y1,y2,yN，它所具有的聯(lián)合概率分布表示了出現(xiàn)該觀測結(jié)果的可能性。而觀測值y1,y2,yN的聯(lián)合概率密度函數(shù) 與待估參數(shù) 的不同的參數(shù)值，將有不同的概率密度函數(shù)。當(dāng)，得到該觀測值y1,y2,

6、yN的可能性最大。也就是說，當(dāng)觀測結(jié)果為y1,y2,yN的條件下，是接近于參數(shù)真實值的可能性最大的參數(shù)估計值。,6.1 極大似然法(Maximum Likelihood Estimation),1.極大似然原理,14,極大似然法需要構(gòu)造一個以數(shù)據(jù)和未知參數(shù)為自變量的似然函數(shù)，并通過極大化似然函數(shù)，獲得模型的參數(shù)估計值。 已知參數(shù)的條件下，觀測量的概率密度為 在N次測量y1,y2,yN后，考慮似然函數(shù)： 如果不要求的分布密度，只要問的值為多少(最可能的值)，那么就只要求使得：,15,在特殊情況下，能夠通過方程得到解，但在一般情況下，上式不容易得到解析解，需要采用數(shù)值方法來求近似解。,考慮到似然函

7、數(shù)一般為指數(shù)函數(shù)，而指數(shù)函數(shù)和對數(shù)函數(shù)都是單調(diào)的，為了方便求解，上式等價于如下方程：,對于確定了的觀測值Y而言，似然函數(shù)僅僅是參數(shù) 的函數(shù)。由極大似然原理可知，滿足以下方程：,16,其中為高斯白噪聲，模型的估計問題可以表示成以下向量問題：,下面利用極大似然原理，分析動態(tài)系統(tǒng)模型參數(shù)的極大似然估計問題。首先分析極大似然估計和最小二乘估計的關(guān)系。 考慮系統(tǒng)模型為線性差分方程：,17,18,根據(jù)極大似然原理，求上式對未知參數(shù)求偏導(dǎo) 數(shù)且令其為0，可得：,由于是均值為零的高斯不相關(guān)序列，且與u(k) 不相關(guān)，于是得到似然函數(shù)：,對應(yīng)的負(fù)對數(shù)似然函數(shù)為：,19,這與最小二乘法的結(jié)果相同，這說明當(dāng)噪聲為高

8、斯 白噪聲時，參數(shù)的極大似然估計和最小二乘估計 是等價的。進(jìn)一步，由：,在實際問題中，往往不是白噪聲序列，而是相 關(guān)噪聲序列。下面討論殘差相關(guān)的情況下極大似然 估計的求解。,20,考慮模型為如下形式：,2.數(shù)值解法,上式可以改寫為：,21,令：,在獨立觀測的前提下，得到輸入輸出數(shù)據(jù)y(k)和 u(k)，測量N次，得到N值白噪聲向量為：,噪聲的協(xié)方差陣為：,向量形式的方程組可以寫為：,22,當(dāng) 是某個估計值時，把改寫為v(k)，則得到 似然函數(shù)，并求對數(shù)得到：,此時的聯(lián)合概率密度為：,其中：,23,進(jìn)一步得到：,根據(jù)極大似然原理，對數(shù)似然函數(shù)取極值，等價于：,式中v(k)滿足約束條件。,24,綜

9、合以上分析，極大似然估計就是使得,因為是參數(shù)c1,c2cn的非線性函數(shù)，只能通過迭代法求解這里介紹Newton-Raphson法。,(1) 選定初始值。對于 中的參數(shù)a1,a2an， b0,b1bn，可按模型：,用最小二乘法求得，對于 中的c0,c1cn可以先 假定一些值。,25,(2) 計算預(yù)測誤差,(3) 計算J的梯度和Hessian矩陣,其中：,26,再由向量對參數(shù)向量求偏導(dǎo)數(shù)，得到,可以看出上面三個等式為差分方程，這些差分方程的初始條件為0，可以求解這些差分方程，分別求出v(k)關(guān)于的全部偏導(dǎo)數(shù)。,因為v(k)是個小量，可以忽略。,27,(5) 重復(fù)(2)至(4)的計算步驟，迭代求新的

10、參數(shù)估 計值，直至v(k)方差的相對誤差小于 某個正小數(shù)，所得到的參數(shù)估計值就是極大似 然估計值。,(4) 按照Newton-Raphson法計算：,28,令，則模型式的參數(shù)的極大似然估計為：,為了進(jìn)行在線辯識，需要給出遞推的極大似然估計算法，即每觀測一次數(shù)據(jù)就遞推計算一次參數(shù)估計值的算法。設(shè)系統(tǒng)的模型為：,3. 遞推的極大似然估計,29,其中表示為Taylor展開的余項。,非線性函數(shù)f(x)在x0處的Taylor展開表示為：,為推導(dǎo)遞推公式，記v(n+k)=vk。如果vk在 點上 進(jìn)行Taylor展開，則可以近似表示為：,30,式中，是的濾波值，滿足等式:,設(shè)：,31,向量 記作,進(jìn)一步得到

11、：,其中：,32,設(shè) 是k-1時刻的極大似然估計值，那么 在 點上進(jìn)行Taylor展開，并考慮到在點上 關(guān)于的一階導(dǎo)數(shù)近似為零，則有：,其中是正定對稱陣。是Taylor 展開時的殘差項。,由于 是參數(shù)的非線性函數(shù)，為了得到極大似然估計的遞推形式，先將 寫成遞推的形式：,33,記，并將上式配成二次型,令 ，可以得到,34,增益矩陣的遞推公式為：,如果取，得到 的最小值。同時類似于最小二乘法的推導(dǎo)，利用矩陣求逆引理，得到：,35,將遞推的極大似然估計算法(RML)歸納為：,36,應(yīng)用極大似然估計法時，要求事先知道觀測量的概率分布。在一些典型問題的討論中，往往假設(shè)觀測量的概率分布是正態(tài)的。然而，這種

12、假設(shè)并不總是合理的。在極大似然法中關(guān)于概率分布的正態(tài)假設(shè)僅僅用來得出參數(shù)估計的準(zhǔn)則函數(shù)，而這種準(zhǔn)則函數(shù)，反映的是預(yù)報誤差 的平方和。 對于條件均值 ，可以認(rèn)為是根據(jù)第k-1次以及以前的全部觀測數(shù)據(jù)所得到的對y(k)的預(yù)報值。因此，我們確定預(yù)報誤差與觀測數(shù)據(jù)以及與未知參數(shù)之間的關(guān)系，即設(shè)定一個預(yù)報模型，就可以得到一種最小二乘預(yù)報估計誤差。,6.1 預(yù)報誤差法,1.預(yù)報誤差模型,37,其中y(k)表示在時刻k系統(tǒng)的輸出觀測值，為m維的向 量；Y(k-1)表示輸出觀測值的歷史數(shù)據(jù)的集合y(k- 1),y(k-2).；U(k)表示時刻k以及以前的控制變 量值的集合u(k),u(k-1).； 是系統(tǒng)的參數(shù)向 量；v(k)是具有零均值和協(xié)方差矩陣為的新息序 列。,設(shè)定一個預(yù)報模型，也就是通過歷史數(shù)據(jù)Y(k-1)和參數(shù)等給出時刻k的輸出觀測量y(k)的預(yù)報值 的一種模型。于是給定了觀測量y(k)，就能按照使預(yù)報誤差的平方和最小的方法來估計參數(shù)。預(yù)報誤差模型為：,38,對于給定的觀測數(shù)據(jù)集合，如果所擬合的模型能使 得預(yù)報誤差為最小，那么這樣的模型可以認(rèn)為是一個 擬合的好的模型。,對于特定參數(shù)值，將在時刻t的預(yù)報誤差表示,對于給定的觀測數(shù)