梯度校正參數(shù)辯識(shí)方法課件

1、梯度校正參數(shù)辯識(shí)方法1.梯度校正參數(shù)辯識(shí)方法26.1 引言6.2 確定性問(wèn)題的梯度校正參數(shù)辨識(shí)方法確定性問(wèn)題的梯度校正參數(shù)辨識(shí)方法 6.3 隨機(jī)性問(wèn)題的梯度校正參數(shù)辨識(shí)方法隨機(jī)性問(wèn)題的梯度校正參數(shù)辨識(shí)方法6.4 6.4 狀態(tài)方程的參數(shù)辨識(shí)狀態(tài)方程的參數(shù)辨識(shí) 6.5 6.5 差分方程的參數(shù)辨識(shí)差分方程的參數(shù)辨識(shí)6.6 6.6 隨機(jī)逼近法隨機(jī)逼近法梯度校正參數(shù)辯識(shí)方法36.1 引言引言最小二乘類參數(shù)辯識(shí)遞推算法最小二乘類參數(shù)辯識(shí)遞推算法n新的參數(shù)估計(jì)值新的參數(shù)估計(jì)值=老的參數(shù)估計(jì)值老的參數(shù)估計(jì)值+增益矩陣增益矩陣 新息新息梯度校正參數(shù)辨識(shí)的遞歸算法的結(jié)構(gòu)如同上式，但其基本梯度校正參數(shù)辨識(shí)的遞歸算法

2、的結(jié)構(gòu)如同上式，但其基本思想與最小二乘類算法不同，它是通過(guò)沿著如下準(zhǔn)則函數(shù)思想與最小二乘類算法不同，它是通過(guò)沿著如下準(zhǔn)則函數(shù)的負(fù)梯度方向，逐步修正模型參數(shù)估計(jì)值，直至準(zhǔn)則函數(shù)的負(fù)梯度方向，逐步修正模型參數(shù)估計(jì)值，直至準(zhǔn)則函數(shù)達(dá)到最?。哼_(dá)到最?。浩渲衅渲?代表模型輸出與系統(tǒng)輸出的偏代表模型輸出與系統(tǒng)輸出的偏差。差。 min),(21)()()(2kkkJh h)()()(kkykT梯度校正參數(shù)辯識(shí)方法4本章主要討論的問(wèn)題：本章主要討論的問(wèn)題：n確定性問(wèn)題的梯度校正參數(shù)辨識(shí)方法；確定性問(wèn)題的梯度校正參數(shù)辨識(shí)方法；n隨機(jī)性問(wèn)題的梯度校正參數(shù)辨識(shí)方法；隨機(jī)性問(wèn)題的梯度校正參數(shù)辨識(shí)方法；n梯度校正參數(shù)辨

3、識(shí)方法在動(dòng)態(tài)過(guò)程辨識(shí)梯度校正參數(shù)辨識(shí)方法在動(dòng)態(tài)過(guò)程辨識(shí)中的應(yīng)用；中的應(yīng)用；n隨機(jī)逼近法。隨機(jī)逼近法。梯度校正參數(shù)辯識(shí)方法56.2 確定性問(wèn)題的梯度校正參數(shù)辯識(shí)方法確定性問(wèn)題的梯度校正參數(shù)辯識(shí)方法確定性問(wèn)題的輸入和輸出都是可以準(zhǔn)確的測(cè)量，沒有噪聲。確定性問(wèn)題的輸入和輸出都是可以準(zhǔn)確的測(cè)量，沒有噪聲。設(shè)過(guò)程的輸出設(shè)過(guò)程的輸出參數(shù)參數(shù) 的線性組合的線性組合n如果輸出如果輸出 和輸入和輸入 是可是可以準(zhǔn)確測(cè)量的，則以準(zhǔn)確測(cè)量的，則 式過(guò)程稱作確定性過(guò)程式過(guò)程稱作確定性過(guò)程)(tyN,21NNthththty)()()()(2211)(ty)(,),(),(21thththN梯度校正參數(shù)辯識(shí)方法6n確定

4、性過(guò)程確定性過(guò)程置置0TNTNthththth,)(,),(),()(2121過(guò)程過(guò)程 ( )h k( )y k梯度校正參數(shù)辯識(shí)方法7若過(guò)程參數(shù)的真值記作若過(guò)程參數(shù)的真值記作則則在離散時(shí)間點(diǎn)可寫成在離散時(shí)間點(diǎn)可寫成其中其中00)()(thtyT0)()(khkyTTNkhkhkhkh)(,),(),()(21梯度校正參數(shù)辯識(shí)方法8例如例如用差分方程描述的確定性過(guò)程用差分方程描述的確定性過(guò)程可以化成可以化成)() 1()(1nkyakyakyn)() 1(1nkubkubnnnbbbaaankukunkykykh,)(,),1(),(,),1()(2121梯度校正參數(shù)辯識(shí)方法9現(xiàn)在的問(wèn)題現(xiàn)在的問(wèn)

5、題如何利用輸入輸出數(shù)據(jù)如何利用輸入輸出數(shù)據(jù) 和和確定參數(shù)確定參數(shù) 在在 時(shí)刻的估計(jì)值時(shí)刻的估計(jì)值使準(zhǔn)則函數(shù)使準(zhǔn)則函數(shù)式中式中)(kh)(kyk)(kmin| ),(21| )()(2)(kkkJ)()(),(khkyk梯度校正參數(shù)辯識(shí)方法10解決上述問(wèn)題的方法解決上述問(wèn)題的方法可以是梯度校正法，通俗地說(shuō)最速下降法可以是梯度校正法，通俗地說(shuō)最速下降法沿著沿著 的負(fù)梯度方向不斷修正的負(fù)梯度方向不斷修正 值值直至直至 達(dá)到最小值達(dá)到最小值)(J)(k)(J梯度校正參數(shù)辯識(shí)方法11 梯度校正參數(shù)辨識(shí)方法的參數(shù)估計(jì)遞推形式可梯度校正參數(shù)辨識(shí)方法的參數(shù)估計(jì)遞推形式可以由下式給出以由下式給出 n - 維的對(duì)

6、稱陣，稱作加權(quán)陣維的對(duì)稱陣，稱作加權(quán)陣n - 準(zhǔn)則函數(shù)準(zhǔn)則函數(shù) 關(guān)于關(guān)于 的梯度的梯度)(|)()()() 1(kJgradkRkk)(Jgrad)(kRN)(J梯度校正參數(shù)辯識(shí)方法12n當(dāng)準(zhǔn)則函數(shù)當(dāng)準(zhǔn)則函數(shù) 取取 式時(shí)式時(shí))(J)(2)(),(21|)(kkkddJgrad)(),(khkk)()()()(khkkhky梯度校正參數(shù)辯識(shí)方法13 式可寫成式可寫成 - - 確定性問(wèn)題的確定性問(wèn)題的梯度校正參數(shù)估計(jì)遞推公式梯度校正參數(shù)估計(jì)遞推公式n其中權(quán)矩陣的選擇至關(guān)重要，它的作用是用來(lái)控制其中權(quán)矩陣的選擇至關(guān)重要，它的作用是用來(lái)控制各輸入分量對(duì)參數(shù)估計(jì)值的影響程度。各輸入分量對(duì)參數(shù)估計(jì)值的影響

7、程度。)()()()()()() 1(kkhkykhkRkk梯度校正參數(shù)辯識(shí)方法14n權(quán)矩陣權(quán)矩陣 的作用是用來(lái)控制各輸入分量的作用是用來(lái)控制各輸入分量對(duì)參數(shù)估計(jì)的影響程度的，一般地，我們對(duì)參數(shù)估計(jì)的影響程度的，一般地，我們選擇權(quán)矩陣的形式為選擇權(quán)矩陣的形式為 n只要適當(dāng)選擇只要適當(dāng)選擇 ，就能控制各輸入分量，就能控制各輸入分量 對(duì)參數(shù)估計(jì)值的影響。例如，如果選擇對(duì)參數(shù)估計(jì)值的影響。例如，如果選擇n意味著輸入分量意味著輸入分量 對(duì)參數(shù)估計(jì)值的影對(duì)參數(shù)估計(jì)值的影響較響較 弱，顯然這種情況弱，顯然這種情況 對(duì)參數(shù)估對(duì)參數(shù)估計(jì)值的影響最小。如果選擇計(jì)值的影響最小。如果選擇 n則各輸入分量的加權(quán)值相同

8、，它們對(duì)參數(shù)則各輸入分量的加權(quán)值相同，它們對(duì)參數(shù)估計(jì)值的影響是相同的。估計(jì)值的影響是相同的。)(,),(),()()(21kkkdiagkckRN)(kR R)(kiNikii, 2 , 1; 10 ,)()(1khi)(khi)(khNIkkkdiagN)(,),(),(21梯度校正參數(shù)辯識(shí)方法15定理定理6.1: 確定性問(wèn)題的梯度校正參數(shù)辨識(shí)確定性問(wèn)題的梯度校正參數(shù)辨識(shí)方法的參數(shù)估計(jì)遞推公式為：方法的參數(shù)估計(jì)遞推公式為：并且權(quán)矩陣選取如下形式：并且權(quán)矩陣選取如下形式：)()()()()()() 1(kkkykkkkR Rhh)(,),(),()()(21kkkdiagkckNR R如何合理

9、地選擇權(quán)矩陣，由下面的定理給出。如何合理地選擇權(quán)矩陣，由下面的定理給出。梯度校正參數(shù)辯識(shí)方法16如果如果R (k)滿足如下條件：滿足如下條件：（1）（2）N個(gè)個(gè) 中至少存在一個(gè)中至少存在一個(gè) ，使得，使得或或（3）), 2 , 1()(0NikHiL)() 1()()() 1()(kkkkkkiiimmm)() 1()() 1(kkkkiimmNiiikhkkc12)()(2)(0)(ki)(km梯度校正參數(shù)辯識(shí)方法17 （4） 與與 不正交不正交 那么不管參數(shù)估計(jì)值的初始值如何選那么不管參數(shù)估計(jì)值的初始值如何選取，參數(shù)估計(jì)值取，參數(shù)估計(jì)值 總是大范圍一致漸近總是大范圍一致漸近收斂的，即收斂的

10、，即注意：注意：條件條件1確定了權(quán)的選擇范圍，條件確定了權(quán)的選擇范圍，條件2是推導(dǎo)條件是推導(dǎo)條件3的前提，條件的前提，條件3是保證參數(shù)是保證參數(shù)估計(jì)全局一致收斂的條件。估計(jì)全局一致收斂的條件。 )(kh)(k0)(limkk)()(0kk梯度校正參數(shù)辯識(shí)方法證明思路證明思路根據(jù)定義，參數(shù)估計(jì)值的偏差為根據(jù)定義，參數(shù)估計(jì)值的偏差為可得可得)()(0kk)()()()() 1(kkhkhkIkR R設(shè)標(biāo)量函數(shù)設(shè)標(biāo)量函數(shù)NiiimkkkkkV12)()()(),(可以證明可以證明V是上述動(dòng)態(tài)方程的是上述動(dòng)態(tài)方程的Lyapunov 函數(shù)，利用函數(shù)，利用Lyapunov穩(wěn)定性定理可以證明，當(dāng)條件（穩(wěn)定性

11、定理可以證明，當(dāng)條件（2）、（）、（3）成立時(shí)，上述方程在平衡狀態(tài)成立時(shí)，上述方程在平衡狀態(tài) 點(diǎn)上是大范圍一點(diǎn)上是大范圍一致漸近穩(wěn)定的。致漸近穩(wěn)定的。0)(k梯度校正參數(shù)辯識(shí)方法（a） ，對(duì)于所有的，對(duì)于所有的 ；（b） ，對(duì)于所有的，對(duì)于所有的 ；（c）當(dāng)）當(dāng) 時(shí)，有時(shí)，有 ；（d） ，對(duì)，對(duì)所有的所有的 。 由定理給定的條件可知（由定理給定的條件可知（a）、（）、（b）和（）和（c）一）一定滿足。定滿足。0),(kkV0 0)(k0),(kkV0 0)(k)(k),(kkV0),( 1),1(,kkVkkVkV0 0)(k梯度校正參數(shù)辯識(shí)方法20權(quán)矩陣的選擇權(quán)矩陣的選擇 一般的選擇一般的選

12、擇或者或者20)(,),(),()()()(2112ckkkdiagkhkckRNNiii2)()(khckRI I梯度校正參數(shù)辯識(shí)方法21最佳權(quán)矩陣的選擇（最佳權(quán)矩陣的選擇（Lyapunov最佳權(quán)矩陣）最佳權(quán)矩陣） )(,),(),()()(1)(2112kkkdiagkhkkNNiiiR R梯度校正參數(shù)辯識(shí)方法22 注意注意n權(quán)矩陣權(quán)矩陣 的作用是控制各輸入分量對(duì)參數(shù)估的作用是控制各輸入分量對(duì)參數(shù)估計(jì)的影響程度；計(jì)的影響程度；n若若 與與 正交，或正交，或k大于一定的值后大于一定的值后 與與 正交，則得不到全局穩(wěn)定性，即正交，則得不到全局穩(wěn)定性，即 時(shí)，時(shí)， 不趨于零。不趨于零。)(kR

13、R)(k)(kh)(k)(khk)(k梯度校正參數(shù)辯識(shí)方法236.3 隨機(jī)性問(wèn)題的梯度校正參數(shù)辯識(shí)方法隨機(jī)性問(wèn)題的梯度校正參數(shù)辯識(shí)方法n隨機(jī)性問(wèn)題的提法隨機(jī)性問(wèn)題的提法n確定性問(wèn)題的梯度校正法與其他辯識(shí)方法相比確定性問(wèn)題的梯度校正法與其他辯識(shí)方法相比n最大的優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單最大的優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單n缺點(diǎn)：如果過(guò)程的輸入輸出含有噪聲，這種方法不能用缺點(diǎn)：如果過(guò)程的輸入輸出含有噪聲，這種方法不能用n隨機(jī)性問(wèn)題的梯度校正法隨機(jī)性問(wèn)題的梯度校正法n特點(diǎn)：計(jì)算簡(jiǎn)單，可用于在線實(shí)時(shí)辯識(shí)特點(diǎn)：計(jì)算簡(jiǎn)單，可用于在線實(shí)時(shí)辯識(shí)n缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計(jì)特性缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計(jì)特性

14、梯度校正參數(shù)辯識(shí)方法24隨機(jī)性問(wèn)題隨機(jī)性問(wèn)題梯度校正參數(shù)辯識(shí)方法25n設(shè)過(guò)程的輸出設(shè)過(guò)程的輸出n模型參數(shù)模型參數(shù) 的線性組合的線性組合n輸入輸出數(shù)據(jù)含有測(cè)量噪聲輸入輸出數(shù)據(jù)含有測(cè)量噪聲)(kyN,21NNkhkhkhky)()()()(2211Nikskhkxkwkykziii, 2 , 1),()()()()()(梯度校正參數(shù)辯識(shí)方法26n其中其中n 和和 為零均值的不相關(guān)隨機(jī)噪聲為零均值的不相關(guān)隨機(jī)噪聲)(kw)(ksijijiksksEsiji, 0,)()(2梯度校正參數(shù)辯識(shí)方法27置置則則NNNNkskskskskhkhkhkhkxkxkxkx,)(,),(),()()(,),(),

15、()()(,),(),()(21212121)()()()()()(kwkhkzkskhkx梯度校正參數(shù)辯識(shí)方法28現(xiàn)在的問(wèn)題現(xiàn)在的問(wèn)題利用輸入輸出數(shù)據(jù)利用輸入輸出數(shù)據(jù) 和和確定參數(shù)確定參數(shù) 在在 時(shí)刻的估計(jì)值時(shí)刻的估計(jì)值使準(zhǔn)則函數(shù)使準(zhǔn)則函數(shù)其中其中)(kx)(kzk)(kmin| ),(21| )()(2)(kkkJ)()(),(kxkzk梯度校正參數(shù)辯識(shí)方法29隨機(jī)性辨識(shí)問(wèn)題的分類隨機(jī)性辨識(shí)問(wèn)題的分類第一類隨機(jī)性辨識(shí)問(wèn)題第一類隨機(jī)性辨識(shí)問(wèn)題要求測(cè)量噪聲要求測(cè)量噪聲w(k)是統(tǒng)計(jì)獨(dú)立的是統(tǒng)計(jì)獨(dú)立的)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)(

16、kh)(ks)( ky)( kw)( kz)(kz)(kz)(k)( kx)( kx梯度校正參數(shù)辯識(shí)方法30 此問(wèn)題滿足以下條件此問(wèn)題滿足以下條件（1） ；即；即 與與 相互獨(dú)立，相互獨(dú)立， 的方差不必已知；的方差不必已知；（2） ， 為正定為正定常數(shù)矩陣，不必已知；常數(shù)矩陣，不必已知；（3）輸入向量的測(cè)量噪聲）輸入向量的測(cè)量噪聲 是零均值，協(xié)方差是零均值，協(xié)方差為為 的不相關(guān)離散隨機(jī)向量，且與的不相關(guān)離散隨機(jī)向量，且與 和和 是統(tǒng)計(jì)獨(dú)立的。即是統(tǒng)計(jì)獨(dú)立的。即0)()(kwkEh h)(kh h)(kw)(kw)()( )()()(kkEkkkEh hh hh hh h0)()(0)()()(

17、,)()(0)(22221kkEkwkEdiagkkEkEssssNs sh hs ss ss ss s已知)(kss)(kh)(kw梯度校正參數(shù)辯識(shí)方法31 第二類問(wèn)題第二類問(wèn)題測(cè)量噪聲測(cè)量噪聲w(k)中有一部分分量與中有一部分分量與h(k)是相關(guān)是相關(guān)的。的。)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kwd)( kwm)( kr)( kr)(ks)( kh)( kx)( kx)( ky)( kw)(k)(kz)(kz)( kz)( kwm)( kwd梯度校正參數(shù)辯識(shí)方法32 此問(wèn)題滿足以下條件此問(wèn)題滿足以下條件（1） ；其中；其中 是測(cè)

18、量噪聲是測(cè)量噪聲 ， 是擾動(dòng)噪聲，擾動(dòng)噪聲通過(guò)動(dòng)態(tài)環(huán)節(jié)與是擾動(dòng)噪聲，擾動(dòng)噪聲通過(guò)動(dòng)態(tài)環(huán)節(jié)與 相關(guān)。已相關(guān)。已知知 ，其方差不必先知。，其方差不必先知。（2） ， 為正定常為正定常數(shù)矩陣，不必已知；數(shù)矩陣，不必已知；（3）輸入向量的測(cè)量噪聲）輸入向量的測(cè)量噪聲 是零均值，協(xié)方差為是零均值，協(xié)方差為 的不相關(guān)離散隨機(jī)向量，且與的不相關(guān)離散隨機(jī)向量，且與 和和 是統(tǒng)計(jì)獨(dú)立的。是統(tǒng)計(jì)獨(dú)立的。即即0)()(0)()()(,)()(0)(22221kkEkwkEdiagkkEkEssssNs sh hs ss ss ss s已知)()()(kwkwkwdm)(kwm)(kwd)(kh h0)(kwE)()

19、( )()()(kkEkkkEh hh hh hh h)(kss)(kh)(kw梯度校正參數(shù)辯識(shí)方法33第三類隨機(jī)性辨識(shí)問(wèn)題第三類隨機(jī)性辨識(shí)問(wèn)題此問(wèn)題不僅此問(wèn)題不僅 與與 相關(guān)，而且相關(guān)，而且 也和也和 相關(guān)。相關(guān)。)(kw)(kh h)(kh h)(k梯度校正參數(shù)辯識(shí)方法第三類隨機(jī)性辨識(shí)問(wèn)題第三類隨機(jī)性辨識(shí)問(wèn)題34)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kwd)( kwm)( kr)( kr)(ks)( kh)( kx)( kx)( ky)( kw)(k)(kz)(kz)( kz)( kwm)( kwd)(k梯度校正參數(shù)辯識(shí)方法35隨機(jī)

20、性問(wèn)題的梯度校正參數(shù)辨識(shí)方法隨機(jī)性問(wèn)題的梯度校正參數(shù)辨識(shí)方法基本思想與確定性問(wèn)題一樣，也是利用最速下降基本思想與確定性問(wèn)題一樣，也是利用最速下降法原理，從給定的初始值法原理，從給定的初始值 出發(fā)，沿著準(zhǔn)則函出發(fā)，沿著準(zhǔn)則函數(shù)數(shù) 的負(fù)梯度方向修正參數(shù)估計(jì)值的負(fù)梯度方向修正參數(shù)估計(jì)值 ，直至，直至準(zhǔn)則函數(shù)準(zhǔn)則函數(shù) 達(dá)到最小值達(dá)到最小值 ?；竟剑??；竟剑?（A）注意，此式給出的參數(shù)估計(jì)是漸近有偏估計(jì)，注注意，此式給出的參數(shù)估計(jì)是漸近有偏估計(jì)，注意步長(zhǎng)選擇的原則是使第一、二類隨機(jī)性辨識(shí)問(wèn)意步長(zhǎng)選擇的原則是使第一、二類隨機(jī)性辨識(shí)問(wèn)題的條件（條件方差）：題的條件（條件方差）： 滿足。滿足。)()(

21、)()()()()(kkkzkkklkx xx xR R)()( )()()(kkEkkkEh hh hh hh h)0()(J)(k)(J)(J梯度校正參數(shù)辯識(shí)方法36定理定理6.2：對(duì)于第二類隨機(jī)性辨識(shí)問(wèn)題，利用：對(duì)于第二類隨機(jī)性辨識(shí)問(wèn)題，利用（A）式所獲得的參數(shù)估計(jì)值是漸近有偏的估）式所獲得的參數(shù)估計(jì)值是漸近有偏的估計(jì)值，即：計(jì)值，即：其中：其中： 是過(guò)程的真實(shí)參數(shù)，且是過(guò)程的真實(shí)參數(shù)，且0021)()()(limTkEsk)()( )()()(,)()()()(222221kkEkkkEdiagkkEkwkETNssssh hh hh hh hs ss sh h0梯度校正參數(shù)辯識(shí)方法3

22、7推論推論6.1：對(duì)于第一類隨機(jī)性辨識(shí)問(wèn)題，當(dāng)輸入：對(duì)于第一類隨機(jī)性辨識(shí)問(wèn)題，當(dāng)輸入向量不含測(cè)量噪聲時(shí)，利用（向量不含測(cè)量噪聲時(shí)，利用（A）式所獲得的）式所獲得的參數(shù)估計(jì)值是漸近無(wú)偏的估計(jì)值，即參數(shù)估計(jì)值是漸近無(wú)偏的估計(jì)值，即0)(limkEk梯度校正參數(shù)辯識(shí)方法381.第一類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近第一類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)算法無(wú)偏估計(jì)算法由第一類問(wèn)題的條件，由第一類問(wèn)題的條件， 有，因此有，因此而而02T01)()(limskkE)()()()()(0kEkRkRkElkEs因此，修正（因此，修正（A）式，在（）式，在（A）式的右邊增加一項(xiàng)）式的右邊增加一項(xiàng) )()(k

23、kRs)()()()(0kEkRkElkE梯度校正參數(shù)辯識(shí)方法39此時(shí)有：此時(shí)有：即即 是是 的漸近無(wú)偏估計(jì)。由此可以得到第一的漸近無(wú)偏估計(jì)。由此可以得到第一類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)算類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)算法如下：法如下： （P）注意：注意： 是已知的，是已知的，l步長(zhǎng)的選擇必須滿足條件步長(zhǎng)的選擇必須滿足條件（2）。）。 0)(limkEk)(k0)()()()()()()()(kkkzkkRkkRlksx xx xI Is梯度校正參數(shù)辯識(shí)方法402. 第二類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)第二類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)算法偏估計(jì)算法由第二類問(wèn)題的條件

24、，有由第二類問(wèn)題的條件，有 ，為了獲得參數(shù)，為了獲得參數(shù)的漸近無(wú)偏估計(jì)，必須在（的漸近無(wú)偏估計(jì)，必須在（A）式中增加兩項(xiàng)，）式中增加兩項(xiàng)，即需要增加即需要增加 ： 和和 兩項(xiàng)。于是可得兩項(xiàng)。于是可得第二類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)第二類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)算法如下：算法如下：注意：此時(shí)要求注意：此時(shí)要求 和和 已知。已知。02T)()(kkRs2)(TkR)()()()()()()()()(2kkkzkkRTkRkkRlksx xx xI Is)()(2kwkETh h（B） 梯度校正參數(shù)辯識(shí)方法41如果如果 與與 之間具有以下的線性關(guān)系：之間具有以下的線性關(guān)系：其中

25、：其中： 是是N維向量，維向量，M是是n階方陣。階方陣。 此時(shí)可用此時(shí)可用 來(lái)估計(jì)來(lái)估計(jì) ，即取，即取 ，由此，由此，（B）式可以寫成：）式可以寫成：此時(shí)有：此時(shí)有：因此（因此（C）式可以作為第二類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近）式可以作為第二類隨機(jī)性辨識(shí)問(wèn)題的梯度校正漸近無(wú)偏估計(jì)算法，此時(shí)的無(wú)偏估計(jì)算法，此時(shí)的 和和M為參變量，由實(shí)際問(wèn)題可以唯為參變量，由實(shí)際問(wèn)題可以唯一確定。一確定。02MT)(kM2T)(2kMT)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I0)(limkEk0)()(2kwkETh h（C） 梯度校正參數(shù)辯識(shí)方法423. 步

26、長(zhǎng)間隔的選擇步長(zhǎng)間隔的選擇選擇的基本原則：選擇的基本原則：使輸入向量使輸入向量 與參數(shù)估計(jì)值與參數(shù)估計(jì)值 不相關(guān)。不相關(guān)。由估計(jì)式（由估計(jì)式（P）和（）和（C），我們有：），我們有：其中其中 代表函數(shù)關(guān)系代表函數(shù)關(guān)系 當(dāng)當(dāng) 時(shí)：時(shí)：當(dāng)當(dāng) 時(shí)時(shí) )(kh h)(k)(),(),(),()(kwkkkflks sh h)(f0k)0(),0(),0(),0()0(),0(),0(),0()(1wgwfls sh hs sh hlk )(),(),(),0(),0(),0(),0()(),(),(),0(),0(),0(),0()(),(),(),()2(2lwllwglwllwflwlllfls

27、sh hs sh hs sh hs sh hs sh h梯度校正參數(shù)辯識(shí)方法43以此類推，得到：以此類推，得到：由此可知，由此可知， 時(shí)刻的參數(shù)估計(jì)值時(shí)刻的參數(shù)估計(jì)值 與時(shí)刻與時(shí)刻 以前的信息，即輸入向量以前的信息，即輸入向量 、輸入測(cè)量噪、輸入測(cè)量噪聲聲 及輸出測(cè)量噪聲及輸出測(cè)量噪聲 是相關(guān)的。是相關(guān)的。)(),(),(,),0(),0(),0(),0()(),(),(),()(lmlwlmllmlwglmlwlmllmllmlfmlms sh hs sh hs sh hmlk )(klk )(,),0(lk h hh h)(,),0(lk s ss s)(,),0(lkww梯度校正參數(shù)辯識(shí)

28、方法44由此，選擇步長(zhǎng)間隔由此，選擇步長(zhǎng)間隔l使輸入向量使輸入向量 與參數(shù)估計(jì)值與參數(shù)估計(jì)值 不相關(guān)的問(wèn)題，可以轉(zhuǎn)變成選擇步長(zhǎng)間隔不相關(guān)的問(wèn)題，可以轉(zhuǎn)變成選擇步長(zhǎng)間隔l使使 與時(shí)刻與時(shí)刻 以前的信息不相關(guān)的問(wèn)題。以前的信息不相關(guān)的問(wèn)題。根據(jù)第一、二類隨機(jī)性辨識(shí)問(wèn)題的條件，已知根據(jù)第一、二類隨機(jī)性辨識(shí)問(wèn)題的條件，已知 與與 時(shí)刻以前的時(shí)刻以前的 和和 是不相關(guān)的，所以只是不相關(guān)的，所以只要選擇要選擇l，使得，使得 與與 不相關(guān)，就可以使得條件（不相關(guān)，就可以使得條件（2）成立，保證估計(jì)式（成立，保證估計(jì)式（P）和（）和（C）都是漸近無(wú)偏估計(jì)）都是漸近無(wú)偏估計(jì)。)(kh h)(k)(kh h)(l

29、k )(kh h)(lk )(is slkiiw, 2 , 1),()(kh h)(lk h h梯度校正參數(shù)辯識(shí)方法45結(jié)論：選擇結(jié)論：選擇l，必須使得輸入向量，必須使得輸入向量 與與 統(tǒng)計(jì)不相關(guān)。統(tǒng)計(jì)不相關(guān)。一般做法：過(guò)程是一般做法：過(guò)程是n階的差分方程形式，則步階的差分方程形式，則步長(zhǎng)長(zhǎng)l選擇不能低于階次選擇不能低于階次n。)(kh h)(lk h h梯度校正參數(shù)辯識(shí)方法464.權(quán)矩陣的選擇權(quán)矩陣的選擇估計(jì)式（估計(jì)式（P）和（）和（C）是第一、二類隨機(jī)性辨識(shí)問(wèn)題的漸）是第一、二類隨機(jī)性辨識(shí)問(wèn)題的漸近無(wú)偏估計(jì)式，只要選擇步長(zhǎng)近無(wú)偏估計(jì)式，只要選擇步長(zhǎng)l，使得，使得 與與 不相不相關(guān)即可。但此

30、時(shí)估計(jì)式并不是均方一致估計(jì)或依概率一關(guān)即可。但此時(shí)估計(jì)式并不是均方一致估計(jì)或依概率一致估計(jì)，即有：致估計(jì)，即有：但但 (D)兩式不一定成立。兩式不一定成立。 0)(limkEk1)(lim)(lim0200 0kPkEkk)(kh h)(lk h h梯度校正參數(shù)辯識(shí)方法47問(wèn)題：如何選擇權(quán)矩陣使得（問(wèn)題：如何選擇權(quán)矩陣使得（D）式成立？）式成立？定理定理6.3：假設(shè)步長(zhǎng)選擇滿足：假設(shè)步長(zhǎng)選擇滿足 與與 不不相關(guān)，且相關(guān)，且如果權(quán)矩陣選擇如下形式如果權(quán)矩陣選擇如下形式 )()()( )()()()()(2222kkwkEkkkkEkwEx xx xx xx x)(kh h)(lk h h)(,)

31、,(),()()(21kkkdiagkckRN（E）梯度校正參數(shù)辯識(shí)方法48滿足：滿足：則由（則由（P）和（）和（C）給出的參數(shù)估計(jì)值）給出的參數(shù)估計(jì)值 在在均方意義下一致收斂或依概率均方意義下一致收斂或依概率1收斂。收斂。121)(,)(0)(lim, 0)(dim, 2 , 1,)(0kkkHiLkckckckkcNNik)(lk 梯度校正參數(shù)辯識(shí)方法49注意：注意：n條件（條件（E）是比較弱的條件，一般問(wèn)題都）是比較弱的條件，一般問(wèn)題都能滿足；能滿足；n 中的中的 可取可取n可以分段選擇可以分段選擇 ，加快收斂速度。，加快收斂速度。)(kR)(kc0, 121,1)(kpkkcp)(kR

32、梯度校正參數(shù)辯識(shí)方法506.4 狀態(tài)方程的參數(shù)辨識(shí)（梯度校正法）狀態(tài)方程的參數(shù)辨識(shí)（梯度校正法）要解決的關(guān)鍵問(wèn)題：為了處理第二類隨機(jī)辨識(shí)問(wèn)題，要解決的關(guān)鍵問(wèn)題：為了處理第二類隨機(jī)辨識(shí)問(wèn)題，其梯度校正漸近無(wú)偏遞推估計(jì)算法為：其梯度校正漸近無(wú)偏遞推估計(jì)算法為：其中：其中： ，用，用 來(lái)估計(jì)來(lái)估計(jì) ，其中其中 ，因此如何選擇參變量，因此如何選擇參變量 和方和方陣陣M是用此方法的關(guān)鍵。是用此方法的關(guān)鍵。)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I)()(2kwkETh h)(kM2T02MT梯度校正參數(shù)辯識(shí)方法51考慮考慮SISO過(guò)程，狀態(tài)方程描述如下

33、：過(guò)程，狀態(tài)方程描述如下： （A）其中：其中：)()()()()() 1(kkykkukAkx xc cd db bx xx x121100001000010aaaaAnnn0, 0, 1 ,2121c cd db bnndddbbb 為均值為零，方差為為均值為零，方差為 的白噪聲；的白噪聲； 為噪聲模型的參為噪聲模型的參數(shù)，為已知；數(shù)，為已知； 和和 為未知待辨識(shí)的參數(shù)。為未知待辨識(shí)的參數(shù)。)(k2d dAb b梯度校正參數(shù)辯識(shí)方法52設(shè)輸入、輸出變量設(shè)輸入、輸出變量 和和 對(duì)應(yīng)的測(cè)量值可以記對(duì)應(yīng)的測(cè)量值可以記為：為：其中：其中： 和和 分別為均值為零、方差為分別為均值為零、方差為 和和 的

34、的白噪聲，且白噪聲，且 和和 統(tǒng)計(jì)獨(dú)立。統(tǒng)計(jì)獨(dú)立。)(ku)(ky)()()()()()(kskukxkwkykz)(ks)(kw2s2w)(kw)(ks s梯度校正參數(shù)辯識(shí)方法53將狀態(tài)方程（將狀態(tài)方程（A）變換為差分方程，我們有：）變換為差分方程，我們有：其中：其中：)() 1()() 1()() 1()(111nkdkdnkbkubnkyakyakynnnb bb bPbbbn,21d dd dPdddn,211011121121aaaaaaPnn梯度校正參數(shù)辯識(shí)方法54若記：若記：則有：則有： )(,),1()()()()() 1()()()(,),1(),(,),1()(,)(,),

35、1(),(,),1()()(,),1(),(,),1()(111nkkkkkwnkdkdkwkenksksnkwkwkbbaankxkxnkzkzknkukunkykyknnnd ds sx xh h)()()()()()(kekkzkkkh hs sh hx x梯度校正參數(shù)辯識(shí)方法55這樣就將狀態(tài)方程模型辨識(shí)問(wèn)題化為第二類隨機(jī)這樣就將狀態(tài)方程模型辨識(shí)問(wèn)題化為第二類隨機(jī)梯度校正參數(shù)辨識(shí)問(wèn)題，因此可得參數(shù)的漸近無(wú)梯度校正參數(shù)辨識(shí)問(wèn)題，因此可得參數(shù)的漸近無(wú)偏估計(jì)算法：偏估計(jì)算法：)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I)2()2(2200)()

36、(nnnsnwsIIkkEs ss snikkkpkkkdiagkkRHiLnp2 , 2 , 1,)()()(0, 121)(,),(),(1)(221并且參變量并且參變量 和方陣和方陣M滿足：滿足：02)()(h hMkekET梯度校正參數(shù)辯識(shí)方法 注意：向量注意：向量 可由輸入、輸出測(cè)量數(shù)據(jù)可由輸入、輸出測(cè)量數(shù)據(jù) 和和 獲得；步長(zhǎng)獲得；步長(zhǎng)l取大于取大于n的值，以保證的值，以保證 和和 不相關(guān)。不相關(guān)。)(kx x)(x)(z)(kh h)(lk h h梯度校正參數(shù)辯識(shí)方法下面討論參變量下面討論參變量 和方陣和方陣M的具體求法的具體求法:(1) 求解狀態(tài)方程（求解狀態(tài)方程（A）得：）得：

37、及輸出變量及輸出變量kiikkiiuAAk1)1() 1()0()(d db bx xx xkiikkiiuAAky1)1() 1()0()(d db bc cx xc c梯度校正參數(shù)辯識(shí)方法58(2) 確定確定 與與 的函數(shù)關(guān)系。的函數(shù)關(guān)系。由（由（B）及（）及（1）的結(jié)果，注意到白噪聲）的結(jié)果，注意到白噪聲 和和 的統(tǒng)計(jì)特性，我們有：的統(tǒng)計(jì)特性，我們有：)(kw)(kd dd dd dc c0 , 0 , 0)() 1()() 1(2111121112211121212111niiiiniiniiiniinkiikdddddddPdddkiEAkekyE)()(kekEh h0梯度校正參數(shù)

38、辯識(shí)方法d dd dd dc c0 , 0 , 0 , 0 )() 1()() 2(3111131212121222122212212niiiiniiniiiniiiniinkiikdddddddddPdddkiEAkekyEd dd dd dc c0 , 0 , 0 , 0)() 1()() 1(11211121121212111iiiiiniiinnkiinkdddddddPdkiEAkenkyE0)()(kenkyE梯度校正參數(shù)辯識(shí)方法將上面的式子寫成矩陣形式，即有：將上面的式子寫成矩陣形式，即有： 其中：02)()(h hMkekET1)2(1112121112niniiniiinii

39、idddddd0 0梯度校正參數(shù)辯識(shí)方法0000001121133112121123122111122iiiniiniiiniiiniiniiiniiiniidddddddddddddM梯度校正參數(shù)辯識(shí)方法n上面的矩陣上面的矩陣M為為2n階對(duì)稱矩陣，并且可階對(duì)稱矩陣，并且可由噪聲模型參數(shù)向量由噪聲模型參數(shù)向量 唯一確定，參數(shù)唯一確定，參數(shù) 亦可由噪聲模型參數(shù)向量亦可由噪聲模型參數(shù)向量 唯一確定。唯一確定。d dd d梯度校正參數(shù)辯識(shí)方法7.5 差分方程的參數(shù)辨識(shí)差分方程的參數(shù)辨識(shí)下面直接辨識(shí)差分方程模型：下面直接辨識(shí)差分方程模型：所有關(guān)于噪聲的假設(shè)同上一節(jié)，并且噪聲模型的所有關(guān)于噪聲的假設(shè)同上

40、一節(jié)，并且噪聲模型的參數(shù)已知，同上一節(jié)的推導(dǎo)過(guò)程一樣，由：參數(shù)已知，同上一節(jié)的推導(dǎo)過(guò)程一樣，由：)() 1()() 1()() 1()(111nkdkdnkbkubnkyakyakynnnkiikiiuAAky1)1() 1()0()(d db bc cx xc c梯度校正參數(shù)辯識(shí)方法因此，有：因此，有：d dd dd dc cd dd dc c1132211111110 ,)() 1()() 1()() 1(PddddkiEPAkiEAkekyEnnkiikkiik梯度校正參數(shù)辯識(shí)方法d dd dd dc cd dd dc c143221122120 , 0 ,)() 1()() 1()()

41、2(PdddkiEPAkiEAkekyEnkiikkiik梯度校正參數(shù)辯識(shí)方法d dd dd dc cd dd dc c1211111110 , 0 , 0 , 0 ,)() 1()() 1()() 1(PdkiEPAkiEAkenkyEnnkiinknkiink梯度校正參數(shù)辯識(shí)方法最后，我們得到：最后，我們得到：1)2(11431132220, 0 ,0, 0 ,0 ,)()(nnnnnPdPdddPddddkekET0 0d dd dd dh h梯度校正參數(shù)辯識(shí)方法注意：當(dāng)注意：當(dāng) 時(shí)，上式時(shí)，上式 不能化為待辨識(shí)參數(shù)不能化為待辨識(shí)參數(shù)的線性形式，因此不能確定參變量的線性形式，因此不能確定

42、參變量 和方陣和方陣M。此時(shí)，如果在上式中，利用。此時(shí)，如果在上式中，利用 代替代替P，則直接用以下算法：，則直接用以下算法：估計(jì)模型參數(shù)估計(jì)模型參數(shù) 。3n2T)(kPP)()()()()()()()()(2kkkzkkRTkRkkRlksx xx xI I梯度校正參數(shù)辯識(shí)方法n當(dāng)當(dāng) ，上式，上式 可以化為待辨識(shí)參數(shù)的線性可以化為待辨識(shí)參數(shù)的線性形式，因此可以利用算法形式，因此可以利用算法 n估計(jì)模型參數(shù)估計(jì)模型參數(shù) 。3n2T)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I梯度校正參數(shù)辯識(shí)方法例如：當(dāng)例如：當(dāng) 時(shí)，我們有：時(shí)，我們有：因此有：因

43、此有：3n133211212121111122111121,101001,101001ddadadaddaddPaaaaPaaaPd dd dh hMddddaddddPdPddkekET000000000, 0 ,0 ,)()(31311322121313222梯度校正參數(shù)辯識(shí)方法其中：0 , 0 , 0 , 0 ,3132212dddddd0000000000031ddM,321321bbbaaa梯度校正參數(shù)辯識(shí)方法727.5 隨機(jī)逼近法隨機(jī)逼近法n隨機(jī)逼近法隨機(jī)逼近法n梯度校正法的一種類型梯度校正法的一種類型n頗受重視的參數(shù)估計(jì)方法頗受重視的參數(shù)估計(jì)方法梯度校正參數(shù)辯識(shí)方法73隨機(jī)逼近原

44、理隨機(jī)逼近原理n考慮如下模型的辯識(shí)問(wèn)題考慮如下模型的辯識(shí)問(wèn)題n - 均值為零的噪聲均值為零的噪聲n模型的參數(shù)辯識(shí)模型的參數(shù)辯識(shí)n通過(guò)極小化通過(guò)極小化 的方差來(lái)實(shí)現(xiàn)的方差來(lái)實(shí)現(xiàn)n即求參數(shù)即求參數(shù) 的估計(jì)值使下列準(zhǔn)則函數(shù)達(dá)到極小值的估計(jì)值使下列準(zhǔn)則函數(shù)達(dá)到極小值)()()(kekhkz)(ke)(ke)()(21)(21)(22khkzEkeEJ梯度校正參數(shù)辯識(shí)方法74n準(zhǔn)則函數(shù)的一階負(fù)梯度準(zhǔn)則函數(shù)的一階負(fù)梯度n令其梯度為零令其梯度為零)()()()(khkzkhEJ ( ) ( )( ) 0E h kz kh k 梯度校正參數(shù)辯識(shí)方法75原則上原則上n由由 式可以求得使式可以求得使 的參數(shù)估計(jì)值

45、的參數(shù)估計(jì)值n但，因?yàn)榈?，因?yàn)?的統(tǒng)計(jì)性質(zhì)不知道的統(tǒng)計(jì)性質(zhì)不知道n因此因此 式實(shí)際上還是無(wú)法解的式實(shí)際上還是無(wú)法解的min)(J)(ke梯度校正參數(shù)辯識(shí)方法76如果如果 式左邊的數(shù)學(xué)期望用平均值來(lái)近似式左邊的數(shù)學(xué)期望用平均值來(lái)近似則有則有這種近似使問(wèn)題退化成最小二乘問(wèn)題這種近似使問(wèn)題退化成最小二乘問(wèn)題0)()()(11LkkhkzkhLLkLkkzkhkhkh111)()()()(梯度校正參數(shù)辯識(shí)方法77研究研究 式的隨機(jī)逼近法解式的隨機(jī)逼近法解n設(shè)設(shè) 是標(biāo)量，是標(biāo)量， 是對(duì)應(yīng)的隨機(jī)變量是對(duì)應(yīng)的隨機(jī)變量n 是是 條件下條件下 的概率密度函數(shù)的概率密度函數(shù)n則隨機(jī)變量則隨機(jī)變量 關(guān)于關(guān)于 的條件

46、數(shù)學(xué)期望為的條件數(shù)學(xué)期望為n記作記作n它是它是 的函數(shù)，稱作的函數(shù)，稱作回歸函數(shù)回歸函數(shù)x)(xy)|(xypxyyx)|(|xyydpxyE|)(xyExhx梯度校正參數(shù)辯識(shí)方法78對(duì)于給定的對(duì)于給定的設(shè)下列方程，具有唯一的解設(shè)下列方程，具有唯一的解當(dāng)當(dāng) 函數(shù)的形式及條件概率密度函數(shù)函數(shù)的形式及條件概率密度函數(shù) 都不知道時(shí)，求上述方程的解析解是困難的，都不知道時(shí)，求上述方程的解析解是困難的，可以利用可以利用隨機(jī)逼近法求解。隨機(jī)逼近法求解。|)(xyExh)(xh)|(xyp梯度校正參數(shù)辯識(shí)方法79n隨機(jī)逼近法隨機(jī)逼近法n利用變量利用變量 及其對(duì)應(yīng)的隨機(jī)變量及其對(duì)應(yīng)的隨機(jī)變量n通過(guò)迭代計(jì)算通過(guò)

47、迭代計(jì)算n逐步逼近方程（逐步逼近方程（2929）式的解）式的解,21xx),(),(21xyxy梯度校正參數(shù)辯識(shí)方法80n常用的常用的迭代算法迭代算法nRobbins Robbins Monro Monro 算法算法nKiefer Kiefer Wolfowitz Wolfowitz 算法算法梯度校正參數(shù)辯識(shí)方法Robbins Robbins Monro Monro 算法算法n其中：其中： 稱為收斂因子。如果滿足：稱為收斂因子。如果滿足：n則由（則由（C）確定的）確定的 在均方意義下收斂于方在均方意義下收斂于方程（程（29）式的解。）式的解。 )()()() 1(kxykkxkx （D）121

48、)(;)(0)(lim;,0)(kkkkkkkk)(k)(kx（C）梯度校正參數(shù)辯識(shí)方法一般一般 ?。喝。?n另外：當(dāng)滿足以下條件時(shí)另外：當(dāng)滿足以下條件時(shí)n由（由（C）確定的滿足：）確定的滿足：)(kkabkkk)(;1)(0)(inf,0,)(,)();(,)(,)()()(2012121002xhxxxhxxxhxxdcxhxydpxhyxx1)(limPr0 xkxobk梯度校正參數(shù)辯識(shí)方法KieferWolfowitz算法：算法：n目的：確定回歸函數(shù)目的：確定回歸函數(shù) 的極值點(diǎn)。的極值點(diǎn)。n若收斂因子若收斂因子 滿足條件（滿足條件（D），則由（），則由（E）確）確定的收斂到回歸函數(shù)的極

49、值點(diǎn)。定的收斂到回歸函數(shù)的極值點(diǎn)。)()()() 1(kxdxdykkxkx)(k)(xh（E）梯度校正參數(shù)辯識(shí)方法n考察準(zhǔn)則函數(shù)考察準(zhǔn)則函數(shù) 的極值問(wèn)題，若的極值問(wèn)題，若 在點(diǎn)上在點(diǎn)上 取得極值取得極值 ，則，則 的迭代算法為：的迭代算法為：n若收斂因子滿足條件（若收斂因子滿足條件（D），則），則 在均方意在均方意義下收斂于真值義下收斂于真值 ，即，即)()()()() 1(kJkkk)(J)(J0)()(lim00kkEk0（F）)(k梯度校正參數(shù)辯識(shí)方法隨機(jī)逼近參數(shù)估計(jì)方法隨機(jī)逼近參數(shù)估計(jì)方法考察參數(shù)辨識(shí)問(wèn)題：考察參數(shù)辨識(shí)問(wèn)題：設(shè)準(zhǔn)則函數(shù)為：設(shè)準(zhǔn)則函數(shù)為：其中：其中： 為標(biāo)量函數(shù)；為標(biāo)量

50、函數(shù)； 表示時(shí)刻表示時(shí)刻k以前的輸入以前的輸入輸出數(shù)據(jù)集合。輸出數(shù)據(jù)集合。)()()(kekkzh h),()(khEJD D)(hkD D（G）梯度校正參數(shù)辯識(shí)方法準(zhǔn)則函數(shù)的一階負(fù)梯度為：準(zhǔn)則函數(shù)的一階負(fù)梯度為：則參數(shù)辨識(shí)問(wèn)題（則參數(shù)辨識(shí)問(wèn)題（G）可以歸結(jié)為求解以下方程）可以歸結(jié)為求解以下方程由隨機(jī)逼近原理，可得：由隨機(jī)逼近原理，可得：其中其中 為滿足條件（為滿足條件（D）的收斂因子。）的收斂因子。),(),()(kkhEJD Dq qD D0 0D Dq q),(k),1()() 1()(kkkkkD Dq q)(k梯度校正參數(shù)辯識(shí)方法若具體的準(zhǔn)則函數(shù)?。喝艟唧w的準(zhǔn)則函數(shù)?。簄則有：則有：

51、n下面考察以下參數(shù)辨識(shí)問(wèn)題：下面考察以下參數(shù)辨識(shí)問(wèn)題：n其中：其中： 是均值為零，方差為是均值為零，方差為 的白噪聲的白噪聲，輸入輸出帶有噪聲，即，輸入輸出帶有噪聲，即)()(21)(21)(22h hkkzEkeEJ)1()()()()() 1()(kkkzkkkkh hh h)()()()()(11kvkuzBkyzA)()()()()()(kskukxkwkykz)(kv2v（H）梯度校正參數(shù)辯識(shí)方法n其中其中 和和 分別是均值為零，方差為分別是均值為零，方差為 和和 的白噪聲，并且的白噪聲，并且 、 、 和和 兩兩兩兩不相關(guān)，且不相關(guān)，且令：令：bbaannnnzbzbzbzBzazazazA2211122111)(1)()(ks)(kw2s2w)(kv)(ks)(kw)(ku)()()()()()(,)(,),1(),(,),1()(112121kvkszBkwzAkebbbaaankxkxnkzkzkbannbah h梯度校正參數(shù)辯識(shí)方法則模型（則模型（H）化為最小二乘格式：）化為最小二乘格式：其中的噪聲具有以下性質(zhì)：其中的噪聲具有以下性質(zhì)：取