第4章最小二乘類(lèi)辨識(shí)算法 (2).ppt

1、1,第章最小二乘類(lèi)參數(shù)辨識(shí)方法（一）,2,4.0 引言 4.1 最小二乘法的基本概念 4.2 最小二乘問(wèn)題的提法 4.3 最小二乘問(wèn)題的解 4.4 最小二乘估計(jì)的可辨識(shí)性 4.5 最小二乘估計(jì)的幾何解析 4.6 最小二乘參數(shù)估計(jì)值的統(tǒng)計(jì)性質(zhì) 4.7 噪聲方差估計(jì) 4.8 最小二乘參數(shù)估計(jì)的遞推算法,m次獨(dú)立試驗(yàn)的數(shù)據(jù),4.0 引言,1801年初，天文學(xué)家皮亞齊發(fā)現(xiàn)了谷神星。 1801年末，天文愛(ài)好者奧博斯，在高斯預(yù) 言的時(shí)間里，再次發(fā)現(xiàn)谷神星。 1802年又成功地預(yù)測(cè)了智神星的軌道。,高斯自己獨(dú)創(chuàng)了一套行星軌道計(jì)算 理論。 高斯僅用1小時(shí)就算出了谷神星的 軌道形狀，并進(jìn)行了預(yù)測(cè),1794年，高

2、斯提出了最小二乘的思想。,1794年，高斯提出的最小二乘的基本原理是,未知量的最可能值是使各項(xiàng)實(shí)際觀測(cè)值和計(jì)算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。,6,最小二乘類(lèi)辨識(shí)算法的主要內(nèi)容,最小二乘辨識(shí)算法 自適應(yīng)辨識(shí)算法 偏差補(bǔ)償最小二乘法 增廣最小二乘算法 廣義最小二乘法 輔助變量法 相關(guān)二步法,7,如果 僅僅關(guān)心所要辨識(shí)的過(guò)程輸入輸出特性 可以將所過(guò)程視為“黑箱” 而不考慮過(guò)程的內(nèi)部機(jī)理,8,過(guò)程的“黑箱”結(jié)構(gòu) u(k) 和 z(k) 分別是過(guò)程的輸入和輸出 - 描述輸入輸出關(guān)系的模型，稱(chēng)為過(guò)程模型,9,通?？梢员硎境?其中,（4.0.1）,（4.0.2）,10,n(k)為噪聲 可以

3、表示成均值為零的平穩(wěn)隨機(jī)系列 式中,（4.0.5）,（4.0.4）,（4.0.3）,11,各種方法所用的辨識(shí)模型結(jié)構(gòu)略有不同 最小二乘法（受控自回歸 CAR模型） 增廣最小二乘法(受控自回歸滑動(dòng)平均 CARMA模型) 廣義最小二乘法(動(dòng)態(tài)調(diào)節(jié) DA模型),（4.0.9）,（4.0.8）,（4.0.7）,12,經(jīng)比較可以看出 各種方法所用過(guò)程模型一樣 只是噪聲模型有所不同,根據(jù)不同的辨識(shí)原理，參數(shù)模型辨識(shí)方法可歸納成三類(lèi)： 最小二乘類(lèi)參數(shù)辨識(shí)方法，其基本思想是通過(guò)極小化如下準(zhǔn)則函數(shù)來(lái)估計(jì)模型參數(shù)： 其中 代表模型輸出與系統(tǒng)輸出的偏差。典型的方法有最小二乘法、增廣最小二乘法、輔助變量法、廣義最小二

4、乘法等。,（4.0.10）, 梯度校正參數(shù)辨識(shí)方法，其基本思想是沿著準(zhǔn)則函數(shù)負(fù)梯度方向逐步修正模型參數(shù)，使準(zhǔn)則函數(shù)達(dá)到最小，如隨機(jī)逼近法。 概率密度逼近參數(shù)辨識(shí)方法，其基本思想是使輸出z 的條件概率密度 最大限度地逼近條件 下的概率密度 ，即 典型的方法是極大似然法。,（4.0.11）,15,4.1 最小二乘法的基本概念,最小二乘法 1795年高斯在其著名的星體運(yùn)動(dòng)軌跡預(yù)報(bào)研究工作中提出的,后來(lái)成了估計(jì)理論的奠基石。 最小二乘的基本結(jié)果有兩種算法： 一次完成算法或批處理算法：利用一批觀測(cè)數(shù)據(jù)，一次計(jì)算或經(jīng)反復(fù)迭代，以獲得模型參數(shù)的估計(jì)值。, 遞推算法：在上次模型參數(shù)估計(jì)值 的基礎(chǔ)上，根據(jù)當(dāng)前獲

5、得的數(shù)據(jù)提出修正，進(jìn)而獲得本次模型參數(shù)估計(jì)值 ，廣泛采用的遞推算法形式為 其中 表示k 時(shí)刻的模型參數(shù)估計(jì)值，K(k)為算法的增益，h(k-d) 是由觀測(cè)數(shù)據(jù)組成的輸入數(shù)據(jù)向量，d 為整數(shù)， 表示新息。,（4.1.1）,17,假設(shè) 過(guò)程的輸入輸出關(guān)系可以描述成以下最小二乘格式 z(k) 過(guò)程的輸出 參數(shù) h(k) 觀測(cè)的數(shù)據(jù)向量 n(k) 均值為零的隨機(jī)噪聲,（4.1.2）,18,利用數(shù)據(jù)序列z(k)和h(k) 極小化下列準(zhǔn)則函數(shù) 使 J 最小的 的估計(jì)值 ，稱(chēng)為的最小二乘估計(jì)值。,（4.1.3）, 最小二乘原理表明，未知參數(shù)估計(jì)問(wèn)題，就是求參數(shù)估計(jì)值 ，使序列的估計(jì)值盡可能地接近實(shí)際序列，兩

6、者的接近程度用實(shí)際序列與序列估計(jì)值之差的平方和來(lái)度量。 最小二乘估計(jì)值應(yīng)在觀測(cè)值與估計(jì)值之累次誤差的平方和達(dá)到最小值處，所得到的模型輸出能最好地逼近實(shí)際系統(tǒng)的輸出。,20,.2 最小二乘問(wèn)題的提法,設(shè)時(shí)不變 SISO 動(dòng)態(tài)過(guò)程的數(shù)學(xué)模型為 所要解決的最小二乘問(wèn)題 如何利用過(guò)程的輸入、輸出數(shù)據(jù) 確定多項(xiàng)式 和 的系數(shù),（4.2.1）,21,在最小二乘問(wèn)題中，一般對(duì)模型作以下假設(shè) 首先，模型的階次 ， 已定 且一般 其次，將（4.1.4）模型寫(xiě)成最小二乘格式 式中,（4.2.2）,（4.2.3）,22,對(duì) (4.1.5)式構(gòu)成一個(gè)線(xiàn)性方程組 可以寫(xiě)成,（4.2.4）,23,（4.2.5）,24,另

7、外 設(shè)模型的噪聲 n(k) 特征為,（4.2.6）,25,在最小二乘法中 假定 n(k) 是白噪聲序列 - n(k)的方差 最后，假設(shè)數(shù)據(jù)長(zhǎng)度,（4.2.8）,（4.2.7）,(4.2.4)式有L個(gè)方程，包括 個(gè)未知數(shù)。 如果 ，方程的個(gè)數(shù)少于未知數(shù)的個(gè)數(shù)，模型參數(shù) 不是唯一確定。 如果 ，則只有當(dāng) 時(shí)， 才有唯一確定解。 當(dāng) 時(shí)，只有取 ，才有可能確定一個(gè)最優(yōu)的模型參數(shù) ，而且為了保證辨識(shí)的精度，L必須充分大。,27,.3 最小二乘問(wèn)題的解,取準(zhǔn)則函數(shù) - 加權(quán)因子，對(duì) 如 K=1 時(shí) ，K=L時(shí),體現(xiàn)對(duì)不同時(shí)刻的數(shù)據(jù)給予不同程度的信任,（4.3.1）,28,準(zhǔn)則函數(shù) 可寫(xiě)成二次型形式 -

8、加權(quán)矩，一般為正定的對(duì)角矩陣,（4.3.3）,（4.3.2）,29,設(shè) 使 則有 則得,（4.3.4）,（4.3.5）,（4.3.6）,30,當(dāng) 可逆時(shí)（稱(chēng)為正則）時(shí) 充分條件 因 所以 , 是唯一的,（4.3.8）,（4.3.7）,31,通過(guò)極小化（4.3.2）式 計(jì)算 稱(chēng)為加權(quán)最小二乘法 取 則（4.3.7）式變化成 - 最小二乘估計(jì)值,（4.3.9）,（4.3.10）,32,上述最小二乘法的計(jì)算步驟為：首先獲取一批足夠數(shù)量的過(guò)程輸入輸出數(shù)據(jù)和，并確定加權(quán)矩陣，計(jì)算的逆矩陣（要求必須是正則矩陣），按照式(4.3.7)即可計(jì)算出過(guò)程參數(shù)的估計(jì)值。這種方法稱(chēng)為“一次完成算法”，它為理論分析提供

9、了便利，但在計(jì)算時(shí)需要對(duì)矩陣求逆，如果矩陣維數(shù)過(guò)大，矩陣求逆的計(jì)算量將急劇增加，對(duì)計(jì)算機(jī)造成一定的負(fù)擔(dān)。較為實(shí)用的方法是“遞推算法”，即把式(4.3.7)化成遞推計(jì)算的形式，這樣便于實(shí)現(xiàn)在線(xiàn)辨識(shí)。,33,一次性完成算法要求必須是正則矩陣，其充分必要條件是過(guò)程的輸入信號(hào)必須是階持續(xù)激勵(lì)信號(hào)。即要求,（4.3.11）,34,其中,（4.3.12）,35,上述條件稱(chēng)為開(kāi)環(huán)可辨識(shí)性條件。即辨識(shí)所用的輸入信號(hào)不能隨意選擇，否則可能造成不可辨識(shí)。目前常用的信號(hào)有： ）隨機(jī)序列（白噪聲） ）偽隨機(jī)序列（如序列） ）離散序列，通常指對(duì)含有種頻率（各頻率不能滿(mǎn)足整數(shù)倍關(guān)系）的正弦信號(hào)進(jìn)行采樣處理獲得的離散序列。

10、,例 考慮仿真對(duì)象,選擇如下的辨識(shí)模型進(jìn)行一般的最小二乘參數(shù)辨識(shí)。,式中，v(k)是服從正態(tài)分布的白噪聲N(0,1)。輸入信號(hào)采用4階M序列，其幅值為1.,4階M序列,輸出信號(hào),一般最小二乘參數(shù)辨識(shí)流程圖,56,.6 最小二乘參數(shù)估計(jì)值的統(tǒng)計(jì)性質(zhì),最小二乘參數(shù)估計(jì)值具有隨機(jī)性，因此需要研究它們的統(tǒng)計(jì)性質(zhì) 1. 無(wú)偏性 2. 參數(shù)估計(jì)偏差的協(xié)方差性質(zhì) 3一致性 4. 有效性 5. 漸近正態(tài)性,57,1. 無(wú)偏性(無(wú)偏性是用來(lái)衡量參數(shù)估計(jì)值是否圍繞真值波動(dòng)的一個(gè)性質(zhì)。) 定理 1 若模型 中的噪聲向量 的均值為零，即 ，并且 與 是統(tǒng)計(jì)獨(dú)立的，即 ，則加權(quán)最小二乘參數(shù)估計(jì)值 是無(wú)偏估計(jì)量，即 其中

11、 表示系統(tǒng)的真實(shí)值。,(4.6.1),58,證明:根據(jù)（5.3.7）及定理1所給的條件，參數(shù)估計(jì)量 的數(shù)學(xué)期望為 所以 是無(wú)偏估計(jì)。,(4.6.2),59,無(wú)偏性并不要求噪聲一定是白噪聲，只要求它與統(tǒng)計(jì)獨(dú)立即可。如果是白噪聲，則與一定統(tǒng)計(jì)獨(dú)立。 另外，定理所給出是條件是為無(wú)偏估計(jì)的充分條件，并不是必要條件。它的必要條件應(yīng)是,(4.6.3),60,即與正交。 當(dāng)定理的條件不能滿(mǎn)足時(shí)，它提供了一種獲取無(wú)偏估計(jì)的方法，即可通過(guò)選擇加權(quán)矩陣使之滿(mǎn)足正交條件。,61,2. 參數(shù)估計(jì)偏差的協(xié)方差性質(zhì) （ 參數(shù)估計(jì)偏差的協(xié)方差陣是用來(lái)評(píng)價(jià)參數(shù)估計(jì)精度的一個(gè)依據(jù)。） 定理 2 若模型 的 是均值為零，即 ，協(xié)

12、方差陣為 ，并且與 統(tǒng)計(jì)獨(dú)立的噪聲向量，則參數(shù)估計(jì)偏差 的協(xié)方差陣為,(4.6.4),62,證明：根據(jù)（5.3.7）及定理1、定理2所給出的條件，有,(4.6.5),63,推論 1，在定理2的條件下，如果加權(quán)矩陣 ，則模型 的參數(shù)估計(jì)值為 相應(yīng)的參數(shù)估計(jì)偏差的協(xié)方差為,此時(shí)參數(shù)的估計(jì)值稱(chēng)為Markov估計(jì)，或最小方差估計(jì),(4.6.7),(4.6.6),64,推論 2 若模型 中的 是零均值的白噪聲向量，且加權(quán)矩陣取 ，則參數(shù)估計(jì)偏差的協(xié)方差陣為 其中 是噪聲的方差，且定義,（5.6.8）,推論1、推論2可以由定理2直接得出，它們是評(píng)價(jià)最小二乘參數(shù)辨識(shí)方法的重要依據(jù)。如果噪聲同時(shí)又服從正態(tài)分布

13、，則（4.6.6）式給出的參數(shù)估計(jì)值其偏差的方差達(dá)到最小值，稱(chēng)為最小方差估計(jì)，也稱(chēng)Markov估計(jì)。,65,66,3一致性 如果估計(jì)值具有一致性，說(shuō)明它將以概率 1 收斂于真值。 定理 3 在推論2的條件下，最小二乘參數(shù)估計(jì)是一致性收斂的，即 w.p（with probability）1,W. P. 1,(4.6.9),67,證明： 根據(jù)（4.5.8）式，有 式中 將依概率1收斂于一個(gè)正定陣，且 是有界的，因而,（4.6.10）,（4.6.11）,68,又因 所以,（4.6.12）,69,需要特別指出：只有當(dāng)是白噪聲時(shí)，定理才能成立。,74,4. 有效性 即估計(jì)值偏差的協(xié)方差陣將達(dá)到最小值。

14、定理4 在推論2的條件下，并設(shè)噪聲 服從正態(tài)分布，則最小二乘參數(shù)估計(jì) 是有效估計(jì)值，即參數(shù)估計(jì)偏差的協(xié)方差達(dá)到Cramer-Rao不等式的下界 其中，M為Fisher信息矩陣,（4.6.21）,（4.6.22）,75,證明：因?yàn)?其中 由定理3知,（4.6.23）,（4.6.24）,76,則 ，故有 那么 即,（4.6.25）,（4.6.26a）,（4.6.26b）,77,上式取偏導(dǎo)數(shù)，得 于是,（4.6.27）,（4.6.28）,78,推論3 在推論1 的條件下，并設(shè)噪聲 服從正態(tài)分布，則最小誤差方差估計(jì) 是有效估計(jì)，即 其中，M為Fisher信息矩陣。,（4.6.29）,證明：和證明定理3

15、類(lèi)似，同類(lèi)可以證明Markov參數(shù)估計(jì) 將依概率1收斂于 。則可得Fisher信息矩陣為 與（4.6.7）比較知，（4.6.29）式成立。 定理4和推論3表明，在一定條件下，最小二乘參數(shù)估計(jì)值和Markov參數(shù)估計(jì)值都是有效估計(jì)量。,（4.6.30）,80,5. 漸近正態(tài)性 定理5 在推論2的條件下，設(shè)噪聲 服從正態(tài)分布，則最小二乘估計(jì)值 服從正態(tài)分布，即,（4.6.31）,81,證明：根據(jù)及 可得 由知 可見(jiàn)，是的線(xiàn)性函數(shù)，則 整理，即為（）式。,（4.6.32）,（4.6.33）,（4.6.34）,82,推論 在推論1 的條件下，并設(shè)噪聲 服從正態(tài)分布，則最小誤差方差估計(jì) 服從正態(tài)分布。即

16、,（4.6.35）,83,4.7 噪聲方差估計(jì),定理：在推論 2的條件下噪聲方差 的估計(jì)值由下式計(jì)算 其中 ， 為輸出殘差，即,（4.7.1）,84,該定理提供了一種計(jì)算噪聲方差估計(jì)值的方法。它必須先獲得參數(shù)估計(jì)值，繼而進(jìn)一步求得輸出殘差 然后按上式求的估計(jì)值。 而且是的無(wú)偏估計(jì)量。,85,證明是的無(wú)偏估計(jì),因 ，故為同冪矩陣， ，則,（4.7.2）,（4.7.3）,（4.7.4）,86,利用下列公式,并考慮到 是白噪聲向量，它必與 統(tǒng)計(jì)獨(dú)立，則有,（4.7.5）,87,（4.7.6）,表 不同噪聲水平下的辨識(shí)結(jié)果,90,4.8 最小二乘參數(shù)估計(jì)的遞推算法,新的估計(jì)值 = 老的估計(jì)值 + 修正

17、項(xiàng),（4.8.1）,91,初值的選取 （1）根據(jù)一批數(shù)據(jù)，利用一次完成算法，預(yù)先求得 （2）直接給定初始值 ，a - 充分大的實(shí)數(shù) ， - 充分小的實(shí)向量,（4.8.2）,最小二乘參數(shù)估計(jì)的遞推算法,目的：減小重復(fù)計(jì)算量和貯存空間、便于在線(xiàn)應(yīng)用 思想：按觀測(cè)次序一步一修正，即 新的估計(jì)值 =老的估計(jì)值 + 修正項(xiàng),改寫(xiě)一次性完成算法：,(na+nb) (na+nb),L 1,(na+nb) 1,（4.8.3）,基于數(shù)據(jù)長(zhǎng)度為L(zhǎng)的測(cè)量值，所得參數(shù)最小二乘估計(jì)為：,L,L-1,L-2,1,Past,Future,“估計(jì)” z(1)所用數(shù)據(jù), 這些數(shù)據(jù)構(gòu)成 h(1),max(na , nb)拍,ma

18、x(na , nb)拍,“估計(jì)” z(L)所用數(shù)據(jù), 這些數(shù)據(jù)構(gòu)成 h(L),令k=L（即假設(shè)觀測(cè)方程個(gè)數(shù)為k）, 可得：,其中：,以下省去,k(na+nb),L被稱(chēng)作記憶長(zhǎng)度或數(shù)據(jù)長(zhǎng)度,（4.8.4）,（4.8.5）,（4.8.6）,進(jìn)一步：,重溫,可知,(na+nb) (na+nb),此 k 指觀測(cè) 數(shù)據(jù)長(zhǎng)度,（4.8.8）,（4.8.9）,（4.8.7）,這樣：,因?yàn)?（4.8.10）,（4.8.11）,引進(jìn)增益矩陣,可得加權(quán)最小二乘的另一表述式：,上式中除K(k)以外均為迭代計(jì)算形式。能否對(duì)K(k) ，本質(zhì)上是P(k), 也實(shí)現(xiàn)迭代計(jì)算呢？ P(k)已經(jīng)被定義為逆矩陣：,欲實(shí)現(xiàn)其迭代計(jì)算，需用到矩陣反演公式。,（4.8.12）,（4.8.13）,（4.8.14）,