《系統(tǒng)辨識(shí)》PPT課件

1,系統(tǒng)辨識(shí),電氣工程與自動(dòng)化學(xué)院陳沖,2,課程主要內(nèi)容,第一章概述,第二章過渡響應(yīng)法和頻率響應(yīng)法,第三章辨識(shí)線性系統(tǒng)脈沖響應(yīng)函數(shù)的相關(guān)分析法,結(jié)束,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,第五章線性系統(tǒng)的狀態(tài)估計(jì)法,3,第一章概述,一、建模的必要性,二、模型,三、建模方法,四、系統(tǒng)辨識(shí)的內(nèi)容（或步驟）,4,一、建模的必要性,課程的核心問題是建模，主要是辨識(shí)建模。,系統(tǒng)辨識(shí)是研究辨識(shí)建模的理論和方法。,數(shù)學(xué)模型的主要用途：,控制理論與控制工程就一直圍繞著建立模型和控制器設(shè)計(jì)這兩個(gè)主題來發(fā)展，它們相互依賴、相互滲透并相互發(fā)展。,用來預(yù)報(bào)實(shí)際系統(tǒng)物理量,研究實(shí)際系統(tǒng)往往需要事先知道一些物理量的數(shù)值，而其中有些量可能無法直接測量或測不準(zhǔn)，所以需要建立數(shù)學(xué)模型來預(yù)報(bào)。,第一章概述,5,為了設(shè)計(jì)控制系統(tǒng),目前,對(duì)被控系統(tǒng)的控制器的設(shè)計(jì)方法的選取,以及如何進(jìn)行具體的控制結(jié)構(gòu)和參數(shù)的設(shè)計(jì)都廣泛依賴于對(duì)被控系統(tǒng)的理解及所建立的被控系統(tǒng)數(shù)學(xué)模型。,用于分析實(shí)際系統(tǒng),工程上在分析一個(gè)新系統(tǒng)時(shí)，通常先進(jìn)行數(shù)學(xué)仿真，仿真的前提必須有數(shù)學(xué)模型。,第一章概述,建模問題在控制器設(shè)計(jì)中起著非常重要的作用,是設(shè)計(jì)中首先需要解決的問題；是成功地進(jìn)行控制器設(shè)計(jì)的關(guān)鍵之一。,第一章概述,系統(tǒng)的模型一般分物理模型與數(shù)學(xué)模型,物理模型：指用物理、化學(xué)、生物等材料構(gòu)成的用于描述系統(tǒng)中的關(guān)系和特征的實(shí)體模型。,模型：就是把系統(tǒng)實(shí)體的本質(zhì)信息簡縮成有用的描述形式，,數(shù)學(xué)模型：描述系統(tǒng)中一些關(guān)系和特征的數(shù)據(jù)模型。,控制領(lǐng)域的數(shù)學(xué)模型就是指能用來描述系統(tǒng)的動(dòng)態(tài)或靜態(tài)特性和行為的數(shù)學(xué)表達(dá)式或方程。是進(jìn)行系統(tǒng)分析、預(yù)報(bào)、優(yōu)化及控制系統(tǒng)設(shè)計(jì)的基礎(chǔ)。,二、模型,是一種簡化描述。,7,1、理論建模法：,通過對(duì)系統(tǒng)內(nèi)在機(jī)理的分析，按照已知的一些物理定律導(dǎo)出各物理量關(guān)系來建立數(shù)學(xué)模型。理論建模法建立的模型稱為機(jī)理模型。,一般在理論建模中,根據(jù)模型應(yīng)用的目的和精度要求,僅考慮系統(tǒng)中起主導(dǎo)作用的有限的幾個(gè)因素即可。,缺陷：當(dāng)驗(yàn)前信息不足時(shí)，用理論建模法會(huì)遇到很大困難。對(duì)于比較復(fù)雜的過程，必須對(duì)機(jī)理模型簡化，這就使得機(jī)理建模與實(shí)際過程間有一定的誤差。,第一章概述,三、建模方法,8,理論建模通常只能用以建立比較簡單系統(tǒng)的模型（白箱問題）。,由于許多系統(tǒng)的機(jī)理和所處的環(huán)境越來越復(fù)雜，因此，理論建模法的運(yùn)用亦越來越困難，其局限性越來越大,需要建立新的建模方法。,第一章概述,在被建模的裝置尚不存在（設(shè)計(jì)階段）或雖存在但無法進(jìn)行實(shí)驗(yàn)時(shí)，理論建模是取得模型的唯一途徑，是驗(yàn)前問題中唯一可行的方法。,理論建模的難點(diǎn)在于對(duì)有關(guān)學(xué)科知識(shí)及實(shí)際經(jīng)驗(yàn)的掌握，故不屬于課程的討論范圍。,在理論建模方法難以進(jìn)行或難以達(dá)到要求的情況下，系統(tǒng)辨識(shí)建模方法就幸運(yùn)而生。,9,2、辨識(shí)建模法：,對(duì)被控系統(tǒng)進(jìn)行測試，利用觀測數(shù)據(jù)，通過辨識(shí)技術(shù)去構(gòu)造系統(tǒng)模型的方法。,系統(tǒng)辯識(shí)是研究怎樣利用對(duì)未知系統(tǒng)的試驗(yàn)數(shù)據(jù)或在線運(yùn)行數(shù)據(jù)(輸入/輸出數(shù)據(jù))建立描述系統(tǒng)的數(shù)學(xué)模型的科學(xué)。,系統(tǒng)辯識(shí)亦稱為實(shí)驗(yàn)建模方法,它是“系統(tǒng)分析”和“控制系統(tǒng)設(shè)計(jì)”的逆問題。,第一章概述,是現(xiàn)代控制理論的一個(gè)分支。,1）完全辨識(shí)問題：,第一章概述,完全不了解系統(tǒng)的任何基本特性（定常時(shí)變；線性非線性；確定隨機(jī)等）。這類問題稱為黑箱問題。這是一個(gè)極難解決的問題，通常需要對(duì)系統(tǒng)作某些主觀的先驗(yàn)假設(shè)。,2）部分辨識(shí)問題：,系統(tǒng)的某些基本特性假定是已知的，但不知?jiǎng)討B(tài)模型的階次或有關(guān)的系數(shù)。這類問題稱為灰箱問題。顯然比黑箱問題容易解決。,根據(jù)對(duì)系統(tǒng)事先了解的程度（先驗(yàn)知識(shí)）可將辨識(shí)問題分成二類：完全辨識(shí)問題和部分辨識(shí)問題。,11,大部分工程系統(tǒng)及工業(yè)過程都屬于灰箱問題。通常對(duì)系統(tǒng)的結(jié)構(gòu)會(huì)有很多了解，因此可推導(dǎo)得系統(tǒng)特定的數(shù)學(xué)模型。在這種情況下只要定階和確定模型中的一組參數(shù)。從而模型化問題簡化為參數(shù)估計(jì)。因此參數(shù)估計(jì)是一個(gè)最重要的問題。,第一章概述,有效的辨識(shí)策略：盡可能地掌握系統(tǒng)的先驗(yàn)知識(shí)，即盡可能地使系統(tǒng)“白化”；,有效的辨識(shí)方法：“灰箱”方法。將兩種方法結(jié)合起來，互為補(bǔ)充。,對(duì)依然“黑”的部分，用理論建模方法不能確定的部分和參數(shù)，采用系統(tǒng)辨識(shí)方法。,12,第一章概述,系統(tǒng)辨識(shí)的框圖,13,模糊數(shù)學(xué)創(chuàng)始人L.A.Zadeh,第一章概述,1962年Zadeh從數(shù)學(xué)的角度定義:辨識(shí)就是在輸入輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類中，確定一個(gè)與所測系統(tǒng)等價(jià)的模型。,1978年瑞典的李龍(Ljung)提出:系統(tǒng)辯識(shí)的三個(gè)要素?cái)?shù)據(jù)、模型類和準(zhǔn)則。,系統(tǒng)辯識(shí)是按照一個(gè)準(zhǔn)則，在模型類中選擇一個(gè)與數(shù)據(jù)擬合得最好的模型。,擬合的好壞是一個(gè)不定的概念，所以要用準(zhǔn)則來判別。,3、系統(tǒng)辨識(shí)的定義,所謂辨識(shí)建模是從實(shí)驗(yàn)數(shù)據(jù)出發(fā)，根據(jù)辨識(shí)的目的以及對(duì)過程已有的驗(yàn)前知識(shí)，預(yù)先給出一個(gè)模型類（線性的、非線性的、定常的、時(shí)變的、連續(xù)的、離散的）進(jìn)行擬合。,14,第一章概述,它是一個(gè)迭代過程。大致包括：試驗(yàn)設(shè)計(jì)，模型結(jié)構(gòu)確定，參數(shù)估計(jì)和模型驗(yàn)證。,四、系統(tǒng)辨識(shí)的內(nèi)容（或步驟）,15,大致包括：試驗(yàn)設(shè)計(jì)，模型結(jié)構(gòu)確定，參數(shù)估計(jì)和模型驗(yàn)證。,1、試驗(yàn)設(shè)計(jì),第一章概述,1）選擇變量：以提取有效的信息（數(shù)據(jù)）為目的。首先根據(jù)試驗(yàn)對(duì)象，確定所要觀測的變量。（u是人為給定的，y是觀測的，y的選取不同會(huì)改變輸出矩陣C的結(jié)構(gòu)和數(shù)值。）,通常為得到試驗(yàn)設(shè)計(jì)前的必要的知識(shí)，必須進(jìn)行一些預(yù)備性試驗(yàn)（摸底）。,四、系統(tǒng)辨識(shí)的內(nèi)容（或步驟）,16,第一章概述,預(yù)備性試驗(yàn)：可用一些簡單方法（階躍響應(yīng)，頻率響應(yīng)等）獲得系統(tǒng)的如下信息：,主要時(shí)間常數(shù)（系統(tǒng)頻寬，與試驗(yàn)長度有關(guān)）允許的輸入信號(hào)幅度（系統(tǒng)的線性范圍）過程的非線性與時(shí)變性（有助于模型類的選擇）噪聲水平（以便用多大的輸入，使得觀測量有多大的信噪比）變量之間的延遲（滯后環(huán)節(jié)參數(shù)）,2）輸入信號(hào)的選擇（階躍、方波、脈沖、PRBS）。,17,第一章概述,3）采樣速度的選擇（要采集數(shù)據(jù)就有采樣速度選擇問題）。實(shí)際上先采用較短的采樣間隔，在數(shù)據(jù)分析時(shí)，可根據(jù)需要隔幾個(gè)取一個(gè)數(shù)據(jù)。,4）試驗(yàn)長度的確定（試驗(yàn)時(shí)間問題）。辨識(shí)精度與試驗(yàn)時(shí)間的長短有關(guān)。,2、模型結(jié)構(gòu)確定,根據(jù)辨識(shí)的目的及對(duì)被辨識(shí)系統(tǒng)的先驗(yàn)知識(shí)，確定系統(tǒng)所屬的模型類,模型結(jié)構(gòu)的選擇主要取決于應(yīng)用的目的及精度要求。通常模型精度與復(fù)雜性要折衷考慮。,18,第一章概述,常用的模型類：參數(shù)的或非參數(shù)的線性的或非線性的連續(xù)的或離散的確定的或隨機(jī)的I/O的或狀態(tài)的時(shí)變的或定常(時(shí)不變)的集中參數(shù)的或分布參數(shù)的頻率域的或時(shí)間域的等等。,19,第一章概述,根據(jù)系統(tǒng)的空間、時(shí)間的離散化情況，模型可分為三類：,1）集中參數(shù)的連續(xù)時(shí)間模型：空間變量是離散的，時(shí)間變量連續(xù)。如常微分方程，代數(shù)方程。,2）集中參數(shù)的離散時(shí)間模型：時(shí)、空變量均離散。如差分方程，代數(shù)方程。,3）分布參數(shù)模型：時(shí)、空變量均連續(xù)，如偏微分方程。它可以在空間上離散化，簡化成分塊集中參數(shù)，所以對(duì)它的辨識(shí)不介紹。,a,20,第一章概述,3、參數(shù)估計(jì),模型結(jié)構(gòu)確定后，其中未知部分就要通過觀測數(shù)據(jù)進(jìn)行估計(jì)。通常未知部分是以未知參數(shù)出現(xiàn)，故辨識(shí)工作就成了參數(shù)估計(jì)。,4、模型驗(yàn)證,一個(gè)模型辨出來后，是否可靠必須進(jìn)行多次驗(yàn)證。,參數(shù)估計(jì)的要求就是要辨識(shí)出來的模型與實(shí)際過程在某種意義下最“接近”。所以必須有個(gè)準(zhǔn)則衡量。,通常一個(gè)模型用一套數(shù)據(jù)進(jìn)行辨識(shí)，然后用另一套數(shù)據(jù)來驗(yàn)證和修改。,21,第二章過渡響應(yīng)法和頻率響應(yīng)法,21過渡響應(yīng)法（時(shí)域法）,22頻率響應(yīng)法（頻域法）,23多輸入多輸出線性系統(tǒng)傳函（矩陣）的辨識(shí),22,模型可以有不同的形式，不同的模型適于不同的系統(tǒng)。,古典辨識(shí)方法：采用時(shí)域法和頻率法來辨識(shí)線性系統(tǒng)的傳遞函數(shù)。,原則上只適用于SISO線性系統(tǒng)。,SISO系統(tǒng)通常采用傳遞函數(shù)。MIMO系統(tǒng)通常采用狀態(tài)空間表達(dá)式。,由實(shí)驗(yàn)來建立數(shù)學(xué)模型傳遞函數(shù)，可以為更復(fù)雜的系統(tǒng)辨識(shí)做預(yù)備性實(shí)驗(yàn)，它是現(xiàn)代系統(tǒng)辨識(shí)的基礎(chǔ)，屬于連續(xù)系統(tǒng)的數(shù)學(xué)模型的辨識(shí)領(lǐng)域。,第二章過渡響應(yīng)法和頻率響應(yīng)法,23,第二章過渡響應(yīng)法和頻率響應(yīng)法,試驗(yàn)信號(hào)的選用：,對(duì)系統(tǒng)模型的研究方法不同，輸入試驗(yàn)信號(hào)也相應(yīng)分成非周期的和周期的兩種。,用時(shí)域法建模：輸入信號(hào)為非周期的。主要采用階躍和方波（近似脈沖）函數(shù)。,用頻域法建模：輸入信號(hào)用周期的。主要用正弦波，二進(jìn)制周期函數(shù)。它們又分為單頻和多頻（組合正弦波及周期方波）,24,21過渡響應(yīng)法（時(shí)域法）,采用非周期試驗(yàn)信號(hào)，通過系統(tǒng)的動(dòng)態(tài)響應(yīng)研究系統(tǒng)的模型。,一、非參數(shù)模型的辨識(shí),在時(shí)域中建立線性系統(tǒng)非參數(shù)模型時(shí)，用很簡便的方法就可得到脈沖響應(yīng)曲線，階躍響應(yīng)曲線、方波響應(yīng)曲線或它們的離散采樣數(shù)據(jù)表。,對(duì)于線性系統(tǒng)，脈沖響應(yīng)，階躍響應(yīng)和方波響應(yīng)之間是可以相互轉(zhuǎn)換的。,脈沖響應(yīng)：可以采用幅值相當(dāng)大，寬度很窄的方波來近似函數(shù)。,第二章過渡響應(yīng)法和頻率響應(yīng)法,25,第二章過渡響應(yīng)法和頻率響應(yīng)法,二、由階躍響應(yīng)曲線辨識(shí)傳函,1、試探法,工業(yè)中常用的模型類：（即便是高階系統(tǒng)也用低階模型去逼近）,由非參數(shù)模型轉(zhuǎn)變成參數(shù)模型，包括確定傳函的結(jié)構(gòu)及參數(shù)。,先觀察試驗(yàn)所得響應(yīng)曲線的形狀特征，據(jù)此判斷，從模型類中確定一種結(jié)構(gòu)。然后進(jìn)行參數(shù)估計(jì)，最后驗(yàn)證數(shù)據(jù)擬合程度，反復(fù)多次，直至誤差e(t)最?。?yàn)證數(shù)據(jù)擬合可只取若干點(diǎn)）。,26,第二章過渡響應(yīng)法和頻率響應(yīng)法,1）若階躍響應(yīng)曲線特征為：,曲線逐漸上升到穩(wěn)態(tài)值：,可采用結(jié)構(gòu)：,待估參數(shù)為：K，T,穩(wěn)態(tài)增益：,將試驗(yàn)曲線標(biāo)么化，即,27,第二章過渡響應(yīng)法和頻率響應(yīng)法,要確定T，只要一對(duì)觀測數(shù)據(jù)：y*(t1)，t1,則標(biāo)么化后響應(yīng)：,可得：,由,若取y*(t1)=0.63，則T=t1,驗(yàn)證數(shù)據(jù)擬合如何，可在t=T/2和t=2T二點(diǎn)進(jìn)行：,若擬合不好，則應(yīng)另選模型結(jié)構(gòu)類。,1,28,第二章過渡響應(yīng)法和頻率響應(yīng)法,待估參數(shù)為：K，T，,穩(wěn)態(tài)增益：,將試驗(yàn)曲線標(biāo)么化，即,2）實(shí)驗(yàn)曲線是一條S形非周期曲線,）可選用模型類：,則,為了確定T和，必須將兩個(gè)坐標(biāo)值（觀測值）代入，,則,29,第二章過渡響應(yīng)法和頻率響應(yīng)法,兩邊同取對(duì)數(shù)得：,根據(jù)兩對(duì)觀測值y*(t1)和y*(t2)，可求出T和。,30,第二章過渡響應(yīng)法和頻率響應(yīng)法,若選y*(t1)=0.39，y*(t2)=0.63，則,模型驗(yàn)證：,由,則,31,第二章過渡響應(yīng)法和頻率響應(yīng)法,待估參數(shù)為：K，T，,究竟選一階慣性帶延時(shí)的模型結(jié)構(gòu)，還是選二階模型，事先無法確定，完全看兩種模型與試驗(yàn)曲線擬合程度，哪個(gè)精度高，選哪個(gè)。,由于大多數(shù)工業(yè)過程的試驗(yàn)曲線是過阻尼的，即1，只討論此種情況，而1)，代入上式得：,兩邊同取對(duì)數(shù)得：,第二章過渡響應(yīng)法和頻率響應(yīng)法,可見，當(dāng)t時(shí)，是一條直線。,斜率：k=1，截距：,則可得：,2,T，,當(dāng)t時(shí),35,第二章過渡響應(yīng)法和頻率響應(yīng)法,若用常用對(duì)數(shù)，則當(dāng)t時(shí)：,則：,缺點(diǎn)：計(jì)算G(s)時(shí)采用的點(diǎn)都是t較大時(shí)的點(diǎn)，而當(dāng)t較大時(shí)，往往1y*(t)的值較小，這就會(huì)產(chǎn)生較大的誤差。,b,36,第二章過渡響應(yīng)法和頻率響應(yīng)法,2、Laplace變換的極限定理法（終值定理法）,利用Laplace變換的極限定理，由非參數(shù)模型的單位階躍響應(yīng)，求參數(shù)模型傳遞函數(shù)。它克服了試探法需選擇模型類的不足，但它僅適用于下述一種模型類。,設(shè)線性SISO定常系統(tǒng)的傳函結(jié)構(gòu)為：,特點(diǎn)：系統(tǒng)只有極點(diǎn)、無零點(diǎn)。,37,第二章過渡響應(yīng)法和頻率響應(yīng)法,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,終值定理為：,對(duì)于階躍響應(yīng):,代入上式得：,K0,38,第二章過渡響應(yīng)法和頻率響應(yīng)法,在已存在的系統(tǒng)G(s)的基礎(chǔ)上構(gòu)造一個(gè)新系統(tǒng)G1(s)，當(dāng)輸入u(t)=1(t)時(shí)，其單位階躍響應(yīng)為：,（y1(t)與y(t)的關(guān)系）,求G1(s)的穩(wěn)態(tài)增益K1:,K1,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,39,第二章過渡響應(yīng)法和頻率響應(yīng)法,G1(s),求拉氏變換：,求得G1(s)與G(s)的關(guān)系:,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,40,第二章過渡響應(yīng)法和頻率響應(yīng)法,再利用終值定理可求得G1(s)的穩(wěn)態(tài)增益K1：,a1,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,41,第二章過渡響應(yīng)法和頻率響應(yīng)法,K2,同理，在系統(tǒng)G1(s)基礎(chǔ)上構(gòu)造一個(gè)新系統(tǒng)G2(s)。,G2(s)的單位階躍響應(yīng)為：,求拉氏變換：,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,42,第二章過渡響應(yīng)法和頻率響應(yīng)法,再利用終值定理可得：,a2,G2(s),求得G2(s)與G1(s)的關(guān)系:,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,43,第二章過渡響應(yīng)法和頻率響應(yīng)法,當(dāng)輸入u(t)=1(t)時(shí)，輸出y(t)為：,Kr,同理，在系統(tǒng)Gr-1(s)基礎(chǔ)上構(gòu)造一個(gè)新系統(tǒng)Gr(s)。,Gr(s)的單位階躍響應(yīng)為：,再用終值定理，由數(shù)學(xué)歸納法可得：,ar,44,第二章過渡響應(yīng)法和頻率響應(yīng)法,特點(diǎn)：）每求一次Ki，要計(jì)算一次面積，所以計(jì)算量大，而且誤差隨著積分次數(shù)增大而增大。故僅適用于低階模型的辨識(shí)。,）使用過程受到一定的限制，僅適用于特定的模型結(jié)構(gòu)（即傳函G(s)只有極點(diǎn)，而沒有零點(diǎn)的情況）。,由上述（n+1）個(gè)方程可求出（n+1）個(gè)待估參數(shù)：K，a1，an,45,第二章過渡響應(yīng)法和頻率響應(yīng)法,K1的物理意義：,由可知，,K1為陰影部分的面積。（幾何意義）,將G(s)改寫成極點(diǎn)形式：,顯然：,（物理意義）,1,46,第二章過渡響應(yīng)法和頻率響應(yīng)法,三、由脈沖響應(yīng)曲線辨識(shí)傳函,1、矩法,脈沖響應(yīng)g(t)可由單位階躍響應(yīng)微分后求得，也可用窄方波響應(yīng)來近似。（方波寬度12時(shí)，大約半數(shù)序列要用二級(jí)反饋產(chǎn)生，其他的則要用4級(jí)反饋來產(chǎn)生M序列。,2、M序列的性質(zhì),1）是一個(gè)確定的周期性序列，它的周期長度NP=2n1,2）一個(gè)周期內(nèi)?！?”狀態(tài)比“1”狀態(tài)少1個(gè)。（避免出現(xiàn)全“0”狀態(tài)）,“1”狀態(tài)：,“0”狀態(tài)：,92,第三章相關(guān)分析法,3）若將序列中相鄰狀態(tài)不變的那一部分長度稱“游程”（或“段”），則在一個(gè)周期內(nèi)的游程總數(shù)為m。,不允許n個(gè)全零狀態(tài)，只有一個(gè)n個(gè)碼為全“1”,游程總數(shù),如：n=4111101011001000,m=8,93,第三章相關(guān)分析法,4）移位相加性：若將一個(gè)M序列與將其延遲了r個(gè)碼以后的序列，按模2加法原則相加，所得的新序列還是M序列，不過延遲了q個(gè)碼，r、q均為整數(shù)，且1r，qNp1。,，1r，qNp1,例：,5）M序列具有近似離散的白噪聲性質(zhì)。,下面將詳細(xì)討論M序列的自相關(guān)函數(shù)和功率密度譜。,b,94,第三章相關(guān)分析法,3、M序列的相關(guān)函數(shù)和功率密度譜：,1）相關(guān)函數(shù)：,定義:“1”狀態(tài)的邏輯電平為“a”，“0”狀態(tài)的邏輯電平為“+a”（為負(fù)邏輯關(guān)系，反之結(jié)論一樣）。,由Ruu()定義可知：,95,第三章相關(guān)分析法,(1)離散情況(=/):,其中：=/,設(shè)是的整數(shù)倍，此時(shí)Ruu()取值于=0，1，2，Np1,Ruu()寫成離散形式為：,顯然模2乘法的結(jié)果與模2加法的結(jié)果在邏輯上是完全一樣的，都為異或關(guān)系。,即：,同號(hào)碼+a2（0）u(k)與u(k+)碼的電平符號(hào)相同。異號(hào)碼a2（1）u(k)與u(k+)碼的電平符號(hào)相異。,（同號(hào)碼個(gè)數(shù)）（異號(hào)碼個(gè)數(shù)）,96,=1，2，Np1,第三章相關(guān)分析法,當(dāng)=1，2，Np1時(shí)：,u(k)u(k+)在邏輯狀態(tài)上相當(dāng)于原序列u(k)與另一延遲序列u(k+)按摸2加法原則相加。根據(jù)M序列的移位相加性質(zhì)可知，所得的結(jié)果在邏輯狀態(tài)上仍是一個(gè)M序列。,當(dāng)新的序列為“0”狀態(tài)時(shí)，說明u(k)與u(k+)是同號(hào)當(dāng)新的序列為“1”狀態(tài)時(shí)，說明u(k)與u(k+)是異號(hào),97,第三章相關(guān)分析法,當(dāng)=0時(shí)：(同一個(gè)M序列自乘),98,第三章相關(guān)分析法,（2）連續(xù)情況（不是的整數(shù)倍）：,（為平均面積值）,為一個(gè)周期內(nèi)曲線u(t)u(t+)所圍成的面積。,即：一個(gè)周期內(nèi)曲線u(t)u(t+)所圍成的：正面積負(fù)面積,99,第三章相關(guān)分析法,當(dāng)=0時(shí)：(0),M序列每出現(xiàn)一次狀態(tài)轉(zhuǎn)換，積分將出現(xiàn)一個(gè)負(fù)面積(a2),負(fù)面積,正面積,100,第三章相關(guān)分析法,負(fù)面積,正面積,101,第三章相關(guān)分析法,它是的線性函數(shù)，因此可確定其兩點(diǎn)：,當(dāng)=0時(shí)，Ruu()=a2;當(dāng)=時(shí)，Ruu()=,Ruu()=Ruu(-)為偶函數(shù)，在內(nèi)，Ruu()為一個(gè)波。,102,第三章相關(guān)分析法,當(dāng)(Np-1)時(shí)，g(t)0,維納霍甫方程的離散形式為：,其中：,33用M序列辨識(shí)線性系統(tǒng)的脈沖響應(yīng)函數(shù),124,第三章相關(guān)分析法,在離散情況下M序列的Ruu()為：,它是由Ruu2()產(chǎn)生的,令,125,第三章相關(guān)分析法,脈沖響應(yīng)函數(shù)g(k)有界，C為有界常數(shù)，且C0,1、作圖法,將Ruy()上移C就可以得到：,-C一般可以通過對(duì)Ruy()的穩(wěn)態(tài)值的目測得到。,從而得到：,126,第三章相關(guān)分析法,2、解析法,通過精確計(jì)算公式得到：,方程兩邊同求和，可得：,127,第三章相關(guān)分析法,二、估計(jì)量的統(tǒng)計(jì)特征,1、是無偏的，即,方程兩邊同取均值，可得：,128,第三章相關(guān)分析法,此時(shí)，又回到理論的維納霍甫方程，所以：,此時(shí)g()已經(jīng)是一個(gè)確定的量了！,129,第三章相關(guān)分析法,2、是一致估計(jì)量，即,方程兩邊同取二階原點(diǎn)矩，可得：,130,第三章相關(guān)分析法,同證明無偏性一樣，可得：,可得的方差為:,自然說明了估計(jì)量的有效性。,是一致估計(jì)量。,131,第三章相關(guān)分析法,三、提高估計(jì)精度的方法,的估計(jì)精度取決于Ruy()的精度。,1、提高采樣速率,提高Ruy()的精度：,取采樣周期To=/(=14),用更多的y(t)數(shù)據(jù)計(jì)算Ruy()。,2、采用多個(gè)周期的M序列,輸入r+1個(gè)周期的M序列，測得r個(gè)周期的y(t)計(jì)算Ruy()。,通常取r=14,4,132,第三章相關(guān)分析法,四、計(jì)算的方法（采用多個(gè)周期）,1、一次完成法（離線計(jì)算法）,定義：,上式寫出向量矩陣形式：,133,第三章相關(guān)分析法,134,第三章相關(guān)分析法,2）需要輸入r+1個(gè)周期的u(k)：u(-Np+1)u(rNp-1)。,特點(diǎn)：1）一次離線求出（=0,1，Np-1)。,3）精度要求較高時(shí)，Ruy()的計(jì)算精度要高，r的數(shù)目要大，所以數(shù)據(jù)存儲(chǔ)量大。,4）不是遞推公式，無法在線辨識(shí)。,135,第三章相關(guān)分析法,2、遞推算法,設(shè)已獲得M對(duì)I/O數(shù)據(jù)，且M（=0,1，Np-1，MNp-1），即必須先觀測至少一個(gè)周期。,Ruy()的遞推公式，即全部的M對(duì)I/O數(shù)據(jù)的Ruy(,M)可以用過去的(M-1)對(duì)I/O數(shù)據(jù)算得的Ruy(,M-1)和第M次觀測的最新數(shù)據(jù)y(M)和u(M)遞推地計(jì)算出。,136,第三章相關(guān)分析法,可得向量矩陣形式：,令,137,第三章相關(guān)分析法,可以通過過去的和最新的數(shù)據(jù)y(M)和u(M)在線求得，隨著I/O數(shù)據(jù)的增加，的精度不斷地提高。,遞推公式,138,第三章相關(guān)分析法,用逆重復(fù)M序列辨識(shí)線性系統(tǒng)的脈沖響應(yīng)函數(shù)，比采用M序列所得的算式更簡單。,對(duì)于周期為2Tp的逆重復(fù)M序列，仍要求Tp滿足(Tp-)Ts?？傻镁S納霍甫方程為：,34用逆重復(fù)M序列辨識(shí)線性系統(tǒng)的脈沖響應(yīng)函數(shù),139,第三章相關(guān)分析法,(Np-1)時(shí)，g(t)0,一般?。杭缺ＷC系統(tǒng)的線性，又不超出設(shè)備允許公差的最大幅值a。,146,第三章相關(guān)分析法,五、計(jì)算Ruy(),在生產(chǎn)現(xiàn)場做試驗(yàn)，一般是在系統(tǒng)的正常工作狀態(tài)uo上再附加一個(gè)PRBS輸入u(t)。,當(dāng)tTs后，系統(tǒng)的非零初始條件將消失，y(t)中的零輸入響應(yīng)消失了，只剩下由u(t)激起的強(qiáng)制響應(yīng)，此時(shí)y(t)已經(jīng)是一個(gè)平穩(wěn)隨機(jī)過程了。,所以，必須對(duì)系統(tǒng)先加一個(gè)周期u(t)的預(yù)激勵(lì)，從第二周期開始再量測I/O數(shù)據(jù)，用以計(jì)算Ruy()。,b,系統(tǒng)的實(shí)際輸入：u*(t)=uo+u(t)系統(tǒng)的實(shí)際輸出：y*(t)=yo+y(t),所以，計(jì)算Ruy()時(shí)必須從實(shí)際輸出y*(t)中將穩(wěn)態(tài)數(shù)據(jù)yo除去。,147,設(shè)MIMO系統(tǒng):輸入:u1(t),u2(t),uJ(t)輸出:y1(t),y2(t),yI(t),G(),第三章相關(guān)分析法,為了辨識(shí)多變量系統(tǒng)G()，需要辨識(shí)IJ個(gè)子系統(tǒng)：gij()(i=1,2,I;j=1,2,J),36多變量系統(tǒng)的辨識(shí),148,式中T1是所有子系統(tǒng)gij()中最大的系統(tǒng)調(diào)節(jié)時(shí)間，即：,第三章相關(guān)分析法,第i個(gè)輸出：,顯然，yi(t)與J個(gè)子系統(tǒng)的脈沖響應(yīng)有關(guān)。,設(shè)uj(t)(j=1,2,J)均為周期性試驗(yàn)信號(hào)，且周期TT1,與SISO系統(tǒng)相似，可得MIMO系統(tǒng)的維納霍甫方程：,多變量系統(tǒng)卷積公式為向量矩陣形式:,IJIJJJ,149,第三章相關(guān)分析法,式中:,150,第三章相關(guān)分析法,第j個(gè)輸入、第i個(gè)輸出的維納霍甫方程：,若uj(t)（j=1,2,J）為互不相關(guān)，即：,且uj(t)又最好都是M序列或逆重復(fù)M序列,則可以用類似前面SISO系統(tǒng)的相關(guān)法求得：,由于存在第二項(xiàng)互相關(guān)函數(shù)，使得求產(chǎn)生困難。,=0,151,第三章相關(guān)分析法,取uj(t)=M序列，um(t)=Um=Const(mj),1、逐個(gè)試驗(yàn)法,缺點(diǎn)：1）若輸入多，J較大時(shí)，則試驗(yàn)時(shí)間較長。2）各個(gè)輸入之間的交叉作用不能充分反映出來，誤差較大。,根據(jù)uj(t)和y1(t),y2(t),yI(t)可求得G()的第j列：,繼續(xù)改變uj(t),讓j=1,2,J，可求得G()的全部IJ個(gè)元素：,152,第三章相關(guān)分析法,2、聯(lián)合試驗(yàn)法,為了消除式中的第二項(xiàng)互相關(guān)函數(shù)，最好的辦法是使得:uj(t)(j=1,2,J)為互不相關(guān)，即在一個(gè)T周期內(nèi)：,2）當(dāng)J2時(shí)：利用M序列的移位相加性質(zhì)，可以從一個(gè)M序列得到J個(gè)M序列，它們的相位依次后移了NpJ個(gè)碼。,1）當(dāng)J=2時(shí)：在2Tp內(nèi)：M序列與逆重復(fù)M序列是不相關(guān)的。所以，兩個(gè)輸入可以分別采用M序列和逆重復(fù)M序列。,同時(shí)可求得G()的全部IJ個(gè)元素：,153,第三章相關(guān)分析法,對(duì)于M序列：,154,第三章相關(guān)分析法,取,在小于一個(gè)TJ內(nèi)：uj(t)與uj+1(t)以及其它的um(t)都不相關(guān)。,155,第三章相關(guān)分析法,上述兩種方法僅適合J4時(shí)的系統(tǒng)，否則試驗(yàn)時(shí)間會(huì)太長，可能破壞y(t)為平穩(wěn)過程的假設(shè)。,只需要一個(gè)Tp就可求得G()的全部IJ個(gè)元素：,逐個(gè)試驗(yàn)法：每個(gè)uj(t)都要試驗(yàn)兩個(gè)Tp（預(yù)激勵(lì)+試驗(yàn)）,聯(lián)合試驗(yàn)法：求Ruu和Ruy時(shí)要試驗(yàn)兩個(gè)Tp，而且：,5,156,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,41隨機(jī)型典范差分方程,42最小二乘估計(jì)方法,43加權(quán)最小二乘法,44最小二乘參數(shù)估計(jì)的統(tǒng)計(jì)特征,45廣義最小二乘法,46輔助變量法,47增廣矩陣法（增廣最小二乘法）,48相關(guān)分析最小二乘兩步法,49階的辨識(shí),41隨機(jī)型典范差分方程,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,令：,引入延遲算子z-1：,157,158,CARMA模型（可控自回歸滑動(dòng)平均模型）,1、CARMA：,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,（ControlledAuto-RegressionMovingAverage）,對(duì)于SISO系統(tǒng)：,2、CAR（可控自回歸）：,3、ARMA（自回歸滑動(dòng)平均）：,159,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,6、靜態(tài)自回歸：n=0（回歸分析）,5、MA（滑動(dòng)平均）：,4、AR（自回歸）：,160,42最小二乘估計(jì)方法,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,一、最小二乘法（LS）,SISO的隨機(jī)差分方程描述（CAR模型可控自回歸）：,其中u(k)和y(k)為實(shí)際測量的I/O序列，e(k)為過程噪聲（觀測噪聲）。,假設(shè)e(k)為獨(dú)立同分布的隨機(jī)變量序列，具有零均值和方差2。,上述方程可寫成：,待估未知參數(shù)2n個(gè)：,161,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,為了估計(jì)2n個(gè)參數(shù)，必須觀測N+n次，N2n，從而得到N個(gè)方程組。,定義：,每一個(gè)觀測方程：,162,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,每一個(gè)觀測方程：,可得觀測方程組的向量矩陣方程：,最小二乘的標(biāo)準(zhǔn)格式,特點(diǎn)：輸出關(guān)于參數(shù)是線性的。,最小二乘估計(jì)準(zhǔn)則：,在最小二乘模型類（CAR模型）中，找出這樣一個(gè)模型，在這個(gè)模型中，系統(tǒng)參數(shù)向量的估計(jì)量，使得性能指標(biāo)函數(shù)（標(biāo)量函數(shù)）：,因?yàn)镴是的二次函數(shù)，所以J存在極值。,163,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,極小化估計(jì)準(zhǔn)則J的必要條件：,正規(guī)方程式,從而得：,解的表達(dá)式,a,估計(jì)量的解：,164,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,極小化估計(jì)準(zhǔn)則J的充分條件：,為正定的。,若T是正則的(非奇異)，則,165,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,因?yàn)門與無關(guān)（為常矩陣），所以J只有一個(gè)局部極小值存在，當(dāng)然也是全局極小值。故最小二乘估計(jì)量是唯一的。,LS的估計(jì)準(zhǔn)則實(shí)際上是:使得殘差平方和為觀測誤差平方和的極小值。,由于在中，是在取好足夠數(shù)據(jù)后一次計(jì)算出來的，所以稱之為一次完成估計(jì)式。,166,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,二、遞推最小二乘法,遞推算法可以減少內(nèi)存存貯量和計(jì)算量，同時(shí)還可以實(shí)現(xiàn)在線辨識(shí)。,在一次完成法中：I/O數(shù)據(jù)越多,設(shè)觀測N+n對(duì)I/O數(shù)據(jù)后，獲得參數(shù)最小二乘估計(jì)為,其中：,167,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,當(dāng)增加一對(duì)新的觀測數(shù)據(jù)u(n+N+1)和y(n+N+1)后，,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,根據(jù)矩陣求逆引理：,168,169,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,170,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,171,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,可得估計(jì)值的遞推公式：,b,172,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,是用前N步的數(shù)據(jù)和估計(jì)值來預(yù)報(bào)第N+1步的y(n+N+1)。,表示在n+N+1時(shí)刻輸出實(shí)測值與預(yù)報(bào)值之差，即用第N步結(jié)果預(yù)測第N+1步的殘差。它是在n+N+1時(shí)刻的觀測y(n+N+1)帶來的新息，是修正參數(shù)估計(jì)值的信息來源。,173,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,所以第N+1步的估計(jì)是在第N步估計(jì)的基礎(chǔ)上，利用新的觀測y(n+N+1)帶來的新息對(duì)其加以修正后得來的,修正項(xiàng)與成正比。,K(N)表示增益因子，它是一個(gè)時(shí)變?cè)鲆婢仃嚒?2、是個(gè)標(biāo)量，它的求逆只是一個(gè)簡單的除法，從而避免了矩陣求逆運(yùn)算，計(jì)算效率大大提高。,174,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,3、P(N)和的初值設(shè)定：,利用一次完成法計(jì)算初值:,為了使得T是正定矩陣，觀測次數(shù)N0+n中必須取N02n。,人為地設(shè)定初值:,極小化的充分條件為:,2為數(shù)值很大的標(biāo)量，一般取計(jì)算機(jī)的最大字長。,可以證明，按上述設(shè)定初值后，從第n+1組數(shù)據(jù)開始進(jìn)行遞推，經(jīng)過N次遞推計(jì)算后所得到的遞推估計(jì)。在數(shù)值上基本與所有N+n組數(shù)據(jù)的一次完成估計(jì)相同。,人為設(shè)置法選定初值比利用一次完成法設(shè)置初值的優(yōu)點(diǎn)是避免了在求初值時(shí)求的矩陣求逆運(yùn)算。,175,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,依次可遞推得：,176,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,177,依次遞推可得第N次遞推結(jié)果：,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,178,遞推最小二乘運(yùn)算框圖：,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,其中表示：中的第i個(gè)分量。（i=1,2,2n),4、估計(jì)過程中，顯然“歷史”數(shù)據(jù)沒有保存下來，但是“歷史”數(shù)據(jù)的影響卻一直在起作用。故稱之為“無限增長記憶”的最小二乘遞推算法。,6,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,三、數(shù)據(jù)飽和現(xiàn)象及實(shí)時(shí)估計(jì),1、數(shù)據(jù)飽和現(xiàn)象：,P(N)0,故P(N)是遞減的，當(dāng)N時(shí)，可能會(huì)出現(xiàn)P(N)0。,意味著新的觀測值對(duì)參數(shù)估計(jì)量的修正已不再起作用了，這種現(xiàn)象稱為“數(shù)據(jù)飽和”現(xiàn)象。,179,為實(shí)對(duì)稱矩陣,，且P(N)可逆,180,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,當(dāng)出現(xiàn)“數(shù)據(jù)飽和”時(shí)，由于計(jì)算機(jī)的字長有限，所以存在舍入誤差，因此，新的觀測數(shù)據(jù)不但對(duì)參數(shù)估計(jì)不起改進(jìn)作用，反而會(huì)使得P(N)失去正定性，甚至失去對(duì)稱性，造成參數(shù)的估計(jì)量與真實(shí)值之間的偏差越來越大。,2、實(shí)時(shí)估計(jì)算法：,無限增長記憶最小二乘遞推算法的缺陷：對(duì)所有觀測數(shù)據(jù)的加權(quán)相同，可能出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象。此時(shí)，遞推算法就有可能不能反映出系統(tǒng)參數(shù)的時(shí)變性。,參數(shù)隨時(shí)間變化的信息含于新數(shù)據(jù)中，如果不采用降低舊數(shù)據(jù)影響的遞推算法，新數(shù)據(jù)就會(huì)被舊數(shù)據(jù)淹沒掉，因此，需要一種能跟蹤參數(shù)變化的遞推算法，稱為實(shí)時(shí)估計(jì)算法。,可以用降低舊數(shù)據(jù)影響的辦法克服數(shù)據(jù)飽和現(xiàn)象。,181,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,1）漸消記憶法（帶遺忘因子的LS遞推法）,思路：對(duì)每次觀測的數(shù)據(jù)按指數(shù)加權(quán)，舊數(shù)據(jù)所加的權(quán)按指數(shù)衰減，從而人為地強(qiáng)調(diào)當(dāng)前的新數(shù)據(jù)，降低舊數(shù)據(jù)的影響。,182,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,根據(jù)矩陣求逆引理：,K(N),183,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,184,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,可得帶遺忘因子的最小二乘遞推公式：,當(dāng)=1時(shí)，相當(dāng)于對(duì)所有數(shù)據(jù)加相同的權(quán)，所以帶遺忘因子的最小二乘遞推公式就退化成無限增長記憶的最小二乘遞推公式。,185,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,引入遺忘因子對(duì)數(shù)據(jù)加權(quán)后，相當(dāng)于對(duì)最小二乘估計(jì)準(zhǔn)則中的e(k)加權(quán)。,相當(dāng)于在最小二乘估計(jì)準(zhǔn)則中對(duì)以前的準(zhǔn)則加以遺忘。,每遞推一步，P(N+1)中都乘上一個(gè)(1/)1的因子，使得P(N+1)隨N增大而減小的速度降慢，從而減少了數(shù)據(jù)飽和現(xiàn)象。,a,186,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,187,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,方程兩邊同左乘：,188,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,將(1)-(2)得：,189,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,190,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,*(N+1)保持它的行數(shù)為N不變，當(dāng)遞推次數(shù)kN時(shí)，如果令：,P-1(k+1)為N+1行,在Q-1(k)中加上新的一行。,Q-1(k+1)為N行，在P-1(k+1)中減去最前面的一行。,191,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,遞推公式中初值的選?。?192,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,特點(diǎn)：可以用一次完成法或遞推一般最小二乘法（無限增長記憶法）對(duì)前（n+N）組數(shù)據(jù)進(jìn)行計(jì)算，在此基礎(chǔ)上不再增加記憶長度，每次只保留（n+N）組數(shù)據(jù)（只保留N行數(shù)據(jù)），進(jìn)行遞推。,遞推計(jì)算步驟：,在Q(k)的基礎(chǔ)上，加上最新一行：T(N+K+1),在P(k+1)的基礎(chǔ)上，減去最前一行T(N+K+1-N),由(N+1)行構(gòu)成,由N行構(gòu)成,最新一行：,最前一行：,b,193,43加權(quán)最小二乘法,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,在一般最小二乘估計(jì)中，認(rèn)為每次觀測的誤差對(duì)估計(jì)參數(shù)都具有相同的重要性，即對(duì)每個(gè)觀測誤差e(k)在指標(biāo)函數(shù)J中所加的權(quán)相等。,實(shí)際上每次觀測的誤差是不同的。對(duì)觀測誤差的方差?。ㄓ^測準(zhǔn)確）的數(shù)據(jù)，應(yīng)該加大重視程度；對(duì)觀測誤差的方差大（觀測不準(zhǔn)確）的數(shù)據(jù)應(yīng)該減小重視程度。,所以采用加權(quán)最小二乘法，它允許對(duì)J中每個(gè)誤差項(xiàng)加不同的權(quán)。令W表示希望的加權(quán)矩陣，W限定為正定對(duì)稱矩陣。,指標(biāo)函數(shù)：,用同樣的方法，求JW關(guān)于的極小，可得加權(quán)LS估計(jì)的計(jì)算公式：,194,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,加權(quán)最小二乘遞推算法,195,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,196,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,設(shè)觀測誤差的方差陣:,則加權(quán)矩陣W一般取：,直觀意義：表示對(duì)各次觀測數(shù)據(jù)所加之權(quán)（即重視程度），應(yīng)與該次觀測誤差的方差成反比，即對(duì)越精確的數(shù)據(jù)應(yīng)加越大的權(quán)。,加權(quán)最小二乘遞推算法:,197,44最小二乘參數(shù)估計(jì)的統(tǒng)計(jì)特征,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,一、無偏差性,設(shè)觀測噪聲e(k)是零均值，且e與相互獨(dú)立。則,E(e)=0,若X與Y相互獨(dú)立，則E(XY)=E(X)E(Y),二、一致性,設(shè)e(k)是白噪聲零均值，獨(dú)立，同分布，Ree(k)=K(k),且方差為2，則是一致估計(jì)量，即:,（依概率為1收斂于真值）,198,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,依概率為1收斂于一個(gè)正定陣，且2是有界的，,故是一致估計(jì)量。,199,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,最小二乘估計(jì)量為一致估計(jì)量的前提：是建立在e(k)是不相關(guān)序列基礎(chǔ)上的（即為e(k)是白噪聲）。實(shí)際上系統(tǒng)觀測誤差e(k)往往是相關(guān)的。,三、最小二乘法的缺陷,實(shí)際系統(tǒng)：,既使(k)是不相關(guān)序列，e(k)也是相關(guān)序列，所以最小二乘估計(jì)不是一致估計(jì)。,而且，實(shí)際上，(k)=n(k)一般不是白噪聲，是有色噪聲。因此，最小二乘參數(shù)估計(jì)方法的應(yīng)用受到一定限制（即必須要求(k)是不相關(guān)的）。,7,200,n(k)：為有色噪聲（具有有理譜密度的平穩(wěn)隨機(jī)序列）,這樣的有色噪聲可以看成白噪聲(k)通過一個(gè)線性穩(wěn)定系統(tǒng)的濾波后產(chǎn)生而成的：,45廣義最小二乘法,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,一、方法原理,一般線性系統(tǒng):,最小二乘模型,201,顯然，過程噪聲e(k)是一個(gè)相關(guān)噪聲序列（有色噪聲）。,有色噪聲的白化(將有色噪聲通過一個(gè)線性系統(tǒng)變成白噪聲):,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,工程上近似地取有限項(xiàng)：,顯然，上式是一個(gè)典型的最小二乘結(jié)構(gòu)，而且(k)是不相關(guān)序列（白噪聲）。,一般為無窮多項(xiàng),202,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,為經(jīng)過前置濾波以后的觀測數(shù)據(jù),可得最小二乘估計(jì)量為一致估計(jì)量：,特點(diǎn)：將過程噪聲e(k)為有色噪聲的差分模型，轉(zhuǎn)換成觀測誤差為白噪聲(k)的最小二乘標(biāo)準(zhǔn)形式：Yf=f+，從而能得到一致的最小二乘估計(jì)量。,問題：噪聲模型：C(z-1)e(k)=(k)一般是未知的，所以問題轉(zhuǎn)化成在估計(jì)A(z-1)，B(z-1)的參數(shù)的同時(shí)，還應(yīng)估計(jì)C(z-1)的參數(shù)。,203,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,顯然，要估計(jì)，必須知道誤差序列e(k)，而，所以要知道e(k)，就必須知道。這就構(gòu)成循環(huán)。,此時(shí)，(k)為白噪聲。,204,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,二、迭代算法（離線算法）,循環(huán)迭代步驟（松弛算法）：,（6）判別收斂性，否則轉(zhuǎn)（2）。,迭代收斂判斷準(zhǔn)則：,一般來講，經(jīng)過有限次迭代后，計(jì)算就會(huì)收斂。但嚴(yán)格的收斂性并沒得到證明。,它意味著數(shù)據(jù)不再濾波，這時(shí)得到的估計(jì)量與上一次循環(huán)相同。,a,205,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,三、遞推算法（在線算法）,1、辨識(shí)系統(tǒng)模型參數(shù)：,前置濾波：,構(gòu)造：,206,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,于是，根據(jù)矩陣求逆引理可得遞推最小二乘公式：,2、辨識(shí)噪聲模型參數(shù)：,和新的數(shù)據(jù)y(n+N+1)計(jì)算新的殘差數(shù)據(jù)：,207,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,構(gòu)造：,于是可得遞推最小二乘公式：,處理線性時(shí)變系統(tǒng)時(shí)，同樣也可以采用漸進(jìn)記憶法和限定記憶法。,208,而：,46輔助變量法,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,一、方法原理,最小二乘估計(jì)：,（樣本的時(shí)間均值）,（樣本的時(shí)間均值）,209,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,當(dāng)u(k)和e(k)為各態(tài)歷經(jīng)性平穩(wěn)隨機(jī)過程時(shí)：,（集均值）,（集均值）,y(k)只與e(k),e(k-1),的值有關(guān)。,(k)中的各元素只與e(k-1),e(k-2),的值有關(guān)。,當(dāng)e(k)為白噪聲時(shí)，(k)與e(k)不相關(guān)。即Re=0,210,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,當(dāng)e(k)為白噪聲時(shí)，(k)與e(k)不相關(guān)。即Re=0,故，最小二乘是一致估計(jì)，即：,若e(k)是相關(guān)序列，一般說來Re0，也不收斂于。,從而有：,引進(jìn)輔助矩陣W(N)，采用估計(jì)量：,b,211,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,設(shè)所引進(jìn)的輔助矩陣W(N)，它具有性質(zhì)：,(保證存在唯一解的條件),(保證是一致估計(jì)),如何構(gòu)造具有上述兩性質(zhì)的輔助矩陣W(N)呢？,212,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,二、W(N)的構(gòu)造方法：,假定u(k)能精確測量，且u(k)與e(k)不相關(guān)，即：,可構(gòu)造W(N)：,213,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,性質(zhì)（1）：當(dāng)u(k)是白噪聲信號(hào)時(shí)，,性質(zhì)（2）：當(dāng)u(k)是白噪聲信號(hào)時(shí)，,當(dāng)u(k)為持續(xù)激勵(lì)信號(hào)（各態(tài)歷經(jīng)平穩(wěn)過程，Ruu是正定）時(shí)，一般情況下，并不能保證,當(dāng)u(k)是白噪聲時(shí)，是一致估計(jì)。對(duì)于持續(xù)激勵(lì)信號(hào)，不一定是一致的，此方法可能不收斂。,214,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,三、迭代步驟：（離線算法）,（4）精度判別，否則，轉(zhuǎn)（2）,四、遞推算法：（在線算法）,（一般最小二乘法）,215,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,可得遞推算法：,遞推的初始值：,輔助變量法，對(duì)初值P0的選擇非常敏感。一般先采用遞推最小二乘法算出前50100個(gè)采樣點(diǎn)，然后再采用輔助變量法。,8,216,47增廣矩陣法（增廣最小二乘法）,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,一、方法原理（只有遞推算法）,e(k)是有色噪聲，具有有理譜密度的平穩(wěn)過程，可以白化。,(k)為白噪聲序列。,此處的C(z-1)與廣義最小二乘的C(z-1)不相同，而且正好是逆的關(guān)系。相當(dāng)于H(z-1)。,待估參數(shù)(3n個(gè))向量：,217,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,二、遞推算法：（令k=n+N+1）,218,第四章線性系統(tǒng)參數(shù)估計(jì)的最小二乘法,三、特點(diǎn)：,1）將模型和噪聲模型的參數(shù)一起估計(jì)出，所以待估計(jì)參數(shù)的維數(shù)增大了，P(N)的階次（3n3n）被擴(kuò)大了，故稱為增廣最小二乘法。在大多數(shù)情況下，它具有較好的收斂性。,2）只有遞推算法。,219,48相