時間序列模型

時間序列模型第一頁，共四十頁，2022年，8月28日5.1時間序列5.2自回歸(AR)模型5.3滑動平均(MA)模型5.4自回歸滑動平均(ARMA)模型5.時間序列模型2/40第二頁，共四十頁，2022年，8月28日數(shù)字化技術(shù)的應(yīng)用和發(fā)展使得隨機序列的分析變得日益廣泛和重要，并由平穩(wěn)隨機過程在時間軸上的取樣引出平穩(wěn)離散隨機信號或時間序列的概念。對于這類隨機序列，主要采用相關(guān)函數(shù)和功率譜進(jìn)行分析。對于平穩(wěn)離散時間信號，還常用時間序列描述方法進(jìn)行研究，由此提出時間序列模型法。它是采用各種隨機差分方程表示時間序列信號的模型。在許多情況下，一個平穩(wěn)離散隨機信號可以視為白噪聲序列通過某一離散時間線性系統(tǒng)所產(chǎn)生的。5.1時間序列3/40第三頁，共四十頁，2022年，8月28日在時間序列信號模型分析中，自回歸(AR)模型、滑動平均(MA)模型和自回歸滑動平均(ARMA)模型是三種最常見的標(biāo)準(zhǔn)線性模型，它們均由白噪聲序列通過離散時間線性系統(tǒng)而產(chǎn)生。而實際應(yīng)用中許多平穩(wěn)時間序列往往可由這些模型近似表示，使得有關(guān)的分析變得更為簡單，也為平穩(wěn)隨機序列的分析和產(chǎn)生提供了有效方法。另外，這些線性模型都具有連續(xù)功率譜形狀，在參數(shù)譜估計方面顯示出極大的優(yōu)點。除非特別說明，本章只討論具有連續(xù)譜特性的平穩(wěn)時間序列。5.1時間序列4/40第四頁，共四十頁，2022年，8月28日設(shè)

為具有零均值，方差為

的平穩(wěn)白噪聲序列，隨機序列

由如下隨機差分方程表示：5.2自回歸(AR)模型5/40式中

為一正整數(shù)，

為實常數(shù)，不失一般性，設(shè)

，并設(shè)

。上式表示的信號稱為

階自回歸模型。顯然，

是它的

個過去值和白噪聲的線性組合。用

表示上式的模型。對于上式，從統(tǒng)計觀點講，稱

以隨機誤差

線性回歸于它的

個過去值。第五頁，共四十頁，2022年，8月28日為使分析方便，首先研究一階和二階AR模型，然后根據(jù)

階AR模型的分析，研究AR模型的自相關(guān)函數(shù)及功率譜密度。5.2自回歸(AR)模型6/401.一階AR模型根據(jù)隨機序列的差分表達(dá)式，當(dāng)時，可得一階AR模型式中

為不等于零的實常數(shù)。上式為一階隨機差分方程。第六頁，共四十頁，2022年，8月28日若設(shè)

，可得：5.2自回歸(AR)模型7/40容易得到一階矩

第七頁，共四十頁，2022年，8月28日如果

，由上式可以看出，

的均值有可能不滿足平穩(wěn)性，即可能不滿足一階平穩(wěn)。然而，如果系數(shù)

，當(dāng)

較大時，則有5.2自回歸(AR)模型8/40在此情況下，

是一階漸進(jìn)平穩(wěn)的。

第八頁，共四十頁，2022年，8月28日通常，

，可得時間序列

的自相關(guān)函數(shù)（二階矩）為：5.2自回歸(AR)模型9/40

第九頁，共四十頁，2022年，8月28日顯然，當(dāng)

時，

并不滿足自相關(guān)平穩(wěn)性，但是，當(dāng)

并且

足夠大時，有5.2自回歸(AR)模型10/40

對于實隨機序列，由于

對于

對稱分布，有對于

，不難推得，當(dāng)

為正數(shù)時，恒為正，且呈指數(shù)衰減。當(dāng)

為負(fù)數(shù)時，

正負(fù)相間指數(shù)衰減。第十頁，共四十頁，2022年，8月28日根據(jù)

可得

的方差為：5.2自回歸(AR)模型11/40

說明平穩(wěn)隨機序列

的方差

比白噪聲方差

大。最后討論AR(1)模型的功率譜。對

式兩邊取z變換，可得其傳遞函數(shù)為：第十一頁，共四十頁，2022年，8月28日的功率譜為5.2自回歸(AR)模型12/40

令

，有第十二頁，共四十頁，2022年，8月28日2.二階AR模型定義隨機序列

的二階AR模型為：5.2自回歸(AR)模型13/40

式中

和

均為實常數(shù)，

。上式二階差分方程的特征多項式為：第十三頁，共四十頁，2022年，8月28日定義后移算子

為后移一步的運算，即5.2自回歸(AR)模型14/40

于是，二階AR模型成為：式中

和

為二階AR模型特征多項式的根，即第十四頁，共四十頁，2022年，8月28日所以，有特解為：5.2自回歸(AR)模型15/40

第十五頁，共四十頁，2022年，8月28日根據(jù)模型差分方程，零輸入下得齊次方程5.2自回歸(AR)模型16/40

其解為：式中

和是待定系數(shù)，由初始條件確定。模型特解和上式之和即為模型的解：第十六頁，共四十頁，2022年，8月28日當(dāng)

時，上式右邊齊次解隨

的增大而趨于零，而特解部分具有有限方差，在均方意義下收斂，隨的增大而漸近收斂于特解公式的平穩(wěn)結(jié)果。實際上，二階模型的平穩(wěn)條件與其系數(shù)

和

是有關(guān)的，這可通過

和

平面表示。設(shè)

，并設(shè)和

，根據(jù)

，在其兩邊同乘

，有5.2自回歸(AR)模型17/40其次，根據(jù)不等式

，兩邊同乘

，有

或以及第十七頁，共四十頁，2022年，8月28日根據(jù)上式分析，得到以下三個條件：5.2自回歸(AR)模型18/40

這就是保證二階AR模型平穩(wěn)的條件，可用系數(shù)分布圖說明。圖中示出了二階系數(shù)欠阻尼、過阻尼和臨界阻尼三種情況的系數(shù)區(qū)域分布，分別對應(yīng)于以下三種情況：（1）欠阻尼：出現(xiàn)

和

一對共軛復(fù)根。（2）過阻尼：出現(xiàn)

和

不同的實根。（3）臨界阻尼：出現(xiàn)

和

相同的實根。

以及第十八頁，共四十頁，2022年，8月28日5.2自回歸(AR)模型19/40

第十九頁，共四十頁，2022年，8月28日對于平穩(wěn)的情況，考察二階AR模型的自相關(guān)函數(shù)，對模型方差方程兩邊同乘

并作集平均，可得：5.2自回歸(AR)模型20/40

考慮到

第二十頁，共四十頁，2022年，8月28日可得：5.2自回歸(AR)模型21/40

以及第二十一頁，共四十頁，2022年，8月28日由此解得：5.2自回歸(AR)模型22/40

第二十二頁，共四十頁，2022年，8月28日最后，分析AR(2)模型的功率譜密度。容易知道，其傳遞函數(shù)為：5.2自回歸(AR)模型23/40

于是，

的功率譜為：

第二十三頁，共四十頁，2022年，8月28日3.p階AR模型定義如下隨機差分方程為

階AR模型5.2自回歸(AR)模型24/40式中

為實常數(shù)，且

。對上式兩邊取

變換，可得：于是，以上AP(p)模型的傳遞函數(shù)為：第二十四頁，共四十頁，2022年，8月28日根據(jù)它的特征多項式可解出

個

的極點

。于是，該模型的傳遞函數(shù)可寫為：5.2自回歸(AR)模型25/40所以，AR模型的傳遞函數(shù)只有極點，除原點外沒有任何零點，屬于全極點模型，對應(yīng)于全極點濾波器，具有無限沖激響應(yīng)(IIR)。因此，模型傳遞函數(shù)的性質(zhì)完全取決于個極點在

平面上的分布情況?？梢宰C明，如果所有

個極點均滿足

，那么，AR模型信號滿足漸近平穩(wěn)性。第二十五頁，共四十頁，2022年，8月28日條件意味著有界輸入通過線性系統(tǒng)導(dǎo)致有界輸出，系統(tǒng)

是穩(wěn)定的，這說明模型傳遞函數(shù)的穩(wěn)定性與模型的平穩(wěn)性是等價的。

根據(jù)AR模型的傳遞函數(shù)，階AR模型的功率譜密度為：5.2自回歸(AR)模型26/40可見AR模型的功率譜由各模型系數(shù)

確定。

第二十六頁，共四十頁，2022年，8月28日最后討論AR(p)模型參數(shù)與相關(guān)函數(shù)的關(guān)系。根據(jù)自相關(guān)函數(shù)的定義，有5.2自回歸(AR)模型27/40由于

第二十七頁，共四十頁，2022年，8月28日于是，有：5.2自回歸(AR)模型28/40將上式分別以

代入，可得以下矩陣方程形式：

第二十八頁，共四十頁，2022年，8月28日由于

，可得5.2自回歸(AR)模型29/40上式稱為尤里-沃克（Yule-Walker）方程。所以，如果選擇了AR(p)模型，并可選定或根據(jù)觀測數(shù)據(jù)估計模型的自相關(guān)函數(shù)，則可由尤里-沃克方程解出

個模型參數(shù)

，由此確定該模型，估計模型的功率譜密度函數(shù)。第二十九頁，共四十頁，2022年，8月28日滑動平均模型（MA模型）是時間序列模型另一種主要形式，通常用MA(q)記

階MA模型。定義為：5.3滑動平均(MA)模型30/40式中

為實常數(shù)，且

，稱為MA(q)模型的參數(shù)，通常有

，仍為零均值、方差為的白噪聲序列。由于是有限的，所以MA(q)模型也是平穩(wěn)的。第三十頁，共四十頁，2022年，8月28日1.一階MA模型定義MA(1)模型為：5.3滑動平均(MA)模型31/40顯然，MA(1)模型是一階相關(guān)的，其相關(guān)系數(shù)在±0.5之間取值。容易求得第三十一頁，共四十頁，2022年，8月28日2.q階MA模型對于MA(q)模型5.3滑動平均(MA)模型32/40這是一個全零點模型，具有有限沖激響應(yīng)（FIR）。上式兩邊取

變換，可得該模型的傳遞函數(shù)為：可知

有

個零點

，于是第三十二頁，共四十頁，2022年，8月28日由MA(q)的定義式，可見

是白噪聲序列

的當(dāng)前值和

個過去值的線性組合，所以，當(dāng)

中的大于

時，其白噪聲序列的線性組合將全部為更新后的值，由此可以推斷，相隔長度大于

的

其自相關(guān)函數(shù)為零，即

與互不相關(guān)。因此，MA(q)模型自相關(guān)函數(shù)的相關(guān)長度為

。MA(q)的自相關(guān)函數(shù)為：5.3滑動平均(MA)模型33/40第三十三頁，共四十頁，2022年，8月28日由于5.3滑動平均(MA)模型34/40所以，MA(q)模型的二階矩與階次和參數(shù)有關(guān)。于是有由此可得

的方差為：第三十四頁，共四十頁，2022年，8月28日式子證明了MA(q)模型自相關(guān)函數(shù)的相關(guān)長度為，當(dāng)各模型參數(shù)均為時，其相關(guān)函數(shù)具有如下簡單形式：5.3滑動平均(MA)模型35/40根據(jù)MA(q)的全零點傳遞函數(shù)，模型的功率譜密度函數(shù)為：也可用全零點譜形式表示：第三十五頁，共四十頁，2022年，8月28日如果用一個階自回歸模型和一個

階滑動平均模型組成一個混合模型，可得一個形如以下差分方程的模型：5.4自回歸滑動平均(ARMA)模型36/40式中

和

均為實常數(shù)，且和

不為零，通常有

。如果

，上式退化為一個AR(p)信號模型；如果

，則為一個MA(q)信號模型。上式定義的模型稱為自回歸滑動平均模型，也稱ARMA模型，記為ARMA(p,q)。第三十六頁，共四十頁，2022年，8月28日對上式兩