時間序列分析第一章時間序列詳解

時間序列分析第一章時間序列詳解演示文稿當(dāng)前第1頁\共有70頁\編于星期四\1點優(yōu)選時間序列分析第一章時間序列當(dāng)前第2頁\共有70頁\編于星期四\1點

二.時間序列的分解趨勢項，季節(jié)項，隨機(jī)項注：1.單周期季節(jié)項：只需要

且可設(shè)

2.隨機(jī)項：可設(shè)3.當(dāng)前第3頁\共有70頁\編于星期四\1點例：某城市居民季度用煤消耗量

分解方法:1.趨勢項估計（1）分段趨勢(年平均)（2）線性回歸擬合直線（3）二次曲線回歸（4）滑動平均估計當(dāng)前第4頁\共有70頁\編于星期四\1點2.估計趨勢項后,所得數(shù)據(jù)由季節(jié)項和隨機(jī)項組成,季節(jié)項估計可由該數(shù)據(jù)的每個季節(jié)平均而得.3.隨機(jī)項估計即為方法一：分段趨勢法1趨勢項（年平均）當(dāng)前第5頁\共有70頁\編于星期四\1點減去趨勢項后,所得數(shù)據(jù)當(dāng)前第6頁\共有70頁\編于星期四\1點2、季節(jié)項當(dāng)前第7頁\共有70頁\編于星期四\1點3.隨機(jī)項的估計

當(dāng)前第8頁\共有70頁\編于星期四\1點方法二：回歸直線法一、趨勢項估計一元線性回歸模型

最小二乘估計為可得到

當(dāng)前第9頁\共有70頁\編于星期四\1點1.直線趨勢項當(dāng)前第10頁\共有70頁\編于星期四\1點消去趨勢項后,所得數(shù)據(jù)當(dāng)前第11頁\共有70頁\編于星期四\1點2、季節(jié)項估為當(dāng)前第12頁\共有70頁\編于星期四\1點3.隨機(jī)項估計為當(dāng)前第13頁\共有70頁\編于星期四\1點方法三：二次曲線法當(dāng)前第14頁\共有70頁\編于星期四\1點1.二次項估計（趨勢項）數(shù)據(jù)和二次趨勢項估計當(dāng)前第15頁\共有70頁\編于星期四\1點2.季節(jié)項、隨機(jī)項

當(dāng)前第16頁\共有70頁\編于星期四\1點例二、美國罷工數(shù)（51-80年)（滑動平均法）當(dāng)前第17頁\共有70頁\編于星期四\1點1.趨勢項（5項平均）當(dāng)前第18頁\共有70頁\編于星期四\1點2.季節(jié)項和隨機(jī)項當(dāng)前第19頁\共有70頁\編于星期四\1點例三、化學(xué)溶液濃度變化數(shù)據(jù)當(dāng)前第20頁\共有70頁\編于星期四\1點一階差分當(dāng)前第21頁\共有70頁\編于星期四\1點三時間序列和隨機(jī)過程

設(shè)是實數(shù)的子集，如果對每個t屬于T，都有一個隨機(jī)變量與之對應(yīng)，就稱隨機(jī)變量的集合是一個隨機(jī)過程。

當(dāng)T是全體整數(shù)或全體非負(fù)整數(shù)時，稱相應(yīng)的隨機(jī)過程為隨機(jī)序列。

把隨機(jī)序列的指標(biāo)集合T看成時間指標(biāo)時，這個隨機(jī)過程就是時間序列。

當(dāng)T是全體實數(shù)或全體非負(fù)實數(shù)時，相應(yīng)的隨機(jī)過程稱為連續(xù)時隨機(jī)過程。

如果把T認(rèn)為時間指標(biāo)，連續(xù)是的隨機(jī)過程就是連續(xù)的時間序列。

當(dāng)前第22頁\共有70頁\編于星期四\1點§1.2平穩(wěn)序列一·平穩(wěn)序列

定義如果時間序列滿足

（1）對任何的

（2）對任何的

（3）對任何的

就稱是平穩(wěn)時間序列，簡稱時間序列。稱實數(shù)為的自協(xié)方差函數(shù)。

平穩(wěn)序列中隨機(jī)變量的均值為，方差為都是和t無關(guān)的常數(shù)。

協(xié)方差結(jié)構(gòu)的平移不變性是平穩(wěn)序列的特性，所以平穩(wěn)序列是二階矩平穩(wěn)序列。當(dāng)前第23頁\共有70頁\編于星期四\1點自協(xié)方差函數(shù)滿足以下三條性質(zhì)：

（1）對稱性：

對所有的K成立。（2）非負(fù)定性：對任何的，n階自協(xié)方差矩陣

是非負(fù)定的矩陣。（3）有界性：對所有的k成立。

滿足上述性質(zhì)的實數(shù)列都稱為非負(fù)定序列。當(dāng)前第24頁\共有70頁\編于星期四\1點

下面證明這些性質(zhì)，對稱性由定義直接得到。

為證明非負(fù)性，任取一個

維實向量

當(dāng)前第25頁\共有70頁\編于星期四\1點為證明有界性，我們先介紹一個常用的不等式.

引理(Schwarz不等式）對任何方差有限的隨機(jī)變量X和Y,有證明不妨設(shè),關(guān)于a的一元

于是，判別式

取

時，有界性有Schwarz不等式得到：

當(dāng)前第26頁\共有70頁\編于星期四\1點線性相關(guān)性定義：自協(xié)方差矩陣退化的充分必要條件是存在非零的n維實向量

使得

這時我們稱隨機(jī)變量是線性相關(guān)的。

自相關(guān)系數(shù)

定義：設(shè)平穩(wěn)序列是標(biāo)準(zhǔn)化的序列，的自協(xié)方差函數(shù)稱為平穩(wěn)序列的自相關(guān)系數(shù)。

當(dāng)前第27頁\共有70頁\編于星期四\1點二.白噪聲最簡單的平穩(wěn)序列是白噪聲，它在時間序列分析中有特殊的重要地位。定義（白噪聲）設(shè)是一個平穩(wěn)序列，如果對任意的稱是一個白噪聲，記做

當(dāng)是獨立序列時，稱是獨立白噪聲；

當(dāng)時，稱為零均值白噪聲；

當(dāng)稱為標(biāo)準(zhǔn)白噪聲。

當(dāng)前第28頁\共有70頁\編于星期四\1點例2.3Poisson過程和Poisson白噪聲如果連續(xù)時的隨機(jī)過程滿足（1），且對任何的t>s≧0和非負(fù)整數(shù)k，（2）{N(t)}有獨立增量性：對任何n>1和

隨機(jī)變量

相互獨立，則稱{N(t)}是一個強(qiáng)度為λ的Poisson過程。

數(shù)學(xué)期望和方差分別為

當(dāng)前第29頁\共有70頁\編于星期四\1點Poisson白噪聲定義：滿足上面三個條件稱為Poisson白噪聲。ave表示的樣本均值，std表示樣本的標(biāo)準(zhǔn)差。下面的例子是Poisson白噪聲的60個樣本。

當(dāng)前第30頁\共有70頁\編于星期四\1點Poisson白噪聲的60樣本的產(chǎn)生1.隨機(jī)產(chǎn)生服從(0,1)上均勻的200個樣本:2.給出服從參數(shù)為1的指數(shù)分布的200個獨立樣本;3.給出參數(shù)為1的Poisson過程一條樣本軌道在i=1,…,61上的取值；當(dāng)前第31頁\共有70頁\編于星期四\1點參數(shù)為1的Poisson白噪聲的60個樣本I當(dāng)前第32頁\共有70頁\編于星期四\1點樣本II當(dāng)前第33頁\共有70頁\編于星期四\1點標(biāo)準(zhǔn)正態(tài)白噪聲的60個樣本:A=randn(1,60)；plot(A)當(dāng)前第34頁\共有70頁\編于星期四\1點三.正交平穩(wěn)序列設(shè)X和Y是方差有限的隨機(jī)變量，如果E(XY)=0，就稱X和Y是正交的，如果cov(X,Y）=0，就稱X和Y是不相關(guān)的。

定義對于平穩(wěn)序列和，

（1）如果對任何的s,t∈Z,，則稱和

是正交的；

（2）如果對任何的s,t∈Z，，則稱和

是不相關(guān)的。定理2.2設(shè)

和分別是平穩(wěn)序列和的自協(xié)方差函數(shù)，

記定義

當(dāng)前第35頁\共有70頁\編于星期四\1點（1）如果和正交，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

（2）如果和不相關(guān)，則是平穩(wěn)序列，有自協(xié)方差函數(shù)

證明：（1）當(dāng)和正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到

（2）由上面的推導(dǎo)得到。

當(dāng)前第36頁\共有70頁\編于星期四\1點§1.3線性平穩(wěn)序列和線性濾波一.有限運動平均

定義：設(shè)是WN(O,)，對于非負(fù)整數(shù)q和常數(shù)a0,a1,…aq,我們稱

是白噪聲的（有限）運動平均，簡稱為MA，運動平均又稱

滑動平均。MA的平穩(wěn)性

當(dāng)前第37頁\共有70頁\編于星期四\1點例：當(dāng)前第38頁\共有70頁\編于星期四\1點概率極限定理：

定理（單調(diào)收斂定理）如果非負(fù)隨機(jī)變量序列單調(diào)不減：

則當(dāng)時，有對于任何時間序列，利用單調(diào)收斂定理得到定理（控制收斂定理）如果隨機(jī)變量序列滿足和時，則當(dāng)時，并且當(dāng)前第39頁\共有70頁\編于星期四\1點二.線性平穩(wěn)序列定義：如果實數(shù)列滿足則稱是絕對可和的。對于絕對可和的實數(shù)列，定義零均值白噪聲的無窮滑動和如下

，則是平穩(wěn)序列。下面說明是平穩(wěn)序列。

由Schwarz不等式得到于是Xt右邊的無窮級數(shù)是a.s.絕對收斂的，從而是a.s.收斂的。

由于所以用控制收斂定理得到

現(xiàn)對t,s∈Z，定義

當(dāng)前第40頁\共有70頁\編于星期四\1點利用公式可以知道

所以由控制收斂定理得到這就說明了是平穩(wěn)序列

當(dāng)前第41頁\共有70頁\編于星期四\1點證明：當(dāng)時定理：設(shè)是WN(0，),實數(shù)列平方可和，線性平穩(wěn)序列由上述

定義，則自協(xié)方差函數(shù)當(dāng)前第42頁\共有70頁\編于星期四\1點三.時間序列的線性濾波對序列進(jìn)行滑動求和：稱為對進(jìn)行線性濾波。其中決定可和的稱為一個保時線性濾波器。

如果輸入信號是平穩(wěn)列則輸出也是平穩(wěn)列。期望協(xié)方差函數(shù)當(dāng)前第43頁\共有70頁\編于星期四\1點例3.1余弦波信號的濾波信號{St}方差，噪聲方差，信噪比當(dāng)前第44頁\共有70頁\編于星期四\1點注：當(dāng)前第45頁\共有70頁\編于星期四\1點當(dāng)前第46頁\共有70頁\編于星期四\1點§1.4正態(tài)時間序列和隨機(jī)變量的收斂性隨機(jī)向量的數(shù)學(xué)期望和方差

矩陣隨機(jī)向量期望

隨機(jī)向量，則X的協(xié)方差矩陣

協(xié)方差矩陣的計算公式隨機(jī)向量線性變換

當(dāng)前第47頁\共有70頁\編于星期四\1點如果存在m維常數(shù)列向量μ，m×n常數(shù)矩陣B和iid的標(biāo)準(zhǔn)正態(tài)隨機(jī)變量使得Y=μ+BX,則稱隨機(jī)變量服從m維正態(tài)分布。這時EY=μ,∑=Var(Y)=Y的特征函數(shù)為

這是多維正態(tài)分布的等價定義。記Y~N(μ,∑)

當(dāng)前第48頁\共有70頁\編于星期四\1點多維正態(tài)分布的充要條件定理4.1的充要條件是對任何

二.正條平穩(wěn)序列

定義：對于時間序列，如果對任何n≥1和有

服從多元正態(tài)分布，則稱為正態(tài)時間序列

特別當(dāng)還是平穩(wěn)序列時，又稱為正態(tài)平穩(wěn)序列。當(dāng)前第49頁\共有70頁\編于星期四\1點正態(tài)序列收斂定理定理4.3

如果正態(tài)序列,依分布收斂到隨機(jī)變量ξ則定理4.4

如果服從WN(0，)，實數(shù)列絕對可和，則有定義的平穩(wěn)序列時零均值正態(tài)序列，自協(xié)方差函數(shù)(3.5)給出。

證明：下證為正態(tài)序列，先證對任何,有其中

當(dāng)前第50頁\共有70頁\編于星期四\1點對任何,定義則有當(dāng)時,有當(dāng)前第51頁\共有70頁\編于星期四\1點由定理4.2,得到依分布收斂到，則從而由和定理4.1得到(4.9).用同樣方法可以證明:對任何有其中.定理4.4成立.當(dāng)前第52頁\共有70頁\編于星期四\1點§1.5嚴(yán)平穩(wěn)序列及其遍歷性

定義：設(shè)是時間序列。如果對任意正整數(shù)n和k，隨機(jī)變量同分布，就稱是嚴(yán)平穩(wěn)序列。特征是分布平移不變性：對任何固定的k，時間序列和

同分布。嚴(yán)平穩(wěn)和寬平穩(wěn)的關(guān)系：1.二階矩有限的嚴(yán)平穩(wěn)為寬平穩(wěn)。2.寬平穩(wěn)一般不是嚴(yán)平穩(wěn)。3.正態(tài)平穩(wěn)列既是寬平穩(wěn)也是嚴(yán)平穩(wěn)。4.平穩(wěn)序列到寬平穩(wěn)序列到弱平穩(wěn)序列。5.嚴(yán)平穩(wěn)序列到強(qiáng)平穩(wěn)序列。

當(dāng)前第53頁\共有70頁\編于星期四\1點遍歷性：1.時間序列一般只是一條軌道。2.要用時間序列的一次實現(xiàn)推斷的統(tǒng)計性質(zhì)。遍歷性可以保證從一條軌道可以推斷整體的統(tǒng)計性質(zhì)。如果嚴(yán)平穩(wěn)序列是遍歷的，從他的一次實現(xiàn)就可以推斷出這個嚴(yán)平穩(wěn)的所有有限維分布:有遍歷的嚴(yán)平穩(wěn)序列被稱為嚴(yán)平穩(wěn)遍歷序列。當(dāng)前第54頁\共有70頁\編于星期四\1點嚴(yán)平穩(wěn)序列定理定理5.1如果是嚴(yán)平穩(wěn)遍歷序列，則有如下的結(jié)果：

（1）強(qiáng)大數(shù)律：如果則

（2）對任何多元函數(shù)是嚴(yán)平穩(wěn)遍歷序列.

下面的定理在判斷線性平穩(wěn)序列的遍歷性時時十分有用的。定理5.2如果是獨立同分布的WN(0,)實數(shù)列平方可和,

則線性平穩(wěn)序列

是嚴(yán)平穩(wěn)序列的。當(dāng)前第55頁\共有70頁\編于星期四\1點§1.6Hilbert空間中的平穩(wěn)序列Hilbert空間

設(shè)是平穩(wěn)序列，令所以是一個線性空間。

當(dāng)前第56頁\共有70頁\編于星期四\1點在線性空間上定義內(nèi)積，則有所以是內(nèi)積空間，在任何內(nèi)積空間中都有Schwarz不等式令距離則有

當(dāng)前第57頁\共有70頁\編于星期四\1點三角不等式：這樣又稱為距離空間，不難看出在任意的內(nèi)積空間上都可以定義距離，是它自然成為距離空間。如果也是內(nèi)積空間和距離空間，是的子空間。

定義6.1對：

(1)如果,則稱在中收斂到

（2)如果當(dāng)

時，則稱是中的基本列或Cauchy列。

當(dāng)前第58頁\共有70頁\編于星期四\1點完備的內(nèi)積空間：每個基本列都是極限在空間內(nèi)的內(nèi)積空間。又稱Hilbert空間。

是Hilbert空間。用表示中包含的最小閉子空間則是Hilbert空間，稱為由平穩(wěn)序列生成的Hilbert空間。二.內(nèi)積的連續(xù)性

定理（內(nèi)積的連續(xù)性）在內(nèi)積空間中，如果證明(1)由三角不等式得到。

當(dāng)前第59頁\共有70頁\編于星期四\1點（2）有Schwarz不等式得到例：n維Hilbert空間

是線性空間，定義內(nèi)積，則為內(nèi)積空間。

是完備的內(nèi)積空間。

為歐氏模

當(dāng)前第60頁\共有70頁\編于星期四\1點例2設(shè)是零均值的平穩(wěn)列，，則它的線性組合全

體構(gòu)成的內(nèi)積空間

是Hilbert空間稱為有X生成的Hilbert空間。實際上，是線性空

間和內(nèi)積空間下面我們來證明的完備性。

證明：先設(shè)是標(biāo)準(zhǔn)的白噪聲WN(0，1),對任何的線性組合

只要

由例1知道有使得

當(dāng)取時

于是是完備的當(dāng)前第61頁\共有70頁\編于星期四\1點對一般的零均值的平穩(wěn)序列，可以設(shè)協(xié)方差陣的秩是m,m≤n有非退化矩陣B使得Y=BX有協(xié)方差矩陣于是且為WN(0，1)的一段，由知道為線性組合，從而是完備的。三.復(fù)值時間序列

復(fù)隨機(jī)變量：如果X和Y是隨機(jī)變量，稱Z=X+iY是復(fù)隨機(jī)變量。

如果EX和EY都存在，稱Z=X+iY的數(shù)學(xué)期存在,并且EZ=EX+iEY

二階矩有限的復(fù)隨機(jī)變量：如果就稱為Z的二階矩有限

隨機(jī)變量。

當(dāng)前第62頁\共有70頁\編于星期四\1點按時間次序排列的復(fù)值隨機(jī)變量的序列稱為復(fù)時間序列。如果復(fù)時間序列滿足就稱是一個復(fù)值平穩(wěn)序列，稱是的自協(xié)方差函數(shù)。

當(dāng)

，稱是一個復(fù)值零均值白噪聲。當(dāng)前第63頁\共有70頁\編于星期四\1點§1.7平穩(wěn)序列的譜函數(shù)1.時域和頻域

遍歷的時間序列可以從延的時間分布進(jìn)行統(tǒng)計分析，稱為時域分析。

平穩(wěn)時間序列的二階性質(zhì)也可以從其頻率分解來研究，