模塊10 時(shí)間序列挖掘《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》教學(xué)課件

《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》?精品課件合集《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》

第十章時(shí)間序列挖掘二、

時(shí)間序列預(yù)處理

一、時(shí)間序列挖掘概述主要內(nèi)容三、平穩(wěn)非白噪聲時(shí)間序列建模四、非平穩(wěn)時(shí)間序列建模

五、基于Python的ARIMA模型實(shí)現(xiàn)一、時(shí)間序列挖掘概述

時(shí)間序列是按照發(fā)生時(shí)間順序進(jìn)行排序的一組隨機(jī)變量。宏觀上來說，是在不同時(shí)刻觀測結(jié)果的集合，即按照時(shí)間發(fā)生順序把隨機(jī)事件或變量的發(fā)展過程、趨勢記錄下來就構(gòu)成了一條時(shí)間序列。

時(shí)序數(shù)據(jù)挖掘的目的是通過對歷史時(shí)間序列數(shù)據(jù)進(jìn)行觀測、分析或研究以尋找其變化發(fā)展規(guī)律，并用于預(yù)測它未來變化的規(guī)律或趨勢。

時(shí)間序列挖掘在諸多行業(yè)中廣泛應(yīng)用：金融股市城市交通流量一、時(shí)間序列挖掘概述

一、時(shí)間序列挖掘概述

時(shí)間序列一般包括以下特征：趨勢性：時(shí)間序列在長時(shí)間內(nèi)呈現(xiàn)出來的上升或下降的趨勢。季節(jié)性：時(shí)間序列在一定時(shí)間范圍內(nèi)表現(xiàn)出來的周期性波動。例如，航空業(yè)的銷售淡季和銷售旺季。隨機(jī)性：時(shí)間序列的無規(guī)律地、偶然性地隨機(jī)波動。

一、時(shí)間序列挖掘概述

時(shí)間序列一般包括以下特征：趨勢性：時(shí)間序列在長時(shí)間內(nèi)呈現(xiàn)出來的上升或下降的趨勢。季節(jié)性：時(shí)間序列在一定時(shí)間范圍內(nèi)表現(xiàn)出來的周期性波動。例如，航空業(yè)的銷售淡季和銷售旺季。隨機(jī)性：時(shí)間序列的無規(guī)律地、偶然性地隨機(jī)波動。

時(shí)間序列分為平穩(wěn)序列和非平穩(wěn)序列兩大類。平穩(wěn)序列是不存在趨勢只存在隨機(jī)性的序列，非平穩(wěn)序列則是包含趨勢、季節(jié)性和隨機(jī)性的序列。一、時(shí)間序列挖掘概述

1.時(shí)間序列的類型：

純隨機(jī)序列：指序列上的隨機(jī)變量之間沒有任何相關(guān)關(guān)系，它們完全隨機(jī)地波動。

平穩(wěn)非白噪聲序列：序列的均值和方差是常數(shù)

非平穩(wěn)序列：序列的均值和方差不為常數(shù)，有明顯的趨勢性或季節(jié)性變化。二、時(shí)間序列預(yù)處理

二、時(shí)間序列預(yù)處理

二、時(shí)間序列預(yù)處理

3.平穩(wěn)性檢驗(yàn)（1）

時(shí)序圖檢驗(yàn)

依據(jù)是根據(jù)平穩(wěn)序列具有常數(shù)均值和常數(shù)方差這一性質(zhì)，主觀判斷該序列是否具有平穩(wěn)性?！?950年-1998年北京城鄉(xiāng)居民定期儲蓄占比”的時(shí)序圖二、時(shí)間序列預(yù)處理

3.平穩(wěn)性檢驗(yàn)（2）

自相關(guān)圖檢驗(yàn)

對于平穩(wěn)序列，隨著延遲期數(shù)k的增加，平穩(wěn)序列的自相關(guān)系數(shù)會比較快的衰減到零，并且在零附近隨機(jī)波動。而對于非平穩(wěn)序列，它的自相關(guān)系數(shù)衰減較慢。。“1950年-1998年北京城鄉(xiāng)居民定期儲蓄占比”的自相關(guān)圖二、時(shí)間序列預(yù)處理

二、時(shí)間序列預(yù)處理

二、時(shí)間序列預(yù)處理

三、平穩(wěn)非白噪聲時(shí)間序列建模

三、平穩(wěn)非白噪聲時(shí)間序列建模

AR模型具有如下性質(zhì)，三、平穩(wěn)非白噪聲時(shí)間序列建模

三、平穩(wěn)非白噪聲時(shí)間序列建模

MA(q)模型有如下性質(zhì)三、平穩(wěn)非白噪聲時(shí)間序列建模

三、平穩(wěn)非白噪聲時(shí)間序列建模

ARMA(p,q)模型具有如下的性質(zhì)三、平穩(wěn)非白噪聲時(shí)間序列建模

4建模過程

當(dāng)某個(gè)時(shí)間序列經(jīng)過預(yù)處理后被判定為平穩(wěn)非白噪聲序列時(shí)，就可以利用ARMA(p,q)模型進(jìn)行建模,主要是確定模型的階數(shù)p和q。具體的步驟如下所示三、平穩(wěn)非白噪聲時(shí)間序列建模

三、平穩(wěn)非白噪聲時(shí)間序列建模

5模型檢驗(yàn)方法

對于一個(gè)好的擬合模型來說，其擬合殘差項(xiàng)中將不再覆蓋任何相關(guān)信息，即模型的殘差序列是一個(gè)白噪聲序列，所以對模型的顯著性檢驗(yàn)就是對殘差序列的白噪聲檢驗(yàn)。

三、平穩(wěn)非白噪聲時(shí)間序列建模

5模型檢驗(yàn)方法

對于一個(gè)好的擬合模型來說，其擬合殘差項(xiàng)中將不再覆蓋任何相關(guān)信息，即模型的殘差序列是一個(gè)白噪聲序列，所以對模型的顯著性檢驗(yàn)就是對殘差序列的白噪聲檢驗(yàn)。

一般可以通過對序列進(jìn)行正態(tài)性檢驗(yàn)和DW檢驗(yàn)來判定殘差序列是否為白噪聲序列。對模型的正態(tài)性檢驗(yàn)：該方法用于檢驗(yàn)殘差是否具有正態(tài)性，當(dāng)p值>0.05時(shí)認(rèn)為序列不具有正態(tài)性，則拒絕原假設(shè)，說明殘差序列中還存在相關(guān)信息殘留。對于模型的DW檢驗(yàn)（自相關(guān)性）：當(dāng)檢驗(yàn)結(jié)果靠近0時(shí)說明序列正自相關(guān)，靠近2時(shí)說明不具有太高的相關(guān)性，當(dāng)靠近4時(shí)說明具有負(fù)自相關(guān)性。四、非平穩(wěn)時(shí)間序列建模

非平穩(wěn)時(shí)間是指具有趨勢性、季節(jié)性和隨機(jī)性特點(diǎn)的序列，其均值或方差不為常數(shù)。目前，非平穩(wěn)時(shí)間序列的分析方法常包括兩大類：一是確定性因素分解的時(shí)序分析；二是隨機(jī)時(shí)序分析。確定性因素分解的方法是把時(shí)間序列的變化歸結(jié)為長期趨勢、季節(jié)變動、循環(huán)波動和隨機(jī)波動這四個(gè)因素。隨機(jī)時(shí)序分析方法通過差分等運(yùn)算將非平穩(wěn)時(shí)間序列模型轉(zhuǎn)換為平穩(wěn)時(shí)間序列，然后再使用ARMA等模型進(jìn)行建模。四、非平穩(wěn)時(shí)間序列建模

四、非平穩(wěn)時(shí)間序列建模

2.ARIMA模型ARIMA模型的實(shí)質(zhì)就是差分運(yùn)算和ARMA模型的組合。對差分平穩(wěn)序列做d階差分后得到一個(gè)平穩(wěn)序列，然后使用ARMA建模，這樣的模型稱之為“ARIMA(p,d,q)”模型。顯然，差分階數(shù)為d=0時(shí)，ARIMA模型就退化為ARMA模型五、基于Python的實(shí)現(xiàn)

Python的statsmodels.tsa.arima.model模塊給出了ARIMA模型的實(shí)現(xiàn)類，它的基本語法為：ARIMA(endog,order=(p,d,q))

它的主要參數(shù)、屬性和函數(shù)情況如下表所示。五、基于Python的實(shí)現(xiàn)

Python的s