高頻數(shù)據(jù)下基于文本挖掘和深度學(xué)習(xí)的股票波動(dòng)性預(yù)測

1、研究背景在開發(fā)量化投資策略時(shí)，海外優(yōu)秀論文往往能夠提供新的思路和方法，為了能夠讓各位投資者更有效率地吸收海外的經(jīng)驗(yàn)，東興金工團(tuán)隊(duì)推出海外文獻(xiàn)速覽系列報(bào)告。我們將定期從海外文獻(xiàn)中篩選思路較為新穎且有潛力應(yīng)用于國內(nèi)市場投資的文章，以速覽的形式呈現(xiàn)給各位投資者，內(nèi)容涵蓋資產(chǎn)配置、量化選股、基金評價(jià)以及衍生品投資等多個(gè)方面。本篇報(bào)告作為該系列報(bào)告的第十六篇，我們選取了 Bolin Lei, Zhengdi Liu, Yuping Song 的文獻(xiàn)On stock volatility forecasting based on text mining and deep learning under hi

2、gh-frequency data。投資者在進(jìn)行資產(chǎn)配置時(shí)，不僅需要考慮金融產(chǎn)品、金融衍生品的收益，還需要考慮其風(fēng)險(xiǎn)，在金融研究中， 我們通常使用波動(dòng)率來描述風(fēng)險(xiǎn)，所以關(guān)于波動(dòng)率的研究百花齊放，在此文中，作者結(jié)合了深度學(xué)習(xí)和高頻數(shù)據(jù)構(gòu)建了一個(gè)波動(dòng)率預(yù)測模型，并取得了不錯(cuò)的效果。金融資產(chǎn)價(jià)格的波動(dòng)在衡量資產(chǎn)風(fēng)險(xiǎn)水平和衍生品定價(jià)方面發(fā)揮著極其重要的作用。因此，分析波動(dòng)性的特征和基于波動(dòng)性特征發(fā)現(xiàn)更多預(yù)測指標(biāo)和模型對于分析金融資產(chǎn)風(fēng)險(xiǎn)具有非常重要的理論意義和實(shí)用價(jià)值。波動(dòng)率預(yù)測的研究過程可以概括為：從低頻數(shù)據(jù)到高頻數(shù)據(jù)，從不考慮高頻波動(dòng)的長記憶到長記憶計(jì)量經(jīng)濟(jì)學(xué)模型。Bollerslev（1986）

3、提出了廣義自回歸條件異方差（GARCH）模型，該模型基于低頻數(shù)據(jù)，通過表征金融資產(chǎn)收益殘差的異方差性（即波動(dòng)率聚合現(xiàn)象）來估計(jì)和預(yù)測波動(dòng)率。然而，GARCH 模型只使用低頻數(shù)據(jù)，沒有考慮日內(nèi)價(jià)格信息的非線性特征。此外，基于高頻數(shù)據(jù)，Corsi（2009）提出了基于異構(gòu)市場假說的異構(gòu)自回歸模型（HAR-RV）來預(yù)測波動(dòng)性，以及 Andersen 等人(2003)提出了一種長記憶自回歸分?jǐn)?shù)積分移動(dòng)平均(ARFIMA)模型來刻畫波動(dòng)率。ARFIMA 模型和 HAR-RV 模型比 GARCH 模型擁有更好的樣本外預(yù)測能力。上述模型有以下缺點(diǎn)，一是他們無法描述數(shù)據(jù)的非線性，二是預(yù)測時(shí)只考慮歷史波動(dòng)率，忽

4、 略交易信息、輿論等未來波動(dòng)率變化的真實(shí)驅(qū)動(dòng)因素，預(yù)測依據(jù)不足。雖然上述模型實(shí)現(xiàn)了預(yù)測在數(shù)據(jù)源中從低頻到高頻的進(jìn)展，他們?nèi)匀皇莻鹘y(tǒng)的計(jì)量經(jīng)濟(jì)模型。為了提高波動(dòng)率預(yù)測的準(zhǔn)確性，通常是需要從預(yù)測模型和預(yù)測指標(biāo)等兩個(gè)方面進(jìn)行創(chuàng)新。深度學(xué)習(xí)模型的非線性關(guān)系擬合能力和強(qiáng)大的數(shù)據(jù)特征學(xué)習(xí)能力，為提高波動(dòng)率預(yù)測的準(zhǔn)確性提供了新思路。首先，在預(yù)測模型方面，深度學(xué)習(xí)在金融領(lǐng)域的應(yīng)用主要集中在預(yù)測股票價(jià)格和回報(bào)率，長短期記憶（LSTM）是金融時(shí)間序列最常見的預(yù)測模型。在股價(jià)預(yù)測方面，Karaoglu 等人(2017)在 Graves(2012)中使用 LSTM 模型來預(yù)測股票價(jià)格。Bao 等人(2017)引入技術(shù)

5、指標(biāo)作為預(yù)測指標(biāo)，并使用 LSTM 預(yù)測股票價(jià)格。Lee 和 Yoo(2020)比較了包括 LSTM 模型在內(nèi)的三個(gè)RNN 模型在預(yù)測股票價(jià)格時(shí)的準(zhǔn)確率。在股票收益預(yù)測中，Batres-Estrada(2015)使用LSTM預(yù)測股票每日和每月的對數(shù)回報(bào)利率，以及 Zhou(2019)使用 LSTM 預(yù)測下月股票收益率來構(gòu)建投資組合。在深度學(xué)習(xí)模型中，LSTM 對長時(shí)記憶的特征可以更好適應(yīng)波動(dòng)率的波動(dòng)特性，但它很少用于波動(dòng)率預(yù)測。W.Chen(2018)以交易價(jià)格數(shù)據(jù)作為輸入指標(biāo)通過 LSTM 模型對股票波動(dòng)率進(jìn)行預(yù)測。此外，在預(yù)測指標(biāo)方面，網(wǎng)絡(luò)輿情往往反映了投資者對未來的預(yù)期。Bollen 等

6、（2011）通過公眾輿論構(gòu)建情感因素對道瓊斯指數(shù)走勢進(jìn)行預(yù)測。Oliveira 等(2017) 發(fā)現(xiàn)社交平臺(tái)評論的文字信息對股價(jià)存在影響并用它來預(yù)測標(biāo)準(zhǔn)普爾指數(shù)500 的趨勢。Yu 等人(2013)證明了收益和股票投資風(fēng)險(xiǎn)與社交平臺(tái)的信息文本的相關(guān)性。根據(jù)已有的研究結(jié)果，發(fā)現(xiàn)公共輿論更多地是用來預(yù)測趨勢的股價(jià)而輿論的文字信息較少用作波動(dòng)率預(yù)測的輸入指標(biāo)。為了提高波動(dòng)率的預(yù)測精度，本文將 LSTM 與公共輿論文本信息相結(jié)合，基于 5 分鐘高頻金融交易數(shù)據(jù)構(gòu)建新的波動(dòng)率的指標(biāo)體系來預(yù)測實(shí)際的波動(dòng)率，并與不考慮公眾意見傳統(tǒng)計(jì)量經(jīng)濟(jì)學(xué)模型和 LSTM 模型的預(yù)測能力進(jìn)行對比。本文第 2 章節(jié)作者介紹了

7、傳統(tǒng)計(jì)量經(jīng)濟(jì)模型的原理和深度學(xué)習(xí)模型LSTM，全面總結(jié)預(yù)測指標(biāo)和評價(jià)標(biāo)準(zhǔn)， 并介紹了本文的研究過程，第 3 章節(jié)作者構(gòu)建文本情感因子并展示輿論文本信息與波動(dòng)性之間的相關(guān)性，選擇 LSTM 模型最理想的參數(shù)，最后比較樣本外波動(dòng)率預(yù)測準(zhǔn)確性并基于 6 個(gè)損失函數(shù)對 12 個(gè)波動(dòng)率預(yù)測模型進(jìn)行排序。模型與研究方法傳統(tǒng)的經(jīng)濟(jì)模型GARCH 模型Bollerslev（1986）提出了 GARCH 模型來刻畫金融資產(chǎn)收益時(shí)間序列殘差項(xiàng)的異方差性以衡量低頻數(shù)據(jù)的波動(dòng)。以 ARCH 模型為基礎(chǔ)，GARCH 使用 ARCH 模型去表達(dá)方差，且對時(shí)間序列的長期自相關(guān)性有較好的影響。GARCH 的模型定義如下： =

8、 + 2 = + 2+ 20 =1 =1其中等式 1 是均值價(jià)值等式，含有殘差項(xiàng)的外生變量函數(shù)。 和分別是因變量和解釋變量；是隨機(jī)波動(dòng)項(xiàng)。q是 ARCH 模型的階數(shù)，p是自回歸 GARCH 模型的階數(shù)。0， 和是待評估的大于 0 的參數(shù)。HAR-RV 模型HAR-RV 模型是由 Corsi（2009），它可以解釋長記憶性的特征和股票市場中時(shí)間序列的異質(zhì)性。每日波動(dòng)率與上一時(shí)期的每日、每周和每月波動(dòng)率有關(guān)。HAR-RV 模型的定義如下：1/ = 2=1= + + + + +0+其中 和是t階段實(shí)際的每日波動(dòng)率，N意味著將交易日分成N個(gè)時(shí)間段， 是每個(gè)時(shí)間的收益， 是t階+段實(shí)際的每周波動(dòng)率和+是

9、隨機(jī)波動(dòng)項(xiàng)。 是未來H天實(shí)際的波動(dòng)率，H = 1，5，22。則每周和每月的波動(dòng)率可以如下計(jì)算： = ( + + + )/5 14 = ( + + + )/22121ARFIMA 模型自回歸模型 AR 是用來描述現(xiàn)值與歷史值的自相關(guān)性，而移動(dòng)平均模型 MA 是用來描述 AR 模型里的誤差累計(jì)項(xiàng)。結(jié)合 AR 與 MA 模型，作者得到自回歸移動(dòng)平均模型 ARMA 模型，其定義如下： = + + + =1=1it其中yt表示t時(shí)刻的價(jià)值，是常數(shù)項(xiàng)，q是模型中預(yù)測誤差的滯后數(shù)， 是自相關(guān)系數(shù)， 是誤差項(xiàng)。Granger 和 Joyeux（1980）提出了分形移動(dòng)平均模型（ARFIMA），它結(jié)合了分形噪聲

10、模型（FDN）和 ARMA模型。Hosking 在 1981 年改進(jìn)了 ARFIMA 模型，形式如下：t(L)(1 L)d(xt ) = (L)其中L是滯后算子，(L)和(L)分別是 p 階和q 階多項(xiàng)式滯后算子，它們描述了序列的短記憶性。(1 L)d是分形差分算子，其中d是分形差分參數(shù)（|d| 13表示評論是積極， = 1 3表示評論是中性， 1 3表示評論是消極。根據(jù)以上的方法，可以量化情緒并將其加入波動(dòng)率預(yù)測指標(biāo)。實(shí)際波動(dòng)率估計(jì)數(shù)據(jù)描述性統(tǒng)計(jì)分析圖 5 顯示了日收益率序列和實(shí)際波動(dòng)率及其衍生序列的相關(guān)描述性統(tǒng)計(jì)結(jié)果。從所研究的三個(gè)序列的偏度和峰度值可以看出存在偏差和尖峰。此外，每個(gè)序列的

11、 JB 統(tǒng)計(jì)量在 5%的置信水平上呈現(xiàn)顯著性，表明每個(gè)序列不滿足正態(tài)分布特征。如果是滯后 5、10 和 20 個(gè)周期，每個(gè)系列的 Q 統(tǒng)計(jì)量在 5%的置信水平呈現(xiàn)顯著性，表明每個(gè)系列之間都有相關(guān)性。計(jì)算出來的 Hurst 指標(biāo)在 0.5 和 1 之間，表明存在每個(gè)序列之間都有顯著的長記憶特征，越接近 1 長記憶特性越明顯。因此，實(shí)際波動(dòng)率為在 5%的置信水平上顯著，表明具有長記憶的特點(diǎn)。ADF 單位根檢驗(yàn)表明每個(gè)序列在 5%置信區(qū)間下都顯著拒絕了單位根的假設(shè)，并且每個(gè)序列穩(wěn)定。圖5：每日收益及波動(dòng)率的描述性統(tǒng)計(jì)分析On stock volatility forecasting based on

12、 text mining and deep learning under high-frequency data， 2021 年 5 月預(yù)測指標(biāo)的重要性作者參考 T. Chen 和 Guestrin(2016)來計(jì)算預(yù)測指標(biāo)的重要性。XGBoost 是基于結(jié)構(gòu)得分來選擇特征作為分裂點(diǎn)，一個(gè)特征的重要性體現(xiàn)于它出現(xiàn)在所有決策樹中的時(shí)間之和。這意味著一個(gè)特征越多次被用于構(gòu)建決策樹，它就越重要。圖 6 顯示了由 XGBoost 計(jì)算得出的特征重要性。結(jié)果表明，公眾觀點(diǎn)指標(biāo)對波動(dòng)性的貢獻(xiàn)很大，所以它可以作為波動(dòng)率的預(yù)測指標(biāo)。圖6：基于 XGBoost 的特征重要性O(shè)n stock volatility

13、 forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月波動(dòng)率預(yù)測模型的效果比較LSTM 模型的參數(shù)選擇將數(shù)據(jù)劃分為訓(xùn)練集和測試集，對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化以消除維度的影響后，按照 Wei（2010）的方法，使用滑動(dòng)時(shí)間窗進(jìn)行滾動(dòng)預(yù)測。保持訓(xùn)練集區(qū)間不變，不斷滾動(dòng)預(yù)測第二天的波動(dòng)率。如圖 7，如果時(shí)間窗口天， 使用天到 + 天數(shù)據(jù)預(yù)測 + + 1天，和使用 + 1天到 + + 1天數(shù)據(jù)預(yù)測 + + 2天，以此類推。轉(zhuǎn)換二維輸入索引的格式轉(zhuǎn)化為三維數(shù)據(jù)（行數(shù)、時(shí)間步長和列數(shù)）用于滾動(dòng)

14、預(yù)測。圖7：滾動(dòng)預(yù)報(bào)示意圖On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月為了分析訓(xùn)練步驟對 LSTM 模型的預(yù)測效果，作者選擇訓(xùn)練步長為 10、20、30 和 40 天構(gòu)建訓(xùn)練數(shù)據(jù)。相應(yīng)的 MAE 和 MSE 如圖 8 所示。通過選擇不同的時(shí)間窗口可以發(fā)現(xiàn)，當(dāng)時(shí)間窗值為 20 天時(shí)，可以獲得相對較小的驗(yàn)證損失值。這個(gè)結(jié)果的原因可能是如果時(shí)間窗口太大，相對無關(guān)的數(shù)據(jù)會(huì)影響模型的訓(xùn)練，大大降低訓(xùn)練的效率。如果時(shí)間窗口為 10，則值

15、可能為太小，以至于與預(yù)測值相關(guān)的數(shù)據(jù)被忽略，模型無法獲得足夠的數(shù)據(jù)，所以結(jié)果不是很理想。在實(shí)驗(yàn)過程中發(fā)現(xiàn)，當(dāng)時(shí)間窗口值為 20 時(shí)可以獲得更好的結(jié)果。因此，在隨后的參數(shù)調(diào)整過程中，時(shí)間窗值選擇為 20；也就是股票通過前 20 天的數(shù)據(jù)來預(yù)測第 21 天的價(jià)格波動(dòng)。圖8：LSTM 訓(xùn)練時(shí)間的窗口參數(shù)選擇On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月由于大量的預(yù)測指標(biāo)和更復(fù)雜的函數(shù)關(guān)系，為了使網(wǎng)絡(luò)更好地捕捉數(shù)據(jù)特征防止欠擬合，作者

16、將使用兩層LSTM 和全連接層結(jié)構(gòu)并適度增加節(jié)點(diǎn)數(shù)以增加模型的深度。另外，為了防止過擬合，在神經(jīng)網(wǎng)絡(luò)中添加了一個(gè)退出層以減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系，然后多個(gè)不同的神經(jīng)網(wǎng)絡(luò)平均消除反向擬合現(xiàn)象以減少整個(gè)模型的過度擬合。具體 LSTM 的預(yù)測模型的其他參數(shù)設(shè)置如圖 9 所示。圖 10 顯示了模型計(jì)算過程中訓(xùn)練集和驗(yàn)證集之間的誤差減少的過程。圖9：LSTM 的參數(shù)設(shè)定On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月圖10：模型訓(xùn)練

17、的損失曲線On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月比較不同模型的預(yù)測結(jié)果作者檢驗(yàn)了 12 個(gè)預(yù)測模型的波動(dòng)率RVt，包括在正態(tài)分布和t 分布誤差項(xiàng)下的傳統(tǒng)的計(jì)量經(jīng)濟(jì)學(xué)模型，例如ARCH，GARCH、EGARCH 和 FIGARCH，在有或沒有文本情感因子作為預(yù)測指標(biāo)下的 ARFIMA 和 HAR-RV模型和深度學(xué)習(xí)模型 LSTM。表 4 顯示了基于 6 個(gè)損失函數(shù)下的 12 個(gè)模型所對應(yīng)的預(yù)測準(zhǔn)確性及樣本外的波動(dòng)率RVt

18、排名，作者根據(jù)較高的綜合準(zhǔn)確率從上到下比較了誤差程度和排名。根據(jù)圖 11，作者得出以下結(jié)論：與傳統(tǒng)的計(jì)量經(jīng)濟(jì)學(xué)模型相比，深度學(xué)習(xí) LSTM 模型在六種評價(jià)標(biāo)準(zhǔn)下對高頻波動(dòng)的預(yù)測準(zhǔn)確率更高。具體從統(tǒng)計(jì)學(xué)的角度來說，與排名相對較高的傳統(tǒng)經(jīng)濟(jì)學(xué)模型 ARFIMA 模型相比，深度學(xué)習(xí)模型 LSTM 基于六個(gè)標(biāo)準(zhǔn) MSE，RMSE，MAE， MSLE，2和 RMSPE 在預(yù)測精度上分別提高了 2.5%，1.3%，14.6%，34.1%，4.9%和 24.9%。傳統(tǒng)計(jì)量經(jīng)濟(jì)學(xué)的預(yù)測模型僅使用波動(dòng)率的歷史信息作為收益率序列和信息的顯式線性關(guān)系，而深度學(xué)習(xí)模型不僅使用了波動(dòng)率的歷史信息，還使用了市場上的其他交

19、易指標(biāo)、股東的文本情緒因素等。LSTM 模型更好地考慮了波動(dòng)率的影響因素和變量之間的非線性關(guān)系，因此對未來波動(dòng)率趨勢的預(yù)測相對較好。相對于沒有文本情感因素的 LSTM 模型，在 MSE、RMSE、MAE、MSLE、2和 RMSPE 評價(jià)標(biāo)準(zhǔn)下，有文本情感因素的 LSTM 模型的預(yù)測準(zhǔn)確率分別提高了 9.3%、4.7%、6.2%、9.2%、7.9%和 16.9%,表明股東情緒對市場股票股價(jià)波動(dòng)率有正向影響，將其納入 LSTM 模型的預(yù)測指標(biāo)體系，可以提高預(yù)測精度。這與現(xiàn)實(shí)也是非常一致的。股票交易員的操作具有羊群效應(yīng)。在傳統(tǒng)的計(jì)量經(jīng)濟(jì)學(xué)模型中，ARFIMA 模型的預(yù)測精度和排名最好，說明波動(dòng)率序列

20、之間存在一定的相關(guān)性和長記憶性，這也符合 LSTM 模型的應(yīng)用前提。具有正態(tài)分布誤差項(xiàng)的GARCH 系列模型表現(xiàn)排名其次，具有t分布誤差項(xiàng)的 GARCH 族模型表現(xiàn)最差。圖11：不同模型的預(yù)測誤差及表現(xiàn)排名On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月基于這個(gè)結(jié)果，作者導(dǎo)出了 LSTM 模型的預(yù)測結(jié)果，并進(jìn)一步進(jìn)行了兩步法和五步法預(yù)測。同樣，作者也對傳統(tǒng)模型進(jìn)行多步預(yù)測。具體結(jié)果見圖 12 和圖 13。通過比較不同步驟下預(yù)測的

21、結(jié)果，作者發(fā)現(xiàn) LSTM 模型的預(yù)測比較穩(wěn)健。以 ARFIMA 模型為例，在一步預(yù)測的情況下 ARFIMA 模型表現(xiàn)僅略差于 LSTM 模型，但是兩步法和五步法預(yù)測結(jié)果的準(zhǔn)確性顯著降低，尤其是兩步法預(yù)測。圖 12 和圖 13 中的預(yù)測模型排列與圖 11 相同，可以直觀的看出，準(zhǔn)確率的變化是根據(jù)預(yù)測步長的變化影響很大。大多數(shù)模型準(zhǔn)確度的變化與 ARFIMA 模型相似。但是，LSTM 模型保持了很強(qiáng)的穩(wěn)定性，其準(zhǔn)確度呈現(xiàn)穩(wěn)步下降趨勢，描述長記憶波動(dòng)性的能力更好。進(jìn)一步發(fā)現(xiàn)，無論采用何種步長，加入情感指標(biāo)的 LSTM 模型的預(yù)測準(zhǔn)確率都是最好的，說明文本情感因子對提高預(yù)測波動(dòng)率精準(zhǔn)度有一定的正向性影

22、響。圖 14 為真實(shí)波動(dòng)率和前 5 個(gè)基于 MSE 的預(yù)測模型的對比圖。預(yù)測方法均為過去 20 天數(shù)據(jù)預(yù)測 1 天，橫坐標(biāo)為日期，縱坐標(biāo)是當(dāng)天的波動(dòng)率，散點(diǎn)是當(dāng)天的真實(shí)值?？梢钥闯?，LSTM 對極值預(yù)測的效果要比傳統(tǒng)模型好很多。在精度方面，帶情緒指標(biāo)的 LSTM 模型更切合真實(shí)值，并且能更好地描述峰谷和預(yù)測極端波動(dòng)變化。圖12：不同模型的預(yù)測誤差及表現(xiàn)排名（預(yù)測第二步）On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月圖13：不同

23、模型的預(yù)測誤差及表現(xiàn)排名（預(yù)測第五步）On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月圖14：基于 MSE 的樣本外預(yù)測最準(zhǔn)確的前五個(gè)模型的表現(xiàn)On stock volatility forecasting based on text mining and deep learning under high-frequency data， 2021 年 5 月總結(jié)作者利用股民的文字評論信息，構(gòu)建整合評論影響力的情感因子，然后基于高頻金融數(shù)據(jù)與深度學(xué)習(xí)模型LSTM 并結(jié)合其他交易信息進(jìn)行波動(dòng)率預(yù)測。基于高頻數(shù)據(jù)，帶文本輿論指標(biāo)的 LSTM 模型的波動(dòng)率預(yù)測能力在六項(xiàng)評價(jià)標(biāo)準(zhǔn)下優(yōu)于傳統(tǒng)計(jì)量經(jīng)濟(jì)學(xué)模型，準(zhǔn)確性和穩(wěn)健性好于 ARCH、GARCH、EGARCH 和具有正態(tài)分布和 t 分布誤差項(xiàng)的 FIGARCH，ARFIMA 和 HAR-