版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、長短期記憶模型基本理論長短期記憶模型(Long Short-Term Memory, LSTM),是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò),能夠?qū)W習長期依賴性。長短期記憶模型在各種各樣的問題上表現(xiàn)非常出色,現(xiàn)在被廣泛使用,例如,文本生成、機器翻譯、語音識別、時序數(shù)據(jù)預(yù)測、生成圖像描述和視頻標記等。這一節(jié)我們主要介紹長短期記憶模型的基本理論,包括模型定義和算法。長短期記憶模型的定義循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)將時間的概念引入了模型中,在循環(huán)神經(jīng)網(wǎng)絡(luò)中,每個節(jié)點都是一個循環(huán)單元,循環(huán)結(jié)構(gòu)的加入使得網(wǎng)絡(luò)的層之間相連,并且是全連接的形式,每一層的節(jié)點之間也是互相連接的,網(wǎng)絡(luò)會按照時序關(guān)系對輸入及反饋的信息進行處理,即當前
2、時刻節(jié)點的輸出是由當前時刻的輸入以及前一時刻的反饋共同決定的,此反饋也可稱為狀態(tài)或記憶。將循環(huán)單元的結(jié)構(gòu)按照時間順序展開,可知此類鏈式結(jié)構(gòu)十分適合處理時序數(shù)據(jù)。正如其它神經(jīng)網(wǎng)絡(luò),循環(huán)神經(jīng)網(wǎng)絡(luò)的學習同樣分為前向傳播以及反向傳播。前向傳播t 時刻的輸出由 t-1 時刻的狀態(tài)和時刻的輸入共同計算而得,則 t 時刻的狀態(tài): = ( + 1 + ),其中()為激活函數(shù),U、V 均為權(quán)重且不同時刻同類型的權(quán)值是共享的,不隨時間變化而產(chǎn)生變動,為偏置。則時刻的輸出為: = + ,其中 W 也為權(quán)重,取值規(guī)則與 U、V 相同,c 也為偏置。則最終模型預(yù)測的輸出為: = ()。反向傳播損失函數(shù)的計算公式為: =
3、 ,其中,L 為 t 時刻的損失值,為 t 時刻的實際值。反向傳播就是為了使損失函數(shù)最小化,隨著時間以需要優(yōu)化的參數(shù)的負梯度方向為準來計算累計殘差的過程,最終直至損失收斂,而需要優(yōu)化的參數(shù)是指 U、V 和 W。循環(huán)神經(jīng)網(wǎng)絡(luò)加入的循環(huán)結(jié)構(gòu)使得模型較之傳統(tǒng)神經(jīng)網(wǎng)絡(luò)更為復(fù)雜,卻增加了其 靈活度和適應(yīng)性,提高了特征學習的能力,也使得模型解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)難以處理 時序數(shù)據(jù)的問題,同時共享的權(quán)重參數(shù)也一定程度上降低了因循環(huán)結(jié)構(gòu)而增加的模型 復(fù)雜度,減少了計算量,使之在理論上可以處理任意長度的時序數(shù)據(jù)問題。但是在實 際問題處理的過程中,當需要處理長期依賴關(guān)系的數(shù)據(jù)時,權(quán)重參數(shù) U、V 會在訓練過程中逐漸衰
4、減或放大:倘若梯度大于,當 t 增大時,最終的梯度則會趨于無窮大, 模型參數(shù)不穩(wěn)定,無法收斂,此為梯度爆炸;倘若梯度小于 1,則當 t 增大時,最終 的梯度會趨于 0,模型參數(shù)不更新,此為梯度消失。因此,循環(huán)神經(jīng)網(wǎng)絡(luò)往往只能處理較短的序列,而為了解決這個問題,便出現(xiàn)了 LSTM 網(wǎng)絡(luò)。長短期記憶模型遺忘階段t 時刻輸入長短期記憶網(wǎng)絡(luò)神經(jīng)元的信息來源于三個部分:t 時刻外界的輸入、t-1 時刻的長期狀態(tài)1以及臨時狀態(tài)1, 和1 中的信息在進行權(quán)值變換之后會被 sigmoid 函數(shù)映射為取值范圍為 0-1 的遺忘門閾值。而遺忘門的作用就是判斷1 對于當前內(nèi)容的重要性,選擇性遺忘掉1中的某些內(nèi)容,以
5、便當前 t 時刻的新信息得以被輸入進來,這一過程即是數(shù)學描述中的() ( 1),其中,()中各元素均為 0-1 的小數(shù),代表的就是存儲單元中信息留存的比例,表示全部遺忘,表示狀態(tài)全部保留。記憶選擇階段此階段由輸入門發(fā)揮作用,輸入門會控制信息的留存,其主要是對新輸入的信息對于的重要性進行判斷,即() 。此過程中中 tanh 函數(shù)的作用是對輸入的信息進行縮放,生成當前 t 時刻狀態(tài)更新的備選內(nèi)容。輸出階段此階段就是由輸出門確定輸出的內(nèi)容,對狀態(tài)進行更新,需要從中篩選出對 t時刻的輸出有用的信息生成,作為當前的輸出或進入下一時刻的學習。1.2.2.反向傳播長短期記憶網(wǎng)絡(luò)其實是循環(huán)神經(jīng)網(wǎng)絡(luò)變形中的一種
6、,其出現(xiàn)就是為了彌補循環(huán)神經(jīng)網(wǎng)絡(luò)無法處理長序列數(shù)據(jù)的缺陷。長短期記憶網(wǎng)絡(luò)神經(jīng)元的結(jié)構(gòu)與循環(huán)神經(jīng)網(wǎng)絡(luò)相比,主要有兩大部分的變化:首先是,在長短期記憶網(wǎng)絡(luò)神經(jīng)元中多了一個存儲單元用于存儲長期記憶;此外,其內(nèi)部還引入了三個邏輯門控單元,可以控制信息的存儲與流動,使得有用的信息得以被留存,無用的信息被遺忘,讓模型能夠以較小的成本來實現(xiàn)不錯的記憶效果。存儲長期狀態(tài)和臨時狀態(tài)的細胞單元分別用和表示,三個邏輯門控單元分別為輸入門、遺忘門和輸出門,分別用、和來表示。那么,在 t 時刻下,各門控單元的狀態(tài)向量和輸出向量由以下公式進行計算(當 t1 時,初始值0、0均為 0): () = () tanh() ,
7、() = () ( 1) + () , = tanh(h( 1) + () + ) , () = ( ( 1) + () + ) , () = (h ( 1) +() + ),() = tanh(h ( 1) + () + ) 。其中,即表示 sigmoid 函數(shù),表示向量的對應(yīng)元素相乘。、和 分別為輸入到三個門控單元的權(quán)重矩陣, 、h 和h 則為隱藏層的權(quán)重矩陣,、和分別為相應(yīng)門單元的偏置向量。1.2.長短期記憶模型的學習過程與循環(huán)神經(jīng)網(wǎng)絡(luò)相似,長短期記憶模型的學習過程也分為正向傳播和反向傳播兩部分,而正向傳播的過程基本可以劃分為三個階段:遺忘階段、記憶選擇階段以及輸出階段,分別對應(yīng)著三個邏
8、輯門控單元的作用過程。1.2.1.正向傳播長短期記憶模型以損失函數(shù)的最小化為目標,沿著負梯度方向?qū)Ω鲄?shù)進行調(diào)整更新,不過 LSTM 中參數(shù)數(shù)量更多,因此此過程的計算要更為復(fù)雜。LSTM 的損失函數(shù)為: 1= ( )2。而決定 梯度的是本層在當前 t 時刻的輸出誤差以及之后誤2 +1 +1 +1 +1 +1 差,所以:=+= + + + + = + +1 + +1 + +1 + +1 , = ( )() , +1 = +1 = +1 () 。 同 理 : +1 = +1 () , +1 = +1 tanh( )() , +1 = +11 。由此可得:= = = , = , = , = , =
9、, = 1, = 1 ,= 1, = 1 。從表面上來理解,在前向傳播過程中,長短期記憶網(wǎng)絡(luò)可以判斷何時讓激活函數(shù)進入內(nèi)部狀態(tài),而當輸入門的取值為 0 的時候,激活函數(shù)就無法進入。同理,輸出門學習的是何時將值輸出。當兩個門都處于關(guān)閉狀態(tài)時,激活函數(shù)不會有任何變化,也不會對當時的輸出產(chǎn)生任何影響。這就使得在反向傳播過程中的梯度既不會消失也不會爆炸,所以從這個意義上來說,邏輯門控單元在學習何時讓誤差進入,何時將其輸出。在實際應(yīng)用中,相比于循環(huán)神經(jīng)網(wǎng)絡(luò),門控單元的引入使得長短期記憶網(wǎng)絡(luò)可以控制數(shù)據(jù)的傳遞,可以很好地進行長期依賴關(guān)系的學習。1.3.小結(jié)深度學習是機器學習的一種方法。“深度”意為含有多隱
10、層節(jié)點的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),是和淺層機器學習相對的概念,早期的機器學習模型如支持向量機、邏輯回歸都可以理解為淺層機器學習模型,這類模型在結(jié)構(gòu)上相當于只含一層或不含任何隱層節(jié)點。相比于淺層機器學習模型,深度學習可以更好的提取原始數(shù)據(jù)的特征結(jié)構(gòu),具有較好的泛化能力,深度神經(jīng)網(wǎng)絡(luò)是深度學習實現(xiàn)的途徑,比較有代表性的深度神經(jīng)網(wǎng)絡(luò)有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)。其中,長短期記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體,相比循環(huán)神經(jīng)網(wǎng)絡(luò),長短期記憶網(wǎng)絡(luò)具有記憶性,能夠檢測數(shù)據(jù)中的長期依賴關(guān)系,因此更適用于對股票價格時間序列進行預(yù)測。股票數(shù)據(jù)采集與存儲的自動化方法成本低、易于實現(xiàn),存在變量多、樣本量大等 問題,
11、股票的收益受到多種因素的影響。我們這里挑選出合適的特征變量和響應(yīng)變量, 希望通過長短期記憶模型對股票的收益趨勢做出預(yù)測。模型的本質(zhì)就是通過訓練好的 模型來對未來進行預(yù)測。我們從證券市場獲得的觀測數(shù)據(jù)大多都具有時間趨勢,借助 長短期記憶模型來進行股票收益預(yù)測是具有很強的現(xiàn)實意義的。長短期記憶模型的擇時建模量化擇時是指采用數(shù)據(jù)化的方式,判斷進場或者離場時機。通過計算機技術(shù)分析相關(guān)數(shù)據(jù),得出對證券市場未來一段時間內(nèi)發(fā)展趨勢的分析預(yù)判,如果判定上漲則給出買入持有的操盤建議,如果判定下跌則提示投資者賣出清倉規(guī)避風險,如果判定震蕩則進行高拋低吸或低吸高拋以此來降低持倉成本??梢钥闯?,擇時方法的核心在于精確
12、找到股票走勢,來進一步確定交易的信號。股票數(shù)據(jù)具有時序性特點,長短期記憶網(wǎng)絡(luò)可以通過分層特征來表示其內(nèi)在關(guān)系,并且具有負責計算時間序列中各個觀 測值之間依賴性的能力。所以,在預(yù)測股票市場走勢時,利用長短期記憶網(wǎng)絡(luò)更為合適。我們這里來研究基于長短期記憶模型的擇時建模。模型合理性的討論時間序列分析是以已有的歷史數(shù)據(jù)為根據(jù),通過數(shù)學建模進行分析和判斷未來發(fā)展趨勢的一種手段,被廣泛地運用在證券走勢的預(yù)測當中。針對復(fù)雜的金融時間序列, 深度學習方法是目前最適合進行股票市場預(yù)測的算法。在眾多深度神經(jīng)網(wǎng)絡(luò)模型中, 長短期記憶網(wǎng)絡(luò)被廣泛應(yīng)用。長短期記憶網(wǎng)絡(luò)克服了梯度消失問題,能夠通過記憶單 元有效地學習時間序
13、列中的長期依賴關(guān)系。長短期記憶網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種,衍生于循環(huán)人工神經(jīng)網(wǎng)絡(luò)。作為循環(huán)神經(jīng)網(wǎng)絡(luò)的變體,長短期記憶網(wǎng)絡(luò)最大的不同之處在于它借鑒了人類大腦的選擇性輸入和選擇性遺忘機制,引入了遺忘門、輸入門和輸出門三個“門”結(jié)構(gòu),以及一個記憶單元來選擇性接收傳入神經(jīng)網(wǎng)絡(luò)的信息。屬于邏輯單元的“門”結(jié)構(gòu)只負責在神經(jīng)網(wǎng)絡(luò)中其它部分與記憶單元相接的邊緣地帶完成權(quán)值的設(shè)定工作,而不會對其他神經(jīng)元節(jié)點產(chǎn)生影響。長短期記憶模型具有負責計算時間序列中各個觀測值之間依賴性的能力,所以通常被用來實現(xiàn)預(yù)測目的。又因其具有快速適應(yīng)發(fā)展趨勢中急劇變化的固有能力,因此可以在波動的時間序列中很好地工作。傳統(tǒng)的時間序列分析模型
14、,如差分整合移動平均自回歸模型則無法盡快適應(yīng)證券價格的突然劇烈變動。所以我們利用長短期記憶模型對證券價格進行時間序列分析,選取一些重要的指標作為預(yù)測向量,再以 5 日平均收益率作為響應(yīng)變量建立長短期記憶模型,以預(yù)測結(jié)果的正負作為標志, 在回測階段判斷進場或者離場的時機。模型優(yōu)缺點的討論長短期記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個優(yōu)秀的變體模型,繼承了大部分循環(huán)神經(jīng)網(wǎng)絡(luò)的特性,克服了循環(huán)神經(jīng)網(wǎng)絡(luò)的缺陷。循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于它將時序數(shù)據(jù)和 神經(jīng)網(wǎng)絡(luò)相結(jié)合,并且保留了上一時刻對于現(xiàn)在的影響,保留了數(shù)據(jù)的時序性。但是 隨著時間序列的增長,研究者們發(fā)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)對于長時間的序列處理能力較弱, 也就是說循環(huán)神經(jīng)
15、網(wǎng)絡(luò)的長期記憶效果并不是很理想。此外,隨著序列長度增加,模 型深度增加,在計算梯度的時候就無法避免梯度消失與梯度爆炸的問題。簡單來說就 是循環(huán)神經(jīng)網(wǎng)絡(luò)模型在運作到反向傳遞誤差的過程時,由于其結(jié)構(gòu)限制,前面的時間 步難以收到后面時間步傳遞的誤差信號,使其難以通過學習遠距離的影響來調(diào)整網(wǎng)絡(luò)。而長短期記憶網(wǎng)絡(luò)更真實地表征或模擬了人類行為、邏輯發(fā)展和神經(jīng)組織的認知過程, 繼承了大部分循環(huán)神經(jīng)網(wǎng)絡(luò)的特性,同時解決了梯度反轉(zhuǎn)過程中的梯度消失與梯度爆 炸問題。長短期記憶模型能夠處理非線性問題,具有長期記憶能力,泛化能力強。股票數(shù) 據(jù)由于受到經(jīng)濟因素、政治因素和環(huán)境因素的影響,使其變化規(guī)律難以捉摸,變化規(guī) 律
16、的周期難以確定,所以模型需要大量的歷史數(shù)據(jù)以及篩選合適的特征變量進行分析 才能夠得到需要的結(jié)果。在分析復(fù)雜的股票市場時,神經(jīng)網(wǎng)絡(luò)作為深度學習領(lǐng)域的技 術(shù),能夠很好地解決非線性的問題。長短期記憶網(wǎng)絡(luò)在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)上進行了優(yōu)化, 引入了“門”的概念,增強了該模型的長期記憶能力,合適的優(yōu)化算法在一定程度上 提高了模型的泛化能力,在序列建模問題上具有很大優(yōu)勢。然而,長短期記憶模型也有一定的局限性:循環(huán)神經(jīng)網(wǎng)絡(luò)的特性決定了其不能很好的并行化處理數(shù)據(jù),長短期記憶模型作為循環(huán)神經(jīng)網(wǎng)絡(luò)的改進模型在并行處理上同樣存在劣勢。此外,長短期記憶模型本身的結(jié)構(gòu)相對復(fù)雜,如果長序列數(shù)據(jù)的時間跨度很大,設(shè)置的網(wǎng)絡(luò)層數(shù)較深
17、,將會產(chǎn)生很大的計算量和時間消耗。策略設(shè)計思路我們的策略的主要設(shè)計思路如下:設(shè)置主要的模型構(gòu)建方法,即進行兩種方式的模型訓練及設(shè)置執(zhí)行方案;根據(jù)長短期記憶模型的原理來設(shè)置預(yù)測方案;對數(shù)據(jù)及參數(shù)進行選??;通過回測來確定最優(yōu)模型。建模方法神經(jīng)網(wǎng)絡(luò)通過對人腦工作機制的模擬,以神經(jīng)元之間權(quán)重連接的方式逐層建立起網(wǎng)絡(luò)架構(gòu),并且每個神經(jīng)元都有偏置項和激活函數(shù)對數(shù)據(jù)信息進行非線性化變換,這使得運用神經(jīng)網(wǎng)絡(luò)對股票價格建模能夠克服金融時序的非平穩(wěn)性和非線性,從而最大限度的逼近和擬合實際的股票價格。本文將利用長短期記憶神經(jīng)網(wǎng)絡(luò)來實現(xiàn)滬深 300股票 5 日平均收益率的預(yù)測。我們這里采用兩種方式對模型進行訓練。一種
18、是 3:2 的數(shù)據(jù)劃分訓練模式,即將60的數(shù)據(jù)作為訓練數(shù)據(jù),剩余的 40的數(shù)據(jù)作為測試數(shù)據(jù)。一種是窗長窗移滾動訓練模式,即將第 1-30 天的數(shù)據(jù)用來訓練,第 31 天的數(shù)據(jù)用來測試,然后將 2-31 天數(shù)據(jù)用來訓練,第 32 天數(shù)據(jù)用來測試,以此類推。我們這里將會對兩種方案分別進行測試。建模過程為:對模型進行訓練,做參數(shù)估計。選取模型的訓練集,如上所述,一種是 3:2 的數(shù)據(jù)劃分訓練模式,一種是窗長窗移滾動訓練模式,將持倉時間長度平均收益率,持倉期間夏普比率,5 日和持倉期平均成交量之比作為輸入變量,5 日平均收益率作為輸出變量通過對模型進行訓練,得到估計的參數(shù)。本策略利用長短期記憶模型對滬
19、深 300 指數(shù)預(yù)測得出的 5 日平均收益率作為買賣信號,在回測階段用以檢驗長短期記憶模型用于滬深 300 指數(shù)技術(shù)指標回歸分析中的精度,預(yù)測方法做預(yù)測是基于未來數(shù)據(jù)和歷史數(shù)據(jù)存在類似的規(guī)律假設(shè)。根據(jù)長短期記憶模型的基本原理,可以構(gòu)造預(yù)測的基本方法,即準備測試數(shù)據(jù),利用訓練好的模型實現(xiàn)預(yù)測。我們這里將滬深 300 的 5 日平均收益率作為響應(yīng)變量進行預(yù)測,如果預(yù)測值大于 0, 記為 1;如果預(yù)測值小于 0,記為 0,根據(jù)此結(jié)果在回測階段進行相應(yīng)的交易操作。數(shù)據(jù)及參數(shù)選擇關(guān)于預(yù)測標的的選取我們使用滬深 300 指數(shù)(000300)的日數(shù)據(jù)來進行測試。長短期記憶模型的參數(shù)主要包括三部分,一個是長短
20、期記憶網(wǎng)絡(luò)本身的參數(shù)配置;一個是輸入給模型的特征變量的選擇;一個是模型的輸出變量即響應(yīng)變量的選擇。模型關(guān)鍵參數(shù)選擇如下:長短期記憶網(wǎng)絡(luò)層神經(jīng)元的個數(shù)(hidden_dim):長短期記憶網(wǎng)絡(luò)需要對每 個神經(jīng)層的神經(jīng)元個數(shù)進行定義。在定義時要考慮輸入數(shù)據(jù)形狀,并保證模型能夠正 常運行,神經(jīng)元個數(shù)不能設(shè)置的過大也不能過小。這里我們將神經(jīng)元個數(shù)定為 32 個。隨機斷開輸入神經(jīng)元比例(dropout):該參數(shù)用來調(diào)節(jié) dropout 層將部分神經(jīng)網(wǎng)絡(luò)單元暫時從網(wǎng)絡(luò)中篩選出去的概率,dropout 層用于減小神經(jīng)網(wǎng)絡(luò)模型發(fā)生過擬合及性能過低的概率,減少神經(jīng)網(wǎng)絡(luò)單元的同時也減少了神經(jīng)元之間的相關(guān)性, 增強了
21、神經(jīng)網(wǎng)絡(luò)在樣本外進行測試時的泛化能力。這里我們將 dropout 設(shè)置為 0.2。訓練批次(num_epochs):單次 num_epochs 指的是將所有的數(shù)據(jù)輸入網(wǎng)絡(luò)進行一次完整的計算。此參數(shù)的設(shè)置會極大地影響模型的訓練精度和訓練時間。兩種訓練方式下,此參數(shù)最終分別確定為 84 和 17。輸入數(shù)據(jù)維數(shù)(input_dim):因為特征變量為 3 個,所以將其設(shè)置為 3。輸出數(shù)據(jù)維數(shù)(output_dim):因為響應(yīng)變量為 1 個,所以將其設(shè)置為 1。損失函數(shù)(loss_fn):常用的損失函數(shù)有 mean_squared_error 和 mean absolute error,這里選取 mea
22、n_squared_error 作為損失函數(shù)。優(yōu)化器(optimiser):優(yōu)化器的目的是使損失(loss_fn)函數(shù)最小化,在所有神經(jīng)網(wǎng)絡(luò)優(yōu)化器中,adam 是最為常用的優(yōu)化器,這里設(shè)置優(yōu)化器為 adam。表 1 :3 個特征變量 1 個響應(yīng)變量及其含義特征變量含義持倉收益率以持倉周期等于 10 為例,即 10 日內(nèi)的指數(shù)收益率持倉期間夏普比率夏普比率是一個衡量基金風險與收益關(guān)系的指標。以持倉周期等于 10 為例,10 日內(nèi)的夏普比率即為持倉期夏普比率5 日和持倉期平均成交量之比以持倉周期等于 10 為例,則持倉半周期為 5。持倉半周期和持倉全周期平均成交量之比即為 5 日和持倉期平均成交量
23、之比響應(yīng)變量含義5 日平均收益率以持倉周期等于 10 為例,則持倉半周期為 5。5 日時間長度內(nèi)股票的總收益與總成本的比值即為 5 日平均收益率(也稱持倉半周期平均收益率)資料來源:研究所特征變量選擇:股票數(shù)據(jù)指標能夠在一定程度上幫助投資者判斷股市的當前行情,尋找行情的轉(zhuǎn)折點。這里長短期記憶模型的特征變量選取了 3 個變量,它們分別是持倉收益率,持倉期間夏普比率,和 5 日和持倉期平均成交量之比。表 1 對它們做出了相應(yīng)解釋。響應(yīng)變量選擇:本實驗長短期記憶模型的響應(yīng)變量選取的是股票的 5 日平均收益率,表 1 對變量做出了解釋。在回測階段我們將模型預(yù)測的 5 日平均收益率的正負作為交易行為的判
24、斷標志之一,為正表示可以獲利,反之表示不能獲利。已知理性的投資者選擇投資標的與投資組合的主要目的為:在固定所能承受的風險下,追求最大的報酬或在固定的預(yù)期報酬下,追求最低的風險。夏普比率是一個衡量基金風險與收益關(guān)系的指標,最大回撤率是用來描述買入產(chǎn)品后可能出現(xiàn)的最糟糕的情況,它們是衡量股票投資風險的重要指標。這里我們主要以夏普率和最大回撤率這兩個指標來衡量交易結(jié)果。策略具體過程及回測分析我們這里以滬深 300 作為交易標的,首先獲取觀測值的時間序列,這是后續(xù)進行模型計算的基礎(chǔ)。我們首先將特征變量分為價格類,成交量類和綜合類。對于收益率類特征變量,我們選取持倉時間長度收益率作為價格類特征變量;持倉
25、期間夏普比率作為綜合類特征變量;5 日和持倉期平均成交量之比作為成交量類特征變量。響應(yīng)變量我們選取滬深 300 股票的 5 日平均收益率。如圖 1、圖 2、圖 3、圖 4 所示,我們以持倉時間長度為 10 日為例,畫出 4 個變量對應(yīng)數(shù)據(jù)的頻率分布直方圖:圖 1持倉時間平均收益率圖 25 日平均收益率資料來源:研究所資料來源:研究所圖 35 日和持倉期的平均成交量之比圖 4持倉時間長度內(nèi)夏普比率資料來源:研究所資料來源:研究所長短期記憶模型的優(yōu)化(1)調(diào)整長短期記憶網(wǎng)絡(luò)的層數(shù)(num_layers)本文在研究長短期記憶網(wǎng)絡(luò)層數(shù)的設(shè)置對回測結(jié)果的影響時,以夏普比率、最大回撤率、勝率作為評價指標,
26、其取值為當前長短期記憶網(wǎng)絡(luò)層數(shù)設(shè)置下的最優(yōu)回測結(jié)果。初始時將長短期記憶網(wǎng)絡(luò)的層數(shù)設(shè)置為 1,然后通過將其增加至 3 層來研究長短期記憶網(wǎng)絡(luò)層數(shù)的設(shè)置對回測結(jié)果的影響,神經(jīng)元節(jié)點數(shù)設(shè)置為 32。以 3:2 數(shù)據(jù)劃分訓練方式為例,研究結(jié)果如表 2 所示。表 2:長短期記憶網(wǎng)絡(luò)層數(shù)對回測結(jié)果的影響長短期記憶網(wǎng)絡(luò)層數(shù)夏普比率最大回撤率勝率10.520.38000.7420.310.38000.7530.280.38000.73資料來源:研究所從表 2 可以看出長短期記憶網(wǎng)絡(luò)層數(shù)的設(shè)置對回測結(jié)果的影響較大,并且隨著層數(shù)增加,夏普比率有所降低。盡管已有部分研究表明適當增加長短期記憶網(wǎng)絡(luò)層數(shù)能夠提升模型預(yù)測
27、能力,但在本文研究模型中,一層長短期記憶網(wǎng)絡(luò)層就已經(jīng)能夠保證模型預(yù)測的效果。(2)調(diào)整訓練批次(num_epochs)單次 num_epochs 指的是將劃分的訓練數(shù)據(jù)輸入網(wǎng)絡(luò)進行一次完整的計算,它是影響模型輸入結(jié)構(gòu)的重要參數(shù)之一,在每一個 num_epochs 下神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元權(quán)重會不斷迭代更新。以 3:2 數(shù)據(jù)劃分訓練方式為例,研究結(jié)果如表 3 所示。表 3:訓練批次對回測結(jié)果的影響訓練批次夏普比率年化收益率總收益率最大回撤勝率交易次數(shù)300.090.045829.26470.45470.7043350.140.056836.28730.31220.7134550.300.102065
28、.12070.38000.7638750.390.124679.53280.38000.7243840.520.1724110.04640.38000.7443950.450.149395.33230.38000.7743基準0.280.100263.98180.4670資料來源:研究所從表 3 可以看出長短期記憶網(wǎng)絡(luò)訓練批次的設(shè)置對回測結(jié)果的影響較大,并且隨著訓練批次增加,夏普比率呈現(xiàn)先上升后下降的趨勢。本文中我們將訓練批次設(shè)置為84 將獲得較高的夏普率和較低的最大回撤率。(3)調(diào)整長短期記憶網(wǎng)絡(luò)層神經(jīng)元的個數(shù)(hidden_dim)在訓練過程中長短期記憶網(wǎng)絡(luò)往往會將噪音進行放大,最終導致模
29、型整體過擬合, 長短期記憶網(wǎng)絡(luò)層神經(jīng)元個數(shù)設(shè)置的越多,模型往往有更高的過擬合可能性。因此, 神經(jīng)元個數(shù)是影響模型最終性能的一個重要參數(shù)。本文使長短期記憶網(wǎng)絡(luò)的神經(jīng)元個 數(shù)在數(shù)組16,32,64,128中分別進行取值,探究其對回測結(jié)果的影響。以 3:2 數(shù)據(jù)劃分訓練方式為例,研究結(jié)果如表 4 所示。表 4:長短期記憶網(wǎng)絡(luò)層神經(jīng)元個數(shù)對回測結(jié)果的影響長短期記憶網(wǎng)絡(luò)層神經(jīng)元個數(shù)夏普比率最大回撤率勝率160.280.38000.76320.520.38000.74640.350.38000.801280.390.38000.76資料來源:研究所從表 4 可以看出長短期記憶網(wǎng)絡(luò)層神經(jīng)元個數(shù)的設(shè)置對夏普比
30、率影響較大,結(jié)合最大回撤率來看,將神經(jīng)元個數(shù)設(shè)置為 32 為最佳。2.4.2.3:2 的數(shù)據(jù)劃分訓練模式分析3:2 的數(shù)據(jù)劃分訓練模式是在拆分數(shù)據(jù)集(由 2005 年 1 月到 2021 年 7 月的滬深300 標的計算出的 3 個特征變量值)時,將 60 的數(shù)據(jù)作為訓練數(shù)據(jù),剩余的 40 的數(shù)據(jù)作為測試數(shù)據(jù)。這里通過對模型預(yù)測性能的調(diào)節(jié),我們將模型訓練過程中的訓練批次確定為 84。從表 5 可以看出這種訓練方式的實現(xiàn)結(jié)果的夏普比率和最大回撤率都是在較大程度上好于基準的,且具有較高的交易勝率。表 5:兩種訓練方式結(jié)果對比夏普比率年化收益率總收益率最大回撤勝率交易次數(shù)數(shù)據(jù)劃分模式0.520.17
31、24110.04640.38000.7443基準0.280.100263.98180.4670窗長窗移模式0.610.1990127.08860.24590.6040基準0.280.100263.98180.4670資料來源:研究所2.4.3.窗長窗移滾動訓練模式分析窗長窗移滾動訓練模式的實現(xiàn)過程是第 1-30 天的數(shù)據(jù)用來訓練,第 31 天的數(shù)據(jù)用來測試,然后將 2-31 天數(shù)據(jù)用來訓練,第 32 天數(shù)據(jù)用來測試,以此類推。這里通過對模型預(yù)測性能的調(diào)節(jié),我們將模型訓練過程中的訓練批次確定為 17。從表 5 可以看出,這種訓練方式可以獲得較高的夏普比率,較低的最大回撤率,較高的收益率和交易勝率。圖 5:數(shù)據(jù)劃分訓練模式累計收益圖 6:窗長窗移訓練模式累計收益資料來源:研究所資料來源:研究所圖 7:數(shù)據(jù)劃分訓練模式累計超額收益率圖 8:窗長窗移訓練模式累計超額收益率資料來源:研究所資料來源:研究所擇時策略討論神經(jīng)網(wǎng)絡(luò)通過對人腦工作機制的模擬,以神經(jīng)元之間權(quán)重連接的方式逐層建立起網(wǎng)絡(luò)架構(gòu),并且每個神經(jīng)元都有偏置項和激活函數(shù)對數(shù)據(jù)信息進行非線性化變換,這使得運用神經(jīng)網(wǎng)絡(luò)對股票價格建模能夠克服金
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025-2030年中國光學儀器行業(yè)商業(yè)模式創(chuàng)新戰(zhàn)略制定與實施研究報告
- 2025-2030年中國幼小銜接教育行業(yè)商業(yè)模式創(chuàng)新戰(zhàn)略制定與實施研究報告
- 2025-2030年中國旅游行業(yè)并購重組擴張戰(zhàn)略制定與實施研究報告
- 2025-2030年中國休閑餐飲行業(yè)全國市場開拓戰(zhàn)略制定與實施研究報告
- 2025-2030年中國知識密集型服務(wù)行業(yè)營銷創(chuàng)新戰(zhàn)略制定與實施研究報告
- 2025-2030年中國鉭電容器行業(yè)全國市場開拓戰(zhàn)略制定與實施研究報告
- 新形勢下智能門鎖行業(yè)轉(zhuǎn)型升級戰(zhàn)略制定與實施研究報告
- 德州黑陶品牌推廣調(diào)研
- 單位辦公室2025年工作要點
- 護肝藥品知識培訓課件
- 梁平法制圖規(guī)則及鋼筋翻樣講解
- 乙肝 丙肝培訓課件
- 2024屆湖北省武漢實驗外國語學校數(shù)學七上期末統(tǒng)考模擬試題含解析
- 基于深度學習的網(wǎng)絡(luò)釣魚郵件識別技術(shù)研究
- 融資成本視角下的船舶融資租賃模式研究
- 感冒中醫(yī)理論知識課件
- 2023年希望杯數(shù)學培訓100題-六年級(含答案)
- 一年級科學人教版總結(jié)回顧2
- 個人住房貸款提前還款月供及節(jié)省利息EXCEL計算
- 第五單元《圓》教材解析-人教版數(shù)學六年級上冊
- 患者突發(fā)昏迷應(yīng)急預(yù)案演練腳本-
評論
0/150
提交評論