學(xué)界縱橫系列之七：含交叉注意力機(jī)制的趨勢預(yù)測模型

請務(wù)必閱讀正文之后的免責(zé)條款部分含交叉注意力機(jī)制的趨勢預(yù)測模型——學(xué)界縱橫系列之七金融工程深度核心觀點(diǎn)本文解析了Wood,K.等人關(guān)于時序趨勢預(yù)測模型的最新研究成果，通過構(gòu)造上下文集并引入交叉注意力機(jī)制來優(yōu)化時序趨勢預(yù)測模型，比傳統(tǒng)趨勢追蹤策略和深度動量網(wǎng)相關(guān)報(bào)告絡(luò)模型有更高的風(fēng)險(xiǎn)調(diào)整收益，并且在市場波動期間回撤修復(fù)的速度更快。要點(diǎn)一預(yù)測模型如何快速適應(yīng)市場條件變化一直是量化交易領(lǐng)域的難題。傳統(tǒng)的深度學(xué)習(xí)模型對于表示學(xué)習(xí)通常依賴于大型靜態(tài)數(shù)據(jù)集，而市場的非平穩(wěn)性可能導(dǎo)致這些模型的性能下降。X-Trend策略模型是利用交叉注意力機(jī)制優(yōu)化的時序趨勢預(yù)測模型。它利用小樣本學(xué)習(xí)和變點(diǎn)檢測技術(shù)以適應(yīng)新的市場環(huán)境?；販y結(jié)果表明，X-Trend在2020-2021公共衛(wèi)生事件期間出現(xiàn)回撤的恢復(fù)速度是同類型趨勢策略的兩倍左右。在2018年至2023年期間，相較于基線模型，夏普比率提高了18.9%；與傳統(tǒng)時序動量策略相比，夏普比率提高了約10倍。要點(diǎn)二X-Trend模型優(yōu)勢來源于交叉注意力機(jī)制，它可以將目標(biāo)序列和從上下文集中的相似模式相關(guān)聯(lián)，從而提高預(yù)測勝率。甚至在樣本或計(jì)算資源缺乏的零次學(xué)習(xí)場景下，X-Trend模型相較于深度動量網(wǎng)絡(luò)基線模型和傳統(tǒng)趨勢追蹤策略在風(fēng)險(xiǎn)收益比上均有優(yōu)勢。同時，X-Trend模型在訓(xùn)練過程中可以使用靈活的目標(biāo)函數(shù)，不論是極大似然估計(jì)還是分位數(shù)回歸，均有超越基準(zhǔn)的收益表現(xiàn)。要點(diǎn)三使用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建系統(tǒng)性交易策略，考慮到實(shí)際樣本數(shù)量限制、以及市場行情快速變化帶來的樣本差別較大，是典型的小樣本學(xué)習(xí)場景。X-Trend模型是金融領(lǐng)域小樣本學(xué)習(xí)的成功案例。構(gòu)造上下文集，并引入交叉注意力機(jī)制，能夠?qū)砥渌Y產(chǎn)或歷史市場行情中相似模式的信息，應(yīng)用到不同資產(chǎn)或新的市場環(huán)境中，從而提高策略模型的勝率。經(jīng)過訓(xùn)練，X-Trend模型參數(shù)中包含了市場通用模式或規(guī)則（regime）的豐富信息。風(fēng)險(xiǎn)提示本報(bào)告中包含公開發(fā)表的文獻(xiàn)整理的模型結(jié)果，涉及的收益指標(biāo)等結(jié)果的解釋性請參考原始文獻(xiàn)?；販y結(jié)果是基于歷史數(shù)據(jù)的統(tǒng)計(jì)歸納，模型力求跟蹤市場規(guī)律和趨勢，但仍存失效可能，不構(gòu)成投資建議，須謹(jǐn)慎使用。金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分正文目錄 41.1金融市場通用模式的假設(shè) 41.2時序動量模型的演變 41.3小樣本學(xué)習(xí) 5 6 63.1X-Trend模型設(shè)計(jì) 73.1.1序列表征與基線模型 73.1.2由“上下文語境”衍生的環(huán)境構(gòu)建 83.1.3交叉注意力機(jī)制的實(shí)現(xiàn) 83.1.4解碼器與損失函數(shù)的設(shè)計(jì) 93.2實(shí)戰(zhàn)效果 93.2.1Few-shot實(shí)驗(yàn) 103.2.2Zero-shot實(shí)驗(yàn) 113.2.3模型可解釋性分析 12 124.1原文結(jié)論 124.2我們的思考 13 13 13請務(wù)必閱讀正文之后的免責(zé)條款部分圖1：MomentumTransformer結(jié)構(gòu)及深度動量網(wǎng)絡(luò)的回測表現(xiàn) 5圖2：Encoder-decoder結(jié)構(gòu)及信息傳導(dǎo)示意圖 6圖3：目標(biāo)序列中的信息如何影響上下文集 8圖4：Encoder-decoder結(jié)構(gòu)及信息傳導(dǎo)示意圖 9圖5：小樣本情景下各策略的累計(jì)收益對比（2013/01-2023/01） 10圖6：小樣本情景下策略的最大回撤對比（2018/01-2023/01） 10圖7：零次學(xué)習(xí)情景下各策略收益對比（1995/01-2023/01） 11圖8：零次學(xué)習(xí)情景下策略最大回撤對比（2018/01-2023/01） 11圖9：Encoder-decoder結(jié)構(gòu)及信息傳導(dǎo)示意圖 12表1：小樣本情景下策略模型收益表現(xiàn)對比 10表2：零次學(xué)習(xí)情景下策略模型收益表現(xiàn)對比 11請務(wù)必閱讀正文之后的免責(zé)條款部分預(yù)測模型如何快速適應(yīng)市場條件變化一直是量化交易領(lǐng)域的難題。傳統(tǒng)的深度學(xué)習(xí)模型對于表示學(xué)習(xí)通常依賴于大型靜態(tài)數(shù)據(jù)集，而市場的非平穩(wěn)性可能導(dǎo)致這些模型的性能Wood,K.等人設(shè)計(jì)了一種含交叉注意力的時序趨勢預(yù)測模型，通過將輸入與市場環(huán)境變化的時間和幅度等指標(biāo)相結(jié)合來判斷市場所處的狀態(tài)，同時利用交叉注意力來模擬不同資產(chǎn)和不同市場條件下的趨勢，增強(qiáng)了預(yù)測模型的性能，提高了策略的風(fēng)險(xiǎn)收益比。本文將詳細(xì)分析這一時序趨勢預(yù)測模型，1.1金融市場通用模式的假設(shè)通用模式（UniversalPattern）是一個跨學(xué)科的概念。Wood,K認(rèn)為，在金融時間序列分析和趨勢預(yù)測的背景下，通用模式或市場的潛在規(guī)則，指在多個市場、不同時段、多種資產(chǎn)中普遍存在的、可識別的行為模式或趨勢，其內(nèi)容包含：趨勢跟隨：價(jià)格在一段時間內(nèi)上升或下降的趨勢，在多種資產(chǎn)和市場中都可能出現(xiàn)。均值回歸：價(jià)格在偏離長期平均水平后往往會回歸到平均水平的現(xiàn)象。季節(jié)性模式：某些金融資產(chǎn)的價(jià)格或成交量會隨季節(jié)變化而呈規(guī)律性波動，例如農(nóng)產(chǎn)品價(jià)格受季節(jié)性因素影響。市場情緒：投資者情緒可能導(dǎo)致市場出現(xiàn)過度反應(yīng)或羊群行為。波動率聚集：價(jià)格波動往往會在高波動期后跟隨著高波動期，或在低波動期后跟隨著低波動期，在多個市場中均有體現(xiàn)。本文將要分析的時序趨勢預(yù)測模型正是基于以上金融市場存在通用模式或潛在規(guī)則的假設(shè)。Wood,K.將這種模式或規(guī)則稱為“regime”。在假設(shè)模式存在的基礎(chǔ)上，投資者可以通過模型來識別和利用這些通用模式或規(guī)則，從而在新的、未出現(xiàn)過的市場條件下進(jìn)行有效的預(yù)測和交易決策，提高策略在不同市場環(huán)境下的泛化能力。傳統(tǒng)時序動量策略受限于交易擁擠表現(xiàn)下滑時序動量策略由來已久，又被稱為趨勢追蹤策略。在管理期貨策略（CTA）及投資組合管理中，趨勢追蹤是策略的主要構(gòu)成部分?；A(chǔ)形式是根據(jù)過去一段時間的收益率來判斷是否持有或賣出資產(chǎn)，在此基礎(chǔ)上也有不少投資者使用調(diào)整后的技術(shù)指標(biāo)代替收益率作為動量的判斷依據(jù)，如MACD或EWMA。盡管趨勢追蹤在歷史上長期有效，但在市場環(huán)境發(fā)生明顯變化時，動量策略會出現(xiàn)明顯回撤，這種現(xiàn)象又被稱為“動量崩潰”。在對傳統(tǒng)時間序列動量（TSMOM，Moskowitz，2012）模型的研究中，Wood發(fā)現(xiàn)其風(fēng)險(xiǎn)調(diào)整收益在2018年至2023年的時期較1995年至2000年的時期下降了80%以上。這一現(xiàn)象與“因子擁擠”（Baltas，2019）概念有關(guān)，即套利者在相似因子上交易相同的資產(chǎn)，導(dǎo)致市場效率下降和流動性驅(qū)動的尾部事件風(fēng)險(xiǎn)增加（Brown，2022）。金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分深度動量網(wǎng)絡(luò)的發(fā)展和演變在應(yīng)用動量模型時，我們經(jīng)常會觀察到不同的趨勢和均值反轉(zhuǎn)，可將其視為在多個時間尺度上同時出現(xiàn)的短期趨勢集合。在此基礎(chǔ)上，市場規(guī)則的變化更加大了多種交易信號融合的難度。深度動量網(wǎng)絡(luò)（DMN）應(yīng)運(yùn)而生，引入深度神經(jīng)網(wǎng)絡(luò)來提升時序動量模型的風(fēng)險(xiǎn)調(diào)整收益。Wood,K等人在2020-2021年先后發(fā)表了3篇文獻(xiàn)，將深度神經(jīng)網(wǎng)絡(luò)用于動量與反轉(zhuǎn)策略的優(yōu)化，其所設(shè)計(jì)的深度動量網(wǎng)絡(luò)如圖1所示。在Transformer基礎(chǔ)上，結(jié)合了變點(diǎn)檢測（CPD）來調(diào)整策略，在期貨市場超越了常規(guī)的Transformer及其衍生模型。在深度學(xué)習(xí)領(lǐng)域中，樣本是否被認(rèn)為是一個小樣本，與樣本數(shù)量、特征維度、以及類別區(qū)分度有關(guān)。樣本數(shù)量較少，或相較于特征維度D樣本數(shù)量小于logD，或是某類別與其他類別之間區(qū)分度較大，均可視為小樣本學(xué)習(xí)的場景。小樣本和數(shù)據(jù)不平衡是共生問題并且普遍存在。深度學(xué)習(xí)中的小樣本學(xué)習(xí)為快速適應(yīng)新數(shù)據(jù)提供了可能性，在計(jì)算機(jī)視覺領(lǐng)域已取得明顯突破。在應(yīng)用過程中，小樣本學(xué)習(xí)通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來適應(yīng)從最少的數(shù)據(jù)中學(xué)習(xí)。訓(xùn)練后的模型在未出現(xiàn)的圖像類別上進(jìn)行測試，或是解決不可見的強(qiáng)化學(xué)習(xí)環(huán)境，這對于系統(tǒng)性的交易策略研發(fā)有重要意義。將快速變化的市場規(guī)則作為系統(tǒng)性策略探索的外部環(huán)境，來學(xué)習(xí)資產(chǎn)價(jià)格變動的趨勢。請務(wù)必閱讀正文之后的免責(zé)條款部分2核心結(jié)論本文介紹了Wood,K.等人提出的名為CrossAttentiveTime-SeriesTrendNetwork（簡稱X-Trend）的新型時序預(yù)測模型，用于構(gòu)造系統(tǒng)性交易策略。該模型旨在解決傳統(tǒng)預(yù)測模型難以快速適應(yīng)金融市場條件變化的問題。X-Trend通過在包含金融時間序列市場環(huán)境的上下文集上執(zhí)行位置關(guān)注，從而在不同市場環(huán)境之間傳輸相似模式的趨勢。具體而言，它能夠快速適應(yīng)新的金融市場環(huán)境，相對于傳統(tǒng)的神經(jīng)預(yù)測模型，夏普比率提高了18.9%。X-Trend在2018年至2023年的市場波動期間表現(xiàn)出色，相較于傳統(tǒng)的時間序列動量策略，其性能提高了10倍。尤其值得注意的是，X-Trend在2020至2021年世界公共衛(wèi)生事件期間，其回撤期恢復(fù)的速度是神經(jīng)網(wǎng)絡(luò)預(yù)測模型的兩倍。此外，X-Trend還展現(xiàn)了在零次學(xué)習(xí)（zero-shot）情境下對新穎的、未包含在訓(xùn)練集中的金融資產(chǎn)進(jìn)行倉位管理的能力。在相同時期，X-Trend均優(yōu)于基線模型，特別是在2018至2023年期間，X-Trend的平均年化夏普比率相較于基準(zhǔn)提高了2倍以上。X-Trend不僅可以預(yù)測隔夜價(jià)格，還能夠生成交易信號。其交叉注意力機(jī)制使研究人員能夠解釋預(yù)測結(jié)果與上下文集中模式之間的關(guān)系。同時，通過輔助輸出步驟輸出預(yù)測，揭示了最優(yōu)交易信號與預(yù)測收益率之間的關(guān)系。X-Trend模型為交易策略的倉位管理提供了一種創(chuàng)新、可靠的方法?？傮w而言，X-Trend通過引入交叉注意力機(jī)制并利用上下文集中的信息，成功地提高了時序預(yù)測模型在金融市場中的適應(yīng)性和風(fēng)險(xiǎn)收益性價(jià)比。時序預(yù)測模型X-Trend的組成單元和工作原理如圖2所示。金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分X-Trend的工作原理可以概括為：任一資產(chǎn)的輸入特征會經(jīng)過相同的變點(diǎn)檢測算法分為不同環(huán)境對應(yīng)的區(qū)間，從每一種資產(chǎn)中進(jìn)行隨機(jī)抽樣構(gòu)造上下文集，并通過交叉注意力機(jī)制進(jìn)行計(jì)算，結(jié)合未來的趨勢變化優(yōu)化對上下文集的信息提取，輸出未來收益的概率分布，根據(jù)收益概率分布生成目標(biāo)倉位。策略模型學(xué)習(xí)過程中，參數(shù)更新通過同時優(yōu)化夏普比率損失和對數(shù)似然函數(shù)來實(shí)現(xiàn)。3.1.1序列表征與基線模型如何將金融資產(chǎn)的時序特征轉(zhuǎn)化為高維數(shù)據(jù)特征，便于策略模型進(jìn)行學(xué)習(xí)？X-Trend模型借鑒了自然語言處理領(lǐng)域中的“文本概括”解決方案，即，將過去一段時間每一時刻/交易日的特征按時間順序逐一“合并”，將時間維度包含的信息壓縮在長數(shù)值向量中。特征向量構(gòu)造特征向量包含兩部分信息，價(jià)格趨勢和資產(chǎn)類別。在任一時刻單個資產(chǎn)的特征是由收益率（1天，1個月，3個月，6個月，1年）和MACD指標(biāo)拼接而成的向量。其中，收益率需要根據(jù)回看時長進(jìn)行調(diào)整：其中回看時長為t′，σt(i)是資產(chǎn)i在t時刻的波動率，T)t′,t是資產(chǎn)i在過去t′時間區(qū)間此外還要將資產(chǎn)類別信息作為附帶信息（sideinformation）計(jì)入表征向量。不同大類資產(chǎn)的行情特征有明顯的區(qū)別，例如原油期貨和5年期國債，在同一時期的價(jià)格趨勢大概率截然不同。因此，模型將這一類別信息通過映射學(xué)習(xí)轉(zhuǎn)化為一個嵌入向量，和價(jià)格特征變量選擇網(wǎng)絡(luò)（VSN）變量選擇網(wǎng)絡(luò)的作用是依據(jù)資產(chǎn)類別，權(quán)衡不同的滯后歸一化回報(bào)和MACD特征。其工作原理如下：編碼解碼構(gòu)造Wood使用前期研究中的深度動量網(wǎng)絡(luò)（Wood,K.2021）作為基線模型，該模型只有解碼器結(jié)構(gòu)。而X-Trend模型則同時使用了編碼器和解碼器，并且在解碼之前使用了交叉注意力機(jī)制。模型中對時間序列的表征計(jì)算過程如下：金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分3.1.2由“上下文語境”衍生的環(huán)境構(gòu)建判斷出環(huán)境所處的狀態(tài)，能更好地將特征和預(yù)測目標(biāo)中的因果關(guān)系進(jìn)行提取。在回測過程中，Wood認(rèn)為有3種不同方法來構(gòu)建上下文集，其原理如圖3所示。方法一：最終隱藏狀態(tài)和固定長度的隨機(jī)序列（Finalhiddenstate在時間和資產(chǎn)上隨機(jī)采樣固定長度的隨機(jī)序列，并在這些序列的最終隱藏狀態(tài)為條件進(jìn)行總結(jié)。方法二：等時隱藏狀態(tài)（Timeequivalent隨機(jī)采樣與目標(biāo)序列相同長度的隨機(jī)上下文序列。對于目標(biāo)序列中的每個時間步，根據(jù)等時隱藏狀態(tài)進(jìn)行條件，即第k個目標(biāo)步驟與第k個上下文步驟相對應(yīng)。這允許模型通過在目標(biāo)序列的每個時間步上的不同表示進(jìn)行調(diào)節(jié)來融合額外的相鄰規(guī)則。方法三：變點(diǎn)檢測分段表示（CPDsegmented使用高斯過程變點(diǎn)檢測算法將上下文集合分割成不同的模式。隨機(jī)采樣變點(diǎn)分割序列，并以這些變點(diǎn)時間序列段的最終隱藏狀態(tài)上為條件來構(gòu)建上下文集環(huán)境。3.1.3交叉注意力機(jī)制的實(shí)現(xiàn)結(jié)合上下文集環(huán)境，X-Trend使用了目標(biāo)序列和上下文序列之間的交叉注意機(jī)制。這使得模型可以在不同時間和不同模式（regime）之間關(guān)注來自不同資產(chǎn)的不同序列，通過賦權(quán)實(shí)現(xiàn)。其基本原理是，與同一資產(chǎn)的近期歷史相比，上下文集環(huán)境中包含了更廣泛的信息（近期歷史，長期歷史，以及時列演變信息）。在交叉注意力機(jī)制中，每個序列都被編碼為一組查詢（Query）、鍵（Key）和值可以參考圖4。請務(wù)必閱讀正文之后的免責(zé)條款部分3.1.4解碼器與損失函數(shù)的設(shè)計(jì)X-Trend的解碼器結(jié)構(gòu)及交叉注意力的計(jì)算方法如圖4所示。上圖中，除了常見的前饋神經(jīng)網(wǎng)絡(luò)（FFN）、長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）、注意力機(jī)制等，還包含功能性網(wǎng)絡(luò)，即變量選擇網(wǎng)絡(luò)（VariableSelectionNetwork，VSN）。目標(biāo)函數(shù)的設(shè)計(jì)有3種選擇：（1）夏普比率，與深度動量網(wǎng)絡(luò)（Wood,K.2021）種的設(shè)置一致：（2）極大似然估計(jì)：（3）分位數(shù)回歸：在測試X-Trend的表現(xiàn)時，Wood,K.等人使用了PinnacleDataCorpCLC數(shù)據(jù)庫中的50個流動性最好、最常見的連續(xù)期貨合約作為投資組合，包含1990年至2023年初的歷史數(shù)據(jù)。具體實(shí)驗(yàn)所使用的合約數(shù)會隨著回測的需要進(jìn)行調(diào)整。金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分訓(xùn)練和測試：采用了擴(kuò)展窗口方法，初始訓(xùn)練集為T年至T+5年的數(shù)據(jù)，然后進(jìn)行外樣本測試，接著將訓(xùn)練窗口擴(kuò)展至T年至T+10年進(jìn)行再次測試，以此類推。樣本外測試區(qū)間始終為緊跟訓(xùn)練集之后的5年。情景測試：針對2020年至2022年這段時間也進(jìn)行了單獨(dú)回測，因?yàn)檫@段時間的行情狀態(tài)與訓(xùn)練集中的情況明顯不同，其中2020-2021期間的公共衛(wèi)生事件影響不可忽視?；販y實(shí)驗(yàn)包括零次學(xué)習(xí)實(shí)驗(yàn)（zero-shotsetting）、少量學(xué)習(xí)實(shí)驗(yàn)（few-shotsetting）、模塊消融實(shí)驗(yàn)，以及可解釋性分析。在進(jìn)行模型比較時，使用夏普比率計(jì)算目標(biāo)函數(shù)的模型是X-Trend的基礎(chǔ)形式，使用高斯極大似然估計(jì)的模型記為X-Trend-G，使用分位數(shù)回歸作為目標(biāo)函數(shù)的模型記為X-Trend-Q。3.2.1Few-shot實(shí)驗(yàn)小樣本學(xué)習(xí)場景中使用了樣本池內(nèi)全部50種連續(xù)期貨合約進(jìn)行回測。整體上，深度動量網(wǎng)絡(luò)相較于使用傳統(tǒng)趨勢追蹤策略有明顯優(yōu)勢，并且X-Trend及其衍生模型相對于基準(zhǔn)策略（Wood,K.2021）的收益也有所提升。///請務(wù)必閱讀正文之后的免責(zé)條款部分我們特別關(guān)注了2018年至2023年這段時間區(qū)間內(nèi)的策略表現(xiàn)，因?yàn)樗憩F(xiàn)出顯著的行情波動、前所未見的市場動態(tài)和許多制度性變化，包括2018至2019年的牛市，2020至2021年的全球公共衛(wèi)生事件，以及2022年的俄烏沖突。由圖6可知，X-Trend模型在這5年的期間的最大回撤明顯小于基準(zhǔn)，同時回撤修復(fù)的速度也更快。結(jié)合表1，X-Trend模型相較于基線策略的夏普比率提高了16.9%，且使用分位數(shù)回歸的X-Trend-Q夏普比率高于基準(zhǔn)18.9%。交叉注意力機(jī)制是改善風(fēng)險(xiǎn)調(diào)整回報(bào)的主要推動因素。我們觀察到X-Trend-Q和X-Trend勝過X-Trend-G，這表明模型能夠?qū)W習(xí)并受益于更復(fù)雜的回報(bào)分布，而不是一成不變的高斯回報(bào)分布。這可能是因?yàn)樵诜祷胤植嫉淖螅ê陀遥┪膊康姆治粩?shù)上執(zhí)行分位數(shù)回歸強(qiáng)制模型專注于大幅波動。3.2.2Zero-shot實(shí)驗(yàn)零樣本學(xué)習(xí)情景下，測試所涉及的資產(chǎn)及其特征序列是策略模型訓(xùn)練時未曾學(xué)習(xí)過的。因此回測設(shè)置上述50種期貨合約中的30種合約的歷史數(shù)據(jù)作為訓(xùn)練集，另外20種期貨合約進(jìn)行樣本外回測。與小樣本學(xué)習(xí)情景不同，在該設(shè)置下，聯(lián)合損失函數(shù)成為結(jié)果改進(jìn)的主要驅(qū)動因素。///金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分對比小樣本學(xué)習(xí)情景，零次學(xué)習(xí)情景下，盡管模型優(yōu)于傳統(tǒng)趨勢策略，但其收益表現(xiàn)出現(xiàn)明顯下滑，尤其是在2008年之后，甚至部分策略模型在2018年之后持續(xù)處于虧損狀態(tài)。這表明不同期貨合約之間的趨勢行情逐漸分化，表現(xiàn)出不同的周期和特征，因此零次學(xué)習(xí)得到的模型泛化效果較差。同時，也因?yàn)檫@種樣本分布上的差別，使用高斯分布的極大似然估計(jì)作為目標(biāo)函數(shù)得到的X-Trend-G模型表現(xiàn)最優(yōu)。3.2.3模型可解釋性分析交叉注意力機(jī)制是否能讓策略模型準(zhǔn)確找到與環(huán)境狀態(tài)（regime）關(guān)聯(lián)的特征？為回答這一問題，Wood對交叉注意力權(quán)重進(jìn)行了可視化，選取了俄烏沖突期間3個不同的時間點(diǎn)（上行趨勢開始，下行趨勢開始，趨勢反轉(zhuǎn)）的天然氣期貨歷史數(shù)據(jù)來進(jìn)行說明，如圖9所示。上下文集序列的篩選是通過變點(diǎn)檢測（3.1.2方法三）實(shí)現(xiàn)的。交叉注意力的計(jì)算結(jié)果表明，策略在2022年3月天然氣期貨行情啟動時，將標(biāo)的資產(chǎn)與2018年11月的豆油期貨（ZL）行情、1994年12月的稻谷期貨（ZR）行情、以及2008年的法國CAC40指數(shù)（CA）相關(guān)聯(lián)從而做出決策，并且模型所搜索到的這些關(guān)聯(lián)序列在歷史上也符合價(jià)格上漲趨勢開始這一特點(diǎn)。X-Trend在天然氣期貨2022年6月（左圖綠色標(biāo)識）和2022年7月（左圖紫色標(biāo)識）時點(diǎn)也構(gòu)建了對應(yīng)的上下文集，并分別做出了下跌起始和趨勢反轉(zhuǎn)的判斷。因此，實(shí)驗(yàn)結(jié)果表明，交叉注意力機(jī)制能夠?qū)碜陨舷挛募蓄愃颇Ｊ降男畔?，?yīng)用到不同資產(chǎn)或新的市場環(huán)境中。4.1原文結(jié)論X-Trend策略模型是利用交叉注意力機(jī)制優(yōu)化的時序趨勢預(yù)測模型。它利用小樣本學(xué)習(xí)和變點(diǎn)檢測技術(shù)以適應(yīng)新的市場環(huán)境。回測結(jié)果表明，X-Trend在2020-2021全球公共衛(wèi)生事件期間出現(xiàn)回撤的恢復(fù)速度是同類型趨勢策略的兩倍左右。在2018年至2023年期間，相較于基線模型，夏普比率提高了18.9%；與傳統(tǒng)時序動量策略相比，夏普比率提高金融工程深度請務(wù)必閱讀正文之后的免責(zé)條款部分X-Trend模型優(yōu)勢來源于交叉注意力機(jī)制，它可以將目標(biāo)序列和從上下文集中的相似模式相關(guān)聯(lián)，從而提高預(yù)測勝率。甚至在樣本或計(jì)算資源缺乏的零次學(xué)習(xí)場景下，X-Trend模型相較于深度動量網(wǎng)絡(luò)基線模型和傳統(tǒng)趨勢追蹤策略在風(fēng)險(xiǎn)收益比上均有優(yōu)勢。未來的研究方向是將這一框架應(yīng)用于加密貨幣等新興資產(chǎn)類別。1.使用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建系統(tǒng)性交易策略，考慮到實(shí)際樣本數(shù)量限制、以及市場行情快速變化帶來的樣本差別較大，是典型的小樣本學(xué)習(xí)場景。2.零次學(xué)習(xí)場景下，難以把握不同資產(chǎn)或不同時期的樣本分布，因此使用高斯分布極大似然估計(jì)的效果反而更好。3.構(gòu)造上下文集，并引入交叉注意力機(jī)制，是改善策略風(fēng)險(xiǎn)調(diào)整回報(bào)的主要推動因素，能夠?qū)碜陨舷挛募蓄愃颇Ｊ降男畔ⅲ瑧?yīng)用到不同資產(chǎn)或新的市場環(huán)境中，從而提高策略模型的勝率。4.交叉注意力機(jī)制對于策略輸入端的啟發(fā)：可以檢測全市場不同類別資產(chǎn)，找到關(guān)聯(lián)的歷史信息或模式來優(yōu)化策略；也可以在資產(chǎn)自身時序上使用自注意力機(jī)制來強(qiáng)化特征。本報(bào)告中包含公開發(fā)表的文獻(xiàn)整理的模型結(jié)果，涉及的收益指標(biāo)等結(jié)果的解釋性請參考原始文獻(xiàn)?；販y結(jié)果是基于歷史數(shù)據(jù)的統(tǒng)計(jì)歸納，模型力求跟蹤市場規(guī)律和趨勢，但仍存失效可能，不構(gòu)成投資建議，須謹(jǐn)慎使用。[1]TobiasJMoskowitz,YaoHuaOoi,andLasseHejePedersen.Timeseriesmomentum.Journaloffinancialeconomics,104(2):228–250,2012.[2]NickBaltas.Theimpactofcrowdinginalternativeriskpremiainvesting.FinancialAnalystsJournal,75(3):89–104,2019.[3]GregoryWBrown,PhilipHoward,andChristianTLundblad.Crowdedtradesandtailrisk.TheReviewofFinancialStudies,35(7):3231–3271,2022.[4]KieranWood,SvenGiegerich,StephenRoberts,andStefanZohren.Tradingwiththemomentumtransformer:Anintelligentandinterpretablearchitecture.arXiv:2112.08534,2021.[5]GeraldWoo,ChenghaoLiu,DoyenSahoo,AkshatKumar,andStevenHoi.Deeptime:Deeptime-indexmetalearningfornon-stationarytime-seriesforecasting.arXiv:2207.06046,2022.[6]TomLiu,StephenRoberts,andStefanZohren.Deepinceptionnetworks:Ageneralend-to-endframeworkformulti-assetquantitativestrategies.arXiv:2307.05522,2023.請務(wù)必閱讀正文之后的免責(zé)條款部分股票投資評級說明以報(bào)告日后的6個月內(nèi)，證券相對于滬深300指數(shù)的漲跌幅為標(biāo)準(zhǔn)，定義如下：1.買入：相對于滬深300指數(shù)表現(xiàn)＋20％以上；2.增持：相對于滬深300指數(shù)表現(xiàn)＋1020%;3.中性：相對于滬深300指數(shù)表現(xiàn)－1010％之間波動；4.減持：相對于滬深300指數(shù)表現(xiàn)－10％以下。行業(yè)的投資評