金工深度研究：Attention is indeed all you need

證券研究報(bào)告證券研究報(bào)告金工Attentionisindeedallyouneed李子鈺+(86)7552398研究員SACNo.S0570519110003SFCNo.BRV743PhDhekang@+(86)212897李子鈺+(86)7552398研究員SACNo.S0570519110003SFCNo.BRV743PhDhekang@+(86)2128972039研究員SACNo.S0570520080004SFCNo.BRB318研究員 林曉明SACNo.S0570516010001 linxiaoming@SFCNo.BPY421 +(86)7558208人工智能系列之69：注意力機(jī)制應(yīng)用于量化選股多類(lèi)場(chǎng)景選股各類(lèi)場(chǎng)景的運(yùn)用。分別測(cè)試：(1)任務(wù)間注意力：提取多任務(wù)學(xué)習(xí)中的學(xué)習(xí)截面因子的股票間關(guān)Transformer(1)任務(wù)間注意力提升穩(wěn)定；(2)股票間注意力提升主要體現(xiàn)在因子多頭；(3)Transformer時(shí)序注意力提升主要體現(xiàn)在合成因子及放寬組合優(yōu)化約束情景。注意力機(jī)制在多數(shù)場(chǎng)景有效，Attentionisindeedallyouneed。自注意力：權(quán)重再分配表征數(shù)據(jù)內(nèi)部關(guān)系涉及權(quán)重分配和關(guān)系信息表征，都有可能引入注意力結(jié)構(gòu)，萬(wàn)物皆可Attention任務(wù)間注意力勝在穩(wěn)定；股票間注意力的提升體現(xiàn)在合成因子多頭MLPTransformer編碼器，利用注意RankIC子任務(wù)集成上觀察到優(yōu)勢(shì)。時(shí)序注意力：TransformerALSTM，放寬組合優(yōu)化約束后提升明顯因子時(shí)間序列通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)編碼，將LSTM替換為ALSTM和Transformer，引入時(shí)序注意力編碼時(shí)序信息。對(duì)比單任務(wù)學(xué)習(xí)基線和兩類(lèi)ALSTM

分析師名錄累計(jì)RankIC：集成模型-累計(jì)RankIC：集成模型-基線模型累計(jì)加權(quán)RankIC：集成模型-基線模型4.03.53.02.52.01.51.00.52011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04資料來(lái)源：朝陽(yáng)永續(xù)，，多類(lèi)注意力集成與基線指增超額凈值TransformerTransformer年化超額收益率的提升，TransformerLSTMALSTM。模型集成：時(shí)序注意力提供較多增量信息，集成是“免費(fèi)的午餐”將基線模型和三類(lèi)注意力模型的預(yù)測(cè)值等權(quán)集成。觀察與基線模型相關(guān)性，任務(wù)間注意力>股票間注意力>RankIC

800%2011-01-042012-01-042011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04

30%右軸）右軸）右軸） 20%15%10%5%0%-5%-10%-15%RankIC25.8%28.6%，17.2%18.2%2.79提升至0vwap因素影響。

注：回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500資料來(lái)源：朝陽(yáng)永續(xù)正文目錄導(dǎo)言 4注意力在因子選股中的多種表現(xiàn)形式 5注意力系數(shù)：歸一化相似度 5自注意力：權(quán)重再分配表征數(shù)據(jù)內(nèi)部關(guān)系 5多頭自注意力：多組參數(shù)衡量相似度 6場(chǎng)景一：任務(wù)間注意力 7場(chǎng)景二：股票間注意力 7圖注意力網(wǎng)絡(luò) 7Transformer 7時(shí)序注意力 9方法 10結(jié)果 12任務(wù)間注意力和股票間注意力 12合成因子和指增組合指標(biāo) 13合成因子組相對(duì)凈值 13指數(shù)增強(qiáng)組合超額凈值 14時(shí)序注意力 15原始組合優(yōu)化約束條件 15放寬組合優(yōu)化約束條件 17多類(lèi)注意力集成 18總結(jié) 20參考文獻(xiàn) 21風(fēng)險(xiǎn)提示 21圖表目錄圖表1：Self-Attention示意圖 5圖表2：Multi-HeadAttention示意圖 6圖表3：多任務(wù)學(xué)習(xí)（左）和任務(wù)間注意力（右）網(wǎng)絡(luò)結(jié)構(gòu)示意圖 7圖表4：截面因子Transformer網(wǎng)絡(luò)結(jié)構(gòu)示意圖 8圖表5：因子時(shí)間序列LSTM（左）和ALSTM（右）網(wǎng)絡(luò)結(jié)構(gòu)示意圖 9圖表6：因子時(shí)間序列Transformer網(wǎng)絡(luò)結(jié)構(gòu)示意圖 9圖表7：主要測(cè)試模型和相關(guān)參數(shù) 10圖表8：選股模型構(gòu)建方法 10圖表9：選股模型使用的42個(gè)因子 圖表10：任務(wù)間注意力和股票間注意力合成因子評(píng)價(jià)指標(biāo)（回測(cè)期2011-01-04至2023-07-31） 12圖表11：任務(wù)間注意力和股票間注意力指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）....................................................................................................................................................................................12圖表12：任務(wù)間注意力和股票間注意力RankIC均值 13圖表13：任務(wù)間注意力和股票間注意力多頭加權(quán)RankIC均值 13圖表14：任務(wù)間注意力和股票間注意力信息比率 13圖表15：任務(wù)間注意力和股票間注意力超額收益Calmar比率 13圖表16：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)組相對(duì)凈值 13圖表17：任務(wù)間注意力和股票間注意力20日預(yù)測(cè)組相對(duì)凈值 13圖表18：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)與20日預(yù)測(cè)集成組相對(duì)凈值 14圖表19：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)組合超額凈值 14圖表20：任務(wù)間注意力和股票間注意力20日預(yù)測(cè)組合超額凈值 14圖表21：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)與20日預(yù)測(cè)集成組合超額凈值 14圖表22：時(shí)序注意力合成因子評(píng)價(jià)指標(biāo)（回測(cè)期2011-01-04至2023-07-31） 15圖表23：原始約束條件下，時(shí)序注意力指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）....................................................................................................................................................................................15圖表24：放寬約束條件下，時(shí)序注意力指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）....................................................................................................................................................................................15圖表25：原始約束條件下，時(shí)序注意力合成因子評(píng)價(jià)指標(biāo) 15圖表26：原始約束條件下，時(shí)序注意力指增組合回測(cè)指標(biāo) 16圖表27：時(shí)序注意力組相對(duì)凈值 16圖表28：原始約束條件下，時(shí)序注意力組合超額凈值 16圖表29：放寬組合優(yōu)化約束條件 17圖表30：放寬約束條件下，時(shí)序注意力指增組合回測(cè)指標(biāo) 17圖表31：放寬約束條件下，時(shí)序注意力組合超額凈值 17圖表32：子模型截面預(yù)測(cè)值相關(guān)系數(shù)均值 18圖表33：指增組合日超額收益相關(guān)系數(shù) 18圖表34：集成模型合成因子評(píng)價(jià)指標(biāo)（回測(cè)期2011-01-04至2023-07-31） 18圖表35：集成模型指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500） 18圖表36：集成模型與基線模型累計(jì)RankIC差值 19圖表37：集成模型超額收益表現(xiàn)（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500） 19導(dǎo)言注意力（Attention）是近年來(lái)人工智能領(lǐng)域影響深遠(yuǎn)的創(chuàng)新之一。以自注意力為基礎(chǔ)的TransformerGPTCNN在計(jì)算機(jī)視覺(jué)的統(tǒng)治地位。注意力為何能在各領(lǐng)域?qū)崿F(xiàn)模型性能上的提升？注意力的本質(zhì)是權(quán)重分配，模擬人類(lèi)視覺(jué)原理，使得網(wǎng)絡(luò)加工信息時(shí)關(guān)注重要部分，忽略次要部分，實(shí)現(xiàn)更準(zhǔn)確的信息提取。自注意力（Self-Attention）是使用較廣泛的注意力實(shí)現(xiàn)形式。自注意力通過(guò)計(jì)算輸入信息中各元素間的相似度作為權(quán)重，將其他元素的信息聚合到自身元素。自注意力使得模型在處理單個(gè)元素時(shí)，同時(shí)考慮全局信息。這里“元素”的定義取決于具體場(chǎng)景：(1)自然語(yǔ)言處理中，元素可以是單個(gè)樣本語(yǔ)句中的不同單詞；(2)圖像處理中，元素可以是單個(gè)樣本圖片中的不同像素；(3)(4)多任務(wù)學(xué)習(xí)Attention量化投資實(shí)踐中，注意力的使用卻并未如其他領(lǐng)域那么普遍。業(yè)內(nèi)當(dāng)前對(duì)注意力的應(yīng)用主要集中在：(1)ALSTM、AGRU、Transformer等結(jié)構(gòu)對(duì)時(shí)間序列進(jìn)行編碼，如華泰金（-5-()使用圖注意力網(wǎng)（2022-04-11）等。注意力作為一種基礎(chǔ)運(yùn)算，可以靈活運(yùn)用于神經(jīng)網(wǎng)絡(luò)的各環(huán)節(jié)，遠(yuǎn)不限于上述兩點(diǎn)，值得深入挖掘。本文探索注意力機(jī)制在量化選股中的應(yīng)用，測(cè)試(1多任務(wù)學(xué)習(xí)引入任務(wù)間注意力，()ransfomer()TM和rasfomer編碼因子時(shí)間序列。結(jié)果表明：(1)任務(wù)間注意力提升全面且穩(wěn)定；(2)Transformer有一定提升，主要體現(xiàn)ALSTMLSTMtetionsineedalouneed。注意力在因子選股中的多種表現(xiàn)形式本章首先簡(jiǎn)要回顧注意力的基礎(chǔ)概念，隨后介紹注意力在因子選股場(chǎng)景中的不同表現(xiàn)形式：任務(wù)間注意力、股票間注意力、時(shí)序注意力。注意力系數(shù)：歸一化相似度注意力系數(shù)的本質(zhì)是兩個(gè)向量的歸一化相似度。如果ijijj分配適當(dāng)權(quán)重。兩個(gè)向量hi、hj的相似度可以表示為：??????=??(???,???)相似度函數(shù)s的定義較靈活，常用以下幾種形式：1. 加性：s(??????)=??tanh(?????+?????)，vW、U為可學(xué)習(xí)的參數(shù)；2. 乘性：s(??????)=????????，W為可學(xué)習(xí)的參數(shù)；??3. 點(diǎn)積：s(??????)=??????；?????)=?? ??4. 縮放點(diǎn)積：s(????)=?? ??√???隨后，參考向量hi與所有向量的相似度，對(duì)hi與hj的相似度eij進(jìn)行歸一化，得到hi與hj的注意力系數(shù)αij：exp(??????)??????=????????????????(??????)=∑exp(??)?? ????自注意力：權(quán)重再分配表征數(shù)據(jù)內(nèi)部關(guān)系理解注意力機(jī)制的經(jīng)典場(chǎng)景是信息檢索問(wèn)題。Q代表查詢(xún)（Query）序列，K、V分別代表是待搜索的商品名稱(chēng)，K是全部商品名稱(chēng)，VqKkiviq的注意力：??????????????????(??,(??,??))=∑ exp(??(??,????))??∑??exp(??(??,????))

????圖表1：Self-Attention示意圖資料來(lái)源：Key、KeyX的自注意力計(jì)算步驟如下：Xxi，分別乘以WQWKWVQi、Ki、Vi。WQWKWVQ、K、V。對(duì)于X的每個(gè)元素ii和其他元素如j的注意力系數(shù)j

這里以點(diǎn)積為例注意力系數(shù)αij為權(quán)重，對(duì)所有元素（含自身）的值Vj加權(quán)求和得到xi的注意力，視作xi的新值：exp(??????????)??????=∑exp(??????)?? ??????????????????????(????,??,??)=∑????????????將上述過(guò)程寫(xiě)成矩陣形式，實(shí)現(xiàn)并行計(jì)算；QKTdk的平方根使方差歸一化：????????????????????????(??,??,??)=??????????????()??√????在自然語(yǔ)言處理場(chǎng)景下，通常是一條文本內(nèi)的各單詞；而在因子選股場(chǎng)景下，既可以是一條時(shí)間序列內(nèi)的各時(shí)刻，又可以是一個(gè)截面內(nèi)的各股票，還可以是一組網(wǎng)絡(luò)內(nèi)的各模塊。多頭自注意力：多組參數(shù)衡量相似度上述自注意力計(jì)算過(guò)程，使用同一套自由參數(shù)WQWKWV，相當(dāng)于單一的相似度測(cè)度，因此稱(chēng)單頭注意力（nl-HeadAttnton。實(shí)際上，相似度可以有多種測(cè)度，使用多組自由參數(shù)計(jì)算注意力的過(guò)程稱(chēng)多頭注意力（Mt-Headttention具體而言，對(duì)于xi，設(shè)置h組不同的參數(shù)(????、????、????)、(????、????、????)、…、(????、1 1 1 2 2 2 ?????????)V的維度kdv至原來(lái)的（也稱(chēng)為d）? ?進(jìn)行拼接，并乘上參數(shù)矩陣W0，得到最終的注意力：????????????????????????????????????(??,??,??)=????????????(???????1,???????2,…,????????)??0多頭自注意力的輸出維數(shù)相比單頭自注意力沒(méi)有改變，復(fù)雜度更高，邏輯上也更合理，例如衡量股票相似度可以從基本面角度，也可以從技術(shù)面角度，理應(yīng)設(shè)置多頭注意力。圖表2：Multi-HeadAttention示意圖資料來(lái)源：場(chǎng)景一：任務(wù)間注意力67：AI（2023-08-06）中，我MLP1020日收益率的排序。多任務(wù)學(xué)習(xí)機(jī)制采用傳統(tǒng)硬參數(shù)共享方式，任務(wù)共享層后直接連接任務(wù)特異層，兩項(xiàng)子任務(wù)由獨(dú)立的任務(wù)特異層學(xué)習(xí)，不考慮任務(wù)間關(guān)系。然而，任務(wù)間關(guān)系信息可能有助于下游任務(wù)。10日收益率預(yù)測(cè)學(xué)習(xí)到的表征，可能對(duì)20日收益率預(yù)測(cè)有意義，反之亦然。我們參考Ma&Tan(2022)，向原多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)引入任務(wù)間注意力模塊。任務(wù)共享層的輸出，依次通過(guò)特征全連接層、拼接操作、任務(wù)全連此處采用縮放點(diǎn)積注意力特異層。圖表3：多任務(wù)學(xué)習(xí)（左）和任務(wù)間注意力（右）網(wǎng)絡(luò)結(jié)構(gòu)示意圖資料來(lái)源：場(chǎng)景二：股票間注意力圖注意力網(wǎng)絡(luò)傳統(tǒng)因子選股模型將股票視作獨(dú)立樣本，然而股票未來(lái)收益率不僅與股票自身有關(guān)，也受到股票間相互關(guān)系的驅(qū)動(dòng)。圖注意力網(wǎng)絡(luò)（GraphAttentionNetworks，GAT）使用股票間自注意力模塊Qlib（--5（--58（2022-07-07）展示圖注意力網(wǎng)絡(luò)的多種應(yīng)用方法，本文不再贅述。Transformer除了圖注意力網(wǎng)絡(luò)外，另一種通過(guò)注意力機(jī)制學(xué)習(xí)股票間關(guān)系信息的方式是Transformer。此處應(yīng)用Transformer的難點(diǎn)在于數(shù)據(jù)維度的處理，以下展開(kāi)介紹。Transformer模型接收的是序列形式的數(shù)據(jù)，輸入神經(jīng)網(wǎng)絡(luò)張量的形狀可以表示為（seuncelengt,btchsie,moeldmeson，其中seuncelegth代表序列長(zhǎng)度，即每個(gè)序列中的元素?cái)?shù)量；batchsize代表批量大小，即每次輸入神經(jīng)網(wǎng)絡(luò)的序列個(gè)數(shù)；modeldimension代表特征維度，即序列中每個(gè)元素包含的特征數(shù)。傳統(tǒng)自然語(yǔ)言處理任務(wù)中，sequencelength對(duì)應(yīng)輸入句子的長(zhǎng)度，batchsize對(duì)應(yīng)單次輸入神經(jīng)網(wǎng)絡(luò)的句子數(shù)量，modeldimensionsequencelengthTransformer作為序列維度，從而提取出該維度上每個(gè)元素對(duì)于其他元素的注意力特征。這里我們以單（即單個(gè)交易日所有股票的因子數(shù)據(jù)作為一個(gè)樣本，sequencelength對(duì)應(yīng)該時(shí)間點(diǎn)的股票數(shù)量，modeldimension對(duì)應(yīng)因子數(shù)量，該方法提取的是股票間注意力。sequencelengthbatch時(shí)需要對(duì)較短的樣本進(jìn)行補(bǔ)齊，并在后續(xù)訓(xùn)練時(shí)將補(bǔ)齊處的數(shù)據(jù)用填充掩碼（paddingmask）Transformer中的位置編碼，這是因Transformer標(biāo)準(zhǔn)的縮放點(diǎn)積注意力。本文引入股票間注意力的方法是將多任務(wù)學(xué)習(xí)的任務(wù)共享層由MLP改為T(mén)ransformer。TransformerTransformerTransformer編碼器由多頭注意LayerNormFeed-Forward（核心是兩個(gè)全連接層LayerNorm層依次組成。圖表4：截面因子Transformer網(wǎng)絡(luò)結(jié)構(gòu)示意圖資料來(lái)源：時(shí)序注意力若輸入數(shù)據(jù)為因子的時(shí)間序列，常用的網(wǎng)絡(luò)結(jié)構(gòu)是(1)循環(huán)神經(jīng)網(wǎng)絡(luò)，(2)包含時(shí)序注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)如LTGRU(rasfomrLT（ttntioalLTM）Transformer模型，提取因子日頻時(shí)間序列中的時(shí)序關(guān)系信息。AGRU（AttentionalGRU）模型。ALSTMLSTM層的最后一層隱狀態(tài)時(shí)間序列后（此處采用加性注意力LSTM刻的隱狀態(tài)拼接，送至輸出層。圖表5：因子時(shí)間序列LSTM（左）和ALSTM（右）網(wǎng)絡(luò)結(jié)構(gòu)示意圖資料來(lái)源：rafomerseunceengthatchsiemoeldimension維度對(duì)應(yīng)因子。Transformer包含位置編碼（PositionalEncoding）和兩個(gè)標(biāo)準(zhǔn)Transformer編碼器，其中每個(gè)Transformer編碼器由多頭注意力層、LayerNorm層、Feed-Forward層（核心是兩個(gè)全連接層、LayerNorm層依次組成。注意力的定義采用Transformer標(biāo)準(zhǔn)的縮放點(diǎn)積注意力。圖表6：因子時(shí)間序列Transformer網(wǎng)絡(luò)結(jié)構(gòu)示意圖資料來(lái)源：方法500主要測(cè)試模型和相關(guān)參數(shù)、構(gòu)建方法、因子定義如下列表格所示。網(wǎng)絡(luò)結(jié)構(gòu)請(qǐng)見(jiàn)前一章圖表。圖表7：主要測(cè)試模型和相關(guān)參數(shù)注意力類(lèi)型 主體模型 注意力實(shí)現(xiàn)方式 其他參數(shù)任務(wù)間注意力MLP+多任務(wù)學(xué)習(xí) 增加多頭縮放點(diǎn)積自注意力層 MLP:dim_hidden=256;batch_size=1(tradingday);Self-Attention:num_heads=4;股票間注意力MLP+多任務(wù)學(xué)習(xí) 增加Transformer編碼器模塊，含多頭縮放點(diǎn)積自注意力層時(shí)序注意力 LSTM+單任務(wù)學(xué)習(xí)增加單頭加性自注意力層（ALSTM）或增加Transformer編碼器模塊資料來(lái)源：

MLP:dim_hidden=256;batch_size=32(tradingdays);Transformer:num_blocks=2;num_heads=2;dim_feedforward=64;dropout=0.1;seq_len取每個(gè)batch內(nèi)各截面股票數(shù)量的最大值;LSTM:dim_hidden=64,num_layers=2;batch_size=1024(stocks)ALSTM:num_heads=1;Transformer:num_blocks=2;num_heads=2;dim_feedforward=256;dropout=0.1;圖表8：選股模型構(gòu)建方法步驟 參數(shù) 參數(shù)值構(gòu)建股票池股票池 全A股；剔除上市未滿(mǎn)63個(gè)交易日個(gè)股，剔除ST、*ST、退市期個(gè)股；每個(gè)季末截面期，在未停牌個(gè)股中，篩選過(guò)去1年日均成交額和日均總市值均排名前60%個(gè)股構(gòu)建數(shù)據(jù)集特征 因子截面數(shù)據(jù)：T日42個(gè)基本面和量?jī)r(jià)因子因子時(shí)序數(shù)據(jù)：T-20日至T日42個(gè)基本面和量?jī)r(jià)因子標(biāo)簽 單任務(wù)學(xué)習(xí)：T+11日相對(duì)于T+1日收盤(pán)價(jià)收益多任務(wù)學(xué)習(xí)：T+11T+1日收盤(pán)價(jià)收益率T+21T+1日收盤(pán)價(jià)收益率因子預(yù)處理特征標(biāo)簽5倍MAD縮尾；zscore標(biāo)準(zhǔn)化；缺失值填為0；不做中性化剔除缺失值；截面排序數(shù)標(biāo)準(zhǔn)化訓(xùn)練流程測(cè)試集完整區(qū)間20110104~20230731訓(xùn)練、驗(yàn)證、測(cè)試集劃分訓(xùn)練集252*6個(gè)交易日，驗(yàn)證集252*2個(gè)交易日，測(cè)試集126個(gè)交易日；如第1期訓(xùn)練集20020910~20081205，驗(yàn)證集20081208~20101231，測(cè)試集20110104~20110711；第2期訓(xùn)練集20030325~20090616，驗(yàn)證集20090617~20110711，測(cè)試集20110712~20120113特殊處理剔除訓(xùn)練集、驗(yàn)證集最后10或20個(gè)交易日樣本，防止信息泄露損失函數(shù)batch學(xué)習(xí)率優(yōu)化器早停次數(shù)隨機(jī)數(shù)種子點(diǎn)加權(quán)mse（根據(jù)收益率衰減加權(quán)）每個(gè)交易日的全體股票視作一個(gè)batch0.0001adam205組求均值構(gòu)建組合基準(zhǔn)中證500指數(shù)優(yōu)化目標(biāo)(1)10(2)20(3)（等權(quán)均值）分別構(gòu)建組合組合倉(cāng)位1個(gè)股權(quán)重下限0個(gè)股偏離權(quán)重約束[-1%,1%]行業(yè)偏離權(quán)重約束[-1%,1%]風(fēng)格偏離標(biāo)準(zhǔn)差約束[-1%,1%]風(fēng)格因子對(duì)數(shù)流通市值（預(yù)處理：5倍MAD縮尾，zscore標(biāo)準(zhǔn)化）調(diào)倉(cāng)周期每5個(gè)交易日單次調(diào)倉(cāng)單邊換手率上限15%成分股權(quán)重約束無(wú)回測(cè)單邊費(fèi)率交易價(jià)格特殊處理0.002vwap停牌不買(mǎi)入/賣(mài)出；一字板漲停不買(mǎi)入；一字板跌停不賣(mài)出；其余股票重新分配權(quán)重資料來(lái)源：圖表9：選股模型使用的42個(gè)因子類(lèi)別 名稱(chēng) 計(jì)算方式估值bp_lfep_ttmocfp_ttmdyr121/市凈率1/市盈率(TTM)1/凈經(jīng)營(yíng)性現(xiàn)金流(TTM)近252日股息率預(yù)期con_eps_gcon_roe_gcon_np_g一致預(yù)期EPS(FY1)近63日增長(zhǎng)率一致預(yù)期ROE(FY1)近63日增長(zhǎng)率一致預(yù)期歸母凈利潤(rùn)(FY1)近63日增長(zhǎng)率反轉(zhuǎn)ret_5dret_1mexp_wgt_return_3m近5日區(qū)間收益率近21日區(qū)間收益率近63日收益率以換手率指數(shù)衰減加權(quán)波動(dòng)率std_1mvstd_1mivr_ff3factor_1m21日標(biāo)準(zhǔn)差21日標(biāo)準(zhǔn)差殘差收益率（收益率對(duì)萬(wàn)得全A、市值、BP因子收益率回歸）近21日標(biāo)準(zhǔn)差換手率turn_1mstd_turn_1mbias_turn_1m換手率近21日均值換手率近21日標(biāo)準(zhǔn)差換手率近21日均值/近504日均值日間技術(shù)std_ret_10dstd_vol_10dstd_turn_10dcorr_ret_closecorr_ret_opencorr_ret_highcorr_ret_lowcorr_ret_vwapcorr_ret_volcorr_ret_turncorr_vol_closecorr_vol_opencorr_vol_highcorr_vol_lowcorr_vol_vwap10日標(biāo)準(zhǔn)差10日標(biāo)準(zhǔn)差10日標(biāo)準(zhǔn)差10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)收益率和均價(jià)近10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)10日相關(guān)系數(shù)成交量和均價(jià)近10日相關(guān)系數(shù)日內(nèi)技術(shù)low2highvwap2closekmidklenkmid2kupkup2klowklow2ksftksft2low/highvwap/close(close-open)/open(high-low)/open(close-open)/(high-low)(high-greater(open,close))/open(high-greater(open,close))/(high-low)(less(open,close)-low)/open(less(open,close)-low)/(high-low)(2*close-high-low)/open(2*close-high-low)/(high-low)資料來(lái)源：朝陽(yáng)永續(xù)，，結(jié)果任務(wù)間注意力和股票間注意力對(duì)比多任務(wù)學(xué)習(xí)基線、任務(wù)間注意力和股票間注意力模型，主要結(jié)論如下：RankICRankICIR、組合年化1020日收益預(yù)測(cè)以及兩者等權(quán)集成上。RankICRankICIR20日1020日預(yù)測(cè)等權(quán)集成的組合回測(cè)績(jī)效有提升?？偟目矗蝿?wù)間注意力的提升勝在穩(wěn)定；股票間注意力的提升突出體現(xiàn)在合成因子多頭。圖表10：任務(wù)間注意力和股票間注意力合成因子評(píng)價(jià)指標(biāo)（回測(cè)期2011-01-04至2023-07-31）IC

加權(quán) 加權(quán)Top組精Bottom組精Top組年化Bottom組年化多空對(duì)沖年化

基準(zhǔn)收值 均值 均

均值ICIRRankICIR

ICIRRankICIR

確率 收益

收益率

收益率 益率10日預(yù)測(cè)多任務(wù)學(xué)習(xí)基線9.3%11.2%7.8%9.7%0.881.030.750.9156.2%60.6%26.0%-31.5%28.7%6.4%任務(wù)間注意力9.3%11.2%7.7%10.2%0.881.030.740.9456.1%60.5%25.8%-31.5%28.7%6.4%股票間注意力9.2%11.4%7.8%10.5%0.840.990.730.9256.4%60.4%27.1%-30.1%28.6%6.4%20日預(yù)測(cè)多任務(wù)學(xué)習(xí)基線9.1%11.4%7.4%9.7%0.821.000.670.8756.4%60.6%25.3%-31.3%28.3%6.4%任務(wù)間注意力9.1%11.3%7.4%10.2%0.820.990.670.9056.4%60.6%25.3%-31.4%28.3%6.4%股票間注意力9.1%11.5%7.5%10.4%0.800.970.670.8956.7%60.5%26.6%-30.5%28.5%6.4%10日預(yù)測(cè)與20日預(yù)測(cè)集成多任務(wù)學(xué)習(xí)基線9.3%11.4%7.6%9.7%0.851.020.710.9056.3% 25.8%-31.6%28.7%6.4%任務(wù)間注意力 9.2%11.3%7.6%10.2%0.851.010.700.9256.3% 25.7%-31.6%28.7%6.4%股票間注意力 9.2%11.5%7.7%10.5%0.820.980.700.9156.6% 26.9%-30.6%28.7%6.4%注：IC使用10日收益率計(jì)算資料來(lái)源：朝陽(yáng)永續(xù)圖表11：任務(wù)間注意力和股票間注意力指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）年化超額

超額收益

相對(duì)基準(zhǔn)年化雙邊年化收益率年化波動(dòng)率夏普比率最大回撤Calmar比率

收益率10

誤差信息比率

Calmar

月勝率

換手率任務(wù)間注意力股票間注意力任務(wù)間注意力股票間注意力

18.82% 26.03% 0.72 49.18% 0.381.621.701.841.621.701.849.26%10.18%9.66%2.676.38%6.38%6.19%17.00%15.66%17.32%17.44% 26.07% 0.67 47.64% 0.373.263.822.483.263.822.486.72%4.56%5.22%2.786.01%5.99%5.97%16.69%17.01%17.40%19.36% 25.50% 0.76 46.34% 0.4218.89% 25.77% 0.73 44.91% 0.42

2.532.532.7120日預(yù)測(cè)2.852.852.91

78.15% 16.1378.81% 16.1676.82% 16.1282.12% 16.1680.79% 16.1676.82% 16.0710日預(yù)測(cè)與20日預(yù)測(cè)集成多任務(wù)學(xué)習(xí)基線19.11%25.67%0.7447.18%0.4117.19%6.17%2.798.85%1.9479.47% 任務(wù)間注意力19.29%26.00%0.7448.40%0.4017.47%6.22%2.817.97%2.1978.15% 股票間注意力19.20%25.83%0.7445.48%0.4217.33%6.04%2.875.89%2.9480.13% 資料來(lái)源：朝陽(yáng)永續(xù)合成因子和指增組合指標(biāo)圖表12：任務(wù)間注意力和股票間注意力RankIC均值 圖表13：任務(wù)間注意力和股票間注意力多加權(quán)RankIC均值11.6%11.5%11.4%11.3%11.2%11.1%

多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力RankIC均值多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力

多頭加權(quán)RankIC多頭加權(quán)RankIC均值多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力10.4%10.2%10.0%9.8%9.6%9.4%11.0%

10日預(yù)測(cè)

20日預(yù)測(cè)

10日預(yù)測(cè)與20日預(yù)測(cè)集成

9.2%

10日預(yù)測(cè)

20日預(yù)測(cè)

10日預(yù)測(cè)與20日預(yù)測(cè)集成資料來(lái)源：朝陽(yáng)永續(xù)，， 資料來(lái)源：朝陽(yáng)永續(xù)，，圖表14：任務(wù)間注意力和股票間注意力信比率 圖表15：任務(wù)間注意力和股票間注意力超收益Calmar比率3.0

信息比率

超額收益Calmar超額收益Calmar比率多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力2.9 3.5多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力2.8 3.02.7 2.52.6 2.02.5 1.52.4

10日預(yù)測(cè)

20日預(yù)測(cè)

10日預(yù)測(cè)與20日預(yù)測(cè)集成

1.0

10日預(yù)測(cè)

20日預(yù)測(cè)

10日預(yù)測(cè)與20日預(yù)測(cè)集成資料來(lái)源：朝陽(yáng)永續(xù)，， 資料來(lái)源：朝陽(yáng)永續(xù)，，合成因子Top組相對(duì)凈值圖表16：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)Top組相對(duì)凈值 圖表17：任務(wù)間注意力和股票間注意力20日預(yù)測(cè)Top組相對(duì)凈值20日預(yù)測(cè)多任務(wù)學(xué)習(xí)基線 任務(wù)間注意20日預(yù)測(cè)多任務(wù)學(xué)習(xí)基線 任務(wù)間注意股票間注意力多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 1414 股票間注意力12 12108642 2011-01-042012-01-042013-01-042014-01-0402011-01-042012-01-042013-01-042014-01-04

1086422021-01-042022-01-042023-01-042011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-0402021-01-042022-01-042023-01-042011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04資料來(lái)源：朝陽(yáng)永續(xù)，， 資料來(lái)源：朝陽(yáng)永續(xù)，，圖表18：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)與20日預(yù)測(cè)集成Top組相對(duì)凈值10日預(yù)測(cè)與20日預(yù)測(cè)集成多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力 股票間注意力14121086422011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-0402011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04資料來(lái)源：朝陽(yáng)永續(xù)，，指數(shù)增強(qiáng)組合超額凈值圖表19：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)組合超額凈值 圖表20：任務(wù)間注意力和股票間注意力20日預(yù)測(cè)組合超額凈值10日預(yù)測(cè)10日預(yù)測(cè)多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力股票間注意力2011-01-04-100%2011-01-04

700%20日預(yù)測(cè)20日預(yù)測(cè) 多任務(wù)學(xué)習(xí)基線 任務(wù)間注意力股票間注意力500%300%200%100%2011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04-100%2011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04資料來(lái)源：朝陽(yáng)永續(xù)，， 資料來(lái)源：朝陽(yáng)永續(xù)，，圖表21：任務(wù)間注意力和股票間注意力10日預(yù)測(cè)與20日預(yù)測(cè)集成組合超額凈值10日預(yù)測(cè)與10日預(yù)測(cè)與20日預(yù)測(cè)集成多任務(wù)學(xué)習(xí)基線 任務(wù)間注意股票間注意力600%500%400%300%200%100%0%2011-01-042011-07-042011-01-042011-07-042012-01-042012-07-042013-01-042013-07-042014-01-042014-07-042015-01-042015-07-042016-01-042016-07-042017-01-042017-07-042018-01-042018-07-042019-01-042019-07-042020-01-042020-07-042021-01-042021-07-042022-01-042022-07-042023-01-042023-07-04資料來(lái)源：朝陽(yáng)永續(xù)，，時(shí)序注意力對(duì)比單任務(wù)學(xué)習(xí)基線、ALSTM和Transformer模型，主要結(jié)論如下：以因子日頻時(shí)間序列代替截面因子作為輸入，合成因子測(cè)試表現(xiàn)有顯著提升。即便是LSTM基線模型，RankIC均值、Top組年化收益率就已高于前文多任務(wù)學(xué)習(xí)基線模型（1.0%1.%；27.2%26.%ALSTM接近，TransformerRankIC組Transformer在應(yīng)用注意力機(jī)制編碼時(shí)間序列信息上有顯著優(yōu)勢(shì)。LSTMTransformerapa信息。放寬組合優(yōu)化約束條件后，指增組合的信息比率下降，但年化超額收益率提升，并且Transformer優(yōu)于LSTM和ALSTM。。圖表22（2011-01-042023-07-31）加權(quán)

Bottom

多空對(duì)沖RankIC

加權(quán)ICRankIC

加權(quán) 加權(quán)Top組精Bottom組Top組年

年化收益

基準(zhǔn)收IC均值均值均值均值ICIRRankICIRICIRRankICIR確率精確率收益率率率益率LSTM（單任務(wù)學(xué)習(xí)基線）9.6%12.0%7.9%10.8%0.891.080.730.9757.1%60.9%27.2%-33.2%30.2%6.4%ALSTM9.6%12.0%7.9%10.8%0.901.090.740.9957.1%60.7%27.3%-32.4%29.9%6.4%Transformer9.9%12.3%8.3%11.2%0.941.120.791.0357.4%61.0%29.0%-33.5%31.2%6.4%注：IC使用10日收益率計(jì)算資料來(lái)源：朝陽(yáng)永續(xù)圖表23：原始約束條件下，時(shí)序注意力指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）年化收益率年化波動(dòng)率夏普比率最大回撤Calmar比率年化超額收益率年化跟蹤誤差信息比率超額收益最大回撤超額收益Calmar比率相對(duì)基準(zhǔn)月勝率年化雙邊換手率LSTM（單任務(wù)學(xué)習(xí)基線）19.67%25.67%0.7747.22%0.4217.79%5.51%3.237.50%2.3778.81%16.40ALSTM18.13%25.74%0.7048.49%0.3716.29%5.53%2.959.18%1.7878.15%16.36Transformer19.64%25.98%0.7649.25%0.4017.83%5.81%3.079.13%1.9577.48%16.34資料來(lái)源：朝陽(yáng)永續(xù)圖表24：放寬約束條件下，時(shí)序注意力指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）年化收益率年化波動(dòng)率夏普比率最大回撤Calmar比率年化超額收益率年化跟蹤誤差信息比率超額收益最大回撤超額收益Calmar比率相對(duì)基準(zhǔn)月勝率年化雙邊換手率LSTM（單任務(wù)學(xué)習(xí)基線）20.82%26.17%0.8045.55%0.4618.97%6.92%2.7411.83%1.6078.81%21.10ALSTM20.51%26.07%0.7947.53%0.4318.64%6.77%2.7512.67%1.4776.16%21.13Transformer21.99%26.38%0.8347.54%0.4620.16%7.22%2.799.82%2.0578.15%21.08資料來(lái)源：朝陽(yáng)永續(xù)原始組合優(yōu)化約束條件圖表25LSTM（單任務(wù)學(xué)習(xí)基線）

LSTM（單任務(wù)學(xué)習(xí)基線）12.4%12.3%12.2%12.0%11.9%

30%ALSTMTransformerALSTMALSTMTransformerALSTMTransformer28%27%26%11.8%

RankIC

25%

Top組年化收益率資料來(lái)源：朝陽(yáng)永續(xù)，，圖表26：原始約束條件下，時(shí)序注意力指增組合回測(cè)指標(biāo)18.0%

LSTM（單任務(wù)學(xué)習(xí)基線

ALSTMTransformerALSTMTransformer

LSTM（單任務(wù)學(xué)習(xí)基線）ALSTMTransformer17.5% ALSTMTransformer17.0% 3.116.5% 3.016.0% 2.915.5%

2.8

信息比率資料來(lái)源：朝陽(yáng)永續(xù)，，圖表27：時(shí)序注意力Top組相對(duì)凈值10日預(yù)測(cè)LSTM（單任務(wù)學(xué)習(xí)基線） ALSTM Transformer181614121086422011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-0402011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04資料來(lái)源：朝陽(yáng)永續(xù)，，圖表28：原始約束條件下，時(shí)序注意力組合超額凈值 LSTM LSTM（單任務(wù)學(xué)習(xí)基線）ALSTMTransformer700%600%500%400%300%200%100%0%2011-01-042011-07-042011-01-042011-07-042012-01-042012-07-042013-01-042013-07-042014-01-042014-07-042015-01-042015-07-042016-01-042016-07-042017-01-042017-07-042018-01-042018-07-042019-01-042019-07-042020-01-042020-07-042021-01-042021-07-042022-01-042022-07-042023-01-042023-07-04資料來(lái)源：朝陽(yáng)永續(xù)，，放寬組合優(yōu)化約束條件將個(gè)股偏離權(quán)重約束、行業(yè)偏離權(quán)重約束從±1%放寬至±2%，風(fēng)格偏離標(biāo)準(zhǔn)差約束從±1%放寬至±20%，單次調(diào)倉(cāng)單邊換手率上限從15%放寬至20%。圖表29：放寬組合優(yōu)化約束條件步驟參數(shù)參數(shù)值構(gòu)建組合基準(zhǔn)中證500指數(shù)優(yōu)化目標(biāo)最大化預(yù)期收益組合倉(cāng)位1個(gè)股權(quán)重下限0個(gè)股偏離權(quán)重約束[-2%,2%]行業(yè)偏離權(quán)重約束[-2%,2%]風(fēng)格因子調(diào)倉(cāng)周期[-20%,20%]對(duì)數(shù)流通市值（預(yù)處理：5倍MAD縮尾，zscore標(biāo)準(zhǔn)化）每5個(gè)交易日單次調(diào)倉(cāng)單邊換手率上限20%成分股權(quán)重約束無(wú)資料來(lái)源：華泰研究圖表30：放寬約束條件下，時(shí)序注意力指增組合回測(cè)指標(biāo)

LSTM（單任務(wù)學(xué)習(xí)基線

ALSTMTransformer原始約束ALSTMTransformer原始約束放寬約束年化超額收益率

LSTM（單任務(wù)學(xué)習(xí)基線）ALSTMTransformerALSTMTransformer原始約束放寬約束信息比率資料來(lái)源：朝陽(yáng)永續(xù)，，圖表31：放寬約束條件下，時(shí)序注意力組合超額凈值10日預(yù)測(cè) LSTM LSTM（單任務(wù)學(xué)習(xí)基線）TransformerALSTM（放寬約束） ALSTMLSTM（放寬約束）Transformer（放寬約束）2011-01-042011-07-042011-01-042011-07-042012-01-042012-07-042013-01-042013-07-042014-01-042014-07-042015-01-042015-07-042016-01-042016-07-042017-01-042017-07-042018-01-042018-07-042019-01-042019-07-042020-01-042020-07-042021-01-042021-07-042022-01-042022-07-042023-01-042023-07-04資料來(lái)源：朝陽(yáng)永續(xù)，，多類(lèi)注意力集成將多任務(wù)學(xué)習(xí)基線、任務(wù)間注意力、股票間注意力、時(shí)序注意力四類(lèi)模型的預(yù)測(cè)值等權(quán)集（其中前三項(xiàng)取10日預(yù)測(cè)與20Transformer模型10日預(yù)測(cè)?？疾熳幽Ｐ徒孛骖A(yù)測(cè)值相關(guān)性，指增組合凈值日超額收益相關(guān)性，以及集成模型合成因子和指增組合（原始約束條件）表現(xiàn)。主要結(jié)論如下：與基線模型相關(guān)性：任務(wù)間注意力>股票間注意力>時(shí)序注意力。換言之，從增量信息的角度看，任務(wù)間關(guān)系信息<股票間關(guān)系信息<時(shí)序信息。集成模型合成因子的RankIC均值、對(duì)沖收益高于全部子模型，加權(quán)RankIC均值、RankICIR、Top組收益等指標(biāo)僅次于時(shí)序注意力模型。Calmar比率僅次于股票間注意力模型。RankIC圖表32：子模型截面預(yù)測(cè)值相關(guān)系數(shù)均值多任務(wù)學(xué)習(xí)基線任務(wù)間注意力股票間注意力時(shí)序注意力多任務(wù)學(xué)習(xí)基線10.990.910.74任務(wù)間注意力0.9910.910.74股票間注意力0.910.9110.70時(shí)序注意力0.740.740.701資料來(lái)源：朝陽(yáng)永續(xù)，Wind，華泰研究圖表33：指增組合日超額收益相關(guān)系數(shù)多任務(wù)學(xué)習(xí)基線任務(wù)間注意力股票間注意力時(shí)序注意力多任務(wù)學(xué)習(xí)基線 10.940.800.73任務(wù)間注意力 0.9410.820.73股票間注意力 0.800.8210.73時(shí)序注意力 0.730.730.731資料來(lái)源：朝陽(yáng)永續(xù)，Wind，華泰研究圖表34：集成模型合成因子評(píng)價(jià)指標(biāo)（回測(cè)期2011-01-04至2023-07-31）RankIC

IC

加權(quán) 加權(quán)Top組精Bottom組Top組年化Bottom組年

多空對(duì)沖年基準(zhǔn)收益IC均值均值均值均值ICIRRankICIRICIRRankICIR確率精確率收益率化收益率化收益率率多任務(wù)學(xué)習(xí)基線 11.4%7.6%9.7%0.851.020.710.9056.3%60.6%25.8%-31.6%28.7%6.4%任務(wù)間注意力 11.3%7.6%10.2%0.851.010.700.9256.3%60.6%25.7%-31.6%28.7%6.4%股票間注意力 11.5%7.7%10.5%0.820.980.700.9156.6%60.5%26.9%-30.6%28.7%6.4%時(shí)序注意力 12.3%8.3%11.2%0.941.120.791.0357.4%61.0%29.0%-33.5%31.2%6.4%集成模型 12.5%8.4%10.7%0.901.080.760.9557.3%61.4%28.6%-34.7%31.6%6.4%注：IC使用10日收益率計(jì)算資料來(lái)源：朝陽(yáng)永續(xù)圖表35：集成模型指增組合回測(cè)績(jī)效（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）年化收益率年化波動(dòng)率夏普比率最大回撤Calmar比率年化超額收益率年化跟蹤誤差信息比率超額收益最大回撤超額收益Calmar比率相對(duì)基準(zhǔn)月勝率年化雙邊換手率多任務(wù)學(xué)習(xí)基線19.11%25.67%0.7447.18%0.4117.19%6.17%2.798.85%1.9479.47%16.12任務(wù)間注意力19.29%26.00%0.7448.40%0.4017.47%6.22%2.817.97%2.1978.15%16.15股票間注意力19.20%25.83%0.7445.48%0.4217.33%6.04%2.875.89%2.9480.13%16.08時(shí)序注意力19.64%25.98%0.7649.25%0.4017.83%5.81%3.079.13%1.9577.48%16.34集成模型20.10%25.79%0.7847.85%0.4218.21%6.08%3.006.96%2.6279.47%16.15資料來(lái)源：朝陽(yáng)永續(xù)圖表36：集成模型與基線模型累計(jì)RankIC差值累計(jì)RankIC：集成模型-基線模型 累計(jì)加權(quán)RankIC：集成模型-基線模型3.53.02.52.01.51.00.52011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-040.02011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04資料來(lái)源：朝陽(yáng)永續(xù)圖表37：集成模型超額收益表現(xiàn)（回測(cè)期2011-01-04至2023-07-31，基準(zhǔn)為中證500）

集成模型超額收益最大回撤（右軸） 基線模型超額收益最大回撤（右軸

集成模型累計(jì)超額收益基線模型累計(jì)超額收益集成模型累計(jì)超額收益基線模型累計(jì)超額收益25%20%400% 15%200%

10%5%0% 0%-200%

-5%-10%2011-01-042011-07-042011-01-042011-07-042012-01-042012-07-042013-01-042013-07-042014-01-042014-07-042015-01-042015-07-042016-01-042016-07-042017-01-042017-07-042018-01-042018-07-042019-01-042019-07-042020-01-042020-07-042021-01-042021-07-042022-01-042022-07-042023-01-042023-07-04資料來(lái)源：朝陽(yáng)永續(xù)總結(jié)注意力機(jī)制是近年來(lái)人工智能領(lǐng)域影響深遠(yuǎn)的創(chuàng)新之一，但以往應(yīng)用于量化投資多局限在行情時(shí)間序列編碼，本研究展示多種形式的注意力機(jī)制在量化選股各類(lèi)場(chǎng)景的運(yùn)用。分別測(cè)試：(1)任務(wù)間注意力：提取多任務(wù)學(xué)習(xí)中的任務(wù)間關(guān)系信息；(2)股票間注意力：Transformer學(xué)習(xí)截面因子的股票間關(guān)系；(3)時(shí)序注意力：ALSTMTransformer編碼因(1)任務(wù)間注意力提升穩(wěn)定；(2)股票間注意力提升主要體現(xiàn)在因子allyouneed。注意力系數(shù)的本質(zhì)是兩個(gè)向量的歸一化相似度。自注意力通過(guò)計(jì)算輸入信息中各元素間的注意力系數(shù)作為權(quán)重，將其他元素的信息聚合到自身。因此，自注意力的本質(zhì)是基于相似度的權(quán)重再分配，用來(lái)表征數(shù)據(jù)內(nèi)部關(guān)系。只要涉及權(quán)重分配和關(guān)系信息表征，都有可能引入注意力結(jié)構(gòu)，萬(wàn)物皆可Attention。計(jì)算自注意力的對(duì)象，在自然語(yǔ)言處理場(chǎng)景下，通常是一條文本內(nèi)的各單詞；而在因子選股場(chǎng)景下，既可以是一條時(shí)間序列內(nèi)的各時(shí)刻，又可以是一個(gè)截面內(nèi)的各股票，還可以是一組網(wǎng)絡(luò)內(nèi)的各模塊。在多任務(wù)學(xué)習(xí)的任務(wù)共享層和任務(wù)特異層間引入多頭自注意力層，編碼任務(wù)間關(guān)系；將任MLP網(wǎng)絡(luò)替換為T(mén)ransformer對(duì)比多任務(wù)學(xué)習(xí)基線、任務(wù)間注意力和股票間注意力模型。任務(wù)間注意力模型的合成因子和指數(shù)增強(qiáng)組合回測(cè)表現(xiàn)有穩(wěn)定提升，提升同時(shí)體現(xiàn)在每個(gè)子任務(wù)以及子任務(wù)集成上。股RankIC組收益有提升，但指增組合只在部分子任務(wù)以及子任務(wù)集成上觀察到優(yōu)勢(shì)。LSTMALSTM時(shí)序注意力編碼時(shí)序信息。對(duì)比單任務(wù)學(xué)習(xí)基線和兩類(lèi)注意力模型。從合成因子評(píng)價(jià)指標(biāo)看，LSTMALSTM接近，TransformerTransformer在編碼時(shí)間序列上合成因子的優(yōu)勢(shì)難以體現(xiàn)在組合中；放寬約束條件后，以信息比率的下降為代價(jià)換取年化超額收益率的提升，TransformerLSTMALSTM。股票間注意力>RankIC均值、對(duì)沖收益高于全部子模型，指增組合年化超額收益率高于全部子模型，部分關(guān)鍵指標(biāo)僅次于時(shí)RankIC25.8%17.2%2.79提升至本研究存在以下未盡之處：(1)注意力機(jī)制的表現(xiàn)形式不局限上述三種。例如在多模態(tài)學(xué)習(xí)中同時(shí)學(xué)習(xí)截面、時(shí)間序列、文本等信息，采用注意力機(jī)制融合多個(gè)信息源。注意力機(jī)制(2)TransformerTransformer編碼器結(jié)構(gòu)，并未對(duì)超參數(shù)、位置編碼等細(xì)節(jié)進(jìn)行探索，尚有優(yōu)化空間。(3)本仍觀察到合成因子表現(xiàn)提升但指增組合未見(jiàn)提升的現(xiàn)象，本質(zhì)是指增約束條件未能體現(xiàn)在深度學(xué)習(xí)網(wǎng)絡(luò)的架構(gòu)或損失函數(shù)中，這始終是困擾我們的一個(gè)問(wèn)題。參考文獻(xiàn)Ma,T.,&Tan,Y..(2022).Stockrankingwithmulti-tasklearning.ExpertSystemswithApplication(Aug.),199.Vaswani,A.,Shazeer,N.,Parmar,N.,Uszkoreit,J.,Jones,L.,Gomez,A.N.,...&Polosukhin,I.(2017).Attentionisallyouneed.Advancesinneuralinformationprocessingsystems,30.風(fēng)險(xiǎn)提示人工智能挖掘市場(chǎng)規(guī)律是對(duì)歷史的總結(jié)，市場(chǎng)規(guī)律在未來(lái)可能失效。人工智能技術(shù)存在過(guò)擬合風(fēng)險(xiǎn)。深度學(xué)習(xí)模型受隨機(jī)數(shù)影響較大。本文測(cè)試的選股模型調(diào)倉(cāng)頻率較高，假定以vwap價(jià)格成交，忽略其他交易層面因素影響。免責(zé)聲明分析師聲明以往、現(xiàn)在或未來(lái)并無(wú)就其研究報(bào)告所提供的具體建議或所表迖的意見(jiàn)直接或間接收取任何報(bào)酬。一般聲明及披露本報(bào)告由股份有限公司（已具備中國(guó)證監(jiān)會(huì)批準(zhǔn)的證券投資咨詢(xún)業(yè)務(wù)資格，以下簡(jiǎn)稱(chēng)“本公司”）制作。本報(bào)告所載資料是僅供接收人的嚴(yán)格保密資料。本報(bào)告僅供本公司及其客戶(hù)和其關(guān)聯(lián)機(jī)構(gòu)使用。本公司不因接收人收到本報(bào)告而視其為客戶(hù)。本報(bào)告基于本公司認(rèn)為可靠的、已公開(kāi)的信息編制，但本公司及其關(guān)聯(lián)機(jī)構(gòu)(以下統(tǒng)稱(chēng)為“華泰”)對(duì)該等信息的準(zhǔn)確性及完整性不作任何保證。本公司不是FINRA的注冊(cè)會(huì)員，其研究分析師亦沒(méi)有注冊(cè)為