選股因子系列研究（八十六）：深度學(xué)習(xí)高頻因子的特征工程

金融工程研究金融工程專題報告證券研究報告必閱讀正文之后的信息披露和法律聲明相關(guān)研究《選股因子系列研究(五十六)——買賣《選股因子系列研究(五十七)——基于《選股因子系列研究(七十二)——大單細(xì)化處理與大單因子重構(gòu)》睿tongcomS850512080006青itongcomS850516050003選股因子系列研究(八十六)——深度學(xué)習(xí)近年來，高頻數(shù)據(jù)逐漸成為量化策略中一類重要的Alpha來源。除了用傳統(tǒng)的基于人工邏輯的方式構(gòu)建高頻因子外，深度學(xué)習(xí)也是一種高效、可行的高頻因子構(gòu)建方法。然而，我們在日常的路演交流中發(fā)現(xiàn)，初涉深度學(xué)習(xí)的投資者往往對深度學(xué)習(xí)高頻因子的特征工程(如，特征的構(gòu)建、處理、歸因和篩選)存在各種各樣的研究需求。因此，本文旨在通過多方面的對比測試，為廣大投資者在特征工程層面提供一定的參考。深度學(xué)習(xí)高頻因子的特征構(gòu)建。本文使用“原始數(shù)據(jù)-分鐘級基礎(chǔ)指標(biāo)-目標(biāo)頻率衍生指標(biāo)”的方式生成高頻特征。即，基于原始數(shù)據(jù)生成一系列分鐘級的基礎(chǔ)指標(biāo)，這類指標(biāo)旨在捕捉原始數(shù)據(jù)中的基本信息。因此計算往往不會過于復(fù)雜，它們將作為后續(xù)特征計算的輸入數(shù)據(jù)。得到基礎(chǔ)指標(biāo)序列后，本文先確定算子，再通過不斷變換輸入的基礎(chǔ)指標(biāo)序列生成特征。其中，算子既可以由簡單的四則混合運(yùn)算或統(tǒng)計計算衍化得到，也可以從人工邏輯因子研發(fā)經(jīng)驗中歸納總結(jié)。深度學(xué)習(xí)高頻因子的特征處理。具體包括，分布調(diào)整、極值處理和標(biāo)準(zhǔn)化?；诓▌勇省⒊山唤痤~、成交筆數(shù)和買賣單數(shù)生成的特征，通常具有較為明顯的偏度。因此，分布調(diào)整是特征處理的第一步。特征中的極值也會影響模型的訓(xùn)練效果，因此，我們采用和常規(guī)的因子極值處理類似的方法，即，N倍標(biāo)準(zhǔn)差截斷。和低頻數(shù)據(jù)類似，高頻數(shù)據(jù)同樣量綱差異巨大。因此，為減輕這個問題對模型訓(xùn)練帶來的影響，標(biāo)準(zhǔn)化也是很有必要的。深度學(xué)習(xí)高頻因子的特征歸因。常見的特征歸因模型大致有基于梯度(Gradient)和基于擾動(Perturbation)兩類。其中，基于梯度的歸因方法又稱作反向傳播歸因法，基于擾動的歸因方法又稱作前向傳播歸因法。本文選用積分梯度法進(jìn)行特征歸因，因為該方法具備完整性(Completeness)。即，所有特征歸因后的貢獻(xiàn)度之和為模型輸出與基線輸出之間的差值。通過積分梯度法歸因，我們亦可得到每一個特征的絕對貢獻(xiàn)度，進(jìn)而比較它們對預(yù)測結(jié)果的重要性。深度學(xué)習(xí)高頻因子的特征篩選。當(dāng)特征數(shù)量從176精簡至128或64后，在任何一種處理方式下，因子的IC均未出現(xiàn)下降，而年化多頭超額收益則進(jìn)一步提升。但是，如果特征數(shù)量進(jìn)一步降至32，反而有可能造成IC或多頭超額收益的下降。因此，我們認(rèn)為，和線性模型類似，深度學(xué)習(xí)模型的特征篩選同樣是有必要且有益的。它可以剔除冗余信息、縮短訓(xùn)練時間、優(yōu)化計算資源，并較為顯著地提升模型表現(xiàn)。然而，過度精簡特征也會損失有效信息，降低訓(xùn)練所得因子的選股能力，故我們需要在模型的簡約和效果之間取得平衡。深度學(xué)習(xí)高頻因子在指數(shù)增強(qiáng)組合中的應(yīng)用與對比。將深度學(xué)習(xí)高頻因子引入中偏度調(diào)整和去極值均能大概率提升年化超額收益；其次，一定程度的特征篩選(64或128特征集合)，也在絕大多數(shù)情況下，獲得了優(yōu)于原始集合的表現(xiàn)；第三，過度的特征篩選，如僅保留32個特征，則有可能損失重要信息，產(chǎn)生負(fù)面效應(yīng)。最后，單一截面和跨截面兩種標(biāo)準(zhǔn)化方式的差異較小。風(fēng)險提示。市場系統(tǒng)性風(fēng)險、資產(chǎn)流動性風(fēng)險、政策變動風(fēng)險、因子失效風(fēng)險。金融工程研究金融工程專題報告2閱讀正文之后的信息披露和法律聲明 2.深度學(xué)習(xí)高頻因子的特征構(gòu)建 53.深度學(xué)習(xí)高頻因子的特征處理 7 4.深度學(xué)習(xí)高頻因子的特征歸因 105.深度學(xué)習(xí)高頻因子的特征篩選 12 6.深度學(xué)習(xí)高頻因子在指數(shù)增強(qiáng)組合中的應(yīng)用與對比 15 金融工程研究金融工程專題報告3圖1176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益 7 偏度調(diào)整后，176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益 8圖5偏度調(diào)整&去極值后，176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益 9圖6不同標(biāo)準(zhǔn)化方式下，176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益(偏度調(diào)整)10圖7不同標(biāo)準(zhǔn)化方式下，176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益(偏度調(diào)整&去極值) 10積分梯度法歸因?qū)δＰ洼敵龅姆纸?119各特征對某股票收益預(yù)測的絕對貢獻(xiàn)度 11圖10176特征集合與動態(tài)128/64/32特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益(單一截面標(biāo)準(zhǔn)化+偏度調(diào)整+去極值)...........................................................................14圖11176特征集合與動態(tài)128/64/32特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益(跨截面標(biāo)準(zhǔn)化+偏度調(diào)整+去極值) 14圖12中證500增強(qiáng)組合相對基準(zhǔn)的強(qiáng)弱走勢(2016-2022) 17 金融工程研究金融工程專題報告4閱讀正文之后的信息披露和法律聲明目錄表1176特征集合的因子表現(xiàn)(2014-2022) 6表2176特征集合經(jīng)偏度調(diào)整后的因子表現(xiàn)(2014-2022) 7表3176特征集合經(jīng)偏度調(diào)整&去極值后的因子表現(xiàn)(2014-2022) 8表4不同截面標(biāo)準(zhǔn)化方式下的因子表現(xiàn)對比(2014-2022) 9表5176特征集合貢獻(xiàn)度一覽(偏度調(diào)整、去極值、單一截面標(biāo)準(zhǔn)化) 12表6176特征集合與靜態(tài)64特征集合的因子表現(xiàn)(2014-2022) 13176特征集合與靜態(tài)64特征集合訓(xùn)練所得因子的分年度多頭超額收益(2014-2022) 13表8176特征集合與動態(tài)128/64/32特征集合的因子表現(xiàn)(2014-2022) 14176特征集合與動態(tài)64特征集合訓(xùn)練所得因子的分年度多頭超額收益(2014-2022)................................................................................................................15表10添加不同深度學(xué)習(xí)高頻因子后，中證500增強(qiáng)組合年化超額收益(2014-2022)表11中證500增強(qiáng)組合分年度收益風(fēng)險特征...........................................................16表12添加不同深度學(xué)習(xí)高頻因子后，中證1000增強(qiáng)組合年化超額收益(2014-2022)表13中證1000增強(qiáng)組合分年度收益風(fēng)險特征.........................................................18金融工程研究金融工程專題報告5閱讀正文之后的信息披露和法律聲明近年來，高頻數(shù)據(jù)逐漸成為量化策略中一類重要的Alpha來源。除了用傳統(tǒng)的基于人工邏輯的方式構(gòu)建高頻因子外，深度學(xué)習(xí)也是一種高效、可行的高頻因子構(gòu)建方法。在前期的系列專題報告中，我們首先基于高頻數(shù)據(jù)構(gòu)建30分鐘級別的特征，再通過深度學(xué)習(xí)模型生成高頻因子。在后續(xù)的樣本外跟蹤中，因子展現(xiàn)出了較為穩(wěn)定的選股能力。然而，我們在日常的路演交流中發(fā)現(xiàn)，初涉深度學(xué)習(xí)的投資者往往對深度學(xué)習(xí)高頻因子的特征工程(如，特征的構(gòu)建、處理、歸因和篩選)存在各種各樣的研究需求。因此，本文旨在通過多方面的對比測試，為廣大投資者在特征工程層面提供一定的參考。本文共分為八個部分，第一部分引出涉及的各項內(nèi)容，第二到第五部分依次討論特征的構(gòu)建、處理、歸因和篩選，第六部分測試深度學(xué)習(xí)高頻因子加入指數(shù)增強(qiáng)組合后的表現(xiàn)，第七部分總結(jié)全文，第八部分提示風(fēng)險。1.引言在本系列的前期報告《選股因子系列研究(七十五)——基于深度學(xué)習(xí)的高頻因子挖掘》中，我們基于高頻數(shù)據(jù)構(gòu)建了一系列30分鐘級別的特征，并通過深度學(xué)習(xí)模型得到了深度學(xué)習(xí)高頻因子。在后續(xù)的持續(xù)跟蹤中(詳情可參考《高頻選股因子周報》)，深度學(xué)習(xí)高頻因子在周度上呈現(xiàn)出很強(qiáng)的選股能力。對于初涉深度學(xué)習(xí)的投資者來說，特征工程無疑是他們面臨的第一個難點。隨著路演交流的增多，我們發(fā)現(xiàn)，投資者對于深度學(xué)習(xí)高頻因子特征工程相關(guān)的疑問，可總結(jié)為如下四個方面。1)如何更加高效、便捷地從不同頻率的高頻數(shù)據(jù)中生成特征？2)對特征進(jìn)行分布上的調(diào)整/去極值的處理/不同的標(biāo)準(zhǔn)化方式，會對最終結(jié)果產(chǎn)生3)如何度量每個特征對最終預(yù)測值的貢獻(xiàn)？4)如何定量篩選模型的輸入特征？基于上述問題，我們將深度學(xué)習(xí)高頻因子的特征工程分解為4個步驟。特征構(gòu)建：該步驟負(fù)責(zé)從不同頻率的高頻數(shù)據(jù)生成原始特征。由于投資者可能存在對不同周期收益的預(yù)測需求，因此，特征構(gòu)建應(yīng)具有高效生成不同頻率特征的能力。特征處理：由于原始的特征常常存在各方面的問題，如，分布偏度大、異常值、量綱差異等。因此，上一步生成的特征在輸入模型前通常需要進(jìn)一步處理。特征歸因：該步驟負(fù)責(zé)度量特征對最終預(yù)測結(jié)果的貢獻(xiàn)度。理論上來說，特征構(gòu)建步驟可以產(chǎn)生成千上萬的特征，但并非每一個都能對當(dāng)前的預(yù)測問題有顯著貢獻(xiàn)。因此，特征歸因能夠幫助我們區(qū)分有效特征與冗余特征。特征篩選：在特征歸因的基礎(chǔ)之上，我們還可進(jìn)一步對特征進(jìn)行篩選，從而使模型更加精簡，降低過擬合的風(fēng)險。本文將在后續(xù)的4個章節(jié)中，圍繞上述4個步驟展開詳細(xì)討論。2.深度學(xué)習(xí)高頻因子的特征構(gòu)建高頻數(shù)據(jù)通常有不同的頻率層級，具體可分為，分鐘級別的K線數(shù)據(jù)、3秒級別的盤口快照與委托隊列數(shù)據(jù)、0.01秒級別的逐筆成交與逐筆委托數(shù)據(jù)。高效處理不同級別的高頻數(shù)據(jù)，是特征工程極為重要的第一步。我們基于自身的實踐，提供兩種解決方案。金融工程研究金融工程專題報告6閱讀正文之后的信息披露和法律聲明1)僅依賴頻率最高的數(shù)據(jù)：由于逐筆成交與逐筆委托數(shù)據(jù)中信息豐富，理論上，僅使用逐筆級數(shù)據(jù)就可還原得到頻率較低的K線及盤口信息。2)高頻數(shù)據(jù)降頻：顧名思義，將快照級及逐筆級數(shù)據(jù)均降頻至分鐘級，或?qū)?個層級的數(shù)據(jù)統(tǒng)一調(diào)整至某一頻率(如，5分鐘、10分鐘等)。兩相對比，第一種方案顯然更為理想，能夠完整地保存高頻數(shù)據(jù)中的信息。但是，該方案對數(shù)據(jù)處理能力有著很高的要求，實踐難度較大。另一方面，在預(yù)測周度收益時，模型輸入特征的頻率也不必過高。即使采用頻率最高的數(shù)據(jù)計算特征，最終仍需將特征的頻率降至分鐘或者小時級別。因此，除非收益預(yù)測的周期很短，我們認(rèn)為，將各類高頻數(shù)據(jù)統(tǒng)一降頻至分鐘級別，不失為一種更加高效且可行的選擇。本文使用“原始數(shù)據(jù)-分鐘級基礎(chǔ)指標(biāo)-目標(biāo)頻率衍生指標(biāo)”的方式生成高頻特征。首先，基于原始數(shù)據(jù)生成一系列分鐘級的基礎(chǔ)指標(biāo)。這類指標(biāo)旨在捕捉原始數(shù)據(jù)中的基本信息，因此計算往往不會過于復(fù)雜，它們將作為后續(xù)特征計算的輸入數(shù)據(jù)。例如，基于逐筆成交數(shù)據(jù)計算分鐘級的主買、主賣金額序列。有了這一步處理，在后續(xù)的計算時，就可以便捷地融合不同頻率高頻數(shù)據(jù)的信息，生成各種各樣的特征。得到基礎(chǔ)指標(biāo)序列后，通常有兩種方式生成特征。1)固定輸入，變換算子；2)固定算子，變換輸入。本文使用第二種方式，即，事先確定算子，通過不斷變換輸入的基礎(chǔ)指標(biāo)序列生成特征。其中，算子既可以由簡單的四則混合運(yùn)算或統(tǒng)計計算衍化得到，也可以從人工邏輯因子研發(fā)經(jīng)驗中歸納總結(jié)。例如，從下行波動占比這一人工邏輯類高頻因子出發(fā)，我們可得到如下算子：將上述算子的輸入替換為大買單金額，則可得下行大買單金額占比這一特征。再如，從平均單筆流出金額占比這一人工邏輯類高頻因子，我們可得到如下算子：其中，#{a}代表a的數(shù)量。將上述算子的輸入替換為小買單金額與單數(shù)，則可得下行小買單單均金額占比這一特征。照此方法，我們先基于分鐘K線數(shù)據(jù)、3秒盤口快照數(shù)據(jù)和逐筆成交數(shù)據(jù)生成一系列分鐘級基礎(chǔ)指標(biāo)序列，再通過各種算子得到176個30分鐘級別的特征(下簡稱176特征集合)。下表展示了將176特征集合作為深度學(xué)習(xí)模型的輸入時，訓(xùn)練得到的因子的周度選股能力。因子周均IC為0.072，周度勝率逾90%，TOP10%多頭組合年化超額收益達(dá)29.2%(相對所有股票平均)。2014-2022，因子每年都能獲得10%以上的多頭超額收益?；囝^超額化空頭超額化多空收益 %%根據(jù)上述結(jié)果，我們認(rèn)為，作為深度學(xué)習(xí)模型的輸入特征，176特征集合蘊(yùn)含著較為豐富的信息。下面，我們將通過因子的進(jìn)一步處理和篩選，嘗試提升因子的表現(xiàn)。金融工程研究金融工程專題報告7超額收益90%80%70%60%50%40%30%20%10%0%201420152016201720182019202020212022全區(qū)間3.深度學(xué)習(xí)高頻因子的特征處理通過分鐘級基礎(chǔ)指標(biāo)序列生成的特征，常常存在一些問題。如，有偏的分布、極端異常值等。因此，在將特征輸入至模型前，需要對于特征進(jìn)行一定的處理和校準(zhǔn)。3.1特征分布調(diào)整一般說來，特征分布的調(diào)整是特征處理的第一步。例如，使用波動率、成交金額、成交筆數(shù)和買賣單數(shù)生成的特征，通常具有較為明顯的偏度。如圖2所示，收益波動率的原始截面分布呈顯著的右偏。這表明，有一部分?jǐn)?shù)據(jù)的值顯著高于其他樣本，很容易對模型訓(xùn)練產(chǎn)生影響。因此，我們有必要事先對一些分布偏度較大的特征進(jìn)行調(diào)整。如圖3所示，經(jīng)過取自然對數(shù)調(diào)整偏度后，特征的分布更為對稱，極端值也溫和了許多。下表對比了176特征集合分布調(diào)整前后，訓(xùn)練得到的因子表現(xiàn)。表2176特征集合經(jīng)偏度調(diào)整后的因子表現(xiàn)(2014-2022)化多頭超額化空頭超額化多空收益%%(偏度調(diào)整)%偏度調(diào)整后，因子的周均IC、年化ICIR、周度勝率、年化多頭超額收益、年化多空收益有了一定的提升。分年度來看，分布調(diào)整主要對2015年產(chǎn)生了較大的影響，收益提升顯著，其余年份并無顯著改變。金融工程研究金融工程專題報告8這一現(xiàn)象符合我們的預(yù)期，因為2015年的市場較為特殊，5、6月份出現(xiàn)異常波動，個股收益波動率較易出現(xiàn)異常值，從而影響模型的訓(xùn)練效果。調(diào)整偏度后，這一影響在很大程度上被消解，故最終的改善幅度較大。因此，我們認(rèn)為，將分布調(diào)整作為特征處理的第一步是很有必要的。首先，對于本身分布較為對稱的特征，調(diào)整與否并不會產(chǎn)生很大的影響。其次，考慮到輸出特征的算子類型豐富，難免會生成一些偏度較大的特征；或是特征數(shù)量大幅減少后，有偏特征的影響會進(jìn)一步凸顯。那么此時，偏度處理將有助于整個深度學(xué)習(xí)模型有效性和穩(wěn)定性的圖4偏度調(diào)整后，176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益0%0%0%0%80%60%40%20%0%調(diào)整201420152016201720182019202020212022全區(qū)間3.2特征極值處理除整體分布的問題外，特征中的極值同樣也會影響模型的訓(xùn)練效果，因此也有必要事先調(diào)整。我們采用和常規(guī)的因子極值處理類似的方法，即，N倍標(biāo)準(zhǔn)差截斷。下表展示了176特征集合在偏度調(diào)整的基礎(chǔ)上，進(jìn)一步處理極值后，訓(xùn)練得到的因子表現(xiàn)。表3176特征集合經(jīng)偏度調(diào)整&去極值后的因子表現(xiàn)(2014-2022)化多頭超額化空頭超額化多空收益%%(偏度調(diào)整)%(偏度調(diào)整&去極值)%和僅做分布調(diào)整的結(jié)果相比，去極值后，因子的周均IC、年化ICIR、勝率、多頭超額收益都得到一定幅度的提升。分年度來看，同時處理偏度與極值問題后，176特征集合的多頭超額收益更加穩(wěn)定，僅在2018和2019年小幅跑輸無任何處理的結(jié)果。金融工程研究金融工程專題報告9圖5偏度調(diào)整&去極值后，176特征集合深度學(xué)習(xí)高頻因子分年度多頭超額收益0%0%20%0%80%60%40%20%0%無處理偏度調(diào)整偏度調(diào)整與去極值201420152016201720182019202020212022全區(qū)間3.3特征標(biāo)準(zhǔn)化和低頻數(shù)據(jù)類似，高頻數(shù)據(jù)，如，成交筆數(shù)、成交金額、收益率、波動率等，同樣量綱差異巨大。因此，為減輕這個問題對模型訓(xùn)練帶來的影響，標(biāo)準(zhǔn)化也是很有必要的。在系列前期報告《選股因子系列研究(七十七)——改進(jìn)深度學(xué)習(xí)高頻因子的9個嘗試》中，我們對比了不同標(biāo)準(zhǔn)化方法下模型的效果，并發(fā)現(xiàn)，在生成高頻因子這一情境下，橫截面標(biāo)準(zhǔn)化是一個更好的選擇。但是，單一截面的標(biāo)準(zhǔn)化并不包含數(shù)據(jù)的時間序列信息，只是對特征在截面上排序。深度學(xué)習(xí)模型更像是在簡單地合成特征在不同截面的相對大小，而非提煉特征的序列信息。而我們采用的GRU或LSTM等深度學(xué)習(xí)模型，其優(yōu)勢就在于處理時間序列數(shù)據(jù)時，可以保留序列之間的相依信息。因此，我們嘗試將單一截面的標(biāo)準(zhǔn)化調(diào)整為跨越多個截面的統(tǒng)一標(biāo)準(zhǔn)化(下簡稱跨截面標(biāo)準(zhǔn)化)。即，單一截面的標(biāo)準(zhǔn)化是在每個截面上，計算N個股票某個特征的均值與標(biāo)準(zhǔn)差；跨截面標(biāo)準(zhǔn)化則是在T個截面上，計算T*N個股票某個特征的均值與標(biāo)準(zhǔn)差。我們期望，后者可以保留部分特征的時間序列信息。以下圖表展示了采用不同標(biāo)準(zhǔn)化方式下，176特征集合訓(xùn)練得到的高頻因子的表現(xiàn)。準(zhǔn)化方式截面處理多頭額空頭額多空%%度調(diào)整%化化0.0739.26591%31.4%-38.7%70.1%偏度調(diào)整&值跨截面%%度調(diào)整%偏度調(diào)整&值%在不對原始特征做任何處理或僅調(diào)整偏度的做法下，跨截面標(biāo)準(zhǔn)化小幅優(yōu)于單一截面標(biāo)準(zhǔn)化。然而，進(jìn)一步去極值后，單一截面標(biāo)準(zhǔn)化的因子表現(xiàn)反而更好。因此，我們認(rèn)為，跨截面標(biāo)準(zhǔn)化并不如預(yù)期那般顯著提升了模型效果，在實際應(yīng)用中，投資者可根據(jù)實際情況和自身偏好，選擇其中一種標(biāo)準(zhǔn)化方式。金融工程研究金融工程專題報告10度多頭超額收益(偏度調(diào)整)橫截面標(biāo)準(zhǔn)化偏度調(diào)整跨截面標(biāo)準(zhǔn)化偏度調(diào)整%橫截面標(biāo)準(zhǔn)化偏度調(diào)整跨截面標(biāo)準(zhǔn)化偏度調(diào)整0%0%80%60%40%20%0%201420152016201720182019202020212022全區(qū)間度多頭超額收益(偏度調(diào)整&去極值)%橫截面標(biāo)準(zhǔn)化偏度調(diào)整與去極橫截面標(biāo)準(zhǔn)化偏度調(diào)整與去極值跨截面標(biāo)準(zhǔn)化偏度調(diào)整與去極值80%60%40%20%0%201420152016201720182019202020212022全區(qū)間4.深度學(xué)習(xí)高頻因子的特征歸因前文討論了特征輸入模型前的相關(guān)處理，本部分將關(guān)注特征輸入模型后的歸因分析。由于輸入深度學(xué)習(xí)模型的特征通常數(shù)量眾多，其中難免存在冗余變量，而過多的冗余變量將帶來更多的參數(shù)和更高的過擬合風(fēng)險。因此，一個好的特征貢獻(xiàn)度歸因模型就顯得十分重要。它有助于投資者確定特征對模型最終預(yù)測結(jié)果的貢獻(xiàn)，并以此篩選特征、精簡模型。常見的特征歸因模型大致有基于梯度(Gradient)和基于擾動(Perturbation)兩類。DeepLift、SHAP和IG等方法。1)Saliency法(顯著性法)，以輸出相對輸入的梯度度量特征貢獻(xiàn)度。2)Gradient*Input(梯度*輸入)，顧名思義，以輸出相對輸入的梯度和輸入的乘積度量特征貢獻(xiàn)度。需要注意的是，深度學(xué)習(xí)模型的非線性特點使得梯度會隨著特征取值的不同而發(fā)生變化，因此，簡單的梯度*輸入的形式并不能精準(zhǔn)刻畫特征對最終預(yù)測結(jié)果的貢獻(xiàn)。3)DeepLift，全稱DeepLearningImportantFeatures，基于鏈?zhǔn)椒聪騻鲗?dǎo)法則，先設(shè)定一個基準(zhǔn)輸入，得到相應(yīng)的基準(zhǔn)輸出；再計算任意一個輸入對應(yīng)的輸出與基準(zhǔn)輸出之間的差值；隨后，將該差值分解至每一個輸入特征之上，得到各特征的歸因值。4)SHAP，全稱ShapleyAdditiveExplanation，其核心思想是，通過計算模型在包含和不包含某一輸入特征時的輸出差，度量特征的貢獻(xiàn)。但是，當(dāng)特征數(shù)量較大時，窮盡所有的特征組合需要耗費(fèi)大量的時間和計算資源。因此，在實際應(yīng)用中，往往會借助其他方法對理論SHAP進(jìn)行逼近，最常用的就是和梯度方法結(jié)合的DeepLiftShap以及和梯度方法結(jié)合的GraidentShap。5)IG，全稱IntegratedGradient(積分梯度)，是對梯度*輸入的一種改良。因為梯度*輸入的方法會隨輸入的不同而變化，故歸因的準(zhǔn)確性得不到保障。為了改進(jìn)這一不足，可在事先設(shè)定的基線模型與模型輸入間確定一條路徑，并沿著該路徑對梯度進(jìn)行積分。根據(jù)相關(guān)文獻(xiàn)1，積分梯度法具有敏感性(Sensitivity)及實現(xiàn)不變性(ImplementationInvariance)。基于擾動的歸因方法又稱作前向傳播歸因法，具體包括：特征刪除法、特征排序法和ShapelyValueSampling等。QYanAxiomaticAttributionforDeepNetworks閱讀正文之后的信息披露和法律聲明金融工程研究金融工程專題報告11閱讀正文之后的信息披露和法律聲明1)特征刪除法，將某一特征的數(shù)值替換為選定值后，模型輸出的變化可用來度量特征的貢獻(xiàn)度。2)特征排序法，對某一batch中的樣本特征隨機(jī)排序，計算與排序前模型輸出之間的差值，即可度量特征的貢獻(xiàn)度。3)ShapelyValueSampling，和SHAP的思路相似，按照不同的順序逐步添加輸入特征，計算添加前后模型輸出的變化，得到特征的貢獻(xiàn)度。本文選用積分梯度法進(jìn)行特征歸因，因為該方法具備完整性(Completeness)。即，所有特征歸因后的貢獻(xiàn)度之和為模型輸出與基線輸出之間的差值。下圖為積分梯度法對某股票收益預(yù)測的歸因結(jié)果。其中，歸因項為模型輸出與基線輸出之間的差值，殘余項為未被歸因模型解釋的部分。從下圖的結(jié)果來看，歸因效果極佳，殘余項接近于0。圖8積分梯度法歸因?qū)δＰ洼敵龅姆纸?0.100.050.00模型輸出基線模型輸出歸因項殘余項通過積分梯度法歸因，我們亦可得到每一個特征的絕對貢獻(xiàn)度，進(jìn)而比較它們對預(yù)果的重要性。如下圖所示，特征1、96和172的貢獻(xiàn)度遠(yuǎn)超其他特征，而特征44、19則基本沒有貢獻(xiàn)。圖9各特征對某股票收益預(yù)測的絕對貢獻(xiàn)度0.0700.0600.0500.0400.0300.0200.010特征1特6特征172特5特征140特8特征118特4特征113特5特征169特征0特0特7特征165特1特征4特4特4特8特征170特5特8特征111特征164特7特征123特3特征127特7特2特征7特征131特7特征175特征122特征129特5特7特3特征104特征116特征105特征109特7特征151特0特征101特2特征132特9特征108特7特8特7特1特征154特4特9進(jìn)一步，我們可計算全區(qū)間內(nèi)每個特征絕對貢獻(xiàn)度的時間序列均值，從全局的角度度量特征對模型的貢獻(xiàn)，并為特征的篩選提供參考。下表展示了2013年以來，經(jīng)偏度調(diào)整、去極值及單一截面標(biāo)準(zhǔn)化后，每個特征的平均絕對貢獻(xiàn)度。其中，特征159、87、160、88、1、162、81、19的平均絕對貢獻(xiàn)度都在0.04以上，而特征143、119、142、95、20、71、117、137則低于0.02，特征之間的差異十分明顯。金融工程研究金融工程專題報告12特征平均貢獻(xiàn)度特征平均貢獻(xiàn)度特征平均貢獻(xiàn)度特征平均貢獻(xiàn)度特征平均貢獻(xiàn)度特征1450.0234特征1460.0246特征1470.0258特征1480.0240特征1490.0227特征1500.0253特征1510.0244特征1520.0223特征1530.0390特征1540.03741550.0318特征1560.0355特征1570.0346特征1580.0314特征1590.0472特征1600.0446特征1610.0326特征1620.0413特征1630.0357特征1640.0312特征1650.0222特征1660.0229特征1670.0206特征1680.0276特征1690.0274特征1700.0345特征1710.0321特征1720.0318特征1730.0301特征1740.0322特征1750.0301特征1760.02880.02050.01910.01790.02295.深度學(xué)習(xí)高頻因子的特征篩選5.1特征的靜態(tài)精選根據(jù)特征歸因模型給出的全區(qū)間平均貢獻(xiàn)度的高低(表5)，我們可對原始的176特征集合進(jìn)行精選，將特征總數(shù)縮減至64個(下簡稱靜態(tài)64特征集合)。下表展示了不同處理方式下，使用176特征集合與靜態(tài)64特征集合分別訓(xùn)練，所得深度學(xué)習(xí)高頻因子的表現(xiàn)。閱讀正文之后的信息披露和法律聲明金融工程研究金融工程專題報告13準(zhǔn)化方式截面化跨截面化處理度調(diào)整偏度調(diào)整&值度調(diào)整偏度調(diào)整&值特征集合周均IC年化ICIR周度勝率年化多頭超額年化空頭超額年化多空收益%%%%%%%%%%%%靜態(tài)64特征0.0738.76591%34.0%-37.5%71.5%在相同的特征處理方式下，使用靜態(tài)64特征訓(xùn)練得到的因子在IC和年化多頭超額收益上，都優(yōu)于176特征集合。分年度來看(表7)，不論是單一截面標(biāo)準(zhǔn)化還是跨截面標(biāo)準(zhǔn)化，靜態(tài)64特征集合訓(xùn)練得到的因子，其多頭超額收益在絕大多數(shù)年份上都高于原始的176集合。這表明，根據(jù)貢獻(xiàn)度精簡特征之后，我們有效地剔除了冗余信息，進(jìn)一步提升了深度學(xué)習(xí)模型的橫截面標(biāo)準(zhǔn)化跨截面標(biāo)準(zhǔn)化無處理偏度調(diào)整偏度調(diào)整&去極值無處理偏度調(diào)整偏度調(diào)整&去極值特征特征特征特征特征特征特征特征特征特征特征特征47.7%40.0%40.2%34.9%43.5%1.4%128.5%86.9%92.4%100.1%115.2%109.8%110.5%41.2%42.7%38.9%43.8%41.0%39.6%35.1%41.1%20.6%20.9%201821.9%21.2%19.8%21.5%19.9%21.9%21.3%20.8%19.2%21.2%18.2%19.7%201929.9%25.0%27.2%31.7%27.8%32.6%28.8%30.0%32.3%31.5%29.7%34.8%25.4%24.5%23.1%22.0%29.7%21.4%23.2%28.4%28.2%25.4%30.3%27.2%202113.9%20.4%13.6%15.8%18.4%18.8%18.7%18.8%18.0%19.4%14.6%21.6%%17.8%25.6%12.1%17.0%20.3%24.2%20.5%24.7%34.2%31.4%34.1%29.4%31.8%31.9%33.3%30.7%34.0%5.2特征的動態(tài)精選上一節(jié)中的特征精選是基于全區(qū)間的平均貢獻(xiàn)度，因而必然引入了未來信息。在實際應(yīng)用中，動態(tài)地篩選特征才是更為合理可行的方案。具體地，1)每次預(yù)測時，先使用176特征集合訓(xùn)練模型；2)使用積分梯度法進(jìn)行特征歸因，計算每個特征的貢獻(xiàn)度；3)選取貢獻(xiàn)度最高的128/64/32個特征(下簡稱動態(tài)128/64/32特征集合)再次訓(xùn)練模型，并生成最終的預(yù)測值。下表展示了不同特征處理方式下，動態(tài)篩選特征后的因子表現(xiàn)。閱讀正文之后的信息披露和法律聲明閱讀正文之后的信息披露和法律聲明金融工程研究金融工程專題報告14)準(zhǔn)化方式截面化處理度調(diào)整偏度調(diào)整&值特征集合周均IC年化ICIR周度勝率年化多頭超額年化空頭超額年化多空收益%%%%%%%%%%%%%%動態(tài)32特征0.0728.66089%34.4%-36.4%70.9%跨截面化度調(diào)整%%%%%%%%%%偏度調(diào)整&值%%%現(xiàn)下降，而年化多頭超額收益則進(jìn)一步提升。但是，如果特征數(shù)量進(jìn)一步降至32，反而有可能造成IC或多頭超額收益的下降。因此，我們認(rèn)為，和線性模型類似，深度學(xué)習(xí)模型的特征篩選同樣是有必要且有益的。它可以剔除冗余信息、縮短訓(xùn)練時間、優(yōu)化計算資源，并較為顯著地提升模型表現(xiàn)。然而，過度精簡特征也會損失有效信息，降低訓(xùn)練所得因子的選股能力，故我們需要在模型的簡約和效果之間取得平衡。以下兩圖分別為兩種標(biāo)準(zhǔn)化方式下，動態(tài)篩選特征后，深度學(xué)習(xí)因子的分年度多頭超額收益。除了2017和2020年，使用動態(tài)篩選后的特征，多頭超額收益均有可能超越原始的176特征集合。子分年度多頭超額收益(單一截面標(biāo)準(zhǔn)化+偏度調(diào)整+去極值)176特征集合動態(tài)128特征集合動態(tài)64特征集合動態(tài)32特征集合176特征集合動態(tài)128特征集合動態(tài)64特征集合動態(tài)32特征集合0%%80%60%40%20%0%201420152016201720182019202020212022全區(qū)間子分年度多頭超額收益(跨截面標(biāo)準(zhǔn)化+偏度調(diào)整+去極值)%176特征集合動態(tài)128動態(tài)128特征集合動態(tài)64特征集合動態(tài)32特征集合80%60%40%20%0%201420152016201720182019202020212022全區(qū)間閱讀正文之后的信息披露和法律聲明金融工程研究金融工程專題報告15下表進(jìn)一步展示了使用176特征集合和動態(tài)64特征集合訓(xùn)練得到的因子的分年度多頭超額收益。不同處理方式下，動態(tài)64特征集合都取得了不弱于原始集合的業(yè)績。特征特征單一截面標(biāo)準(zhǔn)化度調(diào)整特征特征偏度調(diào)整&去極值特征特征特征特征跨截面標(biāo)準(zhǔn)化度調(diào)整特征特征偏度調(diào)整&去極值特征特征32.3%42.3%31.3%39.6%37.0%42.0%41.1%39.9%40.0%46.8%34.9%40.9%105.0%126.2%109.9%101.4%125.3%86.9%101.4%100.1%115.4%109.8%110.0%39.7%47.7%41.5%42.4%41.2%41.5%38.9%39.8%41.0%39.2%35.1%34.9%21.7%20.8%21.5%23.0%21.1%21.1%20.6%21.6%201821.9%17.7%19.8%22.8%19.9%19.9%21.3%18.9%19.2%20.8%18.2%22.2%29.9%24.1%27.2%30.9%27.8%29.5%28.8%27.5%32.3%31.7%29.7%31.3%%29.7%19.8%23.2%25.0%28.2%24.7%30.3%23.1%202113.9%16.9%13.6%18.9%18.4%17.2%18.7%14.8%18.0%20.4%14.6%17.8%%17.8%23.5%12.1%17.2%20.3%23.0%20.5%21.7%全區(qū)間28.5%30.2%31.1%33.4%31.4%32.8%29.4%30.4%31.9%33.6%30.7%32.0%6.深度學(xué)習(xí)高頻因子在指數(shù)增強(qiáng)組合中的應(yīng)用與對比為了更好地分析前文對特征的一系列處理方式，本章將深度學(xué)習(xí)模型訓(xùn)練得到的因子引入周度調(diào)倉的中證500和中證1000指數(shù)增強(qiáng)組合，考察收益風(fēng)險特征的變化。與本系列前序?qū)ｎ}報告的測試設(shè)定類似，收益預(yù)測模型中所使用的基礎(chǔ)因子包括：市值、中盤(市值三次方)、估值、換手、反轉(zhuǎn)、波動、盈利、SUE、尾盤成交占比、買入意愿占比、大單凈買入占比和深度學(xué)習(xí)高頻因子。在預(yù)測個股收益時，我們首先采用回歸法得到因子溢價，再計算最近12個月的因子溢價均值估計下期的因子溢價，最后乘以最新一期的因子值。風(fēng)險控制模型包括以下幾個方面的約束：1)個股偏離：相對基準(zhǔn)的偏離幅度不超過0.5%/1%/2%；2)因子敞口：市值、估值中性、常規(guī)低頻因子≤±0.5，高頻因子≤±2.0；3)行業(yè)偏離：嚴(yán)格中性/行業(yè)偏離上限2%；4)換手率限制：單次單邊換手不超過30%。組合的優(yōu)化目標(biāo)為最大化預(yù)期收益，目標(biāo)函數(shù)如下所示：maxuiwwiipii收益。為使本文的結(jié)論貼近實踐，如無特別說明，下文的測算均假定以次日均價成交，同時扣除3‰的交易成本。如下表所示，首先，同樣是176特征集合，偏度調(diào)整和去極值均能大概率提升年化超額收益；其次，一定程度特征的篩選(64或128特征集合)，也在絕大多數(shù)情況下，獲得了優(yōu)于原始集合的表現(xiàn)；第三，過度的特征篩選，如僅保留32個特征，則有可能損失重要信息，產(chǎn)生負(fù)面效應(yīng)。最后，單一截面和跨截面兩種標(biāo)準(zhǔn)化方式的差異較小。金融工程研究金融工程專題報告16表10添加不同深度學(xué)習(xí)高頻因子后，中證500增強(qiáng)組合年化超額收益(2014-2022)準(zhǔn)化方式截面化處理度調(diào)整偏度調(diào)整&值集合業(yè)中性16.6%18.1%17.7%靜態(tài)64特征14.5%15.7%17.3%16.3%18.0%18.7%.2%18.1%動態(tài)64特征14.7%15.3%16.2%15.7%17.7%16.7%動態(tài)32特征13.7%15.7%15.4%15.8%16.8%16.3%176特征14.9%16.0%15.7%16.4%17.9%18.8%靜態(tài)64特征15.2%16.6%18.3%17.4%17.7%19.5%18.4%16.7%18.7%19.5%動態(tài)64特征15.5%16.3%17.2%17.8%18.5%19.8%動態(tài)32特征15.3%16.0%16.3%16.6%17.4%16.9%176特征14.8%15.4%16.7%17.5%18.0%17.6%6.5%18.1%18.8%1%16.9%17.0%17.3%18.5%跨截面化度調(diào)整176特征14.2%14.6%15.5%16.7%16.5%16.7%靜態(tài)64特征15.2%16.0%17.6%17.4%18.7%18.8%偏度調(diào)整&值7.9%19.7%動態(tài)32特征15.2%16.4%17.6%17.6%18.5%18.7%作為示例，我們選取了行業(yè)偏離2%、個股偏離0.5%、單一截面標(biāo)準(zhǔn)化及偏度調(diào)整這組參數(shù)下，使用動態(tài)64特征集合訓(xùn)練得到的高頻因子加入中證500增強(qiáng)后，策略的分年度收益風(fēng)險特征及相對基準(zhǔn)的強(qiáng)弱曲線。額收益誤差信息比率%.3%.21.4%.54%%間閱讀正文之后的信息披露和法律聲明金融工程研究金融工程專題報告172016-2022年，策略年化超額收益17.8%，2022年超額收益10.5%。全區(qū)間月度勝率86%，信息比和收益回撤比均大于3。圖12中證500增強(qiáng)組合相對基準(zhǔn)的強(qiáng)弱走勢(2016-2022)3.503.002.502.002016-012017-012018-012019-012020-012021-012022-01如下表所示，將不同處理方式下的深度學(xué)習(xí)高頻因子引入中證1000增強(qiáng)策略，得到了和中證500增強(qiáng)類似的效果和結(jié)論。即，特征的預(yù)處理，包括偏度調(diào)整和去極值，是有必要的；特征的篩選同樣有助業(yè)績的改善，但不宜過度。中證1000增強(qiáng)組合年化超額收益(2014-2022)準(zhǔn)化方式橫截面化處理度調(diào)整偏度調(diào)整&值集合業(yè)中性176176特征20.7%20.7%24.2%22.6%22.4%23.2%19.8%22.2%22.3%22.1%22.8%動態(tài)128特征20.7%21.0%21.2%22.7%23.0%22.3%22.1%20.1%動態(tài)32特征21.0%18.9%19.6%22.2%21.7%20.2%176特征20.4%20.4%22.0%23.0%23.1%23.6%靜態(tài)64特征21.2%21.9%22.9%23.0%24.3%25.3%21.6%23.9%23.9%23.9%23.7%動態(tài)64特征22.5%21.7%21.5%24.3%24.1%23.4%動態(tài)32特征21.2%21.5%21.4%23.0%23.0%23.4%176特征21.6%21.3%22.8%23.6%23.7%24.1%20.0%21.8%23.1%23.5%22.5%動態(tài)128特征21.8%22.2%21.4%23.8%24.5%24.5%%21.2%23.1%24.0%22.6%動態(tài)32特征21.8%22.6%22.3%23.7%23.8%23.3%跨截面化%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%度調(diào)整%%%%%%%%%%%%%%%%%%閱讀正文之后的信息披露和法律聲明金融工程研究金融工程專題報告18閱讀正文之后的信息披露和法律聲明176特征21.5%20.9%21.0%23.4%22.8%23.1%偏度調(diào)整&值%%%%%%%%%%%%%%%%%%20.5%23.1%22.0%22.9%同樣地，我們選取了行業(yè)偏離2%、個股偏離0.5%、單一截面標(biāo)準(zhǔn)化及偏度調(diào)整這組參數(shù)下，加入動態(tài)64特征集合訓(xùn)練得到的高頻因子后，中證1000增強(qiáng)策略的分年度收益風(fēng)險特征及相對基準(zhǔn)的強(qiáng)弱曲線。超額收益最大回撤跟蹤誤差月度勝率信息比率收益回撤比201634.2%0.9%5.1%100%6.6536.24201723.8%0.8%4.0%100%5.9531.09%.3%.82201924.6%2.0%4.2%92%5.7612.18202029.1%2.8%5.8%83%5.0610.50202124.8%4.0%5.8%67%4.286.26202214.2%2.3%4.7%83%3.036.29全區(qū)間24.3%4.0%4.9%88%4.976.162016-2022年，策略年化超額收益24.3%，2022年超額收益14.2%。全區(qū)間月度勝率88%，信息比接近5，收益回撤比大于6。5.505.004.504.003.503.002.502.002016-012017-012018-012019-012020-012021-012022-017.總結(jié)特征工程是深度學(xué)習(xí)高頻因子訓(xùn)練中的第一步，也是極為重要的一步。為此，本文從特征構(gòu)成、特征處理、特征歸因和特征篩選這4個方面，對特征工程的相關(guān)問題展開全方位的討論。根據(jù)我們詳盡的測試，特征處理，尤其是特征分布的調(diào)整，對深度學(xué)習(xí)模型生成的因子有相當(dāng)顯著的影響；特征歸因，不僅有助于我們考察和評價不同特征對模型的貢獻(xiàn)，更為進(jìn)一步的特征篩選奠定了基礎(chǔ)。特征篩選，可以有效剔除原始特征中的冗余信息，縮短訓(xùn)練時間、優(yōu)化計算資源，并較為顯著、穩(wěn)定地提升模型表現(xiàn)。在本文介紹的多種歸因方法中，積分梯度法簡單直接、易于理解，且效果良好，較為適合在實際中應(yīng)用。據(jù)此篩選原始特征后，不論是單因子檢驗，還是加入中證500和中證1000增強(qiáng)，都較為明顯地改善了業(yè)績表現(xiàn)。金融工程研究金融工程專題報告19閱讀正文之后的信息披露和法律聲明險提示市場系統(tǒng)性風(fēng)險、資產(chǎn)流動性風(fēng)險、政策變動風(fēng)險、因子失效風(fēng)險。金融工程研究金融工程專題報告20信息披露明金融工程研究團(tuán)隊金融工程研究團(tuán)隊本人具有中國證券業(yè)協(xié)會授予的證券投資咨詢執(zhí)業(yè)資格，以勤勉的職業(yè)態(tài)度，獨(dú)立、客觀地出具本報告。本報告所采用的數(shù)據(jù)和信息本報告僅供海通證券股份有限公司(以下簡稱“本公司”)的客戶使用。本公司不會因接收人收到本報告而視其為客戶。在任何情況下，告中的任何內(nèi)容所引致、價值及投資收入可能的許可的情況下，海通證券及其所屬司提供投資銀行服務(wù)或其他服務(wù)。本報告僅向特定客戶傳送，未經(jīng)海通證券研究所書面授權(quán)，本研究報告的任何部分均不得以任何方式制作任何形式的拷貝、復(fù)印件或務(wù)標(biāo)記及標(biāo)記均為本公研究所，且證券投資咨詢業(yè)務(wù)。金融工程研究金融工程專題報告21閱讀正文之后的信息披露和法律聲明海通證券股份有限公司研究所路穎所長(021)23219403luying@副所長(021)23219404dengyong@(021)23219658xyg6052@所長助理(021)23219747tll5535@余文心所長助理(0755)82780398ywx9461@宏觀經(jīng)濟(jì)研究團(tuán)隊19820應(yīng)鎵嫻(021)23219394李俊(021)23154149聯(lián)系人3219674aitongcomyjx@lj@haitongcomwyq4704@侯歡(021)23154658hh13288@金融工程研究團(tuán)隊)23219732鄭雅斌(021)23219395羅蕾(021)23219984余浩淼(021)23219883袁林青(021)23212230聯(lián)系人1)23154170薇(021)23154387宇(021)23212231金融產(chǎn)品研究團(tuán)隊fengjr@zhengybhaitongcomll3@yhm91@ylq9@zll@cjh@hyw16@zgy13303@倪韻婷(021)23219419唐洋運(yùn)(021)23219004徐燕紅(021)23219326談鑫(021)23219686莊梓愷(021)23219370譚實宏(021)23219445聯(lián)系人23154167滕穎杰(021)23219433章畫意(021)23154168陳林文(021)23219068魏瑋(021)23219645江濤(021)23219819gcomtangyyhaitongcomxyh10763@tx0771@tongcomtsh355@wqy76@tyj13580@zhy13958@clw14331@ww14694@jt13892@舒子宸szc14816@張弛(021)23219773zc13338@團(tuán)隊021)23154121jps10296@8xyg6052@鈕宇鳴(021)23219420ymniuhaitongcom021)23154142wqz709@gs@1)23154122aitongcom聯(lián)系人7聯(lián)系人54116wgj5@1)23219733zzx9@wyq45@多(021)23212041fxl957@zd3@聯(lián)系人wxk2750@麗萍(021)23154124slp19@余培儀(021)23219400ypy768@zzr@楊錦(021)23154504021)23219812(021)23214131yj2@wzh978@ly4721@政策研究團(tuán)隊3219434吳一萍(021)23219387朱蕾(021)23219946周洪榮(021)23219953聯(lián)系人myipinghaitongcomzl6@zhr81@m紀(jì)堯jy14213@石油化工行業(yè))23219404朱軍軍(021)23154143胡歆(021)23154505聯(lián)系人219635yonghaitongcomzjj@gcomzhr4@心(0755)82780398鄭琴(021