基于深度學(xué)習(xí)的含能材料生成焓預(yù)測方法

基于深度學(xué)習(xí)的含能材料生成焓預(yù)測方法

徐雅斌，孫勝杰，武裝（1.北京信息科技大學(xué)計算機(jī)學(xué)院，北京100101；2.網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室，北京100101；3.北京材料基因工程高精尖創(chuàng)新中心北京信息科技大學(xué)，北京100101）1引言含能材料是一種在被加熱激發(fā)后，不需要外界物質(zhì)的參與即可通過自身的化學(xué)反應(yīng)釋放出能量的材料。作為炸藥、火箭和導(dǎo)彈等推進(jìn)劑配方的重要組分［1］，在民用、國防、航天及空間站等領(lǐng)域已有廣泛應(yīng)用。如何提高能量始終是含能材料研究的一個主要目標(biāo)和研究課題［2］。在含能材料的研制過程中，生成焓是其能量性質(zhì)的重要參數(shù)［3］。利用生成焓可以判斷物質(zhì)的相對穩(wěn)定性、可以知道化學(xué)反應(yīng)中的能量變化，這對于了解、控制和利用化學(xué)物質(zhì)及化學(xué)反應(yīng)是非常關(guān)鍵的。因此，獲取含能材料的生成焓至關(guān)重要。目前，傳統(tǒng)的含能材料生成焓獲取方法，主要基于量子化學(xué)理論，使用高精度計算方法，如：原子化方法［4］、氧彈量熱法［5］、等鍵反應(yīng)方法［6］、半經(jīng)驗分子軌道理論（PM3）和分子力學(xué)（MM2）方法相結(jié)合的方法［7］等進(jìn)行計算。但是這種方法需要首先利用密度泛函、Gess定律、PM3和MM2等方法獲取出計算生成焓的中間元素，之后再進(jìn)行具體生成焓的計算。因此，在進(jìn)行中間元素的計算時，不能保證計算的準(zhǔn)確度，同時也會產(chǎn)生很大的計算量。隨著機(jī)器學(xué)習(xí)的不斷發(fā)展，逐漸有人使用機(jī)器學(xué)習(xí)的方法對含能材料的生成焓進(jìn)行預(yù)測。文獻(xiàn)［8-10］中均采用人工神經(jīng)網(wǎng)絡(luò)分別對非芳香族多硝基化合物、芳香族多硝基化合物和高氮化合物的生成焓進(jìn)行預(yù)測。WanZhong-yu等［11］結(jié)合半經(jīng)驗（AM1）方法和分子描述符，使用多元逐步回歸（MSR）方法對化合物的生成焓進(jìn)行預(yù)測。DUANXue-mei等［12］結(jié)合Hartree-Fock/密度泛函理論（DFT）和線性回歸方法來準(zhǔn)確預(yù)測生成焓。Yalamanchi等［13］將支持向量回歸（SVR）方法和人工神經(jīng)網(wǎng)絡(luò)（ANN）方法進(jìn)行對比，通過兩次10折交叉驗證（10-foldCV）對三類無環(huán)和閉殼碳?xì)浠衔锏纳伸蔬M(jìn)行了預(yù)測，得到了性能更好的SVR方法。以上文獻(xiàn)均采用機(jī)器學(xué)習(xí)方法對含能材料的生成焓進(jìn)行預(yù)測。但是，這種方法存在大量人工干預(yù)且特征提取復(fù)雜的問題。利用深度學(xué)習(xí)方法對材料的性質(zhì)進(jìn)行預(yù)測的現(xiàn)象越來越多。閆海等［14］提出將卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用于有限元代理模型，預(yù)測平面隨機(jī)分布短纖維增強(qiáng)聚氨酯復(fù)合材料的有效彈性參數(shù)，并針對訓(xùn)練過程出現(xiàn)的過擬合問題，提出了一種數(shù)據(jù)增強(qiáng)的方法。宋新寬等［15］提出利用CNN方法快速預(yù)測多孔材料內(nèi)有效擴(kuò)散系數(shù)，可根據(jù)多孔材料微觀結(jié)構(gòu)圖直接預(yù)測有效擴(kuò)散系數(shù)。胡石雄等［16］提出采用拼接的方法把一維數(shù)據(jù)轉(zhuǎn)換成二維圖像數(shù)據(jù)，然后使用一種Inception結(jié)構(gòu)作為CNN的卷積層，另外使用全連接網(wǎng)絡(luò)對提取特征進(jìn)行補(bǔ)充，實現(xiàn)對熱軋帶鋼的抗拉強(qiáng)度的預(yù)測。以上均采用單純的CNN進(jìn)行性能預(yù)測，有效避免了復(fù)雜的人工干預(yù)和特征選取問題。但是，這種方法往往只專注于提取數(shù)據(jù)的深度特征，而忽略了數(shù)據(jù)之間的相關(guān)性。晏臻等［17］提出CNN和長短期記憶網(wǎng)絡(luò)（LSTM）相結(jié)合的短時交通流量預(yù)測模型，通過CNN挖掘相鄰路口交通流量的空間關(guān)聯(lián)性，通過LSTM模型挖掘交通流量的時序特征，將提取的時空特征進(jìn)行特征融合，實現(xiàn)短期流量預(yù)測。石文浩等［18］提出首先使用一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）來提取輸入矩陣的局部特征，并抽象成全局特征，然后使用雙向長短期記憶網(wǎng)絡(luò)（Bi-LSTM）結(jié)合正反方向互補(bǔ)的信息，對miRNA-lncRNA的互作關(guān)系進(jìn)行預(yù)測。張鵬等［19］提出首先使用滑動窗口截取的方法獲取數(shù)據(jù)，然后分別通過CNN和LSTM這兩種模型分別得到特征向量，最后使用Attention機(jī)制，將這兩個特征向量融合成特征圖，從而對QAR數(shù)據(jù)中的飛機(jī)俯仰角進(jìn)行預(yù)測。李梅等［20］針對時序數(shù)據(jù)特征，提出一種基于注意力機(jī)制的CNN聯(lián)合LSTM的神經(jīng)網(wǎng)絡(luò)預(yù)測模型，融合粗細(xì)粒度特征實現(xiàn)準(zhǔn)確的時間序列預(yù)測。研究和分析發(fā)現(xiàn)，采用CNN和LSTM的融合模型雖然可以利用CNN提取數(shù)據(jù)特征，又可以使用LSTM考慮數(shù)據(jù)之間的相關(guān)性，但是單向的LSTM不能處理上下文數(shù)據(jù)對預(yù)測結(jié)果的影響，而雙向LSTM在性能優(yōu)化方面有所欠缺。使用Attention機(jī)制可以有效優(yōu)化模型性能。針對目前在材料性能預(yù)測方面存在的問題，本文提出一種基于Attention機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（Bi-LSTM）融合模型對含能材料的生成焓進(jìn)行預(yù)測。該模型以搜集和爬取到的含能材料分子結(jié)構(gòu)的原子三維坐標(biāo)為基礎(chǔ)，首先對獲取的坐標(biāo)數(shù)據(jù)進(jìn)行庫侖矩陣的轉(zhuǎn)換，數(shù)據(jù)的填充、截取和歸一化；然后，利用CNN提取數(shù)據(jù)中的深層特征；接下來，利用Bi-LSTM考慮數(shù)據(jù)間的相關(guān)性；最后利用Attention機(jī)制對特征的權(quán)重系數(shù)進(jìn)行合理的優(yōu)化，由此獲得預(yù)測結(jié)果。本文的主要內(nèi)容如下：（1）提出一種基于CNN與Bi-LSTM的融合模型，對含能材料的生成焓進(jìn)行預(yù)測，既可以全面克服數(shù)據(jù)特征提取的困難，又可以充分考慮數(shù)據(jù)間的相關(guān)性，有效實現(xiàn)“結(jié)構(gòu)—性能”的預(yù)測目標(biāo)。（2）針對無法對含能材料特征向量的重要程度進(jìn)行合理評判的問題，使用Attention機(jī)制對融合模型特征向量的權(quán)重進(jìn)行計算，得出不同特征向量對預(yù)測結(jié)果的重要程度，從而提高含能材料生成焓預(yù)測的準(zhǔn)確度。（3）為了避免含能材料分子的原子坐標(biāo)受到平移、旋轉(zhuǎn)、交換索引順序等操作的影響，進(jìn)而對生成焓的預(yù)測結(jié)果造成一定的誤差，選擇將原子坐標(biāo)數(shù)據(jù)轉(zhuǎn)換成表示分子內(nèi)笛卡爾坐標(biāo)系的庫侖矩陣，從而保證每種含能材料分子均對應(yīng)唯一的結(jié)構(gòu)數(shù)據(jù)。2數(shù)據(jù)搜集與預(yù)處理2.1數(shù)據(jù)搜集首先，通過查詢國內(nèi)外知名的含能材料期刊和雜志（如：《JournalofEnergeticMaterials》、《含能材料》、《火炸藥學(xué)報》等），搜集有關(guān)含能材料的實驗數(shù)據(jù)，并將這些數(shù)據(jù)保存下來。由于本文的設(shè)計的目標(biāo)是根據(jù)含能材料的分子結(jié)構(gòu)預(yù)測出對應(yīng)的生成焓數(shù)值，而文獻(xiàn)中搜集到的數(shù)據(jù)并不包括這些材料的分子結(jié)構(gòu)。因此，需要根據(jù)保存的“PubChem數(shù)據(jù)庫ID”在PubChem數(shù)據(jù)庫中批量爬取對應(yīng)分子結(jié)構(gòu)的原子三維坐標(biāo)。然而，在搜集數(shù)據(jù)的過程中發(fā)現(xiàn)，對于某些材料來說，在不同的文獻(xiàn)中給出的生成焓數(shù)值是不一樣的，這可能受限于當(dāng)時的實驗條件和測量精度。但是由于無法判斷哪些文獻(xiàn)給出的生成焓數(shù)值是正確的，因此無法直接用于模型的訓(xùn)練，需要通過高通量計算方法確定正確的生成焓數(shù)值。因為本文中要預(yù)測的性質(zhì)屬于熱力學(xué)性質(zhì)，原子體系也不大，所以選擇使用專門的組合方法，即高斯（Gaussian）G4方法。由此計算出在標(biāo)準(zhǔn)狀態(tài)（298K）下分子結(jié)構(gòu)對應(yīng)的生成焓數(shù)值，同時將生成焓的單位統(tǒng)一為kJ·mol-1。2.2庫侖矩陣的轉(zhuǎn)換在數(shù)據(jù)的預(yù)處理階段，必須考慮某些額外操作（例如：平移、旋轉(zhuǎn)、交換索引順序等）對分子結(jié)構(gòu)坐標(biāo)的影響，甚至可能會對生成焓的預(yù)測結(jié)果造成一定的誤差。而庫侖矩陣則是一種用來表示分子內(nèi)笛卡爾坐標(biāo)系集合與核電荷的矩陣。其中，對角元素可以看作是原子與其自身的相互作用，本質(zhì)上是原子能與核電荷的多項式擬合，非對角線元素代表核之間的庫侖排斥。同時，庫侖矩陣不受原子的平移、旋轉(zhuǎn)和交換索引順序的影響，每種分子對應(yīng)的庫侖矩陣是固定不變的［21］。其轉(zhuǎn)換公式為：在進(jìn)行訓(xùn)練之前，需要根據(jù)公式（1）將每個含能材料的三維坐標(biāo)數(shù)據(jù)轉(zhuǎn)換對應(yīng)的庫侖矩陣。以化合物1，3，5-三嗪（C3H3N3）為例，將其坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為庫侖矩陣后的實驗數(shù)據(jù)，如表1所示。表示為一個對稱矩陣，其中第i行和第i列共同代表一個原子的數(shù)據(jù)。表1轉(zhuǎn)換為庫侖矩陣后的實驗數(shù)據(jù)Table1Theexperimentaldataconvertedtocoulombmatrix.au2.3數(shù)據(jù)的填充、截取與歸一化處理對數(shù)據(jù)進(jìn)行分析發(fā)現(xiàn)，每種材料分子中的原子數(shù)量是不一致的，材料分子中原子數(shù)量的分布情況如圖1所示。圖1材料分子中原子數(shù)量的分布情況Fig.1Thedistributionofthenumberofatomsinthematerialmolecule由圖1可以看出，分子數(shù)量較多的原子數(shù)量主要集中在6～24，而在這批數(shù)據(jù)集中，原子數(shù)量的最大值和中位數(shù)均為16個。因此，在將原子坐標(biāo)轉(zhuǎn)換成庫侖矩陣之前，將原子數(shù)量為6～16的原子坐標(biāo)進(jìn)行補(bǔ)0，填充到16個原子坐標(biāo)；而對原子數(shù)量為16～24的原子坐標(biāo)，則進(jìn)行數(shù)據(jù)的截取。由于生成焓數(shù)值的大小主要依據(jù)材料分子中N—N鍵、N—C鍵、N=N鍵和N#N鍵等化學(xué)鍵的個數(shù)，即C原子和N原子的多少和位置。因此，在進(jìn)行數(shù)據(jù)的截取時，選擇只刪除H原子對應(yīng)的庫侖矩陣信息。之后，為了消除奇異樣本數(shù)據(jù)導(dǎo)致的不良影響，使得數(shù)據(jù)被限定在一定的范圍內(nèi)，使用max-min歸一化方法對轉(zhuǎn)換成庫侖矩陣之后的數(shù)據(jù)進(jìn)行處理。其計算公式為：其中，Xnorm為歸一化后的數(shù)據(jù)，X為原始數(shù)據(jù)，Xmax、Xmin分別為原始數(shù)據(jù)集的最大值和最小值。最后，將每條數(shù)據(jù)中經(jīng)過歸一化處理之后的庫侖矩陣作為模型的輸入向量。3模型設(shè)計3.1模型結(jié)構(gòu)針對含能材料分子結(jié)構(gòu)中存在的特征不明顯、提取難度大的問題，以及分子結(jié)構(gòu)間的相關(guān)性難以考慮和分析的問題，我們提出一種基于Attention機(jī)制的CNN和Bi-LSTM融合模型實現(xiàn)生成焓預(yù)測。模型的結(jié)構(gòu)如圖2所示，主要分為輸入層、卷積神經(jīng)網(wǎng)絡(luò)（CNN）層、Bi-LSTM層、Attention層、全連接層和輸出層。圖2生成焓預(yù)測模型架構(gòu)Fig.2Enthalpyofformationpredictionmodelarchitecture3.2卷積神經(jīng)網(wǎng)絡(luò)（CNN）層在進(jìn)行含能材料生成焓預(yù)測時，選擇含能材料分子結(jié)構(gòu)即原子三維坐標(biāo)轉(zhuǎn)換成的庫侖矩陣作為模型的輸入數(shù)據(jù)，實際上就是依靠材料分子的庫侖矩陣判斷出各種原子鍵是否存在以及數(shù)量的多少，也就是數(shù)據(jù)中的特征。然而，這種數(shù)據(jù)存在特征不明顯、提取難度大的問題。因此，為了充分提取出數(shù)據(jù)中的特征，我們首先使用CNN對含能材料的數(shù)據(jù)進(jìn)行特征提取。CNN是一種通過卷積操作提取特征，再利用池化層學(xué)習(xí)數(shù)據(jù)局部特征的前饋神經(jīng)網(wǎng)絡(luò)。無需對輸入數(shù)據(jù)進(jìn)行大量預(yù)處理，即可以學(xué)習(xí)到大量的特征信息。本文中的卷積層采用四層卷積的形式，為了防止數(shù)據(jù)的過擬合，在卷積層中添加一個Dropout層。由于Re-LU函數(shù)具有便于稀疏化及有效減少梯度似然值的優(yōu)勢，故卷積層的激活函數(shù)選用ReLU函數(shù)。3.3雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（Bi-LSTM）層Bi-LSTM是對LSTM的一種改進(jìn)，由前向LSTM和后向LSTM組合而成，可以有效地考慮前后數(shù)據(jù)之間的相關(guān)性。在含能材料分子結(jié)構(gòu)數(shù)據(jù)中，包括兩個方面的相關(guān)性：（1）在含能材料的分子結(jié)構(gòu)中，N—N鍵、N—C鍵、N=N鍵和N#N鍵等化學(xué)鍵是生成焓主要的能量來源。而在輸入數(shù)據(jù)即材料分子的庫侖矩陣中，這些化學(xué)鍵是否存在以及數(shù)量的多少恰恰取決于N原子與C原子數(shù)據(jù)之間的相關(guān)性。因此，在含能材料的分子結(jié)構(gòu)數(shù)據(jù)中，每個原子數(shù)據(jù)之間的相關(guān)性是必須要考慮的。（2）在進(jìn)行含能材料生成焓的預(yù)測時，數(shù)據(jù)對應(yīng)的分子結(jié)構(gòu)之間的差距并不大，往往只是增加或減少幾個原子或者改變幾個原子的位置，從而對生成焓的大小造成一定的影響。因此，當(dāng)我們想要預(yù)測一個分子結(jié)構(gòu)對應(yīng)的生成焓時，其余分子結(jié)構(gòu)數(shù)據(jù)與對應(yīng)的生成焓值會對本次預(yù)測結(jié)果起到一定的輔助作用。所以，分子結(jié)構(gòu)數(shù)據(jù)之間的相關(guān)性是我們要考慮的另一個重要問題。基于以上內(nèi)容，在提取出數(shù)據(jù)特征之后，為了充分考慮數(shù)據(jù)間的相關(guān)性，選擇使用Bi-LSTM對提取出的特征進(jìn)行深層學(xué)習(xí)。Bi-LSTM結(jié)構(gòu)如圖3所示：圖3Bi-LSTM結(jié)構(gòu)圖Fig.3Bi-LSTMstructureBi-LSTM層的輸入數(shù)據(jù)即為CNN層的輸出數(shù)據(jù)P。Bi-LSTM由多個LSTM組成，在每個LSTM中有輸入門i、遺忘門f、輸出門o和記憶狀態(tài)c，隱層狀態(tài)ht的更新公式為：其中，WI，WF，WO，WC，UI，UF，UO，UC均為相應(yīng)的權(quán)重矩陣；bI，bF，bO，bC為偏置向量；σ，tanh是激活函數(shù)；ht-1為上一時刻的隱藏狀態(tài)，rt為臨時記憶狀態(tài)；⊙是按位乘運(yùn)算。3.4Attention機(jī)制Attention機(jī)制是模仿人類注意力而提出的一種解決問題的辦法。簡單地說，就是從大量信息中快速篩選出高價值信息，通過利用高價值的信息提高計算的準(zhǔn)確度。更進(jìn)一步說，就是利用高價值信息解決計算資源的高效分配問題。在本模型的設(shè)計中，為了提升預(yù)測結(jié)果的準(zhǔn)確度，使用Attention機(jī)制中的權(quán)重分配原則計算不同特征向量對應(yīng)的權(quán)重值，使得越重要的特征所對應(yīng)的注意力值越大，從而突出重要特征對預(yù)測結(jié)果的影響，提高預(yù)測結(jié)果的準(zhǔn)確率。Attention機(jī)制層的輸入數(shù)據(jù)即為Bi-LSTM層的輸出數(shù)據(jù)H。Attention機(jī)制的結(jié)構(gòu)如圖4所示：圖4Attention機(jī)制結(jié)構(gòu)圖Fig.4ThestructureoftheAttentionmechanism首先，生成目標(biāo)注意力權(quán)重vt；其中，uv和wv均為權(quán)重系數(shù)，bv為偏置數(shù)，tanh為激活函數(shù)。其次，將注意力權(quán)重概率化，通過softmax函數(shù)生成概率向量at；之后，進(jìn)行注意力權(quán)重的配置，將生成的注意力權(quán)重配置給對應(yīng)的隱層狀態(tài)輸出ht，使模型生成的注意力權(quán)重發(fā)揮作用，得到對隱層狀態(tài)輸出進(jìn)行加權(quán)平均后的向量st。最后，將向量st作為Attention層的輸出，并進(jìn)入下一層。3.5全連接層使用全連接層對Attention機(jī)制的輸出st進(jìn)行計算，獲得最終的預(yù)測結(jié)果y。在得到預(yù)測結(jié)果后，選用自適應(yīng)優(yōu)化算法（adaptivemomentestimation，Adam）對模型參數(shù)進(jìn)行優(yōu)化。激活函數(shù)采用sigmoid函數(shù)，最終的預(yù)測結(jié)果可表示為：式中，wy為權(quán)重矩陣，by為偏置向量。損失函數(shù)選擇均方誤差函數(shù)（MeanSquaredError，MSE），計算公式為：該函數(shù)對于異常值（即預(yù)測值和實際值的誤差遠(yuǎn)大于其他誤差的數(shù)據(jù)點）更加敏感，平方和的計算結(jié)果會給異常值賦予更大的權(quán)重，模型會朝著減小異常值誤差的方向更新。另外，該函數(shù)損失的梯度會隨著損失的增大而增大，而損失趨于0時則會減小。因此在訓(xùn)練結(jié)束時，該函數(shù)會更加穩(wěn)定和精確。4結(jié)果與討論4.1實驗數(shù)據(jù)與實驗環(huán)境從3.1中提到的國內(nèi)外知名的含能材料期刊中進(jìn)行數(shù)據(jù)的搜集，之后經(jīng)過高斯（Gaussian）G4計算和庫侖矩陣轉(zhuǎn)換等處理，最終共獲得了1026條可用數(shù)據(jù)。接下來，為了充分利用Bi-LSTM提取出數(shù)據(jù)間的相關(guān)性，根據(jù)生成焓值的大小，對所有數(shù)據(jù)進(jìn)行一次升序操作。最后，在進(jìn)行模型的訓(xùn)練時，按照9∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，之后利用10折交叉驗證將訓(xùn)練集再次劃分成訓(xùn)練集和驗證集。實驗環(huán)境為：CPU型號為Intel?Core?i5-8259UCPU@2.3GHz，內(nèi)存為16GB，操作系統(tǒng)為macOS10.15，開發(fā)語言為Python3，開發(fā)環(huán)境為PyCharm，數(shù)據(jù)庫為MySQL。4.2評價指標(biāo)實驗選取平均絕對誤差MAE、平均絕對百分誤差MAPE、均方根誤差RMSE和均方根對數(shù)誤差RMSLE作為評價標(biāo)準(zhǔn)。四種指標(biāo)越小，表明預(yù)測值越接近真實值，證明模型性能越好，特征表達(dá)能力越強(qiáng)。4.3參數(shù)優(yōu)化實驗為了選擇最優(yōu)的批處理量（bitch_size），選擇了6種批處理量（4、8、12、16、20、24）分別進(jìn)行10折交叉驗證。在相同的實驗環(huán)境下，不同批處理量對應(yīng)的平均絕對誤差MAE的情況如圖5所示。圖5不同批處理量對應(yīng)的平均絕對誤差Fig.5Meanabsoluteerror（MAE）correspondingtodifferentbatchthroughput從圖5中可以看出，當(dāng)批處理量為8時，具有最低的平均絕對誤差MAE，因此選擇本模型的批處理大小為8。為了選擇最優(yōu)的訓(xùn)練輪次（epochs），使本模型具有較高的預(yù)測準(zhǔn)確度，在相同的實驗環(huán)境下，針對不用的訓(xùn)練輪次（25、50、75、100、125、150、175、200）進(jìn)行實驗，得到不同訓(xùn)練輪次下的生成焓預(yù)測效果（平均絕對誤差MAE、平均絕對百分誤差MAPE、均方根誤差RMSE和均方根對數(shù)誤差EMSLE），實驗結(jié)果如圖6所示。圖6不同訓(xùn)練輪次的預(yù)測效果Fig.6Predictioneffectofdifferenttrainingrounds1）MAEismeanabsoluteerror；2）MAPE/1000ismeanabsolutepercentageerror/1000；3）RMSEisrootmeansquareerror；4）RMSLEisrootmeansquaredlogarithmicerror.從圖6可以看出，隨著訓(xùn)練輪數(shù)的不斷增大，平均絕對誤差、平均絕對百分誤差、均方根誤差和均方根對數(shù)誤差的值不斷減小，并在訓(xùn)練輪次為150的時候達(dá)到最小值，之后每個指標(biāo)隨著訓(xùn)練輪數(shù)的增加又開始不斷增大。因此，當(dāng)訓(xùn)練輪數(shù)為150時，本模型的生成焓預(yù)測效果最好。綜上，獲得最佳的批處理量（bitch_size）為8，最佳的訓(xùn)練輪數(shù)（epochs）為150。在此參數(shù)的基礎(chǔ)上，利用測試集中的103個數(shù)據(jù)對生成焓的真實值（y_true）和預(yù)測值（y_predict）進(jìn)行對比，實驗結(jié)果如圖7所示。由圖7可以看出，此時測試集上生成焓的真實值和預(yù)測值的數(shù)據(jù)曲線較為擬合，說明此時模型參數(shù)已達(dá)到最優(yōu)值，生成焓預(yù)測的效果最佳。圖7最佳參數(shù)下測試集的預(yù)測效果圖Fig.7Thepredictioneffectdiagramoftestsetundertheoptimalparameter4.4對比實驗為驗證本模型在含能材料生成焓預(yù)測的有效性和優(yōu)勢，利用本文數(shù)據(jù)集并采用10折交叉驗證方法，分別將文獻(xiàn)［13］、文獻(xiàn)［16］中的方法以及CNN、Bi-LSTM、CNN-BiLSTM方法和本文方法，在相同的實驗環(huán)境下進(jìn)行生成焓預(yù)測的對比實驗，實驗結(jié)果如圖8所示。由圖8可以看出，文獻(xiàn)［13］和文獻(xiàn)［16］中使用的傳統(tǒng)機(jī)器學(xué)習(xí)方法的實驗誤差更高，這兩種方法的平均MAE、MAPE、RMSE和RMSLE分別為0.0554、2.44%、0.0755和0.056。這是由于傳統(tǒng)的機(jī)器學(xué)習(xí)方法對顯性的數(shù)據(jù)特征有著很大的依賴性，需要使用更加具有代表性的數(shù)據(jù)特征才能獲得更好的實驗效果。然而本次實驗的數(shù)據(jù)集是含能材料分子的庫侖矩陣，并不能提取出