基于Nadam優(yōu)化器的全連接神經(jīng)網(wǎng)絡在水泥3 d及28 d抗壓強度預測中的應用實踐

水泥抗壓強度值是衡量水泥質(zhì)量的一個重要指標，也是確定水泥標號的一個主要依據(jù)，在實際的生產(chǎn)過程中起到重要的作用，它是一個典型的非線性、多變量、不確定、多時滯的復雜系統(tǒng)。目前，國內(nèi)外學者對水泥抗壓強度預測進行了多方面的研究，崔運美通過線性回歸分析及非線性回歸分析建立了1d抗壓強度和28d抗壓強度模型；張大鵬等通過多元回歸分析方法建立28d抗壓強度模型；林遠煌通過使用BP神經(jīng)網(wǎng)絡建立了水泥配料各組分摻入量與28d抗壓強度的模型。由于該系統(tǒng)的非線性、多變量、多時滯等特性，導致傳統(tǒng)的預測方法準確性較差，難以在實際生產(chǎn)過程中普遍推廣和應用。近些年來一些研究者將人工智能算法應用到了水泥強度預測方面，取得了一定的效果。隨著深度學習技術近些年的快速發(fā)展，在非線性回歸分析中得到了較好的效果，針對以上水泥抗壓強度預測存在的問題，本文基于TensorFlow深度學習框架，采用Python編程語言，使用Nadam優(yōu)化器的全連接神經(jīng)網(wǎng)絡深度學習算法，實現(xiàn)了對水泥3d抗壓強度和28d抗壓強度的預測。1、TensorFlow及Keras深度學習框架TensorFlow是Google開源的基于數(shù)據(jù)流圖的機器學習框架，支持Python和C++語言。廣泛應用在圖像分類、物體檢測、模型預測等領域。Keras是基于TensorFlow和Theano的深度學習庫，包括由Python編寫而成的高級神經(jīng)網(wǎng)絡API，使用Keras可以快速實現(xiàn)對TensorFlow的再次封裝，大幅減少純粹使用TensorFlow實現(xiàn)深度學習的代碼量。本文中的環(huán)境包括Anaconda及Pycharm，在Anaconda中配置了Python3.7虛擬環(huán)境供Pycharm使用，TensorFlow版本為2.3.0。Pycharm是由JetBrains打造的一款PythonIDE，本文采用Pycharm2020.3，其環(huán)境設置見圖1。圖1Python虛擬環(huán)境2、特征參數(shù)選取及數(shù)據(jù)預處理水泥強度的影響因素較多，其主要影響因素有熟料的質(zhì)量、SO3含量、混合材的摻入量及粉磨細度等。熟料的礦物組成及其結構決定了熟料的質(zhì)量，對水泥強度的增長起決定性作用，水泥28d強度基本依賴于C3S的含量，C3S含量高早期強度增長率高，在28d時已基本發(fā)揮出最高強度的絕大部分；C2S主要影響水泥后期強度；C3A主要對1d、3d等早期強度影響大；C4AF對水泥強度無較大的影響。因此，合理、穩(wěn)定的礦物組成是確保水泥強度及其增長率的重要因素。水泥中SO3含量主要來源于石膏，其含量的變化影響硅酸鹽水泥的水化，尤其是C3A的早期水化?；旌喜牡膿饺肓繉λ嘈阅苡幸欢ǖ挠绊懀捎脽Я咳〈沂瘬饺肓孔鳛樘卣鬏^直觀。粉磨細度對水泥各齡期強度有一定的影響，粉磨越細、顆粒級配越窄，水泥水化反應速度越快，強度越高，尤其對早期強度的影響最為顯著。樣本數(shù)據(jù)包括某廠12個月759組P·O42.5數(shù)據(jù)，部分數(shù)據(jù)見表1。表1樣本原始數(shù)據(jù)模型選取細度、比表面積、初凝、終凝、燒失量、CaO、SO3、1d抗壓強度共計8個參數(shù)作為輸入特征參數(shù)，3d抗壓強度及28d抗壓強度分別作為3d及28d強度預測神經(jīng)網(wǎng)絡輸出特征進行模型辨識。數(shù)據(jù)預處理主要包括誤差處理和數(shù)據(jù)變換，由于樣本數(shù)據(jù)有不同的工程單位，且在數(shù)值上相差很大，直接使用這些未經(jīng)過數(shù)據(jù)變換（歸一化）的原始數(shù)據(jù)容易引起計算誤差增大和計算的不確定，影響學習速度及精度，為了加快神經(jīng)網(wǎng)絡的學習速度和模型精度，樣本數(shù)據(jù)必須經(jīng)過歸一化處理才能作為訓練樣本輸入。歸一化使用sklearn的MinMaxScaler函數(shù)進行[0，1]區(qū)間的歸一。需要重點說明數(shù)據(jù)歸一化在深度學習中在實踐過程中發(fā)現(xiàn)十分關鍵，直接影響模型精度，不可忽視。計算公式如下：3、神經(jīng)網(wǎng)絡模型訓練及預測Momentum（動量）算法是計算梯度的指數(shù)加權平均數(shù)，并利用該值來更新參數(shù)值，可有效解決局部最優(yōu)問題（如鞍點問題）。RMSProp（RootMeanSquareProp）算法是在對梯度進行指數(shù)加權平均的基礎上，引入平方和平方根，有助于減少抵達最小值路徑上的擺動，并允許使用一個更大的學習率，從而加快算法學習速度。Adam是一種可以替代傳統(tǒng)隨機梯度下降過程的一階優(yōu)化算法，它能基于訓練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡權重，可以看作是修正后的Momentum+RMSProp算法，相對傳統(tǒng)的SGD隨機梯度下降優(yōu)化器，Adam對超參數(shù)的魯棒性更好。Nadam類似于帶有Nesterov動量項的Adam。公式如下：一般而言，在想使用帶動量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

全連接神經(jīng)網(wǎng)絡包括輸入層、隱含層及輸出層，具備前向傳播計算損失及反向傳播更新參數(shù)的特性，其結構圖如圖2所示。圖2全連接神經(jīng)網(wǎng)絡結構圖全連接神經(jīng)網(wǎng)絡具有前向傳播與反向傳播性能，前向傳播每層經(jīng)過線性計算和激活函數(shù)計算網(wǎng)絡輸出，反向傳播采用優(yōu)化算法進行模型參數(shù)更新，相對于BP網(wǎng)絡采用梯度下降（SGD）算法進行模型參數(shù)更新帶來的梯度爆炸或消失（即在梯度函數(shù)上出現(xiàn)的以指數(shù)級遞增或者遞減的情況）等問題，本文采用Relu激活函數(shù)及Nadam優(yōu)化算法可有效解決上述問題。基于Nadam優(yōu)化器的水泥強度預測全連接神經(jīng)網(wǎng)絡模型包括一個輸入層（8節(jié)點）、隱含層1（256個節(jié)點）、BN層、隱含層2（128個節(jié)點）、BN層、隱含層3（128個節(jié)點）、DropOut（128個節(jié)點）、輸出層（1個節(jié)點）。隱含層使用Relu作為激活函數(shù)，輸出層使用Linear作為激活函數(shù)，模型損失函數(shù)采用mse（均方誤差），學習率設置為0.001，迭代次數(shù)設置為5?000。將數(shù)據(jù)集的90%用于訓練，10%用于測試。訓練結果見圖3。圖3模型訓練結果3d抗壓強度訓練集數(shù)據(jù)預測曲線如圖4所示。圖4基于Nadam優(yōu)化器的訓練集數(shù)據(jù)3d強度預測曲線3d抗壓強度測試集數(shù)據(jù)預測曲線如圖5所示。圖5基于Nadam優(yōu)化器的測試集數(shù)據(jù)3d強度預測曲線模型的損失（均方誤差）分別為：訓練集=0.000?59，測試集=0.048。測試集數(shù)據(jù)預測絕對誤差在0.017~2.14之間，測試集數(shù)據(jù)預測相對誤差在0.061%~7.47%之間。28d抗壓強度訓練集數(shù)據(jù)預測曲線如圖6所示。圖6基于Nadam優(yōu)化器的訓練集數(shù)據(jù)28d強度預測曲線28d抗壓強度測試集數(shù)據(jù)預測曲線如圖7所示。圖7基于Nadam優(yōu)化器的測試集數(shù)據(jù)28d強度預測曲線模型的損失（均方誤差）分別為：訓練集=0.000?73，測試集=0.048。測試集數(shù)據(jù)預測絕對誤差在0.02~1.62之間，測試集數(shù)據(jù)預測相對誤差在0.04%~3.57%之間。采用SGD隨機梯度優(yōu)化器的28d抗壓強度預測模型訓練及測試結果見圖8及圖9。圖8基于SGD優(yōu)化器的訓練集數(shù)據(jù)28d強度預測曲線圖9基于SGD優(yōu)化器的測試集數(shù)據(jù)28d強度預測曲線Nadam與SGD優(yōu)化器28d強度預測模型對比見表2，由于訓練集模型均方誤差分別為0.000?73及0.021，可見Nadam模型精度明顯優(yōu)于SGD模型。表2Nadam與SGD優(yōu)化器28d強度預測模型數(shù)據(jù)對比4、結