《一種基于長(zhǎng)短期記憶LSTM的神經(jīng)網(wǎng)絡(luò)模型的空氣質(zhì)量預(yù)測(cè)實(shí)證研究》10000字

Ⅲ一種基于長(zhǎng)短期記憶LSTM的神經(jīng)網(wǎng)絡(luò)模型的空氣質(zhì)量預(yù)測(cè)實(shí)證研究摘要隨著城市化和工業(yè)化的快速發(fā)展，空氣污染問題日益突出，空氣質(zhì)量預(yù)測(cè)尤為重要。目前，一些有代表性的研究對(duì)空氣質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)測(cè)和預(yù)報(bào)。例如，周光強(qiáng)等人使用數(shù)值預(yù)測(cè)方法來分析華東地區(qū)的空氣質(zhì)量，但是他們的實(shí)驗(yàn)結(jié)果表明，這種方法很難預(yù)測(cè)非常嚴(yán)重的污染。SANKAR等使用多元線性回歸預(yù)測(cè)空氣質(zhì)量，但實(shí)驗(yàn)結(jié)果表明，線性模型預(yù)測(cè)的準(zhǔn)確性較低且效率較低；PEREZ等用統(tǒng)計(jì)方法預(yù)測(cè)空氣質(zhì)量，實(shí)驗(yàn)結(jié)果證明統(tǒng)計(jì)方法的預(yù)測(cè)精度較低。Wang等使用的改進(jìn)方法的BP神經(jīng)網(wǎng)絡(luò)為空氣質(zhì)量指數(shù)建立了預(yù)測(cè)模型。實(shí)驗(yàn)證明，BP神經(jīng)網(wǎng)絡(luò)收斂緩慢，容易陷入局部最優(yōu)解。YANG等利用相鄰網(wǎng)格的空氣質(zhì)量濃度效應(yīng)建立了預(yù)測(cè)隨機(jī)森林的PM2.5濃度的模型。森林的PM2.5濃度預(yù)測(cè)模型通過實(shí)驗(yàn)過程證明網(wǎng)格劃分過程削弱了后續(xù)空氣質(zhì)量分析的質(zhì)量和效率。從時(shí)間角度來看，這些方法很難建模，且較低的預(yù)測(cè)準(zhǔn)確性是一個(gè)重要問題。由于預(yù)測(cè)精度低，可能會(huì)導(dǎo)致空氣質(zhì)量預(yù)測(cè)結(jié)果出現(xiàn)較大誤差。針對(duì)空氣質(zhì)量研究中預(yù)測(cè)精度低的問題，提出了一種基于長(zhǎng)短期記憶（longshort-termmemory,LSTM）的神經(jīng)網(wǎng)絡(luò)模型。該模型使用諸如MSE，MAE，RMSE和r2的指標(biāo)來測(cè)試LSTM神經(jīng)網(wǎng)絡(luò)和比較模型的預(yù)測(cè)性能。由于北京是一個(gè)空氣污染程度比較嚴(yán)重的城市，因此使用的實(shí)驗(yàn)數(shù)據(jù)集來自一個(gè)美國駐北京大使館五年來的空氣質(zhì)量數(shù)據(jù)，該數(shù)據(jù)報(bào)告了每小時(shí)的天氣和污染水平。LSTM神經(jīng)網(wǎng)絡(luò)與多元線性回歸和回歸模型（SVR）的比較結(jié)果表明，LSTM神經(jīng)網(wǎng)絡(luò)適用于多變量或多輸入的時(shí)間序列的預(yù)測(cè)問題，LSTM神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測(cè)精度，速度快和較強(qiáng)的魯棒性等優(yōu)點(diǎn)。關(guān)鍵詞：空氣質(zhì)量,LSTM神經(jīng)網(wǎng)絡(luò),回歸,預(yù)測(cè)目錄TOC\o"1-3"\h\u1851摘要 .2國內(nèi)外研究現(xiàn)狀及發(fā)展趨勢(shì)時(shí)間序列是按時(shí)間先后順序排列并且內(nèi)部相關(guān)的一組數(shù)據(jù)。通過對(duì)歷史時(shí)間序列的分析，可以在一定程度上對(duì)未來的長(zhǎng)期或短期進(jìn)行準(zhǔn)確的預(yù)測(cè)，從而為生產(chǎn)實(shí)踐帶來更大的收益。迄今為止，人們對(duì)時(shí)間序列的分析和研究工作已經(jīng)擴(kuò)展到氣象、經(jīng)濟(jì)、醫(yī)藥、電力、交通等許多領(lǐng)域。對(duì)于時(shí)間序列的分析具有廣闊的應(yīng)用前景和重大的現(xiàn)實(shí)意義。用于時(shí)間序列分析的模型在早期主要集中于傳統(tǒng)線性模型。這種分析模型比較簡(jiǎn)單、計(jì)算快速。但是，這種傳統(tǒng)線性模型假定了將來值與過去值和隨機(jī)誤差之間存在一定的線性函數(shù)關(guān)系，因此它們通常限于平穩(wěn)的時(shí)間序列研究REF_Ref10250\w\h[5]。隨著研究的逐步深入，線性模型不再能滿足人們的精度要求，無法應(yīng)用于實(shí)際的復(fù)雜應(yīng)用場(chǎng)景，因此出現(xiàn)了非線性模型分析方法，如人工神經(jīng)網(wǎng)絡(luò)、支持向量回歸和遺傳規(guī)劃算法。非線性模型具有強(qiáng)大的學(xué)習(xí)和數(shù)據(jù)處理能力，并且不需要事先假設(shè)數(shù)據(jù)之間存在什么樣的函數(shù)關(guān)系。通過對(duì)大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練，該模型可以自發(fā)地趨近復(fù)雜甚至難以用數(shù)學(xué)公式描述的非線性特征。對(duì)于常規(guī)的人工神經(jīng)網(wǎng)絡(luò)，樣本輸入節(jié)點(diǎn)間是彼此相互離散的，也就是說，網(wǎng)絡(luò)本身并不關(guān)注輸入節(jié)點(diǎn)的時(shí)序關(guān)系，但是這種關(guān)系在某些特定問題中通常是必不可少的，例如對(duì)文本情感分析REF_Ref10338\w\h[6]、污染物監(jiān)測(cè)分析REF_Ref10469\w\h[7,REF_Ref10580\w\h8]、醫(yī)療跟蹤REF_Ref10808\w\h[9]、價(jià)格預(yù)測(cè)REF_Ref10874\w\h[10]等其他問題的分析與前幾個(gè)時(shí)刻的輸入密切相關(guān)。在不同的輸入時(shí)序下，相同的數(shù)據(jù)將獲得完全不同的結(jié)果。為了解決上述問題，人們提出了遞歸神經(jīng)網(wǎng)絡(luò)（RNN），它引入了輸入數(shù)據(jù)的時(shí)間先后順序，并使得分析結(jié)果得到了明顯改善。SaadREF_Ref10874\w\h[10]對(duì)RNN，時(shí)延網(wǎng)絡(luò)和概率網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)比較；Lin等REF_Ref11024\w\h[11]首先使用卷積網(wǎng)絡(luò)提取數(shù)據(jù)的高維特征，然后使用RNN網(wǎng)絡(luò)挖掘數(shù)據(jù)的內(nèi)部時(shí)序特征。這種組合網(wǎng)絡(luò)改善了分類效果，同時(shí)提供了更好的模型可解釋性。然而，傳統(tǒng)的RNN網(wǎng)絡(luò)通常存在梯度消失和梯度爆炸的問題，這極大地限制了長(zhǎng)時(shí)序列預(yù)測(cè)的效果。因此，Hochreiter等REF_Ref11109\w\h[12]提出了一個(gè)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM，即帶有LSTM存儲(chǔ)單元的RNN神經(jīng)網(wǎng)絡(luò)）以有針對(duì)性的方式解決這種問題，極大地提升了分析結(jié)果，并吸引了大量研究人員研究相關(guān)模型的開發(fā)和優(yōu)化。Zhang等REF_Ref11246\w\h[13]和Yang等REF_Ref11389\w\h[14]都使用LSTM網(wǎng)絡(luò)來預(yù)測(cè)海平面溫度（SST）。其中，Zhang等REF_Ref11246\w\h[13]使用LSTM層來挖掘數(shù)據(jù)內(nèi)部間的時(shí)序聯(lián)系，然后通過全連接層將LSTM層的輸出映射到最終的預(yù)測(cè)結(jié)果。Yang等REF_Ref11389\w\h[14]人提出的網(wǎng)絡(luò)結(jié)構(gòu)包括LSTM層和卷積層，將空間信息與數(shù)據(jù)時(shí)間信息同時(shí)使用，這提高了預(yù)測(cè)的精度。Karim等REF_Ref11788\w\h[15]提出了ALSTM-FCN網(wǎng)絡(luò)結(jié)構(gòu)，簡(jiǎn)化了數(shù)據(jù)集的預(yù)處理步驟并提高了分類效果。Zhang等REF_Ref10469\w\h[7]結(jié)合小波變換和LSTM網(wǎng)絡(luò),首先對(duì)變化很劇烈的原始時(shí)間序列數(shù)據(jù)采用小波變換操作，以獲得多個(gè)變化相對(duì)較緩慢的子序列，然后為該子序列建立LSTM網(wǎng)絡(luò)，最終的預(yù)測(cè)結(jié)果為每個(gè)LSTM網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果之和。Liu等REF_Ref11382\w\h[16]的ANR-SAE-VAL-STM模型首先對(duì)原始時(shí)間序列數(shù)據(jù)進(jìn)行去噪,然后從經(jīng)過去噪的數(shù)據(jù)中提取特征，并將其用作VALSTM網(wǎng)絡(luò)的輸入以生成預(yù)測(cè)結(jié)果。它在北京PM2.5和GEFCom2014上的實(shí)驗(yàn)里被證明了網(wǎng)絡(luò)結(jié)構(gòu)的有效性。Zhang等REF_Ref12033\w\h[17]提出了一種LSTM網(wǎng)絡(luò)和SVM的組合結(jié)構(gòu)來預(yù)測(cè)電路故障,LSTM從大規(guī)模電力傳輸數(shù)據(jù)中提取時(shí)間特征。由于SVM具有出色的魯棒性，因此它負(fù)責(zé)生成最終的分類結(jié)果。也有許多研究人員致力于改善LSTM。例如，Cho等REF_Ref12105\w\h[18]提出了GRU，它減少了存儲(chǔ)單元中門的數(shù)量，并減少了參數(shù)數(shù)量，同時(shí)又保證了原始效果。之后Chen等REF_Ref12150\w\h[19]提出了一種基于GRU實(shí)施的基于社交平臺(tái)評(píng)論的預(yù)測(cè)未來股市波動(dòng)的方法；Sun等REF_Ref12183\w\h[20]從LSTM和GRU得到啟發(fā)，并提出使用GM存儲(chǔ)單元網(wǎng)絡(luò)來完成手寫識(shí)別任務(wù)。綜上所述，隨著神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)生活中越來越多的運(yùn)用，針對(duì)較長(zhǎng)時(shí)間序列的預(yù)測(cè)問題中，尤其是對(duì)于解決大型更加復(fù)雜的非線性深度神經(jīng)網(wǎng)絡(luò)模型，首選LSTM是發(fā)展的大趨勢(shì)。相關(guān)技術(shù)介紹2.1深度學(xué)習(xí)（deeplearning）深度學(xué)習(xí)（也稱為分層學(xué)習(xí)）是基于數(shù)據(jù)學(xué)習(xí)表示的更廣泛的機(jī)器學(xué)習(xí)方法的一部分。它具有多層神經(jīng)網(wǎng)絡(luò)，信息向量在神經(jīng)元之間傳遞和轉(zhuǎn)換。上一層神經(jīng)元輸出的信息向量將成為輸入信息，并傳輸?shù)较乱粚由窠?jīng)元結(jié)構(gòu)。深度學(xué)習(xí)分為三類：監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)REF_Ref24468\w\h[21]。深度學(xué)習(xí)架構(gòu)（例如深度神經(jīng)網(wǎng)絡(luò)，深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)）已應(yīng)用于計(jì)算機(jī)視覺，語音識(shí)別，自然語言處理，音頻識(shí)別，社交網(wǎng)絡(luò)過濾，機(jī)器翻譯，生物信息學(xué)，藥物設(shè)計(jì)，醫(yī)學(xué)圖像分析等其他領(lǐng)域，它們產(chǎn)生的結(jié)果可以與人類專家媲美，在某些情況下還比人類專家更好。傳統(tǒng)的表示學(xué)習(xí)很難從原始數(shù)據(jù)中提取高級(jí)特征或抽象特征，但是深度學(xué)習(xí)解決了這個(gè)問題，并且可以簡(jiǎn)單，直接地呈現(xiàn)復(fù)雜的應(yīng)用場(chǎng)景。與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，傳統(tǒng)機(jī)器學(xué)習(xí)的特征提取步驟需要手動(dòng)完成，不僅效率低下，執(zhí)行時(shí)間長(zhǎng)，而且需要大量領(lǐng)域?qū)I(yè)知識(shí)；深度學(xué)習(xí)注重于自動(dòng)學(xué)習(xí)功能，將學(xué)習(xí)到的規(guī)律性轉(zhuǎn)移到更深層的網(wǎng)絡(luò)組合中，把更簡(jiǎn)單些的模型組合到一起，并將數(shù)據(jù)從一層轉(zhuǎn)移到另一層以構(gòu)建更復(fù)雜的模型。通過訓(xùn)練大量的數(shù)據(jù)，可以區(qū)分和簡(jiǎn)化不同類型的問題，可以提取更復(fù)雜的特征，并且可以自動(dòng)得出廣泛化模型，而無需人工提取特征，這不僅提高了效率，而且大大縮短了模型生成的時(shí)間。深度學(xué)習(xí)與機(jī)器學(xué)習(xí)對(duì)比圖如下圖2-1所示。圖2-1深度學(xué)習(xí)與機(jī)器學(xué)習(xí)對(duì)比圖2.2時(shí)間序列（timeseries）時(shí)間序列是按時(shí)間先后順序出現(xiàn)的數(shù)據(jù)點(diǎn)。時(shí)間間隔可以是不確定的，也可以是固定的。因此，時(shí)間序列不是連續(xù)數(shù)據(jù)。例如，大氣環(huán)流速度，細(xì)胞分裂數(shù)和未來的天氣狀況等離散數(shù)據(jù)REF_Ref24977\w\h[22]。時(shí)間序列可用于許多領(lǐng)域，例如計(jì)算機(jī)科學(xué)、歷史、醫(yī)學(xué)、氣象、軍事科學(xué)、管理學(xué)等，并且它主要用于涉及時(shí)間測(cè)量的任何應(yīng)用科學(xué)和工程領(lǐng)域REF_Ref25118\w\h[23]。時(shí)間序列分析主要分析序列的潛在特征，并通過此特征來預(yù)測(cè)未來的時(shí)間序列。時(shí)間序列預(yù)測(cè)是使用獲取的數(shù)據(jù)去預(yù)測(cè)未來一段時(shí)間內(nèi)的數(shù)據(jù)?；貧w分析通常用于檢驗(yàn)理論，即考慮兩個(gè)序列的當(dāng)前值之間的關(guān)系和影響。時(shí)間序列數(shù)據(jù)具有自然的時(shí)間順序，這使得時(shí)間序列分析與橫斷面研究不同REF_Ref25219\w\h[24]，不需要時(shí)間的自然順序（例如，通過參考人們的個(gè)人學(xué)習(xí)經(jīng)歷來解釋人們的工資，其中他們的健康就沒有時(shí)間上的先后排列）。時(shí)間序列分析不同于空間數(shù)據(jù)分析，有必要觀察地理位置（例如，根據(jù)城市和距中心區(qū)域的距離來計(jì)算本地房?jī)r(jià)）。時(shí)間序列隨機(jī)模型的觀測(cè)結(jié)果它比單個(gè)觀測(cè)具有更強(qiáng)的泛化能力，此外，時(shí)間序列模型通常遵循時(shí)間的單向自然順序，并且僅受流逝的時(shí)間序列的影響，與未來的時(shí)間序列無關(guān)。當(dāng)空氣質(zhì)量預(yù)測(cè)模型中的初始值和預(yù)測(cè)值之間的特征關(guān)系逐漸變得清晰時(shí)，將從動(dòng)態(tài)角度結(jié)合空間和地理因素研究空氣質(zhì)量。許多研究證明，空氣質(zhì)量或人們過去簡(jiǎn)單地稱為天氣模型是一種混沌的時(shí)間序列模型REF_Ref25598\w\h[25]。它是自然產(chǎn)生的并具有無序性，但是當(dāng)它與過去的數(shù)據(jù)關(guān)聯(lián)時(shí)，它會(huì)顯示出有序性，這表明人們可以通過適當(dāng)?shù)姆椒▽?duì)其進(jìn)行預(yù)測(cè)。從隨機(jī)時(shí)間序列的角度分析序列的平穩(wěn)性。假設(shè)存在一個(gè)平穩(wěn)的時(shí)間序列Y1Y2Y3Y4...Yt，則它具有以下特征：每個(gè)平穩(wěn)的時(shí)間序列Y之間都具有固定的時(shí)間間隔，因此，它們之間的協(xié)方差之間沒有時(shí)間相關(guān)性。另外，Y是隨機(jī)分布的序列，并且均值和方差沒有時(shí)間相關(guān)性，并且是一個(gè)固定值。以上就是平穩(wěn)時(shí)間序列的特征。2.3循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrentneuralnetworks）RNN是一種非常強(qiáng)大的算法，可以對(duì)數(shù)據(jù)（尤其是時(shí)間序列和文本）進(jìn)行分類、聚類和預(yù)測(cè)。RNN可以看作是在體系結(jié)構(gòu)中添加了環(huán)路的MLP網(wǎng)絡(luò)。在圖2-2中，你可以看到有一個(gè)輸入層（包含X1，X2之類的節(jié)點(diǎn)），一個(gè)隱藏層（包含h1，h2之類的節(jié)點(diǎn)）和一個(gè)輸出層（包含y1，y2之類的節(jié)點(diǎn)）），類似于MLP體系結(jié)構(gòu)。區(qū)別在于隱藏層的節(jié)點(diǎn)相互連接。在普通的RNN中，節(jié)點(diǎn)沿一個(gè)方向連接，這意味著h2取決于h1，h3取決于h2。隱藏層中的節(jié)點(diǎn)由隱藏層中的上一個(gè)節(jié)點(diǎn)所決定REF_Ref25967\w\h[26]。RNN公式可以表示為式中：wxh是輸入到隱層的矩陣參數(shù)；whh是隱層到到隱層的矩陣參數(shù)；bh為隱層的偏置向量（bias）參數(shù)；σ可以為Sigmoid，tanh或ReLU函數(shù)。圖2-2RNN結(jié)構(gòu)REF_Ref25967\w\h[26]2.4長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM，longshort-termmemory）RNN神經(jīng)網(wǎng)絡(luò)在處理長(zhǎng)時(shí)序列時(shí)容易出現(xiàn)爆炸梯度REF_Ref26127\w\h[27]的問題，其準(zhǔn)確性通常要差一些。為了解決這個(gè)問題，Hochreiter等REF_Ref11109\w\h[12]首先引入了LSTM，并成為成功的體系結(jié)構(gòu)。LSTM神經(jīng)網(wǎng)絡(luò)是RNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的一種變體。其主要思想是引入自適應(yīng)門控機(jī)制，該機(jī)制決定LSTM單元保持先前狀態(tài)的程度并記住當(dāng)前數(shù)據(jù)輸入的提取特征。盡管已經(jīng)提出了許多LSTM變體，但LSTMREF_Ref26891\w\h[28,REF_Ref26901\w\h29]的標(biāo)準(zhǔn)架構(gòu)仍用于空氣質(zhì)量模型預(yù)測(cè)。圖2-3顯示了帶有門的LSTM[30]存儲(chǔ)單元。通常，LSTM的遞歸神經(jīng)網(wǎng)絡(luò)由以下組件組成：輸入門it具有對(duì)應(yīng)的權(quán)重矩陣wxi，whi，wci，bi；遺忘門ft具有對(duì)應(yīng)的權(quán)重矩陣wxf，whf，wcf，bf；輸出門ot具有對(duì)應(yīng)的權(quán)重矩陣wxo，who，wco，bo。輸入門的功能是有選擇地將新信息記錄到細(xì)胞狀態(tài)中。遺忘門的功能是在單元狀態(tài)下有選擇地遺忘信息。輸出門的功能是輸出細(xì)胞的一些信息。所有這些門均設(shè)置為使用電流輸入xi生成一定的度數(shù)，在上一步中生成的狀態(tài)hi-1以及此單元ci-1的當(dāng)前狀態(tài)（窺視孔），用于確定是否接受輸入并忘記先前的存儲(chǔ)內(nèi)存，然后輸出稍后生成的狀態(tài)。圖2-3帶有門的LSTM存儲(chǔ)單元REF_Ref27097\w\h[30]2.5TensorFlow介紹TensorFlow是一個(gè)開源軟件庫，基于數(shù)據(jù)流程圖和跨越一系列任務(wù)的可區(qū)分編程。它是GoogleBrain團(tuán)隊(duì)開發(fā)的第二代系統(tǒng)，并于2015年11月9日根據(jù)Apache2.0開源許可發(fā)布。TensorFlow支持從大到臺(tái)式機(jī)，GPU和CPU到平板電腦和手機(jī)的多種設(shè)備，開發(fā)人員都可以使用它。此外，該平臺(tái)還具有許多內(nèi)置的機(jī)器學(xué)習(xí)模型，使用戶可以隨意選擇最合適的模型，而不必?fù)?dān)心如何實(shí)現(xiàn)底層代碼。TensorFlow支持多種開發(fā)語言。當(dāng)前，被普遍使用的是Python，其他語言如JavaScript，C++，Java，Go和Swift也逐漸被廣泛使用。TensorFlow的名稱早已體現(xiàn)了它的兩個(gè)重要概念：Tensor“張量”和Flow“流”。它是一個(gè)編程系統(tǒng)，以計(jì)算圖的形式來表述。該模型的實(shí)現(xiàn)主要分為三個(gè)步驟：構(gòu)造數(shù)據(jù)流圖，選擇和訓(xùn)練模型以及應(yīng)用模型。其中，TensorFlow的輸入“張量”包括輸入變量，模型中的變量和其他變量。TensorFlow它具有以下優(yōu)點(diǎn)：（1）高靈活性，TensorFlow不是嚴(yán)格的“神經(jīng)網(wǎng)絡(luò)”庫。你只需要確定適當(dāng)?shù)膹埩亢瓦^程即可構(gòu)建自己的神經(jīng)網(wǎng)絡(luò)模型，并且可以使用體系結(jié)構(gòu)中現(xiàn)成的工具來構(gòu)建自己的“上層庫”。并可以迎合自己的創(chuàng)造力，編寫出獨(dú)特的整合操作。底層數(shù)據(jù)庫也可以通過C++編碼添加。（2）可移植性，TensorFlow支持多種設(shè)備，并且可以在臺(tái)式機(jī)，GPU，CPU，平板電腦，移動(dòng)電話和其他設(shè)備上同時(shí)運(yùn)行，而無需修改代碼。訓(xùn)練后的模型可以直接應(yīng)用于移動(dòng)應(yīng)用端app或云服務(wù)服務(wù)器。（3）科學(xué)研究和產(chǎn)品聯(lián)系在一起。開發(fā)人員可以直接通過TensorFlow將科學(xué)研究中的新思想直接應(yīng)用于產(chǎn)品，并將其直接提供給在線用戶，從而提高代碼共享的效率并提高科學(xué)研究的產(chǎn)出率。（4）TensorFlow支持多語言，具有C++的界面和易于使用的python界面。此外，還可以使用其他語言來創(chuàng)建用戶界面，例如Go，Java，Lua，JavaScript或R.（５）性能最優(yōu)化。TensorFlow可以協(xié)調(diào)和管理線程，隊(duì)列和異步操作，從而可以充分利用硬件的性能，并將計(jì)算元素分配給設(shè)備的各個(gè)方面以提高操作效率。本文使用了TensorFlow平臺(tái)作為算法支撐。

3.基于LSTM網(wǎng)絡(luò)預(yù)測(cè)的研究方案本課題是基于LSTM網(wǎng)絡(luò)的空氣質(zhì)量預(yù)測(cè)，對(duì)該課題的研究就是建立LSTM預(yù)測(cè)模型。LSTM預(yù)測(cè)模型由導(dǎo)入庫并讀取查看數(shù)據(jù)、數(shù)據(jù)預(yù)處理、建立模型并訓(xùn)練、模型預(yù)測(cè)并可視化四部分構(gòu)成。導(dǎo)入庫并讀取查看數(shù)據(jù)。本課題數(shù)據(jù)集使用的是一個(gè)五年來美國駐中國北京大使館每小時(shí)報(bào)告天氣和污染水平的數(shù)據(jù)集。將所給原始數(shù)據(jù)導(dǎo)入庫并讀取查看數(shù)據(jù)。數(shù)據(jù)預(yù)處理。在實(shí)際實(shí)驗(yàn)中，待分析的時(shí)間序列時(shí)候往往會(huì)比較粗糙，由于人為原因或者機(jī)器系統(tǒng)問題，往往會(huì)存在很多的異常數(shù)據(jù)或者缺失值，數(shù)據(jù)之間的特征不明顯或者關(guān)聯(lián)性過低，但是數(shù)據(jù)的準(zhǔn)確性與真是性對(duì)飾演的結(jié)果起了決定性的作用，所以為了提高計(jì)算的效率，減少冗余的計(jì)算步驟，經(jīng)常會(huì)對(duì)數(shù)據(jù)進(jìn)行必要的處理，比如清理，實(shí)例選擇，規(guī)范化，轉(zhuǎn)換，特征提取和零均值處理等。對(duì)數(shù)據(jù)的預(yù)處理包括以下步驟：定義讀取格式、丟棄編號(hào)列、更改列名、把所有NA值用0替換、丟棄前24小時(shí)、將預(yù)測(cè)數(shù)據(jù)PM2.5列放到最后一列、整理好的數(shù)據(jù)顯示。建立模型并訓(xùn)練。建立模型包括以下幾個(gè)步驟：為L(zhǎng)STM模型做數(shù)據(jù)準(zhǔn)備、在多變量輸入數(shù)據(jù)上擬合LSTM模型、將輸入變量轉(zhuǎn)變成LSTMs需要的三維格式、定義和擬合LSTM模型、LSTM模型訓(xùn)練。在定義和擬合LSTM模型過程中，確定隱藏層和輸入層神經(jīng)元個(gè)數(shù)，選擇合適的損失函數(shù)和優(yōu)化算法。最后，記錄訓(xùn)練集和測(cè)試集的損失，并在完成訓(xùn)練和測(cè)試后繪制損失圖。模型預(yù)測(cè)并可視化。進(jìn)行模型預(yù)測(cè)并可視化后，可以從輸出的圖形中看到真實(shí)輸出、測(cè)試數(shù)據(jù)的預(yù)測(cè)輸出。建立LSTM預(yù)測(cè)模型的流程圖如圖3-1所示。圖3-1LSTM預(yù)測(cè)模型流程圖

4.基于LSTM網(wǎng)絡(luò)的空氣質(zhì)量預(yù)測(cè)的研究與分析4.1導(dǎo)入庫并讀取查看數(shù)據(jù)本課題數(shù)據(jù)集使用的是一個(gè)五年來美國駐中國北京大使館每小時(shí)報(bào)告天氣和污染水平的數(shù)據(jù)集BeijingPM2.5DataSet。這些數(shù)據(jù)包括日期時(shí)間、被稱為PM2.5濃度的污染，以及包括露點(diǎn)、溫度、氣壓、風(fēng)向、風(fēng)速和累計(jì)雨雪時(shí)數(shù)等天氣信息。原始數(shù)據(jù)中完整的特征列表如下表4-1:表4-1原始數(shù)據(jù)中完整的特征列表NO行號(hào)year該行記錄的年month該行記錄的月day該行記錄的日hour該行記錄的小時(shí)PM2.5PM2.5濃度(細(xì)顆粒物指環(huán)境空氣中空氣動(dòng)力學(xué)當(dāng)量直徑小于等于2.5微米的顆粒物。它能較長(zhǎng)時(shí)間懸浮于空氣中，其在空氣中含量濃度越高，就代表空氣污染越嚴(yán)重)DEWP露點(diǎn)(又稱露點(diǎn)溫度(Dewpointtemperature)，在氣象學(xué)中是指在固定氣壓之下，空氣中所含的氣態(tài)水達(dá)到飽和而凝結(jié)成液態(tài)水所需要降至的溫度)TEMP溫度PRES大氣壓力cbwd組合風(fēng)向lws累計(jì)風(fēng)速ls累計(jì)小時(shí)下雪量lr累計(jì)小時(shí)下雨量下面是原始數(shù)據(jù)集的前幾行，如下圖4-2所示。圖4-2原始數(shù)據(jù)前幾行至此，這些數(shù)據(jù)還不能使用。我們必須先做好準(zhǔn)備，將其導(dǎo)入Spyder中并顯示出來。在經(jīng)過如圖4-3所示代碼實(shí)現(xiàn)導(dǎo)入模塊、定義讀取格式后得到的數(shù)據(jù)如下圖4-4所示。圖4-3實(shí)現(xiàn)導(dǎo)入模塊、定義讀取格式的代碼圖4-4導(dǎo)入庫并讀取查看數(shù)據(jù)所得圖4.2數(shù)據(jù)預(yù)處理在上述導(dǎo)入庫并讀取查看數(shù)據(jù)后，接下來就是對(duì)數(shù)據(jù)進(jìn)行處理以便于數(shù)據(jù)分析。可以看到日期和時(shí)間是分開的，第一步把日期時(shí)間合并為一個(gè)datetime，以便將其作為Pandas里的索引?？磾?shù)據(jù)表可知，第一個(gè)24小時(shí)里，PM2.5這一列有很多空值。因此，我們把第一個(gè)24小時(shí)里的數(shù)據(jù)行刪掉。剩余的數(shù)據(jù)里面也有少部分空值，為了保持?jǐn)?shù)據(jù)完整性和連續(xù)性，只要將空值填補(bǔ)為0即可。在經(jīng)過如圖4-5所示代碼實(shí)現(xiàn)丟棄編號(hào)列、更改列名、把所有NA值用0替換、丟棄前24小時(shí)、將所預(yù)測(cè)數(shù)據(jù)PM2.5放到最后一列后得到的數(shù)據(jù)如圖4-6所示。圖4-5實(shí)現(xiàn)丟棄編號(hào)列、更改列名、把所有NA值用0替換、丟棄前24小時(shí)、將所預(yù)測(cè)數(shù)據(jù)PM2.5放到最后一列的代碼圖4-6數(shù)據(jù)預(yù)處理后得到的數(shù)據(jù)圖至此已經(jīng)得到了易于使用的數(shù)據(jù)形式，接下來看看空氣污染時(shí)間序列的線性圖。經(jīng)過如圖4-7所示代碼實(shí)現(xiàn)加載數(shù)據(jù)集、指定要繪制的列、繪制每一列后得到的線性圖如圖4-8、4-9所示。圖4-7實(shí)現(xiàn)加載數(shù)據(jù)集、指定要繪制的列、繪制每一列的代碼圖4-8露點(diǎn)、溫度、大氣壓力、組合風(fēng)向的時(shí)間序列線性圖圖4-9累計(jì)小時(shí)下雪量、累計(jì)小時(shí)下雨量、PM2.5濃度的時(shí)間序列線性圖時(shí)間序列線性圖4-8、4-9展示出每一特征的分布圖表，是數(shù)據(jù)在圖表中的一種展現(xiàn)形式。再創(chuàng)建每一特征的相關(guān)性圖，得到每一特征的相關(guān)性圖如圖4-10所示。圖4-10每一特征的相關(guān)性圖圖4-10展示的是每一特征之間的相關(guān)性。4.3建立模型并訓(xùn)練經(jīng)過上述數(shù)據(jù)預(yù)處理后，接著就可以開始建立LSTM模型了。第一步為L(zhǎng)STM模型準(zhǔn)備數(shù)據(jù)。將數(shù)據(jù)集構(gòu)建為監(jiān)督學(xué)習(xí)問題，并且對(duì)輸入變量進(jìn)行標(biāo)準(zhǔn)化得到如圖4-11所示數(shù)據(jù)圖。圖4-11數(shù)據(jù)圖圖4-11所展示出的數(shù)據(jù)就是為L(zhǎng)STM模型所準(zhǔn)備好的數(shù)據(jù)。為L(zhǎng)STM模型準(zhǔn)備好數(shù)據(jù)后就可以在多變量輸入數(shù)據(jù)上擬合LSTM模型了。這一步是將數(shù)據(jù)分割為訓(xùn)練集和測(cè)試集，然后將訓(xùn)練集和測(cè)試集分別拆分為輸入和輸出變量。最后將輸入變量轉(zhuǎn)變成LSTMs需要的三維格式（即樣例、時(shí)間步、特征）。所執(zhí)行的代碼如圖4-12所示，圖4-12在多變量輸入數(shù)據(jù)上擬合LSTM模型的代碼執(zhí)行圖4-12所示代碼后，訓(xùn)練和測(cè)試的數(shù)據(jù)劃分為：42000小時(shí)的數(shù)據(jù)用于訓(xùn)練，1799小時(shí)的數(shù)據(jù)用于測(cè)試。現(xiàn)在就可以開始定義和擬合LSTM模型了。學(xué)習(xí)率函數(shù)取每隔100個(gè)epoch，學(xué)習(xí)率減小為原來的1/10。LSTM模型的構(gòu)成：兩個(gè)LSTM層（第一個(gè)LSTM層有500個(gè)神經(jīng)元，第二個(gè)LSTM層有256個(gè)神經(jīng)元）、兩個(gè)drop層（drop比率為0.1）、一個(gè)普通神經(jīng)網(wǎng)絡(luò)層（64個(gè)神經(jīng)元）、激活函數(shù)（用的relu函數(shù)）、損失函數(shù)（用的mae函數(shù)）、優(yōu)化器（用的Adam）、一個(gè)輸出層。該模型訓(xùn)練100次，批量大小為200。建立LSTM模型的關(guān)鍵代碼如下圖4-13所示，LSTM模型結(jié)構(gòu)如下圖4-14所示。圖4-13定義和擬合LSTM模型的關(guān)鍵代碼圖4-14LSTM模型結(jié)構(gòu)LSTM模型建立好后就可以進(jìn)行訓(xùn)練了。訓(xùn)練過程中的多元LSTM的訓(xùn)練和測(cè)試損失趨勢(shì)線便可以繪制出來了，如圖4-15所示。圖4-15訓(xùn)練過程中多元LSTM的訓(xùn)練和測(cè)試損失的線圖圖4-15展示出多元LSTM訓(xùn)練過程中的訓(xùn)練損失和測(cè)試損失。4.4模型預(yù)測(cè)并可視化在經(jīng)過代碼實(shí)現(xiàn)做出預(yù)測(cè)、計(jì)算預(yù)測(cè)指標(biāo)后得出預(yù)測(cè)評(píng)價(jià)指標(biāo)如下：MSE=0.003;MAE=0.029;RMSE=0.056;r2=0.927然后在經(jīng)過如圖4-16所示代碼實(shí)現(xiàn)反向縮放預(yù)測(cè)值、反向縮放實(shí)際值、繪圖后得到PM2.5的真實(shí)值與預(yù)測(cè)值的圖，如圖4-17所示。圖4-16實(shí)現(xiàn)反向縮放預(yù)測(cè)值、反向縮放實(shí)際值、繪圖的代碼圖4-17PM2.5的真實(shí)值與預(yù)測(cè)值圖4-17展示出的是LSTM模型訓(xùn)練完后對(duì)PM2.5濃度作出的預(yù)測(cè)值和真實(shí)值的曲線圖。4.5結(jié)果與分析上述通過建立LSTM網(wǎng)絡(luò)預(yù)測(cè)模型，利用訓(xùn)練得到的模型對(duì)空氣質(zhì)量的PM2.5濃度進(jìn)行預(yù)測(cè)，根據(jù)課題的目的（針對(duì)已有的空氣質(zhì)量數(shù)據(jù)，采用深度LSTM網(wǎng)絡(luò)模型，根據(jù)前幾個(gè)小時(shí)的空氣質(zhì)量數(shù)據(jù)預(yù)測(cè)未來一小時(shí)的空氣污染情況）可知，在建立的LSTM模型得到的結(jié)果中，預(yù)測(cè)評(píng)價(jià)指標(biāo)中MSE、MAE、RMSE越接近0，r2越接近1，則表示模型預(yù)測(cè)得到的PM2.5的濃度真實(shí)值與預(yù)測(cè)值越接近，即在如上圖4-15的曲線圖中，模型預(yù)測(cè)得到的PM2.5的濃度值的預(yù)測(cè)值曲線越趨近真實(shí)值曲線。要想得到更趨近于0的預(yù)測(cè)評(píng)價(jià)指標(biāo)MSE、MAE、RMSE，更趨于1的預(yù)測(cè)評(píng)價(jià)指標(biāo)r2，就要不斷調(diào)整LSTM模型中的參數(shù)（神經(jīng)元個(gè)數(shù)、網(wǎng)絡(luò)層數(shù)、batchsize、epoch等）。取不同的模型參數(shù)所得到的預(yù)測(cè)評(píng)價(jià)指標(biāo)就不同，當(dāng)我取如圖4-19所示的LSTM模型2參數(shù)時(shí)，記圖4-14模型結(jié)構(gòu)為L(zhǎng)STM模型1，則LSTM模型1與LSTM模型2的參數(shù)對(duì)比如表4-18所示，表4-18LSTM模型1與LSTM模型2的參數(shù)對(duì)比神經(jīng)元個(gè)數(shù)bitchsizeepoch網(wǎng)絡(luò)層數(shù)LSTM模型1500,256,642001002,1LSTM模型250,256,641001002,1圖4-19LSTM模型2結(jié)構(gòu)所得到的預(yù)測(cè)評(píng)價(jià)指標(biāo)為:MSE=0.003;MAE=0.031;RMSE=0.058;r2=0.922相應(yīng)的訓(xùn)練過程中的多元LSTM的訓(xùn)練和測(cè)試損失趨勢(shì)線如下圖4-20所示、圖4-20訓(xùn)練過程中多元LSTM的訓(xùn)練和測(cè)試損失的線圖從圖4-20所展示的多元LSTM訓(xùn)練過程中訓(xùn)練損失和測(cè)試損失曲線可以看出，LSTM模型2訓(xùn)練過程中測(cè)試損失低于訓(xùn)練損失，即LSTM模型2可能過度擬合訓(xùn)練數(shù)據(jù)。PM2.5的真實(shí)值與預(yù)測(cè)值的圖則如下圖4-21所示。圖4-21PM2.5的真實(shí)值與預(yù)測(cè)值上述LSTM模型2預(yù)測(cè)評(píng)價(jià)指標(biāo)（MSE、MAE、RMSE、r2）、訓(xùn)練過程中的多元LSTM的訓(xùn)練和測(cè)試損失趨勢(shì)線和PM2.5的真實(shí)值與預(yù)測(cè)值的圖與LSTM模型1的相對(duì)比可知，這組LSTM模型2參數(shù)選取的沒有LSTM模型2的參數(shù)選取的好。由以上分析可知，在LSTM模型中參數(shù)選取的越合適，模型所預(yù)測(cè)出的值就越越趨近與真實(shí)值。5.總結(jié)與展望5.1總結(jié)首先我們介紹了基于LSTM網(wǎng)絡(luò)的空氣質(zhì)量預(yù)測(cè)這一課題的研究背景及意義；接著我對(duì)課題的相關(guān)技術(shù)做了簡(jiǎn)單介紹；第三部分簡(jiǎn)單介紹了我對(duì)該課題的研究方案；接著根據(jù)上述研究方案，進(jìn)行了數(shù)據(jù)集導(dǎo)入庫并查看數(shù)據(jù)、數(shù)據(jù)預(yù)處理、建立模型并訓(xùn)練、模型預(yù)測(cè)并可視化后得到結(jié)果并分析，我所訓(xùn)練的模型中測(cè)試集的預(yù)測(cè)評(píng)價(jià)指標(biāo)最好的一組是MSE=0.003、MAE=0.029、RMSE=0.056、r2=0.927.5.2展望雖然對(duì)于本篇論文所研究的課題，已經(jīng)盡可能的對(duì)數(shù)據(jù)，特征，代碼的實(shí)現(xiàn)和修正進(jìn)行了研究，由于本人能力有限，文章中還存在需要優(yōu)化和改進(jìn)的部分，主要從以下幾點(diǎn)進(jìn)行說明：首先是本文數(shù)據(jù)的獲取是已給定的一個(gè)五年來美國駐中國北京大使館每小時(shí)報(bào)告天氣和污染水平的數(shù)據(jù)集。數(shù)據(jù)是以一天24小時(shí)每小時(shí)作為記錄，因此數(shù)據(jù)的質(zhì)量不是非常高，在以后進(jìn)行的研究可以基于半小時(shí)進(jìn)行采樣和記錄，這樣數(shù)據(jù)的質(zhì)量會(huì)更高一些，預(yù)測(cè)系統(tǒng)的搭建會(huì)更加完善一些。其次，在本文對(duì)于特征維度的選取過程中，選擇的是PM2.5的濃度，后續(xù)還可以考慮一些大氣主要污染物相關(guān)的維度，如二氧化硫SO2、氮氧化物NOX等一些指標(biāo)，關(guān)聯(lián)到空氣質(zhì)量指數(shù)中，以進(jìn)行更深層次的數(shù)據(jù)關(guān)系的探討；并且在本文中，我們的目標(biāo)值是PM2.5的濃度，我們進(jìn)行的是回歸，當(dāng)然我們有PM2.5濃度的數(shù)值，也能得出他所在的級(jí)別，根據(jù)我們的數(shù)據(jù)維度，也可以考慮對(duì)等級(jí)進(jìn)行分類預(yù)測(cè)。最后就是在模型的訓(xùn)練過程中，對(duì)于模型的參數(shù)調(diào)整的還不夠好，在以后的研究中，可以對(duì)于模型的不同參數(shù)實(shí)現(xiàn)更為詳細(xì)的調(diào)參過程。參考文獻(xiàn)付彥麗.基于神經(jīng)網(wǎng)絡(luò)的PM2.5質(zhì)量濃度預(yù)測(cè)研究[D].陜西西安:陜西科技大學(xué),2016.PEREZVA,ARASAR,CODINAB,etal.Enhancingairqualityforecastsovercatalonia(spain)usingmodeloutputstatics[J].JournalofGeoscienceandEnvironmentProtection,2015,3(8):9-22.CHENJianjun,LUJin,AVISEJC,etal.SeasonalmodelingofPM2.5incalifornia’ssanjoaquinvalley[J].AtmosphericEnvironment,2014,92:182-190.ZHOUGuangqiang,XUJianming,XIEYing,etal.Numericalairqualityforecastingovereasternchina:anoperationalapplicationofwrf-chem[J].AtmosphericEnvironment,2017,153:94-108.SELVINS,VINAYAKUMARR,GOPALAKRISHNANEA,etal.StockpricepredictionusingLSTM,RNNandCNN-slidingwindowmodel[C]∥2017InternationalConferenceonAdvancesinComputing,CommunicationsandInformatics(ICACCI).IEEE,2017.SHIS,ZHAOM,GUANJ,etal.Ahierarchicallstmmodelwithmultiplefeaturesforsentimentanalysisofsinaweibotexts[C]InternationalConferenceonAsianLanguageProcessing.IEEE,2017:379-382.HUY,SUNX,NIEX,etal.AnEnhancedLSTMforTrendFollowingofTimeSeries[J].IEEEAccess,2019,7:34020-34030.ZHANGQ,LIF,LONGF,etal.VehicleEmissionForecastingBasedonWaveletTransformandLongShort-TermMemoryNetwork[J].IEEEAccess,2018,6:56984-56994.WANGR,LIANGX,ZHUX,etal.AFeasibilityofRespirationPredictionBasedonDeepBi-LSTMforReal-TimeTumorTracking[J].IEEEAccess,2018,6:51262-51268.SAADW.Comparativestudyofstocktrendpredictionusingtimedelay,recurrentandprobabilisticneuralnetwork[J].IEEETransactionsonNeuralNetworks,1998,9(6):1456-70.LINS,RUNGERGC.GCRNN:Group-ConstrainedConvolu-tionalRecurrentNeuralNetwork[J].IEEETransactionsonNeuralNetworksandLearningSystems,2018,29(10):4709-4718.HOCHREITERS,SCHMIDHUBERJ.Longshort-termmemo-ry[J].NeuralComputation,1997,9(8):1735-1780.ZHANGQ,WANGH,DONGJ,etal.PredictionofSeaSurfaceTemperatureUsingLongShort-TermMemory[J].IEEEGeo-scienceandRemoteSensingLetters,2017,14(10):1745-1749.YANGY,DONGJ,SUNX,etal.ACFCC-LSTMModelforSeaSurfaceTemperaturePrediction[J].IEEEGeoscienceandRemoteSensingLetters,2018,15(2):207-211.KARIMF,MAJUMDARS,DARABIH,etal.LSTMFullyConvolutionalNetworksforTimeSeriesClassification[J].IEEEAccess,2017,6(99):1662-1669.

LIUF,CAIM,WANGL,etal.AnEnsembleModelBasedonAdaptiveNoiseReducerandOver-FittingPreventionLSTMforMultivariateTimeSeriesForecasting[J].IEEEAccess,2019,6:26102-26115.ZHANGS,WANGY,LIUM,etal.Data-basedLineTripFaultPredictioninPowerSystemsUsingLSTMNetworksandSVM[J].IEEEAccess,2017,6:1-1.CHOK,VANMERRI?NBOERB,GULCEHREC,etal.LearningphraserepresentationsusingRNNencoder-decoderforstatisticalmachinetranslation[J].arXiv:1406.1078,2014.CHENW,ZHANGY,YEOCK,etal.Stockmarketpredictionusingneuralnetworkthroughnewsononlinesocialnetworks[C]∥2017InternationalSmartCitiesConference(ISC2).IEEE,2017:1-6.SUNL,SUT,ZHOUS,etal.GMU:ANovelRNNNeuronandI