計算機論文：基于LSTM的時間序列預(yù)測算法的并行化計算機研究

計算機論文：基于LSTM的時間序列預(yù)測算法的并行化計算機研究本文是一篇計算機論文研究，本課題主要探討的內(nèi)容是：基于LSTM的時間序列預(yù)測算法的并行化研究，主要針對的問題是，當(dāng)LSTM算法面對規(guī)模過于龐大的數(shù)據(jù)集，或者應(yīng)對多節(jié)點分布式集群時，處理能力不夠高效的問題。為了解決上述問題，本文在第一章第1.1節(jié)分析了工作背景后得出了一個可行的解決思路：首先，引入大數(shù)據(jù)平臺YARN，其無論是應(yīng)對分布式集群資源管理，還是面對大批量的數(shù)據(jù)處理，都有較為成熟的技術(shù)支撐，可以作為一個較好的頂層資源管理調(diào)度和任務(wù)分配框架。其次，引入支持一定分布式架構(gòu)功能的TensorFlow框架，配合上TensorFlow框架對GPU利用和深度學(xué)習(xí)算法的良好支撐，作為銜接底層LSTM算法和頂層YARN框架之間的橋梁。最后，將LSTM算法并行化處理，在并行化過程中，尤其注意LSTM算法與上層分布式框架的適配性，選取合適的并行化方法。

第一章緒論

1.1研究工作的背景與意義

深度學(xué)習(xí)（DeepLearning）是一種人工智能技術(shù)，它模仿人腦在處理數(shù)據(jù)和創(chuàng)建用于決策的模式方面的工作。深度學(xué)習(xí)是人工智能（AI）中機器學(xué)習(xí)的一個子集，它具有能夠從未結(jié)構(gòu)化或未標(biāo)記的數(shù)據(jù)中不受監(jiān)督地學(xué)習(xí)的網(wǎng)絡(luò)。也稱為深度神經(jīng)學(xué)習(xí)或深度神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)與數(shù)字時代同步發(fā)展，數(shù)字時代帶來了來自世界各地的各種形式的數(shù)據(jù)爆炸式增長。這些數(shù)據(jù)（簡稱為大數(shù)據(jù)）來自社交媒體，互聯(lián)網(wǎng)搜索引擎，電子商務(wù)平臺和在線電影院等資源。大量數(shù)據(jù)易于訪問，可以通過云計算等相關(guān)科技應(yīng)用程序共享。

但是，通常是非結(jié)構(gòu)化的數(shù)據(jù)如此龐大，以至于人類可能需要數(shù)十年才能理解并提取相關(guān)信息。人們意識到，挖掘這些豐富的信息可能會帶來令人難以置信的潛力，并且越來越多地采用AI系統(tǒng)進行自動化支持，但與此同時，過于龐雜的非結(jié)構(gòu)化數(shù)據(jù)也導(dǎo)致了深度學(xué)習(xí)訓(xùn)練的時間成本和硬件成本居高不下。尤其是當(dāng)需要分析的數(shù)據(jù)達到PB級別時更是如此。

此外，不僅僅是數(shù)據(jù)成本會導(dǎo)致上述問題，當(dāng)深度學(xué)習(xí)涉及的計算維度增大時，過于高昂的學(xué)習(xí)成本和容錯性也會帶來不可避免的問題。

另一方面，大數(shù)據(jù)（BigData）技術(shù)則主要關(guān)注龐大，快速或復(fù)雜的數(shù)據(jù)，它們往往因其特性而很難或不可能使用傳統(tǒng)方法進行處理。訪問和存儲大量信息以進行分析的行為已經(jīng)存在了很長時間。但是大數(shù)據(jù)的概念在2000年代初得到了發(fā)展，當(dāng)時行業(yè)分析師道格·蘭尼（DougLaney）將當(dāng)今主流的大數(shù)據(jù)定義表達為三個V：

數(shù)量：組織從各種來源收集數(shù)據(jù)，包括商業(yè)交易，智能（IoT）設(shè)備，工業(yè)設(shè)備，視頻，社交媒體等。在過去，存儲它曾經(jīng)是一個問題–但是在Hadoop等平臺上更便宜的存儲減輕了負擔(dān)。

速度：隨著物聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)以前所未有的速度流入企業(yè)，必須及時處理。RFID標(biāo)簽，傳感器和智能儀表推動了近實時處理這些數(shù)據(jù)洪流的需求。

種類繁多：數(shù)據(jù)有各種格式-從傳統(tǒng)數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)字數(shù)據(jù)到非結(jié)構(gòu)化文本文檔，電子郵件，視頻，音頻，股票行情記錄數(shù)據(jù)和財務(wù)交易。

.....................

1.2國內(nèi)外研究歷史與現(xiàn)狀

在文獻[9]中，作者提出了一種并發(fā)多維的“金字塔”式的LSTM算法——PyraMiD-LSTM。該算法主要針對圖像識別，識別在生物醫(yī)學(xué)中掃描大腦切片的圖片并進行快速分割分類的操作。

論文首先比較了傳統(tǒng)CNN算法的缺點，認為對于視頻中的每一幀或者圖像中的每個像素點來說，CNN算法只接受嚴格的時間前后序數(shù)據(jù)作為輸入。相比之下，多維RNN(MD-RNNs)尤其是多維LSTM(MD-LSTM)，對于每個時間點，均可接受時間和空間上的前序數(shù)據(jù)作為輸入。

其次，論文提出了自己的PyraMiD-LSTM的特點，新模型里放棄了逐像素正方形式(Cuboid)運算的方式，改為逐像素金字塔式(Pyramidal)運算。這使得PyraMiD-LSTM的并行運算性能大大提高，增強了GPU對3D數(shù)據(jù)例如腦切片圖(BrainSliceImages)的處理能力。

標(biāo)準的多維LSTM由4個LSTM組成，每個LSTM沿著x,y坐標(biāo)軸方向傳輸數(shù)據(jù)，以東北->西南方向LSTM為例，每個像素點接收鄰近的左，上2個方位的數(shù)據(jù)。二維LSTM從東北->西南，東南->西北，西南->東北，西北->東南四個方向傳輸數(shù)據(jù)，每個像素點要接收4個LSTM的輸出數(shù)據(jù)。將其旋轉(zhuǎn)45°，其間產(chǎn)生了許多空隙，填充額外的連接，這樣每個像素接收到了西，西北，西南3個方位的數(shù)據(jù)，加上本身一共4個格子，構(gòu)成了金字塔式連接(PyraMiDLSTM)，因此算上四個方向，每個像素可以接收鄰近8個方位的數(shù)據(jù)，比二維LSTM提升了一倍。

這一點微小的改變，使得對于每個PyraMiD-LSTM，像素收到的數(shù)據(jù)一定是從北，西北，東北方向傳來，每次可以處理一橫行的像素，逐行像素處理相比于逐個像素處理，大大提高了在GPU上并行運算的效率。

.............................

第二章YARN-TensorFlow復(fù)合系統(tǒng)設(shè)計

2.1復(fù)合系統(tǒng)與LSTM結(jié)合的可行性分析

從第一章的討論中可以看出，使用包括LSTM算法在內(nèi)的深度學(xué)習(xí)算法進行時序序列預(yù)測時，當(dāng)算法面臨著越來越龐雜的數(shù)據(jù)需求，或者面臨要在多節(jié)點集群上進行訓(xùn)練分析時，其所承擔(dān)的效率壓力將會越來越大。

而另一方面，并行化和大數(shù)據(jù)技術(shù)，則恰好是解決數(shù)據(jù)壓力和效率壓力的一個較好的突破口。

一方面，YARN作為一個成熟的大數(shù)據(jù)框架，具有良好的分布式資源調(diào)度能力和優(yōu)秀的大數(shù)據(jù)處理能力。另一方面，TensorFlow作為一個廣泛使用的深度學(xué)習(xí)框架，其有較為良好的對GPU運算能力的支撐和可行的對分布式架構(gòu)的支持。如果能夠解決深度學(xué)習(xí)框架和大數(shù)據(jù)技術(shù)的結(jié)合難題，并且針對深度學(xué)習(xí)算法本身進行進一步的并行化改造，將三者的優(yōu)點和長處結(jié)合在一起，將有可能極大地緩解LSTM算法在處理大批量數(shù)據(jù)和協(xié)調(diào)多節(jié)點集群時所面臨的巨大的效率壓力和數(shù)據(jù)壓力。

因此，本文計劃設(shè)計這樣一個復(fù)合系統(tǒng)：

以LSTM算法作為項目底層算法支撐，提供有效的針對時序序列預(yù)測的深度學(xué)習(xí)算法；以YARN作為項目頂層分布式架構(gòu)支撐，利用YARN本身的特性，有效的進行資源調(diào)度預(yù)分配，為分布式并行化計算提供可靠的性能支撐。

而TensorFlow，作為一個跨平臺、有分布式相關(guān)支持的開源ML軟件庫，可以有效的起到類似中間件的效果，連接頂層的YARN和底層的LSTM，為兩者搭起橋梁。

需要注意的是，盡管TensorFlow本身提供了一定的分布式部署的相關(guān)功能支撐，但是其本身功能仍然較為簡陋，因此，僅僅依靠TensorFlow自身來搭建分布式架構(gòu)仍然欠妥，因此這里仍然需要結(jié)合YARN來搭建。

............................

2.2復(fù)合系統(tǒng)基本框架設(shè)計

一個常規(guī)的YARN框架應(yīng)當(dāng)包含三個主要組件[13]：ResourceManager（以下簡稱RM），ApplicationManager（以下簡稱AM）和NodeManager（以下簡稱NM），分別負責(zé)資源調(diào)度，應(yīng)用任務(wù)分配和節(jié)點管理，用戶提交一個Application給YARN系統(tǒng)，則系統(tǒng)由AM接收，拆分出多個Task，并通過向RM申請的方式，分配給多個NM，NM本身維持一個與RM的心跳連接，匯報自身情況，作為RM進行資源調(diào)度的參考。

具體YARN架構(gòu)如圖2-2所示。

而一個常規(guī)的分布式TensorFlow架構(gòu)目前而言仍然較為簡陋。以常見的PS架構(gòu)（ParameterServer）為例，一個分布式TensorFlow集群（cluster）由一個或多個TensorFlow服務(wù)器（Server）組成[14]，Server在邏輯上被劃分成兩類：用于存放模型參數(shù)的ParameterServer和負責(zé)計算參數(shù)梯度的Worker。每個Server都有與之對應(yīng)的一個Task，而分布式TensorFlow本身最大的問題就是，所有Task與server的綁定關(guān)系是需要用戶手動配置的，其容錯性、調(diào)度能力均非常有限。

..........................

第三章并行化LSTM算法設(shè)計.........................23

3.1并行化LSTM算法設(shè)計.....................23

3.2算法實現(xiàn)...............................24

第四章仿真實驗結(jié)果分析............................................55

4.1實驗運行環(huán)境..............................55

4.2YARN-TensorFlow復(fù)合系統(tǒng)性能實驗.......................55

第五章全文總結(jié)與展望..........................79

5.1全文總結(jié)..............................79

5.2后續(xù)工作展望..........................81

第四章仿真實驗結(jié)果分析

4.1實驗運行環(huán)境

本實驗需要用到多臺設(shè)備用以搭建集群，設(shè)備眾多性能中，會對運行速率產(chǎn)生較大影響的因素包括：GPU顯存、GPU核數(shù)、CPU核數(shù)、內(nèi)存容量等。本次實驗前后共計使用到了4臺設(shè)備，它們具體的關(guān)于上述參數(shù)的配置信息如表（2-16）所示。

實驗數(shù)據(jù)采用了一組開源的電池數(shù)據(jù)，由于涉及到LSTM算法改進實現(xiàn)的相關(guān)描述，具體數(shù)據(jù)格式與數(shù)據(jù)內(nèi)容會在3.2節(jié)進行介紹，在此不做贅述。

實驗中深度學(xué)習(xí)算法訓(xùn)練內(nèi)容為給出截至目前為止的電池充放電狀態(tài)記錄，預(yù)測出未來一段時間的電池狀態(tài)情況。

實驗主要目的為通過設(shè)置對比實驗，判斷比較YARN+TensorFlow的組合方案，相較于僅采用分布式TensorFlow解決方案而言，在運算效率和運算速度上，是否有改進。

.........................

第五章全文總結(jié)與展望

5.1全文總結(jié)

本課題主要探討的內(nèi)容是：基于LSTM的時間序列預(yù)測算法的并行化研究，主要針對的問題是，當(dāng)LSTM算法面對規(guī)模過于龐大的數(shù)據(jù)集，或者應(yīng)對多節(jié)點分布式集群時，處理能力不夠高效的問題。

為了解決上述問題，本文在第一章第1.1節(jié)分析了工作背景后得出了一個可行的解決思路：

首先，引入大數(shù)據(jù)平臺YARN，其無論是應(yīng)對分布式集群資源管理，還是面對大批量的數(shù)據(jù)處理，都有較為成熟的技術(shù)支撐，可以作為一個較好的頂層資源管理調(diào)度和任務(wù)分配框架。

其次，引入支持一定分布式架構(gòu)功能的TensorFlow框架，配合上TensorFlow框架對GPU利用和深度學(xué)習(xí)算法的良好支撐，作為銜接底層LSTM算法和頂層YARN框架之間的橋梁。

最后，將LSTM算法并行化處理，在并行化過程中，尤其注意LSTM算法與上層分布式框架的適配性，選取合適的并行化方法。

在基本思路定性之后，文章在第二章至第四章，采用自頂向下的順序，針對上述思路的基本實現(xiàn)方式進行了討論。

在第二章，文章重點討論了YARN框架的改進以及與下層TensorFlow的適配問題。

在YARN端，通過對原有YARN的任務(wù)分配代碼進行自定義，使得YARN在保留原有的ApplicationManager的應(yīng)用管理機制和ResourceManager中的資源管理機制的前提下，作為資源管理和任務(wù)協(xié)調(diào)者，向下層被封裝在容器內(nèi)的分布式TensoFlow發(fā)送任務(wù)和分配資源。

同時，在TensorFlow端，系統(tǒng)通過多工鏡像策略（MultiWorkerMirroredStrategy）來作為Tens