基于長(zhǎng)短記憶網(wǎng)絡(luò)和動(dòng)態(tài)SIR模型的疫情預(yù)測(cè)算法

1、基于長(zhǎng)短記憶網(wǎng)絡(luò)和動(dòng)態(tài)SIR模型(LSTM-DSIR)3.1基礎(chǔ)SIR模型SIR模型由是三個(gè)相互關(guān)聯(lián)的非線性常微分方程組成的沒有明確解析解的模型系統(tǒng)。SIR模型的動(dòng)力學(xué)公式如等式(3.1)所示：dS=_B魚dtN.（等式3.1）魚=仔塑一|yldt竹=|yldt其中，S表示為易感人群(SusceptiblePopulation),I表示并未進(jìn)行隔離的已感染病毒人群(InfectedPopulation),R表示感染后康復(fù)的人群(RecoveredPopulation)。模型統(tǒng)計(jì)范圍內(nèi)的人群總數(shù)表示為N。參數(shù)仔和參數(shù)y分別表示為新型冠狀病毒的傳播速率系數(shù)和康復(fù)速率系數(shù)。在模型統(tǒng)計(jì)的范圍內(nèi)，總的易

2、感人群S是可以觀測(cè)到的。新型冠狀病毒傳染病具有其特殊性，感染病毒的人群可分為感染者和無癥狀感染者，因此，感染者/是無法通過觀測(cè)得到的?？紤]到現(xiàn)實(shí)中的感染者會(huì)被進(jìn)行有效隔離并且得到重點(diǎn)關(guān)注，本文提出的方法默認(rèn)康復(fù)率R中表示的康復(fù)人群在康復(fù)后不會(huì)再次感染雖然SIR模型是比較經(jīng)典的傳染病模型，但是由于SIR模型對(duì)人群的分類不夠細(xì)致，沒有明確考慮隔離的因素，而現(xiàn)實(shí)生活中對(duì)疑似病人的隔離是控制疫情傳播的有效手段，從目前全球蔓延的疫情來看，疑似病人的隔離對(duì)疫情傳播的控制很關(guān)鍵。同時(shí)SIR模型沒有引入反饋機(jī)制，在預(yù)測(cè)過程中，單純依靠已有數(shù)據(jù)預(yù)測(cè)未來較長(zhǎng)一段時(shí)間的數(shù)據(jù)，必然會(huì)使準(zhǔn)確率降低。此外，模型中的微分方

3、程求解較為困難，影響模型的穩(wěn)健性。3.2參數(shù)更新方法本文提出模型的參數(shù)更新方法如等式(3.2)所示：心=叫i基(等式3.2)其中，Xt為狀態(tài)向量，可以表示為=SeIeRt的形式M竝。為非線性模型中相對(duì)于時(shí)間t的算子。在SIR模型中，Mt是等式(3.1)表示的預(yù)測(cè)模型。yo=Hxt(等式3.3)等式3.3中，yo與觀測(cè)值Robs和模型預(yù)測(cè)參數(shù)是被更新的對(duì)象。損失函數(shù)如等式3.4所示，J（x）=|尤一尤耳|+Y,IIHy。|（等式3.4）Q-1windowxP1其中，H為非先行觀測(cè)值算子H的線性化形式，其背景狀態(tài)向量為叫。窗口（Window）的大小決定了要更新的觀測(cè)值的數(shù)量，使用EnKF（Ense

4、mbleKalmanFilter）方法更新參數(shù)。圖（3.1）表現(xiàn)了包括三個(gè)常微分方程的SIR靜態(tài)模型與使用貝葉斯更新的動(dòng)態(tài)更新模型之間的差異。圖3.1標(biāo)準(zhǔn)SIR模型作為靜態(tài)ODE表示與應(yīng)用遞歸貝葉斯模型更新的動(dòng)態(tài)(DA)SIR模型對(duì)比Fig.3.1ComparisonofstandardSIRmodelasstaticODErepresentationwithdynamic(DA)SIRmodelwithrecursiveBayesianmodelupdate初始化觀測(cè)值和參數(shù)的靜態(tài)SIR模型可以預(yù)測(cè)出類似簡(jiǎn)單指數(shù)型的增長(zhǎng)模式。在動(dòng)態(tài)模型中，模型結(jié)合新的觀測(cè)值更新參數(shù)，同時(shí)對(duì)預(yù)測(cè)結(jié)果輸出進(jìn)行了

5、優(yōu)化調(diào)整。3.3動(dòng)態(tài)SIR模型基礎(chǔ)SIR模型可以寫成帶有時(shí)間變量的離散形式，如等式（3.5）所示。等式(3.5)模型的優(yōu)化目標(biāo)為計(jì)S=S仔t+1t卩“仃1=4+0讐一兒IRt+1=Rt+yIt對(duì)于給定的時(shí)間步長(zhǎng)t并假設(shè)觀察了模型更新的Robs,算成本函數(shù)的最小值，成本函數(shù)見等式（3.2）:丿=argminlRobs-H（也處）|叩+l-ItQ_iIi=t+1windowIda=argmin*J（I）等式（3.6）在窗口長(zhǎng)度t內(nèi)，其中H：IfR是線性變換函數(shù)，通常稱為觀察函數(shù)，這里由SIR模型表示，其中Q和P表示背景和觀測(cè)協(xié)方差矩陣，是數(shù)據(jù)中噪聲的估計(jì)值。為了計(jì)算參數(shù)，我們要最小化函數(shù)等式（3.

6、7）。B，Y=argmin=t+iR?bs-H（ilI，yP-i等式（37）求解成本函數(shù)引申出了改進(jìn)的卡爾曼濾波算法，其中更新模型狀態(tài)會(huì)在參數(shù)為B和Y的情況下生成潛在無癥狀感染數(shù)I的序列。圖3.1中展示了模型預(yù)測(cè)結(jié)果，其中該模型估計(jì)無癥狀感染的數(shù)量要多得多，而無癥狀感染并非僅由報(bào)告的病例組成。這些示例顯示了印度和英國(guó)的結(jié)果。如在后一種情況中可見，如果流行病處于更晚期，并且模型推斷出大量的感染，則模型的準(zhǔn)確性會(huì)因微分方程的強(qiáng)加結(jié)構(gòu)而受到影響，相應(yīng)的又會(huì)影響模型估計(jì)。在動(dòng)態(tài)SIR模型中使用卡爾曼濾波算法可以有效解決這個(gè)問題。3.4LSTM模型本節(jié)將介紹耦合的LSTM網(wǎng)絡(luò)，并討論如何通過將LSTM和

7、生成的預(yù)測(cè)值相結(jié)合來提高模型的準(zhǔn)確性。有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)一般形式如等式（3.8）所示，（琴（10）叫+1（）等式（3.8）其中矽和專+為訓(xùn)練數(shù)據(jù)，10和一分別表示輸入層和輸出層，見等式（3.9），x=SIRx=m等式（3io）It+1t+1,t+1,t+1隱藏層li中每個(gè)隱藏單元的結(jié)構(gòu)和激活由前一層中的神經(jīng)元確定，表示為也）。仙=。（、（小口-1）+k（li）等式（311）其中wj,k（li）是從層li-1的第j個(gè)節(jié)點(diǎn)到層li的第k個(gè)神經(jīng)元的權(quán)重，其中bk（li）和aM）表示第個(gè)神經(jīng)元的偏置和激活項(xiàng)。權(quán)重的總和氣，k（Q確定在允許。起作用之前如何合并一層中的激活，從而得出一層中的激活。長(zhǎng)期數(shù)

8、據(jù)存儲(chǔ)模型是一種經(jīng)典并且實(shí)用的模型，它是Hochreiter和Schmidhuber在1997年提出的。LSTM的存儲(chǔ)單元可以描述為遞歸神經(jīng)網(wǎng)絡(luò)(RNN),其使用的存儲(chǔ)單元可以處理較長(zhǎng)時(shí)間序列的數(shù)據(jù)，從而避免了由于其門結(jié)構(gòu)而導(dǎo)致梯度消失的問題。LSTM可通過公式(3.12)描述:Ji=a（wxtxtWbibtWciCt%）whb）等式（3.12）hetcyWhfhtWcfCt1=fcitanh(wxJtitti*xctt1=a(wxhwcxothotcotih=otanh(x)x=d(h)ti7i丿其中q是存儲(chǔ)狀態(tài)信息的存儲(chǔ)單元。算和q這三個(gè)元素分別表示輸入、遺忘和輸出門。如果激活了輸入門，則

9、將累積來自新輸入的信息，如果激活了遺忘門厶，則單元的狀態(tài)將被忽略。最后一個(gè)單元q傳播到最終狀態(tài)存由輸出門0七控制。由于該網(wǎng)絡(luò)基于遞歸神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，因此輸出塊被遞歸連接回輸入和三個(gè)門。3.5基于長(zhǎng)短記憶網(wǎng)絡(luò)和動(dòng)態(tài)SIR模型結(jié)合的疫情趨勢(shì)預(yù)測(cè)方法(LSTM-DSIR)LSTM和動(dòng)態(tài)SIR模型的結(jié)合可以得到的更高階的非線性以及SIR模型動(dòng)力學(xué)無法解決的變量之間的相互作用。每一次的觀測(cè)值作為L(zhǎng)STM和SIR模型的輸入，其輸出用作LSTM模型的輸入。兩種模型通過生成每次迭代的用作預(yù)測(cè)的加權(quán)模型輸出進(jìn)行交互。公式中的網(wǎng)絡(luò)輸入xtr。由等式中的動(dòng)態(tài)SIR模型的狀態(tài)變量給出等式(3.8)所示的輸入。分別是

10、變量S,I，R,如等式(3.6)所示。狀態(tài)向量x=S，I，R通過LSTM網(wǎng)絡(luò)傳播，并產(chǎn)生輸出xtr(l)。結(jié)果模型的損失表示為r=minRobsxtr(lr)RobsH(illpAp)y)(等式3.13)ur1iii112圖3.2展示了基于深度學(xué)習(xí)方法的SIR模型結(jié)構(gòu)。其中，動(dòng)態(tài)SIR模型(DynamicSIRModel)和LSTM模型都可以從新觀測(cè)數(shù)據(jù)中對(duì)參數(shù)進(jìn)行更新，然后，網(wǎng)絡(luò)會(huì)提取SIR模型的狀態(tài)變作為附加輸入并且將兩個(gè)模型合并。最終的模型輸出結(jié)合了LSTM網(wǎng)絡(luò)的輸出xtr(lF)和SIR模型的輸出Robs,如等式(3.14)所示，=WiXtr(Z)W2Robs等式(3.14)ri1r2

11、ri其中權(quán)重w1和w2都是由每個(gè)模型的前期預(yù)測(cè)誤差定義的相對(duì)權(quán)重。我們用于模型的網(wǎng)絡(luò)體系結(jié)構(gòu)是使用ReLU激活函數(shù)的LSTM，該函數(shù)使用Adam優(yōu)化器進(jìn)行訓(xùn)練，使用均方誤差損失函數(shù)。LSTM網(wǎng)絡(luò)能夠在無需明確強(qiáng)加SIR模型的指數(shù)增長(zhǎng)曲線的情況下學(xué)習(xí)SIR模型的動(dòng)態(tài)性。圖3.2LSTM-DSIR模型結(jié)構(gòu)Fig.3.2LSTM-DSIRmodelstructure3.6本節(jié)小結(jié)本節(jié)內(nèi)容首先介紹了機(jī)器學(xué)習(xí)理論，以神經(jīng)元及其數(shù)學(xué)模型為切入點(diǎn)，引出了基本的神經(jīng)網(wǎng)絡(luò)構(gòu)成，并進(jìn)一步介紹了神經(jīng)網(wǎng)絡(luò)的類型。然后，本節(jié)詳細(xì)介紹了基礎(chǔ)SIR模型理論和更新方法。最后本節(jié)介紹了LSTM網(wǎng)絡(luò)的基本理論，提出了基于長(zhǎng)短記憶

12、網(wǎng)絡(luò)和動(dòng)態(tài)SIR模型結(jié)合的疫情趨勢(shì)預(yù)測(cè)方法(LSTM-DSIR),并對(duì)本文提出的LSTM-DSIR理論模型進(jìn)行了詳細(xì)闡述。第4章LSTM-DSIR方法的實(shí)驗(yàn)設(shè)置及實(shí)驗(yàn)結(jié)果分析數(shù)據(jù)和數(shù)據(jù)協(xié)議數(shù)據(jù)庫的選用每個(gè)組織都有必須存儲(chǔ)和管理海量的數(shù)據(jù)和信息。例如，公司必須為其雇員收集和維護(hù)人力資源記錄。這些被管理的信息必須在需要的時(shí)候可以被使用。一個(gè)信息系統(tǒng)是用于存儲(chǔ)和處理信息的正式系統(tǒng)。信息系統(tǒng)可以是一組紙箱其中包含文件夾以及有關(guān)如何存儲(chǔ)和檢索文件夾的規(guī)則。在數(shù)據(jù)成為資產(chǎn)的現(xiàn)代當(dāng)今大多數(shù)公司都使用數(shù)據(jù)庫來自動(dòng)化其信息系統(tǒng)。數(shù)據(jù)庫是被視為一個(gè)單元的信息的有組織的集合，其目的是收集、存儲(chǔ)和檢索相關(guān)信息，以供運(yùn)

13、行的應(yīng)用程序使用?？紤]到在數(shù)據(jù)庫管理功能、完整性檢查、安全性、一致性方面都有良好的表現(xiàn)，本文在實(shí)驗(yàn)中均使用甲骨文（ORACLE）數(shù)據(jù)庫。數(shù)據(jù)本文實(shí)驗(yàn)部分使用了兩個(gè)數(shù)據(jù)集：COVID-19全球開放數(shù)據(jù)集和校園師生流動(dòng)數(shù)據(jù)集。COVID-19全球開放數(shù)據(jù)集該數(shù)據(jù)庫包含有關(guān)94個(gè)國(guó)家（截至2020年8月31日）隨時(shí)間動(dòng)態(tài)變化的COVID-19確診數(shù)量的官方數(shù)據(jù)。該數(shù)據(jù)來自于官方來源發(fā)布的數(shù)據(jù)，其中包括新聞稿、政府網(wǎng)站、專用儀表板和國(guó)家主管部門的社交媒體賬號(hào)等。數(shù)據(jù)庫中未包含僅與某個(gè)國(guó)家（例如特定區(qū)域或城市）的部分地理覆蓋范圍的明確相關(guān)的數(shù)字。此外，該數(shù)據(jù)庫還包含了廣泛的元數(shù)據(jù)，這些元數(shù)據(jù)提供了每個(gè)國(guó)

14、家/地區(qū)收集的數(shù)據(jù)的詳細(xì)說明。因?yàn)閳?bào)告實(shí)踐具有異質(zhì)性，所以此類信息至關(guān)重要，尤其是有關(guān)度量單位（測(cè)試人員，測(cè)試案例，執(zhí)行的測(cè)試，測(cè)試的樣本等）方面。另外，數(shù)據(jù)關(guān)于是否包括待定結(jié)果的測(cè)試、涵蓋的時(shí)間段以及實(shí)驗(yàn)室（私人和公共）和國(guó)家以下地區(qū)的匯總影響數(shù)字的程度方面也會(huì)有所不同。校園師生流動(dòng)數(shù)據(jù)集本文提出了LSTM-DSIR預(yù)測(cè)方法，并且比較了閉集合（Close-setDataset）數(shù)據(jù)和開集合（Open-setDataset）數(shù)據(jù)兩種情景下的已確診新型冠狀肺炎病例的全球數(shù)據(jù)的預(yù)測(cè)值。更進(jìn)一步的，本文還在小范圍數(shù)據(jù)樣本中進(jìn)行了實(shí)驗(yàn)校園流動(dòng)人口數(shù)據(jù)上的實(shí)驗(yàn)，通過小范圍的數(shù)據(jù)實(shí)驗(yàn)以驗(yàn)證本文提出的LST

15、M-DSIR預(yù)測(cè)方法。數(shù)據(jù)協(xié)議實(shí)驗(yàn)中的數(shù)據(jù)集被分為三個(gè)部分：訓(xùn)練集（TrainSet）、驗(yàn)證集（ValidationSet)和測(cè)試集(TestSet)。訓(xùn)練集(TrainSet)：用于模型訓(xùn)練的數(shù)據(jù)。驗(yàn)證集(ValidationSet)：用于在訓(xùn)練過程中檢驗(yàn)?zāi)Ｐ偷臓顟B(tài)和收斂情況。驗(yàn)證集通常用于調(diào)整超參數(shù)，模型驗(yàn)證集上的表現(xiàn)可以判斷出哪一組超參數(shù)擁有最好的性能。驗(yàn)證集在訓(xùn)練過程中還可以用來監(jiān)控模型是否發(fā)生過擬合。(3)測(cè)試集(TestSet)：用與評(píng)價(jià)模型的泛化能力，即之前模型使用驗(yàn)證集確定了超參數(shù)，使用訓(xùn)練集調(diào)整了參數(shù)，最后使用沒有參與模型訓(xùn)練的數(shù)據(jù)集來判斷這個(gè)模型的魯棒性和泛化能力。4.1.

16、4模型評(píng)估標(biāo)準(zhǔn)準(zhǔn)確率(Accuracy)本文所研究的基于深度學(xué)習(xí)技術(shù)的疫情預(yù)測(cè)方法，輸入為疫情相關(guān)的歷史數(shù)據(jù)，輸出為未來疫情趨勢(shì)的預(yù)測(cè)值。實(shí)驗(yàn)首選的模型評(píng)估指標(biāo)為“感染者數(shù)量”的準(zhǔn)確度，即在單位時(shí)間內(nèi)或者某一時(shí)間點(diǎn)上，模型預(yù)測(cè)感染新型冠狀病毒的患者人數(shù)與真實(shí)人數(shù)的比值。均方預(yù)測(cè)誤差(MSFE)均方預(yù)測(cè)誤差(MSFE)用于測(cè)量預(yù)測(cè)變量對(duì)特定值的預(yù)測(cè)與真實(shí)值之間的期望平方距離，是對(duì)預(yù)測(cè)變量質(zhì)量的度量。其主要表示的意義是預(yù)測(cè)變量和估計(jì)變量之間的差異。平均絕對(duì)百分比誤差(MAPE)平均絕對(duì)百分比誤差(MAPE)是對(duì)預(yù)測(cè)系統(tǒng)的準(zhǔn)確性的統(tǒng)計(jì)度量。它以百分比形式測(cè)量此準(zhǔn)確性，其可以表示為每個(gè)時(shí)間段內(nèi)的平均絕

17、對(duì)百分比誤差與實(shí)際值之差除以實(shí)際值,平均絕對(duì)百分比誤差(MAPE)是用于預(yù)測(cè)誤差的最常用度量，在數(shù)據(jù)沒有極端數(shù)據(jù)值和沒有零值存在的時(shí)候，其評(píng)估的效果是最好的。R2分?jǐn)?shù)(r2score)R平方(R2)是一個(gè)統(tǒng)計(jì)指標(biāo)，表示回歸模型中由一個(gè)或多個(gè)自變量解釋的因變量變化的比例。相關(guān)性解釋了自變量和因變量之間的關(guān)系強(qiáng)度，而R平方解釋了一個(gè)變量的方差在多大程度上可以對(duì)第二個(gè)變量的方差進(jìn)行解釋。4.2網(wǎng)絡(luò)結(jié)構(gòu)LSTM網(wǎng)絡(luò)長(zhǎng)短記憶網(wǎng)絡(luò)(通常稱為“LSTM”)是一種特殊的RNN,能夠?qū)W習(xí)長(zhǎng)期依賴關(guān)系。它們是由Hochreiter&Schmidhuber于1997年提出的，并在隨后的工作中得到后來科學(xué)家和工程師們

18、的完善和推廣。傳統(tǒng)的RNN模型是鏈?zhǔn)浇Y(jié)構(gòu)，模塊中也只有一個(gè)簡(jiǎn)單的運(yùn)算結(jié)構(gòu),通過在不同神經(jīng)元之間傳遞來運(yùn)輸信息。而線性的鏈?zhǔn)浇Y(jié)構(gòu)顯然不能滿足新環(huán)境信息的進(jìn)入或者歷史信息的去除，因此LSTM引入“門”的概念，來判斷哪段歷史信息可以保留、哪些新信息需要輸入。LSTM網(wǎng)絡(luò)在各種的問題上都表現(xiàn)很好的性能，因此在訓(xùn)練具有上下文關(guān)系的預(yù)測(cè)模型中被廣泛使用。圖4.1長(zhǎng)短記憶網(wǎng)絡(luò)(LSTM)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4.1(LSTM)networkstructureoflongandshortmemorynetwork(1)遺忘門(ForgetGate)遺忘門負(fù)責(zé)從單元狀態(tài)中刪除信息oLSTM不再需要了解信息的信息或重要

19、性較低的信息將通過過濾器的乘法刪除。這是優(yōu)化LSTM網(wǎng)絡(luò)性能所必需的。圖4.2LSTM中遺忘門示意圖Fig.4.2schematicdiagramoftheamnesiadoorinLSTM遺忘門有兩個(gè)關(guān)鍵：h_t-1和x_t。h_t-1是上一個(gè)單元格或上一個(gè)單元格的輸出的隱藏狀態(tài)，而x_t是該特定時(shí)間步長(zhǎng)的輸入或者理解為當(dāng)前元素的輸入。表示sigmoid函數(shù)，函數(shù)的輸出在0和1之間，在分類任務(wù)中運(yùn)用該函數(shù)使得當(dāng)輸出滿足一定概率條件時(shí)即可將其劃分為某一個(gè)類別，合定的輸入乘以權(quán)重矩陣，然后加上一個(gè)偏差。此后，將sigmoid函數(shù)應(yīng)用于該值。sigmoid函數(shù)輸出一個(gè)向量，其值在0到1的范圍內(nèi)，對(duì)

20、應(yīng)于單元狀態(tài)中的每個(gè)數(shù)字?；旧希瑂igmoid函數(shù)負(fù)責(zé)確定要保留的值和要丟棄的值。如果在單元格狀態(tài)中為特定值輸出“0”，則意味著“遺忘門”希望單元格狀態(tài)完全忘記該條信息。同樣，“1”表示忘記門想記住整個(gè)信息。從sigmoid函數(shù)輸出的向量將與單元狀態(tài)相乘。最終結(jié)果如下，其中b為偏置向量。ft=(Wf*叫叫+bf)等式(4.1)(2)輸入門(InputGate)圖4.3LSTM中輸入門示意圖Fig.4.3schematicdiagramofinputdoorinLSTM輸入門負(fù)責(zé)把控新信息的輸入。從上圖可以看出，信息的添加基本上是三步過程。通過涉及S型函數(shù)來調(diào)節(jié)需要將哪些值添加到單元狀態(tài)。這基

21、本上與“遺忘門”非常相似，并充當(dāng)來自h_t-l和x_t的所有信息的過濾器。創(chuàng)建一個(gè)向量，該向量包含可以添加到單元狀態(tài)的所有可能值（從h_t-1和x_t可以看出）。這是使用tanh函數(shù)完成的，該函數(shù)輸出從-1到+1的值。將調(diào)節(jié)濾波器（S型門）的值乘以創(chuàng)建的矢量（tanh函數(shù)），然后通過加法運(yùn)算將此有用信息添加到單元狀態(tài)。（3）輸出門（OutputGate）輸出門負(fù)責(zé)把控信息的輸出，輸出門的功能可以再次細(xì)分為三個(gè)步驟：在將tanh函數(shù)應(yīng)用于單元狀態(tài)后創(chuàng)建矢量，從而將值縮放到-1到+1的范圍。使用h_t-1和x_t的值進(jìn)行過濾，以便可以調(diào)節(jié)需要從上面創(chuàng)建的向量中輸出的值。該濾波器再次采用了S形函數(shù)。

22、將此調(diào)節(jié)濾波器的值乘以在步驟1中創(chuàng)建的向量，并將其作為輸出發(fā)送出去，并發(fā)送到下一個(gè)單元格的隱藏狀態(tài)。圖4.4LSTM中輸出門示意圖Fig.4.4SchematicdiagramoftheoutputdoorinLSTM本文實(shí)驗(yàn)中的網(wǎng)絡(luò)結(jié)構(gòu)本文基于所提出的LSTM-DSIR方法增加了不同網(wǎng)絡(luò)體系結(jié)構(gòu)對(duì)模型性能影響的對(duì)比實(shí)驗(yàn)。LSTM-DSIR網(wǎng)絡(luò)結(jié)構(gòu)RNN通常被用于具有時(shí)間依賴性的連續(xù)時(shí)間序列應(yīng)用場(chǎng)景，其有能力通過使用以前的數(shù)據(jù)模式來對(duì)當(dāng)前的數(shù)據(jù)處理產(chǎn)生影響。同時(shí)，RNN有一個(gè)訓(xùn)練長(zhǎng)期依賴性數(shù)據(jù)的問題,這是由RNN的變體LSTM解決的。由Hochreiter和Schmidhuber提出的LSTM

23、被用作RNN網(wǎng)絡(luò)的輔助版本，并通過使用被稱為存儲(chǔ)單元的隱藏層單元克服了RNN的限制。記憶單元具有自我連接，可以存儲(chǔ)網(wǎng)絡(luò)的時(shí)間狀態(tài)，并通過三個(gè)門進(jìn)行控制，即：輸入門、輸出門和遺忘門。輸入門和輸出門的工作是用來控制記憶單元的輸入和輸出流向網(wǎng)絡(luò)的其他部分。此外，遺忘門也被添加到記憶單元中，它將具有高權(quán)重的輸出信息從上一個(gè)神經(jīng)元傳遞給下一個(gè)神經(jīng)元。保存在存儲(chǔ)器中的信息取決于高激活的結(jié)果。如果輸入單元有高激活，信息就會(huì)保存在存儲(chǔ)器單元中。此外，如果輸出單元具有高激活度，那么它將把信息傳遞給下一個(gè)神經(jīng)元，否則，具有高權(quán)重的輸入信息就會(huì)駐留在記憶單元中。本文將LSTM網(wǎng)絡(luò)與DSIR模型結(jié)合形成LSTM-DS

24、IR網(wǎng)絡(luò)結(jié)構(gòu)，是本文所研究的主要預(yù)測(cè)方法。Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)LSTM單元具有局限性，它能夠在以前的內(nèi)容上工作，但不能使用未來的數(shù)據(jù)的預(yù)測(cè)。為了克服LSTM單元的局限性，Schuster和Paliwal提出了Bi-LSTM,它由兩個(gè)不同的LSTM隱藏層組成，輸出方向相反。在這種結(jié)構(gòu)下，先前和未來的信息在輸出層均可以被利用。Bi-LSTM具有著LSTM沒有的優(yōu)勢(shì)，因此本文所闡述實(shí)驗(yàn)同樣包括了Bi-LSTM和LSTM網(wǎng)絡(luò)的模型性能對(duì)比。圖4.5顯示了LSTM和Bi-LSTM的單元內(nèi)部結(jié)構(gòu)。H-lFr4*T了NW林.torMsinlbiyrrihftj15TMLSTM士LSTM4UJCk-Hard

25、KicriLSTM*LSTM-*-LSTM*frafiirilinw卿JXt咖1I.SIMfdl:I-j了”j以h冋11t1圖4.5LSTM單元和Bi-LSTM單元示意圖Figure4.5SchematicdiagramofLSTMcellandBi-LSTMcell3訓(xùn)練過程圖（4.8）為訓(xùn)練過程中損失（Loss）和準(zhǔn)確度（Accuracy）的變化曲線，其中數(shù)值逐步減少的曲線為訓(xùn)練集和測(cè)試集的損失（Loss）值，數(shù)值逐步增加的曲線為訓(xùn)練集和測(cè)試集的準(zhǔn)確度（Accuracy）值。從圖中可以看出，隨著模型訓(xùn)練的進(jìn)行，模型的損失值是逐漸減小的，最終無限趨于0，而模型的準(zhǔn)確度是逐步提高，最終無限趨于

26、1。Fig.4.8Changecurveofloss(Loss)andaccuracy(Accuracy)duringtraining4.4實(shí)驗(yàn)結(jié)果分析為了說明本文所提出基于深度學(xué)習(xí)的SIR模型方法的性能，我們比較了閉集合(Close-setDataset)數(shù)據(jù)和開集合(Open-setDataset)數(shù)據(jù)兩種情景下的已確診Covidl9病例的數(shù)量的預(yù)測(cè)值。模型的閉集合數(shù)據(jù)內(nèi)擬合是模型估計(jì)潛在參數(shù)的有效性的重要指標(biāo)，而開集合數(shù)據(jù)預(yù)測(cè)結(jié)果則對(duì)于政策制定者來說具有重要參考價(jià)值。為了使模型具有可比性，我們應(yīng)用了均方預(yù)測(cè)誤差(MSFE)以及均值絕對(duì)百分比誤差(MAPE)。均方預(yù)測(cè)誤差(MSFE)以及均

27、值絕對(duì)百分比誤差(MAPE)的細(xì)節(jié)可參見4.2.4模型評(píng)估標(biāo)準(zhǔn)內(nèi)容。我們報(bào)告MAPE百分比誤差是為了允許各國(guó)之間進(jìn)行交叉比較，但要特別注意MSFE和MAFE中的絕對(duì)數(shù)字。由于確診病例的絕對(duì)水平包含決策者的重要信息，而當(dāng)感染數(shù)非常低時(shí)，預(yù)測(cè)錯(cuò)誤的重要性降低，而對(duì)于大量感染，更高的準(zhǔn)確性是流行病學(xué)預(yù)測(cè)模型的理想屬性。主要結(jié)果會(huì)在圖4.9和圖4.10中給出。我們報(bào)告了神經(jīng)SIR的指標(biāo)以及動(dòng)態(tài)SIR產(chǎn)生的預(yù)測(cè)。我們進(jìn)一步給出了單變量LSTM的結(jié)果，該結(jié)果僅在確診病例Robs上進(jìn)行訓(xùn)練。如果未特別指定，貝V網(wǎng)絡(luò)架構(gòu)與NeuralSIR設(shè)置中的相同。我們還包括一個(gè)多元LSTM指標(biāo)，它是對(duì)耦合多元LSTM的

28、預(yù)測(cè)，而沒有將其模型預(yù)測(cè)與SIR模型結(jié)合在一起。除了比較了閉集合(Close-setDataset)數(shù)據(jù)和開集合(Open-setDataset)數(shù)據(jù)兩種情景下的已確診新型冠狀肺炎病例的全球數(shù)據(jù)的預(yù)測(cè)值，本文還在小范圍數(shù)據(jù)樣本中進(jìn)行了實(shí)驗(yàn)。本文所做研究在校園流動(dòng)人口的數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)并且使用同樣的評(píng)估指標(biāo)對(duì)訓(xùn)練模型進(jìn)行了評(píng)估。4.4.1基于C0VID-19全球開放數(shù)據(jù)的實(shí)驗(yàn)結(jié)果4.4.1.1閉集合數(shù)據(jù)(Close-setDataset)樣本結(jié)果分析本文對(duì)模型的預(yù)測(cè)進(jìn)行了閉集合數(shù)據(jù)(Close-setDataset)數(shù)據(jù)樣本結(jié)果分析。MSFE方(Method)印嗽India土耳其EB(Brazi

29、l)英(Uk)罩桂冥仰iiigin閻|1印SJIndim:t耳TurkErf巴西(Brazil)LjeUralSIR斑|Sffl(uk)Sft(Phifippines)QlS(india土耳H(Turkey)BE(Brazil)LSIU美國(guó)|英國(guó)(Ulc)華律衣Phili叩inmsi)|Wlndia)HK(TurkEy)BS(BrazllLSD5IR美餌闔XH(Uk)蘋it鑽Phillpping/OS&G1EG20G2骷30G評(píng)怙方(Evaluation)卬H(lndla)土且其(TyrkEy)巴西(Brazil至國(guó)川窈S(Philippines圖4.9LSTM-DSIR方法在均方預(yù)測(cè)誤差(M

30、SFE)指標(biāo)方面均優(yōu)于所有其他模型Fig.4.9TheLSTM-DSIRmethodissuperiortoallothermodelsintermsofmeansquarepredictionerror(MSFE)indicators.圖(4.9)中柱狀圖顯示，就所有國(guó)家/地區(qū)而言，LSTM-DSIR方法在均方預(yù)測(cè)誤差(MSFE)和平均絕對(duì)百分比誤差(MAFE)指標(biāo)方面均優(yōu)于所有其他模型。其中，在某些國(guó)家數(shù)據(jù)的預(yù)測(cè)中，雖然動(dòng)態(tài)SIR(DynamixSIR)模型具有良好的預(yù)測(cè)準(zhǔn)確性，但是其評(píng)估指標(biāo)的表現(xiàn)仍低于神經(jīng)SIR。同樣地，神經(jīng)SIR(NeuralSIR)方法在不同國(guó)家數(shù)據(jù)的模型實(shí)驗(yàn)中也顯

31、示了相似的結(jié)果。由于LSTM方法本身在準(zhǔn)確性方面的表現(xiàn)較弱，這更表明了將LSTM方法與SIR模型的動(dòng)態(tài)特性相結(jié)合可以顯著地提高網(wǎng)絡(luò)的準(zhǔn)確性并增強(qiáng)模型的預(yù)測(cè)性能。MAFE講潔方i(Evaluatian)am宕翻卬瞰I(xiàn)ndia)土耳其(Tyrkey)巴(Brazil樂國(guó)川劭英國(guó)町5tttB(Philippines圖4.10LSTM-DSIR方法在平均絕對(duì)百分比誤差(MAFE)指標(biāo)方面均優(yōu)于所有其他模型Fig.4.10TheLSTM-DSIRmethodoutperformsallothermodelsintermsoftheaverageabsolutepercentageerror(MAFE)i

32、ndicator.圖（4.10）中柱狀圖展示了平均絕對(duì)百分比誤差（MAFE）結(jié)果，其表明在印度的病毒發(fā)展預(yù)測(cè)值中的LSTM-DSIR的性能表現(xiàn)是最好的，值得注意的是，印度的報(bào)告病例與總?cè)丝谙啾确浅５?，這種報(bào)告的不準(zhǔn)確也在很大程度上會(huì)影響模型的預(yù)測(cè)結(jié)果。從圖中可以看出，動(dòng)態(tài)SIR（DynamicSIR）方法的性能要優(yōu)于LSTM方法，LSTM方法在感染不足時(shí)預(yù)測(cè)性能就會(huì)下降。我們從圖（4.11）中柱狀圖可以看到，SIR模型是遵循傳染病動(dòng)力學(xué)的指數(shù)發(fā)展趨勢(shì)的，同樣，LSTM網(wǎng)絡(luò)的預(yù)測(cè)值也顯示出了這種趨勢(shì)。神經(jīng)SIR（NeuralSIR）方法更加靈活，它可以呈現(xiàn)出最接近地近似觀察到的預(yù)測(cè)。圖（4.11

33、）展示的菲律賓新冠疫情發(fā)展趨勢(shì)的預(yù)測(cè)結(jié)果顯示了相似的模式，盡管動(dòng)態(tài)SIR（DynamicSIR）框架在早期樣本中是更好的預(yù)測(cè)指標(biāo)，但是當(dāng)絕對(duì)感染數(shù)進(jìn)一步提高時(shí)，其性能會(huì)有下降的趨勢(shì)。方袪(Method)印SOndlM巴QiBrazil)時(shí)獅疋訥紳;叱印Sflndl對(duì)XJ5JP|i；TurkBy?巴曹爐船il)HD(Ue)英B(uk)菲澤獻(xiàn)PhilippinesNeuralSIR.LSTML5TM-DSIRDICM08IDifttH-JKTuriwy)GWHrazil)KI：US：IKllHUk)S9Jt!Phli陽也町3EB0J旳ttttlE；PhlippHriei)圖4.11使用世界各國(guó)數(shù)據(jù)

34、訓(xùn)練的各個(gè)預(yù)測(cè)方法的模型預(yù)測(cè)值的平均絕對(duì)百分比誤差(MAPE)Fig.4.11Theaverageabsolutepercentageerror(MAPE)ofthemodelpredictionvaluesofeachpredictionmethodtrainedusingdatafromcountriesaroundtheworldintheexperiment.以上是我們通過閉集合數(shù)據(jù)(Close-setDataset)樣本進(jìn)行的實(shí)驗(yàn)并分析結(jié)果，通過實(shí)驗(yàn)結(jié)果我們可以得出如下結(jié)論：動(dòng)態(tài)SIR(DynamicSIR)方法和神經(jīng)SIR(NeuralSIR)方法的性能指標(biāo)均凸顯了使用差分方程對(duì)新

35、冠病毒傳播模型進(jìn)行建模的缺點(diǎn)。當(dāng)相對(duì)于人群的、可觀察到的感染數(shù)量增加時(shí)，其模型將預(yù)測(cè)出非常大量的、不可觀察到的感染病例，這對(duì)預(yù)測(cè)準(zhǔn)確性產(chǎn)生了明顯的負(fù)面影響。由于LSTM-DSIR包含了微分方程的信息，但其沒有明確地受到微分方程的約束，因此本文所提出的LSTM-DSIR方法預(yù)測(cè)性能更好、對(duì)于新冠病毒傳播的趨勢(shì)預(yù)測(cè)更準(zhǔn)確。4.4.1.2開集合數(shù)據(jù)(Open-setDataset)樣本結(jié)果分析本文對(duì)模型的預(yù)測(cè)進(jìn)行了包括多日的開集合數(shù)據(jù)樣本結(jié)果分析，以下我們選取的為5月19日至5月29日十一日的開集合數(shù)據(jù)(Open-setDataset)進(jìn)行測(cè)試，測(cè)試結(jié)果如圖4.12所示：UUttniFdl.T5Ma

36、hllttf|JbEClu|1-QMonths圖4.16不執(zhí)行遷移率限制政策的活躍病例預(yù)測(cè)曲線Fig.4.16Forecastcurveofactivecaseswithoutmobilityrestrictionpolicy圖（4.16）中顯示了對(duì)于不執(zhí)行遷移率限制政策的活躍病例預(yù)測(cè)曲線，其更好地說明了流動(dòng)性水平之間的差異。圖（4.16）中的曲線圖表明，如果將限制遷移率的疫情防控政策繼續(xù)保持下去，病例數(shù)最終回趨于零。通過以上的趨勢(shì)圖可以分析出，由于LSTM-DSIR包含了微分方程的信息，但其沒有明確地受到微分方程的約束，因此本文所提出的LSTM-DSIR方法預(yù)測(cè)性能更好,對(duì)于新冠病毒傳播的趨

37、勢(shì)預(yù)測(cè)更準(zhǔn)確（樣本準(zhǔn)確定較低的數(shù)據(jù)集除外）。然后，本文更進(jìn)一步的在小范圍數(shù)據(jù)樣本中進(jìn)行了實(shí)驗(yàn)校園流動(dòng)人口的數(shù)據(jù)上的實(shí)驗(yàn)，在實(shí)驗(yàn)中，本文使用同樣的評(píng)估指標(biāo)對(duì)訓(xùn)練模型進(jìn)行了評(píng)估，實(shí)驗(yàn)結(jié)果表明，控制遷移率是控制疫情發(fā)展的關(guān)鍵手段。因此，有效控制返校人數(shù)對(duì)疫情的防控是很有幫助的。如果將限制遷移率的疫情防控政策繼續(xù)保持下去，病例數(shù)最終回趨于零。4.4.3LSTM和Bi-LSTM網(wǎng)絡(luò)體系結(jié)構(gòu)性能對(duì)比實(shí)驗(yàn)本文基于所提出的LSTM-DSIR方法增加了不同網(wǎng)絡(luò)體系結(jié)構(gòu)對(duì)模型性能影響的對(duì)比實(shí)驗(yàn)。在網(wǎng)絡(luò)體系結(jié)構(gòu)性能對(duì)比實(shí)驗(yàn)部分，對(duì)比了LSTM網(wǎng)絡(luò)結(jié)構(gòu)和Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)的性能指標(biāo)。評(píng)估指標(biāo)使用平均絕對(duì)百分比誤差（MAPE）、均方預(yù)測(cè)誤差（MSFE）和R2分?jǐn)?shù)（r2score），有關(guān)評(píng)估指標(biāo)的詳細(xì)介紹見4.2.4。MBFE圖（4.6）為L(zhǎng)STM網(wǎng)絡(luò)結(jié)構(gòu)和Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)MAPE和MSFE性能指標(biāo)柱狀圖，可以看出，LSTM網(wǎng)絡(luò)結(jié)構(gòu)的平均絕對(duì)百分比誤差和預(yù)測(cè)誤差均比Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)的相應(yīng)指標(biāo)小。因此，可以認(rèn)為在以上兩個(gè)評(píng)估指標(biāo)下，使用LSTM網(wǎng)絡(luò)結(jié)構(gòu)所訓(xùn)練模型性能好于Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)所訓(xùn)練模型性能。圖4.6LSTM網(wǎng)絡(luò)結(jié)構(gòu)和Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)MAPE和MSFE性能指標(biāo)柱狀圖Fig.4.6LSTMnetworkstructureandBi-LSTMnetworkstructu