《基于圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測(cè)問題研究》11000字

基于圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測(cè)問題研究摘要：伴隨著當(dāng)前國(guó)內(nèi)汽車市場(chǎng)不斷發(fā)展，大規(guī)模的車輛保有量必然對(duì)交通通行效率帶來巨大的影響。如何對(duì)整體交通網(wǎng)的流量情況進(jìn)行精確預(yù)測(cè)已經(jīng)成為工業(yè)界和研究界共同關(guān)注的熱門問題。當(dāng)前的輿圖應(yīng)用軟件，往往只能準(zhǔn)確的給出當(dāng)前的交通狀態(tài)，對(duì)交通態(tài)勢(shì)的預(yù)測(cè)并不精確。伴隨著人工智能技術(shù)的不斷發(fā)展，由于圖神經(jīng)網(wǎng)絡(luò)可以解決不規(guī)則圖上節(jié)點(diǎn)的特性的優(yōu)點(diǎn)，越來越受到研究界的普遍關(guān)注。而交通網(wǎng)可以很方便的抽象為圖，同時(shí)利用圖神經(jīng)網(wǎng)絡(luò)的方法可以很好的提取交通網(wǎng)的時(shí)空特性，從而解決交通流中長(zhǎng)期預(yù)測(cè)的問題。本文調(diào)研了圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測(cè)方向的發(fā)展現(xiàn)狀，分析比較了現(xiàn)有的模型，選用可行性和準(zhǔn)確度較高的模型ASTGCN并使用自己的訓(xùn)練集對(duì)算法進(jìn)行驗(yàn)證，并與STGCN進(jìn)行前后輩之間的模型結(jié)構(gòu)實(shí)現(xiàn)比對(duì)，提出對(duì)ASTGCN模型融合了STGCN優(yōu)勢(shì)點(diǎn)的改進(jìn)方向。最終，再次訓(xùn)練算法驗(yàn)證了精度。關(guān)鍵詞：圖卷積神經(jīng)網(wǎng)絡(luò)時(shí)空分布交通流預(yù)測(cè)目 錄TOC\o"1-1"\t"標(biāo)題2,1"\h\u1引言………………12圖神經(jīng)網(wǎng)絡(luò)技術(shù)基礎(chǔ)介紹……………………42.1圖神經(jīng)網(wǎng)絡(luò)概述……………42.2交通預(yù)測(cè)問題…………………62.3不同的數(shù)據(jù)集與建圖方法……………………62.4一些其他應(yīng)用于交通流預(yù)測(cè)的圖神經(jīng)網(wǎng)絡(luò)模型……………73時(shí)空?qǐng)D卷積網(wǎng)絡(luò)模型…………93.1模型結(jié)構(gòu)………………………93.2算法簡(jiǎn)述………………………103.3模型意義……………………124混合注意力機(jī)制的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)…………124.1模型結(jié)構(gòu)……………………124.2注意力機(jī)制…………………144.3時(shí)空?qǐng)D卷積…………………154.4模型缺陷與改進(jìn)……………154.5實(shí)驗(yàn)…………17參考文獻(xiàn)……………………241引言研究背景和意義最近幾年，伴隨著中國(guó)汽車市場(chǎng)的不斷發(fā)展，截止到2019年，國(guó)內(nèi)每家每戶的私家汽車加一塊就要有2.4億輛了。如此大量的車輛必然對(duì)交通的通行效率產(chǎn)生巨大影響。城市和高速公路交通擁堵時(shí)有發(fā)生。如何準(zhǔn)確地預(yù)測(cè)整個(gè)交通網(wǎng)絡(luò)的交通流量這樣的問題受到了業(yè)界和研究界的熱門關(guān)注。目前的輿圖應(yīng)用軟件，往往只能準(zhǔn)確給出當(dāng)前的交通狀況，對(duì)交通狀況的預(yù)測(cè)并不準(zhǔn)確。常用的交通流預(yù)測(cè)方法主要是基于傳統(tǒng)的時(shí)間序列和眾包的方法。這些方法可以解決交通流的短期預(yù)測(cè)問題，但對(duì)于中長(zhǎng)期預(yù)測(cè)，往往偏差較大。伴隨著人工智能技術(shù)的不斷發(fā)展，圖神經(jīng)網(wǎng)絡(luò)（GNN）因能解決不規(guī)則圖上節(jié)點(diǎn)的特性而受到越來越多研究者的關(guān)注。交通網(wǎng)絡(luò)可以很容易地抽象為一個(gè)圖形。同時(shí)，利用圖神經(jīng)網(wǎng)絡(luò)的方法可以提取交通網(wǎng)絡(luò)的時(shí)空特征，從而解決中長(zhǎng)期交通流預(yù)測(cè)問題。伴隨著交通行業(yè)的不斷發(fā)展和交通數(shù)據(jù)的快速增長(zhǎng)，學(xué)者們希望利用這些數(shù)據(jù)為城市交通服務(wù)，因此智能交通系統(tǒng)成為未來交通系統(tǒng)的研究方向。短時(shí)交通流預(yù)測(cè)作為智能交通領(lǐng)域的研究熱門，對(duì)交通誘導(dǎo)和路徑規(guī)劃具有重要意義[1]。最近幾年，時(shí)空預(yù)測(cè)在大大小小的領(lǐng)域都被應(yīng)用，其中的一個(gè)例子就是交通流預(yù)測(cè)問題。交通流預(yù)測(cè)就是，在有路網(wǎng)地圖和過去的交通流量的情況下，預(yù)測(cè)以后的交通速度。如果能做好長(zhǎng)期的交通預(yù)測(cè)，不僅能便利百姓生活中需要的出行規(guī)劃，更能節(jié)省百姓在出門之前決定路線的時(shí)間。對(duì)于道路的管理機(jī)構(gòu)來說，更全面的預(yù)測(cè)更多可能性的交通路網(wǎng)狀況是重中之重。道路交通流越是隨著時(shí)間變化就越依賴時(shí)間，這是一個(gè)逐漸變強(qiáng)的過程，而不是平穩(wěn)的，舉個(gè)例子，比如早高峰晚高峰，再比如節(jié)假日之類的都會(huì)影響到道路的交通速度；而且，道路交通流并不是一板一眼的，現(xiàn)實(shí)里的道網(wǎng)比起模型更為復(fù)雜錯(cuò)綜，具有非歐氏性和方向性?，F(xiàn)如今，深度學(xué)習(xí)也是發(fā)展的蒸蒸日上，人們也越來越愿意用深度學(xué)習(xí)來作為解決交通流預(yù)測(cè)問題的方法，而圖神經(jīng)網(wǎng)絡(luò)的發(fā)展和走向熱點(diǎn)也為建立起道網(wǎng)的空間相關(guān)性建模打開了新的一扇門[2]。國(guó)內(nèi)外研究現(xiàn)狀 在智能交通領(lǐng)域的研究中，交通流預(yù)測(cè)問題一直受到許許多多學(xué)者的青睞，并提出了許多迥異的研究方法和可行性較高的數(shù)種預(yù)測(cè)模型。一般來說，包括以下兩種方法： （1）基于經(jīng)典統(tǒng)計(jì)學(xué)的預(yù)測(cè)模型：在預(yù)測(cè)交通流量時(shí)，模型主要分析歷史交通流量數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行線性回歸和參數(shù)優(yōu)化。例如，Kumer等人在對(duì)輸入時(shí)間序列做了必要差分的基礎(chǔ)上，通過繪制自相關(guān)數(shù)和偏自相關(guān)函數(shù)，確定了SARIMA模型的適當(dāng)階數(shù)，令輸入時(shí)間序列穩(wěn)定[4]；2017年，Kumar等人提出了一種基于卡爾曼濾波技術(shù)的預(yù)測(cè)方案，需要有限的輸入數(shù)據(jù)。在預(yù)測(cè)中，只使用前兩天的流量觀測(cè)值。KFT開發(fā)的方案能夠以預(yù)期的精度預(yù)測(cè)第二天的流量值，同時(shí)我們還嘗試使用感興趣日期的歷史數(shù)據(jù)（前兩天的流量數(shù)據(jù)）和實(shí)時(shí)數(shù)據(jù)[5]。這種模型主要針對(duì)歷史數(shù)據(jù)信息進(jìn)行交通流預(yù)測(cè)。該模型方法相對(duì)簡(jiǎn)單，易于操作，可以解決某些情況下的交通擁堵問題。但該模型的應(yīng)用范圍較窄，只能對(duì)特定情況下的交通流進(jìn)行預(yù)測(cè)，預(yù)測(cè)精度較差。 （2）基于數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型：該模型以歷史交通數(shù)據(jù)為基礎(chǔ)，運(yùn)用深度挖掘算法分析交通流數(shù)據(jù)，進(jìn)而對(duì)數(shù)據(jù)的未來變化趨勢(shì)進(jìn)行預(yù)測(cè)[6]。在深度學(xué)習(xí)中，人們經(jīng)常用卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)交通流。馮寧等人提出了一種St-resnet深度學(xué)習(xí)的逆方法，利用殘差卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)每個(gè)區(qū)域的流動(dòng)人口數(shù)量[6]；Wu等人采用了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的交通標(biāo)志檢測(cè)方法，通過支持向量機(jī)將原始圖像轉(zhuǎn)化為灰度圖像，然后利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，并采用引導(dǎo)程序的方法提高了檢測(cè)精度，避免了過擬合的問題[7]。分析了數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)模型的研究現(xiàn)狀，發(fā)現(xiàn)這種模型可以通過仿真實(shí)驗(yàn)獲得預(yù)測(cè)數(shù)據(jù)，實(shí)驗(yàn)操作相對(duì)簡(jiǎn)單，但不能實(shí)時(shí)預(yù)測(cè)交通信息，不能應(yīng)用于大規(guī)模路網(wǎng)交通。 綜上所述，大多數(shù)模型總是針對(duì)單一交通流數(shù)據(jù)，都沒有考慮多個(gè)交通流因素。由于交通場(chǎng)景的復(fù)雜性和非線性相關(guān)性，交通流速度與交通流量之間存在著密切的相關(guān)性。因此，只考慮一個(gè)交通因子作為數(shù)據(jù)集預(yù)測(cè)，在一定程度上降低了交通流預(yù)測(cè)的準(zhǔn)確性。 圖神經(jīng)網(wǎng)絡(luò)發(fā)展方面，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只能對(duì)標(biāo)準(zhǔn)規(guī)則的網(wǎng)格數(shù)據(jù)有效地提取部分?jǐn)?shù)據(jù)特征，不能很好地處理復(fù)雜、非線性的交通數(shù)據(jù)。在這種情況下，我們需要考慮使用圖卷積神經(jīng)網(wǎng)絡(luò)。GCN能夠處理非線性和不規(guī)則的圖形數(shù)據(jù)，對(duì)拓?fù)鋱D形結(jié)構(gòu)數(shù)據(jù)進(jìn)行卷積，捕捉圖形的結(jié)構(gòu)特征，有效地利用拓?fù)鋱D，從中提出空間特征以學(xué)習(xí)[3]。目前，圖卷積的主要方法有空域法與譜域法。空域法把卷積核在圖上的節(jié)點(diǎn)和它的鄰域進(jìn)行應(yīng)用。Niepert等人提出了一種圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)模型，構(gòu)造了具有離散特征和邊屬性的拓?fù)鋱D結(jié)構(gòu)，并對(duì)輸入局部連接區(qū)域進(jìn)行了操作。實(shí)驗(yàn)表明，該方法對(duì)圖形結(jié)構(gòu)數(shù)據(jù)的學(xué)習(xí)是有效的[10]；Beck等人提出了一種新的圖卷積模型?；趫D序列學(xué)習(xí)問題，將輸入變換與門控神經(jīng)網(wǎng)絡(luò)相結(jié)合，解決了以往工作中參數(shù)爆炸的問題，允許節(jié)點(diǎn)和邊有自己的表示層，該模型在生成AMR圖和基于語法的神經(jīng)機(jī)器翻譯方面優(yōu)于強(qiáng)基線[11]。 綜上所述，目前的交通流預(yù)測(cè)只是根據(jù)T時(shí)刻的交通因素預(yù)測(cè)未來某一時(shí)段（T+1）的交通流，沒有考慮通過（T?n）和T的歷史時(shí)間流預(yù)測(cè)交通流，即不考慮時(shí)間相關(guān)性，某種意義上來講，預(yù)測(cè)的準(zhǔn)確性被降低了很多；大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)只能處理規(guī)則的數(shù)據(jù)結(jié)構(gòu)，而城市交通流信息是不規(guī)則的。采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)會(huì)降低預(yù)測(cè)精度。主要研究?jī)?nèi)容本文調(diào)研了圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測(cè)方向的發(fā)展現(xiàn)狀，分析比較了現(xiàn)有的模型，選用可行性和準(zhǔn)確度較高的模型ASTGCN并使用自己的訓(xùn)練集對(duì)算法進(jìn)行驗(yàn)證，提出對(duì)ASTGCN模型融合了STGCN優(yōu)勢(shì)點(diǎn)的改進(jìn)方向。最終，再次訓(xùn)練算法驗(yàn)證了精度。近兩年關(guān)于圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測(cè)方面的研究越發(fā)熱門，發(fā)展越發(fā)迅速。新的模型在改良舊模型缺陷和提高精度之后層出不窮，本人通過對(duì)各個(gè)模型發(fā)展程度的研究對(duì)比，吸取平衡經(jīng)典模型的優(yōu)劣，選擇當(dāng)前可行性較高的模型進(jìn)行改良嘗試，以提高精度。章節(jié)安排本文在交通流預(yù)測(cè)問題的中長(zhǎng)期預(yù)測(cè)精確度的需求背景下，對(duì)現(xiàn)階段研究者提出的各個(gè)模型進(jìn)行研究和選取改良。在上文的第一章簡(jiǎn)述了當(dāng)今圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于交通流預(yù)測(cè)問題的背景和意義，應(yīng)用過程中產(chǎn)生的各種各樣的問題，國(guó)內(nèi)外研究現(xiàn)狀以及本文研究的重點(diǎn)內(nèi)容。第二章中，本文會(huì)介紹圖神經(jīng)網(wǎng)絡(luò)的技術(shù)基礎(chǔ)，簡(jiǎn)單介紹目前在交通預(yù)測(cè)方向前人提出的一些模型和解決問題的方法，以及交通流預(yù)測(cè)問題的基本解決方式。第三章中，本文會(huì)介紹在交通流預(yù)測(cè)問題中開創(chuàng)了從空間走向時(shí)空分布、本文提出改良方向的模型的基礎(chǔ)模型STGCN，為第四章最終算法模型的改良奠定基礎(chǔ)。第四章中，本文會(huì)完整詳細(xì)的介紹所改良的模型的原型，以及改良的方向，具體實(shí)驗(yàn)的過程以及實(shí)驗(yàn)的結(jié)果。2圖神經(jīng)網(wǎng)絡(luò)技術(shù)基礎(chǔ)介紹2.1圖神經(jīng)網(wǎng)絡(luò)概述 圖神經(jīng)網(wǎng)絡(luò)是應(yīng)用于圖的神經(jīng)網(wǎng)絡(luò)模型的總稱。圖神經(jīng)網(wǎng)絡(luò)分為五類，如圖2-1所示，不再文字?jǐn)⑹觥D2-1圖嵌入與圖神經(jīng)網(wǎng)絡(luò)的關(guān)系 圖卷積神經(jīng)網(wǎng)絡(luò)是一種利用圖卷積的神經(jīng)網(wǎng)絡(luò)。由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像處理中的成功，卷積運(yùn)算自然地應(yīng)用于圖數(shù)據(jù)。目前，GCN在圖數(shù)據(jù)處理方面的地位與CNN在圖像處理方面的地位相當(dāng)。 圖卷積網(wǎng)絡(luò)將卷積運(yùn)算從傳統(tǒng)數(shù)據(jù)遷移到圖數(shù)據(jù)。舉個(gè)例子，假如這里有一格圖類型的數(shù)據(jù)，在這個(gè)圖數(shù)據(jù)當(dāng)中有各具特征的n個(gè)節(jié)點(diǎn)，然后我們把這些節(jié)點(diǎn)的特征設(shè)置成一個(gè)n×D維的矩陣，記為X；則節(jié)點(diǎn)間的關(guān)系可以表示成一個(gè)n×N維的矩陣，記為L(zhǎng)，L是一個(gè)鄰接矩陣。那么，X和L就是模型的輸入。對(duì)于那些復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)模型來說，圖卷積網(wǎng)絡(luò)是它們的基石。 GCN和RNN也有著相似之處，通過模仿RNN類的結(jié)構(gòu)對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行建模，可以理解GCN建模的空間數(shù)據(jù)。在每次計(jì)算“點(diǎn)”時(shí)，RNN將前一時(shí)刻“點(diǎn)”的隱層狀態(tài)和當(dāng)前時(shí)刻“點(diǎn)”的輸入發(fā)送到同一模型結(jié)構(gòu)中，得到當(dāng)前時(shí)刻“點(diǎn)”的隱層狀態(tài)和輸出。類似地，GCN發(fā)送當(dāng)前點(diǎn)的輸入特征、當(dāng)前點(diǎn)的相鄰邊的輸入特征、當(dāng)前點(diǎn)的相鄰點(diǎn)的輸入特征，將當(dāng)前點(diǎn)相鄰點(diǎn)的隱層狀態(tài)轉(zhuǎn)化為相同的局部傳遞函數(shù)和局部輸出函數(shù)，得到當(dāng)前點(diǎn)的隱層狀態(tài)H和輸出嵌入。最后用迭代法得到整個(gè)圖的表示。 經(jīng)典卷積網(wǎng)絡(luò)的局限性在于它不能處理圖結(jié)構(gòu)的數(shù)據(jù)，只能處理固定維數(shù)的數(shù)據(jù)，并且必須對(duì)局部輸入數(shù)據(jù)進(jìn)行排序。圖卷積神經(jīng)網(wǎng)絡(luò)需要解決的問題是處理序列無序性和維數(shù)可變性的數(shù)據(jù)。2.2交通預(yù)測(cè)問題交通方面的問題主要包括以下幾類，交通擁堵、旅行需求、交通安全、交通監(jiān)管和自動(dòng)駕駛[11]。交通預(yù)測(cè)的目的是根據(jù)歷史交通數(shù)據(jù)和交通網(wǎng)絡(luò)的拓補(bǔ)結(jié)構(gòu)，預(yù)測(cè)未來的交通狀況，如速度、流量和擁擠程度。良好的預(yù)測(cè)結(jié)果可以幫助出行者選擇合理的出行路線，為城市管理者提供決策支持，緩解交通擁堵，減少資源浪費(fèi)。目前，基于圖深度學(xué)習(xí)的交通方面問題基本是關(guān)于時(shí)空預(yù)測(cè)的。他們用一種非常相似的方式來形式化他們的預(yù)測(cè)問題，盡管不同的數(shù)學(xué)符號(hào)和表示，基于圖形的交通時(shí)空問題還是有一個(gè)通用的公式[11]。加入我們把交通網(wǎng)絡(luò)表示為一張圖，記為圖G=(V,E,a)，對(duì)于不同的任務(wù)來說，圖G可以有向也可以無向，可以有權(quán)也可以無權(quán)。V代表一組節(jié)點(diǎn)，|V|=N表示圖中含有N個(gè)節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)代表一個(gè)交通對(duì)象，可以是一個(gè)傳感器、一個(gè)路段、一個(gè)道路交叉口，甚至是一個(gè)GPS交叉口。節(jié)點(diǎn)之間連通性的邊集表示為E。交通數(shù)據(jù)的格式：交通數(shù)據(jù)和時(shí)間相關(guān)，具有時(shí)序性；t時(shí)刻的交通數(shù)據(jù)可以記為vt∈Rn×c預(yù)測(cè)定義：vt?T’+1,v交通流預(yù)測(cè)問題本質(zhì)上是時(shí)間序列預(yù)測(cè)問題，時(shí)間序列內(nèi)部的關(guān)聯(lián)即是問題的時(shí)間維度；不同的節(jié)點(diǎn)之間必然產(chǎn)生空間上的關(guān)聯(lián)，則是問題的空間維度。2.3不同的數(shù)據(jù)集與建圖方法 第一類是傳感器數(shù)據(jù)集。典型的數(shù)據(jù)集是PEMs美國(guó)高速公路數(shù)據(jù)集，它可以采集道路車輛的速度、交通流量等信息；傳感器之間的路段也可以看作節(jié)點(diǎn)； 第二類是GPS數(shù)據(jù)。GPS數(shù)據(jù)由多條車輛運(yùn)動(dòng)軌跡組成，通常包括時(shí)間戳、經(jīng)緯度、速度等信息。每個(gè)GPS記錄可劃分為最近的路段。通過交叉口將一條道路劃分為多個(gè)路段，建立路段圖或交叉口圖； 第三類是出租車數(shù)據(jù)集，可分為出租車訂單數(shù)據(jù)集或共享單車數(shù)據(jù)集，反映移動(dòng)方式或出行需求。以往的工作通常將城市劃分為若干規(guī)則網(wǎng)格，每個(gè)網(wǎng)格代表一個(gè)區(qū)域，然后在每個(gè)網(wǎng)格中預(yù)測(cè)未來的出行需求； 第四類是城市軌道交通數(shù)據(jù)集，如地鐵線路或公交線路的數(shù)據(jù)集。這種數(shù)據(jù)集具有固定的站點(diǎn)，通常以單位時(shí)間內(nèi)站點(diǎn)上下車人數(shù)為節(jié)點(diǎn)特征。2.4一些其他應(yīng)用于交通流預(yù)測(cè)的圖神經(jīng)網(wǎng)絡(luò)模型 基于圖神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)（MTGNN）[15]，它基于圖神經(jīng)網(wǎng)絡(luò)，是第一個(gè)在圖的方向上進(jìn)行多元時(shí)間序列數(shù)據(jù)建模的；并通過一種新的圖學(xué)習(xí)模塊來學(xué)習(xí)那些具有空間上的依賴關(guān)系的變量，還提出了一種GNN模型來解決無圖形結(jié)構(gòu)的數(shù)據(jù)問題；提出了一種無需預(yù)先定義的圖形網(wǎng)絡(luò)訓(xùn)練和圖形結(jié)構(gòu)學(xué)習(xí)框架，且模型的性能超過了當(dāng)時(shí)現(xiàn)有的方法。該模型由四部分組成，圖學(xué)習(xí)層，m個(gè)圖卷積模塊，m個(gè)時(shí)間卷積模塊和一個(gè)輸出模塊，整個(gè)算法的流程如圖2-2所示。圖2-2MTGNN的流程圖 動(dòng)態(tài)時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（DGCNN）[13]，在深度學(xué)習(xí)框架DGCNN中引入張量分解運(yùn)算（layer），將實(shí)時(shí)交通數(shù)據(jù)分解為全局分量（穩(wěn)定且依賴于長(zhǎng)期的時(shí)空交通關(guān)系）和局部分量（捕捉交通流波動(dòng)）；在此基礎(chǔ)上設(shè)計(jì)了一種動(dòng)態(tài)Laplacian矩陣估計(jì)器，在圖的卷積層實(shí)時(shí)估計(jì)Laplacian矩陣進(jìn)行流量預(yù)測(cè)。圖2-3DGCNN模型 基于時(shí)空同步圖卷積網(wǎng)絡(luò)（STSGCN）[14]，在模型ASTGCN基礎(chǔ)上，通過設(shè)計(jì)良好的時(shí)空同步建模機(jī)制，可以立竿見影地同步捕捉局部時(shí)空的復(fù)雜相關(guān)特性，解決了前者時(shí)空特性捕獲異步的缺陷。同時(shí)，為了能有效地捕捉局部時(shí)空?qǐng)D的異質(zhì)性，模型中在多個(gè)不同時(shí)間段均設(shè)計(jì)了module。該模型構(gòu)造了一個(gè)局部時(shí)空?qǐng)D，將單個(gè)空間圖與相鄰的時(shí)間步長(zhǎng)連接成一個(gè)圖；設(shè)計(jì)了時(shí)空同步圖卷積模塊（stsgcm）來提取局部時(shí)空?qǐng)D的時(shí)空相關(guān)性；設(shè)計(jì)了時(shí)空同步圖連續(xù)層（stsgcl），即在不同的時(shí)間段部署多個(gè)stsgcm來捕獲遠(yuǎn)程時(shí)空網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性；將多個(gè)stsgcl進(jìn)行疊加，得到長(zhǎng)程的時(shí)空關(guān)系和異質(zhì)性，得到最終的預(yù)測(cè)結(jié)果。圖2-4STSGCN整體架構(gòu) 以上是近年一些創(chuàng)新性很好精度出色的GCN模型，但由于可操作性與模型理解深度等可行性原因，筆者并沒有選擇它們作為改良的奠基。但它們?cè)诮鉀Q交通流問題中仍具有顯著地位，故于此單獨(dú)列出。3時(shí)空?qǐng)D卷積網(wǎng)絡(luò)模型3.1模型結(jié)構(gòu) STGCN[12]克服了傳統(tǒng)的方法依賴于手工部分或者遍歷規(guī)則的局限性，利用圖卷積提取數(shù)據(jù)的空間特征，而時(shí)間特征則通過一維卷積來進(jìn)行學(xué)習(xí)。圖3-1STGCN的網(wǎng)絡(luò)結(jié)構(gòu) STGCN包括兩個(gè)時(shí)空?qǐng)D卷積塊和一個(gè)輸出全連接層。每一個(gè)時(shí)空卷積塊由兩個(gè)時(shí)間門控卷積和中間的一個(gè)空間圖卷積構(gòu)成，作為這個(gè)模型的網(wǎng)絡(luò)結(jié)構(gòu)的核心。3.2算法簡(jiǎn)述網(wǎng)絡(luò)輸入是M個(gè)時(shí)間步的圖的特征向量X∈RM×n×Ci(Ci=1)以及對(duì)應(yīng)的鄰接矩陣W∈Rn×n3.2.1時(shí)域卷積塊和傳統(tǒng)的時(shí)空模型比起來，這個(gè)模型最大的創(chuàng)新之處是時(shí)間特征的信息是通過一維卷積學(xué)習(xí)的。在解決數(shù)據(jù)量較大的流量預(yù)測(cè)問題時(shí)，大量費(fèi)時(shí)費(fèi)力的操作往往是復(fù)雜的選通機(jī)制和迭代訓(xùn)練。另外，因?yàn)檫f歸神經(jīng)網(wǎng)絡(luò)的狀態(tài)是非常依賴于前一步驟記錄下來的信息的，所以難以捕獲到波動(dòng)情況較強(qiáng)的數(shù)據(jù)，比如早晚高峰交通流。恰恰相反的，卷積神經(jīng)網(wǎng)絡(luò)不會(huì)受到過往時(shí)間點(diǎn)內(nèi)預(yù)測(cè)數(shù)據(jù)的限制，而且有著較好的并行訓(xùn)練性和耗時(shí)性，因此可以更好地捕獲數(shù)據(jù)的波動(dòng)。時(shí)域卷積塊如圖2-1最右側(cè)所示，于每個(gè)節(jié)點(diǎn)處輸入X∈RM×n×Ci，并在時(shí)間維度上進(jìn)行一維卷積，卷積核為?！蔙Kt×Ci，個(gè)數(shù)為然后進(jìn)行GLU激活：Γ?τX=P⊙σ公式2-2中，P和Q代表GLU的門輸入，⊙表示哈達(dá)瑪積（哈達(dá)瑪積表示矩陣中元素對(duì)應(yīng)相乘），sigmoid函數(shù)門σQ控制的是目前狀態(tài)中的數(shù)個(gè)輸入P中的哪個(gè)與時(shí)間元素序列中的構(gòu)成與動(dòng)態(tài)方差具備相關(guān)關(guān)系。對(duì)于一張完整的時(shí)空?qǐng)D：輸入X∈RM×n×Ci，輸出Y∈3.2.2空域卷積塊圖卷積最早在圖頻譜理論中被提到，其中將圖卷積定義為信號(hào)x和圖核Θ的乘積,即Θ?gx=ΘLx=ΘU∧ 公式2-3中，圖傅里葉基U∈Rn×n（n表示圖中的頂點(diǎn)個(gè)數(shù)）是歸一化的圖拉普拉斯矩陣L=In?D?1以下的切比雪夫多項(xiàng)式和一階多項(xiàng)式近似都是為了讓圖卷積運(yùn)算變的不再那么復(fù)雜采用的方法：Θ?gx=ΘLx≈k=0 其中，Tk空域卷積是在每個(gè)時(shí)間步的圖上進(jìn)行卷積，但不在時(shí)間步之間進(jìn)行。輸入X∈Rn×Ci，按照Y=i=0K?1θ其中Ti(x)=2xTi?1(x)?Ti?2(x)，L=2Lλmax?對(duì)于一張完整的時(shí)空?qǐng)D：輸入X∈RM×n×Ci，輸出3.2.3輸出層依照時(shí)域卷積塊的一維卷積過程，每當(dāng)經(jīng)過一個(gè)時(shí)空卷積塊后，數(shù)據(jù)在時(shí)間維度的長(zhǎng)度都會(huì)減小2(Kt?1)輸出層包括一個(gè)全連接層和一個(gè)時(shí)域卷積層，時(shí)域卷積層的卷積核大小范圍為Γ∈RM?4(Kt?1)×n×Co，個(gè)數(shù)為Co，將輸出映射到Z∈Rn×Co。全連接層v=Zω+b，其中損失函數(shù)是目標(biāo)值和預(yù)測(cè)值的距離度量的重要方法：L(v;W其中Wθ是所有可訓(xùn)練參數(shù)，v是預(yù)測(cè)值，vt+13.2.4殘差連接殘差連接涵蓋在了每個(gè)時(shí)域卷積塊與空域卷積塊之中。3.3模型意義 由卷積神經(jīng)網(wǎng)絡(luò)組成的STGCN是由圖卷積和門控時(shí)間卷積通過時(shí)空模塊組成的，以進(jìn)行時(shí)空交通流預(yù)測(cè)。 由于只采用卷積神經(jīng)網(wǎng)絡(luò)，與循環(huán)神經(jīng)網(wǎng)絡(luò)相比，模型并行訓(xùn)練的效果好，模型中的參數(shù)少，因此GPU可以更好地應(yīng)用。也就是說大規(guī)模數(shù)據(jù)集可以更有效地使用該網(wǎng)絡(luò)。 這個(gè)模型在現(xiàn)實(shí)中的交通數(shù)據(jù)集上測(cè)驗(yàn)表現(xiàn)出色，并且在中長(zhǎng)期預(yù)測(cè)方面的效果較為優(yōu)秀。 奠定了時(shí)空分布預(yù)測(cè)交通流模型的基礎(chǔ)。4混合注意力機(jī)制的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)4.1模型結(jié)構(gòu)ASTGCN[16]主要由三個(gè)獨(dú)立的部分組成，分別模擬交通流的三個(gè)時(shí)間特征，即鄰近性、日相關(guān)性和周相關(guān)性。每個(gè)獨(dú)立的部分包括兩個(gè)部分：時(shí)空卷積部分，通過用標(biāo)準(zhǔn)卷積來描述時(shí)間特征，用體積來捕獲空間特征；時(shí)空注意機(jī)制，通過加入注意機(jī)制，能夠有效地捕獲流量數(shù)據(jù)中的時(shí)空動(dòng)態(tài)相關(guān)性。最終結(jié)果由對(duì)三個(gè)分量的輸出結(jié)果進(jìn)行加權(quán)融合來得到。STGCN模型缺乏對(duì)交通流動(dòng)態(tài)時(shí)空關(guān)系的關(guān)注，因此本模型是在STGCN的基礎(chǔ)上加入了注意力機(jī)制來捕獲數(shù)據(jù)的動(dòng)態(tài)時(shí)空相關(guān)性。圖4-1ASTGCN的網(wǎng)絡(luò)結(jié)構(gòu) 框架分為三個(gè)部分，分別提取了時(shí)間層面鄰近、日、周三種依賴特征。鄰近部分包含預(yù)測(cè)時(shí)段鄰近的T個(gè)時(shí)段，日時(shí)段部分含有預(yù)測(cè)時(shí)段附近幾日一致的數(shù)個(gè)時(shí)間元素列，周時(shí)段部分含有預(yù)測(cè)時(shí)段附近幾周一致的數(shù)個(gè)時(shí)間元素列。這三個(gè)部分的結(jié)構(gòu)相同，每部分都由一個(gè)全連接層和許多個(gè)時(shí)空卷積塊構(gòu)成。每個(gè)時(shí)空塊中都有一份注意力模塊和卷積模塊。模型為了讓訓(xùn)練的效果和效率變的更好，采用采用殘差連接。最終結(jié)果由用一個(gè)參數(shù)矩陣加權(quán)合并三個(gè)分量的輸出結(jié)果進(jìn)行加權(quán)融合來得到。4.2注意力機(jī)制4.2.1空間注意力 在空間維度上，即使是不同位置的交通狀況也有著互相影響的情況，這具有很強(qiáng)的動(dòng)態(tài)性。所以我們通過注意力機(jī)制的特性，自適應(yīng)地捕獲空間維度中各個(gè)節(jié)點(diǎn)之間的動(dòng)態(tài)關(guān)聯(lián)性。S=V·σ{X·W1·WSi,j'=維度關(guān)系：X∈R(N?C?T)，其中N表示有N個(gè)觀測(cè)點(diǎn)，C表示三種交通特征觀測(cè)值（流量，速度和時(shí)間占有率），T表示輸入的T個(gè)時(shí)間步。W1∈R(T)，W2∈R(T)，W3∈R(C?T),V∈R(N?N),b∈R(N?N)，最終結(jié)果S∈R(N?N)。公式44.2.2時(shí)間注意力在時(shí)間維度上，即使是交通狀況的多個(gè)不同時(shí)間段之間也存在著相關(guān)性，但是在不同情況下，它們的相關(guān)性也不盡相同。同理，我們通過注意力機(jī)制來自適應(yīng)地為數(shù)據(jù)賦予不同權(quán)重。 E=V·σ{(X)T·Ei,j'=維度關(guān)系：X∈R(N*C*T)，其中N表示有N個(gè)觀測(cè)點(diǎn)，C表示三種交通特征觀測(cè)值（流量，速度和時(shí)間占有率），T表示輸入的T個(gè)時(shí)間步。U1∈R(N)，U2∈R(C?N)，U3∈R(C)，V∈R(T?T),b∈R(T?T)，最終結(jié)果E∈R(T?T)。公式4-4為softmax4.3時(shí)空?qǐng)D卷積4.3.1空間維度圖卷積切比雪夫多項(xiàng)式近似：gθ?Gx=g其中，θ∈R（K）為多項(xiàng)式系數(shù)的向量，L=2λ其中λmax為拉普拉斯矩陣的最大特征值，則切比雪夫多項(xiàng)式的迭代關(guān)系為：Tkx=2x公式4-7相當(dāng)于利用卷積核gθ提取0到(K?1)階鄰居的信息。將空間注意力機(jī)制應(yīng)用到該圖卷積的過程中即為gθ?Gx=gθ另外，由于輸入數(shù)據(jù)X的范圍是X∈R(N?C?T)，因此在每個(gè)時(shí)間步上都要有C個(gè)濾波器。4.3.2時(shí)間維度標(biāo)準(zhǔn)卷積通過圖卷積獲取鄰域信息，再疊加標(biāo)準(zhǔn)的卷積層，然后進(jìn)一步合并相鄰的時(shí)間步信息在時(shí)間維度上。 x?(r)=ReLU一個(gè)總時(shí)空塊由前文介紹的時(shí)空注意力塊和卷積塊構(gòu)成。然后對(duì)多個(gè)時(shí)空塊進(jìn)行疊加，就能提取進(jìn)一步的更大范圍的動(dòng)態(tài)時(shí)空關(guān)聯(lián)特征。最后，通過一個(gè)全連接層，來保證各個(gè)部分輸出的內(nèi)容與預(yù)測(cè)目標(biāo)的shape和size一致。選取ReLU作為全連接層的激活函數(shù)。最后將三種特征的結(jié)果融合到一起：Y=W?4.4模型缺陷與改進(jìn)4.4.1缺陷分析我們對(duì)比上文提到的STGCN與ASTGCN，這兩個(gè)模型有明顯的先后與借鑒關(guān)系。ASTGCN在STGCN的基礎(chǔ)上，在時(shí)間方面將時(shí)間更細(xì)致地分出了三種特征，一天的早晚與平時(shí)，一周的平日與周末，這些都是具備著不同特征的時(shí)間段。我們知道，這些時(shí)間段的交通流量勢(shì)必存在著不同的特點(diǎn)，比如早晚合平日時(shí)段流量更大。STGCN限于當(dāng)時(shí)的模型發(fā)展?fàn)顩r則沒有考慮到這一點(diǎn)，但是STGCN率先使用了門控卷積（GatedCNN）[17]對(duì)時(shí)間維度進(jìn)行處理，而ASTGCN則使用的是一位標(biāo)準(zhǔn)卷積，并使用ReLU激活函數(shù)?，F(xiàn)在我們來聊聊門控卷積和一維標(biāo)準(zhǔn)卷積有什么區(qū)別。門控卷積的結(jié)構(gòu)其實(shí)和標(biāo)準(zhǔn)卷積并不存在很大的差別，差就差在在卷積層引入了門控機(jī)制。所謂的門控機(jī)制，其實(shí)就是通過一個(gè)門控線性單元（GLU）[17]，把卷積層的輸出變成了公式4-11，也就是，把一個(gè)不帶非線性函數(shù)的卷積層輸出，乘上一個(gè)用sigmod激活函數(shù)激活過的卷積層輸出。 Hl=(Hl?1?W+b)?σ(H 因此，門控卷積和標(biāo)準(zhǔn)卷積的區(qū)別就是，輸出結(jié)果并不是由某某激活函數(shù)激活，而是由上面的“門限”限制的結(jié)果。門控控制了公式前一個(gè)乘數(shù)中的哪些信息能傳到下一個(gè)卷積。雖然，即使不使用門控也依然不影響ASTGCN輸出精度更高的結(jié)果，但加入門控可以顯著提高這個(gè)模型的精度。4.4.2改進(jìn)方法通過將ASTGCN中的時(shí)空卷積塊內(nèi)的時(shí)間維度一維標(biāo)準(zhǔn)卷積，改為使用門控卷積捕獲時(shí)間特性（如圖4-2），替換了作為訓(xùn)練核心的卷積塊，通過這樣的調(diào)整提高ASTGCN的精度。 圖4-2新stBlock塊改進(jìn)后，時(shí)間維度門控卷積的輸出結(jié)果為： x?(r)=g公式4-12中，P和Q代表GLU的門輸入，⊙表示哈達(dá)瑪積（哈達(dá)瑪積表示矩陣中元素對(duì)應(yīng)相乘），sigmoid函數(shù)門σQ控制的是目前狀態(tài)中的數(shù)個(gè)輸入P改進(jìn)后的模型，本人暫且將其稱為“新ASTGCN”，以作后面的表述。4.5實(shí)驗(yàn)4.5.1實(shí)驗(yàn)數(shù)據(jù) 實(shí)驗(yàn)選用的數(shù)據(jù)集是由本校指導(dǎo)教師提供的保定市交通流量數(shù)據(jù)集，共有200個(gè)傳感器節(jié)點(diǎn)，8928個(gè)時(shí)間節(jié)點(diǎn)，總共一周的流量數(shù)據(jù)。用鄰接矩陣表示傳感器節(jié)點(diǎn)之間的位置關(guān)系（如圖4-3），經(jīng)過預(yù)處理程序提取有向圖（如圖4-4）。流量表（如圖4-5）則處理儲(chǔ)存成npz文件，圖4-6為第200個(gè)傳感器節(jié)點(diǎn)（隨機(jī)抽取示意）的流量示意圖。圖4-3bdadjMat（部分）圖4-4經(jīng)過預(yù)處理后的bdadjMat（部分）圖4-5bdgandata（部分）圖4-6bd第200個(gè)傳感器的流量示意圖4.5.2數(shù)據(jù)預(yù)處理（1）生成每個(gè)批的序列索引方法search_data()，參數(shù)：sequence_length：int類型，歷史數(shù)據(jù)的序列長(zhǎng)度；num_of_batches：int類型，用于訓(xùn)練的batch的個(gè)數(shù)；label_start_idx：int類型，預(yù)測(cè)目標(biāo)的第一索引；num_for_predict：int類型，每個(gè)樣本預(yù)測(cè)的節(jié)點(diǎn)數(shù)；units：int類型，單位，week為7*24，day為24，recent為1points_per_hour：int類型，每個(gè)小時(shí)劃分的時(shí)間段個(gè)數(shù)該方法對(duì)每個(gè)batch進(jìn)行循環(huán)，batch的開始索引=預(yù)測(cè)標(biāo)簽的開始索引-每小時(shí)的片段個(gè)數(shù)（12）*單元時(shí)間（周：7*24）*i，batch的結(jié)束索引=開始索引+每個(gè)樣本預(yù)測(cè)的節(jié)點(diǎn)個(gè)數(shù)，最后返回每個(gè)元素都是一個(gè)元祖，元祖里存儲(chǔ)了開始索引和結(jié)束索引的列表。（2）生成四類批數(shù)據(jù)四類批數(shù)據(jù)是指week_sample,day_sample,hour_sample和target。方法get_sample_indices()，參數(shù)：data_sequence：三維數(shù)組的數(shù)據(jù)序列（數(shù)據(jù)的shape是（序列長(zhǎng)度，頂點(diǎn)數(shù)，特征數(shù)））；num_of_weeks,num_of_days,num_of_hours：int類型，不加贅述；label_start_idx：int類型，預(yù)測(cè)目標(biāo)的第一個(gè)索引；num_for_predict：int類型，對(duì)每個(gè)樣本預(yù)測(cè)的數(shù)目；points_per_hour：int類型，每個(gè)小時(shí)的時(shí)間片段數(shù)，以5分鐘為一個(gè)時(shí)間段，每個(gè)小時(shí)共劃分12個(gè)每類批數(shù)據(jù)調(diào)用search_data方法生成索引序列，根據(jù)分類，把每個(gè)batch的數(shù)據(jù)合并在一起，返回每類的三維數(shù)組數(shù)據(jù)。（3）生成訓(xùn)練集、測(cè)試集、驗(yàn)證集方法read_and_generate_dataset()，參數(shù)：graph_signal_matrix_filename：str類型，圖信號(hào)矩陣的文件名；num_of_weeks,num_of_days,num_of_hours：int類型，不再贅述；num_for_predict：int類型，預(yù)測(cè)的個(gè)數(shù)；points_per_hour：int類型，每個(gè)小時(shí)的節(jié)點(diǎn)數(shù)，默認(rèn)12，因?yàn)?個(gè)小時(shí)，每5分鐘一個(gè)時(shí)間段；merge:boolean類型，默認(rèn)為否，是否將訓(xùn)練集和驗(yàn)證集都用于訓(xùn)練4.5.3實(shí)驗(yàn)結(jié)果本人分別使用公開的加州高速路網(wǎng)pems數(shù)據(jù)集中的04和08與保定市數(shù)據(jù)集進(jìn)行了訓(xùn)練，預(yù)測(cè)結(jié)果模型評(píng)判指標(biāo)使用平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）如下表4-1，保定數(shù)據(jù)集預(yù)測(cè)節(jié)點(diǎn)誤差曲線圖如圖4-7和圖4-8，流量曲線如圖4-9，示意的是隨機(jī)取樣預(yù)測(cè)第2個(gè)節(jié)點(diǎn)時(shí)預(yù)測(cè)結(jié)果和目標(biāo)結(jié)果的曲線。PEMS04PEMS08BDMAERMSEMAERMSEMAERMSESTGCN25.1538.2918.8829.8710.917.03ASTGCN23.135.6118.8128.598.9513.96新ASTGCN21.832.8216.6325.276.410.29表4-1不同數(shù)據(jù)集誤差值比對(duì)表圖4-7bd在三種模型上預(yù)測(cè)的mae值曲線圖圖4-8bd在三種模型上預(yù)測(cè)的rmse值曲線圖圖4-9bd預(yù)測(cè)流量曲線示意圖通過以上圖表可以看出，三個(gè)數(shù)據(jù)集的新ASTGCN模型預(yù)測(cè)誤差值相比于原模型均有一定幅度的減小。另外，傳感器數(shù)較少的數(shù)據(jù)集預(yù)測(cè)精度會(huì)偏高，保定市交通數(shù)據(jù)集達(dá)到了最為理想的預(yù)測(cè)效果，在驗(yàn)證了原模型的同時(shí)，證實(shí)了新模型的可靠性。結(jié)論本文調(diào)研了圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測(cè)方向的發(fā)展現(xiàn)狀，分析比較了現(xiàn)有的模型，選用可行性和準(zhǔn)確度較高的模型ASTGCN，并分析了模型的缺點(diǎn)與不足，使用自己的訓(xùn)練集對(duì)算法進(jìn)行驗(yàn)證，提出對(duì)ASTGCN模型融合了STGCN優(yōu)勢(shì)點(diǎn)的改進(jìn)方向，使用門控卷積取代一維標(biāo)準(zhǔn)卷積，并再次驗(yàn)證了算法，確定精度有所提升。雖然實(shí)驗(yàn)課題基本完成了，但自己的工作做的其實(shí)還遠(yuǎn)遠(yuǎn)不足。基礎(chǔ)知識(shí)掌握有限，模型改進(jìn)創(chuàng)新點(diǎn)不足，實(shí)驗(yàn)數(shù)據(jù)規(guī)模較小，實(shí)驗(yàn)次數(shù)較少。自己距離一個(gè)真正的科研人仍具有很大提升空間，希望以后能有機(jī)會(huì)更多接觸科研項(xiàng)目，拓寬自己的視野和水平。參考文獻(xiàn)[1]彭文勤.基于深度學(xué)習(xí)的短時(shí)交通流量預(yù)測(cè)技術(shù)研究[D].重慶郵電大學(xué),2020.[2]李小妍.基于圖神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測(cè)[D].電子科技大學(xué),2020.[3]朱凱利.基于BRB和RNN-GCN的交通流預(yù)測(cè)方法研究與應(yīng)用[D].哈爾濱師范大學(xué),2020.[4]KumarSV,VanajakshiL.Short-termtrafficflowpredictionusingseasonalARIMAmodelwithlimitedinputdata[J].EuropeanTransportResearchReview,2015,7(3):1-9.[5]KumarSV.TrafficflowpredictionusingKalmanfilteringtechnique[J].ProcediaEngineering,2017,187:582-587.[6]馮寧,郭晟楠,宋超,朱琪超,萬懷宇.面向交通流量預(yù)測(cè)的多組件時(shí)空?qǐng)D卷積網(wǎng)絡(luò)[J].軟件學(xué)報(bào),2019,30(03):759-769.[7]WuY,LiuY,LiJ,etal.Trafficsigndetectionbasedonconvolutionalneuralnetworks[C]//NeuralNetworks(IJCNN),The2013InternationalJointConferenceon.IEEE,2013.[8]NiepertM,AhmedM,KutzkovK.LearningConvolutionalNeuralNetworksforGraphs.JMLR.org,2016:2014-2023.[9]GravesA,MohamedAR,HintonG.SpeechRecognitionwithDeepRecurrentNeuralNetworks[J].IEEE,2013:6645-6649.[10]DBeck,HaffariG,CohnT.Graph-to-SequenceLearningusingGatedGraphNeuralNetworks[C]//MeetingoftheAssociationforComputationalLinguistics.2018.[11]YeJiexi