《基于圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測問題研究》11000字

基于圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測問題研究摘要：伴隨著當前國內(nèi)汽車市場不斷發(fā)展，大規(guī)模的車輛保有量必然對交通通行效率帶來巨大的影響。如何對整體交通網(wǎng)的流量情況進行精確預(yù)測已經(jīng)成為工業(yè)界和研究界共同關(guān)注的熱門問題。當前的輿圖應(yīng)用軟件，往往只能準確的給出當前的交通狀態(tài)，對交通態(tài)勢的預(yù)測并不精確。伴隨著人工智能技術(shù)的不斷發(fā)展，由于圖神經(jīng)網(wǎng)絡(luò)可以解決不規(guī)則圖上節(jié)點的特性的優(yōu)點，越來越受到研究界的普遍關(guān)注。而交通網(wǎng)可以很方便的抽象為圖，同時利用圖神經(jīng)網(wǎng)絡(luò)的方法可以很好的提取交通網(wǎng)的時空特性，從而解決交通流中長期預(yù)測的問題。本文調(diào)研了圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測方向的發(fā)展現(xiàn)狀，分析比較了現(xiàn)有的模型，選用可行性和準確度較高的模型ASTGCN并使用自己的訓(xùn)練集對算法進行驗證，并與STGCN進行前后輩之間的模型結(jié)構(gòu)實現(xiàn)比對，提出對ASTGCN模型融合了STGCN優(yōu)勢點的改進方向。最終，再次訓(xùn)練算法驗證了精度。關(guān)鍵詞：圖卷積神經(jīng)網(wǎng)絡(luò)時空分布交通流預(yù)測目 錄TOC\o"1-1"\t"標題2,1"\h\u1引言………………12圖神經(jīng)網(wǎng)絡(luò)技術(shù)基礎(chǔ)介紹……………………42.1圖神經(jīng)網(wǎng)絡(luò)概述……………42.2交通預(yù)測問題…………………62.3不同的數(shù)據(jù)集與建圖方法……………………62.4一些其他應(yīng)用于交通流預(yù)測的圖神經(jīng)網(wǎng)絡(luò)模型……………73時空圖卷積網(wǎng)絡(luò)模型…………93.1模型結(jié)構(gòu)………………………93.2算法簡述………………………103.3模型意義……………………124混合注意力機制的時空圖卷積網(wǎng)絡(luò)…………124.1模型結(jié)構(gòu)……………………124.2注意力機制…………………144.3時空圖卷積…………………154.4模型缺陷與改進……………154.5實驗…………17參考文獻……………………241引言研究背景和意義最近幾年，伴隨著中國汽車市場的不斷發(fā)展，截止到2019年，國內(nèi)每家每戶的私家汽車加一塊就要有2.4億輛了。如此大量的車輛必然對交通的通行效率產(chǎn)生巨大影響。城市和高速公路交通擁堵時有發(fā)生。如何準確地預(yù)測整個交通網(wǎng)絡(luò)的交通流量這樣的問題受到了業(yè)界和研究界的熱門關(guān)注。目前的輿圖應(yīng)用軟件，往往只能準確給出當前的交通狀況，對交通狀況的預(yù)測并不準確。常用的交通流預(yù)測方法主要是基于傳統(tǒng)的時間序列和眾包的方法。這些方法可以解決交通流的短期預(yù)測問題，但對于中長期預(yù)測，往往偏差較大。伴隨著人工智能技術(shù)的不斷發(fā)展，圖神經(jīng)網(wǎng)絡(luò)（GNN）因能解決不規(guī)則圖上節(jié)點的特性而受到越來越多研究者的關(guān)注。交通網(wǎng)絡(luò)可以很容易地抽象為一個圖形。同時，利用圖神經(jīng)網(wǎng)絡(luò)的方法可以提取交通網(wǎng)絡(luò)的時空特征，從而解決中長期交通流預(yù)測問題。伴隨著交通行業(yè)的不斷發(fā)展和交通數(shù)據(jù)的快速增長，學者們希望利用這些數(shù)據(jù)為城市交通服務(wù)，因此智能交通系統(tǒng)成為未來交通系統(tǒng)的研究方向。短時交通流預(yù)測作為智能交通領(lǐng)域的研究熱門，對交通誘導(dǎo)和路徑規(guī)劃具有重要意義[1]。最近幾年，時空預(yù)測在大大小小的領(lǐng)域都被應(yīng)用，其中的一個例子就是交通流預(yù)測問題。交通流預(yù)測就是，在有路網(wǎng)地圖和過去的交通流量的情況下，預(yù)測以后的交通速度。如果能做好長期的交通預(yù)測，不僅能便利百姓生活中需要的出行規(guī)劃，更能節(jié)省百姓在出門之前決定路線的時間。對于道路的管理機構(gòu)來說，更全面的預(yù)測更多可能性的交通路網(wǎng)狀況是重中之重。道路交通流越是隨著時間變化就越依賴時間，這是一個逐漸變強的過程，而不是平穩(wěn)的，舉個例子，比如早高峰晚高峰，再比如節(jié)假日之類的都會影響到道路的交通速度；而且，道路交通流并不是一板一眼的，現(xiàn)實里的道網(wǎng)比起模型更為復(fù)雜錯綜，具有非歐氏性和方向性。現(xiàn)如今，深度學習也是發(fā)展的蒸蒸日上，人們也越來越愿意用深度學習來作為解決交通流預(yù)測問題的方法，而圖神經(jīng)網(wǎng)絡(luò)的發(fā)展和走向熱點也為建立起道網(wǎng)的空間相關(guān)性建模打開了新的一扇門[2]。國內(nèi)外研究現(xiàn)狀 在智能交通領(lǐng)域的研究中，交通流預(yù)測問題一直受到許許多多學者的青睞，并提出了許多迥異的研究方法和可行性較高的數(shù)種預(yù)測模型。一般來說，包括以下兩種方法： （1）基于經(jīng)典統(tǒng)計學的預(yù)測模型：在預(yù)測交通流量時，模型主要分析歷史交通流量數(shù)據(jù)，并對數(shù)據(jù)進行線性回歸和參數(shù)優(yōu)化。例如，Kumer等人在對輸入時間序列做了必要差分的基礎(chǔ)上，通過繪制自相關(guān)數(shù)和偏自相關(guān)函數(shù)，確定了SARIMA模型的適當階數(shù)，令輸入時間序列穩(wěn)定[4]；2017年，Kumar等人提出了一種基于卡爾曼濾波技術(shù)的預(yù)測方案，需要有限的輸入數(shù)據(jù)。在預(yù)測中，只使用前兩天的流量觀測值。KFT開發(fā)的方案能夠以預(yù)期的精度預(yù)測第二天的流量值，同時我們還嘗試使用感興趣日期的歷史數(shù)據(jù)（前兩天的流量數(shù)據(jù)）和實時數(shù)據(jù)[5]。這種模型主要針對歷史數(shù)據(jù)信息進行交通流預(yù)測。該模型方法相對簡單，易于操作，可以解決某些情況下的交通擁堵問題。但該模型的應(yīng)用范圍較窄，只能對特定情況下的交通流進行預(yù)測，預(yù)測精度較差。 （2）基于數(shù)據(jù)驅(qū)動預(yù)測模型：該模型以歷史交通數(shù)據(jù)為基礎(chǔ)，運用深度挖掘算法分析交通流數(shù)據(jù)，進而對數(shù)據(jù)的未來變化趨勢進行預(yù)測[6]。在深度學習中，人們經(jīng)常用卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測交通流。馮寧等人提出了一種St-resnet深度學習的逆方法，利用殘差卷積神經(jīng)網(wǎng)絡(luò)預(yù)測每個區(qū)域的流動人口數(shù)量[6]；Wu等人采用了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的交通標志檢測方法，通過支持向量機將原始圖像轉(zhuǎn)化為灰度圖像，然后利用卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和學習，并采用引導(dǎo)程序的方法提高了檢測精度，避免了過擬合的問題[7]。分析了數(shù)據(jù)驅(qū)動預(yù)測模型的研究現(xiàn)狀，發(fā)現(xiàn)這種模型可以通過仿真實驗獲得預(yù)測數(shù)據(jù)，實驗操作相對簡單，但不能實時預(yù)測交通信息，不能應(yīng)用于大規(guī)模路網(wǎng)交通。 綜上所述，大多數(shù)模型總是針對單一交通流數(shù)據(jù)，都沒有考慮多個交通流因素。由于交通場景的復(fù)雜性和非線性相關(guān)性，交通流速度與交通流量之間存在著密切的相關(guān)性。因此，只考慮一個交通因子作為數(shù)據(jù)集預(yù)測，在一定程度上降低了交通流預(yù)測的準確性。 圖神經(jīng)網(wǎng)絡(luò)發(fā)展方面，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只能對標準規(guī)則的網(wǎng)格數(shù)據(jù)有效地提取部分數(shù)據(jù)特征，不能很好地處理復(fù)雜、非線性的交通數(shù)據(jù)。在這種情況下，我們需要考慮使用圖卷積神經(jīng)網(wǎng)絡(luò)。GCN能夠處理非線性和不規(guī)則的圖形數(shù)據(jù)，對拓撲圖形結(jié)構(gòu)數(shù)據(jù)進行卷積，捕捉圖形的結(jié)構(gòu)特征，有效地利用拓撲圖，從中提出空間特征以學習[3]。目前，圖卷積的主要方法有空域法與譜域法。空域法把卷積核在圖上的節(jié)點和它的鄰域進行應(yīng)用。Niepert等人提出了一種圖卷積神經(jīng)網(wǎng)絡(luò)的學習模型，構(gòu)造了具有離散特征和邊屬性的拓撲圖結(jié)構(gòu)，并對輸入局部連接區(qū)域進行了操作。實驗表明，該方法對圖形結(jié)構(gòu)數(shù)據(jù)的學習是有效的[10]；Beck等人提出了一種新的圖卷積模型?；趫D序列學習問題，將輸入變換與門控神經(jīng)網(wǎng)絡(luò)相結(jié)合，解決了以往工作中參數(shù)爆炸的問題，允許節(jié)點和邊有自己的表示層，該模型在生成AMR圖和基于語法的神經(jīng)機器翻譯方面優(yōu)于強基線[11]。 綜上所述，目前的交通流預(yù)測只是根據(jù)T時刻的交通因素預(yù)測未來某一時段（T+1）的交通流，沒有考慮通過（T?n）和T的歷史時間流預(yù)測交通流，即不考慮時間相關(guān)性，某種意義上來講，預(yù)測的準確性被降低了很多；大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)只能處理規(guī)則的數(shù)據(jù)結(jié)構(gòu)，而城市交通流信息是不規(guī)則的。采用卷積神經(jīng)網(wǎng)絡(luò)進行預(yù)測會降低預(yù)測精度。主要研究內(nèi)容本文調(diào)研了圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測方向的發(fā)展現(xiàn)狀，分析比較了現(xiàn)有的模型，選用可行性和準確度較高的模型ASTGCN并使用自己的訓(xùn)練集對算法進行驗證，提出對ASTGCN模型融合了STGCN優(yōu)勢點的改進方向。最終，再次訓(xùn)練算法驗證了精度。近兩年關(guān)于圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測方面的研究越發(fā)熱門，發(fā)展越發(fā)迅速。新的模型在改良舊模型缺陷和提高精度之后層出不窮，本人通過對各個模型發(fā)展程度的研究對比，吸取平衡經(jīng)典模型的優(yōu)劣，選擇當前可行性較高的模型進行改良嘗試，以提高精度。章節(jié)安排本文在交通流預(yù)測問題的中長期預(yù)測精確度的需求背景下，對現(xiàn)階段研究者提出的各個模型進行研究和選取改良。在上文的第一章簡述了當今圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于交通流預(yù)測問題的背景和意義，應(yīng)用過程中產(chǎn)生的各種各樣的問題，國內(nèi)外研究現(xiàn)狀以及本文研究的重點內(nèi)容。第二章中，本文會介紹圖神經(jīng)網(wǎng)絡(luò)的技術(shù)基礎(chǔ)，簡單介紹目前在交通預(yù)測方向前人提出的一些模型和解決問題的方法，以及交通流預(yù)測問題的基本解決方式。第三章中，本文會介紹在交通流預(yù)測問題中開創(chuàng)了從空間走向時空分布、本文提出改良方向的模型的基礎(chǔ)模型STGCN，為第四章最終算法模型的改良奠定基礎(chǔ)。第四章中，本文會完整詳細的介紹所改良的模型的原型，以及改良的方向，具體實驗的過程以及實驗的結(jié)果。2圖神經(jīng)網(wǎng)絡(luò)技術(shù)基礎(chǔ)介紹2.1圖神經(jīng)網(wǎng)絡(luò)概述 圖神經(jīng)網(wǎng)絡(luò)是應(yīng)用于圖的神經(jīng)網(wǎng)絡(luò)模型的總稱。圖神經(jīng)網(wǎng)絡(luò)分為五類，如圖2-1所示，不再文字敘述。圖2-1圖嵌入與圖神經(jīng)網(wǎng)絡(luò)的關(guān)系 圖卷積神經(jīng)網(wǎng)絡(luò)是一種利用圖卷積的神經(jīng)網(wǎng)絡(luò)。由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像處理中的成功，卷積運算自然地應(yīng)用于圖數(shù)據(jù)。目前，GCN在圖數(shù)據(jù)處理方面的地位與CNN在圖像處理方面的地位相當。 圖卷積網(wǎng)絡(luò)將卷積運算從傳統(tǒng)數(shù)據(jù)遷移到圖數(shù)據(jù)。舉個例子，假如這里有一格圖類型的數(shù)據(jù)，在這個圖數(shù)據(jù)當中有各具特征的n個節(jié)點，然后我們把這些節(jié)點的特征設(shè)置成一個n×D維的矩陣，記為X；則節(jié)點間的關(guān)系可以表示成一個n×N維的矩陣，記為L，L是一個鄰接矩陣。那么，X和L就是模型的輸入。對于那些復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)模型來說，圖卷積網(wǎng)絡(luò)是它們的基石。 GCN和RNN也有著相似之處，通過模仿RNN類的結(jié)構(gòu)對時間序列數(shù)據(jù)進行建模，可以理解GCN建模的空間數(shù)據(jù)。在每次計算“點”時，RNN將前一時刻“點”的隱層狀態(tài)和當前時刻“點”的輸入發(fā)送到同一模型結(jié)構(gòu)中，得到當前時刻“點”的隱層狀態(tài)和輸出。類似地，GCN發(fā)送當前點的輸入特征、當前點的相鄰邊的輸入特征、當前點的相鄰點的輸入特征，將當前點相鄰點的隱層狀態(tài)轉(zhuǎn)化為相同的局部傳遞函數(shù)和局部輸出函數(shù)，得到當前點的隱層狀態(tài)H和輸出嵌入。最后用迭代法得到整個圖的表示。 經(jīng)典卷積網(wǎng)絡(luò)的局限性在于它不能處理圖結(jié)構(gòu)的數(shù)據(jù)，只能處理固定維數(shù)的數(shù)據(jù)，并且必須對局部輸入數(shù)據(jù)進行排序。圖卷積神經(jīng)網(wǎng)絡(luò)需要解決的問題是處理序列無序性和維數(shù)可變性的數(shù)據(jù)。2.2交通預(yù)測問題交通方面的問題主要包括以下幾類，交通擁堵、旅行需求、交通安全、交通監(jiān)管和自動駕駛[11]。交通預(yù)測的目的是根據(jù)歷史交通數(shù)據(jù)和交通網(wǎng)絡(luò)的拓補結(jié)構(gòu)，預(yù)測未來的交通狀況，如速度、流量和擁擠程度。良好的預(yù)測結(jié)果可以幫助出行者選擇合理的出行路線，為城市管理者提供決策支持，緩解交通擁堵，減少資源浪費。目前，基于圖深度學習的交通方面問題基本是關(guān)于時空預(yù)測的。他們用一種非常相似的方式來形式化他們的預(yù)測問題，盡管不同的數(shù)學符號和表示，基于圖形的交通時空問題還是有一個通用的公式[11]。加入我們把交通網(wǎng)絡(luò)表示為一張圖，記為圖G=(V,E,a)，對于不同的任務(wù)來說，圖G可以有向也可以無向，可以有權(quán)也可以無權(quán)。V代表一組節(jié)點，|V|=N表示圖中含有N個節(jié)點。每個節(jié)點代表一個交通對象，可以是一個傳感器、一個路段、一個道路交叉口，甚至是一個GPS交叉口。節(jié)點之間連通性的邊集表示為E。交通數(shù)據(jù)的格式：交通數(shù)據(jù)和時間相關(guān)，具有時序性；t時刻的交通數(shù)據(jù)可以記為vt∈Rn×c預(yù)測定義：vt?T’+1,v交通流預(yù)測問題本質(zhì)上是時間序列預(yù)測問題，時間序列內(nèi)部的關(guān)聯(lián)即是問題的時間維度；不同的節(jié)點之間必然產(chǎn)生空間上的關(guān)聯(lián)，則是問題的空間維度。2.3不同的數(shù)據(jù)集與建圖方法 第一類是傳感器數(shù)據(jù)集。典型的數(shù)據(jù)集是PEMs美國高速公路數(shù)據(jù)集，它可以采集道路車輛的速度、交通流量等信息；傳感器之間的路段也可以看作節(jié)點； 第二類是GPS數(shù)據(jù)。GPS數(shù)據(jù)由多條車輛運動軌跡組成，通常包括時間戳、經(jīng)緯度、速度等信息。每個GPS記錄可劃分為最近的路段。通過交叉口將一條道路劃分為多個路段，建立路段圖或交叉口圖； 第三類是出租車數(shù)據(jù)集，可分為出租車訂單數(shù)據(jù)集或共享單車數(shù)據(jù)集，反映移動方式或出行需求。以往的工作通常將城市劃分為若干規(guī)則網(wǎng)格，每個網(wǎng)格代表一個區(qū)域，然后在每個網(wǎng)格中預(yù)測未來的出行需求； 第四類是城市軌道交通數(shù)據(jù)集，如地鐵線路或公交線路的數(shù)據(jù)集。這種數(shù)據(jù)集具有固定的站點，通常以單位時間內(nèi)站點上下車人數(shù)為節(jié)點特征。2.4一些其他應(yīng)用于交通流預(yù)測的圖神經(jīng)網(wǎng)絡(luò)模型 基于圖神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測（MTGNN）[15]，它基于圖神經(jīng)網(wǎng)絡(luò)，是第一個在圖的方向上進行多元時間序列數(shù)據(jù)建模的；并通過一種新的圖學習模塊來學習那些具有空間上的依賴關(guān)系的變量，還提出了一種GNN模型來解決無圖形結(jié)構(gòu)的數(shù)據(jù)問題；提出了一種無需預(yù)先定義的圖形網(wǎng)絡(luò)訓(xùn)練和圖形結(jié)構(gòu)學習框架，且模型的性能超過了當時現(xiàn)有的方法。該模型由四部分組成，圖學習層，m個圖卷積模塊，m個時間卷積模塊和一個輸出模塊，整個算法的流程如圖2-2所示。圖2-2MTGNN的流程圖 動態(tài)時空圖卷積網(wǎng)絡(luò)（DGCNN）[13]，在深度學習框架DGCNN中引入張量分解運算（layer），將實時交通數(shù)據(jù)分解為全局分量（穩(wěn)定且依賴于長期的時空交通關(guān)系）和局部分量（捕捉交通流波動）；在此基礎(chǔ)上設(shè)計了一種動態(tài)Laplacian矩陣估計器，在圖的卷積層實時估計Laplacian矩陣進行流量預(yù)測。圖2-3DGCNN模型 基于時空同步圖卷積網(wǎng)絡(luò)（STSGCN）[14]，在模型ASTGCN基礎(chǔ)上，通過設(shè)計良好的時空同步建模機制，可以立竿見影地同步捕捉局部時空的復(fù)雜相關(guān)特性，解決了前者時空特性捕獲異步的缺陷。同時，為了能有效地捕捉局部時空圖的異質(zhì)性，模型中在多個不同時間段均設(shè)計了module。該模型構(gòu)造了一個局部時空圖，將單個空間圖與相鄰的時間步長連接成一個圖；設(shè)計了時空同步圖卷積模塊（stsgcm）來提取局部時空圖的時空相關(guān)性；設(shè)計了時空同步圖連續(xù)層（stsgcl），即在不同的時間段部署多個stsgcm來捕獲遠程時空網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性；將多個stsgcl進行疊加，得到長程的時空關(guān)系和異質(zhì)性，得到最終的預(yù)測結(jié)果。圖2-4STSGCN整體架構(gòu) 以上是近年一些創(chuàng)新性很好精度出色的GCN模型，但由于可操作性與模型理解深度等可行性原因，筆者并沒有選擇它們作為改良的奠基。但它們在解決交通流問題中仍具有顯著地位，故于此單獨列出。3時空圖卷積網(wǎng)絡(luò)模型3.1模型結(jié)構(gòu) STGCN[12]克服了傳統(tǒng)的方法依賴于手工部分或者遍歷規(guī)則的局限性，利用圖卷積提取數(shù)據(jù)的空間特征，而時間特征則通過一維卷積來進行學習。圖3-1STGCN的網(wǎng)絡(luò)結(jié)構(gòu) STGCN包括兩個時空圖卷積塊和一個輸出全連接層。每一個時空卷積塊由兩個時間門控卷積和中間的一個空間圖卷積構(gòu)成，作為這個模型的網(wǎng)絡(luò)結(jié)構(gòu)的核心。3.2算法簡述網(wǎng)絡(luò)輸入是M個時間步的圖的特征向量X∈RM×n×Ci(Ci=1)以及對應(yīng)的鄰接矩陣W∈Rn×n3.2.1時域卷積塊和傳統(tǒng)的時空模型比起來，這個模型最大的創(chuàng)新之處是時間特征的信息是通過一維卷積學習的。在解決數(shù)據(jù)量較大的流量預(yù)測問題時，大量費時費力的操作往往是復(fù)雜的選通機制和迭代訓(xùn)練。另外，因為遞歸神經(jīng)網(wǎng)絡(luò)的狀態(tài)是非常依賴于前一步驟記錄下來的信息的，所以難以捕獲到波動情況較強的數(shù)據(jù)，比如早晚高峰交通流。恰恰相反的，卷積神經(jīng)網(wǎng)絡(luò)不會受到過往時間點內(nèi)預(yù)測數(shù)據(jù)的限制，而且有著較好的并行訓(xùn)練性和耗時性，因此可以更好地捕獲數(shù)據(jù)的波動。時域卷積塊如圖2-1最右側(cè)所示，于每個節(jié)點處輸入X∈RM×n×Ci，并在時間維度上進行一維卷積，卷積核為?！蔙Kt×Ci，個數(shù)為然后進行GLU激活：Γ?τX=P⊙σ公式2-2中，P和Q代表GLU的門輸入，⊙表示哈達瑪積（哈達瑪積表示矩陣中元素對應(yīng)相乘），sigmoid函數(shù)門σQ控制的是目前狀態(tài)中的數(shù)個輸入P中的哪個與時間元素序列中的構(gòu)成與動態(tài)方差具備相關(guān)關(guān)系。對于一張完整的時空圖：輸入X∈RM×n×Ci，輸出Y∈3.2.2空域卷積塊圖卷積最早在圖頻譜理論中被提到，其中將圖卷積定義為信號x和圖核Θ的乘積,即Θ?gx=ΘLx=ΘU∧ 公式2-3中，圖傅里葉基U∈Rn×n（n表示圖中的頂點個數(shù)）是歸一化的圖拉普拉斯矩陣L=In?D?1以下的切比雪夫多項式和一階多項式近似都是為了讓圖卷積運算變的不再那么復(fù)雜采用的方法：Θ?gx=ΘLx≈k=0 其中，Tk空域卷積是在每個時間步的圖上進行卷積，但不在時間步之間進行。輸入X∈Rn×Ci，按照Y=i=0K?1θ其中Ti(x)=2xTi?1(x)?Ti?2(x)，L=2Lλmax?對于一張完整的時空圖：輸入X∈RM×n×Ci，輸出3.2.3輸出層依照時域卷積塊的一維卷積過程，每當經(jīng)過一個時空卷積塊后，數(shù)據(jù)在時間維度的長度都會減小2(Kt?1)輸出層包括一個全連接層和一個時域卷積層，時域卷積層的卷積核大小范圍為?！蔙M?4(Kt?1)×n×Co，個數(shù)為Co，將輸出映射到Z∈Rn×Co。全連接層v=Zω+b，其中損失函數(shù)是目標值和預(yù)測值的距離度量的重要方法：L(v;W其中Wθ是所有可訓(xùn)練參數(shù)，v是預(yù)測值，vt+13.2.4殘差連接殘差連接涵蓋在了每個時域卷積塊與空域卷積塊之中。3.3模型意義 由卷積神經(jīng)網(wǎng)絡(luò)組成的STGCN是由圖卷積和門控時間卷積通過時空模塊組成的，以進行時空交通流預(yù)測。 由于只采用卷積神經(jīng)網(wǎng)絡(luò)，與循環(huán)神經(jīng)網(wǎng)絡(luò)相比，模型并行訓(xùn)練的效果好，模型中的參數(shù)少，因此GPU可以更好地應(yīng)用。也就是說大規(guī)模數(shù)據(jù)集可以更有效地使用該網(wǎng)絡(luò)。 這個模型在現(xiàn)實中的交通數(shù)據(jù)集上測驗表現(xiàn)出色，并且在中長期預(yù)測方面的效果較為優(yōu)秀。 奠定了時空分布預(yù)測交通流模型的基礎(chǔ)。4混合注意力機制的時空圖卷積網(wǎng)絡(luò)4.1模型結(jié)構(gòu)ASTGCN[16]主要由三個獨立的部分組成，分別模擬交通流的三個時間特征，即鄰近性、日相關(guān)性和周相關(guān)性。每個獨立的部分包括兩個部分：時空卷積部分，通過用標準卷積來描述時間特征，用體積來捕獲空間特征；時空注意機制，通過加入注意機制，能夠有效地捕獲流量數(shù)據(jù)中的時空動態(tài)相關(guān)性。最終結(jié)果由對三個分量的輸出結(jié)果進行加權(quán)融合來得到。STGCN模型缺乏對交通流動態(tài)時空關(guān)系的關(guān)注，因此本模型是在STGCN的基礎(chǔ)上加入了注意力機制來捕獲數(shù)據(jù)的動態(tài)時空相關(guān)性。圖4-1ASTGCN的網(wǎng)絡(luò)結(jié)構(gòu) 框架分為三個部分，分別提取了時間層面鄰近、日、周三種依賴特征。鄰近部分包含預(yù)測時段鄰近的T個時段，日時段部分含有預(yù)測時段附近幾日一致的數(shù)個時間元素列，周時段部分含有預(yù)測時段附近幾周一致的數(shù)個時間元素列。這三個部分的結(jié)構(gòu)相同，每部分都由一個全連接層和許多個時空卷積塊構(gòu)成。每個時空塊中都有一份注意力模塊和卷積模塊。模型為了讓訓(xùn)練的效果和效率變的更好，采用采用殘差連接。最終結(jié)果由用一個參數(shù)矩陣加權(quán)合并三個分量的輸出結(jié)果進行加權(quán)融合來得到。4.2注意力機制4.2.1空間注意力 在空間維度上，即使是不同位置的交通狀況也有著互相影響的情況，這具有很強的動態(tài)性。所以我們通過注意力機制的特性，自適應(yīng)地捕獲空間維度中各個節(jié)點之間的動態(tài)關(guān)聯(lián)性。S=V·σ{X·W1·WSi,j'=維度關(guān)系：X∈R(N?C?T)，其中N表示有N個觀測點，C表示三種交通特征觀測值（流量，速度和時間占有率），T表示輸入的T個時間步。W1∈R(T)，W2∈R(T)，W3∈R(C?T),V∈R(N?N),b∈R(N?N)，最終結(jié)果S∈R(N?N)。公式44.2.2時間注意力在時間維度上，即使是交通狀況的多個不同時間段之間也存在著相關(guān)性，但是在不同情況下，它們的相關(guān)性也不盡相同。同理，我們通過注意力機制來自適應(yīng)地為數(shù)據(jù)賦予不同權(quán)重。 E=V·σ{(X)T·Ei,j'=維度關(guān)系：X∈R(N*C*T)，其中N表示有N個觀測點，C表示三種交通特征觀測值（流量，速度和時間占有率），T表示輸入的T個時間步。U1∈R(N)，U2∈R(C?N)，U3∈R(C)，V∈R(T?T),b∈R(T?T)，最終結(jié)果E∈R(T?T)。公式4-4為softmax4.3時空圖卷積4.3.1空間維度圖卷積切比雪夫多項式近似：gθ?Gx=g其中，θ∈R（K）為多項式系數(shù)的向量，L=2λ其中λmax為拉普拉斯矩陣的最大特征值，則切比雪夫多項式的迭代關(guān)系為：Tkx=2x公式4-7相當于利用卷積核gθ提取0到(K?1)階鄰居的信息。將空間注意力機制應(yīng)用到該圖卷積的過程中即為gθ?Gx=gθ另外，由于輸入數(shù)據(jù)X的范圍是X∈R(N?C?T)，因此在每個時間步上都要有C個濾波器。4.3.2時間維度標準卷積通過圖卷積獲取鄰域信息，再疊加標準的卷積層，然后進一步合并相鄰的時間步信息在時間維度上。 x?(r)=ReLU一個總時空塊由前文介紹的時空注意力塊和卷積塊構(gòu)成。然后對多個時空塊進行疊加，就能提取進一步的更大范圍的動態(tài)時空關(guān)聯(lián)特征。最后，通過一個全連接層，來保證各個部分輸出的內(nèi)容與預(yù)測目標的shape和size一致。選取ReLU作為全連接層的激活函數(shù)。最后將三種特征的結(jié)果融合到一起：Y=W?4.4模型缺陷與改進4.4.1缺陷分析我們對比上文提到的STGCN與ASTGCN，這兩個模型有明顯的先后與借鑒關(guān)系。ASTGCN在STGCN的基礎(chǔ)上，在時間方面將時間更細致地分出了三種特征，一天的早晚與平時，一周的平日與周末，這些都是具備著不同特征的時間段。我們知道，這些時間段的交通流量勢必存在著不同的特點，比如早晚合平日時段流量更大。STGCN限于當時的模型發(fā)展狀況則沒有考慮到這一點，但是STGCN率先使用了門控卷積（GatedCNN）[17]對時間維度進行處理，而ASTGCN則使用的是一位標準卷積，并使用ReLU激活函數(shù)?，F(xiàn)在我們來聊聊門控卷積和一維標準卷積有什么區(qū)別。門控卷積的結(jié)構(gòu)其實和標準卷積并不存在很大的差別，差就差在在卷積層引入了門控機制。所謂的門控機制，其實就是通過一個門控線性單元（GLU）[17]，把卷積層的輸出變成了公式4-11，也就是，把一個不帶非線性函數(shù)的卷積層輸出，乘上一個用sigmod激活函數(shù)激活過的卷積層輸出。 Hl=(Hl?1?W+b)?σ(H 因此，門控卷積和標準卷積的區(qū)別就是，輸出結(jié)果并不是由某某激活函數(shù)激活，而是由上面的“門限”限制的結(jié)果。門控控制了公式前一個乘數(shù)中的哪些信息能傳到下一個卷積。雖然，即使不使用門控也依然不影響ASTGCN輸出精度更高的結(jié)果，但加入門控可以顯著提高這個模型的精度。4.4.2改進方法通過將ASTGCN中的時空卷積塊內(nèi)的時間維度一維標準卷積，改為使用門控卷積捕獲時間特性（如圖4-2），替換了作為訓(xùn)練核心的卷積塊，通過這樣的調(diào)整提高ASTGCN的精度。 圖4-2新stBlock塊改進后，時間維度門控卷積的輸出結(jié)果為： x?(r)=g公式4-12中，P和Q代表GLU的門輸入，⊙表示哈達瑪積（哈達瑪積表示矩陣中元素對應(yīng)相乘），sigmoid函數(shù)門σQ控制的是目前狀態(tài)中的數(shù)個輸入P改進后的模型，本人暫且將其稱為“新ASTGCN”，以作后面的表述。4.5實驗4.5.1實驗數(shù)據(jù) 實驗選用的數(shù)據(jù)集是由本校指導(dǎo)教師提供的保定市交通流量數(shù)據(jù)集，共有200個傳感器節(jié)點，8928個時間節(jié)點，總共一周的流量數(shù)據(jù)。用鄰接矩陣表示傳感器節(jié)點之間的位置關(guān)系（如圖4-3），經(jīng)過預(yù)處理程序提取有向圖（如圖4-4）。流量表（如圖4-5）則處理儲存成npz文件，圖4-6為第200個傳感器節(jié)點（隨機抽取示意）的流量示意圖。圖4-3bdadjMat（部分）圖4-4經(jīng)過預(yù)處理后的bdadjMat（部分）圖4-5bdgandata（部分）圖4-6bd第200個傳感器的流量示意圖4.5.2數(shù)據(jù)預(yù)處理（1）生成每個批的序列索引方法search_data()，參數(shù)：sequence_length：int類型，歷史數(shù)據(jù)的序列長度；num_of_batches：int類型，用于訓(xùn)練的batch的個數(shù)；label_start_idx：int類型，預(yù)測目標的第一索引；num_for_predict：int類型，每個樣本預(yù)測的節(jié)點數(shù)；units：int類型，單位，week為7*24，day為24，recent為1points_per_hour：int類型，每個小時劃分的時間段個數(shù)該方法對每個batch進行循環(huán)，batch的開始索引=預(yù)測標簽的開始索引-每小時的片段個數(shù)（12）*單元時間（周：7*24）*i，batch的結(jié)束索引=開始索引+每個樣本預(yù)測的節(jié)點個數(shù)，最后返回每個元素都是一個元祖，元祖里存儲了開始索引和結(jié)束索引的列表。（2）生成四類批數(shù)據(jù)四類批數(shù)據(jù)是指week_sample,day_sample,hour_sample和target。方法get_sample_indices()，參數(shù)：data_sequence：三維數(shù)組的數(shù)據(jù)序列（數(shù)據(jù)的shape是（序列長度，頂點數(shù)，特征數(shù)））；num_of_weeks,num_of_days,num_of_hours：int類型，不加贅述；label_start_idx：int類型，預(yù)測目標的第一個索引；num_for_predict：int類型，對每個樣本預(yù)測的數(shù)目；points_per_hour：int類型，每個小時的時間片段數(shù)，以5分鐘為一個時間段，每個小時共劃分12個每類批數(shù)據(jù)調(diào)用search_data方法生成索引序列，根據(jù)分類，把每個batch的數(shù)據(jù)合并在一起，返回每類的三維數(shù)組數(shù)據(jù)。（3）生成訓(xùn)練集、測試集、驗證集方法read_and_generate_dataset()，參數(shù)：graph_signal_matrix_filename：str類型，圖信號矩陣的文件名；num_of_weeks,num_of_days,num_of_hours：int類型，不再贅述；num_for_predict：int類型，預(yù)測的個數(shù)；points_per_hour：int類型，每個小時的節(jié)點數(shù)，默認12，因為1個小時，每5分鐘一個時間段；merge:boolean類型，默認為否，是否將訓(xùn)練集和驗證集都用于訓(xùn)練4.5.3實驗結(jié)果本人分別使用公開的加州高速路網(wǎng)pems數(shù)據(jù)集中的04和08與保定市數(shù)據(jù)集進行了訓(xùn)練，預(yù)測結(jié)果模型評判指標使用平均絕對誤差（MAE）和均方根誤差（RMSE）如下表4-1，保定數(shù)據(jù)集預(yù)測節(jié)點誤差曲線圖如圖4-7和圖4-8，流量曲線如圖4-9，示意的是隨機取樣預(yù)測第2個節(jié)點時預(yù)測結(jié)果和目標結(jié)果的曲線。PEMS04PEMS08BDMAERMSEMAERMSEMAERMSESTGCN25.1538.2918.8829.8710.917.03ASTGCN23.135.6118.8128.598.9513.96新ASTGCN21.832.8216.6325.276.410.29表4-1不同數(shù)據(jù)集誤差值比對表圖4-7bd在三種模型上預(yù)測的mae值曲線圖圖4-8bd在三種模型上預(yù)測的rmse值曲線圖圖4-9bd預(yù)測流量曲線示意圖通過以上圖表可以看出，三個數(shù)據(jù)集的新ASTGCN模型預(yù)測誤差值相比于原模型均有一定幅度的減小。另外，傳感器數(shù)較少的數(shù)據(jù)集預(yù)測精度會偏高，保定市交通數(shù)據(jù)集達到了最為理想的預(yù)測效果，在驗證了原模型的同時，證實了新模型的可靠性。結(jié)論本文調(diào)研了圖神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測方向的發(fā)展現(xiàn)狀，分析比較了現(xiàn)有的模型，選用可行性和準確度較高的模型ASTGCN，并分析了模型的缺點與不足，使用自己的訓(xùn)練集對算法進行驗證，提出對ASTGCN模型融合了STGCN優(yōu)勢點的改進方向，使用門控卷積取代一維標準卷積，并再次驗證了算法，確定精度有所提升。雖然實驗課題基本完成了，但自己的工作做的其實還遠遠不足?；A(chǔ)知識掌握有限，模型改進創(chuàng)新點不足，實驗數(shù)據(jù)規(guī)模較小，實驗次數(shù)較少。自己距離一個真正的科研人仍具有很大提升空間，希望以后能有機會更多接觸科研項目，拓寬自己的視野和水平。參考文獻[1]彭文勤.基于深度學習的短時交通流量預(yù)測技術(shù)研究[D].重慶郵電大學,2020.[2]李小妍.基于圖神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測[D].電子科技大學,2020.[3]朱凱利.基于BRB和RNN-GCN的交通流預(yù)測方法研究與應(yīng)用[D].哈爾濱師范大學,2020.[4]KumarSV,VanajakshiL.Short-termtrafficflowpredictionusingseasonalARIMAmodelwithlimitedinputdata[J].EuropeanTransportResearchReview,2015,7(3):1-9.[5]KumarSV.TrafficflowpredictionusingKalmanfilteringtechnique[J].ProcediaEngineering,2017,187:582-587.[6]馮寧,郭晟楠,宋超,朱琪超,萬懷宇.面向交通流量預(yù)測的多組件時空圖卷積網(wǎng)絡(luò)[J].軟件學報,2019,30(03):759-769.[7]WuY,LiuY,LiJ,etal.Trafficsigndetectionbasedonconvolutionalneuralnetworks[C]//NeuralNetworks(IJCNN),The2013InternationalJointConferenceon.IEEE,2013.[8]NiepertM,AhmedM,KutzkovK.LearningConvolutionalNeuralNetworksforGraphs.JMLR.org,2016:2014-2023.[9]GravesA,MohamedAR,HintonG.SpeechRecognitionwithDeepRecurrentNeuralNetworks[J].IEEE,2013:6645-6649.[10]DBeck,HaffariG,CohnT.Graph-to-SequenceLearningusingGatedGraphNeuralNetworks[C]//MeetingoftheAssociationforComputationalLinguistics.2018.[11]YeJiexi