生成技術(shù)在時(shí)空數(shù)據(jù)挖掘中的應(yīng)用

綜述摘要本文聚焦于將生成技術(shù)整合到時(shí)空數(shù)據(jù)挖掘中，考慮到時(shí)空數(shù)據(jù)的顯著增長(zhǎng)和多樣性。隨著RNN、CNN和其他非生成技術(shù)的進(jìn)步，研究人員已經(jīng)探索了它們?cè)诓蹲綍r(shí)空數(shù)據(jù)中的時(shí)間和空間依賴關(guān)系方面的應(yīng)用。然而，生成技術(shù)如大規(guī)模語(yǔ)言模型（LLMs）、擴(kuò)散模型（Diffusion）、自監(jiān)督學(xué)習(xí)（SSL）、序列到序列（Seq2Seq）模型和擴(kuò)散模型的出現(xiàn)，為進(jìn)一步增強(qiáng)時(shí)空數(shù)據(jù)挖掘開(kāi)辟了新的可能性。本文對(duì)基于生成技術(shù)的時(shí)空方法進(jìn)行了全面分析，并引入了一個(gè)專門為時(shí)空數(shù)據(jù)挖掘流程設(shè)計(jì)的標(biāo)準(zhǔn)框架。通過(guò)提供詳盡的綜述和利用生成技術(shù)的時(shí)空方法的新分類，本文加深了對(duì)這一領(lǐng)域中各種技術(shù)的理解。此外，本文還強(qiáng)調(diào)了未來(lái)有前景的研究方向，敦促研究人員深入探索時(shí)空數(shù)據(jù)挖掘。本文強(qiáng)調(diào)需要探索尚未開(kāi)發(fā)的機(jī)會(huì)，推動(dòng)知識(shí)的邊界，以解鎖新的洞見(jiàn)并提高時(shí)空數(shù)據(jù)挖掘的效果和效率。通過(guò)整合生成技術(shù)并提供一個(gè)標(biāo)準(zhǔn)化的框架，推動(dòng)了該領(lǐng)域的進(jìn)步，鼓勵(lì)研究人員探索生成技術(shù)在時(shí)空數(shù)據(jù)挖掘中的巨大潛力。隨著GPS技術(shù)和移動(dòng)設(shè)備的顯著進(jìn)步，時(shí)空數(shù)據(jù)的量級(jí)大幅增長(zhǎng)，涵蓋了人類軌跡數(shù)據(jù)、交通軌跡數(shù)據(jù)、犯罪數(shù)據(jù)、氣候數(shù)據(jù)和事件數(shù)據(jù)等多種類型。這些數(shù)據(jù)在城市管理、出租車調(diào)度優(yōu)化、人類健康和天氣預(yù)報(bào)等領(lǐng)域具有重要意義。近年來(lái)，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）在捕捉時(shí)空數(shù)據(jù)的時(shí)間和空間依賴關(guān)系方面取得了巨大成功，促使研究人員進(jìn)一步探索這些非生成技術(shù)在時(shí)空數(shù)據(jù)挖掘中的應(yīng)用。這些努力已在交通預(yù)測(cè)和異常軌跡檢測(cè)等任務(wù)中取得了顯著進(jìn)展。現(xiàn)有生成式技術(shù)應(yīng)用示意圖然而，隨著大規(guī)模語(yǔ)言模型（LLMs）和擴(kuò)散模型（DMs）等生成技術(shù)在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域的成功，研究人員開(kāi)始探索這些技術(shù)在時(shí)空數(shù)據(jù)挖掘中的潛力。這一新研究方向?yàn)闀r(shí)空數(shù)據(jù)挖掘帶來(lái)了新的見(jiàn)解，包括零樣本預(yù)測(cè)和跨任務(wù)的強(qiáng)泛化能力。生成技術(shù)如LLMs、DMs和自監(jiān)督學(xué)習(xí)（SSL）在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域的卓越表現(xiàn)，不僅激發(fā)了研究人員的興趣，還對(duì)該領(lǐng)域產(chǎn)生了深遠(yuǎn)影響。近期的研究提供了將生成技術(shù)整合到時(shí)空數(shù)據(jù)挖掘方法中的有利證據(jù)，顯著提高了性能。這些發(fā)現(xiàn)激發(fā)了研究人員對(duì)生成技術(shù)在時(shí)空數(shù)據(jù)挖掘中潛在應(yīng)用的深入探索，促使該領(lǐng)域涌現(xiàn)出大量基于生成技術(shù)的研究成果。盡管已有許多研究集中于利用生成技術(shù)進(jìn)行時(shí)空數(shù)據(jù)挖掘，但現(xiàn)有綜述缺乏對(duì)這一領(lǐng)域的全面分析和專門框架。因此，本文旨在提供基于生成技術(shù)的時(shí)空數(shù)據(jù)挖掘方法的全面分析，并引入一個(gè)標(biāo)準(zhǔn)化的框架。通過(guò)詳細(xì)的綜述和創(chuàng)新的分類方法，本文幫助讀者深入理解該領(lǐng)域中使用的各種技術(shù)。此外，本文還強(qiáng)調(diào)了未來(lái)的研究方向，鼓勵(lì)研究人員進(jìn)一步探索未開(kāi)發(fā)的機(jī)會(huì)，推動(dòng)知識(shí)邊界，以解鎖新的洞見(jiàn)，提升時(shí)空數(shù)據(jù)挖掘的效果和效率。二、時(shí)空數(shù)據(jù)挖掘的挑戰(zhàn)與機(jī)遇時(shí)空數(shù)據(jù)具有兩個(gè)顯著的挑戰(zhàn)，這些挑戰(zhàn)同時(shí)也是時(shí)空數(shù)據(jù)挖掘算法的機(jī)遇。1.相關(guān)性：時(shí)空相關(guān)性指的是數(shù)據(jù)集中不同空間和時(shí)間方面之間的相互依賴關(guān)系和聯(lián)系。這些相關(guān)性在實(shí)際應(yīng)用中會(huì)引發(fā)若干問(wèn)題和復(fù)雜性。首先，在預(yù)測(cè)精度方面，時(shí)空相關(guān)性會(huì)在數(shù)據(jù)中引入復(fù)雜的模式和依賴關(guān)系。如果未能準(zhǔn)確捕捉和建模這些相關(guān)性，會(huì)導(dǎo)致預(yù)測(cè)精度下降，從而削弱預(yù)測(cè)模型在交通預(yù)測(cè)、天氣預(yù)報(bào)和疾病爆發(fā)分析等領(lǐng)域的效果。其次，在數(shù)據(jù)預(yù)處理和融合方面，時(shí)空相關(guān)性常常需要將來(lái)自多個(gè)來(lái)源和模式的數(shù)據(jù)進(jìn)行整合和融合。將異構(gòu)數(shù)據(jù)類型在時(shí)空背景下進(jìn)行對(duì)齊是一項(xiàng)挑戰(zhàn)，要求細(xì)致的數(shù)據(jù)預(yù)處理步驟和融合技術(shù)，以確保數(shù)據(jù)的準(zhǔn)確性和一致性。2.異質(zhì)性：時(shí)空異質(zhì)性指的是數(shù)據(jù)集中空間和時(shí)間模式的固有變異性和多樣性。不同區(qū)域和時(shí)間段表現(xiàn)出不同的特征、趨勢(shì)和關(guān)系，這種異質(zhì)性在數(shù)據(jù)分析中會(huì)引發(fā)若干問(wèn)題，并對(duì)時(shí)空數(shù)據(jù)挖掘算法提出挑戰(zhàn)。主要問(wèn)題包括：首先，泛化挑戰(zhàn)，時(shí)空異質(zhì)性使得開(kāi)發(fā)能夠有效捕捉和表示不同區(qū)域和時(shí)間段的多樣化模式和關(guān)系的通用模型和算法變得困難。在一個(gè)區(qū)域或時(shí)間段訓(xùn)練的模型可能無(wú)法很好地泛化到其他區(qū)域或時(shí)間段。其次，偏差和不完整性，時(shí)空異質(zhì)性可能導(dǎo)致數(shù)據(jù)收集和表示中的偏差和不完整性。數(shù)據(jù)在區(qū)域和時(shí)間上的分布可能不均衡，導(dǎo)致數(shù)據(jù)集不平衡，從而引入偏差并扭曲時(shí)空數(shù)據(jù)挖掘算法的分析和結(jié)果。三、時(shí)空數(shù)據(jù)的類型與實(shí)例時(shí)空數(shù)據(jù)結(jié)合了空間和時(shí)間的元素，可以揭示跨越時(shí)空現(xiàn)象的見(jiàn)解，廣泛應(yīng)用于環(huán)境監(jiān)測(cè)、交通分析、流行病學(xué)、社會(huì)科學(xué)和城市規(guī)劃等領(lǐng)域。這些數(shù)據(jù)通過(guò)地理坐標(biāo)和時(shí)間戳表示，便于分析模式、趨勢(shì)和關(guān)系。時(shí)空數(shù)據(jù)可以分為事件數(shù)據(jù)、軌跡數(shù)據(jù)、點(diǎn)數(shù)據(jù)和柵格數(shù)據(jù)四類。1.事件數(shù)據(jù)：事件數(shù)據(jù)指的是在特定位置和時(shí)間發(fā)生的具體事件，例如犯罪數(shù)據(jù)或投票數(shù)據(jù)。這些數(shù)據(jù)通常使用歐幾里得坐標(biāo)系表示，但在道路網(wǎng)絡(luò)中的事件（如事故事件之間的距離則由沿路段的最短路徑?jīng)Q定。事件數(shù)據(jù)還可以包括附加變量，如犯罪類型或投票的政黨。2.軌跡數(shù)據(jù)：軌跡數(shù)據(jù)記錄了物體隨時(shí)間移動(dòng)的空間路徑，例如飛行數(shù)據(jù)和出租車數(shù)據(jù)。軌跡數(shù)據(jù)通常通過(guò)在移動(dòng)物體上安裝傳感器來(lái)收集，這些傳感器在不同時(shí)間間隔記錄GPS位置。時(shí)間間隔越小，軌跡的精度越高。事件數(shù)據(jù)和軌跡數(shù)據(jù)示意圖3.點(diǎn)數(shù)據(jù)：點(diǎn)數(shù)據(jù)是指從一組移動(dòng)參考點(diǎn)收集的數(shù)據(jù)，例如氣象氣球在大氣中收集的數(shù)據(jù)或傳感器測(cè)量水體表面溫度的數(shù)據(jù)。每個(gè)氣象站代表一個(gè)特定的位置，定期記錄溫度讀數(shù)。點(diǎn)數(shù)據(jù)可以用于重建任意位置和時(shí)間的時(shí)空?qǐng)?。不同時(shí)間步點(diǎn)數(shù)據(jù)示意圖4.柵格數(shù)據(jù)：柵格數(shù)據(jù)中的參考點(diǎn)是靜態(tài)的，可以在空間上規(guī)則或不規(guī)則地分布。柵格數(shù)據(jù)的觀測(cè)值在固定時(shí)間間隔記錄，常見(jiàn)的類型包括衛(wèi)星圖像，每個(gè)像素對(duì)應(yīng)柵格網(wǎng)格中的一個(gè)單元，包含光譜特征信息；數(shù)字高程模型（DEM表示海拔或地形；氣候變量，表示溫度、降水和風(fēng)速；以及土地覆蓋或土地使用信息，每個(gè)單元表示特定位置的土地覆蓋類型，如森林、城市區(qū)域、水體或農(nóng)業(yè)用在固定時(shí)間和地點(diǎn)以及不固定時(shí)間和空間的柵格數(shù)據(jù)示意圖四、生成技術(shù)在時(shí)空數(shù)據(jù)挖掘中的應(yīng)用1.大語(yǔ)言模型（LLMs）大規(guī)模語(yǔ)言模型（LLMs）在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)領(lǐng)域表現(xiàn)出色。例如，ST-LLM模型通過(guò)將時(shí)間步驟作為token處理，從全局視角建模時(shí)空依賴關(guān)系，顯著提升了交通流量預(yù)測(cè)的準(zhǔn)確性。2.自監(jiān)督學(xué)習(xí)（SSL）自監(jiān)督學(xué)習(xí)（SSL）通過(guò)未標(biāo)記數(shù)據(jù)中的替代任務(wù)來(lái)學(xué)習(xí)有用的表示。例如，TrajRCL模型利用對(duì)比學(xué)習(xí)技術(shù)，顯著提升了軌跡數(shù)據(jù)的表示學(xué)習(xí)效果。3.擴(kuò)散模型（DiffusionModels）擴(kuò)散模型利用正向和逆向過(guò)程，模擬時(shí)空數(shù)據(jù)的生成過(guò)程。例如，DiffSTG模型將時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)與不確定性量化特性相結(jié)合，提高了預(yù)測(cè)的準(zhǔn)確性和可靠性。4.序列到序列模型（Seq2Seq）序列到序列模型（Seq2Seq）廣泛應(yīng)用于處理序列數(shù)據(jù)的任務(wù)，如機(jī)器翻譯和文本摘要?；赟eq2Seq的時(shí)空數(shù)據(jù)挖掘方法，如Trafformer，通過(guò)自注意力機(jī)制，顯著提高了交通流量預(yù)測(cè)的精度。五、時(shí)空數(shù)據(jù)挖掘的標(biāo)準(zhǔn)框架我們提出了一種利用生成技術(shù)解決時(shí)空數(shù)據(jù)挖掘挑戰(zhàn)的方法。首先討論數(shù)據(jù)預(yù)處理，然后介紹生成技術(shù)的適應(yīng)性。我們還專門設(shè)置了一個(gè)小節(jié)來(lái)解決特定的時(shí)空數(shù)據(jù)挖掘問(wèn)題。為提供結(jié)構(gòu)化概述，我們展示了一個(gè)概述流程的框架?？蚣苁疽鈭D圖中展示了利用生成技術(shù)進(jìn)行時(shí)空數(shù)據(jù)挖掘的一般流程。該流程涉及處理從各種位置傳感器收集的原始時(shí)空數(shù)據(jù)，包括事件數(shù)據(jù)、軌跡數(shù)據(jù)、點(diǎn)參考數(shù)據(jù)和柵格數(shù)據(jù)。首先，創(chuàng)建數(shù)據(jù)實(shí)例來(lái)存儲(chǔ)時(shí)空數(shù)據(jù)，這些實(shí)例可以是點(diǎn)、時(shí)間序列、空間地圖、軌跡或時(shí)空柵格。為了在不同的挖掘任務(wù)中應(yīng)用生成技術(shù)，時(shí)空數(shù)據(jù)實(shí)例需要轉(zhuǎn)換為特定的數(shù)據(jù)格式，具體取決于所選擇的數(shù)據(jù)表示方式。這些時(shí)空數(shù)據(jù)實(shí)例可以表示為序列數(shù)據(jù)、矩陣、張量或圖。最后，選擇合適的生成技術(shù)來(lái)處理各種時(shí)空數(shù)據(jù)挖掘任務(wù)，如預(yù)測(cè)、分類和表示學(xué)習(xí)等。這些模型利用生成技術(shù)的獨(dú)特能力，從時(shí)空數(shù)據(jù)中提取有價(jià)值的見(jiàn)解，并解決復(fù)雜的時(shí)空數(shù)據(jù)挖掘挑六、生成技術(shù)在時(shí)空挖掘任務(wù)中的應(yīng)用我們展示了一種全面的分類法，將現(xiàn)有研究基于生成技術(shù)分為四大類：大規(guī)模語(yǔ)言模型（LLMs）、自監(jiān)督學(xué)習(xí)（SSL）、擴(kuò)散模型（Diffusion）和序列到序列模型（Seq2Seq）。每類技術(shù)提供了獨(dú)特的方法來(lái)解決時(shí)空分析中的挑戰(zhàn)。在每一類中，具體研究針對(duì)不同的時(shí)空任務(wù)，采用特定的生成技術(shù)進(jìn)行研究。這一分類法為理解和組織時(shí)空分析領(lǐng)域的多樣研究提供了有價(jià)值的框架，促進(jìn)了知識(shí)傳播和領(lǐng)域的進(jìn)一步發(fā)展。相關(guān)研究的應(yīng)用任務(wù)大致可分為時(shí)空表示學(xué)習(xí)、時(shí)空預(yù)測(cè)和時(shí)空推薦，如表所示。每個(gè)領(lǐng)域都有眾多研究專注于發(fā)展專門的方法和技術(shù)，以應(yīng)對(duì)各自的挑戰(zhàn)和需求。通過(guò)探索這些領(lǐng)域中的研究廣度和深度，研究人員可以深入了解用于解決各種時(shí)空分析任務(wù)的多樣化方法和創(chuàng)新技術(shù)，從而推動(dòng)整個(gè)領(lǐng)域的發(fā)展?；谏杉夹g(shù)的現(xiàn)有研究分類，由四種技術(shù)組成，包括大規(guī)模語(yǔ)言模型（LLMs）、自監(jiān)督學(xué)習(xí)（SSL）、擴(kuò)散模型（Diffusion）和序列到序列（Seq2Seq）模型。這些技術(shù)涵蓋四種時(shí)空任務(wù)，每種任務(wù)都有基于特定生成技術(shù)的具體研究。在不同應(yīng)用任務(wù)中的相關(guān)工作，包括時(shí)空表示學(xué)習(xí)、時(shí)空預(yù)測(cè)和時(shí)空推薦。我們提供了詳細(xì)信息，包括期刊/會(huì)議名稱、使用的具體生成技術(shù)、涉及的特定應(yīng)用子任務(wù)以及用于評(píng)估的數(shù)據(jù)集。七、未來(lái)研究方向此外，我們探討了時(shí)空數(shù)據(jù)挖掘未來(lái)的研究方向。我們提出了四個(gè)潛在方向，并進(jìn)行了詳細(xì)描述：基準(zhǔn)數(shù)據(jù)集的偏斜分布、大規(guī)?；A(chǔ)模型、時(shí)空方法的泛化能力以及與外部知識(shí)的結(jié)合。1.基準(zhǔn)數(shù)據(jù)集的偏斜分布：基準(zhǔn)時(shí)空數(shù)據(jù)集中的偏斜分布指數(shù)據(jù)點(diǎn)在空間和時(shí)間維度上的不均衡分布。這意味著某些區(qū)域或時(shí)間段的數(shù)據(jù)點(diǎn)數(shù)量顯著多于或少于其他區(qū)域或時(shí)間段。這種不均衡可能導(dǎo)致數(shù)據(jù)集對(duì)特定位置或時(shí)間段產(chǎn)生偏向，進(jìn)而影響分析或預(yù)測(cè)的準(zhǔn)確性和可靠性。未來(lái)的研究應(yīng)致力于解決這種分布偏差問(wèn)題，以確保分析和模型的公平性和準(zhǔn)確性。2.大規(guī)?；A(chǔ)模型：目前，缺乏廣泛的高質(zhì)量多模態(tài)數(shù)據(jù)集限制了大規(guī)模基礎(chǔ)模型的探索和發(fā)展。因此，迫切需要深入研究這些模型，以提升其在下游任務(wù)中的表現(xiàn)，特別是在時(shí)空預(yù)測(cè)領(lǐng)域。通過(guò)填補(bǔ)這一研究空白，開(kāi)發(fā)和利用大規(guī)?；A(chǔ)模型，可以顯著提高各種時(shí)空預(yù)測(cè)應(yīng)用的準(zhǔn)確性和有效性。3.時(shí)空方法的泛化能力：現(xiàn)有的時(shí)空分析方法在適應(yīng)不同任務(wù)方面面臨挑戰(zhàn)，主要是由于其有限的泛化能力。這一限制妨礙了這些方法在各個(gè)領(lǐng)域和場(chǎng)景中的有效應(yīng)用，因?yàn)樗鼈冸y以捕捉不同任務(wù)中的復(fù)雜性和細(xì)微差別。因此，必須探索具有更強(qiáng)泛化能力的新方法，以實(shí)現(xiàn)對(duì)各種時(shí)空分析任務(wù)的無(wú)縫適應(yīng)和改進(jìn)表現(xiàn)。通過(guò)解決這一限制我們可以釋放時(shí)空方法的全部潛力，使研究人員和從業(yè)者能夠以更靈活和穩(wěn)健的方式應(yīng)對(duì)多樣化的挑戰(zhàn)。4.與外部知識(shí)的結(jié)合：隨著知識(shí)圖譜的不斷發(fā)展，探索將這些圖譜中衍生的外部知識(shí)整合到時(shí)空方法中變得越來(lái)越重要。外部知識(shí)的引入有望增強(qiáng)時(shí)空方法的分析能力，使其能夠利用更廣泛的背景信息和領(lǐng)域?qū)I(yè)知識(shí)。通過(guò)有效利用這些圖譜中的豐富知識(shí)，研究人員