智能交通數(shù)據(jù)預處理算法研究及應用樣本

1緒論1.1智能交通研究背景交通可以將人和物之間互相聯(lián)系起來，在都市建設(shè)、發(fā)展和尋常運營中起到了重要作用，咱們出行使用交通工具無不處在復雜交通線路中，通過這些線路，咱們可以到達咱們想要前去地點。在技術(shù)不斷發(fā)展和進步中，交通也變得越來越安全、便利、不再昂貴運送成本，每次交通方面進步都會影響到諸多行業(yè)發(fā)展，帶來新就業(yè)機會，為都市發(fā)展帶來利好。公路是都市血管，公路上車輛便是都市血液，都市尋常運作和社會發(fā)展離不開公路，得益于國內(nèi)“入世”后來國民經(jīng)濟騰飛和技術(shù)進步，汽車業(yè)發(fā)展也隨著著人民生活水平提高迎來了自己春天，便利交通對經(jīng)濟進一步發(fā)展和人民生活便易又提供了新生機，但事物具備兩面性，既有道路已經(jīng)局限性以消化日益增長交通工具，問題正逐漸進入人們視線，擁堵問題、秩序雜亂無章、交通事故頻發(fā)、尾氣排放等是其重要體現(xiàn)形式[1]。在過去幾十年中，諸多都市交通問題已經(jīng)隨著都市發(fā)展變得越來越嚴重，既有基本設(shè)施已然局限性以消化過多車輛，而糟糕交通又限制了社會經(jīng)濟發(fā)展，同步耗費了多余化石燃料，破壞環(huán)境。隨著人口不斷膨脹，車輛保有率不斷增長，既有交通狀況將變得更加糟糕。深處世界洪流中華人民共和國內(nèi)也不例外，自上個世紀末起，國內(nèi)道路擁擠問題已初現(xiàn)端倪，近年來國內(nèi)國力迅速增強，交通問題更加限制了經(jīng)濟持續(xù)發(fā)展和人民生活水平進一步提高，公安部官方數(shù)據(jù)給出，截至年終，全國機動車保有量達2.79億輛，全年新注冊登記汽車2385萬輛，保有量凈增1781萬輛，所有達到歷史最高水平。如此天量汽車行駛在全國公路上，勢必會導致?lián)矶?，導致?jīng)濟損失，更為嚴重者已經(jīng)嚴重威脅了人們生命，全球每年超百萬人死于交通事故。因此，咱們必要注重交通問題并謀求解決方案。為此，世界各國采用了各自對策，但收效甚微。通過長期摸索與經(jīng)驗積累，人們發(fā)現(xiàn)，諸多導致交通擁擠因素中，最為主線因素就是供求兩者間不平衡關(guān)系，一方面可以新建道路，提高總體容量，但通過調(diào)查發(fā)現(xiàn)，國內(nèi)某些大都市在上下班等高峰期，大多數(shù)公路都處在擁堵狀態(tài)，但某些道路使用率依然不高，因此僅僅采用簡樸新建道路、擴建道路是不能從主線上解決問題，特別對于發(fā)展得比較成熟都市而言，都市早已形成規(guī)模，交通系統(tǒng)繁雜，格局不適當變化，可分派用于道路建設(shè)土地越來越少，因而不能僅從某一方面（例如道路方面或車輛方面）來解決有關(guān)問題，成本過高、污染環(huán)境，并且此法對于紓緩交通、提高運送效率作用并不十分明顯[2]。由此看來，綜合考慮各種因素，要想有效地解決道路問題，就要充分運用既有道路資源、合理分派車流量，就成了當前工作重點，詳細就是采用各種高科技手段相配合改造老式運送體系辦法便成了最優(yōu)解，即綜合考慮司機、交通工具、環(huán)境智能交通系統(tǒng)（ITS）。1.2智能交通和數(shù)據(jù)預解決有關(guān)簡介1.2.1智能交通有關(guān)簡介及國內(nèi)外發(fā)展概述智能交通系統(tǒng)(IntelligentTransportationSystem，即ITS)，是將來交通系統(tǒng)發(fā)展方向，它是將先進信息技術(shù)、數(shù)據(jù)通訊傳播技術(shù)、電子傳感技術(shù)、控制技術(shù)及計算機技術(shù)等有效地集成運用于整個地面交通管理系統(tǒng)而建立一種在大范疇內(nèi)、全方位發(fā)揮作用，實時、精確、高效綜合交通運送管理系統(tǒng)[3]。智能交通目的就是，對交通狀況和交通數(shù)據(jù)感知采集，將各感知終端信息進行整合、轉(zhuǎn)換解決，以支撐分析預警與優(yōu)化管理應用系統(tǒng)建設(shè)，分析預測及優(yōu)化管理應用重要涉及交通規(guī)劃、交通監(jiān)控、智能誘導、智能停車等應用系統(tǒng)。在沒有新建道路狀況下，充分運用既有資源，減輕道路承擔和環(huán)境污染，使道路在安全前提下被更充分地運用，由此，各國越來越注重智能交通建設(shè)。智能交通分為四個子系統(tǒng)，分別為：車輛控制系統(tǒng)、交通監(jiān)控系統(tǒng)、車輛管理系統(tǒng)、旅行信息系統(tǒng)。車輛控制系統(tǒng)，指輔助駕駛員駕駛汽車或代替駕駛員自動駕駛汽車系統(tǒng)，可以精確地判斷車與障礙物之間距離。交通監(jiān)控系統(tǒng)類似于機場航空控制器，它將在道路、車輛和駕駛員之間建立迅速通訊聯(lián)系。車輛管理系統(tǒng)可以實現(xiàn)駕駛員與調(diào)度管理中心之間雙向通訊，來提供商業(yè)車輛、公共汽車和出租汽車運營效率。旅行信息系統(tǒng)專為外出旅行人員及時提供各種交通信息系統(tǒng)。四個子系統(tǒng)如下圖。圖1-1智能交通子系統(tǒng)[4]Figure1-1Intelligenttransportationsubsystems智能交通系統(tǒng)（ITS）是一種繁雜系統(tǒng)總稱，以管理和控制為基本，依托交通信息提供服務(wù)，同步著重提高道路使用效率，由此可以緩和道路擁擠，有助于出行，當前此辦法受到各國注重和大力推廣。它集各種高新科技之大成，需要極強綜合性，然而現(xiàn)行某些智能交通系統(tǒng)并沒有綜合運用各種資源，而是各自為政、自掃門前雪，沒有形成信息實時共享，如此這般，信息潰散、高能低效，并沒有達到“智能交通”本來目。因此對于智能交通來說，其很重要一方面就是資源、數(shù)據(jù)共享，在保證盡量全面、實時地收集大量靜態(tài)和動態(tài)數(shù)據(jù)信息同步還要兼顧各交通資源之間數(shù)據(jù)整合、輸送、融合、分析和運用。這就需要各部門互相協(xié)調(diào)、分派工作，綜合考慮時間、地點、環(huán)境，將采集到天量數(shù)據(jù)進行實時共享，這是非常重要。而實時共享，就需要依托信息技術(shù)在各單位之間建立一種統(tǒng)一且規(guī)范組織平臺，以供信息共享與交流，各部門可充分運用平臺中所有數(shù)據(jù)，綜合分析，給出最合理最有效解決方案，此舉大大提高智能交通系統(tǒng)綜合性能，同步提高出行效率，增長效益，保護環(huán)境[5]。智能交通是一種包括了多方面高新技術(shù)復雜系統(tǒng)總稱，它浮現(xiàn)解決了諸多道路交通問題，當前國際上將ITS項目分為七大類。圖1-2智能交通項目分類Figure1-2IntelligentTransportationProjectClassification在智能交通方面走在世界前列是美國、歐洲、日本。她們社會發(fā)展相對成熟，更超前，因此較早涉足智能交通領(lǐng)域，且有關(guān)研究由國家?guī)ь^，聯(lián)合社會各界，各取所長，共同實現(xiàn)了智能交通研發(fā)、改進與應用。美國于上世紀六十年代著手開發(fā)電子導航系統(tǒng)，并于80年代末期提出了有關(guān)戰(zhàn)略籌劃，投入巨資聯(lián)合各單位共同參加項目，在智能交通各系統(tǒng)領(lǐng)域獲得了長足進展。進入新世紀后，已經(jīng)建立了智能交通四個系統(tǒng)及眾多下屬系統(tǒng)行業(yè)原則，信息平臺建設(shè)也越來越完善。早在三十年前，歐洲便開始了對智能交通研究和其信息共享平臺建設(shè)，兩年后，歐洲十國又將研究領(lǐng)域延伸到道路自身和車輛設(shè)備，通過不懈努力，到當前，已有很大一某些理論研究被應用到實際當中，并為國家?guī)砹嗣黠@經(jīng)濟利益。日本對于智能交通研究稍晚歐美幾年，但這并不妨礙日本在有關(guān)領(lǐng)域領(lǐng)跑地位，日本持續(xù)幾年內(nèi)完畢了系統(tǒng)開發(fā)與原則制定，并應用于國家重要公路。日本高效源于政府從始至終參加，使各處力量集中在一起攻堅克難，這樣就使日本獲得了不俗成績。國內(nèi)最初涉足智能交通領(lǐng)馭時間可以上溯到上世紀八十年代，當時，交通部提出分批次對五個交通領(lǐng)域進行研究，并系統(tǒng)地應用于實際。進入新世紀后，國內(nèi)于依照國內(nèi)國情構(gòu)建了智能交通規(guī)則系統(tǒng)，后又成立了十個試點都市，并在試點都市中開始了有關(guān)工程項目建設(shè)，國內(nèi)智能交通重點之處是信息交流平臺建設(shè)，隨著科技不斷進步，各種通信手段日漸成熟，信息采集系統(tǒng)功能不斷完善，為國內(nèi)智能交通進一步建設(shè)奠定了夯實基本，但即便如此，當時國內(nèi)在信息平臺建設(shè)上還處在初級階段，多數(shù)都市依然依托原始信息系統(tǒng)，或直接進口國外先進軟硬件。北京奧運會成功舉辦也加速了國內(nèi)智能交通發(fā)展，同步借鑒國外成功或失敗經(jīng)驗，咱們很有也許“后發(fā)制人”[6]。時至今日，國內(nèi)大都市普遍成立了各種獨立交通道路指揮中心，某些中小都市也在積極推動有關(guān)項目，由此可知，智能交通在國內(nèi)發(fā)展是歷史發(fā)展必然選取和趨勢。1.2.2數(shù)據(jù)預解決有關(guān)簡介數(shù)據(jù)預解決是指在重要解決此前對數(shù)據(jù)進行某些解決。眾所周知，只有依托精準數(shù)據(jù)才干做出精確決策，由于電壓突變、外界震動、電磁干擾、儀器故障、環(huán)境條件等引起了測試儀器測量值異常或被測物品位置相對移動，就會產(chǎn)生異常數(shù)據(jù)。發(fā)現(xiàn)異常數(shù)據(jù)并剔除或做出恰當修改會對將來對的決策起到核心作用。然而對于一切系統(tǒng)，都沒有足夠把握讓數(shù)據(jù)完全干凈，這將導致數(shù)據(jù)挖掘自身質(zhì)量不高。在數(shù)據(jù)挖掘過程中會由于噪聲和冗余導致混亂，導致不精確輸出。過多冗余就會在摸索知識途中導致性能減少并導致混亂，此時咱們就通過數(shù)據(jù)預解決技術(shù)提高數(shù)據(jù)精確性，進而提高后期數(shù)據(jù)挖掘性能[7]。數(shù)據(jù)預解決模塊是數(shù)據(jù)挖掘系統(tǒng)完整必要保證，它目是發(fā)現(xiàn)任務(wù)，用新型模型整頓數(shù)據(jù)，排除無關(guān)屬性，使數(shù)據(jù)更加精準、干凈、有更強針對性，通過數(shù)據(jù)預解決可以提高工作效率。實際應用到數(shù)據(jù)大某些是不完整，由于臟數(shù)據(jù)存在，數(shù)據(jù)挖掘不能直接進行，或得出成果并不令人滿意，為了應對這種狀況，數(shù)據(jù)預解決技術(shù)就此產(chǎn)生，數(shù)據(jù)預解決意義就是：為了得到更高質(zhì)量數(shù)據(jù)成果，在數(shù)據(jù)挖掘前要進行數(shù)據(jù)預解決，由此可以對數(shù)據(jù)做出調(diào)節(jié)，使數(shù)據(jù)更符合需求，更有效并更精確，同步去除無關(guān)項，使數(shù)據(jù)質(zhì)量更高。通過大量數(shù)據(jù)解決可以抹去噪音。同步存儲已被整合數(shù)據(jù)，數(shù)據(jù)變換同理。舉個例子，規(guī)范化有助于提高某些用于測距挖掘算法有效性和精確性[6]。數(shù)據(jù)預解決有諸多方式：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約等。要在數(shù)據(jù)挖掘前應用這些技術(shù)，由此提高挖掘質(zhì)量，減少數(shù)據(jù)挖掘時間。數(shù)據(jù)清理重要任務(wù)是使格式原則，剔除異常數(shù)據(jù)，改正錯誤，剔除重復數(shù)據(jù)，即補充缺失數(shù)據(jù)、平滑噪聲、找出并剔除某些點來解決不一致性。數(shù)據(jù)集成就是建立數(shù)據(jù)庫，將數(shù)據(jù)合并在一起。由于普通狀況下數(shù)據(jù)挖掘工作量很大，在某些數(shù)據(jù)挖掘上耗費較長時間，通過數(shù)據(jù)歸約可以極大地簡化工作，同步保證原始數(shù)據(jù)無損，并可以得到與未歸約近乎相似成果[8]。對于某些工程公司（例如汽輪機廠等），客觀存在著某些現(xiàn)象，例如，重復設(shè)計后零件進入生產(chǎn)，這就導致了零件和文獻數(shù)量過于龐大，生產(chǎn)過程雜亂無章，抬升了成本，不能準時完畢任務(wù)。可以分析該公司產(chǎn)品過往數(shù)據(jù)并制定特定算法，有助于工作人員理解本公司歷史產(chǎn)品、有關(guān)零部件和其過去運用狀況。在汽車領(lǐng)域，數(shù)據(jù)預解決同樣發(fā)揮著其重要作用，公司為顧客提供更細致、更原則服務(wù)，就要采集海量數(shù)據(jù)，車企人員已經(jīng)開始注重數(shù)據(jù)采集、分析，但在使用方面依然不能做到完美。國內(nèi)汽車公司基本較國外較差，有很大改進潛力，在這樣大環(huán)境下，數(shù)據(jù)挖掘就會對公司自身發(fā)展有很大增進作用，可以在已采集到數(shù)據(jù)中抽出修理與養(yǎng)護數(shù)據(jù)，進行數(shù)據(jù)清理、抽取、轉(zhuǎn)換、加載，并為汽車售后單獨建立一種數(shù)據(jù)庫，運用有關(guān)規(guī)則分析數(shù)據(jù)，對數(shù)據(jù)進行解決[9]。1.3本文重要研究內(nèi)容交通系統(tǒng)重要特性之一就是其變化性，由于它是一種由人類干預、隨時變化且繁復系統(tǒng)，數(shù)據(jù)會隨時間地點變化而變化，交通占有率、速度、流量等數(shù)據(jù)也會隨之變化，由此導致相應誤差。在發(fā)送過程中設(shè)備故障、線路故障、交通事故或其她因素干擾下，自然會浮現(xiàn)數(shù)據(jù)缺失與數(shù)據(jù)異常，若不經(jīng)解決，將這些數(shù)據(jù)直接反饋給交通，就會帶來安全隱患。因此，要盡量地保證數(shù)據(jù)精確、有效。本文重要目就是解決以上問題，本文簡樸簡介了智能交通研究背景，世界各國發(fā)展歷程，數(shù)據(jù)預解決有關(guān)辦法，重要研究了面對智能交通系統(tǒng)數(shù)據(jù)預解決辦法，涉及缺失數(shù)據(jù)補償、異常數(shù)據(jù)剔除等，運用Matlab編寫有關(guān)程序，得出仿真，對成果進行分析，針對不同剔除和補償辦法做出對比，并對將來智能交通發(fā)展前景做出預測與猜想。2面向智能交通系統(tǒng)數(shù)據(jù)預解決技術(shù)隨著傳感器技術(shù)日益進步，咱們能輕松地在特定環(huán)境下采集某些數(shù)據(jù)，但其自身并不完美，加上外界環(huán)境干擾，通過儀器收集到數(shù)據(jù)不能保證精確，而這些不精確數(shù)據(jù)勢必會影響到接下來對于數(shù)據(jù)解決，因而在應用前，咱們要對數(shù)據(jù)進行預解決，重要分為兩大某些，對于異常數(shù)據(jù)就要將不合乎常理數(shù)據(jù)進行剔除，對于缺失數(shù)據(jù)就要依托手段來進行補償。如下簡要簡介了現(xiàn)階段比較流行幾種數(shù)據(jù)預解決算法。2.1智能交通數(shù)據(jù)預解決綜合簡介信息是智能交通系統(tǒng)核心，系統(tǒng)各項功能都緊扣信息技術(shù)，交通信息獲取與傳播則為實現(xiàn)子系統(tǒng)獨立功能和子系統(tǒng)之間聯(lián)系提供了充分保障。動態(tài)交通信息系統(tǒng)浮現(xiàn)更好地解決了這些問題，系統(tǒng)收集占有率、速度、流量等信息通過解決再呈現(xiàn)給駕駛員，其具備實時性，可以迅速采集并發(fā)布信息，使交管人員和駕駛員等即時知曉交通現(xiàn)狀[10]。而動態(tài)指系統(tǒng)可以將不斷變化信息之間做出對比、分析，通過成果交管人員和駕駛員就可以懂得道路狀態(tài)異常[11]。若按照功能分，動態(tài)交通信息系統(tǒng)分為三種數(shù)據(jù)流，規(guī)定數(shù)據(jù)精確、完整、時效。圖2-1動態(tài)交通信息系統(tǒng)數(shù)據(jù)流Figure2-1DynamicTrafficInformationSystemdataflow隨著各類因素（例如時間、道路）變化，智能交通系統(tǒng)采集到數(shù)據(jù)也隨之變化，其具備高度不擬定性和隨機性，由此引起大量噪聲與誤差，提高數(shù)據(jù)質(zhì)量核心之一就是智能交通系統(tǒng)數(shù)據(jù)預解決，涉及缺失數(shù)據(jù)補償、異常數(shù)據(jù)剔除。由此可見，為從在種種不利狀況下收集到智能交通數(shù)據(jù)中找到其自身法則，便于數(shù)據(jù)管理與應用，應尋找適當智能交通系統(tǒng)數(shù)據(jù)預解決辦法[12]?？倎碇v，都市中智能交通要實現(xiàn)四個目的如下圖：圖2-2都市交通四個目的Figure2-2Fourgoalsofurbantransport2.2進行數(shù)據(jù)預解決因素、目及意義數(shù)據(jù)預解決因素是：在現(xiàn)實世界中存在著大量缺失不干凈數(shù)據(jù)，其中某些屬性不總是可應用，某些數(shù)據(jù)由于錄入時被以為無關(guān)緊要而沒有包括在其中。沒有記錄某些數(shù)據(jù)也也許是由于理解上偏差或設(shè)備浮現(xiàn)故障。除此以外，歷史記載或修改數(shù)據(jù)也許會忽視，也可以提出某些一致性不好數(shù)據(jù)，并且要推斷出缺失數(shù)據(jù)來[13]。為了使數(shù)據(jù)質(zhì)量更高，更加有效、容易地進行數(shù)據(jù)挖掘從而提高挖掘質(zhì)量是數(shù)據(jù)預解決目。數(shù)據(jù)預解決重要目是清除掉數(shù)據(jù)中噪聲、空缺值、不一致數(shù)據(jù)等。對于空缺值解決，普通有忽視元組、人工填寫空缺值、使用全局常量填充、使用屬性平均值填充、使用與給定元組同一類樣本平均值填充、使用最也許值填充等辦法。需要注意是，在進行數(shù)據(jù)挖掘之前，需要對前期數(shù)據(jù)做出整頓[14]。由此可見，數(shù)據(jù)質(zhì)量提高和數(shù)據(jù)預解決是分不開，數(shù)據(jù)預解決有諸多重要意義[15]：（1）智能交通系統(tǒng)會采集到諸多實時數(shù)據(jù)，用過去人力來辨認異常數(shù)據(jù)和缺失數(shù)據(jù)并作出剔除和補償不能較好地解決問題；（2）持續(xù)不斷地工作和錯綜復雜環(huán)境大大提高了各種設(shè)備浮現(xiàn)不敏捷、故障、損壞也許性。（3）由于對于數(shù)據(jù)精度和質(zhì)量規(guī)定原則不同，就需要系統(tǒng)有針對性地給出不同解決方案。由以上可見，對數(shù)據(jù)進行預解決可以在一定限度上是數(shù)據(jù)質(zhì)量更高，提高數(shù)據(jù)挖掘精度，性能更好。總來說，就是通過數(shù)據(jù)預解決可以提高數(shù)據(jù)質(zhì)量和可用性，進而提高數(shù)據(jù)融合質(zhì)量，依托精確信息才干做出對的判斷，并有針對性地采用有效辦法。2.3智能交通數(shù)據(jù)預解決慣用辦法隨著科技發(fā)展，傳感器也日臻成熟，但其自身不也許是完美，由于自身短處活著所處外在環(huán)境影響，經(jīng)由傳感器采集到數(shù)據(jù)不也許是百分之百精確，而不精確數(shù)據(jù)會直接影響將來數(shù)據(jù)分析與解決，并且影響會很大。因此，在應用之前，咱們要對采集到數(shù)據(jù)進行整頓，對數(shù)據(jù)進行整頓階段就叫數(shù)據(jù)預解決，智能交通數(shù)據(jù)預解決重要涉及兩個某些：異常數(shù)據(jù)剔除和缺失數(shù)據(jù)補償。2.3.1異常數(shù)據(jù)剔除對于異常數(shù)據(jù)，是指咱們實際測得不符合常理數(shù)據(jù)或與合理范疇偏差較大少某些測量值。異常數(shù)據(jù)是不真實，不總浮現(xiàn)，并且?guī)в须S機特性，這會影像數(shù)據(jù)質(zhì)量，依托傳感器采集數(shù)據(jù)時，也會產(chǎn)生異常數(shù)據(jù)，引起異常重要因素就是傳感器自身故障，偶爾也會浮現(xiàn)某些不經(jīng)常發(fā)生但影響較強干擾。在智能交通領(lǐng)域，對于異常數(shù)據(jù)剔除有如下幾種辦法[1]：=1\*GB3①閾值法：即依照常理及有關(guān)規(guī)定給出某些交通參數(shù)上下限，超過此范疇數(shù)據(jù)則被認定為異常值。=2\*GB3②交通流機理法：依照交通流機理某些規(guī)則，例如流量和占有率關(guān)系，流量和速度關(guān)系，行程時間和擁擠長度關(guān)系等等，如果采集到數(shù)據(jù)不符合這些規(guī)則，則某些數(shù)據(jù)就是異常。=3\*GB3③置信距離檢查法：或者“決策距離”比較。這個辦法檢測來自某一斷面各個傳感器相似參數(shù)，依照一致性融合，融合互相支持數(shù)據(jù)，剔除不支持數(shù)據(jù)，得出最后成果。=4\*GB3④格拉布斯記錄法：如果某一組數(shù)據(jù)服從高斯分布，依照概率論懂得，大某些數(shù)據(jù)都分布在合理區(qū)間內(nèi)，只有少某些異常值在區(qū)間以外，通過這種思想，我就可以將異常值剔除。需要注意是，這種辦法最佳應用在傳感器較多時，若較少則誤差較大。=5\*GB3⑤有序樣本聚類：這種辦法是將相似數(shù)據(jù)構(gòu)成群組，在這一類群組之外數(shù)據(jù)則為孤立。采用此法把某一時段交通參數(shù)提成諸多特性相似時間段，然后依照某些特性在各種時間段里找出異常數(shù)據(jù)。2.3.2缺失數(shù)據(jù)補償在智能交通領(lǐng)域，對于缺失數(shù)據(jù)補償有如下幾種辦法：=1\*GB3①歷史均值法：依照歷史記錄數(shù)據(jù)直接應用或按一定比例更改數(shù)據(jù)來代替缺失數(shù)據(jù)，這種辦法操作簡樸，但由于其自身特性限制，這種辦法合用于交通狀況比較穩(wěn)定期候。=2\*GB3②車道比值法：這種辦法原理是根據(jù)已記錄不同車道流量之比，對缺失車道數(shù)據(jù)進行預估補償，這種辦法綜合考慮了過去和當前各個參數(shù)，精確度較高，合用于車流比較大，車道狀況穩(wěn)定狀況。=3\*GB3③時間序列法：把各個交通參數(shù)當作時間序列，應用不同步間預測辦法，例如加權(quán)平均、指數(shù)平滑、簡樸平均等等，以歷史數(shù)據(jù)為根據(jù)對缺失數(shù)據(jù)進行預計補償，此法操作簡樸，容易執(zhí)行，且具備普適性，是一種普遍應用補償辦法[16]。=4\*GB3④有關(guān)分析法：這個辦法是在時間序列中測量各個元素之間關(guān)系，需要丟失數(shù)據(jù)時刻先后各一段時間數(shù)據(jù)為基本來進行預估，在正常狀況下此法精度是很高，但交通事故會影響交通正常運營，對成果產(chǎn)生影響，應當在應用邁進行交通事故判斷，如有交通事故，則換用她法。=5\*GB3⑤基于遺傳算法組合模型：這種辦法基本思想是綜合應用各種辦法對采集到數(shù)據(jù)進行補償，通過對不同補償辦法得到成果進行加權(quán)平均，歷史經(jīng)驗表白，這種辦法精確度更高，但其代價就是需要計算各種算法，比較復雜，在普通狀況下不建議采用此辦法[17]。3本文算法基本理論對于數(shù)據(jù)預解決中異常數(shù)據(jù)剔除和缺失數(shù)據(jù)補償，本文各簡介了三種辦法，異常數(shù)據(jù)剔除，本文重要簡介了3??準則法、閾值法、t分布法；缺失數(shù)據(jù)補償，本文簡介了歷史均值法、時間序列法和一種數(shù)據(jù)補償新辦法-各種補償辦法權(quán)重計算下面給出了本文算法理論基本和有關(guān)簡介。3.1異常數(shù)據(jù)剔除3.1.13??準則法3??準則又稱為拉依達準則，它是先假設(shè)一組檢測數(shù)據(jù)只具有隨機誤差，對其進行計算解決得到原則偏差，按一定概率擬定一種區(qū)間，以為凡超過這個區(qū)間誤差，就不屬于隨機誤差而是粗大誤差，具有該誤差數(shù)據(jù)應予以剔除。3??準則在科研、工程等領(lǐng)域慣用于剔除異常數(shù)據(jù)，但需要注意是，只有數(shù)據(jù)總量較大時才可使用此辦法，至少也要10個數(shù)據(jù)以上，若數(shù)據(jù)總量過小，測量成果雖然具有異常值也很難剔除，數(shù)據(jù)總量不大于10時視為無效。同樣，對于智能交通來說，3??原則作為一種數(shù)據(jù)預解決重要方式可以用于剔除系統(tǒng)采集到異常數(shù)據(jù)，從而提高整體系統(tǒng)精準度。給出正態(tài)分布或者近似正態(tài)分布，如果平均值和原則差已知，就可大體預計出它頻數(shù)分布。正態(tài)分布重要特性如下圖。圖3-1正態(tài)分布重要特性Figure3-1Themaincharacteristicsofthenormaldistribution下式為位置參數(shù)是??、尺度參數(shù)是??隨機變量X概率分布，咱們把它記為：X~Nμ?σ2它概率密度函數(shù)為：fx=1σ在正態(tài)分布中，咱們以為位置參數(shù)μ是它數(shù)學盼望或盼望，可以決定分布位置；尺度參數(shù)??為它原則差，即將它方差開平方，可以決定分布幅度。由于它形狀呈鐘形，因此人們又經(jīng)常把正態(tài)分布概率曲線稱為鐘形曲線。圖3-2鐘形曲線Figure3-2Bellcurve咱們懂得某些原則正態(tài)分布特性：其本質(zhì)依然是正態(tài)分布，只是它位置參數(shù)μ值為0，尺度參數(shù)σ2值為1。可以這樣理解，在這樣一種正態(tài)分布中，它概率密度函數(shù)均值是??，方差是σ2，即原則差是??，這個正態(tài)分布fx=1可由下圖看出，紅色區(qū)域數(shù)值距平均值不大于一種原則差，黃色區(qū)域數(shù)值距平均值不大于兩個原則差，藍色區(qū)域數(shù)值距平均值不大于三個原則差，在正態(tài)分布中，在一種原則差之間數(shù)值占所有數(shù)值比率68.2%，兩個原則差之間數(shù)值占所有數(shù)值比率為95.4%，三個原則差之間數(shù)值占所有數(shù)值比率為99.7%。圖3-3原則正態(tài)分布曲線Figure3-3Standardnormaldistributioncurve在實際應用中，經(jīng)?？紤]具備或近似于正態(tài)分布特性數(shù)據(jù)，如果這種假設(shè)精確無誤，那么就可以應用以上規(guī)則，就是咱們常說“68-95-99.7法則”或“經(jīng)驗法則”?？倎碚f，在以μ為均值，以σ為原則差正態(tài)分布中，圖像對稱軸為x=μ，3??數(shù)值分布在區(qū)間μ-σ,μ+σ概率為0.6826，數(shù)值分布在區(qū)間μ-2σ,μ+2σ概率為0.9544，數(shù)值分布在區(qū)間μ-3咱們近似以為，幾乎所有Y取值都在區(qū)間μ-3σ,μ+3??原則是一種檢查異常數(shù)據(jù)準則，假若事先已經(jīng)修正系統(tǒng)誤差，使其在原則范疇內(nèi)，在解決數(shù)據(jù)時候重要考慮是偶爾誤差，如果某一測量偶爾誤差服從正態(tài)分布，依照正態(tài)分布公式可以求出原則偏差??，3??為極限誤差，在數(shù)據(jù)服從正態(tài)分布狀況下，偶爾誤差不在±3??區(qū)間概率只有0.27%，若用平均值取代真值，可以鑒定99.73%數(shù)據(jù)都會在±3??區(qū)域中，不在此區(qū)間數(shù)據(jù)，就被認定為異常數(shù)據(jù)，予以剔除。正如以上以三倍原則差為界限鑒別原則，就是3??原則。3.1.2閾值法“閾”就是某個領(lǐng)域或系統(tǒng)界限或極限數(shù)值，是指一種效應可以產(chǎn)生最低值或最高值。簡樸地說，在某些不重要場合或?qū)纫?guī)定不高時候，只要將控制對象某些參數(shù)限定在某個區(qū)間之內(nèi)，不做精準解決和控制，即便略有溢出規(guī)定區(qū)間數(shù)值也不會對整體導致嚴重后果。在閾值控制系統(tǒng)中，由于各種因素影響會使被控對象狀態(tài)發(fā)生變化，它某些值經(jīng)常會超過所規(guī)定閾值區(qū)間，此時系統(tǒng)就會運用傳感器進行檢測，在某些值超過規(guī)定閾值區(qū)間時就會發(fā)出信號，再經(jīng)由執(zhí)行機構(gòu)將數(shù)據(jù)控制在預定區(qū)間，在數(shù)值剛剛超過上限時，執(zhí)行機構(gòu)便啟動，但若在數(shù)據(jù)剛恢復正常范疇時就關(guān)閉執(zhí)行機構(gòu)，數(shù)據(jù)又會再次超過范疇，導致執(zhí)行機構(gòu)頻繁地啟動，這樣會增長系統(tǒng)能耗、減少系統(tǒng)效率、縮短設(shè)備使用壽命。因而咱們要解決這個問題，雖然執(zhí)行機構(gòu)持續(xù)工作，保證被控對象數(shù)值在接近下限時候再關(guān)閉執(zhí)行機構(gòu)。智能交通中某些參數(shù)不可以超過規(guī)定界限，僅可以在其規(guī)定范疇內(nèi)上下浮動。例如：占有率Od，其范疇區(qū)間為0≤Od≤100%，如果采集到數(shù)據(jù)不在這個范疇內(nèi)，則被視為異常數(shù)據(jù)，應予剔除；速度閾值法有其自身長處，容易計算，合用于在線計算，但另一方面，閾值法也只能作為一種基本剔除辦法，它對于異常數(shù)據(jù)解決能力相稱有限，雖然某些數(shù)據(jù)并不在閾值區(qū)間之外，但這些數(shù)據(jù)也不一定是對的，只能剔除掉錯誤得很離譜數(shù)據(jù)，咱們可以先運用閾值法，再應用其她更精準算法，這樣可以減少工作量。因此咱們建議做精準解決時不單獨使用閾值法，而是結(jié)合其她辦法，先粗略篩選再作精準解決。3.1.3t分布法對同一信號進行重復測量，多數(shù)狀況下測量數(shù)據(jù)符合正態(tài)分布[18]。如n個采樣值為x1，x2，?，xn則樣本平均值為：X=1ni=1樣本方差為：S2=1依照盼望與方差點預計理論，X是μ無偏預計值；S2是σT=X-μS2對于給定α0<α<1PX-μS2∕n≤tα∕2n-1=1-α通過查t分布表，得tα∕2n-1值，可得μ置信度是X-tα∕2n-1s∕n,X+t對于給定置信度1-α0<α<1P-tα2n-1<T<=-上式中，tα2n-1是tX-tα∕2n-1而μ落在該區(qū)間之外概率很小，屬于小概率事件，在正常測量過程中不會發(fā)生。因而取δ=tα∕2n-1n為臨界值，若xi?=1,2,…,71滿足：基于該辦法剔除環(huán)節(jié)如下：(1)將n個測量數(shù)據(jù)按從小到大順序排列，最小值為xL，最大值x(2)計算出所有測量數(shù)據(jù)算術(shù)平均值X=1ni=1nxi和測量數(shù)據(jù)方差S2=1n-1i=1nxi則S=1n-1i=1n(3)查t分布表得到tα∕2(4)計算tα∕2n-1S/n，若xi-X3.2缺失數(shù)據(jù)補償數(shù)據(jù)缺失時常發(fā)生，其引起因素也有諸多，也許是由于檢測設(shè)備故障等等。而數(shù)據(jù)缺失會使最后成果導致偏差，因而對于道路交通數(shù)據(jù)預解決來說，應當及時對缺失數(shù)據(jù)進行補償，一下簡介幾種簡樸可行辦法。3.2.1歷史均值法根據(jù)歷史上相應時刻數(shù)據(jù)按比例采用或直接采用歷史數(shù)據(jù)來代替缺失數(shù)據(jù)。這種辦法比較簡樸、以便，并且易于實現(xiàn)。但對于多變交通狀況來說，這種辦法精度就會大打折扣。由此可見，歷史均值法合用于交通狀態(tài)穩(wěn)定狀況[19]。3.2.2時間序列法這種辦法重要思想就是將收集到交通數(shù)據(jù)作為時間序列，再運用不同步間序列預測法，例如，簡樸平均、加權(quán)平均、指數(shù)平滑等，由過去到當前波動趨勢來作為預測根據(jù)，但它有一種規(guī)定，就是在將來預測目的發(fā)展規(guī)律不會發(fā)生太大變化。數(shù)據(jù)變化有著規(guī)律性，也有其不規(guī)律性。每個時期數(shù)據(jù)，都是由諸多不同因素同步發(fā)生作用綜合成果。時間序列法簡化了預測對象和各種因素之間復雜聯(lián)系，這種辦法在分析當前、過去、將來聯(lián)系，和將來成果與過去各種因素之間關(guān)系時，效果明顯。用這種辦法進行數(shù)據(jù)解決時簡樸易行，適應性比較強，是一種慣用缺失數(shù)據(jù)補充算法。但也有其自身局限性，這種辦法反映了對象單向和線性聯(lián)系，合用于預測穩(wěn)定且需要在時間方面可以穩(wěn)定持續(xù)階段，若進行長期預測，精確性便會減少[20]。算術(shù)平均數(shù)法：在被測對象歷史數(shù)據(jù)增長狀況穩(wěn)定短期預測。移動平均預測與算術(shù)平均法類似，綜合了各種歷史實際數(shù)據(jù)，求得平均值來預測將來值，它有一種前提，就是假設(shè)平均值中所有觀測值對將來影響是相似，但在實際應用中，觀測值對將來數(shù)值影響是隨著觀測值與預測期之間距離減小而增大，這也是這種辦法局限性之處，還需要某些辦法來修正。加權(quán)移動平均預測歷史數(shù)據(jù)是按照時間順序排列，不同數(shù)據(jù)對預測將來重要限度不同，所有數(shù)據(jù)都會被賦予各自權(quán)重，可以做到精準預測，可知這種辦法思想是以為接近預測時間點變動對將來預測影響較大，可見更為合理，但偶爾會在權(quán)重選取上受到影響。加權(quán)移動平均預測是要將采集到歷史數(shù)據(jù)按照時間排列，對預測值來說不同數(shù)據(jù)會有不同重要性，把不同權(quán)重分派給所有數(shù)據(jù)，可以使預測成果更精確，由此可知，這種辦法以為越近期數(shù)據(jù)對將來影響越大，也更為合理，但在權(quán)重選取上需要斟酌[21]。指數(shù)平滑是加權(quán)平均一種特殊形式，其予以待預測數(shù)據(jù)近期數(shù)據(jù)更大權(quán)值，權(quán)重由遠到近是指數(shù)增長趨勢，指數(shù)平滑名字也正是由此得來。時間序列法比較合用于缺失交通數(shù)據(jù)在線補償，只要有足夠歷史數(shù)據(jù)，就可以推測出將來數(shù)據(jù)，這種算法操作簡樸、比較可靠，并且運營速度較快，符合交通數(shù)據(jù)預解決各方面規(guī)定。3.2.3數(shù)據(jù)補償新辦法-各種補償辦法權(quán)重計算前面幾種辦法都是運用一種算法進行數(shù)據(jù)補充，而本算法基本思想是：對于同一組數(shù)據(jù)進行預解決，可以用各種辦法，不同辦法有其各自優(yōu)勢與劣勢，這種辦法思想就是將各種辦法組合在一起并選取不同權(quán)值，可以有效改進不同辦法缺陷。大量實踐表白，雖然在效果普通模型中，只要將它獨立信息和一種適當辦法結(jié)合在一起，就可以提高成果精度和可靠性。對于各種算法解決，其中一種辦法就是將不同辦法成果進行加權(quán)平均，大量實驗表白，通過組合可以提高精確性[22]。由于這種辦法需要分別計算不同算法，計算繁瑣且使用不以便，因而在規(guī)定不高狀況下，不建議使用這種辦法。本文采用1:1權(quán)重計算。3.3補償效果優(yōu)劣鑒別鑒定補償效果優(yōu)劣辦法為：先刪除錯誤數(shù)據(jù)，進行補償，運營程序后將所得成果與原數(shù)據(jù)相比較，通過計算所有數(shù)據(jù)與原數(shù)據(jù)均方差，均方差較小比較穩(wěn)定，補償效果好。均方差，即為原則差，原則差是離均差平方和平均后方根，用σ表達。原則差在概率記錄中最常使用作為記錄分布限度上測量。原則差定義是總體各單位原則值與其平均數(shù)離差平方算術(shù)平均數(shù)平方根。原則差可以反映數(shù)據(jù)集離散限度，原則差越小，闡明數(shù)據(jù)越穩(wěn)定；反之原則差越大，數(shù)據(jù)波動越大[23]。假設(shè)有一組數(shù)值X?，X?，X?……Xn（皆為實數(shù)），其平均值（算術(shù)平均值）為μ，均方差公式如下：σ=1Ni=1Nx4智能交通系統(tǒng)數(shù)據(jù)預解決有關(guān)算法設(shè)計接下來是本文重點某些，詳細簡介了所選辦法程序、數(shù)據(jù)成果和辦法對比。4.1異常數(shù)據(jù)剔除數(shù)據(jù)來自交通道路真實數(shù)據(jù)，并選用其中五分鐘交通數(shù)據(jù)，如下表：表4-1原始數(shù)據(jù)Table4-1Rawdata序號序號12345678135536034635834034634532223333282923892254382783142628432772712832792812792814494204603981147255444433271277014365381378384383370382371185316374362271135834924323324326775331491920467354923924311298485308304309312312309307310308937245337474.1.13??準則法用Matlab編程，有關(guān)程序如下。X=xlsread('C:\Users\孫顯治\Desktop\江西路匹配過車.xlsx','F632:F697');Y=X;disp(Y);outliers=X>=10000;X(outliers)=NaN;ave=mean(X)；%計算平均值theta=std(X)；%計算原則差outliers=abs(X-ave)>(3*theta)；%求出離群值位置X(outliers)=NaN；%去除離群值disp(X)；%顯示解決后數(shù)據(jù)xlswrite('C:\Users\孫顯治\Desktop\江西路剔除3theta法.xlsx',X);用3??法剔除后數(shù)據(jù)見下表：表4-23??法剔除后數(shù)據(jù)Table4-23σmethodprocesseddata序號序號12345678135536034635834034634532223333282923892剔除278剔除28432772712832792812792814494剔除剔除剔除444433271剔除4365381378384383370382371剔除63743622711358剔除32332432677533剔除剔除剔除3924311298剔除83043093123123093073103089剔除剔除4.1.2閾值法由以上可知閾值法算法流程圖。圖4-1算法流程圖Figure4-1Algorithmflowchart用Matlab編程，有關(guān)程序如下。X=xlsread('C:\Users\孫顯治\Desktop\江西路匹配過車.xlsx','F632:F697');Y=X;disp(Y);ave=mean(X)；%計算平均值a=10000；%輸入閾值；outliers=abs(X-ave)>a；%求出離群值位置nout=sum(outliers)；%計算離群值個數(shù)并顯示X(outliers)=NaN；%去除離群值disp(X)；%顯示解決后數(shù)據(jù)xlswrite('C:\Users\孫顯治\Desktop\江西路剔除閾值法.xlsx',X);用閾值法剔除后數(shù)據(jù)見下表：表4-3閾值法剔除后數(shù)據(jù)Table4-3Dataafterexcludingthethresholdmethod序號序號12345678135536034635834034634532223333282923892剔除278剔除2843277271283279281279281449420460剔除剔除444433271剔除43653813783843833703823711853163743622711358剔除3233243267753314919剔除剔除3924311298剔除83043093123123093073103089剔除剔除4.1.3t分布法t分布法流程圖如下。圖4-2算法流程圖Figure4-2Algorithmflowchart用Matlab編程，有關(guān)程序如下圖。X=xlsread('C:\Users\孫顯治\Desktop\江西路匹配過車.xlsx','F632:F697');Y=X;disp(Y);alpha=0.00000001；%可進行定義n=length(X)；%自由度lambda=tinv(1-alpha/2,n-1)；%計算分為點sort(X,'ascend')；%數(shù)據(jù)從小到大排列ave=mean(X)；%計算平均值S=std(X)；%計算原則差delta=lambda*S/(n^0.5);fori=1:nifabs(X(i)-ave)>delta%判斷與否為異常數(shù)據(jù)X(i)=NaN；%將異常數(shù)據(jù)賦為缺省值endendoutliers=(isnan(X))；%求出缺省值位置X(outliers)=NaN；%將缺省值刪除disp(X)；%顯示解決后數(shù)據(jù)xlswrite('C:\Users\孫顯治\Desktop\江西路剔除t分布.xlsx',X);用t分布法剔除后數(shù)據(jù)見下表：表4-4t分布法剔除后數(shù)據(jù)Table4-4tdistributionmethodExcludingdata序號序號12345678135536034635834034634532223333282923892剔除278剔除28432772712832792812792814494剔除剔除剔除444433271剔除4365381378384383370382371剔除63743622711358剔除3233243267753314919剔除剔除3924311298剔除83043093123123093073103089剔除剔除4.2缺失數(shù)據(jù)補償基于以上剔除后數(shù)據(jù)，采用對的數(shù)據(jù)，隨機剔除幾種數(shù)據(jù)，再進行補償。表4-5待補償數(shù)據(jù)Table4-5Unprocesseddata序號序號123456781355360346358缺失3463453222333缺失292278284277缺失2833279281279缺失4494444332714缺失381378384383缺失3823715374362缺失323324326311缺失6304309312312缺失3073103087304缺失265427426431缺失4288271248237缺失397402381365補償前圖形如下：圖4-3補償前圖形Figure4-3Patternbeforetreatment4.2.1歷史均值法用Matlab編程，有關(guān)程序如下。X=xlsread('C:\Users\孫顯治\Desktop\江西路\待補償數(shù)據(jù).xlsx','B2:B65');Y=X;disp(Y);outliers1=(isnan(X))；%求出缺省值位置outliers2=(outliers1==0)；%求出有效值位置ave=mean(X(outliers2))；%計算平均值X(outliers1)=ave；%進行數(shù)據(jù)補償disp(X)；%顯示解決后數(shù)據(jù)xlswrite('C:\Users\孫顯治\Desktop\江西路補償歷史均值法.xlsx',X)；%把成果導入到新Excel中用歷史均值法補償后數(shù)據(jù)見下表：表4-6歷史均值法補償后數(shù)據(jù)Table4-6Historicalaveragemethodcompensationdata序號序號1234567813553603463583403463453222333340292278284277340283327928127934044944443327143403813783843833403823715374362340323324326311340630430931231234030731030873043402654274264313404288271248237340397402381365補償后仿真圖形如下：圖4-4歷史均值法補償后圖形Figure4-4Historicalaveragemethodcompensationgraphic4.2.2時間序列法用Matlab編程，有關(guān)程序如下。X=xlsread('C:\Users\孫顯治\Desktop\江西路\待補償數(shù)據(jù).xlsx','B2:B65')；outliers1=(isnan(X))；%求出缺省值位置outliers2=(outliers1==0)；%求出有效值位置time1=find(outliers1==1)；%獲得有效時間點time2=find(outliers2==1)；%獲得有效時間點y=X(outliers2)；%去除離群值Y=interp1(time2,y,time1);X(outliers1)=Y；%進行數(shù)據(jù)補償disp(X)；%顯示解決后數(shù)據(jù)xlswrite('C:\Users\孫顯治\Desktop\江西路\江西路補償時間序列法.xlsx',X)；%把成果導入到新Excel中用時間序列法補償后數(shù)據(jù)見下表：表4-7時間序列法補償后數(shù)據(jù)Table4-7Timeseriesdataaftercompensation序號序號1234567813553603463583523463453222333313292278284277280283327928127936444944443327143263813783843833833823715374362343323324326311308630430931231231030731030873042852654274264314304288271248237317397402381365補償后仿真圖形如下：圖4-5時間序列法補償后圖形Figure4-5Sequentiallymethodcompensatedgraphics4.2.3數(shù)據(jù)補償新辦法-各種補償辦法權(quán)重計算用Matlab編程，有關(guān)程序如下。A=xlsread('C:\Users\孫顯治\Desktop\江西路補償歷史均值法.xlsx')；B=xlsread('C:\Users\孫顯治\Desktop\江西路補償時間序列法.xlsx')；pA=1;pB=1；%輸入A、B各自占權(quán)重p=pA+pB;C=A*(pA/p)+B*(pB/p);xlswrite('C:\Users\孫顯治\Desktop\江西路補償權(quán)重法.xlsx',[A,B,C]);%數(shù)據(jù)輸出第1列為補償后1；第2列為補償后2；第3列為加權(quán)補償后；用權(quán)重法補償后數(shù)據(jù)見下表：表4-8各種補償辦法權(quán)重補償后數(shù)據(jù)Table4-8Variouscompensationmethodsofweightcompensationdata序號序號1234567813553603463583463463453222333326292278284277310283327928127935244944443327143333813783843833613823715374362341323324326311324630430931231232530731030873043122654274264313854288271248237328397402381365補償后仿真圖形如下：圖4-6各種補償辦法權(quán)重計算補償后圖形Figure4-6Variouscompensationmethodsofweightcompensationpattern4.3成果分析4.3.1剔