交通管控大數(shù)據(jù)分析研判系統(tǒng)(共39頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上交通管控大數(shù)據(jù)分析研判系統(tǒng)設(shè)計(jì)方案目 錄1 系統(tǒng)概述1.1 系統(tǒng)背景隨著經(jīng)濟(jì)迅猛發(fā)展，機(jī)動(dòng)車輛不斷增加，道路交通擁堵、交通肇事現(xiàn)象也越來越嚴(yán)重。交通管理部門部署了大量交通監(jiān)控設(shè)備對(duì)道路交通情況進(jìn)行監(jiān)控，這些設(shè)備24小時(shí)不間斷捕獲過車數(shù)據(jù)和圖像數(shù)據(jù)，產(chǎn)生了海量的歷史記錄。在此情況下，如何利用先進(jìn)的技術(shù)手段，對(duì)交通監(jiān)控設(shè)備采集的海量的、格式多樣的數(shù)據(jù)進(jìn)行深度分析應(yīng)用，對(duì)海量數(shù)據(jù)進(jìn)行查找、關(guān)聯(lián)、比對(duì)等處理，實(shí)時(shí)發(fā)現(xiàn)其中潛在的問題并預(yù)警,成為當(dāng)前迫切需要解決的問題。主要體現(xiàn)在以下兩個(gè)方面：一是交通管理部門的現(xiàn)有系統(tǒng)還處于結(jié)構(gòu)化數(shù)據(jù)處理模式架構(gòu)體系中，要實(shí)現(xiàn)對(duì)城市道路交通的整體

2、運(yùn)行狀況、車輛出行規(guī)律等方面以日、月甚至年為時(shí)間粒度進(jìn)行數(shù)據(jù)分析還存在不足。二是交通管理部門的現(xiàn)有系統(tǒng)在對(duì)這些具有邏輯關(guān)聯(lián)的海量多源異構(gòu)數(shù)據(jù)處理過程中，數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、處理種類、處理效率等方面仍存在不足，不能滿足持續(xù)擴(kuò)大的交通管理數(shù)據(jù)規(guī)模以及對(duì)數(shù)據(jù)深度快速挖掘和應(yīng)用需求。 交通管控大數(shù)據(jù)平臺(tái)構(gòu)建了一個(gè)支持橫向擴(kuò)展，具有分布、并行、高效特點(diǎn)的大數(shù)據(jù)處理平臺(tái)的體系架構(gòu)。綜合運(yùn)用云計(jì)算、云存儲(chǔ)、并行數(shù)據(jù)挖掘、圖像識(shí)別等技術(shù)，開展數(shù)據(jù)的存儲(chǔ)、挖掘、聯(lián)動(dòng)、分析。通過將電子監(jiān)控設(shè)備的數(shù)據(jù)、圖像等異構(gòu)的數(shù)據(jù)資源接入大數(shù)據(jù)處理平臺(tái)，通過分布式存儲(chǔ)和并行數(shù)據(jù)挖掘，提供在線實(shí)時(shí)分析模式和離線統(tǒng)計(jì)分析模式兩種應(yīng)用模式

3、，對(duì)交通管理的各類大數(shù)據(jù)全方位地進(jìn)行實(shí)時(shí)和離線分析處理?？梢詫㈦[藏于海量數(shù)據(jù)中的信息挖掘出來，可全面掌握道路通行情況，為策略制定、分析研判、行動(dòng)部署提供依據(jù)，大大提升綜合管理的集約化程度。1.2 系統(tǒng)意義（1）信息查詢和預(yù)警分析借助在線實(shí)時(shí)分析、離線統(tǒng)計(jì)分析和數(shù)據(jù)共享等手段，通過接口與集成指揮平臺(tái)等各個(gè)業(yè)務(wù)系統(tǒng)關(guān)聯(lián)，高效開展交通管理工作。例如通過分析一段時(shí)間內(nèi)的過車信息進(jìn)行查詢分析對(duì)比，確定該時(shí)期造成交通擁堵的主要原因和發(fā)展趨勢，對(duì)交通擁堵的發(fā)生進(jìn)行一定的預(yù)測和判斷，并采取相應(yīng)的管控措施控制誘發(fā)交通擁堵的原因，科學(xué)預(yù)防交通擁堵。（2）多維度布控打擊違法犯罪通過車輛特征二次識(shí)別比對(duì)，可對(duì)特定車輛

4、的局部特征進(jìn)行提取分析和建模，在車輛號(hào)牌信息缺失（套牌、遮擋號(hào)牌或無牌）情況下，按照車輛品牌、型號(hào)、顏色、類別以及局部特征等自定義組合布控報(bào)警，準(zhǔn)確快速地實(shí)現(xiàn)特定車輛追蹤與鎖定，獲取車輛真實(shí)行蹤，將有價(jià)值的圖片數(shù)據(jù)提供給公安刑偵部門，為偵破交通肇事逃逸案、利用機(jī)動(dòng)車作為犯罪工具的刑事案、以及搶劫出租車等惡性案件提供線索和證據(jù)，為刑偵部門確定線索偵查破案提供支持。（3）大粒度的數(shù)據(jù)分析為決策提供支持通過交通流大數(shù)據(jù)采集存儲(chǔ)、流量查詢分析，車輛特征研判、車輛軌跡分析等深度應(yīng)用，系統(tǒng)不僅僅可以實(shí)現(xiàn)對(duì)車輛和人員的分析研判，通過大量數(shù)據(jù)的積累和變化規(guī)律進(jìn)行深度的信息挖掘，幫助決策者和管理者提供有價(jià)值的線

5、索信息，同時(shí)結(jié)合車駕管數(shù)據(jù)庫，開展交通信息綜合分析研判。1.3 研發(fā)原則項(xiàng)目建設(shè)總體上堅(jiān)持“結(jié)構(gòu)上的整體性、技術(shù)上的先進(jìn)性、使用上的穩(wěn)定性、經(jīng)濟(jì)上的合理性、實(shí)施上的安全性、操作上的友好性、升級(jí)上的可拓展性”原則，建設(shè)綜合信息的統(tǒng)一管理、展示、控制平臺(tái)，制定安全可靠的集成規(guī)范，完成各業(yè)務(wù)系統(tǒng)的智能協(xié)調(diào)聯(lián)動(dòng)功能，實(shí)現(xiàn)資源集成、數(shù)據(jù)集成、業(yè)務(wù)集成、控制集成和展現(xiàn)集成。1、實(shí)用性原則項(xiàng)目采用技術(shù)和解決方案應(yīng)該具有很強(qiáng)的實(shí)用性，系統(tǒng)建設(shè)應(yīng)始終貫徹面向應(yīng)用、注重實(shí)效的方針，堅(jiān)持實(shí)用、經(jīng)濟(jì)的原則。2、先進(jìn)性原則采用先進(jìn)、成熟的方法和技術(shù)，各種先進(jìn)方法和手段應(yīng)該充分考慮阜陽市社會(huì)可行性、法律可行性、管理可行性

6、、技術(shù)可行性。既注意概念、技術(shù)和方法的先進(jìn)性，又要注意成熟性。使項(xiàng)目能反映當(dāng)今的先進(jìn)水平，并具有一定的發(fā)展?jié)摿Α?、資源共享信息資源共享是本項(xiàng)目的主要項(xiàng)目目標(biāo)之一，需要注意本項(xiàng)目與業(yè)主方已建智能交通信息化成果之間的信息互聯(lián)與資源共享。4、可持續(xù)性系統(tǒng)設(shè)計(jì)采用合理的、有彈性的架構(gòu)，并預(yù)留有一定的接口，保證系統(tǒng)能進(jìn)行不斷的完美和擴(kuò)展。5、開放性和標(biāo)準(zhǔn)性注意遵循相關(guān)的技術(shù)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，并采用合理的系統(tǒng)架構(gòu)，不采用壟斷技術(shù)，保證系統(tǒng)的開放性和標(biāo)準(zhǔn)性。6、可靠性和穩(wěn)定性從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備性能、系統(tǒng)管理、廠商技術(shù)支持及維護(hù)能力等方面著手，確保系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性，達(dá)到設(shè)計(jì)的最大平均無故障時(shí)間

7、。7、安全性和保密性在考慮信息資源的充分共享的同時(shí)，注意對(duì)信息的保護(hù)和隔離，采用系統(tǒng)安全機(jī)制、數(shù)據(jù)存取的權(quán)限控制等方案解決系統(tǒng)安全性問題。8、擴(kuò)展性和易維護(hù)性采用先進(jìn)的軟件工程理論、良好的系統(tǒng)設(shè)計(jì)，以及分層和代理的方法等方法，保證實(shí)現(xiàn)的系統(tǒng)層次清晰、模塊合理，接口協(xié)議開放，保證系統(tǒng)的擴(kuò)展性和易維護(hù)性。1.4 系統(tǒng)內(nèi)容交通管控大數(shù)據(jù)平臺(tái)由5類服務(wù)器組成，包括：數(shù)據(jù)接入服務(wù)器、數(shù)據(jù)庫服務(wù)器、流處理服務(wù)器、二次識(shí)別服務(wù)器、應(yīng)用服務(wù)器。（1）數(shù)據(jù)接入服務(wù)器：統(tǒng)一接入卡口、電警過車數(shù)據(jù)和過車圖片，并按大數(shù)據(jù)架構(gòu)統(tǒng)一轉(zhuǎn)換管理。（2）數(shù)據(jù)庫服務(wù)器：管理節(jié)點(diǎn)作為主服務(wù)器，管理Hadoop文件系統(tǒng)的命名空間和客

8、戶端對(duì)文件系統(tǒng)的訪問操作。可進(jìn)行節(jié)點(diǎn)安裝、配置、服務(wù)配置等，對(duì)Hadoop服務(wù)器進(jìn)行實(shí)時(shí)狀態(tài)檢測。數(shù)據(jù)節(jié)點(diǎn)管理存儲(chǔ)的數(shù)據(jù)，支持PB級(jí)數(shù)據(jù)和圖片存儲(chǔ)和數(shù)據(jù)索引管理。（3）流處理服務(wù)器：基于Spark的大數(shù)據(jù)云計(jì)算技術(shù)，支持高速查詢和低延時(shí)的統(tǒng)計(jì)能力，實(shí)現(xiàn)億以上的過車記錄大數(shù)據(jù)量秒級(jí)檢索能力。（4）二次識(shí)別服務(wù)器：于大數(shù)據(jù)下深度學(xué)習(xí)的圖像識(shí)別技術(shù)，支持車輛號(hào)牌、品牌型號(hào)、車身顏色、車輛型號(hào)等信息關(guān)聯(lián)比對(duì)。（5）應(yīng)用服務(wù)器：部署交通管控大數(shù)據(jù)平臺(tái)系統(tǒng)軟件和數(shù)據(jù)發(fā)布軟件。2 需求分析2.1 業(yè)務(wù)需求2.1.1 面向交通管理的大數(shù)據(jù)業(yè)務(wù)需求隨著城市交通擁堵問題頑固化、復(fù)雜化和多樣化，交通管理工作面臨著從

9、事后分析向事前研判預(yù)警拓展、從歷史統(tǒng)計(jì)向在線分析挖掘拓展、從簡單應(yīng)用向綜合服務(wù)評(píng)價(jià)拓展的內(nèi)在需求發(fā)展方向。并對(duì)管轄范圍內(nèi)的車輛出行規(guī)律等方面以日、月年為時(shí)間粒度進(jìn)行實(shí)時(shí)和歷史統(tǒng)計(jì)分析，并對(duì)現(xiàn)有信息開展任意范圍內(nèi)的快速檢索和實(shí)時(shí)統(tǒng)計(jì)分析，并將結(jié)果可視化顯示。2.1.2 面向交通安全的大數(shù)據(jù)業(yè)務(wù)需求管理路面違法、假/套牌、肇事車輛、黑車等重點(diǎn)布控車輛、維護(hù)交通安全和事故處理是交管部門的另一項(xiàng)行政管理職能?；诖髷?shù)據(jù)系統(tǒng)，通過大量歷史數(shù)據(jù)對(duì)涉案車開展比對(duì)，形成對(duì)涉案車輛行為的分析及涉案車輛的匹配分析，為精確打擊違法行為提供證據(jù)，按照車輛特征進(jìn)行布控，有效提升現(xiàn)有違法查處的精準(zhǔn)打擊和查緝布控能力。2.

10、2 功能需求2.2.1 基于大數(shù)據(jù)的在線統(tǒng)計(jì)和離線分析需求以總量統(tǒng)計(jì)、信息查詢等業(yè)務(wù)數(shù)據(jù)檢索的后臺(tái)軟件模塊為支持，通過大數(shù)據(jù)系統(tǒng)備份或抽取歷史數(shù)據(jù)資源，重構(gòu)數(shù)據(jù)結(jié)構(gòu)，并為每一種應(yīng)用添加算法模塊，實(shí)現(xiàn)對(duì)大批量信息檢索及統(tǒng)計(jì)分析的實(shí)時(shí)處理。2.2.2 基于大數(shù)據(jù)的車輛特征分析需求 以基于海量卡口數(shù)據(jù)獲取車輛出行OD，挖掘車輛通勤出行行為，分析車輛通勤行為特征與交通擁堵相關(guān)性分析，研究擁堵路段車流集散、車輛屬地屬性發(fā)展變化規(guī)律。準(zhǔn)確統(tǒng)計(jì)道路交通、卡點(diǎn)進(jìn)出車輛流動(dòng)情況，為合理調(diào)配警力、提高車輛管理水平提供科學(xué)依據(jù)。2.2.3 基于大數(shù)據(jù)的違法事故分析需求基于大數(shù)據(jù)系統(tǒng)進(jìn)行違法和事故數(shù)據(jù)的關(guān)聯(lián)分析，從不

11、同視角研究違法和事故成因，定期將交通違法、事故的相關(guān)駕駛?cè)颂卣髋c車輛特征進(jìn)行分析，按類掌握違法、事故中高發(fā)、易發(fā)的駕駛?cè)伺c車輛，為重點(diǎn)管理的群體提供數(shù)據(jù)支撐。通過大數(shù)據(jù)平臺(tái)對(duì)交通違法、事故數(shù)據(jù)及屬性開展關(guān)聯(lián)分析，定期將違法、事故與駕駛?cè)颂卣?，包括培?xùn)考試過程、工作單位、家庭背景等因素，與車輛特征，包括品牌、車型、營運(yùn)性質(zhì)、號(hào)牌屬地、車身顏色、車輛保養(yǎng)等因素，與道路特征，包括道路類型、線性、天氣、時(shí)間、環(huán)境、設(shè)施等相關(guān)聯(lián)的，集中分析掌握違法、事故中高發(fā)、易發(fā)的駕駛?cè)?、車輛和道路，為管控提供最為真實(shí)的資料和依據(jù)。2.2.4 基于大數(shù)據(jù)的勤務(wù)快速處置需求在崗執(zhí)勤民警通常負(fù)責(zé)的是一個(gè)區(qū)域的交通管理工作

12、，很難掌握管轄區(qū)域內(nèi)所有路口路段的實(shí)時(shí)交通狀況?；趯?duì)過車流量特性的大數(shù)據(jù)分析，可為交管人員分析管轄區(qū)域內(nèi)交通流量情況，為在崗執(zhí)勤民警提供更加準(zhǔn)確的擁堵點(diǎn)，有助于交管人員日常勤務(wù)安排和以及上下游及時(shí)聯(lián)動(dòng)和快速反應(yīng)。2.2.5 基于大數(shù)據(jù)平臺(tái)的車輛特征二次識(shí)別需求過車圖片里面包含了很多信息，這些信息是卡口設(shè)備本身無法有效識(shí)別出來的信息，例如車輛品牌、車輛型號(hào)等?；诖髷?shù)據(jù)系統(tǒng)的車輛特征二次識(shí)別技術(shù)從根本上克服了傳統(tǒng)車輛檢索只能按照號(hào)牌進(jìn)行單一查詢的功能缺陷，實(shí)現(xiàn)了按照車輛品牌、型號(hào)、顏色、類別以及局部特征等自定義組合查詢和模糊查詢強(qiáng)大功能。在不改變現(xiàn)有卡口設(shè)備的情況下，就能夠挖掘出更多的車輛特征

13、，便于實(shí)現(xiàn)更多應(yīng)用，有效利用了現(xiàn)有卡口設(shè)備，降低不必要的卡口重建投入。2.2.6 基于大數(shù)據(jù)平臺(tái)的技戰(zhàn)法需求 通過過車圖片、行駛行為特征分析和人員、車輛檔案關(guān)聯(lián)分析，確定各類涉案人員/車輛的詳細(xì)信息。以全庫精細(xì)搜索和模糊查詢，實(shí)現(xiàn)一定時(shí)間內(nèi)經(jīng)過各采集點(diǎn)特定車輛行車軌跡分析，記錄軌跡路線信息并在GIS地圖中進(jìn)行可視化展示和報(bào)警，形成行駛軌跡數(shù)據(jù)的高速檢索。對(duì)同一輛車在多個(gè)監(jiān)控點(diǎn)出現(xiàn)的軌跡進(jìn)行時(shí)空分析，實(shí)現(xiàn)對(duì)任意時(shí)間和地區(qū)范圍內(nèi)重點(diǎn)車輛行駛規(guī)律的分析研判，并預(yù)測一定時(shí)間內(nèi)高概率出現(xiàn)的區(qū)域。2.3 性能需求2.3.1 高并發(fā)實(shí)時(shí)數(shù)據(jù)采集需求采用Kafka消息隊(duì)列，良好兼容Hadoop系統(tǒng)，可通過SQ

14、L訪問，延遲在2秒內(nèi)。2.3.2 海量數(shù)據(jù)存儲(chǔ)需求采用Hadoop和HDFS文件系統(tǒng)，具備PB數(shù)據(jù)級(jí)別的在線存儲(chǔ)能力，數(shù)據(jù)容量可動(dòng)態(tài)擴(kuò)展。2.3.3 分布式流處理需求采用Spark Streaming，支持分布式數(shù)據(jù)集上的迭代作業(yè)，每一個(gè)批次的數(shù)據(jù)的時(shí)間間隔在100ms。2.3.4 車輛二次識(shí)別需求可檢測200萬、300萬、500像素的圖片，單張圖片處理速度平均為0.1S，單臺(tái)日處理最多為80萬張，檢測正確率85%。3 架構(gòu)設(shè)計(jì)3.1 總體應(yīng)用架構(gòu)交通管控大數(shù)據(jù)分析研判平臺(tái)分為數(shù)據(jù)層、采集層、處理層、存儲(chǔ)層、應(yīng)用層等層次架構(gòu)。系統(tǒng)總體結(jié)構(gòu)如下：采集層：通過設(shè)備系統(tǒng)接口或稽查布控系統(tǒng)接口，通過k

15、afka消息總線接入所轄范圍內(nèi)的設(shè)備上報(bào)的車輛通行文本信息、圖像信息、設(shè)備狀態(tài)信息。處理層：系統(tǒng)通過Spark流計(jì)算模塊，對(duì)海量過車數(shù)據(jù)進(jìn)行二次比對(duì)分析，流計(jì)算模塊根據(jù)系統(tǒng)設(shè)置的報(bào)警條件，可實(shí)時(shí)進(jìn)行多種比對(duì)計(jì)算。存儲(chǔ)層：包括Hadoop數(shù)據(jù)庫，用于存儲(chǔ)海量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)?？赏ㄟ^動(dòng)態(tài)增加節(jié)點(diǎn)，提升吞吐能力，擴(kuò)展存儲(chǔ)、查詢、分析性能。應(yīng)用層：包含實(shí)時(shí)預(yù)警、信息檢索、信息查詢、統(tǒng)計(jì)分析、技戰(zhàn)法分析、車輛布控等功能。3.2 軟件框架結(jié)構(gòu)3.3 網(wǎng)絡(luò)部署架構(gòu)平臺(tái)部署在公安網(wǎng)內(nèi)，設(shè)備專網(wǎng)數(shù)據(jù)通過邊界交換平臺(tái)進(jìn)入公安網(wǎng)，數(shù)據(jù)庫服務(wù)器、流處理服務(wù)器、二次識(shí)別服務(wù)器可根據(jù)數(shù)據(jù)量規(guī)模動(dòng)態(tài)調(diào)整。如下圖所示

16、：3.4 數(shù)據(jù)流結(jié)構(gòu)平臺(tái)通過Kafka消息總線匯聚各類道路交通信息、通過Spark進(jìn)行實(shí)時(shí)流計(jì)算，通過HBASE/HDFS進(jìn)行分布式存儲(chǔ)，通過MapReduce進(jìn)行分布式計(jì)算，通過應(yīng)用服務(wù)器的數(shù)據(jù)接口，將結(jié)果分發(fā)給集成平臺(tái)和各類基礎(chǔ)應(yīng)用系統(tǒng)，進(jìn)行信息檢索和分析研判。如下圖所示：3.5 關(guān)鍵技術(shù)路線平臺(tái)采用X86架構(gòu)通用服務(wù)器、“云計(jì)算-分布式”架構(gòu)，實(shí)現(xiàn)實(shí)時(shí)流式計(jì)算、分布式數(shù)據(jù)存儲(chǔ)、高性能并發(fā)讀寫以及分布式計(jì)算機(jī)分析挖掘。與六合一、PGIS、等平臺(tái)有機(jī)結(jié)合、一體化應(yīng)用。流數(shù)據(jù)處理軟件支持Kafka消息隊(duì)列，良好兼容Hadoop系統(tǒng)，可通過SQL訪問，延遲在2秒內(nèi)；高可靠、高容錯(cuò)、高擴(kuò)展、高吞吐

17、、充分利用系統(tǒng)資源。支持小批量處理模式，每一個(gè)批次的數(shù)據(jù)的時(shí)間間隔可以短至500毫秒。系統(tǒng)數(shù)據(jù)庫服務(wù)器操作系統(tǒng)可選用UNIX、WINDOWS，數(shù)據(jù)庫采用Oracle，要求10g以上版本。應(yīng)用服務(wù)器操作系統(tǒng)可選用WINDOWS、UNIX、LINUX，應(yīng)用中間件采用Tomcat或WebSphere，Tomcat要求版本6.0以上，WebSphere要求6.1以上版本。系統(tǒng)技術(shù)實(shí)現(xiàn)架構(gòu)采用JAVA；具體應(yīng)用上采用以B/S多層架構(gòu)的分布式應(yīng)用架構(gòu)。3.5.1 Hadoop技術(shù)Hadoop實(shí)現(xiàn)了一個(gè)(Hadoop Distributed File System)，簡稱HDFS。HDFS有高的特點(diǎn)，并且設(shè)

18、計(jì)用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求，可以以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。優(yōu)點(diǎn)如下：Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^加快處理速度。

19、Hadoop 還是可伸縮的，能夠處理級(jí)數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用。Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的平臺(tái)。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的。它主要有以下幾個(gè)優(yōu)點(diǎn):Hadoop帶有用Java語言編寫的框架，因此運(yùn)行在 Linux 生產(chǎn)平臺(tái)上是非常理想的。Hadoop 上的也可以使用其他語言編寫，比如 C+。3.5.2 Spark技術(shù)Spark是一個(gè)基于內(nèi)存計(jì)算的開源的集群計(jì)算系統(tǒng)，目的是讓數(shù)據(jù)分析更加快速。Spark非常小巧玲瓏，由加州伯克利大學(xué)AMP實(shí)驗(yàn)室的Matei為主的小團(tuán)隊(duì)所開發(fā)。使用的語言是Scala，

20、項(xiàng)目的core部分的代碼只有63個(gè)Scala文件，非常短小精悍。Spark 是一種與 Hadoop 相似的開源集群計(jì)算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。Spark 是在 Scala 語言中實(shí)現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對(duì)象一樣輕松地操作分布式數(shù)據(jù)集。盡管創(chuàng)建 Spark 是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，但是

21、實(shí)際上它是對(duì) Hadoop 的補(bǔ)充，可以在 Hadoop 文件系統(tǒng)中并行運(yùn)行。通過名為Mesos的第三方集群框架可以支持此行為。Spark 由加州大學(xué)伯克利分校 AMP 實(shí)驗(yàn)室 (Algorithms, Machines, and People Lab) 開發(fā)，可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。Spark 集群計(jì)算架構(gòu)：雖然 Spark 與 Hadoop 有相似之處，但它提供了具有有用差異的一個(gè)新的集群計(jì)算框架。首先，Spark 是為集群計(jì)算中的特定類型的工作負(fù)載而設(shè)計(jì)，即那些在并行操作之間重用工作數(shù)據(jù)集（比如機(jī)器學(xué)習(xí)算法）的工作負(fù)載。為了優(yōu)化這些類型的工作負(fù)載，Spark 引進(jìn)了內(nèi)

22、存集群計(jì)算的概念，可在內(nèi)存集群計(jì)算中將數(shù)據(jù)集緩存在內(nèi)存中，以縮短訪問延遲。Spark 還引進(jìn)了名為彈性分布式數(shù)據(jù)集(RDD) 的抽象。RDD 是分布在一組節(jié)點(diǎn)中的只讀對(duì)象集合。這些集合是彈性的，如果數(shù)據(jù)集一部分丟失，則可以對(duì)它們進(jìn)行重建。重建部分?jǐn)?shù)據(jù)集的過程依賴于容錯(cuò)機(jī)制，該機(jī)制可以維護(hù) "血統(tǒng)"（即允許基于數(shù)據(jù)衍生過程重建部分?jǐn)?shù)據(jù)集的信息）。RDD 被表示為一個(gè) Scala 對(duì)象，并且可以從文件中創(chuàng)建它；一個(gè)并行化的切片（遍布于節(jié)點(diǎn)之間）；另一個(gè) RDD 的轉(zhuǎn)換形式；并且最終會(huì)徹底改變現(xiàn)有 RDD 的持久性，比如請(qǐng)求緩存在內(nèi)存中。Spark 中的應(yīng)用程序稱為驅(qū)動(dòng)程序，這些

23、驅(qū)動(dòng)程序可實(shí)現(xiàn)在單一節(jié)點(diǎn)上執(zhí)行的操作或在一組節(jié)點(diǎn)上并行執(zhí)行的操作。與 Hadoop 類似，Spark 支持單節(jié)點(diǎn)集群或多節(jié)點(diǎn)集群。對(duì)于多節(jié)點(diǎn)操作，Spark 依賴于 Mesos 集群管理器。Mesos 為分布式應(yīng)用程序的資源共享和隔離提供了一個(gè)有效平臺(tái)。該設(shè)置充許 Spark 與 Hadoop 共存于節(jié)點(diǎn)的一個(gè)共享池中。3.5.3 車輛特征二次識(shí)別技術(shù)運(yùn)用車輛特征識(shí)別技術(shù)對(duì)公路電子監(jiān)控（卡口）和電子警察圖片進(jìn)行二次識(shí)別，采集車輛號(hào)牌、品牌型號(hào)、車身顏色、車輛型號(hào)等信息，通過后臺(tái)實(shí)時(shí)比對(duì)，準(zhǔn)確發(fā)現(xiàn)假牌、套牌等違法嫌疑車輛，通過提取車輛特征信息準(zhǔn)確定位唯一車輛。4 功能設(shè)計(jì)4.1 功能結(jié)構(gòu)圖4.2

24、 功能模塊4.2.1 首頁4.2.1.1 過車總量（1）功能描述在首頁顯示當(dāng)日過車和最近7天過車總量并在地圖標(biāo)注卡口點(diǎn)位。（2）功能界面（3）程序邏輯餅圖：展示當(dāng)天卡口過車總數(shù)，并按照車輛類型分類進(jìn)行統(tǒng)計(jì)。曲線圖：顯示全市卡口最近7天/30天的過車總量過車曲線圖。地圖：與餅圖聯(lián)動(dòng)，點(diǎn)擊餅圖區(qū)域，地圖高亮標(biāo)示，所有涉及的卡點(diǎn)。更多：點(diǎn)擊進(jìn)入車輛查詢界面。4.2.1.2 車型車系（1）功能描述用圖表顯示當(dāng)日所有監(jiān)測點(diǎn)的車型、車系分類。按照總量倒序排列。（2）功能界面（3）程序邏輯車輛類型維護(hù)：在系統(tǒng)維護(hù)模塊，可以對(duì)六合一的車輛類型進(jìn)行合并，多個(gè)六合一車輛類型，對(duì)一種本系統(tǒng)的車輛類型。車系維護(hù)：在系

25、統(tǒng)維護(hù)模塊，可以對(duì)人工采集的車輛品牌，車輛型號(hào)，通用名稱，進(jìn)行維護(hù)。車輛類型更多：點(diǎn)擊進(jìn)入車型統(tǒng)計(jì)界面。車系類別更多：點(diǎn)擊進(jìn)入車系統(tǒng)計(jì)界面。4.2.1.3 過車流量（1）功能描述顯示全市7天過車和當(dāng)日各點(diǎn)位過車記錄。 （2）功能界面（3）程序邏輯過車量曲線圖-更多：點(diǎn)擊進(jìn)入全市流量統(tǒng)計(jì)界面。過車地點(diǎn)曲線圖-更多：點(diǎn)擊進(jìn)入卡點(diǎn)流量統(tǒng)計(jì)界面。4.2.1.4 套牌預(yù)警（1）功能描述實(shí)時(shí)顯示當(dāng)日車牌識(shí)別的報(bào)警信息，用表格顯示。按時(shí)間倒序排列。（2）功能界面（3）程序邏輯只顯示異常過車，正常過車不顯示，顯示最新的20條，實(shí)時(shí)刷新。語音報(bào)警：喇叭圖標(biāo)控制是否語音報(bào)警。當(dāng)前播報(bào)的條目行黃色標(biāo)注。更多：鏈接到

26、假/套牌過車統(tǒng)計(jì)。4.2.1.5 布控報(bào)警（1）功能描述顯示當(dāng)日已經(jīng)布控的車輛，經(jīng)過卡口時(shí)的記錄信息。（2）功能界面（3）程序邏輯布控車輛經(jīng)過是，顯示報(bào)警信息，顯示最新的20條，實(shí)時(shí)刷新。包含2類數(shù)據(jù)：外界導(dǎo)入系統(tǒng)的數(shù)據(jù)（黑名單，盜搶車輛庫，在逃人員庫）和系統(tǒng)內(nèi)部布控的數(shù)據(jù)，需要審核過的才能報(bào)警，也可以布控時(shí)候勾選免審核選項(xiàng)。語音報(bào)警：喇叭圖標(biāo)控制是否語音報(bào)警。當(dāng)前播報(bào)的條目行黃色標(biāo)注。4.2.1.5 布控統(tǒng)計(jì)（1）功能描述顯示截止當(dāng)前有效的，正在布控的類別和布控的條數(shù)。（2）功能界面（3）程序邏輯布控?cái)?shù)量更多：鏈接到布控?cái)?shù)量統(tǒng)計(jì)布控類型更多：鏈接到布控類型統(tǒng)計(jì)4.2.2 實(shí)時(shí)預(yù)警4.2.2.

27、1 套牌、布控報(bào)警（1）功能描述實(shí)時(shí)預(yù)警主要是用于監(jiān)控套牌車輛信息，布控車輛信息并提供報(bào)警功能。（2）功能界面（3）程序邏輯側(cè)邊欄：顯示套牌預(yù)警布控報(bào)警。假/套牌預(yù)警更多：鏈接到假/套牌過車統(tǒng)計(jì)界面。布控報(bào)警更多：鏈接到報(bào)警查詢界面。語音報(bào)警：喇叭圖標(biāo)控制是否語音報(bào)警。當(dāng)前播報(bào)的條目行黃色標(biāo)注。走馬燈:在任務(wù)欄走馬燈顯示最新條目，雙擊播報(bào)并地圖居中定位過車卡口。對(duì)于盜搶和在逃等違法車輛經(jīng)過時(shí)，該記錄以紅色背景顯示顯示并自動(dòng)語音播報(bào)。詳細(xì)信息：可鏈接到機(jī)動(dòng)車信息查詢、機(jī)動(dòng)車違法查詢、駕駛?cè)诵畔⒉樵?、駕駛員關(guān)聯(lián)信息查詢、當(dāng)日軌跡。刪除按鈕：從界面移除誤報(bào)或不需要報(bào)的車輛。4.2.3 信息查詢4.2

28、.3.1 機(jī)動(dòng)車公告信息查詢（1）功能描述搜索不同品牌不同車系的車輛公告信息，包括圖片和文字信息（2）功能界面（3）程序邏輯可根據(jù)給定的查詢條件查詢車輛信息。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.2 機(jī)動(dòng)車基本信息查詢（1）功能描述查詢機(jī)動(dòng)車基本信息，包括圖片和文字信息。（2）功能界面（3）程序邏輯車輛登記圖片：需調(diào)用車輛登記圖片查詢接口是否關(guān)聯(lián)事故 是否關(guān)聯(lián)違法：鏈接到事故查詢和違法查詢界面。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.3 駕駛?cè)嘶拘畔⒉樵儯?）功能描述查詢駕駛?cè)嘶拘畔ⅲ▓D片和文字信息。（2）功能界面（3）程序邏輯駕駛?cè)藞D片：需調(diào)用公安人員查

29、詢接口。是否關(guān)聯(lián)事故 是否關(guān)聯(lián)違法：鏈接到事故查詢和違法查詢界面。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.4 駕駛員關(guān)聯(lián)信息查詢（1）功能描述根據(jù)身份證編號(hào)查詢公安接口，查詢是否在逃人員，是否前科人員，是否重點(diǎn)人員，并顯示詳細(xì)信息。（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。問題人員對(duì)其擁有的車輛，可以加入黑名單布控。4.2.3.5 機(jī)動(dòng)車違法信息查詢（1）功能描述查詢機(jī)動(dòng)車違法信息，包括圖片和文字信息。（2）功能界面（3）程序邏輯有違法行為的車輛，可根據(jù)其違法類型加入黑名單布控。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.6 駕駛?cè)诉`法信息查

30、詢（1）功能描述查詢駕駛?cè)诉`法信息，包括圖片和文字信息。（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.7 機(jī)動(dòng)車軌跡查詢（1）功能描述在地圖上標(biāo)注車輛出行經(jīng)過卡口的時(shí)間、地點(diǎn)等信息。（2）功能界面（3）程序邏輯多軌跡：可多次查詢軌跡信息，在地圖疊加顯示。布控：對(duì)于問題車輛可以直接布控4.2.3.8 車系搜車（1）功能描述根據(jù)（車型、車系、顏色、年款）等特征信息，對(duì)全市范圍的卡口查詢過車信息和圖片信息。（2）功能界面（3）程序邏輯布控：對(duì)于問題車輛可以直接布控。軌跡： 機(jī)動(dòng)車軌跡查詢界面。4.2.3.9 以圖搜車（1）功能描述根據(jù)過車圖片，對(duì)全市范圍的卡口查詢

31、過車信息。（2）功能界面（3）程序邏輯圖片：可通過上傳方式或者通過系統(tǒng)內(nèi)其他頁面跳轉(zhuǎn)方式提交。布控：對(duì)于問題車輛可以直接布控。軌跡： 機(jī)動(dòng)車軌跡查詢界面。4.2.3.10 交通事故信息查詢（1）功能描述查詢車輛、人員是否涉及事故，以及具體的事故信息。（2）功能界面（3）程序邏輯查詢條件：事故信息主表、事故信息人員表。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.11 被盜搶車輛信息查詢（1）功能描述根據(jù)號(hào)牌號(hào)碼、號(hào)牌種類、發(fā)動(dòng)機(jī)號(hào)、車架號(hào)查詢車輛盜搶信息。（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.12 機(jī)動(dòng)車保險(xiǎn)記錄查詢（1）功能描述根據(jù)號(hào)牌號(hào)碼

32、、號(hào)牌種類、發(fā)動(dòng)機(jī)號(hào)、車架號(hào)查詢車輛保險(xiǎn)信息（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.13 重點(diǎn)/在逃人員查詢（1）功能描述根據(jù)身份證號(hào)查詢是否在逃人員、重點(diǎn)人員信息。（2）功能界面（3）程序邏輯接口：調(diào)用公安查詢接口。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.14 危險(xiǎn)品車輛查詢（1）功能描述用于查詢車輛是否危險(xiǎn)品運(yùn)輸車輛，并顯示相關(guān)信息（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.4 統(tǒng)計(jì)分析4.2.4.1 過車總量統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍過車數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序

33、邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.2 過車車型統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍過車車型分類數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.3 過車車系統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍過車車系分類數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.4 轄區(qū)流量統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍時(shí)間段內(nèi)過車流量數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。統(tǒng)計(jì)條件包括：早高峰（開

34、始時(shí)間，結(jié)束時(shí)間）晚高峰（開始時(shí)間，結(jié)束時(shí)間）。4.2.4.5 卡點(diǎn)流量統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)選定時(shí)間段內(nèi)過車流量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。統(tǒng)計(jì)條件包括：早高峰（開始時(shí)間，結(jié)束時(shí)間）晚高峰（開始時(shí)間，結(jié)束時(shí)間）。4.2.4.6 布控?cái)?shù)量統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍內(nèi)指定時(shí)間段內(nèi)布控?cái)?shù)量合計(jì)。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.7 布控類型統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍內(nèi)指定時(shí)間段內(nèi)布控類型的數(shù)量。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。布控類型：黑名單布控和系統(tǒng)自

35、定義布控的數(shù)量。4.2.4.8 假/套牌過車統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍內(nèi)給定時(shí)間段的過車中假/套牌車的數(shù)量。（2）功能界面（3）程序邏輯統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。布控：結(jié)果可批量加入布控模塊，但須人工審核。4.2.4.9 年檢逾期統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍內(nèi)給定時(shí)間段的過車中年檢逾期的數(shù)量。（2）功能界面（3）程序邏輯時(shí)段：條件中逾期天數(shù)可按日進(jìn)行設(shè)置。統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。地圖顯示數(shù)量最多的過車卡口。布控：結(jié)果可批量加入布控模塊?？擅鈱徍瞬伎?。4.2.4.10 違法未處理統(tǒng)計(jì)（1）功能描述統(tǒng)計(jì)轄區(qū)范圍內(nèi)給定時(shí)間段的過車中違法未處理車的數(shù)量。

36、（2）功能界面（3）程序邏輯時(shí)段：分值可進(jìn)行設(shè)置。統(tǒng)計(jì)粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。地圖顯示數(shù)量最多的過車卡口。布控：結(jié)果可批量加入布控模塊?？擅鈱徍瞬伎亍?.2.5 技戰(zhàn)法4.2.5.1 套牌時(shí)空分析（1）功能描述分析車輛最近的兩條過車記錄以及卡口間的距離分析是否套牌。（2）功能界面（3）程序邏輯4.2.5.2 隱蔽車輛分析（1）功能描述分析在時(shí)間段內(nèi)應(yīng)經(jīng)常出現(xiàn)在某一區(qū)域但統(tǒng)計(jì)時(shí)間段前后不出現(xiàn)的車輛。（2）功能界面（3）程序邏輯4.2.5.3 首次入城車輛分析（1）功能描述分析時(shí)間段內(nèi)的首次入城車輛。（2）功能界面（3）程序邏輯4.2.5.4 碰撞分析（1）功能描述分析不同卡口過車數(shù)據(jù)中重復(fù)出現(xiàn)的成對(duì)車輛。（2）功能界面（3）程序邏輯4.2.5.5 落腳點(diǎn)分析（1）功能描述分析指定的車輛在時(shí)間段內(nèi)的經(jīng)常出沒的卡口及次數(shù)。（2）功能界面（3）程序邏輯4.2.5.6 紅眼客車分析（1）功能描述分析營運(yùn)車的夜間過車信息，判斷是否違法上路。（2）功能界面（3）程序邏輯4.2.5.7 伴隨車分析（1）功能描述分析多輛車是否在同一時(shí)間在多個(gè)卡口一起通過。（2）功能界面（3）程序邏輯4.2.5.8 出入案發(fā)現(xiàn)場車輛分析（1）功能描述分析時(shí)間段內(nèi)出現(xiàn)入于案發(fā)現(xiàn)場的卡口，時(shí)間段后不出現(xiàn)的車輛。（2）功能界面（3）程序邏輯4.2.5