智能交通大數(shù)據(jù)及云應(yīng)用解決方案

智能交通大數(shù)據(jù)及云應(yīng)用平臺(tái)處理方案伴隨日益增加交通“大數(shù)據(jù)”，給交通管理創(chuàng)新帶來新挑戰(zhàn)，以及對(duì)交通管理工作提出新要求，交通信息化建設(shè)必定步入云計(jì)算智慧應(yīng)用階段，利用云計(jì)算破解當(dāng)前很多交通瓶頸問題。什么是交通大數(shù)據(jù)交通概念很大，所包括范圍很廣，如城市道路交通指數(shù)、地鐵運(yùn)行數(shù)據(jù)、一卡通乘客刷卡數(shù)據(jù)、港口集裝箱數(shù)據(jù)、機(jī)場(chǎng)航班數(shù)據(jù)、軌道交通運(yùn)行數(shù)據(jù)、遠(yuǎn)洋及內(nèi)河航道船舶數(shù)據(jù)、物流車輛及貨物數(shù)據(jù)、公交車實(shí)時(shí)數(shù)據(jù)、出租車行車數(shù)據(jù)、空氣質(zhì)量情況、氣象數(shù)據(jù)、道路事故數(shù)據(jù)、高架匝道運(yùn)行數(shù)據(jù)、以及衍生相關(guān)擁堵、事故、違法信息等都屬于交通數(shù)據(jù)。我們通常所提城市公安交通管理大數(shù)據(jù)是指在城市智能交通建設(shè)和運(yùn)行過程中，從視頻監(jiān)控、卡口電警、路況信息、管控信息、營運(yùn)信息、GPS定位信息、RFID識(shí)別信息等天天產(chǎn)生大量數(shù)據(jù)，并借助信息化伎倆將這些相互關(guān)聯(lián)數(shù)據(jù)整合到一起（比如車輛信息、地圖信息、人員信息、違規(guī)違章統(tǒng)計(jì)信息等等），形成一個(gè)有價(jià)值數(shù)據(jù)鏈，從而知道城市交通信息化建設(shè)，為公安交通實(shí)戰(zhàn)應(yīng)用服務(wù)，為市民出行服務(wù)。什么是云分析云分析系統(tǒng)具備超高計(jì)算性能，單機(jī)設(shè)備天天處理信息量最大高達(dá)萬張圖片。云分析具備對(duì)卡口、電警以及部分監(jiān)控設(shè)備拍攝車輛圖像信息結(jié)構(gòu)化智能分析功效，主要包含識(shí)別圖像中車輛品牌、型號(hào)、年款、車身顏色、類別、異常特征（如遮擋面部、遮擋號(hào)牌）、唯一性局部特征（如年檢標(biāo)志、車內(nèi)飾物）等關(guān)鍵信息?？蓪?duì)提交圖像中車輛車牌顏色及車牌號(hào)進(jìn)行二次識(shí)別，經(jīng)過大數(shù)據(jù)進(jìn)行，時(shí)間、地理、軌跡等對(duì)比識(shí)別，以得出分析結(jié)果。過去幾年，智能交通系統(tǒng)建設(shè)取得了長足進(jìn)步與發(fā)展，針對(duì)道路交通違法、交通安全等，不停在不一樣時(shí)間，不一樣階段建立了交通卡口、違法檢測(cè)、道路智慧監(jiān)控、交通事件監(jiān)測(cè)等信息化系統(tǒng)，但這些信息化系統(tǒng)所采取設(shè)備、平臺(tái)均來自于不一樣廠家，采取標(biāo)準(zhǔn)，上下級(jí)不能很好實(shí)現(xiàn)級(jí)聯(lián)，與公安系統(tǒng)融合度不高，無法進(jìn)行集中管理，資源共享，發(fā)揮統(tǒng)一實(shí)戰(zhàn)作用。不一樣時(shí)期，不一樣階段建設(shè)信息化系統(tǒng)，技術(shù)路線，功效性能指標(biāo)各異，在套牌、摘牌、有意遮擋號(hào)牌等涉車案件中，不能找到行之有效伎倆處理?，F(xiàn)階段，交通違法行為造成交通安全、道路交通事故問題依然突出，交通違法管理顆粒度也越來越細(xì)，道路交通安全法也不停修正以滿足交通管理工作需要。其中，不系安全帶、開車打電話等違法行為納入了處罰范圍，而過去建設(shè)卡口系統(tǒng)絕大多數(shù)不具備這些功效，不能很好服務(wù)公安交通管理需要。云分析系統(tǒng)出現(xiàn)，問題將迎刃而解。云分析系統(tǒng)創(chuàng)新型引入GPU+CPU設(shè)計(jì)理念，單臺(tái)設(shè)備天天最高處理性能達(dá)成萬張圖片，提取車牌號(hào)、車身顏色、車標(biāo)、子品牌、車型、車臉等交警實(shí)戰(zhàn)所需結(jié)構(gòu)化信息，并能夠自動(dòng)甄別不系安全帶、打電話等違法行為，為公安交通管理提供全新技術(shù)伎倆和業(yè)務(wù)體驗(yàn)。系統(tǒng)設(shè)計(jì)系統(tǒng)中采取設(shè)計(jì)方法和技術(shù)路線在實(shí)戰(zhàn)應(yīng)用技術(shù)中處于領(lǐng)先地位，軟件設(shè)計(jì)先進(jìn)靈活，便于升級(jí)以及與其它系統(tǒng)互聯(lián)互通。系統(tǒng)涵蓋了現(xiàn)在實(shí)戰(zhàn)應(yīng)用所包括一系列技術(shù)，如：圖像預(yù)處理、信息篩查、電子地圖軌跡分析等，在此基礎(chǔ)上融合了車型建模、車牌識(shí)別、車標(biāo)識(shí)別、運(yùn)動(dòng)目標(biāo)檢測(cè)和行為分析、圖片檢索等智能視頻圖像分析技術(shù)，創(chuàng)新性實(shí)現(xiàn)了“車臉識(shí)別”、“不系安全帶檢測(cè)”等功效，創(chuàng)造性使用云分析實(shí)現(xiàn)超大數(shù)據(jù)量圖片二次識(shí)別，為用戶提供超高性價(jià)比處理方案。系統(tǒng)設(shè)計(jì)時(shí)，對(duì)需要實(shí)現(xiàn)功效進(jìn)行合理配置，且配置具備良好兼容性和擴(kuò)展性；經(jīng)過提供二次開發(fā)接口，支持用戶利用本系統(tǒng)自主開發(fā)新功效，滿足業(yè)務(wù)需求。系統(tǒng)具備開放性標(biāo)準(zhǔn)體系，后端基于開放式TCP/IP網(wǎng)絡(luò)系統(tǒng)進(jìn)行設(shè)計(jì)，支持多個(gè)網(wǎng)絡(luò)協(xié)議，便于和各系統(tǒng)間互聯(lián)、互通、互控，遵照規(guī)范通用接口標(biāo)準(zhǔn)，使系統(tǒng)對(duì)硬件環(huán)境、通信環(huán)境、軟件環(huán)境、操作系統(tǒng)之間相互制約和影響減至最小。具備良好人機(jī)交互界面，盡可能防止出現(xiàn)繁瑣操作實(shí)現(xiàn)某項(xiàng)詳細(xì)業(yè)務(wù)應(yīng)用情形。系統(tǒng)在體系設(shè)計(jì)及工程實(shí)施中應(yīng)依照用戶使用需求充分考慮性能優(yōu)化，在合理時(shí)間范圍內(nèi)，盡可能縮短系統(tǒng)操作響應(yīng)時(shí)間；系統(tǒng)維護(hù)也應(yīng)在合理范圍內(nèi)盡可能簡(jiǎn)化，使操作人員能快速地學(xué)習(xí)和掌握系統(tǒng)操作。系統(tǒng)涵蓋了現(xiàn)在交通管理業(yè)務(wù)應(yīng)用所包括一系列技術(shù)，如：圖像接入、通用解碼、轉(zhuǎn)碼、圖片索引、車型建模、圖像預(yù)處理、信息篩查、電子地圖軌跡分析、套牌分析等。基于云分析二次識(shí)別方案配合大數(shù)據(jù)高效查詢、檢索、研判方案，構(gòu)筑了智能交通綜合管控平臺(tái)數(shù)據(jù)底層支持優(yōu)異架構(gòu)，為交警實(shí)戰(zhàn)業(yè)務(wù)應(yīng)用提供了極佳用戶體驗(yàn)。系統(tǒng)架構(gòu)系統(tǒng)使用者通常為指揮中心調(diào)度人員、指揮中心帶班領(lǐng)導(dǎo)、支/總/大隊(duì)主管領(lǐng)導(dǎo)、交通秩序管理人員、大隊(duì)分控中心人員、路面執(zhí)勤民警等。系統(tǒng)維護(hù)職責(zé)則由運(yùn)維工程師和系統(tǒng)管理員完成。主要關(guān)鍵業(yè)務(wù)應(yīng)用包含交通情況監(jiān)測(cè)、日常組織與管控、應(yīng)急指揮與協(xié)作、信息研判分析等方面，主要是應(yīng)對(duì)城市交通管理現(xiàn)實(shí)狀況實(shí)時(shí)監(jiān)視、日常業(yè)務(wù)處置、突發(fā)事件應(yīng)對(duì)、交通數(shù)據(jù)挖掘研判等業(yè)務(wù)需求。輔助關(guān)鍵業(yè)務(wù)是一系列支撐應(yīng)用，包含基礎(chǔ)數(shù)據(jù)管理（路網(wǎng)信息、設(shè)備設(shè)施信息）、警力資源管理（警員信息、警車信息、裝備信息）、電子地圖管理、系統(tǒng)配置管理。在應(yīng)用層下面是支持業(yè)務(wù)應(yīng)用支撐層，在這層完成對(duì)信息采集、匯聚、加工、存放、交換等處理操作，同時(shí)支撐層還內(nèi)包消息服務(wù)器、GIS地圖中間件、視頻服務(wù)、誘導(dǎo)服務(wù)等信令及數(shù)據(jù)服務(wù)或中間件。最下端為數(shù)據(jù)感知層，包含業(yè)務(wù)子系統(tǒng)及設(shè)備，為各類交通信息原始數(shù)據(jù)起源，如GPS車輛軌跡信息、視頻信息、通行車輛信息、交通流信息、施工占道信息、交通管制信息、氣象信息等。視頻大數(shù)據(jù)技術(shù)平臺(tái)視頻大數(shù)據(jù)技術(shù)平臺(tái)負(fù)責(zé)存放和提取處理視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過視頻結(jié)構(gòu)化技術(shù)，可挖掘出視頻圖像中人、車、物、事件等結(jié)構(gòu)化信息，深入用于大數(shù)據(jù)分析挖掘。同時(shí)，視頻大數(shù)據(jù)技術(shù)平臺(tái)可提供視頻摘要、視頻濃縮、視頻質(zhì)量診療等智能分析服務(wù)，使上層應(yīng)用提升視頻處理效率。通用大數(shù)據(jù)技術(shù)平臺(tái)通用大數(shù)據(jù)技術(shù)平臺(tái)提供基于Hadoop和Spark分布式存放、分布式計(jì)算等能力，負(fù)責(zé)整合并管理海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，具備高度可擴(kuò)展性，可將數(shù)千臺(tái)廉價(jià)服務(wù)器組建成一套龐大云存放系統(tǒng)、一臺(tái)超級(jí)計(jì)算機(jī)。基于Spark架構(gòu)內(nèi)存運(yùn)算，速度比傳統(tǒng)Hadoop快10~100倍，適合交通行業(yè)對(duì)時(shí)間要求流式計(jì)算需求。行業(yè)大數(shù)據(jù)能力平臺(tái)能夠針對(duì)海量數(shù)據(jù)進(jìn)行快速檢索、快速統(tǒng)計(jì)分析，同時(shí)能夠進(jìn)行深度關(guān)聯(lián)分析，挖掘出其中有價(jià)值信息。行業(yè)大數(shù)據(jù)能力平臺(tái)以接口方式為上層應(yīng)用提供服務(wù)。大數(shù)據(jù)運(yùn)維平臺(tái)負(fù)責(zé)對(duì)整個(gè)大數(shù)據(jù)平臺(tái)進(jìn)行布署、配置、管理、監(jiān)控，經(jīng)過自動(dòng)化安裝方式，方便用戶架設(shè)大數(shù)據(jù)平臺(tái)。同時(shí)，經(jīng)過可視化界面，能夠形象地獲知整個(gè)平臺(tái)運(yùn)行情況。伴隨業(yè)務(wù)發(fā)展，當(dāng)平臺(tái)需要升級(jí)或擴(kuò)容時(shí)，可方便經(jīng)過該工具進(jìn)行調(diào)整。視頻大數(shù)據(jù)技術(shù)平臺(tái)1、視頻云存放視頻云存放系統(tǒng)處理百PB級(jí)視頻基礎(chǔ)數(shù)據(jù)視頻數(shù)據(jù)低成本、高可靠存放，支持視頻流數(shù)據(jù)高并發(fā)I/O。視頻云存放系統(tǒng)架構(gòu)圖2、視頻云分析視頻云分析平臺(tái)則是經(jīng)過整適用戶現(xiàn)有數(shù)據(jù)中心分析設(shè)備，對(duì)過車視頻、過車圖片等數(shù)據(jù)進(jìn)行深入分析，其中中心分析設(shè)備采取分布式計(jì)算節(jié)點(diǎn)集群方式，能夠提供基于任務(wù)自動(dòng)負(fù)載均衡數(shù)據(jù)處理方式，處理從海里視頻圖像數(shù)據(jù)中解析出來視頻結(jié)構(gòu)化數(shù)據(jù)需求。視頻云分析方案架構(gòu)圖詳細(xì)包含以下模塊：特征提取模塊特征提取模塊負(fù)責(zé)對(duì)實(shí)時(shí)或歷史視頻圖像中結(jié)構(gòu)化信息進(jìn)行提取，包含人、車、物等特征信息。提取出信息存放于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine深入分析數(shù)據(jù)基礎(chǔ)。行為分析模塊行為分析模塊負(fù)責(zé)對(duì)實(shí)時(shí)或歷史視頻圖像中行為信息進(jìn)行分析，分析結(jié)果可作為上層應(yīng)用報(bào)警依據(jù)，同時(shí)行為信息作為結(jié)構(gòu)化數(shù)據(jù)，可存放于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine深入分析數(shù)據(jù)基礎(chǔ)。音頻分析模塊音頻分析模塊負(fù)責(zé)對(duì)音頻進(jìn)行分析，識(shí)別異常音源，分析結(jié)果可作為上層應(yīng)用報(bào)警依據(jù)。以圖搜圖模塊以圖搜圖模塊負(fù)責(zé)對(duì)大數(shù)據(jù)系統(tǒng)中圖片數(shù)據(jù)進(jìn)行分析比對(duì)，并按相同度返回圖片列表。以圖搜圖模塊支持對(duì)人臉圖片搜索，支持對(duì)車輛圖片搜索。隱私保護(hù)模塊隱私保護(hù)模塊負(fù)責(zé)對(duì)實(shí)時(shí)或歷史視頻圖像中人體影像進(jìn)行含糊處理，保護(hù)個(gè)人隱私。視頻摘要模塊視頻摘要模塊負(fù)責(zé)對(duì)實(shí)時(shí)或歷史視頻進(jìn)行摘要處理，提取出視頻中有用信息，合并到同一個(gè)背景中，以此縮短視頻播放時(shí)間。視頻摘要可有效縮短用戶觀看視頻時(shí)間，提升工作效率。視頻濃縮模塊視頻濃縮模塊負(fù)責(zé)對(duì)實(shí)時(shí)或歷史視頻進(jìn)行濃縮處理，視頻中有事件出現(xiàn)時(shí)進(jìn)行慢放，無事件時(shí)進(jìn)行快放，以此縮短視頻播放時(shí)間。視頻濃縮可有效縮短用戶觀看視頻時(shí)間，提升工作效率。視頻質(zhì)量診療模塊視頻質(zhì)量診療模塊負(fù)責(zé)對(duì)實(shí)時(shí)視頻流進(jìn)行質(zhì)量診療，以巡檢方式對(duì)前端接入視頻流進(jìn)行分析，實(shí)時(shí)發(fā)覺攝像機(jī)是否在線、畫面是否正常等問題。視頻圖像增強(qiáng)復(fù)原模塊視頻圖像增強(qiáng)復(fù)原模塊負(fù)責(zé)對(duì)實(shí)時(shí)或歷史視頻圖像進(jìn)行增強(qiáng)復(fù)原，對(duì)效果較差視頻、圖像進(jìn)行智能修復(fù)并增強(qiáng)處理。通用大數(shù)據(jù)技術(shù)平臺(tái)通用大數(shù)據(jù)技術(shù)平臺(tái)是大數(shù)據(jù)存放和計(jì)算中心，具備分布式、統(tǒng)一存放、統(tǒng)一訪問、動(dòng)態(tài)擴(kuò)容特點(diǎn)，用于聚集視頻、圖像、報(bào)警、卡口信息、位置信息、案事件等大數(shù)據(jù)，為數(shù)據(jù)綜合利用提供支撐。系統(tǒng)技術(shù)架構(gòu)圖分布式文件系統(tǒng)HDFS2.0：運(yùn)行在通用硬件上可擴(kuò)展高容錯(cuò)分布式文件系統(tǒng)，已經(jīng)成為海量數(shù)據(jù)存放事實(shí)標(biāo)準(zhǔn)。負(fù)責(zé)海量數(shù)據(jù)存放，將數(shù)據(jù)分散存放在多臺(tái)獨(dú)立設(shè)備上，系統(tǒng)采取可擴(kuò)展體系結(jié)構(gòu)，利用多臺(tái)存放服務(wù)器分擔(dān)存放負(fù)荷，利用元數(shù)據(jù)服務(wù)器定位存放信息，它不但提升了系統(tǒng)可靠性、可用性和存取效率，還易于擴(kuò)展。分布式資源管理YARN：分布式資源管理框架，負(fù)責(zé)計(jì)算、存放資源管理，用以提升分布式集群環(huán)境下資源利用率，這些資源包含內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。分布式計(jì)算Map/Reduce：分布式計(jì)算框架，負(fù)責(zé)將一個(gè)需要非常巨大計(jì)算能力才能處理問題分成許多小部分，然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最終把這些計(jì)算結(jié)果綜合起來得到最終結(jié)果。分布式數(shù)據(jù)庫HBase：一個(gè)分布式、按列存放、多維表結(jié)構(gòu)實(shí)時(shí)分布式數(shù)據(jù)庫，用于存放粗粒度結(jié)構(gòu)化數(shù)據(jù)，適合構(gòu)建高并發(fā)低延時(shí)在線數(shù)據(jù)服務(wù)系統(tǒng)。全文檢索引擎Solr：一個(gè)基于Lucene構(gòu)建開源，分布式，RESTful搜索引擎，設(shè)計(jì)用于云計(jì)算中，能夠達(dá)成穩(wěn)定、可靠、快速實(shí)時(shí)搜索。內(nèi)存計(jì)算Spark：下一代基于內(nèi)存Map/Reduce計(jì)算引擎，處理大數(shù)據(jù)像“光速”一樣快，比HadoopMap/Reduce快10x到100x倍。流計(jì)算Stream：流計(jì)算，負(fù)責(zé)對(duì)流媒體數(shù)據(jù)分析計(jì)算。分布式協(xié)作Zookeeper：分布式協(xié)作系統(tǒng)，作為一個(gè)分布式鎖及共享數(shù)據(jù)管理者，提供集群節(jié)點(diǎn)間事物協(xié)調(diào)服務(wù)，確保HDFS、HBase、Spark、Map/Reduce等分布式系統(tǒng)安全可靠運(yùn)行。Kafka：分布式數(shù)據(jù)總線，負(fù)責(zé)數(shù)據(jù)采集、整合、交互。Sqoop：SQLtoHadoop，一個(gè)數(shù)據(jù)抽取工具，用于從關(guān)系數(shù)據(jù)導(dǎo)入數(shù)據(jù)到Hadoop。1、分布式文件系統(tǒng)HDFS是分布式計(jì)算中數(shù)據(jù)存放管理基礎(chǔ)，具備高容錯(cuò)性、高可靠性、高可擴(kuò)展性、高吞吐率等特點(diǎn)，能夠設(shè)計(jì)布署在低廉硬件上，為海量數(shù)據(jù)提供了不怕故障存放，適合那些有著超大數(shù)據(jù)集應(yīng)用程序。2、分布式數(shù)據(jù)庫HBase是一個(gè)構(gòu)建在HDFS之上分布式、面向列存放系統(tǒng)，它具備高可靠、高性能、面向列和可伸縮特征。HBase適合于存放大表數(shù)據(jù)（表規(guī)模能夠達(dá)成數(shù)百億行以及數(shù)百萬列），而且對(duì)大表數(shù)據(jù)讀、寫訪問能夠達(dá)成實(shí)時(shí)級(jí)別。3、分布式計(jì)算MapReduce是一個(gè)處理海量數(shù)據(jù)并行編程模型和計(jì)算框架，用于對(duì)大規(guī)模數(shù)據(jù)集(通常大于1TB)并行計(jì)算。MapReduce名字源于該模型中兩項(xiàng)關(guān)鍵操作：Map和Reduce。Map將一個(gè)任務(wù)分解成為多個(gè)任務(wù)，Reduce將分解后多任務(wù)處理結(jié)果匯總起來，得出最終分析結(jié)果。4、分布式協(xié)作系統(tǒng)ZooKeeper是一個(gè)針對(duì)大型分布式系統(tǒng)可靠協(xié)調(diào)系統(tǒng)，主要提供兩個(gè)功效：幫助系統(tǒng)防止單點(diǎn)故障，建立可靠應(yīng)用程序；提供分布式協(xié)作服務(wù)和維護(hù)配置信息。行業(yè)大數(shù)據(jù)平臺(tái)行業(yè)大數(shù)據(jù)平臺(tái)負(fù)責(zé)與通用大數(shù)據(jù)平臺(tái)進(jìn)行對(duì)接，負(fù)責(zé)對(duì)結(jié)構(gòu)化數(shù)據(jù)（過車數(shù)據(jù)、測(cè)速數(shù)據(jù)）進(jìn)行分析計(jì)算，提供快速檢索、分析、統(tǒng)計(jì)、挖掘等功效，并提供用戶最終操作界面。面向交通行業(yè)大數(shù)據(jù)業(yè)務(wù)展示平臺(tái)，即為XZX-TMS-9200智能交通綜合管控平臺(tái)。大數(shù)據(jù)管理平臺(tái)大數(shù)據(jù)管理平臺(tái)負(fù)責(zé)對(duì)整個(gè)大數(shù)據(jù)平臺(tái)進(jìn)行布署和管理，結(jié)構(gòu)示意圖以下列圖所表示，包含集群布署、集群管理、任務(wù)管理、服務(wù)管理、狀態(tài)監(jiān)控、用戶管理、告警、日志等模塊。大數(shù)據(jù)管理平臺(tái)架構(gòu)圖數(shù)據(jù)流程設(shè)計(jì)前端新建及已建能夠按照標(biāo)準(zhǔn)協(xié)議接入設(shè)備經(jīng)過智能交通綜合管控平臺(tái)交通接入服務(wù)器接入轉(zhuǎn)發(fā)至云分析平臺(tái)進(jìn)行車輛建模和二次識(shí)別。已經(jīng)布署云存放模塊系統(tǒng)，云分析也能夠直接從云存放中讀取圖片信息進(jìn)行車輛建模和二次識(shí)別。已建第三方平臺(tái)，提供符合要求SDK協(xié)議，智能交通綜合管控平臺(tái)進(jìn)行數(shù)據(jù)整合后再轉(zhuǎn)發(fā)至云分析平臺(tái)進(jìn)行車輛建模和二次識(shí)別。云分析經(jīng)過智能交通綜合管控平臺(tái)提供圖片URL信息加載圖片，進(jìn)行建模和二次識(shí)別，完成建模和二次識(shí)別后，將識(shí)別結(jié)果信息如車牌、車型、車輛品牌等信息提供給大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)平臺(tái)讀取二次識(shí)別結(jié)果信息，寫入到HDFS分布式文件存放系統(tǒng)中；基于HDFS分布式文件系統(tǒng)布署分布式數(shù)據(jù)庫，用來承載數(shù)據(jù)預(yù)統(tǒng)計(jì)表和二級(jí)索引表。在數(shù)據(jù)搜索層，布署基于Solr分詞全文檢索搜索引擎，并經(jīng)過MapReduce分布式計(jì)算框架提供高效數(shù)據(jù)分析速度。Zookeeper提供分布式文件系統(tǒng)之間多進(jìn)程協(xié)調(diào)服務(wù)。數(shù)據(jù)寫入、檢索、統(tǒng)計(jì)和研判應(yīng)用，大數(shù)據(jù)平臺(tái)提供統(tǒng)一webservice接口，智能交通管控平臺(tái)經(jīng)過調(diào)用大數(shù)據(jù)平臺(tái)接口進(jìn)行處理應(yīng)用。云分析數(shù)據(jù)處理流程云分析能夠采取工作模式主要包含主開工作模式和被開工作模式?，F(xiàn)在采取是被開工作模式。主開工作模式特點(diǎn)是中央強(qiáng)力控制，即由中心管理服務(wù)下派任務(wù)到指定計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)沒有發(fā)起任務(wù)申請(qǐng)權(quán)利。被開工作模式則相反，由計(jì)算節(jié)點(diǎn)主動(dòng)向中心管理服務(wù)發(fā)起申請(qǐng)，申請(qǐng)取得同意后取得執(zhí)行任務(wù)，然后開始任務(wù)執(zhí)行，任務(wù)執(zhí)行過程中與中心管理服務(wù)保持實(shí)時(shí)更新，確保任務(wù)能夠正常完成。被開工作模式相比主開工作模式而言能夠突出計(jì)算節(jié)點(diǎn)優(yōu)勢(shì)，管理單元越小，管理難度也就越小。假如按照主開工作模式，由中心管理服務(wù)全部負(fù)擔(dān)任務(wù)分配、任務(wù)調(diào)度等功效，負(fù)載、責(zé)任過大，輕易造成單點(diǎn)失敗。即便采取集群方式或者單點(diǎn)災(zāi)備模式，依然沒有真正處理負(fù)載過重、任務(wù)調(diào)度節(jié)點(diǎn)易失敗等情況。被開工作模式把任務(wù)申請(qǐng)職責(zé)交給了計(jì)算節(jié)點(diǎn)，各個(gè)計(jì)算節(jié)點(diǎn)按照自己實(shí)際情況決定是否發(fā)起任務(wù)申請(qǐng)，這么能夠有效地防止計(jì)算節(jié)點(diǎn)出現(xiàn)計(jì)算資源使用率頻繁切換、異常波動(dòng)，同時(shí)，降低了中心管理服務(wù)壓力。任務(wù)調(diào)度方面，云分析經(jīng)過接入第三方應(yīng)用平臺(tái)，實(shí)時(shí)獲取執(zhí)行任務(wù)信息，然后經(jīng)過中心服務(wù)管理動(dòng)態(tài)調(diào)度任務(wù)方式達(dá)成高優(yōu)先級(jí)任務(wù)優(yōu)先執(zhí)行目標(biāo)。對(duì)于計(jì)算節(jié)點(diǎn)來說，它申請(qǐng)取得任務(wù)沒有優(yōu)先級(jí)之分，一旦申請(qǐng)成功，立刻轉(zhuǎn)入工作狀態(tài)。同時(shí)，因?yàn)樵品治龉?jié)點(diǎn)是分布式布署，系統(tǒng)高并發(fā)執(zhí)行效果能夠有效提升分析執(zhí)行效率、優(yōu)化網(wǎng)絡(luò)帶寬流量壓力，使得整個(gè)監(jiān)控系統(tǒng)性能得到更大提升。大數(shù)據(jù)數(shù)據(jù)處理流程大數(shù)據(jù)技術(shù)平臺(tái)是大數(shù)據(jù)存放和計(jì)算中心，具備分布式、統(tǒng)一存放、統(tǒng)一訪問、動(dòng)態(tài)擴(kuò)容特點(diǎn)，用于聚集視頻、圖像、報(bào)警、卡口信息、位置信息、事件等大數(shù)據(jù)，為數(shù)據(jù)綜合利用提供支撐。交通大數(shù)據(jù)平臺(tái)功效快速檢索針對(duì)過車統(tǒng)計(jì)表及違法統(tǒng)計(jì)表有針對(duì)車牌精準(zhǔn)查詢及含糊查詢需求，以下：1、過車統(tǒng)計(jì)精準(zhǔn)查詢車牌結(jié)合過車時(shí)間(開始時(shí)間+截止時(shí)間)、依照選擇卡口、車道、方向、車輛標(biāo)識(shí)、顏色深淺、車輛類型、車速、車長、號(hào)牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車統(tǒng)計(jì)數(shù)據(jù)中對(duì)車牌做精準(zhǔn)查詢而且要求在秒級(jí)內(nèi)返回查詢結(jié)果。2、過車統(tǒng)計(jì)含糊查詢車牌結(jié)合過車時(shí)間(開始時(shí)間+截止時(shí)間)、依照選擇卡口、車道、方向、車輛標(biāo)識(shí)、顏色深淺、車輛類型、車速、車長、號(hào)牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車統(tǒng)計(jì)數(shù)據(jù)中對(duì)車牌前綴、中間、后綴做含糊查詢而且要求在秒級(jí)內(nèi)返回查詢結(jié)果。3、違法統(tǒng)計(jì)精準(zhǔn)查詢車牌結(jié)合過車時(shí)間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車統(tǒng)計(jì)數(shù)據(jù)中做精準(zhǔn)查詢而且要求在秒級(jí)內(nèi)返回查詢結(jié)果。4、違法統(tǒng)計(jì)含糊查詢車牌結(jié)合過車時(shí)間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車統(tǒng)計(jì)數(shù)據(jù)中對(duì)車牌前綴、中間、后綴做含糊查詢而且要求在秒級(jí)內(nèi)返回查詢結(jié)果。5、軌跡查詢查詢車輛在特定時(shí)間段內(nèi)行車軌跡：即在某個(gè)時(shí)間段內(nèi)（依照?qǐng)鼍?，還能夠設(shè)置車輛類型、顏色深淺、車牌類型、車牌號(hào)碼、車速、車長、號(hào)牌段、車身顏色、車牌顏色等限制條件），同時(shí)經(jīng)過多個(gè)卡口（最少兩個(gè)以上才能確定一條軌跡）過車信息。6、快速統(tǒng)計(jì)針對(duì)過車統(tǒng)計(jì)表及違法統(tǒng)計(jì)表有以下統(tǒng)計(jì)需求：過車統(tǒng)計(jì)表車流量統(tǒng)計(jì)以卡口（或車輛類型、車輛歸屬）為維度結(jié)合統(tǒng)計(jì)時(shí)間、方向、車輛歸屬地、車輛類型、車牌類型等特定篩選條件對(duì)過車統(tǒng)計(jì)做統(tǒng)計(jì)，生成對(duì)應(yīng)日（或周、月、年）報(bào)表：即依照設(shè)定維度，還有依照?qǐng)?bào)表類型分割時(shí)間粒度，統(tǒng)計(jì)各個(gè)時(shí)間區(qū)間內(nèi)車流量。過車統(tǒng)計(jì)表車流量對(duì)比同一個(gè)卡口不一樣時(shí)間段（跨度在1天內(nèi)）車流量對(duì)比以及不一樣卡口同一時(shí)間段（跨度在1天內(nèi)）車流量對(duì)比。經(jīng)過車流量對(duì)比能夠?qū)Ω倪M(jìn)城市交通調(diào)度提供依據(jù)。違法統(tǒng)計(jì)表車輛違法統(tǒng)計(jì)選定一組卡口，在選定開始時(shí)間和結(jié)束時(shí)間內(nèi)，統(tǒng)計(jì)各卡口全部過車統(tǒng)計(jì)數(shù)和違法統(tǒng)計(jì)數(shù)。過車統(tǒng)計(jì)表特定時(shí)間段車流量統(tǒng)計(jì)同車流量對(duì)比，時(shí)間顆粒度變成一天，而且能夠選定一天中詳細(xì)若干個(gè)時(shí)間段。過車統(tǒng)計(jì)車輛行車軌跡統(tǒng)計(jì)依照選定統(tǒng)計(jì)方式（即統(tǒng)計(jì)維度：包含按車牌類型統(tǒng)計(jì)、車牌顏色統(tǒng)計(jì)），統(tǒng)計(jì)在選擇時(shí)間段內(nèi)，經(jīng)過指定軌跡（所謂軌跡：即由多個(gè)卡口確定一條行車路徑，帶方向，比如，從路徑A->B->C,和路徑C->B->A是倆條不一樣軌跡）車流量次數(shù)（還包含其余過濾條件，如：車輛歸屬地、車輛類型、車牌類型、車牌顏色，同一車牌數(shù)次經(jīng)過指定軌跡按數(shù)次計(jì)算）。研判分析1、過車統(tǒng)計(jì)表頻度研判分析出在特定卡口上（一個(gè)或多個(gè)），在特定時(shí)間段內(nèi)，過車次數(shù)滿足一定條件全部過車信息和過車數(shù)：所謂滿足一定條件是指過車次數(shù)大于等于（或小于等于或等于）（頻度設(shè)置）一定數(shù)量（頻度閾值），依照設(shè)定頻度閾值，分析在某一段時(shí)間內(nèi)通行路口次數(shù)超出設(shè)定閾值車輛。對(duì)指定區(qū)域（卡口）做過車頻度分析，過濾出頻繁出入車輛（過車次數(shù)滿足指定閾值）進(jìn)行重點(diǎn)關(guān)注，對(duì)預(yù)防犯罪及嫌犯跟蹤有重大貢獻(xiàn)。2、過車統(tǒng)計(jì)表特定時(shí)段車輛研判實(shí)際上就是閾值為0，時(shí)間跨度在1天之內(nèi)頻度研判。3、過車統(tǒng)計(jì)表短時(shí)過車研判在特定時(shí)間段內(nèi)，所選擇卡口組合（一個(gè)或多個(gè)）中過車時(shí)間與參考卡口中過車時(shí)間絕對(duì)值小于設(shè)定某個(gè)值（passInterval）全部過程信息：找出同一車輛同時(shí)經(jīng)過參考卡口及指定卡口組合，過濾出經(jīng)過參考卡口與指定卡口時(shí)間差小于設(shè)定閾值車輛，以幫助公安人員分析出套牌或超速等其它違章行為嫌疑車輛。4、過車統(tǒng)計(jì)表車輛首次入城研判特定時(shí)間范圍結(jié)合特定篩選條件（車輛歸屬地、車輛類型、車牌類型等特定篩選條件），找出經(jīng)過“入城”路口車輛，并找出這些車輛之前30是否有“入城”統(tǒng)計(jì)，假如沒有將做重點(diǎn)關(guān)注以預(yù)防其犯罪。5、過車統(tǒng)計(jì)表區(qū)域碰撞研判特定N（2<=N<=5）個(gè)區(qū)域（1~5個(gè)卡口組成一個(gè)區(qū)域）,結(jié)合各區(qū)域指定時(shí)間范圍，找出同一輛車在指定條件下經(jīng)過其中兩個(gè)及以上區(qū)域車輛，并統(tǒng)計(jì)其經(jīng)過次數(shù)進(jìn)行數(shù)據(jù)碰撞。區(qū)域碰撞功效給公安查詢分析跨區(qū)重復(fù)作案嫌疑車輛帶來極大便利。6、過車統(tǒng)計(jì)表行車軌跡研判特定時(shí)間范圍結(jié)合特定篩選條件（車輛歸屬地、車輛類型、車牌類型等特定篩選條件）找出制訂車牌在此時(shí)間范圍內(nèi)過車統(tǒng)計(jì)。7、過車統(tǒng)計(jì)表跟車研判特定時(shí)間段內(nèi)過車時(shí)間相差一定間隔全部過車信息：首先依照特定時(shí)間段（還能夠指定車牌或路口名稱）查出參考車輛及其過車信息，然后指定一條過車統(tǒng)計(jì)，查詢出與該統(tǒng)計(jì)相隔一定時(shí)間段（早或者晚）全部過車信息。針對(duì)嫌疑車輛可能會(huì)結(jié)隊(duì)出行特點(diǎn)，在刑偵等業(yè)務(wù)應(yīng)用時(shí)，確定特定嫌疑車輛后，經(jīng)過數(shù)據(jù)挖掘方式分析其經(jīng)過多個(gè)監(jiān)測(cè)點(diǎn)時(shí)相鄰車輛號(hào)牌，能夠找出與嫌疑車輛關(guān)于聯(lián)車輛，從而獲取破案線索。8、違法統(tǒng)計(jì)表違法多發(fā)時(shí)段研判特定時(shí)間范圍給定卡口，以一小時(shí)為顆粒度統(tǒng)計(jì)出各個(gè)時(shí)段違法統(tǒng)計(jì)數(shù)形成一張對(duì)比直方圖以幫助城市交通改造。違法統(tǒng)計(jì)表違法多發(fā)地研判特定時(shí)間范圍內(nèi)給定卡口，統(tǒng)計(jì)出各個(gè)卡口違法統(tǒng)計(jì)數(shù)形成一張對(duì)比直方圖以幫助城市交通改造。9、駕駛?cè)藛T行為源頭管控駕駛?cè)藛T行為源頭管控，是指對(duì)開車經(jīng)常超速在20%以下，不過又有超速習(xí)慣駕駛?cè)藛T（不違法，不過有違法嫌疑），進(jìn)行專題分析，然后以非現(xiàn)場(chǎng)執(zhí)法形式發(fā)送通知短信，進(jìn)行源頭管控；篩選超速10%~20%車輛，然后進(jìn)行統(tǒng)計(jì)，分析其超速行為概率，從而判斷駕駛?cè)藛T動(dòng)態(tài)評(píng)分規(guī)則；10、特種車輛軌跡時(shí)空域分析基于大數(shù)據(jù)特種車輛管控，是指針對(duì)類似渣土車、校車等安全等級(jí)較高車輛，經(jīng)過設(shè)定專屬行駛路線，一旦出現(xiàn)車輛偏離行車路線時(shí)候，即發(fā)送報(bào)警信息給相關(guān)人員，從而確保特種車輛一直處于受控安全狀態(tài)。11、車輛遮陽板與案件關(guān)聯(lián)時(shí)空域分析大數(shù)據(jù)平臺(tái)依照卡口過車數(shù)據(jù)對(duì)每輛過往車輛建立單獨(dú)信息庫，與車管庫車輛信息庫所不一樣是，該信息庫是專門用于過車信息研判。比如卡口會(huì)對(duì)每輛過車時(shí)是否放下了遮陽板進(jìn)行檢測(cè)，大數(shù)據(jù)平臺(tái)則統(tǒng)計(jì)車輛全部過車照片，放下遮陽板次數(shù)有多少；打開遮陽板次數(shù)有多少，隨即定義一個(gè)研判規(guī)則，比如這個(gè)百分比超出50%，那么駕駛?cè)司陀幸欢ㄟ`法嫌疑，進(jìn)入單獨(dú)違法嫌疑車輛庫；這個(gè)信息庫往日后看，就是依照一些統(tǒng)計(jì)結(jié)果來判斷駕駛?cè)藛T駕駛行為分析。12、同行車輛多模型分析基于大數(shù)據(jù)同行車輛分析，是指針對(duì)具備跟車相關(guān)團(tuán)伙作案時(shí)車輛進(jìn)行深入研判，研判規(guī)則包含篩選某個(gè)固定時(shí)間區(qū)間內(nèi)同行經(jīng)過N個(gè)卡口數(shù)量車輛信息；篩選某個(gè)固定時(shí)間內(nèi)關(guān)于多車關(guān)聯(lián)性分析，舉例而言就是經(jīng)過跟車關(guān)聯(lián)性研判發(fā)覺車輛A與車輛C有跟車關(guān)聯(lián)性，車輛B與車輛C有跟車關(guān)聯(lián)性，那么分析車輛A和B之間跟車關(guān)聯(lián)性嫌疑性。13、多業(yè)務(wù)維度積分研判分析基于大數(shù)據(jù)平臺(tái)多業(yè)務(wù)維度車輛積分研判，是武進(jìn)技防和圖偵相關(guān)干警參考其余地市先進(jìn)車輛信息技戰(zhàn)法以及結(jié)合本身對(duì)實(shí)際嫌疑車輛研判時(shí)所提出一個(gè)新研判分析方法。其依照對(duì)車輛出沒時(shí)間屬性、出沒卡口地點(diǎn)屬性、駕駛?cè)藛T違反行為信息、牌照歸屬地信息等多個(gè)關(guān)于車輛屬性進(jìn)行綜合考慮，引入一套關(guān)于車輛積分研判方法，所以在對(duì)車輛信息進(jìn)行有針對(duì)性地研判時(shí)帶來一個(gè)全新體驗(yàn)。同時(shí)為了滿足研判和預(yù)警實(shí)時(shí)性要求，大數(shù)據(jù)采取spark流計(jì)算方式確保車輛積分能夠?qū)崟r(shí)處理并將結(jié)果分發(fā)相關(guān)人員。14、基于車輛相關(guān)數(shù)據(jù)車輛套牌相關(guān)性分析在現(xiàn)有視頻作戰(zhàn)平臺(tái)中，已經(jīng)引入了一套依照同一時(shí)間內(nèi)出現(xiàn)在不一樣地點(diǎn)來判斷是否套牌車輛相關(guān)分析伎倆，不過因?yàn)榍岸丝谠O(shè)備在車輛識(shí)別率上并不能達(dá)成100%，所以有一定誤報(bào)率；另外該種套牌分析方法在定位一些非當(dāng)前庫內(nèi)所包含車輛信息時(shí)往往缺乏有效分析伎倆；而大數(shù)據(jù)平臺(tái)則是利用本期和前三期中一些已經(jīng)對(duì)車輛進(jìn)行二次結(jié)構(gòu)化處理后數(shù)據(jù)（比如車型、車標(biāo)、子品牌、年款等）進(jìn)行套牌車分析庫，將被盜搶車作為套牌車輛分析重點(diǎn)，從而判斷套牌車輛可能性；另外大數(shù)據(jù)平臺(tái)將在時(shí)空領(lǐng)域上結(jié)合GIS應(yīng)用，依照車輛不正常出沒規(guī)律來分析套牌車輛可能性，比如某輛車C在不一樣時(shí)內(nèi)從區(qū)域A出現(xiàn)在區(qū)域B，不過邏輯上區(qū)域A和區(qū)域B必須經(jīng)過某幾個(gè)卡口，不過在該段區(qū)域和時(shí)間內(nèi)沒有任何關(guān)于車輛C過車卡口描述，所以能夠判斷車輛C是否為套牌車輛。15、車輛時(shí)空出沒規(guī)律分析大數(shù)據(jù)平臺(tái)另一個(gè)主要作用是多元多維度統(tǒng)計(jì)分析方法，針對(duì)某一輛車輛信息，大數(shù)據(jù)平臺(tái)采取分布式計(jì)算方法將車輛信息過車點(diǎn)位信息、全部過車卡口出沒頻次、出沒時(shí)間段、經(jīng)?；顒?dòng)區(qū)域、經(jīng)常經(jīng)過監(jiān)控點(diǎn)位信息以及違法信息統(tǒng)計(jì)和同行車輛信息進(jìn)行統(tǒng)一展示，能夠提供包含車輛居住地和工作地相關(guān)信息預(yù)測(cè)。同時(shí)預(yù)留這些數(shù)據(jù)分析結(jié)果，可深入用于車輛與相關(guān)案件關(guān)聯(lián)性分析?；诖髷?shù)據(jù)平臺(tái)以圖搜圖功效以圖搜圖是當(dāng)前智能交通綜合管控平臺(tái)針對(duì)車輛檢索新型檢索方案，系統(tǒng)支持以一張?jiān)紙D片為基礎(chǔ)搜索條件，依照?qǐng)D片中車輛特征信息（比如車頭、車窗、車內(nèi)飾等）查詢目標(biāo)車輛，依照特征信息相同度進(jìn)行從高到低檢索方案。當(dāng)前以圖搜圖主要有云存放和圖片服務(wù)器兩種方案，分別以下列圖所表示：XZX-TMS-9200平臺(tái)XZX-TMS-9200平臺(tái)云存放方案XZX-TMS-9200平臺(tái)XZX-TMS-9200平臺(tái)圖片服務(wù)器方案云存放方案用于大型規(guī)模智能交通平臺(tái)，通常為日均過車數(shù)據(jù)在幾百萬以上項(xiàng)目中。其中使用云存放設(shè)備作為數(shù)據(jù)信息關(guān)鍵服務(wù)器，內(nèi)置智能建模算法；而智能服務(wù)器在系統(tǒng)中充當(dāng)查詢對(duì)比服務(wù)器，為用戶返回最終分析結(jié)果。該方案圖片預(yù)建模和分析全都在云存放系統(tǒng)中完成，而檢索部分則由專門智能分析服務(wù)器完成，所以是全網(wǎng)范圍內(nèi)以圖搜圖應(yīng)用，搜索效率會(huì)比較高。而圖片服務(wù)器方案則適適用于中小型規(guī)模智能交通平臺(tái)，由智能分析服務(wù)器完成過車數(shù)據(jù)建模，并由其進(jìn)行數(shù)據(jù)對(duì)比并返回以圖搜圖對(duì)比結(jié)果。該方案則全部建模分析和檢索則全部依靠智能分析服務(wù)器完成，所以整個(gè)系統(tǒng)瓶頸在于智能分析服務(wù)器性能。相比較這兩種方案以圖搜圖實(shí)現(xiàn)方式，基于大數(shù)據(jù)平臺(tái)以圖搜圖實(shí)現(xiàn)方式則深入將圖片資源二次結(jié)構(gòu)化和大數(shù)據(jù)平臺(tái)全文檢索功效進(jìn)行融合，從而將以圖搜圖功效從精準(zhǔn)檢索更深入擴(kuò)展到極速檢索。云分析系統(tǒng)功效車牌二次識(shí)別車身顏色二次識(shí)別系統(tǒng)能夠識(shí)別11種車身顏色，白色、灰色、黑色、紅色、紫色、藍(lán)色、黃色、綠色、青色、棕色、粉紅色。還能夠識(shí)別車身顏色深色和淺色。車型二次識(shí)別系統(tǒng)能夠識(shí)別7種常見車型，包含客車，大貨車，轎車，面包車，小貨車，SUV，中型客車。車牌顏色二次識(shí)別系統(tǒng)能夠?qū)嚺祁伾詣?dòng)識(shí)別，識(shí)別5種車牌顏色包含藍(lán)、黃、綠、白、黑。車標(biāo)二次識(shí)別系統(tǒng)可識(shí)別車輛標(biāo)志包含：飛馳、寶馬、大眾、別克、豐田、本田、依維柯、金杯、福特、當(dāng)代、馬自達(dá)、奇瑞、奧迪、雪鐵龍、雪弗蘭、標(biāo)致、東風(fēng)、五菱、尼桑、起亞、皇冠、東南、比亞迪等兩百多個(gè)車標(biāo)。車輛子品牌二次識(shí)別系統(tǒng)可識(shí)別細(xì)分車型包含：奧迪A6L、奧迪Q3、奧迪Q5、阿斯頓馬丁DB9、阿斯頓馬丁DBS、保時(shí)捷911、別克GL8、君威、君越、飛躍B50、飛躍B70、本田歌詩圖、本田鋒范、標(biāo)致307、標(biāo)致308等兩千多個(gè)細(xì)分車型，其包括范圍包含當(dāng)前已停售，或剛上市熱銷各種細(xì)分