大數(shù)據(jù)可視化分析平臺(tái)介紹

1、大數(shù)據(jù)可視化分析平臺(tái)一、背景與目標(biāo)基于邳州市電子政務(wù)建設(shè)的基礎(chǔ)支撐環(huán)境，以基礎(chǔ)信息資源庫（人口庫、法人庫、宏觀經(jīng)濟(jì)、地理庫）為基礎(chǔ)，建設(shè)融合業(yè)務(wù)展示系統(tǒng)，提供綜合信息查詢展示、信息簡報(bào)呈現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)開放等資源服務(wù)應(yīng)用。實(shí)現(xiàn)市府領(lǐng)導(dǎo)及相關(guān)委辦的融合數(shù)據(jù)資源視角，實(shí)現(xiàn)數(shù)據(jù)信息資源融合服務(wù)與創(chuàng)新服務(wù)，通過系統(tǒng)達(dá)到及時(shí)了解本市發(fā)展的綜合情況，及時(shí)掌握發(fā)展動(dòng)態(tài)，為政策擬定提供依據(jù)。充分運(yùn)用云計(jì)算、大數(shù)據(jù)等信息技術(shù)，建設(shè)融合分析平臺(tái)、展示平臺(tái)，整合現(xiàn)有數(shù)據(jù)資源，結(jié)合政務(wù)大數(shù)據(jù)的分析能力與業(yè)務(wù)編排展示能力，以人口、法人、地理，人口與地理，法人與地理，實(shí)現(xiàn)基礎(chǔ)展示與分析，融合公安、交通、工業(yè)、教育、旅游

2、等重點(diǎn)行業(yè)的數(shù)據(jù)綜合分析，為城市管理、產(chǎn)業(yè)升級、民生保障提供有效支撐。二、政務(wù)大數(shù)據(jù)平臺(tái) 1、數(shù)據(jù)采集和交換需求：通過對各個(gè)委辦局的指定業(yè)務(wù)數(shù)據(jù)進(jìn)行匯聚，將分散的數(shù)據(jù)進(jìn)行物理集中和整合管理，為實(shí)現(xiàn)對數(shù)據(jù)的分析提供數(shù)據(jù)支撐。將為跨機(jī)構(gòu)的各類業(yè)務(wù)系統(tǒng)之間的業(yè)務(wù)協(xié)同，提供統(tǒng)一和集中的數(shù)據(jù)交互共享服務(wù)。包括數(shù)據(jù)交換、共享和ETL等功能。2、海量數(shù)據(jù)存儲(chǔ)管理需求：大數(shù)據(jù)平臺(tái)從各個(gè)委辦局的業(yè)務(wù)系統(tǒng)里抽取的數(shù)據(jù)量巨大，數(shù)據(jù)類型繁雜，數(shù)據(jù)需要持久化的存儲(chǔ)和訪問。不論是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過數(shù)據(jù)存儲(chǔ)引擎進(jìn)行建模后，持久化保存在存儲(chǔ)系統(tǒng)上。存儲(chǔ)系統(tǒng)要具備高可靠性、快速查詢能力。3、數(shù)據(jù)計(jì)

3、算分析需求：包括海量數(shù)據(jù)的離線計(jì)算能力、高效即席數(shù)據(jù)查詢需求和低時(shí)延的實(shí)時(shí)計(jì)算能力。隨著數(shù)據(jù)量的不斷增加，需要數(shù)據(jù)平臺(tái)具備線性擴(kuò)展能力和強(qiáng)大的分析能力，支撐不斷增長的數(shù)據(jù)量，滿足未來政務(wù)各類業(yè)務(wù)工作的發(fā)展需要，確保業(yè)務(wù)系統(tǒng)的不間斷且有效地工作。4、數(shù)據(jù)關(guān)聯(lián)集中需求：對集中存儲(chǔ)在數(shù)據(jù)管理平臺(tái)的數(shù)據(jù)，通過正確的技術(shù)手段將這些離散的數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，即：通過分析數(shù)據(jù)間的業(yè)務(wù)關(guān)系，建立關(guān)鍵數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，將離散的數(shù)據(jù)串聯(lián)起來形成能表達(dá)更多含義信息集合，以形成基礎(chǔ)庫、業(yè)務(wù)庫、知識(shí)庫等數(shù)據(jù)集。5、應(yīng)用開發(fā)需求：依靠集中數(shù)據(jù)集，快速開發(fā)創(chuàng)新應(yīng)用，支撐實(shí)際分析業(yè)務(wù)需要。6、大數(shù)據(jù)分析挖掘需求：通過對海量的

4、政務(wù)業(yè)務(wù)大數(shù)據(jù)進(jìn)行分析與挖掘，輔助政務(wù)決策，提供資源配置分析優(yōu)化等輔助決策功能，促進(jìn)民生的發(fā)展。采用新型MPP數(shù)據(jù)庫+Hadoop的融合架構(gòu)，使用MPP處理PB級別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL支持能力;使用Hadoop處理海量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，從而滿足用戶多種數(shù)據(jù)的處理需求。智慧政務(wù)：基于分布式計(jì)算、存儲(chǔ)框架，面向政府不同價(jià)值的數(shù)據(jù)源，通過采集、存儲(chǔ)、建模、挖掘等大數(shù)據(jù)技術(shù)，在社會(huì)保障、公共安全、人居環(huán)境、勞動(dòng)就業(yè)、文化教育、交通運(yùn)輸、綜合治稅、消費(fèi)維權(quán)、精準(zhǔn)扶貧等領(lǐng)域開展大數(shù)據(jù)應(yīng)用，優(yōu)化公共資源配置，提高公共服務(wù)水平。幫助政府促進(jìn)經(jīng)濟(jì)發(fā)展、完善社會(huì)治理、提升政府服

5、務(wù)管理能力、服務(wù)改善民生，培育壯大新興產(chǎn)業(yè)。如下圖所示的政府綜合決策分析系統(tǒng)，利用大數(shù)據(jù)分析平臺(tái)，采集并分析多個(gè)部門共享上傳的業(yè)務(wù)數(shù)據(jù)，為政務(wù)部門提供決策支持。如下圖所示的政府效能監(jiān)察大數(shù)據(jù)系統(tǒng)，通過對各類政務(wù)服務(wù)事項(xiàng)，全市各個(gè)部門單位的政府網(wǎng)上辦事流程進(jìn)行多維度，高效的及時(shí)監(jiān)察、分析，從而對辦事效率低下的職能部門和審批人員實(shí)現(xiàn)高效監(jiān)督；找出設(shè)置不合理的辦事流程，促進(jìn)政府辦事流程的優(yōu)化。實(shí)現(xiàn)政府部門網(wǎng)上辦事多維度的數(shù)據(jù)分析挖掘，秒級展現(xiàn)效果，讓決策者一目了然發(fā)現(xiàn)問題，提升政府的服務(wù)水平。基礎(chǔ)信息融合應(yīng)用展示分析基于政務(wù)大數(shù)據(jù)平臺(tái)開發(fā)或構(gòu)建的各類系統(tǒng)如四大基礎(chǔ)庫系統(tǒng)、業(yè)務(wù)主題庫系統(tǒng)，通過政務(wù)大數(shù)

6、據(jù)平臺(tái)信息樞紐的作用，各系統(tǒng)不需要再與任何政府部門業(yè)務(wù)系統(tǒng)對接，而直接從政務(wù)大數(shù)據(jù)平臺(tái)關(guān)聯(lián)形成數(shù)據(jù)，為政府業(yè)務(wù)辦理提供支撐。三、視頻云結(jié)構(gòu)化分析系統(tǒng)視頻云結(jié)構(gòu)化分析系統(tǒng)可實(shí)現(xiàn)視頻中車輛和活動(dòng)目標(biāo)的結(jié)構(gòu)化信息提取，提取屬性豐富，精確度高；支持智能結(jié)構(gòu)化分析后文本信息和圖片信息的存儲(chǔ)和檢索；支持動(dòng)態(tài)擴(kuò)容，智能分析性能隨著設(shè)備數(shù)量增加呈線性增強(qiáng)；支持第三方標(biāo)準(zhǔn)視頻流的接入和智能分析應(yīng)用；支持本地錄像的智能分析；系統(tǒng)自帶IE界面，提供智能檢索、數(shù)據(jù)統(tǒng)計(jì)、布控報(bào)警、任務(wù)管理、資源管理、集群管理、系統(tǒng)校時(shí)、日志查詢等功能。1.車輛大數(shù)據(jù)分析車輛圖片以圖搜圖車輛以圖搜圖是基于圖片的搜索模式，通過圖片建模后特

7、征向量的比對分析，并且在被搜索圖片中選擇特征區(qū)域進(jìn)行二次比對，從圖片庫中檢索出符合條件的圖片，并根據(jù)相似度返回比對結(jié)果。準(zhǔn)確率比單純建模后特性限量比對高50%。過車數(shù)據(jù)處理服務(wù)過車數(shù)據(jù)處理包括過車數(shù)據(jù)檢索、智能研判、OD分析、統(tǒng)計(jì)分析等幾大類。過車數(shù)據(jù)檢索過車數(shù)據(jù)檢索是通過全文檢索技術(shù)，對海量過車數(shù)據(jù)進(jìn)行快速檢索，支持精確查詢、模糊查詢、多條件組合查詢。支持千億過車數(shù)據(jù)中秒級查詢到結(jié)果。過車數(shù)據(jù)檢索具體包括以下功能：普通過車查詢支持根據(jù)模糊條件、組合條件進(jìn)行過車信息的查詢?？蛇x的條件包括卡口、車牌、車型、時(shí)間段等。針對只知道部分車牌信息的車輛可以輸入“*”代表多位，“？”代表一位號(hào)碼，進(jìn)行模糊

8、匹配。違法車輛查詢支持根據(jù)組合條件進(jìn)行報(bào)警車輛的查詢，違法車輛包括超速行駛、闖紅燈等車輛，可選條件包括卡口、時(shí)間段等。未識(shí)別車輛查詢支持根據(jù)組合條件對未識(shí)別車輛進(jìn)行查詢，未識(shí)別車輛包括非機(jī)動(dòng)車輛、沒有車輛通過確拍照的、只抓拍下部分車牌的車輛、正確抓拍卻未識(shí)別出的車輛，可選條件包括卡口、時(shí)間段等。布控報(bào)警查詢支持對布控的車輛及布控產(chǎn)生的報(bào)警進(jìn)行查詢。異常牌照查詢支持根據(jù)組合條件對異常牌照的車輛進(jìn)行查詢，異常牌照包括假牌、套牌等，可選條件包括卡口、時(shí)間段等。紅名單查詢支持對紅名單車輛進(jìn)行情況。行車軌跡查詢支持根據(jù)行車軌跡對過車信息進(jìn)行查詢。2.智能研判智能研判是通過對海量過車數(shù)據(jù)的分布式計(jì)算分析，

9、快速挖掘出其中有價(jià)值的信息。智能研判具體包括以下功能：行車軌跡智能研判車輛軌跡智能研判功能包含對精確目標(biāo)、模糊目標(biāo)兩類車輛進(jìn)行軌跡智能研判。精確目標(biāo)車輛軌跡智能研判：分析特定車輛在一段時(shí)間內(nèi)經(jīng)過多個(gè)信息采集點(diǎn)形成的行車軌跡，在PGIS上重現(xiàn)該車輛的行車路線。“特定車輛”是指查詢者明確該車輛的車牌號(hào)碼，至少清楚車牌號(hào)碼中絕大部分字符及準(zhǔn)確的排序位置，在查詢過程中也可輔以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。“特定車輛”行車軌跡出現(xiàn)在信息平臺(tái)的PGIS地圖上，單擊任一采集點(diǎn)的卡口圖標(biāo)，能重現(xiàn)當(dāng)時(shí)車輛被捕獲抓拍的高清照片。若查詢者確認(rèn)該車輛為嫌疑車，則可啟動(dòng)布控報(bào)警與實(shí)時(shí)跟蹤功能，當(dāng)該

10、車下一次穿過任意卡口（或卡口式電子警察）時(shí)，系統(tǒng)將自動(dòng)報(bào)警并提示監(jiān)控人員，同時(shí)該車在未攔截之前，PGIS地圖上將實(shí)時(shí)顯示其后續(xù)穿過的卡口位置、行車軌跡、趨勢方向等信息。模糊目標(biāo)車輛軌跡智能研判：當(dāng)偵查或目擊者提供的車輛特征信息不明確時(shí)，結(jié)合有限的車輛特征信息和車輛逃逸方向，綜合目擊者發(fā)現(xiàn)它的時(shí)間段、有限的車輛特征信息、逃逸方向范圍內(nèi)的卡口等客觀條件進(jìn)行檢索查詢，在PGIS上勾勒出同時(shí)滿足上述條件的所有車輛的行車軌跡，在查詢過程中也可輔以準(zhǔn)確的車身顏色或車型等其它特征信息縮小系統(tǒng)篩選范圍。為偵查辦案工作進(jìn)一步開展提供參考依據(jù)，比如：提供這些相關(guān)車輛的高清照片，其中包含清晰的車牌號(hào)碼、車輛輪廓特征

11、（車型、車品牌）、駕駛員面部特征等。短時(shí)通過車輛智能研判短時(shí)通過車輛智能研判是通過區(qū)間測速功能，對通過區(qū)間的時(shí)間在設(shè)定閾值內(nèi)的車輛進(jìn)行研判。短時(shí)通過車輛智能研判一方面有助于將長期超速行駛的車輛納入治超名單，通過安裝在街面的LED信息發(fā)布屏對其進(jìn)行公示、警告；另一方面有助于公安交通管理部門統(tǒng)計(jì)分析哪些路段發(fā)生超速行駛的次數(shù)最多，以輔助決策是否需要對這些道路進(jìn)行加強(qiáng)管理，消除潛在的交通事故隱患。跟車關(guān)聯(lián)智能研判跟車關(guān)聯(lián)智能研判是針對刑偵時(shí)犯罪團(tuán)伙車輛經(jīng)常結(jié)隊(duì)活動(dòng)的特點(diǎn)，對犯罪嫌疑車輛進(jìn)行信息查詢時(shí)，根據(jù)車牌省份地域分析其相鄰車輛號(hào)牌，挖掘出有關(guān)聯(lián)的車輛，為辦案提供線索。根據(jù)犯罪嫌疑車輛的車牌號(hào)碼、

12、車牌種類、車輛通過時(shí)間、分析時(shí)間間隔、路口名稱及車道號(hào)這幾個(gè)條件篩選出與犯罪嫌疑車輛有關(guān)聯(lián)的車。選定車牌號(hào)碼、時(shí)間段、路口等信息，通過設(shè)定的跟車間隔時(shí)間大小，分析出與此車輛關(guān)聯(lián)的其他車輛過車信息。套牌嫌疑智能研判套牌車輛智能研判功能主要包含基于車輛多個(gè)特征交叉比對的研判分析和基于行程時(shí)間的研判分析兩大類?；谲囕v多個(gè)特征交叉比對的套牌車輛智能研判：綜合分析車輛號(hào)牌、車型、車身顏色等車輛特征，自動(dòng)發(fā)現(xiàn)套牌車輛，因?yàn)檐嚺铺?hào)碼識(shí)別準(zhǔn)確率最高，選擇車牌號(hào)碼為基準(zhǔn)參數(shù)。比如：在城市內(nèi)發(fā)現(xiàn)車牌號(hào)碼一致，但車型不同，或者車牌號(hào)碼一致，但車身顏色不同，那么其中1輛一定是套牌車，在認(rèn)定過程中將借助來自車管庫的登

13、記信息?；谛谐虝r(shí)間的套牌車輛智能研判：在PGIS地圖上，以卡口、卡口式電子警察布點(diǎn)較密集的路段為中心劃定幾個(gè)區(qū)域，區(qū)域之間設(shè)定時(shí)間差，對多個(gè)區(qū)域內(nèi)的通行車輛進(jìn)行交叉比對，如果發(fā)現(xiàn)車牌號(hào)碼相同的車輛，那么其中1輛一定是套牌車，在認(rèn)定過程中將借助來自車管庫的登記信息。其原理是在現(xiàn)實(shí)環(huán)境中同一輛車從一個(gè)區(qū)域跨度到另一個(gè)區(qū)域的行程時(shí)間不可能小于設(shè)定的時(shí)間差。頻繁出入車輛智能研判頻繁出入車輛智能研判是分析一段時(shí)間內(nèi)車輛通過某一個(gè)或某幾個(gè)卡口的頻度，當(dāng)頻度大于設(shè)定值時(shí)，認(rèn)為該車輛活動(dòng)異常，并可顯示車輛的活動(dòng)軌跡。該信息可用于車輛預(yù)警，同時(shí)提供統(tǒng)計(jì)報(bào)表，支持打印、保存及數(shù)據(jù)導(dǎo)出。區(qū)域碰撞智能研判區(qū)域碰撞智

14、能研判是利用數(shù)據(jù)碰撞技術(shù)來加速車輛特征信息的提取工作，比如在兩個(gè)卡口或兩個(gè)區(qū)域的所有卡口之間進(jìn)行數(shù)據(jù)遍歷，找出符合檢索條件的車輛。根據(jù)嫌疑人會(huì)用類似的手段連續(xù)作案的動(dòng)機(jī)原理，當(dāng)在一定時(shí)間范圍發(fā)生作案手段類似的案件，對于指定的兩個(gè)或兩個(gè)以上區(qū)域范圍內(nèi)的所有卡口為基點(diǎn)，在指定的時(shí)間范圍內(nèi)，通過遍歷搜索的方式，碰撞搜索并精確定位具備相同車牌號(hào)碼的機(jī)動(dòng)車，可以快速發(fā)現(xiàn)不同區(qū)域涉案嫌疑車輛之間的關(guān)聯(lián)性。初次入城智能研判在選定時(shí)間段和路口時(shí)，查詢所有首次通行選定路口的車輛的過車信息，對于任意車牌號(hào)碼只記錄首次通行的一條過車信息。選定路口名稱、車牌號(hào)碼、時(shí)間段，分析得到該時(shí)間段內(nèi)選定的車牌號(hào)碼首次通過該路口

15、時(shí)的過車信息。違法多發(fā)時(shí)間段智能研判通過對特定時(shí)間段內(nèi)違法車輛的統(tǒng)計(jì)分析，可分析出哪些時(shí)間段內(nèi)交通違法事件較多，如國慶期間、大型活動(dòng)期間等。根據(jù)分析結(jié)果，有助于公安交通管理部門在這些時(shí)間段內(nèi)，做出相應(yīng)的對策。違法多發(fā)地點(diǎn)智能研判通過對特定地點(diǎn)的違法車輛統(tǒng)計(jì)分析，可分析出哪些地點(diǎn)交通違法事件較多。這些分析結(jié)果有助于公安交通管理部門找出違法多發(fā)地點(diǎn)，以輔助決策是否需要對這些道路進(jìn)行加強(qiáng)管理，消除潛在的交通事故隱患。3.OD分析支持過車數(shù)據(jù)的OD分析，包括區(qū)間測速、車輛誘導(dǎo)等。區(qū)間測速支持卡口與卡口間車輛的區(qū)間行駛速度測算，通過兩個(gè)卡口之間距離除以車輛穿過兩個(gè)卡口的時(shí)間差來計(jì)算車輛在區(qū)間通行的平均速

16、度（平均速度公式：V區(qū)間=S區(qū)間/T區(qū)間）。車輛誘導(dǎo)車輛誘導(dǎo)是根據(jù)車流量統(tǒng)計(jì)、區(qū)間測速而計(jì)算出哪些路段繁忙，哪些路段空閑，并實(shí)時(shí)將這些信息顯示在道路的LED屏上，根據(jù)深淺不同的顏色來標(biāo)識(shí)道路的繁忙程度，幫助司機(jī)判斷走哪條路更加合理。4.統(tǒng)計(jì)分析統(tǒng)計(jì)分析包括以下功能：車流量統(tǒng)計(jì)用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進(jìn)行流量統(tǒng)計(jì)，車流量統(tǒng)計(jì)可以包括以下查詢條件：按卡口使用單位查詢、按卡口名稱查詢、按車輛車型查詢、按卡口車道查詢、按所選時(shí)間模式進(jìn)行查詢。車流量統(tǒng)計(jì)可以按照五種時(shí)間模式（年、月、周、日、自定義時(shí)間段）自動(dòng)生成3D柱狀圖形式的報(bào)表（年報(bào)表、月報(bào)表、周報(bào)表、日報(bào)表、時(shí)間段報(bào)表），

17、并且報(bào)表可以導(dǎo)出和打印。統(tǒng)計(jì)結(jié)果可以作為日常道路交通誘導(dǎo)和交通優(yōu)化管理的依據(jù)，方便用戶定期對交通狀況進(jìn)行處理和總結(jié)。系統(tǒng)能夠?qū)嚵髁壳闆r，進(jìn)行數(shù)據(jù)分析，對路段堵塞、車流量異常減少、增多、斷流等情況可進(jìn)行智能判斷并報(bào)警。車道平均速度統(tǒng)計(jì)用戶能夠按卡口單位、卡口名稱、車輛類型、卡口車道進(jìn)行車速統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果可以作為日常道路交通誘導(dǎo)和交通優(yōu)化管理的依據(jù)，方便用戶定期對交通狀況的處理和總結(jié)。同時(shí)，對于超速頻繁的路段，公安交通管理可加強(qiáng)管理，消除潛在的交通事故隱患。車頭時(shí)距分析支持根據(jù)開始時(shí)間、結(jié)束時(shí)間對一個(gè)或多個(gè)路口進(jìn)行車輛的車頭時(shí)距進(jìn)行統(tǒng)計(jì)分析，生成統(tǒng)計(jì)報(bào)表，支持根據(jù)需要生成柱狀圖，餅狀圖，對統(tǒng)計(jì)結(jié)果支持圖形和報(bào)表的導(dǎo)出。車頭距離分析支持根據(jù)開始時(shí)間、結(jié)束時(shí)間對一個(gè)或多個(gè)路口進(jìn)行車輛的車頭距離進(jìn)行統(tǒng)計(jì)分析，生成統(tǒng)計(jì)報(bào)表，支持根據(jù)需要生成柱狀圖，餅狀圖，對統(tǒng)計(jì)結(jié)果支持圖形和報(bào)表的導(dǎo)出。車道時(shí)間占有率統(tǒng)計(jì)支持根據(jù)開始時(shí)間、結(jié)束時(shí)間對一個(gè)或多個(gè)路口進(jìn)行車道占有率統(tǒng)計(jì)，生成統(tǒng)計(jì)報(bào)表，支