政務(wù)大數(shù)據(jù)中心建設(shè)方案-縣域大數(shù)據(jù)中心建設(shè)方案

縣域大數(shù)據(jù)中心建設(shè)方案OOOOOOOOOOOOOOOOOOOO"nOOOOOOOOOOA

It-OOOOOOOOOO■—7388

1oooooeooo?IIOOOOOOOOOO-ontents01項(xiàng)目總體解決方案02大數(shù)據(jù)平臺(tái)建設(shè)方案03數(shù)據(jù)資源中心建設(shè)方案總體解決方案.中心總體定位.總體解決方案■總體實(shí)施方案中心總體定位智慧政務(wù)數(shù)據(jù)檢索數(shù)據(jù)計(jì)算決策依據(jù)洞察&建議▲監(jiān)控視頻數(shù)據(jù)企事業(yè)單位數(shù)據(jù)縣各級(jí)政務(wù)數(shù)據(jù)物聯(lián)設(shè)備數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…4經(jīng)濟(jì)發(fā)展公共安全政務(wù)處理城市管理民生保障……fffff數(shù)據(jù)統(tǒng)計(jì)、業(yè)務(wù)分析、風(fēng)險(xiǎn)預(yù)警、智能服務(wù)、輔助決策&兌現(xiàn)數(shù)據(jù)價(jià)值、賦能政務(wù)處理、提升治理永戒唯動(dòng)社會(huì)發(fā)展智慧政務(wù)總體建設(shè)目標(biāo)?通：實(shí)現(xiàn)基于應(yīng)用場景的數(shù)據(jù)資源授權(quán)管理機(jī)制，推動(dòng)全縣公共數(shù)據(jù)按需充分BT共享。實(shí)現(xiàn)數(shù)據(jù)分級(jí)分類開放管理，擴(kuò)展共享交換平臺(tái)功能。f—?用：開展主題數(shù)據(jù)庫建設(shè)，推動(dòng)數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用。開展數(shù)據(jù)應(yīng)用模型及算法研究，探索數(shù)據(jù)服務(wù)模式創(chuàng)新；推進(jìn)全縣跨部門的數(shù)據(jù)智能應(yīng)用。V?安：打造整體安全管控體系，保證平臺(tái)上政務(wù)數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管理、數(shù)舊據(jù)共享、數(shù)據(jù)開放等全生命周期中的安全防護(hù)能力。?聚：推進(jìn)與縣級(jí)R口、FR、空間地理庫的數(shù)據(jù)集成，促進(jìn)電子證照庫對接利用；BT逐步推進(jìn)縣級(jí)各部門政務(wù)數(shù)據(jù)、視頻數(shù)據(jù)、物聯(lián)數(shù)據(jù)以及基層業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)匯聚。?管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)管理平臺(tái)，通過數(shù)據(jù)交換共享實(shí)現(xiàn)全縣內(nèi)數(shù)據(jù)匯聚、or整合，構(gòu)建全縣統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄管理，形成對數(shù)據(jù)全生命周期管理及各環(huán)節(jié)安全監(jiān)管。體設(shè)標(biāo)總建目縣級(jí)政務(wù)大數(shù)據(jù)資源中心5總體解決方案市場監(jiān)管全民健康t資金監(jiān)管工業(yè)農(nóng)業(yè)發(fā)展業(yè)務(wù)目標(biāo)數(shù)據(jù)源關(guān)聯(lián)計(jì)算模型囪表單樣式計(jì)算任務(wù)調(diào)度云計(jì)算g大數(shù)據(jù)匯縣級(jí)政務(wù)大數(shù)據(jù)資源中心熊圖譜技術(shù)整合各類數(shù)據(jù)資源連接各類人員6TCloudDBRDBMSFilesAPP各類智能設(shè)備總體應(yīng)用流程數(shù)據(jù)存儲(chǔ)處理與數(shù)據(jù)模型開發(fā)數(shù)據(jù)源采集整合存儲(chǔ)計(jì)算分析開發(fā)批處理圖分析數(shù)據(jù)智能流處理FilebeatWorkflow機(jī)器學(xué)習(xí)Sqoop預(yù)測分析圖可視化分布式數(shù)據(jù)庫,口ETL內(nèi)存存儲(chǔ)交互式分析KafkaB模型計(jì)算HDFS鼠ElasticSearch曲NoSQL6bNewSQL區(qū)運(yùn)維可視化S業(yè)務(wù)場景數(shù)據(jù)采集數(shù)據(jù)治理數(shù)據(jù)模型開發(fā)數(shù)據(jù)應(yīng)用7總體實(shí)施方案平臺(tái)工具支撐應(yīng)用需求推動(dòng)縣級(jí)政務(wù)大數(shù)據(jù)資源中心建設(shè)項(xiàng)目實(shí)施工事利器數(shù)據(jù)治理開發(fā)運(yùn)營以構(gòu)建一個(gè)能持續(xù)高效運(yùn)轉(zhuǎn)的數(shù)據(jù)治理管理體系為目標(biāo)數(shù)據(jù)管理平臺(tái)建設(shè)開發(fā)建設(shè)R口與FR基礎(chǔ)庫建設(shè)一套大數(shù)據(jù)管理與應(yīng)用平臺(tái)建設(shè)市場監(jiān)管、工業(yè)、全民健康、惠民資金監(jiān)管、農(nóng)業(yè)五大示范應(yīng)用82平臺(tái)建設(shè)方案.平臺(tái)總體架構(gòu)■平臺(tái)各子平臺(tái)建設(shè)方案平臺(tái)總體架構(gòu)統(tǒng)一消息首頁資源目錄資源服務(wù)開放清單數(shù)據(jù)開放服務(wù)列表服務(wù)申請服務(wù)審批服務(wù)授權(quán)服務(wù)接口服務(wù)監(jiān)控實(shí)時(shí)數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)計(jì)算區(qū)存儲(chǔ)翼刷縣級(jí)政務(wù)數(shù)據(jù)監(jiān)控視頻數(shù)據(jù)物聯(lián)設(shè)備數(shù)據(jù)事業(yè)單位數(shù)據(jù)企業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…應(yīng)用層（FR、RD）分布式存儲(chǔ)消息隊(duì)列存儲(chǔ)RDMS實(shí)時(shí)計(jì)算數(shù)據(jù)管理開放門戶_____離線計(jì)算文本數(shù)據(jù)時(shí)實(shí)模型數(shù)據(jù)治理管理數(shù)據(jù)資源中心圖片數(shù)據(jù)開放共享元數(shù)據(jù)管理實(shí)時(shí)存儲(chǔ)標(biāo)準(zhǔn)層數(shù)據(jù)湖數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)開發(fā)管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量管理統(tǒng)—調(diào)度管理數(shù)據(jù)數(shù)據(jù)采集配,[數(shù)據(jù)交1■數(shù)據(jù)共享11數(shù)據(jù)共享iI數(shù)據(jù)交換I1數(shù)據(jù)交換交換置與校驗(yàn).1飯奇亶]服務(wù)管理■■服務(wù)接口.■異鬲藍(lán)控■■安圣宿輸統(tǒng)一運(yùn)維數(shù)據(jù)安全監(jiān)控資源管理統(tǒng)一用戶管理基礎(chǔ)資源監(jiān)控日志申計(jì)管理統(tǒng)—授權(quán)管理統(tǒng)—認(rèn)證管理平臺(tái)運(yùn)維管理統(tǒng)—身份管理監(jiān)控告警管理統(tǒng)—日志管理應(yīng)用服務(wù)監(jiān)控日常巡檢管理10平臺(tái)架構(gòu)關(guān)系數(shù)據(jù)使用單位數(shù)據(jù)采集任務(wù)調(diào)度大數(shù)據(jù)資源中心11數(shù)據(jù)共享開放門戶數(shù)據(jù)管理門戶數(shù)據(jù)治理管理平臺(tái)數(shù)據(jù)基礎(chǔ)支撐平臺(tái)集中J監(jiān)控一?維護(hù)信息—安全保障數(shù)據(jù)共享輸出。開放控制&下發(fā)調(diào)度e數(shù)據(jù)資產(chǎn)&服務(wù)調(diào)度數(shù)據(jù)處理提取與存儲(chǔ)o1數(shù)據(jù)共享交換平臺(tái)-采集一護(hù)臺(tái)統(tǒng)維平數(shù)據(jù)支撐子平臺(tái).總體架構(gòu)ClouderaManager（安裝部署工具）Zookeeper（分布式協(xié)調(diào)服務(wù)）Oozie（作業(yè)調(diào)度系統(tǒng)）數(shù)據(jù)MRSparkFlinkImpala處理（離線計(jì)算）（內(nèi)存計(jì)算）（流式計(jì)算）（SQL引擎）Sqoop（數(shù)據(jù)庫采集）Flume（文件日志采集）12數(shù)據(jù)支撐子平臺(tái).數(shù)據(jù)范圍與存儲(chǔ)數(shù)據(jù)支撐子平臺(tái)可承載的縣信息資源平臺(tái)數(shù)據(jù)湖/庫歸集的數(shù)據(jù)范圍、種類和存儲(chǔ)方式如下:政務(wù)數(shù)據(jù)數(shù)范■縣級(jí)政務(wù)數(shù)據(jù)：縣級(jí)各委辦局提供的公安、稅務(wù)等各類政務(wù)數(shù)據(jù)；■街道政務(wù)數(shù)據(jù)：下屬街道社區(qū)上報(bào)的各類政務(wù)數(shù)據(jù)。公共事業(yè)數(shù)據(jù)■水電煤：采集區(qū)級(jí)自來水、電力、煤氣、供熱等公共事業(yè)數(shù)據(jù)，此類數(shù)據(jù)是和百姓生活息息相關(guān)的重要民生資源。行業(yè)數(shù)據(jù)■金融行業(yè)：整合金融行業(yè)個(gè)人、企業(yè)征信數(shù)據(jù);■電信行業(yè)：整合電信運(yùn)營商個(gè)人、企業(yè)的位置數(shù)據(jù)、互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)等關(guān)鍵數(shù)據(jù)■其他行業(yè)：整合其他行業(yè)的優(yōu)質(zhì)數(shù)據(jù)資源。物聯(lián)網(wǎng)數(shù)據(jù)■視頻監(jiān)控?cái)?shù)據(jù)：采集閔行區(qū)內(nèi)部署的交通、公安監(jiān)等各類控?cái)z像頭所記錄的監(jiān)控視頻數(shù)據(jù)；■其他感知設(shè)備數(shù)據(jù)：采集部署在閔行區(qū)內(nèi)各類感知設(shè)備提供的數(shù)據(jù)。存儲(chǔ)方式結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)■SQL數(shù)據(jù)庫：結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算以支持SQL的關(guān)系型數(shù)據(jù)為主,如MySqLKunDB等.NoSQL數(shù)據(jù)庫：非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和計(jì)算以NoSQ數(shù)據(jù)為主，其中電子證照等小文件數(shù)據(jù)存儲(chǔ)在Hyperbase等KeyValue結(jié)構(gòu)的數(shù)據(jù)庫中，視頻等大文件存儲(chǔ)在HDFS上。13委辦局C業(yè)務(wù)區(qū)委辦局B業(yè)務(wù)區(qū)委辦局A業(yè)務(wù)區(qū)委辦局前竇座數(shù)據(jù)交換橋接1數(shù)據(jù)共享交換系統(tǒng)111111■1數(shù)據(jù)共享交換系統(tǒng)匹務(wù)硏硏斥屆單位業(yè)務(wù)言縣政務(wù)云信息資源中心數(shù)據(jù)共享交換子平臺(tái),總體架構(gòu)建全縣統(tǒng)一的數(shù)據(jù)共享交換子平臺(tái)，形成公共數(shù)據(jù)采集、交換、共享的核心樞紐，并可打通全縣各單位間數(shù)據(jù)資源共享通道，實(shí)現(xiàn)雙向信息傳遞（源數(shù)據(jù)采集&數(shù)據(jù)應(yīng)用共享）互通。/數(shù)據(jù)交換是整個(gè)平臺(tái)的基礎(chǔ)，提供系統(tǒng)業(yè)務(wù)接口接入、交換前置接入、數(shù)據(jù)采集、交換傳輸、數(shù)據(jù)集成、交換管理等功能服務(wù)；/數(shù)據(jù)交換通過前置交換系統(tǒng)與各交換部門進(jìn)行互聯(lián)；/通過數(shù)據(jù)傳輸系統(tǒng)各委辦的數(shù)據(jù)資源匯集到數(shù)據(jù)中心；/對匯集到數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行統(tǒng)一加工、處理，并將經(jīng)過數(shù)據(jù)治理后的數(shù)據(jù)中心中的數(shù)據(jù)交換到各類基礎(chǔ)信息庫中；/服務(wù)管理系統(tǒng)將各類基礎(chǔ)信息庫中的數(shù)據(jù)進(jìn)行服務(wù)封裝和服務(wù)發(fā)布，提供給各委辦或決策分析等系統(tǒng)使用o電子政務(wù)外網(wǎng)14數(shù)據(jù)共享交換子平臺(tái),技術(shù)方案數(shù)據(jù)共享交互平臺(tái)總體架構(gòu)主要分為基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、支撐層，服務(wù)層以及貫穿多層的標(biāo)準(zhǔn)規(guī)范體系和安全保障體系。（■■中心..満?伶?.ETUESB.運(yùn)歟!遺Mt作系統(tǒng)（window,linux，）敢提庫（開源,■用，）■理規(guī)落匯集，目M網(wǎng)絡(luò)、KSH,存ft等硬件平臺(tái)/慶擬資潭池,礎(chǔ)支揮層龍礎(chǔ)展標(biāo)準(zhǔn)■馬■■1睥器舊EAClfl元敢陽鼻3M匯集康?礎(chǔ)障/基礎(chǔ)設(shè)施層主要是指平臺(tái)建設(shè)運(yùn)行所需的網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、安全、虛擬化等基礎(chǔ)支撐設(shè)施/息資源層就是在資源中心所匯聚、沉淀形成的各類數(shù)據(jù)資源；/基礎(chǔ)支撐層由平臺(tái)基礎(chǔ)支撐軟件構(gòu)成，是平臺(tái)穩(wěn)定運(yùn)行提供服務(wù)的基礎(chǔ)/交換支撐層是數(shù)據(jù)資源匯集、處理與服務(wù)的核心支撐，通過底層中間件為基礎(chǔ)，構(gòu)建面向上層應(yīng)用的服務(wù)系統(tǒng)/標(biāo)準(zhǔn)規(guī)范與運(yùn)維體系貫穿平臺(tái)的各個(gè)層面，用于規(guī)范各部分的建設(shè)運(yùn)行和管理，保障平臺(tái)的順利建設(shè)實(shí)施和正常穩(wěn)定運(yùn)行。15縣各齡單位!IIII鄉(xiāng)鎮(zhèn)、街道:IIII上級(jí)齡單位:III事業(yè)單位::縣政瓠據(jù)IIII:鄉(xiāng)鎮(zhèn)政瓠據(jù)III:企事業(yè)數(shù)據(jù)I■III:視頻數(shù)據(jù)離網(wǎng)數(shù)據(jù)…;I企業(yè)…物聯(lián)數(shù)據(jù)民間機(jī)構(gòu)數(shù)據(jù)治理子平臺(tái).總體架構(gòu)數(shù)據(jù)治理平臺(tái)覆蓋了從標(biāo)準(zhǔn)、設(shè)計(jì)、采集、開發(fā)到使用，再到交付的全數(shù)據(jù)治理流程，為組織提供了一站式數(shù)據(jù)治理運(yùn)營平臺(tái)，可滿足數(shù)據(jù)共享交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)運(yùn)營多種應(yīng)用場景，并通過構(gòu)建數(shù)據(jù)工廠，實(shí)現(xiàn)數(shù)據(jù)治理的標(biāo)準(zhǔn)化、流程化與組件化。數(shù)據(jù)生產(chǎn)者?;數(shù)據(jù)消費(fèi)者I持續(xù)反饋政務(wù)大數(shù)據(jù)資源中心數(shù)據(jù)服務(wù)數(shù)據(jù)歸集數(shù)據(jù)安全管控16數(shù)據(jù)治理子平臺(tái)?功能架構(gòu)數(shù)據(jù)治理平臺(tái)能夠支持多種數(shù)據(jù)庫環(huán)境的數(shù)據(jù)開發(fā)功能，實(shí)現(xiàn)從數(shù)據(jù)的采集、加工到數(shù)據(jù)探索服務(wù)的全生命周期管理。并提供數(shù)據(jù)開發(fā)全過程的治理管控能力。制定配套的數(shù)據(jù)規(guī)范管理流程。包括數(shù)據(jù)標(biāo)準(zhǔn)的定義、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)質(zhì)量檢核規(guī)則管理、數(shù)據(jù)質(zhì)量問題治理、數(shù)據(jù)模型管理辦法、數(shù)據(jù)交換管理、ETL開發(fā)管理規(guī)范等工作流程。數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理字典標(biāo)準(zhǔn)數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)元數(shù)據(jù)采集元數(shù)據(jù)管理數(shù)據(jù)地圖數(shù)據(jù)資產(chǎn)管理資產(chǎn)分類數(shù)據(jù)血緣資產(chǎn)注冊資產(chǎn)分析數(shù)據(jù)開發(fā)數(shù)據(jù)探索腳本開發(fā)作業(yè)開發(fā)開發(fā)測試上線部署任務(wù)監(jiān)控運(yùn)維全過程流程驅(qū)動(dòng)數(shù)據(jù)質(zhì)校驗(yàn)規(guī)則管理質(zhì)量檢查質(zhì)量檢查報(bào)告物理表檢查配置全過程開發(fā)質(zhì)量控制數(shù)據(jù)架構(gòu)管理組織層級(jí)管理數(shù)據(jù)團(tuán)隊(duì)管理數(shù)據(jù)異常管理異常對接管理異常問題列表人工處理管理系統(tǒng)處理管理系統(tǒng)管理用戶管理權(quán)限管理17數(shù)據(jù)治理子平臺(tái)?數(shù)據(jù)應(yīng)用開發(fā)整體流程b

數(shù)據(jù)探索痙模型開發(fā)命程序開發(fā)EW程序測試爲(wèi)審核上線select?fr(Mdefault.D_ENL_IIGU_UEwherep_day=2select?fromhu_user_cal1_countswherecounts=16;select?fronhu_user_cal1_countswherecounts>16;showtableslike%W_dacp350_hi”_data_iBpon2*'select?fromteip_dacp350_hive_data_iaport2_2018]select?froMtenp_dacp350_hive_data_i?port2_2018\select*Irantenp_dacp350_hive_data_i?t>ort2_20181(select?fro?Ump_dacp3￡|oJiivedataiBport2_20181：

格式化2-模型定義創(chuàng)建模型基礎(chǔ)信息、定義模型的元數(shù)據(jù)替渙!!執(zhí)行軟；執(zhí)行計(jì)劃I!1-數(shù)據(jù)探索Ij根據(jù)業(yè)務(wù)邏輯做需求分析,:通過探索了解相關(guān)數(shù)據(jù)情I:況3-構(gòu)建表結(jié)構(gòu)添加模型字段信息提供手工/批量方式4-編輯模型應(yīng)用程序5-程序在線測試提供WEB界面可視化測試功能;查看執(zhí)行時(shí)長、執(zhí)行狀態(tài)等信息，方便開發(fā)人員調(diào)試，性能分析6-調(diào)度配置①可視化開發(fā)：固化程序命令，拖拽式使用，自由配置邏輯②

腳本開發(fā):支持sql、Pythonxjava、shell等類型的腳本5)1[mar|KF0-2017^-31154641649[pool-1*md-1|INFO?潴腳i|頻kl21(21OffiSQ出2O17-OT-31154641650網(wǎng)J林莉INFO?HSR8:HQlD:Mnqy.........20l?-0r31154641651fpod-l4hrwd-1]INFO-曜kl23(23HSM)]201W31154641755|mar|KFO-20帥如53756她，gOJoop冊舫址膈)矚抵繼Ml需―醐旳在線程序販201M効154641&網(wǎng)?lillINFOjajf瞻20174)1-31154(41794[pool-1-?vud-1|INFO-2017W31154641794|pool-1<md-2|INFO-RKWilHM24(24HSM)]2017-07-31154641795[pod-l4hfNd-2|INFO-打啪&：pM222222220的75154641796|pool-1-*vMtf-1|INFO-2017-0T-31154641798網(wǎng)?1i2|INFO?弛岫頫112岫HSM)]1S4641799food-14rad-2IINFO-：orrt)333133m

二

nJ07-提交審核并上線開發(fā)人員建立上線任務(wù),提交審核并上線18數(shù)據(jù)治理子平臺(tái).可視化、流程化數(shù)據(jù)開發(fā)■■處■”MR*It史■■■創(chuàng)建程序IM數(shù)據(jù)工廠■支持可視化的程序編排，數(shù)據(jù)處理流程開發(fā)，使程序開發(fā)更簡便，降低數(shù)據(jù)開發(fā)周期、開發(fā)成本；■平臺(tái)提供數(shù)據(jù)處理各項(xiàng)能力的開發(fā)功能，提供包括數(shù)據(jù)采集、處理、裝載、分發(fā)、校驗(yàn)等功能開發(fā)■平臺(tái)具備執(zhí)行標(biāo)準(zhǔn)的開源Hadoop接口調(diào)用能力，以及基于個(gè)性化Hadoop接口封裝能力；■根據(jù)不同的數(shù)據(jù)生產(chǎn)環(huán)境，具備不同的數(shù)據(jù)處理能力，可根據(jù)自身需求，基于平臺(tái)擴(kuò)展自主的數(shù)據(jù)處理功能■可視化程序開發(fā)可結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)化體系，整體數(shù)據(jù)開發(fā)流程與標(biāo)準(zhǔn)化管控切實(shí)對接O19數(shù)據(jù)治理子平臺(tái).統(tǒng)一任務(wù)調(diào)度傳統(tǒng)ETLHadoopMR管理RDBMS庫內(nèi)加工HIVE處理SparkWS統(tǒng)一調(diào)度運(yùn)行統(tǒng)一數(shù)據(jù)監(jiān)控—全過程數(shù)據(jù)質(zhì)量控制數(shù)據(jù)生產(chǎn)統(tǒng)一調(diào)度動(dòng)態(tài)數(shù)據(jù)生產(chǎn)線規(guī)則出錯(cuò)可中斷數(shù)據(jù)流內(nèi)嵌的數(shù)據(jù)質(zhì)量規(guī)則實(shí)時(shí)告警以一個(gè)流水線生產(chǎn)為例：傳統(tǒng)做法是單條生產(chǎn)線依賴產(chǎn)品的生產(chǎn)工序進(jìn)行協(xié)同生產(chǎn)。在統(tǒng)一開發(fā)調(diào)度平臺(tái)可以通過控制中心進(jìn)行作業(yè)命令下發(fā)，狀態(tài)收集進(jìn)行控制，達(dá)到多個(gè)工廠，多條生產(chǎn)線的協(xié)同調(diào)度，實(shí)現(xiàn)數(shù)據(jù)從“采集一加工一對外應(yīng)用服務(wù)”的全生命周期管理。統(tǒng)一調(diào)度管理作業(yè)/任務(wù)管理采集流程設(shè)計(jì)與管理調(diào)度策略管控任務(wù)調(diào)度控制標(biāo)準(zhǔn)化鏘......作業(yè)/任務(wù)調(diào)度作業(yè)/任務(wù)執(zhí)行轉(zhuǎn)換加載調(diào)度監(jiān)控======20數(shù)據(jù)治理子平臺(tái)?數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理主要包含對數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管理，并對數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實(shí)現(xiàn)對數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。質(zhì)量模型實(shí)體表字能報(bào)備注字段類型devicejd(pk)設(shè)備id(pk)bigintdevice_name設(shè)備名varchardevice_manufacturer_id(fk)生產(chǎn)商編號(hào)bigintdivice_status_id(fk)狀態(tài)新bigintdivice_type_id(fk)類型編號(hào)bigintdivice_org_address該設(shè)備的組織地點(diǎn)varchardevicejnstallation_addressI該賄的安裝地點(diǎn)Ivarchardevice_installation_date該賄的安裝時(shí)間varchardeviceremark該設(shè)備的備注信息varchar完整性準(zhǔn)確性數(shù)據(jù)質(zhì)量基礎(chǔ)單元鮮活性權(quán)威性根據(jù)業(yè)務(wù)需要選擇實(shí)體表和規(guī)則，方案與方案之間相互獨(dú)立，互不干擾。通過執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問題數(shù)據(jù)明細(xì)信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。質(zhì)量規(guī)則及時(shí)性檢查空值檢查值域檢查規(guī)范檢查邏輯檢查引用完整性檢查重復(fù)數(shù)據(jù)檢查缺失記錄檢查/平臺(tái)能夠提供質(zhì)量規(guī)則配置、質(zhì)量監(jiān)控、問題處理等功能，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性,挖掘數(shù)據(jù)更大的價(jià)值21資產(chǎn)目錄管理(^)資產(chǎn)注冊資產(chǎn)上下線資產(chǎn)變更管理資產(chǎn)引用管理數(shù)據(jù)血緣資產(chǎn)地圖資產(chǎn)生命周期管理管理目標(biāo)并形成數(shù)據(jù)資產(chǎn)，讓對數(shù)據(jù)的使用過程更為人性、便捷、智能，從而提升管理交易等數(shù)據(jù)嫁接的實(shí)現(xiàn)，從而促進(jìn)數(shù)據(jù)資產(chǎn)的價(jià)值實(shí)現(xiàn)。數(shù)據(jù)可取方便各層級(jí)人員獲取數(shù)據(jù)可知明確數(shù)據(jù)來源、含義、用法數(shù)據(jù)可控?cái)?shù)據(jù)流可控?cái)?shù)據(jù)質(zhì)量可控通過對數(shù)據(jù)治理，讓數(shù)據(jù)更加準(zhǔn)確、一致、完整、安全,決策水平。利用數(shù)據(jù)資產(chǎn)管理支持對數(shù)據(jù)的分發(fā)、開發(fā)、報(bào)表服務(wù)設(shè)計(jì)文檔分析1報(bào)告IF模型r4L<處理程序一自動(dòng)化收集22數(shù)據(jù)治理子平臺(tái).可視化全景數(shù)據(jù)資產(chǎn)視圖■元數(shù)據(jù)采集，進(jìn)行資產(chǎn)注冊，形成可查詢可閱讀的數(shù)據(jù)資產(chǎn)目錄1300racle2017121013:58:191300raclc2017121013:56:00?淳加收観上海證券交易螂表'-U負(fù)責(zé)人瞄管理員1300raclc■數(shù)據(jù)治理體系形成后,展示數(shù)據(jù)業(yè)務(wù)全景■數(shù)據(jù)開發(fā)管理后，展現(xiàn)全鏈路數(shù)據(jù)血緣關(guān)系23統(tǒng)一數(shù)據(jù)管理與開放門戶,構(gòu)建統(tǒng)一數(shù)據(jù)管理與應(yīng)用入口統(tǒng)一數(shù)據(jù)管理與開放門戶作為信息發(fā)布和數(shù)據(jù)服務(wù)的總管理入口，為縣各級(jí)單位提供信息資源展示、在線信息服務(wù)、信息檢索等服務(wù);并推動(dòng)公共數(shù)據(jù)未來和社會(huì)面的數(shù)據(jù)交互和開放使用，加強(qiáng)政企數(shù)據(jù)互動(dòng)，開放創(chuàng)新應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)智能的社會(huì)化應(yīng)用價(jià)值。CA認(rèn)證身份權(quán)限認(rèn)證開放清單管理單點(diǎn)登錄管審用用戶管理撬作行為市計(jì)疇覦注冊豎聶行為審計(jì)角色管理訪問行為章計(jì)權(quán)限管理授權(quán)言理統(tǒng)一管理與開放門戶平臺(tái)用戶數(shù)據(jù)開放管理服務(wù)接口瑚（公共數(shù)據(jù)）服務(wù)接口注冊（腆対寺方）公共數(shù)據(jù)資源ACL用戶1用戶2用戶3用戶.../門戶提供統(tǒng)一的待辦工單流轉(zhuǎn)和個(gè)人消息提醒功能，通過門戶入口實(shí)現(xiàn)對業(yè)務(wù)的協(xié)同管理；/門戶提供統(tǒng)一的權(quán)限管理并適配各管理子系統(tǒng)，提供角色互斥配置，實(shí)現(xiàn)權(quán)限的管、用、審分離;/門戶實(shí)現(xiàn)CA認(rèn)證、統(tǒng)一身份認(rèn)證和單點(diǎn)登錄。24統(tǒng)一運(yùn)維子平臺(tái).功能架構(gòu)統(tǒng)一運(yùn)維平臺(tái)負(fù)責(zé)對縣級(jí)大數(shù)據(jù)資源平臺(tái)內(nèi)的所有基礎(chǔ)資源，系統(tǒng)模塊，系統(tǒng)運(yùn)行行情況提供整體的監(jiān)控告警，運(yùn)維視圖、巡檢等工具承載，使得可以快速發(fā)現(xiàn)縣級(jí)大數(shù)據(jù)資源平臺(tái)上的各種異常，及時(shí)發(fā)現(xiàn)并告知維護(hù)人員，快速恢復(fù)，提升平臺(tái)內(nèi)外客戶感知。25平臺(tái)數(shù)據(jù)安全管理方案事前：?統(tǒng)一身份訪問控制事中：?數(shù)據(jù)使用權(quán)限控制事后：?統(tǒng)一日志管理?日志審計(jì)分析il安全服務(wù)體系平臺(tái)安全規(guī)范審計(jì)與息彳息i息i息i息平臺(tái)安全運(yùn)營整體：數(shù)據(jù)安全合規(guī)審查263I數(shù)據(jù)資源中心建設(shè)方案■資源中心規(guī)劃方案.資源建設(shè)流程■基礎(chǔ)庫建設(shè)方案大數(shù)據(jù)資源中心建設(shè),總體規(guī)劃方案通過相應(yīng)平臺(tái)工具匯聚全縣內(nèi)各單位公共數(shù)據(jù)形成縣級(jí)數(shù)據(jù)湖，同時(shí)經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理后高質(zhì)量的公共數(shù)據(jù)資源庫，并基于相關(guān)應(yīng)用需求構(gòu)建各類應(yīng)用基礎(chǔ)、主題、專題庫，進(jìn)而形成縣級(jí)大數(shù)據(jù)資源中心。各類數(shù)據(jù)使用單位與應(yīng)用共享庫（開放共享區(qū)）基礎(chǔ)庫■大數(shù)據(jù)示范應(yīng)用區(qū)■主題/專題庫數(shù)據(jù)庫（DWD層）數(shù)據(jù)湖（ODS貼源層）政務(wù)大數(shù)據(jù)資源中心28各類數(shù)據(jù)源S滿nlnm二m二m二扼BBB數(shù)治處管大數(shù)據(jù)資源中心建設(shè),區(qū)域模型設(shè)計(jì)29大數(shù)據(jù)資源中心建設(shè),數(shù)據(jù)湖建設(shè)________建立縣數(shù)據(jù)湖，用以存儲(chǔ)縣級(jí)各種各樣原始數(shù)據(jù)，并保證湖中的數(shù)據(jù)可供存取、處理、分析及傳輸。通過數(shù)據(jù)采集相關(guān)技術(shù)手段，面向多類數(shù)據(jù)源，匯集縣委辦、監(jiān)控視頻、企事業(yè)單位、互聯(lián)網(wǎng)以及其他各類數(shù)據(jù)，并統(tǒng)一存儲(chǔ)到縣數(shù)據(jù)湖中。數(shù)據(jù)價(jià)值深層次發(fā)掘、應(yīng)用Z數(shù)據(jù)、技術(shù)支撐Z數(shù)據(jù)湖開發(fā)者工具■

數(shù)據(jù)匯聚、采集■______________數(shù)據(jù)源_____________縣各級(jí)委辦數(shù)據(jù)監(jiān)控視頻數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)其他數(shù)據(jù)___/SRC近源數(shù)據(jù)層定位在于將原始數(shù)據(jù)源進(jìn)行全量映射保存，是外部各類數(shù)據(jù)進(jìn)入數(shù)據(jù)湖的第一步緩沖節(jié)點(diǎn)。該層需要匯集縣各業(yè)務(wù)條線數(shù)據(jù)，數(shù)據(jù)類型需要涵蓋結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)/為了構(gòu)建有效的數(shù)據(jù)分層治理，構(gòu)建起逐層遞進(jìn)的數(shù)據(jù)流轉(zhuǎn)模式，數(shù)據(jù)湖構(gòu)建過程中，需要構(gòu)建ods源數(shù)據(jù)層?！鲆詳?shù)據(jù)開發(fā)工具為基礎(chǔ)，構(gòu)建SRC近源數(shù)據(jù)層、ODS數(shù)據(jù)資源層，形成面向全行業(yè)的數(shù)據(jù)基礎(chǔ)層；■以數(shù)據(jù)湖為基礎(chǔ)，為后續(xù)主題、專題建設(shè)提供基礎(chǔ)數(shù)據(jù)支撐，同時(shí)為上層應(yīng)用價(jià)值發(fā)掘提供全面的數(shù)據(jù)支撐。30接口調(diào)用大數(shù)據(jù)資源中心建設(shè),資源治理流程:數(shù)I:據(jù)」前I:置，庫文件下發(fā)庫表下發(fā)數(shù)據(jù)前置庫數(shù)據(jù)調(diào)用;數(shù):據(jù)「歸:集企業(yè)數(shù)據(jù)大數(shù)據(jù)資源中心-數(shù)據(jù)湖&數(shù)據(jù)庫內(nèi)部政務(wù)單位據(jù)用構(gòu)數(shù)使機(jī)外部社會(huì)機(jī)構(gòu)S瞄S業(yè)位據(jù)事單數(shù)31基礎(chǔ)庫建設(shè).總體方案業(yè)務(wù)信息數(shù)據(jù)公A口民政口R口出生、死亡及婚姻關(guān)系雙方R口戶籍登記基本信息信息R社口社會(huì)五險(xiǎn)參保等R旦信息衛(wèi)計(jì)口孕產(chǎn)婦及家屬信息工商口稅務(wù)口質(zhì)監(jiān)口民政口地理實(shí)體數(shù)據(jù)影像數(shù)據(jù)高程數(shù)據(jù)電子地圖數(shù)據(jù)地名地址數(shù)據(jù)三維數(shù)據(jù)數(shù)據(jù)抽取/數(shù)據(jù)交換FR數(shù)據(jù)R口數(shù)據(jù)空間地理數(shù)據(jù)基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)庫管理應(yīng)用R口應(yīng)用R口概況、R口查詢、R口統(tǒng)計(jì)、R口畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標(biāo)簽管理、標(biāo)簽映射和關(guān)系、圖形化分析……:FR應(yīng)用FR概況、FR查詢、FR統(tǒng)計(jì)、FR畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標(biāo)簽管理、標(biāo)簽映射和關(guān)系、圖形化分析……；32標(biāo)簽用途智慧旅游環(huán)境瞄一智慧物流智慧醫(yī)療一數(shù)字郵政數(shù)字校園數(shù)眾檢智能交通行政審批政務(wù)湖數(shù)字工商智能城管應(yīng)急處理平安城市智慧網(wǎng)％藥安全姓名出生日期金融機(jī)構(gòu)代碼上物結(jié)存資金房產(chǎn)抵腳艘證最高學(xué)歷資款號(hào)TSHfcA勃面積具體就證件韻最高學(xué)有現(xiàn)估價(jià)sa、面積與戶點(diǎn)農(nóng)信社齢金額激動(dòng)車輛瞄:?金額傾權(quán)利證號(hào)...婚姻狀況屋電話行業(yè)其他齢金額現(xiàn)估價(jià)腿蝕...礪臺(tái)面貌貸款用途心年"壇農(nóng)痕健康狀況電子郵箱幣種投資姦瞄腿時(shí)間戶籍地址配偶姓名民間借入現(xiàn)估價(jià)抵押率遂&日期配偶證開戶日期購置固定資產(chǎn)經(jīng)營場地：保險(xiǎn)率基礎(chǔ)庫建設(shè).R口庫建設(shè)通過對R口庫數(shù)據(jù)源的全面梳理，利用信息資源平臺(tái)已歸集的R口相關(guān)數(shù)據(jù)，構(gòu)建全縣統(tǒng)一的、以公民身份號(hào)位為唯一標(biāo)識(shí)的、可共享的綜合R口信息資源庫?；诰C合R口庫，實(shí)現(xiàn)全縣R口信息的匯聚治理、共享交換和應(yīng)用服務(wù)，為開展跨部門、跨業(yè)務(wù)、跨區(qū)域的R口應(yīng)用服務(wù)和數(shù)據(jù)共享，以及R口大數(shù)據(jù)分析、輔助決策等，提供全方位的R口信息支撐。R口全息視圖R口信息統(tǒng)計(jì)/R口庫管理應(yīng)用提供對匯聚形成的R口數(shù)據(jù)的概況展示、R口個(gè)案查詢及多條件查詢、R口統(tǒng)計(jì)、R口畫像等應(yīng)用功能，并提供針對R口數(shù)據(jù)處理規(guī)則、數(shù)據(jù)模體癖1數(shù)據(jù)治理跨群門業(yè)務(wù)應(yīng)用型、字段來源、生命周期配置等管理維護(hù)功能。33基礎(chǔ)庫建設(shè).FR庫建設(shè)FR庫采用統(tǒng)一社會(huì)編碼作為主鍵，F(xiàn)R覆蓋政府機(jī)關(guān)、事業(yè)單位、企業(yè)、社會(huì)團(tuán)體等類別。FR庫建立畫像數(shù)據(jù)標(biāo)簽，標(biāo)簽設(shè)計(jì)分為FR基礎(chǔ)主題、財(cái)務(wù)主題、生命周期主題、信用主題、關(guān)系主題、關(guān)鍵人主題6大主題域，數(shù)據(jù)應(yīng)用于社會(huì)經(jīng)濟(jì)統(tǒng)計(jì)、FR信用領(lǐng)域、國家經(jīng)濟(jì)結(jié)構(gòu)、企業(yè)經(jīng)營情況等方向的分析統(tǒng)計(jì)。六大主題域建設(shè)i財(cái)務(wù)球生命周期主題FR基礎(chǔ)主題關(guān)系主題關(guān)鍵人主題信用主題失信記錄供應(yīng)鏈上下游決策人稅務(wù)注冊證件經(jīng)營范圍財(cái)報(bào)銷戶分支機(jī)構(gòu)關(guān)鍵人訴訟記錄行業(yè)資產(chǎn)信息變更股權(quán)關(guān)系聯(lián)系人投訴記錄規(guī)模負(fù)債機(jī)關(guān)事業(yè)單位企業(yè)多個(gè)R類型34專主題建設(shè)規(guī)劃?總體方案/民生幸福/生態(tài)環(huán)境利用大數(shù)據(jù)資源中心數(shù)據(jù)湖中多匯聚的數(shù)據(jù)以及基礎(chǔ)庫中的各類基礎(chǔ)數(shù)據(jù)，未來可以根據(jù)政務(wù)處理、城市管理、社會(huì)治理以及經(jīng)濟(jì)發(fā)展等各方面的實(shí)際問題與需求，在資源中心構(gòu)建各類主題庫或?qū)ｎ}庫并向相關(guān)用戶開放，為全縣的管理與發(fā)展提供數(shù)據(jù)服務(wù)支撐。/經(jīng)濟(jì)發(fā)展/市場監(jiān)管/公共安全/市場監(jiān)管/工業(yè)發(fā)展/全民健康/惠民資金監(jiān)管/農(nóng)業(yè)應(yīng)用/城市規(guī)劃民生保障生態(tài)環(huán)境市場監(jiān)管公共安全經(jīng)濟(jì)發(fā)展城市規(guī)劃一網(wǎng)統(tǒng)管一網(wǎng)通辦■持續(xù)開展數(shù)據(jù)治理開發(fā)運(yùn)營，逐步構(gòu)建各類數(shù)據(jù)主體、專題應(yīng)用，用數(shù)據(jù)賦能全縣發(fā)展。35專主題建設(shè)規(guī)劃.推動(dòng)政務(wù)業(yè)務(wù)數(shù)據(jù)協(xié)同房產(chǎn)局房產(chǎn)交易所-購房資格審核-交易手續(xù)確認(rèn)-購房能力評(píng)估橫向協(xié)同構(gòu)建數(shù)據(jù)支持體系-逐步實(shí)現(xiàn)立體化、多層次、全方位的數(shù)據(jù)服務(wù)體系-有效支持電子政務(wù)公共服務(wù)能力提升信息資源平臺(tái)人社數(shù)據(jù)I民政數(shù)據(jù)I稅務(wù)數(shù)據(jù)I人員戶口數(shù)據(jù)I金融信貸數(shù)據(jù)促進(jìn)數(shù)據(jù)聯(lián)動(dòng)協(xié)同形成統(tǒng)一的跨部門、跨地域、跨層級(jí)的信息交換共享民政稅務(wù)局公安-婚姻狀況-房產(chǎn)評(píng)估-社保年限-繳納金額-人戶核實(shí)?戶口遷轉(zhuǎn)-稅收審核-稅收繳納縱向聯(lián)動(dòng)36專主題建設(shè)規(guī)劃.支撐精準(zhǔn)社會(huì)服務(wù)與科學(xué)管理基于信息資源平臺(tái)的全局宏觀數(shù)據(jù)分析，形成城市級(jí)的宏觀數(shù)據(jù)主體分析應(yīng)用，有效支持領(lǐng)導(dǎo)決策、政策研究以及資源投放信息資源平臺(tái)數(shù)據(jù)算法算力存儲(chǔ)宏觀數(shù)據(jù)分析應(yīng)用城市R口分析規(guī)劃-R口遷移分析-人群特征分析-人群發(fā)展預(yù)測公共安全分析預(yù)測-建筑安全評(píng)估-人流分析預(yù)警生態(tài)環(huán)境分析研判-大氣污染分析-水質(zhì)資源分析領(lǐng)導(dǎo)決策政策研究資源投放37專主題建設(shè)規(guī)劃?輔助城市治理高效運(yùn)行信息資源平臺(tái)基于感知層（攝像頭，傳感器等）的實(shí)時(shí)事件的感知、研判及傳遞，形成捕獲一響應(yīng)一處理的聯(lián)動(dòng)體系，支撐城市智慧運(yùn)行實(shí)時(shí)感知策略研判實(shí)時(shí)傳遞協(xié)同處置消防部門-消防接警-消防出警-事故路段增派人手市公安。@-沿途路線道路疏通/9物業(yè)單位O-疏散建筑人群-檢查應(yīng)急通道大數(shù)據(jù)平臺(tái)事件感知&實(shí)時(shí)處理。市急救中心\-救護(hù)車資源調(diào)撥\-急救醫(yī)護(hù)資源調(diào)撥。運(yùn)營商-短信通知涉事區(qū)域人員-實(shí)時(shí)監(jiān)控區(qū)域人流38專主題建設(shè)規(guī)劃.以數(shù)據(jù)供給促產(chǎn)業(yè)發(fā)展:公共一社會(huì)數(shù)據(jù)相互促進(jìn)]公共,據(jù)通過平臺(tái)數(shù)據(jù)開放應(yīng)用，形成“公共數(shù)據(jù)服務(wù)社會(huì)應(yīng)用、社會(huì)數(shù)據(jù)反哺公共數(shù)據(jù)”的良性循環(huán)促進(jìn)機(jī)制個(gè)人信用評(píng)級(jí)個(gè)人征信數(shù)據(jù)金融機(jī)構(gòu)航空公司出行數(shù)據(jù)延誤旅客數(shù)據(jù)個(gè)人征信數(shù)據(jù)小型金融機(jī)構(gòu)個(gè)人信用評(píng)估延誤旅客數(shù)據(jù)保險(xiǎn)公司航班延誤險(xiǎn)定價(jià)39大數(shù)據(jù)示范應(yīng)用.市場監(jiān)管建設(shè)全縣統(tǒng)一、集中的市場監(jiān)管大數(shù)據(jù)應(yīng)用服務(wù)，通過提供基礎(chǔ)監(jiān)管數(shù)據(jù)庫、精準(zhǔn)市場日常監(jiān)管、市場監(jiān)管信息共享等關(guān)鍵數(shù)據(jù)指標(biāo)服務(wù),助力更新市場監(jiān)管邏輯、消除信息不對稱、增強(qiáng)監(jiān)管合力、解決監(jiān)管力量落差問題、降低全縣市場監(jiān)管成本。CNGl產(chǎn)副踱全網(wǎng)監(jiān)爲(wèi)2017?4000人g計(jì)09:46"f4161A3000.-