菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心數(shù)據(jù)治理實踐

1、 菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心數(shù)據(jù)治理實踐 【創(chuàng)新*經(jīng)驗*總結(jié)】關(guān)鍵詞：數(shù)據(jù)治理，數(shù)據(jù)獲取，數(shù)據(jù)etl，數(shù)據(jù)共享本篇文章記錄了菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心-自成立承接政務(wù)服務(wù)/行政審批服務(wù)的系統(tǒng)管理和技術(shù)運維2年多來工作經(jīng)驗，將數(shù)據(jù)治理與數(shù)據(jù)管理中相關(guān)前沿技術(shù)的運用和工作創(chuàng)新進行了總結(jié)梳理與舉例說明，對政務(wù)服務(wù)和行政審批系統(tǒng)管理、數(shù)據(jù)治理、大數(shù)據(jù)共享與應(yīng)用具有重要的參考意義。引言數(shù)據(jù)治理并不是一個新詞，最初企業(yè)中的數(shù)據(jù)治理是相對簡單的。幾乎所有被治理的數(shù)據(jù)，都是在企業(yè)內(nèi)部的事務(wù)處理系統(tǒng)中生成，與現(xiàn)在相比，數(shù)據(jù)量較低，數(shù)據(jù)類型、it環(huán)境也比較單一。隨著it技術(shù)的整體發(fā)展，特別是大數(shù)據(jù)時代的到來，數(shù)據(jù)治理的“

2、擔(dān)子”變得越來越重。菏澤市行政審批服務(wù)局機構(gòu)改革職能劃轉(zhuǎn)的同時，各部門的業(yè)務(wù)信息系統(tǒng)的使用權(quán)也隨之劃轉(zhuǎn)，各部門自建信息系統(tǒng)存在網(wǎng)絡(luò)環(huán)境配置、數(shù)據(jù)交換格式、數(shù)據(jù)庫差異、登錄方式等天然屏障，如何有效數(shù)據(jù)治理，實現(xiàn)從前端事務(wù)處理系統(tǒng)、后端業(yè)務(wù)數(shù)據(jù)庫到終端的數(shù)據(jù)分析，從源頭到終端再回到源頭形成一個閉環(huán)負(fù)反饋系統(tǒng)是一個全國性難題。從目的來講，數(shù)據(jù)治理就是要對數(shù)據(jù)的獲取、處理、使用。傳統(tǒng)解決這種問題有統(tǒng)一雙方數(shù)據(jù)對接和人力手工跨系統(tǒng)數(shù)據(jù)維護兩種方式。傳統(tǒng)數(shù)據(jù)對接方式有成本高、周期長的缺陷。然而人力手工處理大量的數(shù)據(jù)從安全、效率、準(zhǔn)確率的角度看都不是一個最好的選擇。經(jīng)過2年來的探索實踐菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心

3、形成了一套以自動化軟件操作機器人、多線程網(wǎng)絡(luò)爬蟲、api接口共享、可視化etl工具為核心，快速實時采集挖掘系統(tǒng)數(shù)據(jù)，形成多源數(shù)據(jù)共享池，支持后續(xù)各種應(yīng)用落地、實現(xiàn)的解決方案。網(wǎng)絡(luò)蜘蛛/爬蟲和自動化軟件操作機器人破除數(shù)據(jù)壁壘醫(yī)療機構(gòu)、醫(yī)生、護士主題的行政審批系統(tǒng)系統(tǒng)多基于c/s架構(gòu)，且要求uk登錄驗證和短信驗證，網(wǎng)絡(luò)爬蟲和post技術(shù)在此種情形下會失效。自動化軟件操作機器人這一新興的人工智能技術(shù)可以從模擬人工操作的角度完成信息煙囪的破除，其工作原理是基于計算機操作系統(tǒng)的工作桌面，自動識別ui、從而完成預(yù)先設(shè)定的工作流程。自動化軟件操作機器人部署周期快,并且而不受制于各信息系統(tǒng)底層it基礎(chǔ)設(shè)施。相

4、比人工操作從安全、效率、準(zhǔn)確率的角度都是優(yōu)于人工操作的，對數(shù)據(jù)獲取的質(zhì)量起到了更好的保障作用。基于傳統(tǒng)的分布式多線程網(wǎng)絡(luò)爬蟲技術(shù)，在自動記錄和構(gòu)建種子庫、保持登錄方式等方面進行改進。將設(shè)計好的網(wǎng)絡(luò)蜘蛛應(yīng)用于爬取已獲得授權(quán)網(wǎng)站的數(shù)據(jù)，對數(shù)據(jù)進行解析、整理、入庫與導(dǎo)出。利用分布式多線程爬蟲技術(shù)對時效性、時限性要求強的政務(wù)服務(wù)網(wǎng)上能力檢測等應(yīng)用場景可實現(xiàn)相關(guān)數(shù)據(jù)高效采集和檢測，為全市政務(wù)服務(wù)網(wǎng)上能力建設(shè)保駕護航。以政務(wù)服務(wù)網(wǎng)上申報功能檢測工作為例，傳統(tǒng)方法每次排查8萬事項需20個工作日，新方法可將工作時限壓縮至1個工作日。商事登記多系統(tǒng)數(shù)據(jù)實時采集、清洗、入庫、交互政務(wù)服務(wù)和行政審批業(yè)務(wù)系統(tǒng)數(shù)據(jù)源分

5、散、割裂、格式各異，post技術(shù)的優(yōu)勢即是可以在不打破原有數(shù)據(jù)的基礎(chǔ)上，構(gòu)建連接各類自建信息系統(tǒng)的數(shù)據(jù)共享通道，讓各自獨立而封閉系統(tǒng)中的核心數(shù)據(jù)“安全流動”。采集到數(shù)據(jù)庫后通過可視化的 etl 工具（tableau）將數(shù)據(jù)從來源端經(jīng)過抽取 (extract)、轉(zhuǎn)換 (transform)、加載 (load) 至目的端的過程，目的是將散落和零亂的數(shù)據(jù)集中存儲起來。菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心利用post技術(shù)和tableau可視化etl工具應(yīng)用到工商系統(tǒng)，降低了工商數(shù)據(jù)對接門檻，變被動為主動，實現(xiàn)了直接將所需數(shù)據(jù)留存到本地數(shù)據(jù)庫，真正實現(xiàn)無障礙跨系統(tǒng)共享數(shù)據(jù)實時協(xié)同應(yīng)用，后期亦可靈活快速響應(yīng)信息系統(tǒng)數(shù)據(jù)

6、變動及需求變動。合理安排數(shù)據(jù)共享交換，解決跨行業(yè)查詢數(shù)據(jù)困難數(shù)據(jù)共享包括組織內(nèi)部和組織之間的數(shù)據(jù)共享，共享方式也分為庫表、文件和 api 接口三種共享方式，庫表共享比較直接粗暴，文件共享方式通過 etl 工具做一個反向的數(shù)據(jù)交換也就可以實現(xiàn)。菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心使用 api 接口共享方式，在這種方式下，能夠讓中心數(shù)據(jù)倉庫保留數(shù)據(jù)所有權(quán)，把數(shù)據(jù)使用權(quán)通過 api 接口的形式進行了轉(zhuǎn)移。api 接口共享可以使用 api 網(wǎng)關(guān)實現(xiàn)。菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心技術(shù)人員綜合運用上述方法，自主搭建綜合查詢檢索服務(wù)。服務(wù)工作人員和辦事群眾，局域網(wǎng)環(huán)境下可實現(xiàn)對工商、醫(yī)療、社保、信用等多行業(yè)數(shù)據(jù)高效查詢，只需輸

7、入查詢條件，即可實時返回查詢結(jié)果。目前，菏澤市政務(wù)網(wǎng)絡(luò)技術(shù)中心已完成全市個體和企業(yè)營業(yè)執(zhí)照信息（128余萬條）、排污許可企業(yè)信息（1147條）、醫(yī)療機構(gòu)和醫(yī)生護士信息（6.9萬條）、全省社會團體和民辦非企業(yè)信息（7.7萬條）、全市交通行業(yè)企業(yè)數(shù)據(jù)（9600條）等的搜集工作。向市大數(shù)據(jù)共享平臺提供?；方?jīng)營企業(yè)信息、醫(yī)療連鎖零售機構(gòu)信息等15大類行業(yè)許可數(shù)據(jù)107萬條?？偨Y(jié)與展望數(shù)據(jù)治理不只是技術(shù)問題，更是一個管理問題。例如大家常見的項目管理系統(tǒng)只是一個工具，如何讓項目管理工具與項目管理思想相匹配才是項目管理系統(tǒng)實施過程中的最大挑戰(zhàn)，也才能發(fā)揮最大的效果。數(shù)據(jù)治理也是同樣的道理。信息化建設(shè)正從以應(yīng)用為中心向以數(shù)據(jù)為中心轉(zhuǎn)變的關(guān)鍵時期，組織也逐步認(rèn)識到數(shù)據(jù)的巨大價值，但低質(zhì)量的數(shù)據(jù)和復(fù)雜的數(shù)據(jù)應(yīng)用手段，讓數(shù)據(jù)價值發(fā)掘的效果大大降低，甚至，會讓組織決策層喪失數(shù)字化轉(zhuǎn)型的信心。只有做好數(shù)據(jù)治理，把多行業(yè)、多主題的數(shù)據(jù)大規(guī)模整合、分析、運用，才能讓數(shù)據(jù)活起來，才能對政務(wù)服務(wù)和政府決策有意義。打通各