北京市政務(wù)大數(shù)據(jù)平臺頂層設(shè)計框架及應(yīng)用方案參考模板

1、北京市政務(wù)大數(shù)據(jù)平臺頂層設(shè)計框架及應(yīng)用方案本文摘自穆勇在中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟上所做的演講。一、大數(shù)據(jù)在政務(wù)領(lǐng)域應(yīng)用的概述說起大數(shù)據(jù)技術(shù)的應(yīng)用，首先是在互聯(lián)網(wǎng)行業(yè)起步并逐步拓展到電信、金融、工業(yè)等多個領(lǐng)域，產(chǎn)生了巨大的社會價值和產(chǎn)業(yè)空間，現(xiàn)正拓展到政務(wù)領(lǐng)域。（一）大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)行業(yè)的成功應(yīng)用，那些地方是值得我們關(guān)注的第一，應(yīng)該是思維觀念和運作方式的變化，所謂的互聯(lián)網(wǎng)思維，其核心理念包括：體外互動：郵件、電話、信件互動-服務(wù)導引服務(wù)外包：購買服務(wù)-簡單服務(wù)讓渡社會：眾包-自助服務(wù)邊界開放：數(shù)據(jù)開放-創(chuàng)造服務(wù)第二，是其技術(shù)演進，針對數(shù)據(jù)處理的技術(shù)首先是傳統(tǒng)數(shù)據(jù)分析處理階段，該階段是面向結(jié)構(gòu)化數(shù)據(jù)

2、，非結(jié)構(gòu)化處理效率低；硬件成本高；平臺兼容性差。其次是基于云計算的大數(shù)據(jù)處理階段，該階段總體有了很大的改進和提升，主要體現(xiàn)在：具備結(jié)構(gòu)化/非結(jié)構(gòu)化混合分析的能力；基于消費級硬件，不依賴高性能、高可靠性硬件，從而保障系統(tǒng)性能和可靠性；平臺兼容性好、擴展性高；進而業(yè)界又提出去IOE的思路。第三，是數(shù)據(jù)挖掘分析技術(shù)畫像技術(shù)以及各類數(shù)據(jù)融合、分析、挖掘、預(yù)測等。1 / 17這些都是政務(wù)領(lǐng)域需要學習與借鑒的。為此，我認為：大數(shù)據(jù)在政務(wù)領(lǐng)域應(yīng)用即包括用新的思維、模式與技術(shù)來解決電子政務(wù)需求，也包括了政務(wù)大數(shù)據(jù)新的應(yīng)用。對于第一個方面比較容易理解，對于第二個方面需要對政務(wù)大數(shù)據(jù)給出定義。有些人認為政府沒有大

3、數(shù)據(jù)，只有傳統(tǒng)的小數(shù)據(jù)或中數(shù)據(jù)。這個問題我們將在下一節(jié)專門中進行討論。政務(wù)領(lǐng)域是大數(shù)據(jù)應(yīng)用嶄新的領(lǐng)域，它將極大的改變政府的管理模式，有利于節(jié)約政府投資、提高政府決策能力、提升公共服務(wù)和社會管理能力，開展大數(shù)據(jù)在政務(wù)領(lǐng)域的應(yīng)用是大勢所趨，勢在必行。同時，政務(wù)大數(shù)據(jù)本身也不同于其他領(lǐng)域或行業(yè)的數(shù)據(jù)，其復雜程度和需求的多樣化比互聯(lián)網(wǎng)行業(yè)大的多，也難的多。（二）政務(wù)大數(shù)據(jù)的定義及特點按照政府管理的數(shù)據(jù)來源和種類，可以分為下三類：第一類業(yè)務(wù)數(shù)據(jù)：業(yè)務(wù)辦理過程中采集和產(chǎn)生的數(shù)據(jù)。第二類民意社情數(shù)據(jù)：對社會企業(yè)個人對象進行統(tǒng)計調(diào)查獲得的數(shù)據(jù)。第三類環(huán)境數(shù)據(jù)：通過物理設(shè)備采集獲得的氣象、環(huán)境、影像等數(shù)據(jù)。在以

4、前的電子政務(wù)建設(shè)階段，政務(wù)信息資源開發(fā)利用更多的是集中在前兩種類型和結(jié)構(gòu)化數(shù)據(jù)上，而對第三類數(shù)據(jù)，特別是實時的、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的開發(fā)利用相對較少。隨著政府業(yè)務(wù)在互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等領(lǐng)域廣泛和深入的應(yīng)用，第三類數(shù)據(jù)的數(shù)據(jù)量和價值都在迅速增長，相關(guān)數(shù)據(jù)處理技術(shù)也逐步成熟。便于區(qū)別不妨把包含第三類數(shù)據(jù)的政務(wù)信息資源叫做是政務(wù)大數(shù)據(jù)。政務(wù)大數(shù)據(jù)與其他領(lǐng)域大數(shù)據(jù)相比具有鮮明的特點：體積大，增速高：涵蓋經(jīng)濟社會管理的方方面面，數(shù)據(jù)積累量巨大。每年處理的數(shù)據(jù)呈指數(shù)級增長。種類多，價值大：以宏觀經(jīng)濟基礎(chǔ)數(shù)據(jù)為例：涵蓋經(jīng)濟、社會、醫(yī)療、環(huán)境、工農(nóng)業(yè)、教育、旅游等社會關(guān)鍵領(lǐng)域數(shù)據(jù)，具有極為重要的社

5、會和經(jīng)濟價值。壟斷性，難獲得：政府部門及公共企事業(yè)單位采集數(shù)據(jù)有些是專營的業(yè)務(wù)，一般企業(yè)是采不到，也買不到。通過以上可以看出，政務(wù)大數(shù)據(jù)同傳統(tǒng)數(shù)據(jù)相比，不僅包括結(jié)構(gòu)化數(shù)據(jù)，更包括大量非結(jié)構(gòu)化數(shù)據(jù)，且具有數(shù)據(jù)量大、應(yīng)用價值大、速度快、種類繁多等特點。我們要高度重視大數(shù)據(jù)應(yīng)用對政務(wù)工作正在帶來和將要帶來的各種影響，充分認識推進大數(shù)據(jù)應(yīng)用的必要性和緊迫性，加強頂層設(shè)計，分專業(yè)分步驟實施。開展政務(wù)領(lǐng)域的大數(shù)據(jù)應(yīng)用首先是觀念、思路的轉(zhuǎn)變，轉(zhuǎn)變電子政務(wù)建設(shè)主體，由政府營造創(chuàng)新發(fā)展環(huán)境，引導企業(yè)為主體開展電子政務(wù)建設(shè)，同時，我們政府也需要在實際工作中給予支持和指導，一方面采用給予適當?shù)恼a貼和協(xié)助優(yōu)秀電子

6、政務(wù)解決方案的推廣應(yīng)用等方式，幫助初創(chuàng)企業(yè)快速成長；另外，在社會服務(wù)領(lǐng)域，政府退到后臺，提供數(shù)據(jù)和基礎(chǔ)服務(wù)，讓企業(yè)直接面向社會提供貼近需求的服務(wù)。大數(shù)據(jù)在政務(wù)領(lǐng)域的應(yīng)用可以涉及到政務(wù)領(lǐng)域方方面面，今天因為時間有限，就領(lǐng)導決策、社會管理、公共服務(wù)等幾個方面做簡單說明。領(lǐng)導決策大數(shù)據(jù)的包容性將打開政府各部門間、政府與公眾間的邊界，信息孤島現(xiàn)象大幅消減，數(shù)據(jù)共享開放成為可能，而數(shù)據(jù)開放使得公眾更多的參與決策，這勢必直接影響組織怎樣作決策、誰來決策，甚至將改變決策過程和結(jié)果，同樣會帶來如下本質(zhì)的改變：直覺的判斷被迫讓位于精準的數(shù)據(jù)分析，人類必須依靠數(shù)據(jù)作決策，甚至將決策權(quán)完全交給數(shù)據(jù)。公眾多途徑參與，

7、必將深入影響政府決策。社會管理政府數(shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)相結(jié)合，分析艾滋病。公共服務(wù)通過對政府面向市民的互動數(shù)據(jù)的分析，為市民提供更精細化和個性化的服務(wù)，如對政府呼叫中心海量非結(jié)構(gòu)化的語音數(shù)據(jù)、服務(wù)過程和服務(wù)問題的分析處理，深度挖掘客服語音數(shù)據(jù)價值，可以更好的支撐服務(wù)和營銷，進一步改進政務(wù)呼叫中心工作。另外通過大數(shù)據(jù)搜集和分析民眾關(guān)心的問題，包括輿情、口碑等。為市民提供更好的服務(wù)。二、政務(wù)大數(shù)據(jù)應(yīng)用基礎(chǔ)和前提開展政務(wù)大數(shù)據(jù)應(yīng)用，需要具備哪些基礎(chǔ)工作和必備條件。在政務(wù)領(lǐng)域開展大數(shù)據(jù)應(yīng)用并不是從零開始，我們各級政府開展電子政務(wù)工作已經(jīng)多年，在很多領(lǐng)域都做了很多工作，為政務(wù)大數(shù)據(jù)應(yīng)用奠定堅實的基礎(chǔ)，歸納起

8、來有以下幾個方面：在信息資源管理的規(guī)章、制度、標準方面，國家和北京市政府相應(yīng)制定并出臺一系列規(guī)章制度，如關(guān)于加強信息資源開發(fā)利用工作的若干意見（中辦發(fā)200434號、中華人民共和國政府信息公開條例（國務(wù)院令第492號，2007）、關(guān)于加強政務(wù)信息資源管理的若干意見（京信發(fā)20092號）、北京市信息化促進條例（2007），第三章為信息資源開發(fā)利用、政務(wù)信息資源共享交換平臺管理辦法（京信辦發(fā)200813號）等。強化政務(wù)信息資源管理的基礎(chǔ)工作，如為加強電子政務(wù)基礎(chǔ)工作，2006年市信息辦發(fā)布關(guān)于加強部門電子政務(wù)基礎(chǔ)工作的通知，要求全市各部門按照“四清兩統(tǒng)一” 要求，做好業(yè)務(wù)、服務(wù)和信息資源梳理與目錄

9、編制工作等基礎(chǔ)工作。信息資源基礎(chǔ)建設(shè)設(shè)施方面，包括建立了完善的市共享交換平臺、物聯(lián)網(wǎng)應(yīng)用支撐平臺、移動管理平臺、政務(wù)云、四大基礎(chǔ)庫、各類重要信息系統(tǒng)及信息資源庫350余等基礎(chǔ)設(shè)施及核心業(yè)務(wù)信息方面工作。這些工作為開展政務(wù)領(lǐng)域大數(shù)據(jù)應(yīng)用奠定堅實的基礎(chǔ)。三、北京市市級大數(shù)據(jù)平臺頂層設(shè)計框架大數(shù)據(jù)在政務(wù)領(lǐng)域應(yīng)用，區(qū)別于以往重要一點是:更加強調(diào)的事政務(wù)大數(shù)據(jù)的開放和共享，一是委辦局之間政務(wù)數(shù)據(jù)資源的共享，二是面向社會公眾開放政務(wù)數(shù)據(jù)資源。政府部門及相關(guān)公共企事業(yè)不但要盡可能地開放數(shù)據(jù)資源，還要以購買服務(wù)或資源換投資等方式引入政務(wù)應(yīng)用與服務(wù)，發(fā)揮社會與市場的力量改善政府服務(wù)能力。政府數(shù)據(jù)的開放共享是大數(shù)

10、據(jù)在政務(wù)領(lǐng)域應(yīng)用的條件或前提。一些單位，如北京、上海分別建立了專門的網(wǎng)站，匯集各政府部門可開放的、有經(jīng)濟和社會利用價值的數(shù)據(jù)資源，為社會企業(yè)或個人服務(wù)開發(fā)者提供各類實時與非實時數(shù)據(jù)的下載和服務(wù)，目前已經(jīng)取得了一些的成效，并舉辦了推廣活動。如北京市政務(wù)數(shù)據(jù)資源網(wǎng)，成功舉辦了“2014年北京市政務(wù)數(shù)據(jù)資源網(wǎng)應(yīng)用創(chuàng)意大賽”，得到了社會公眾廣泛的關(guān)注，也涌現(xiàn)出了“曬公益平臺”、“優(yōu)質(zhì)幼兒園、中小學招生地圖”、“掌上交通綜合信息服務(wù)”等一批優(yōu)質(zhì)服務(wù)產(chǎn)品。作為北京來說我們已經(jīng)有了共享交換平臺、物聯(lián)網(wǎng)平臺還有政府數(shù)據(jù)開放網(wǎng)站等重要的信息化基礎(chǔ)設(shè)施，為什么還需要重新規(guī)劃一個市級的大數(shù)據(jù)平臺？它與現(xiàn)有的這些平臺

11、和系統(tǒng)是什么關(guān)系？與各委辦局的大數(shù)據(jù)應(yīng)用系統(tǒng)又是什么關(guān)系？這是由他的功能定位來確定的。這個平臺不同于以往的共享交換平臺，強調(diào)的是數(shù)據(jù)的融合、使用、落地。有些數(shù)據(jù)比如涉及政府內(nèi)部數(shù)據(jù)如人口數(shù)據(jù)、醫(yī)保數(shù)據(jù)等是買不到的。還有視頻數(shù)據(jù)不是可以隨便安攝像頭采集的。還強調(diào)了對現(xiàn)有平臺、系統(tǒng)及數(shù)據(jù)資源的調(diào)度管理。（一）平臺定位及與其他系統(tǒng)關(guān)系與委辦局大數(shù)據(jù)應(yīng)用系統(tǒng)關(guān)系：首先，各委辦局或區(qū)縣可以按照自身業(yè)務(wù)需要建設(shè)大數(shù)據(jù)系統(tǒng)，也可以為市級大數(shù)據(jù)平臺提供部分數(shù)據(jù)，并可以從市級政務(wù)大數(shù)據(jù)平臺獲取各類大數(shù)據(jù)資源。其次，各專項大數(shù)據(jù)應(yīng)用是在各委辦自己大數(shù)據(jù)應(yīng)用系統(tǒng)中完成。與現(xiàn)有信息化基礎(chǔ)設(shè)施與系統(tǒng)關(guān)系：市級政務(wù)大數(shù)據(jù)

12、平臺充分利用原系統(tǒng)和平臺已經(jīng)實現(xiàn)的功能，并融合現(xiàn)有數(shù)據(jù)和新數(shù)據(jù)，具有現(xiàn)有系統(tǒng)無法實現(xiàn)的海量數(shù)據(jù)快速處理能力。（二）市級政務(wù)大數(shù)據(jù)平臺的功能目標提供各類數(shù)據(jù)的融合與共享服務(wù)；提供空間、法人、人口基礎(chǔ)融合數(shù)據(jù)資；提供大數(shù)據(jù)目錄的注冊、發(fā)布、查詢、獲取、應(yīng)用等服務(wù)。向各委辦局大數(shù)據(jù)應(yīng)用平臺提供大數(shù)據(jù)服務(wù)支撐，通過首都之窗、Data網(wǎng)站等辦公門戶向政府部門和社會公共提供數(shù)據(jù)使用服務(wù)。為需求單位提供大數(shù)據(jù)處理通用接口及工具，并統(tǒng)一實現(xiàn)與外部數(shù)據(jù)的接入服務(wù)。通過物聯(lián)網(wǎng)平臺、互聯(lián)網(wǎng)平臺、共享交換平臺等信息化基礎(chǔ)設(shè)施和系統(tǒng)匯集、存儲、分析相關(guān)數(shù)據(jù)資源。強調(diào)了對各類數(shù)據(jù)的處理能力，包括對結(jié)構(gòu)化的、非結(jié)構(gòu)化的、音

13、頻、視頻、包括各種結(jié)構(gòu)的數(shù)據(jù)處理能力，特別是有來自于物聯(lián)網(wǎng)的實時數(shù)據(jù)，和互聯(lián)網(wǎng)的日志數(shù)據(jù)等。下面我們來看一下，市級大數(shù)據(jù)平臺的業(yè)務(wù)模型框架、數(shù)據(jù)模型框架、技術(shù)模型框架。（三）總體功能架構(gòu)（四）核心功能（1）對基礎(chǔ)庫、物理網(wǎng)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、外部數(shù)據(jù)的采集匯聚。（2）對以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù)的融合處理。（3）對以非結(jié)構(gòu)化、音頻、視頻等新型數(shù)據(jù)為主的融合處理。（4）數(shù)據(jù)質(zhì)量管控：通過對數(shù)據(jù)，應(yīng)用，系統(tǒng)綜合管理，構(gòu)建標準化、流程化、自動化、一體化的數(shù)據(jù)管理體系。（5）跨平臺調(diào)度實現(xiàn)數(shù)據(jù)互聯(lián)互通，統(tǒng)一管控：提供跨系統(tǒng)跨平臺的任務(wù)調(diào)度功能，與各子系統(tǒng)緊密接合，涵蓋接口子系統(tǒng)、維護子系統(tǒng)、云平臺、接口

14、分發(fā)平臺。（五）技術(shù)架構(gòu)政務(wù)大數(shù)據(jù)平臺的技術(shù)架構(gòu)采用混搭模式，一方面不改變已有的原始數(shù)據(jù)的存儲和管理方式，另一方面，采用大數(shù)據(jù)新技術(shù)處理原有方式不能處理的新數(shù)據(jù)，重點是對非結(jié)構(gòu)化、新數(shù)據(jù)的處理。首先，各委辦局通過市級大數(shù)據(jù)平臺可以實現(xiàn)數(shù)據(jù)的共享和融合，并在此基礎(chǔ)上開展各自的大數(shù)據(jù)應(yīng)用，如北京市有很多部門負責并參與中小企業(yè)數(shù)的統(tǒng)計工作，如地稅、海關(guān)、工商、經(jīng)信委等，這些部門均有各自數(shù)據(jù)采集的渠道和途徑，但是北京市到底有多少中小企業(yè)，每個部門都很難說清楚，也無法統(tǒng)一，對于這個問題，通過市級政務(wù)大數(shù)據(jù)平臺數(shù)據(jù)比對、分析、處理，再經(jīng)過一定的算法得出大家一致認可的統(tǒng)一的中小企業(yè)數(shù)和清單，并在此基礎(chǔ)上進行

15、數(shù)據(jù)分析、數(shù)據(jù)查重等融合處理，使得原有單純交換來的數(shù)據(jù)，產(chǎn)生了本質(zhì)的變化。其次，市級政務(wù)大數(shù)據(jù)平臺具備新數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的處理能力。各單位不具備通用數(shù)據(jù)的處理以及非結(jié)構(gòu)化數(shù)據(jù)的處理能力和基礎(chǔ)設(shè)施，而市級政務(wù)大數(shù)據(jù)平臺，充分利用市共享交換平臺、四大基礎(chǔ)庫、一系列門戶和網(wǎng)站實現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度和管理，促進數(shù)據(jù)交換和共享。綜上所述，市級政務(wù)大數(shù)據(jù)平臺不僅可以自帶基礎(chǔ)數(shù)據(jù)，同時還可以匯集新數(shù)據(jù)如音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，并對數(shù)據(jù)進行分析、處理，可以為各委辦局提供更有價值的多維度的融合數(shù)據(jù)資源。四、智能交通大數(shù)據(jù)應(yīng)用示范（一）新一代智能交通系統(tǒng)對數(shù)據(jù)整合需求交通共享交換數(shù)據(jù)中心（交通委與交管局）建設(shè)應(yīng)列

16、入日程，并統(tǒng)籌全市域的政府交通路況信息發(fā)布；政府部門之間數(shù)據(jù)融合共享，各類數(shù)據(jù)包括交通領(lǐng)域、城市規(guī)劃、人口分布、法人及空間地理等數(shù)據(jù)融合共享，以從整體、系統(tǒng)上、研究緩解交通擁堵、保護環(huán)境的治本措施；政府TO企業(yè)；企業(yè)TO企業(yè)數(shù)據(jù)共享機制，加大交通數(shù)據(jù)資源向社會開放共享力度。（二）交通領(lǐng)域數(shù)據(jù)與其他相關(guān)數(shù)據(jù)融合1. 交通信息分散、碎片化情況市交通委掌握的浮動車實時路況信息、一卡通信息、道路基礎(chǔ)設(shè)施等信息，主要覆蓋范圍五環(huán)內(nèi)城市道路；交管局掌握的固定檢測器實時路況信息、視頻信息、交通事件、事故、施工等信息，覆蓋范圍為環(huán)路及城市快速路；經(jīng)信委及其他局掌握的公眾出行相關(guān)的地理空間、位置圖層、應(yīng)急物聯(lián)網(wǎng)

17、信息、人口、法人等信息；電信運營商的信令數(shù)據(jù)及互聯(lián)網(wǎng)等信息，覆蓋范圍為全市域；來自交通臺的廣播信息，來自相關(guān)互聯(lián)網(wǎng)微博、微信信息。2. 各類交通信息融合采用最新的大數(shù)據(jù)融合處理技術(shù)，通過市級政務(wù)大數(shù)據(jù)平臺，由大數(shù)據(jù)應(yīng)用需求單位負責具體實現(xiàn)各方數(shù)據(jù)的匯聚、加工融合與共享交換，形成更為全面、準確、及時的完整、全市域道路實時路況及出行位置信息服務(wù)。以上工作研究團隊成員有亞信、北航、中興、數(shù)貝、太極等?，F(xiàn)在正在搭建北京市政務(wù)大數(shù)據(jù)平臺及應(yīng)用示范的原型系統(tǒng)。下面我們看一下基于這個平臺我們做的應(yīng)用方案。（三）應(yīng)用案例示范示范1：交通多源異構(gòu)數(shù)據(jù)融合模型場景化的空間、時間、主題的數(shù)據(jù)融合示范2：北京市中心區(qū)

18、域各公交站點的居住強度和就業(yè)強度示范3：北京市地面公交高峰期客流量分布示范4：城市范圍出租車聚集分析示范5：天通苑住戶流量分析住戶主要通往市38個區(qū)域僅有8個區(qū)域具有高聚集特征五、小結(jié)大數(shù)據(jù)政務(wù)應(yīng)用環(huán)境和相關(guān)技術(shù)還不是十分成熟，具體表現(xiàn)在：在政府方面亟需出臺的制度應(yīng)包括：政府數(shù)據(jù)資源開放共享、政府數(shù)據(jù)資源安全與個人信息保護以及以市場手段推動信息資源的社會化開發(fā)利用。如北京市國家機關(guān)個人信息保護管理辦法（送審稿）、北京市政務(wù)信息資源開放管理辦法（送審稿）、政務(wù)信息資源資產(chǎn)化管理研究報告。在企業(yè)相關(guān)準備工作也未就緒，如在使用政府數(shù)據(jù)、用戶信息資源管理政策還未建立，特別是涉及個人隱私保護政策方面還是很難讓人放心，有些企業(yè)的信息使用商業(yè)色彩過于濃厚。一些人以為有了大數(shù)據(jù)什么都可以做，國際著名學者Michael I. Jordan表示：現(xiàn)在大家炒