創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案

1、 創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案 36/36創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案目錄 TOC o 1-5 h z u HYPERLINK l _Toc520642182 1建設大數(shù)據(jù)平臺的目的 PAGEREF _Toc520642182 h 3 HYPERLINK l _Toc520642183 2大數(shù)據(jù)平臺帶來的價值 PAGEREF _Toc520642183 h 3 HYPERLINK l _Toc520642184 3投資建設的內容 PAGEREF _Toc520642184 h 6 HYPERLINK l _Toc520642185 3.1大數(shù)據(jù)支撐體系建設 PAGEREF _Toc5

2、20642185 h 6 HYPERLINK l _Toc520642186 3.1.1大數(shù)據(jù)支撐平臺 PAGEREF _Toc520642186 h 7 HYPERLINK l _Toc520642187 3.1.1.1基礎設施支撐平臺IaaS PAGEREF _Toc520642187 h 8 HYPERLINK l _Toc520642188 3.1.1.2大數(shù)據(jù)分析處理平臺PaaS PAGEREF _Toc520642188 h 8 HYPERLINK l _Toc520642189 3.1.1.3大數(shù)據(jù)典型示范應用層SaaS PAGEREF _Toc520642189 h 9 HYP

3、ERLINK l _Toc520642190 3.1.1.4標準和先進的平臺 PAGEREF _Toc520642190 h 9 HYPERLINK l _Toc520642191 3.1.1.5互聯(lián)網(wǎng)輿情信息模塊 PAGEREF _Toc520642191 h 11 HYPERLINK l _Toc520642192 3.1.2數(shù)據(jù)管理子系統(tǒng) PAGEREF _Toc520642192 h 13 HYPERLINK l _Toc520642193 3.1.2.1元數(shù)據(jù)服務系統(tǒng) PAGEREF _Toc520642193 h 13 HYPERLINK l _Toc520642194 3.1.2

4、.2數(shù)據(jù)目錄和接口標準管理系統(tǒng) PAGEREF _Toc520642194 h 14 HYPERLINK l _Toc520642195 3.1.2.3數(shù)據(jù)挖掘和分析系統(tǒng) PAGEREF _Toc520642195 h 16 HYPERLINK l _Toc520642196 3.1.2.4數(shù)據(jù)信息管理系統(tǒng) PAGEREF _Toc520642196 h 18 HYPERLINK l _Toc520642197 3.1.2.5數(shù)據(jù)日志系統(tǒng) PAGEREF _Toc520642197 h 18 HYPERLINK l _Toc520642198 3.1.2.6數(shù)據(jù)審計系統(tǒng) PAGEREF _To

5、c520642198 h 19 HYPERLINK l _Toc520642199 3.1.2.7數(shù)據(jù)使用權標記系統(tǒng) PAGEREF _Toc520642199 h 19 HYPERLINK l _Toc520642200 3.1.3創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng) PAGEREF _Toc520642200 h 20 HYPERLINK l _Toc520642201 3.1.3.1創(chuàng)新創(chuàng)業(yè)應用管理系統(tǒng) PAGEREF _Toc520642201 h 20 HYPERLINK l _Toc520642202 3.1.3.2開放數(shù)據(jù)API管理系統(tǒng) PAGEREF _Toc520642202 h 20 HYP

6、ERLINK l _Toc520642203 3.1.4數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng) PAGEREF _Toc520642203 h 21 HYPERLINK l _Toc520642204 3.1.4.1數(shù)據(jù)統(tǒng)一展示門戶 PAGEREF _Toc520642204 h 21 HYPERLINK l _Toc520642205 3.1.4.2數(shù)據(jù)共享交換系統(tǒng) PAGEREF _Toc520642205 h 24 HYPERLINK l _Toc520642206 3.1.4.3數(shù)據(jù)訪問規(guī)則系統(tǒng) PAGEREF _Toc520642206 h 24 HYPERLINK l _Toc520642207

7、3.1.5用戶及權限管理子系統(tǒng) PAGEREF _Toc520642207 h 25 HYPERLINK l _Toc520642208 3.1.5.1用戶信息管理系統(tǒng) PAGEREF _Toc520642208 h 25 HYPERLINK l _Toc520642209 3.1.5.2授權管理系統(tǒng) PAGEREF _Toc520642209 h 26 HYPERLINK l _Toc520642210 3.1.5.3身份認證與訪問控制系統(tǒng) PAGEREF _Toc520642210 h 27 HYPERLINK l _Toc520642211 3.2大數(shù)據(jù)平臺運營維護服務 PAGEREF

8、_Toc520642211 h 28 HYPERLINK l _Toc520642212 3.2.1平臺內部資源的監(jiān)控管理 PAGEREF _Toc520642212 h 28 HYPERLINK l _Toc520642213 3.2.2平臺故障處理管理 PAGEREF _Toc520642213 h 30 HYPERLINK l _Toc520642214 3.2.3日常平臺管理任務自動化 PAGEREF _Toc520642214 h 31 HYPERLINK l _Toc520642215 3.2.4故障處理自動化 PAGEREF _Toc520642215 h 31 HYPERLIN

9、K l _Toc520642216 3.3科研專家和數(shù)據(jù)資源 PAGEREF _Toc520642216 h 32 HYPERLINK l _Toc520642217 4項目收費和收益模型 PAGEREF _Toc520642217 h 33 HYPERLINK l _Toc520642218 4.1平臺運營服務 PAGEREF _Toc520642218 h 33 HYPERLINK l _Toc520642219 4.2數(shù)據(jù)運營服務收益 PAGEREF _Toc520642219 h 34 HYPERLINK l _Toc520642220 4.3大數(shù)據(jù)產(chǎn)業(yè)鏈發(fā)展促進收益 PAGEREF

10、_Toc520642220 h 34 HYPERLINK l _Toc520642221 4.4政府社會收益 PAGEREF _Toc520642221 h 35 HYPERLINK l _Toc520642222 5項目建設階段目標 PAGEREF _Toc520642222 h 35建設大數(shù)據(jù)平臺的目的大數(shù)據(jù)正在改變信息社會，我們正從IT時代走向DT時代。大數(shù)據(jù)產(chǎn)業(yè)，作為國家戰(zhàn)略新興產(chǎn)業(yè)，受到各級政府的高度重視。大數(shù)據(jù)產(chǎn)業(yè)建設，通過“政府引導、市場主導”的模式建設一個數(shù)據(jù)驅動的創(chuàng)新創(chuàng)業(yè)生態(tài)環(huán)境，改變當下政務數(shù)據(jù)的分散、獨立的現(xiàn)狀，充分利用“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”的創(chuàng)新創(chuàng)業(yè)熱潮，積極建設一個以

11、數(shù)據(jù)驅動的運營體系、創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈、政務數(shù)據(jù)共享交換、智慧城市大數(shù)據(jù)支撐平臺為核心目的的大數(shù)據(jù)全產(chǎn)業(yè)鏈的生態(tài)環(huán)境。以“一點創(chuàng)新，全盤激活”為引導思路，“一平臺，多應用”為框架設計思路，在人才培育體系建立、就業(yè)崗位增加、產(chǎn)業(yè)發(fā)展空間和產(chǎn)值提升等方面真切的做到為政府提供全方位的服務，從而為產(chǎn)業(yè)發(fā)展現(xiàn)狀形成標桿性的發(fā)展格局，夯實大數(shù)據(jù)產(chǎn)業(yè)發(fā)展基礎。進一步推進“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”，讓創(chuàng)業(yè)創(chuàng)新成為經(jīng)濟增長的“倍增器”、發(fā)展方式的“轉換器”， 讓“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”在全社會蔚然成風；支撐政府在更高的平臺上實現(xiàn)經(jīng)濟可持續(xù)發(fā)展，為產(chǎn)業(yè)轉型升級提供經(jīng)驗和啟示。大數(shù)據(jù)平臺帶來的價值創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平

12、臺可以帶來巨大的產(chǎn)業(yè)發(fā)展空間、解決諸多歷史問題、明確城市產(chǎn)業(yè)的發(fā)展方向以及帶動相關產(chǎn)業(yè)的協(xié)同發(fā)展，具體表現(xiàn)在：數(shù)據(jù)運營體系的建立：建立以數(shù)據(jù)為核心資產(chǎn)和驅動力的運營體系，全面利用智慧城市框架內各類垂直業(yè)務的運營數(shù)據(jù)、國信優(yōu)易擁有的可訪問的700T國家部分部委的政務數(shù)據(jù)、區(qū)域政府的各委辦局的政務數(shù)據(jù)等高價值的數(shù)據(jù)資產(chǎn)，并為之配套形成標桿性的規(guī)范與標準，對于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展方向無疑會產(chǎn)生標志性的里程碑意義。依托國信優(yōu)易的未來國家級大數(shù)據(jù)共享促進中心的發(fā)展定位，創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺作為區(qū)域內唯一的國信優(yōu)易所擁有的國家部委重要數(shù)據(jù)資源的訪問接口，在未來以數(shù)據(jù)驅動的運營體系中會處于非常有利的發(fā)展格局。創(chuàng)新創(chuàng)

13、業(yè)生態(tài)的孵化：以數(shù)據(jù)為基礎的創(chuàng)新創(chuàng)業(yè)平臺，不僅迎合了國家“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”的政策，可以為政府服務，產(chǎn)生很多就業(yè)機會，形成有效的匯聚人才、吸引投資的強大磁場。數(shù)據(jù)作為政府的核心資產(chǎn)，有數(shù)據(jù)就有機遇，就會有人才培養(yǎng)和孵化的潤土。大數(shù)據(jù)產(chǎn)業(yè)鏈的打造：結合大數(shù)據(jù)產(chǎn)業(yè)發(fā)展目標，充分利用創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺中擁有的高價值智慧城市運營數(shù)據(jù)、國信優(yōu)易數(shù)據(jù)、政務數(shù)居等核心資源，打造以數(shù)據(jù)為核心的產(chǎn)業(yè)鏈：產(chǎn)業(yè)鏈上游為各類數(shù)據(jù)擁有者和數(shù)據(jù)制造者；產(chǎn)業(yè)鏈中游為各種數(shù)據(jù)加工、創(chuàng)新創(chuàng)業(yè)、數(shù)據(jù)使用者，讓數(shù)據(jù)成為產(chǎn)業(yè)鏈的“石油”資源，驅動產(chǎn)業(yè)鏈的良性發(fā)展；產(chǎn)業(yè)鏈下游為政府或者社會企業(yè)對數(shù)據(jù)加工創(chuàng)新環(huán)節(jié)產(chǎn)生的各類落地的應用和

14、商業(yè)模式進行投資和運營；通過大數(shù)據(jù)產(chǎn)業(yè)鏈的良性循環(huán)，為政府帶來百億級別的產(chǎn)業(yè)發(fā)展機遇和上億的產(chǎn)值。智慧城市數(shù)據(jù)互聯(lián)支撐：智慧城市發(fā)展規(guī)劃的頂層設計會涉及到很多的底層數(shù)據(jù)和上層應用，將各類垂直應用的運營數(shù)據(jù)接入到統(tǒng)一的智慧城市數(shù)據(jù)支撐平臺中，可以為未來智慧城市建設產(chǎn)生的數(shù)據(jù)的互聯(lián)互通提供基礎支撐，為數(shù)據(jù)的運營體系提供充足的血液。政務數(shù)據(jù)共享交換：通過對各個委辦局數(shù)據(jù)孤島中各類數(shù)據(jù)的分類、數(shù)據(jù)目錄定義、數(shù)據(jù)挖局、數(shù)據(jù)分析、數(shù)據(jù)清理、數(shù)據(jù)脫敏、數(shù)據(jù)水印、權限管控、數(shù)據(jù)熱度模型等各類數(shù)據(jù)的生產(chǎn)加工，為上層基于數(shù)據(jù)的共享創(chuàng)新等應用提供足夠數(shù)據(jù)支撐；同時政府也可充分利用民生數(shù)據(jù)，脫敏利用后最大限度的做到服

15、務于民。成都XXX數(shù)碼科技股份有限公司（以下簡稱“XXX數(shù)碼”）成立于2005年，管理團隊均來自世界五百強，具備豐富的資本運作、市場運營經(jīng)驗，依托與電子科技大學成立的“機器學習和數(shù)據(jù)智能”聯(lián)合實驗室，在大數(shù)據(jù)平臺、數(shù)據(jù)分析和算法融合、應用開發(fā)等領域有豐富的項目經(jīng)驗和實力，成功承接過數(shù)十個政府大型項目的建設，運營和運維工作。XXX數(shù)碼期望借助本地化企業(yè)的優(yōu)勢，承擔創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺的項目建設及后期運營工作，組建最優(yōu)秀的專家團隊，在頂層設計、建設以及運營工作等方面高質量、按計劃的完成。投資建設的內容創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目的投資建設，因為涉及的軟硬件資源、咨詢溝通、信息數(shù)據(jù)等內容繁多，XXX數(shù)碼結合

16、政府相關的項目經(jīng)驗，對初步建議的投資模式進行了如下的歸納總結。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目主要涉及到三個方面的投資建設內容，包括：1）大數(shù)據(jù)支撐體系的建設2）大數(shù)據(jù)平臺運營維護服務3）科研專家和數(shù)據(jù)資源服務投入具體投資建設內容如下：大數(shù)據(jù)支撐體系建設為了實現(xiàn)政務數(shù)據(jù)的共享創(chuàng)新體系的建立，對政務數(shù)據(jù)需要有完備的分析處理體系，以支撐整個創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈的健康發(fā)展，而且國信優(yōu)易擁有高質量的國家部委的各類數(shù)據(jù)，為了能有效的訪問到經(jīng)過國信優(yōu)易授權的各類數(shù)據(jù)，建設內容已經(jīng)充分考慮應用國內目前成熟和先進的技術，最大限度復用國信優(yōu)易大數(shù)據(jù)平臺的成熟穩(wěn)定的技術架構和實現(xiàn)，結合特定需求的元數(shù)據(jù)管理、數(shù)據(jù)分類、

17、數(shù)據(jù)審計、數(shù)據(jù)審核、數(shù)據(jù)評估、數(shù)據(jù)定級、數(shù)據(jù)發(fā)布、數(shù)據(jù)水印管理、數(shù)據(jù)開放接口管理、數(shù)據(jù)展示統(tǒng)一門戶系統(tǒng)、身份權限管理、用戶管理、平臺門戶系統(tǒng)、其他接口和應用平臺等符合本地實際情況的定制開發(fā)等建設內容。大數(shù)據(jù)支撐體系是整個創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目的核心支撐，也是投資建設難度最大的一個投資建設任務之一。包括：大數(shù)據(jù)支撐平臺創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺承擔了智慧城市底層支撐、政務數(shù)據(jù)共享交換、互聯(lián)網(wǎng)數(shù)據(jù)存儲、國信優(yōu)易數(shù)據(jù)訪問接口等多個核心業(yè)務需求，平臺自身需要具備和采用先進的經(jīng)過深度優(yōu)化大數(shù)據(jù)技術、分布式存儲計算和算法模型、高并發(fā)和快速響應的高速緩存架構等，建設一個基于SOA框架的大數(shù)據(jù)能力核心平臺，作為整個項

18、目的數(shù)據(jù)智慧處理中心，需要支持多種數(shù)據(jù)源的匯集 （政務數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、行業(yè)數(shù)據(jù)等），支持不同的數(shù)據(jù)格式（結構化數(shù)據(jù)、非結構化數(shù)據(jù)以及流數(shù)據(jù)等）。在繁雜的數(shù)據(jù)接入要求的情況下，采用基于總線機制的數(shù)據(jù)接入系統(tǒng)，可以快速有效的完成數(shù)據(jù)接入的要求以及提供豐富和靈活的擴展性。大數(shù)據(jù)支撐平臺的建設計劃采取復用國信優(yōu)易成熟的大數(shù)據(jù)平臺產(chǎn)品的思路，一是確保了與國信優(yōu)易的數(shù)據(jù)接口訪問互通的一致性、二是成熟的產(chǎn)品架構確保了運行的穩(wěn)定性、技術的先進性。平臺的總體邏輯架構分為三層：基礎設施層（IaaS層）、大數(shù)據(jù)平臺層（PaaS層），以及大數(shù)據(jù)應用層（SaaS層）?；A設施層依托于分布式存儲架構，大數(shù)據(jù)平臺層則提供

19、了包括數(shù)據(jù)接入、分析、共享和平臺管理在內的大數(shù)據(jù)分析處理功能，最后由大數(shù)據(jù)應用層提供的各種大數(shù)據(jù)應用來充分展示大數(shù)據(jù)平臺的數(shù)據(jù)處理能力和共享能力。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺邏輯架構設計基礎設施支撐平臺IaaS政務大數(shù)據(jù)平臺將充分利用區(qū)域政務中心（或信息中心）提供的基礎設施資源，如：計算、存儲、備份、網(wǎng)絡和安全防護等，從而為政務大數(shù)據(jù)平臺提供一個穩(wěn)定可靠、高性能、擴展性強、易于管理的基礎設施平臺，IaaS層中基礎的服務器和網(wǎng)絡等資源計劃盡量復用現(xiàn)有的硬件資源。大數(shù)據(jù)分析處理平臺PaaS政務大數(shù)據(jù)平臺利用數(shù)據(jù)接入服務，將在云計算中心部署的政務應用中存在的政務信息資源以及互聯(lián)網(wǎng)數(shù)據(jù)進行統(tǒng)一的接入，經(jīng)過對

20、結構化和非結構化數(shù)據(jù)進行處理后，匯總形成總計21個一級類，133個二級類的政務大數(shù)據(jù)目錄庫，實現(xiàn)資源的查詢、檢索以及共享利用。同時，構建高效的大數(shù)據(jù)分析系統(tǒng)，利用分布式數(shù)據(jù)處理、分析工具和展示工具，為上層應用服務提供大數(shù)據(jù)處理和分析能力。此外，利用大數(shù)據(jù)門戶，為政府各委辦局、社會公眾、社會應用開發(fā)商提供資源查詢、信息公開和數(shù)據(jù)服務。大數(shù)據(jù)典型示范應用層SaaS利用基礎設施支撐平臺和分析處理平臺構建基礎云端應用服務能力，建設數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)促進系統(tǒng)、數(shù)據(jù)創(chuàng)新競賽等提云端應用服務，在平臺落地建設完畢時，即可提供具體應用提升人氣，產(chǎn)生數(shù)據(jù)價值。標準和先進的平臺大數(shù)據(jù)平臺規(guī)劃設計完全符合國家的宏觀政策和各

21、類標準，在標準規(guī)范層面，通過建立政務大數(shù)據(jù)平臺的數(shù)據(jù)目錄編制規(guī)范、數(shù)據(jù)權限管理規(guī)范、運行標準規(guī)范、平臺安全與運維標準規(guī)范、數(shù)據(jù)交換接口規(guī)范，為平臺的運行、維護與安全級權限控制管理等方面提供標準規(guī)范依據(jù)。大數(shù)據(jù)平臺的核心技術優(yōu)勢明顯，以整體高可用性、靈活的可擴展性、技術先進性為原則，打造適合于政府的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的支撐平臺：雙總線技術的SOA框架: 平臺層采用基于政務服務總線（GSB）及政務數(shù)據(jù)總線（GDB）雙總線架構的SOA框架。GDB主要負責數(shù)據(jù)的接入和交換，GSB主要負責對內對外的提供統(tǒng)一的服務接口。深度優(yōu)化的分布式異構存儲技術: 平臺使用了經(jīng)過深度優(yōu)化的HDFS、HBase與集群關系數(shù)據(jù)

22、庫相結合的異構存儲方案，利用基于內存交換技術的高速緩存和高性能數(shù)據(jù)中間件實現(xiàn)了高并發(fā)的異構存儲體系。自主知識產(chǎn)權的高效算法和分布式計算框架：平臺內部集成了幾十種自主知識產(chǎn)權的經(jīng)過十多年技術沉淀的算法集合，利用MapReduce和Spark的高效分布式計算框架，實現(xiàn)各類復雜數(shù)據(jù)挖掘和分析需求。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺功能層次架構設計互聯(lián)網(wǎng)輿情信息模塊據(jù)不完全統(tǒng)計，中國網(wǎng)民規(guī)模達6.32億，互聯(lián)網(wǎng)普及率為46.9%，網(wǎng)絡已經(jīng)成為超越廣播、報紙、電視的第一大信息傳播媒介。42%的消費者擁有博客或個人空間。61.7%的網(wǎng)民在購買之前到網(wǎng)絡社區(qū)（如垂直網(wǎng)站、論壇、博客或問答）尋求推薦和建議。34%的博主發(fā)

23、表關于產(chǎn)品和品牌的意見。73%的消費者在網(wǎng)上交流觀點。76%的網(wǎng)民將網(wǎng)絡口碑作為了解產(chǎn)品和服務最可靠的信息源。78%的消費者相信朋友的推薦。在選擇商品和服務時，人們更加關注他們在網(wǎng)絡上的排行。不到10%的網(wǎng)民發(fā)表著超過80%的原創(chuàng)言論，并吸引著超過90%的點擊率。根據(jù)權威媒體統(tǒng)計，69%的政府和企業(yè)危機來自于互聯(lián)網(wǎng)。對互聯(lián)網(wǎng)信息的接入將在信息資源的規(guī)模上對大數(shù)據(jù)提供更加豐富的數(shù)據(jù)資源。本項目將對互聯(lián)網(wǎng)門戶網(wǎng)站、網(wǎng)絡社交論壇、微博輿論信息等相關信息資源進行接入?；ヂ?lián)網(wǎng)分布式爬蟲對互聯(lián)網(wǎng)數(shù)據(jù)的獲取主要依賴于網(wǎng)絡爬蟲技術實現(xiàn)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺采用先進的分布式網(wǎng)絡爬蟲框架，由框架完成爬蟲的統(tǒng)一調度、

24、管理和維護工作，以及被采集數(shù)據(jù)的統(tǒng)一存儲工作。爬蟲使用者只需要進行簡單的配置或開發(fā)極少量腳本代碼即可完成一個復雜頁面甚至網(wǎng)站的爬取工作。另外，平臺在合法范圍內適當利用反防爬蟲技術，如驗證碼識別、動態(tài)IP、動態(tài)用戶等，從而保障互聯(lián)網(wǎng)數(shù)據(jù)的有效獲取，減少人工干預，節(jié)約成本。平臺提供部分互聯(lián)網(wǎng)門戶網(wǎng)站、網(wǎng)絡社交論壇、微博等系統(tǒng)的爬蟲，并采集相應數(shù)據(jù)以供平臺使用。對于以后新增的應用，如果需要用到其他網(wǎng)站的數(shù)據(jù)，則可以基于爬蟲框架，使用平臺提供的SDK套件開發(fā)相應的爬蟲?；ヂ?lián)網(wǎng)門戶網(wǎng)站信息獲取接入互聯(lián)網(wǎng)門戶網(wǎng)站信息獲取接入是利用分布式網(wǎng)頁爬取技術，以及基于行業(yè)領域字庫的模式識別技術，實現(xiàn)對各類新聞門戶網(wǎng)

25、站、行業(yè)領域專業(yè)門戶網(wǎng)站等相關B/S網(wǎng)頁進行實時解析獲取符合條件的數(shù)據(jù)。互聯(lián)網(wǎng)門戶網(wǎng)站信息爬取的對象如下：對新華網(wǎng)、人民網(wǎng)、中國新聞網(wǎng)、新浪網(wǎng)、搜狐網(wǎng)、騰訊網(wǎng)、網(wǎng)易網(wǎng)、鳳凰網(wǎng)、省級新聞網(wǎng)等各大綜合類新聞網(wǎng)站的實時監(jiān)控，獲取符合條件的電子政務相關的信息。對中國氣象網(wǎng)、中國地震臺網(wǎng)、交通網(wǎng)、減災網(wǎng)等行業(yè)領域門戶網(wǎng)站的實時監(jiān)控，獲取氣象、地震、交通、自然災害信息。其他政府期望及時獲取的有價值互聯(lián)網(wǎng)信息等。網(wǎng)絡社交論壇信息獲取與門戶網(wǎng)站信息獲取方式類似，網(wǎng)絡社交論壇信息獲取同樣通過網(wǎng)頁的爬取技術獲取互聯(lián)網(wǎng)中的社交論壇信息。主要提供以下相關內容的獲?。簩μ煅纳鐓^(qū)、貓撲社區(qū)、搜狐論壇、鳳凰論壇、網(wǎng)易論壇、

26、新浪論壇、凱迪社區(qū)、強國論壇、中華網(wǎng)論壇、新華網(wǎng)論壇、環(huán)球網(wǎng)論壇、紅網(wǎng)論壇等眾多主流論壇的信息進行實時監(jiān)控，獲取符合條件的電子政務相關的信息。對搜狗說吧、百度貼吧等公共交流平臺中的信息進行監(jiān)控，獲取網(wǎng)民反映電子政務相關的信息內容。微博信息獲取微博信息獲取主要通過調用爬蟲對新浪微博的網(wǎng)頁爬取方式，對微博用戶發(fā)布的信息進行實時的爬取，微博信息可以進行基礎的統(tǒng)計分析，為未來深層次利用做好準備。數(shù)據(jù)管理子系統(tǒng)元數(shù)據(jù)服務系統(tǒng)元數(shù)據(jù)庫管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供根據(jù)數(shù)據(jù)平臺內部的元數(shù)據(jù)標準（數(shù)據(jù)描述元數(shù)據(jù)、服務信息元數(shù)據(jù)），分別進行對應元數(shù)據(jù)庫的創(chuàng)建與管理的功能。元數(shù)據(jù)管理基于Web瀏覽器

27、端，向后臺系統(tǒng)管理員提供對元數(shù)據(jù)文件導入的功能?；趩螜C版元數(shù)據(jù)編輯器，向后臺系統(tǒng)管理員提供對數(shù)據(jù)描述元數(shù)據(jù)的創(chuàng)建編輯保存功能。提供基于元數(shù)據(jù)檢索、元數(shù)據(jù)入庫存儲、元數(shù)據(jù)修改刪除功能的元數(shù)據(jù)管理WebService服務。元數(shù)據(jù)服務管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供啟停元數(shù)據(jù)服務的功能。數(shù)據(jù)目錄和接口標準管理系統(tǒng)大數(shù)據(jù)資源目錄體系梳理包括對政務信息資源核心元數(shù)據(jù)標準、分類標準、標識編碼標準等方面進行梳理。參考國家對政務信息資源分類體系的制定標準，經(jīng)過先期梳理，可將政務大數(shù)據(jù)資源目錄梳理為 21個一級類，133個二級類。代碼目錄名稱描述和說明ZA綜合政務關于政治方面的事物和和國家的管理工

28、作ZAA政務綜合類與政務管理相關的綜合性事務，包括政務督查、電子政務、信息公開ZAB方針政策政府制訂的、宏觀的、指導各個領域發(fā)展的方針政策ZAD政府工作關于政府的規(guī)章制度、組織機構建設和發(fā)展，以及工作職責等相關信息ZAE機構編制關于機構編制的管理、機構體系的當前概況和遠景規(guī)劃ZAF政府領導關于政府各級領導的簡歷、工作崗位、工作活動、講話等相關信息ZAG會議、會務會議產(chǎn)生的文件等相關信息，以及會議組織、管理的相關信息ZAH重大事件有深遠影響的事件的相關信息ZB經(jīng)濟管理關于經(jīng)濟的管理、規(guī)劃、發(fā)展概況ZBA經(jīng)濟管理綜合類ZBB經(jīng)濟發(fā)展計劃關于經(jīng)濟的宏觀的發(fā)展規(guī)劃ZBC經(jīng)濟管理關于經(jīng)濟的宏觀管理現(xiàn)狀Z

29、BD經(jīng)濟體制改革關于經(jīng)濟體制改革的管理和規(guī)劃、發(fā)展情況。ZBE經(jīng)貿管理關于經(jīng)濟貿易的宏觀管理和發(fā)展調查報告、統(tǒng)計資料ZBF統(tǒng)計關于統(tǒng)計工作的管理和發(fā)展情況 (此處只列出部分分類, 整體依據(jù)國家標準進行同一分類)在平臺建設的同時結合符合國家標準的平臺段數(shù)據(jù)目錄的定義,結合各個委辦局的實際接口情況，明確各個委辦局數(shù)據(jù)接口的接入標準，明確可匯聚共享交換的數(shù)據(jù)分類、數(shù)據(jù)格式、數(shù)據(jù)類型、數(shù)據(jù)接入方式等內容。通過明確的接口標準定義，指導各個委辦局的數(shù)據(jù)接入，并提供必要的技術支持和指導。數(shù)據(jù)目錄的定義和管理要遵循國家現(xiàn)有政務電子信息化建設的相關標準，同時結合各個委辦局數(shù)據(jù)的地域特殊性進行更細致的完善，確保數(shù)

30、據(jù)目錄在遵循國家標準的前提下，兼容支持本地政府的各類數(shù)據(jù)。數(shù)據(jù)挖掘和分析系統(tǒng)數(shù)據(jù)分析模塊子系統(tǒng)作為創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺對外提供數(shù)據(jù)的深度挖掘和分析服務的核心系統(tǒng)，分布式數(shù)據(jù)處理子系統(tǒng)提供了對分布式存儲數(shù)據(jù)進行處理的能力。數(shù)據(jù)分析系統(tǒng)利用多種分布式計算引擎，結合分布式數(shù)據(jù)存儲模型對各類結構化及非結構化的信息資源進行快速的分布式分析處理，并將分析處理后的中間結果數(shù)據(jù)提供給上層示范性應用以及其他部門業(yè)務系統(tǒng)中進行二次利用；此外，模型管理子系統(tǒng)提供各類業(yè)務分析模型的新建、修改等管理功能。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺的數(shù)據(jù)分析系統(tǒng)可分為如下幾個主要部分：分布式計算引擎支撐系統(tǒng)在分布式處理領域中，分布式并行技術是最為

31、核心的領域之一。沒有好的分布式處理程序的支持，分布式處理就不可能很好的工作，所謂超級計算、大數(shù)據(jù)分析也就更加無從談起了。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺通過提供MapReduce、Spark和Storm三種分布式計算框架，為上層應用提供大數(shù)據(jù)分布式計算的支撐。這種架構既能夠最大限度的滿足各種業(yè)務模型的需求，同時也能夠充分利用政務大數(shù)據(jù)平臺的軟硬件資源，提供數(shù)據(jù)存儲訪問及分布式計算任務的調度、運行及結果通知等功能。算法及模型支撐系統(tǒng)數(shù)據(jù)分析不能一概而論，數(shù)據(jù)分析需要有基礎算法的支撐。隨著數(shù)據(jù)集規(guī)模和復雜度的持續(xù)上升，對算法要求也越來越高。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺采用基于Hadoop技術架構的處理技術，為數(shù)據(jù)分析師及

32、開發(fā)者提供幾十種具備自主知識產(chǎn)權的分布式算法。平臺提供相應的SDK開發(fā)工具套件及算法調用API，從而讓各種應用能夠方便的使用平臺數(shù)據(jù)及其算法。擁有基礎算法的支持僅僅完成了數(shù)據(jù)分析和挖掘的第一步，對于每一個具體的基于數(shù)據(jù)的應用系統(tǒng)，都需要根據(jù)其自身特點建立相應的分析模型，才能夠有效的支撐應用系統(tǒng)。簡單的說，分析模型可以看作是由一個或多個基礎算法組合而成，基礎算法提供了大量的中間結果，而模型則將大量的中間結果處理為最終結果。數(shù)據(jù)分析開發(fā)套件SDK大數(shù)據(jù)平臺提供的三種分布式計算框架為平臺提供了強大的分布式計算能力，從而為各種基于數(shù)據(jù)的應用提供了基本的運行環(huán)境；同時，基礎算法庫中大量的分布式算法實現(xiàn)則

33、為數(shù)據(jù)分析模型的建立提供了底層的工具支撐。為了讓平臺的計算能力和算法分析能力應用到實際業(yè)務之中，還需要通過研發(fā)人員開發(fā)出使用這些計算能力和算法庫的分析程序。分布式計算開發(fā)套件SDK則使平臺具備了二次開發(fā)的能力，它可以讓研發(fā)人員利用大數(shù)據(jù)平臺中分布式并行計算的能力，通過基于數(shù)據(jù)分析的定制開發(fā)，實現(xiàn)對海量大數(shù)據(jù)進行分析處理，建立數(shù)據(jù)分析處理的結果性數(shù)據(jù)，為上層大數(shù)據(jù)業(yè)務應用提供數(shù)據(jù)支撐。數(shù)據(jù)信息管理系統(tǒng)數(shù)據(jù)審核數(shù)據(jù)審核模塊主要是接受供應商門戶網(wǎng)站上傳的流數(shù)據(jù)和塊狀數(shù)據(jù)，對這些數(shù)據(jù)進行審核，決定其是否能通過，并進入數(shù)據(jù)評估。數(shù)據(jù)評估數(shù)據(jù)評估模塊主要是對已審核過的數(shù)據(jù)，針對各個指標項進行數(shù)值評估，最終

34、保存其評估結果，供用戶查詢和數(shù)據(jù)定價時參考。數(shù)據(jù)定價數(shù)據(jù)定價模塊主要是設置經(jīng)過數(shù)據(jù)評估的數(shù)據(jù)，對應不同用戶、不同使用環(huán)境進行數(shù)據(jù)定價。數(shù)據(jù)發(fā)布管理數(shù)據(jù)發(fā)布管理模塊主要是發(fā)布經(jīng)過定價或評估的數(shù)據(jù)，進行對外發(fā)布，設置其發(fā)布范圍和發(fā)布狀態(tài)。數(shù)據(jù)日志系統(tǒng)數(shù)據(jù)日志存儲對外提供數(shù)據(jù)日志存儲服務接口，供其他系統(tǒng)進行數(shù)據(jù)日志信息的存儲。數(shù)據(jù)日志查詢基于Web瀏覽器端，向后臺系統(tǒng)管理員提供數(shù)據(jù)日志查詢功能。數(shù)據(jù)審計系統(tǒng)數(shù)據(jù)服務使用情況審計基于web瀏覽器端，向后臺系統(tǒng)管理員提供對登陸和使用平臺進行數(shù)據(jù)服務使用情況的用戶行為進行跟蹤記錄和統(tǒng)計，并形成分析報告的功能。服務狀態(tài)監(jiān)視基于web端，向后臺系統(tǒng)管理員提供對

35、所有已注冊并發(fā)布的開放數(shù)據(jù)API和數(shù)據(jù)下載服務的服務狀態(tài)信息進行監(jiān)視記錄，并形成分析報告的功能。數(shù)據(jù)使用權標記系統(tǒng)塊狀數(shù)據(jù)水印服務向數(shù)據(jù)平臺提供webservice形式的塊數(shù)據(jù)水印服務接口。流數(shù)據(jù)水印服務向API管理系統(tǒng)和創(chuàng)新工場API系統(tǒng)提供webservice形式的流數(shù)據(jù)水印服務接口。水印管理服務基于web瀏覽器端，向后臺系統(tǒng)管理員提供對水印的管理和驗證功能。創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng)創(chuàng)新創(chuàng)業(yè)應用管理系統(tǒng)創(chuàng)新應用APP測試創(chuàng)新工場APP測試：當APP上架之前需要經(jīng)過后臺管理人員的測試，創(chuàng)新工場開發(fā)者用戶應當提供給數(shù)據(jù)平臺測試賬號，布置測試環(huán)境，提供測試數(shù)據(jù)，以及對應APP的一些基本信息。后臺管理員

36、會根據(jù)提供的信息對該APP進行測試。創(chuàng)新應用APP發(fā)布APP發(fā)布：對于測試通過的APP應用，后臺管理員會進行發(fā)布，添加新的APP應用，輸入APP有關的基本信息“名稱、開發(fā)者、訪問方式、說明描述、使用說明及演示地址等”。開放數(shù)據(jù)API管理系統(tǒng)API發(fā)布開放數(shù)據(jù)API發(fā)布：API數(shù)據(jù)系統(tǒng)主要提供給用戶使用API的方式，進行數(shù)據(jù)下載。是通過接口形式，實時獲取最新數(shù)據(jù)。后臺管理員上架API，填寫API的詳細信息包括：API數(shù)據(jù)的描述（api的收費情況描述、接口作用信息、接口的參數(shù)對照信息、返回字典等信息），接口信息（調用地址、返回格式），API調用的文檔，以及API調用的地址。之后會經(jīng)過后臺管理人員審

37、核確認API通過審核，才會發(fā)布到數(shù)據(jù)平臺。API測試API發(fā)布之前必須經(jīng)過測試，確保API的可用性、正確性、以及數(shù)據(jù)的完整性，對一些法律規(guī)定不允許公布的數(shù)據(jù)將不予以發(fā)布。數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng)數(shù)據(jù)統(tǒng)一展示門戶數(shù)據(jù)統(tǒng)一展示門戶主要為普通用戶提供瀏覽、確定數(shù)據(jù)范圍的功能，數(shù)據(jù)是由平臺或者數(shù)據(jù)供應商提供的，用戶可以通過分類、查找、過濾等方式找到自己關注的數(shù)據(jù)，然后查看數(shù)據(jù)的詳細信息，數(shù)據(jù)自身都是經(jīng)過脫敏和加密，符合對外展示的具體要求的，成為數(shù)據(jù)驅動的運營體系的統(tǒng)一對外展示接口。數(shù)據(jù)統(tǒng)一展示門戶系統(tǒng)功能包括，數(shù)據(jù)展示，數(shù)據(jù)的過濾功能，數(shù)據(jù)的查找功能，數(shù)據(jù)列表，數(shù)據(jù)的詳細信息。數(shù)據(jù)展示數(shù)據(jù)展示功能主要是

38、將數(shù)據(jù)種類、描述、樣例、歷史訪問量等信息展示給客戶，以方便用戶的分析使用。具體包括以下內容：數(shù)據(jù)的分類顯示數(shù)據(jù)的分類會出現(xiàn)頁面的頭部導航欄，當用戶把鼠標放到某一大分類出，彈出當前大分類下的所有子分類，用戶點擊子分類進入當前子分類有關數(shù)據(jù)的詳細列表頁面。數(shù)據(jù)的過濾功能提供標簽過濾功能，用戶點擊其中某個標簽，會按照此標簽 以及之前的過濾標簽重新過濾目標數(shù)據(jù)。目標數(shù)據(jù)的將以標簽匹配的數(shù)據(jù)標題的關鍵字查找出來，以列表的形式展示出來，以供用戶選擇。數(shù)據(jù)的查找功能提供查找功能，用戶通過頁面的搜索查找有關輸入關鍵字所匹配的數(shù)據(jù)，搜索框前可以選擇搜索數(shù)據(jù)的標題還是搜索詳情，默認的是標題的關鍵字，輸入數(shù)據(jù)的關鍵

39、字，根據(jù)程序的處理搜索有關數(shù)據(jù)的關鍵字匹配，以列表的形式展示出來以供用選擇。數(shù)據(jù)列表數(shù)據(jù)列表會展示當前用戶選擇的或者默認的分類下的所有的數(shù)據(jù)，會以列表分頁的形式展示，按照時間默認排序。當前列表會展示數(shù)據(jù)的一些基本信息“數(shù)據(jù)的標題、數(shù)據(jù)質量的評分、數(shù)據(jù)的圖片、數(shù)據(jù)的訪問量以及數(shù)據(jù)的簡單描述”；如果當前登錄的用戶為創(chuàng)新工場的用戶，創(chuàng)新工廠用戶進入API列表，api標題后會多出金銀銅等級，只有符合當前等級的用戶才可以調用當前的API數(shù)據(jù)。數(shù)據(jù)詳細信息數(shù)據(jù)的詳細信息，點擊數(shù)據(jù)的標題進入當前數(shù)據(jù)的詳細信息頁面。會顯示當前數(shù)據(jù)的詳細信息，包括“數(shù)據(jù)的圖片、數(shù)據(jù)的標題、數(shù)據(jù)的價值、數(shù)據(jù)來源、數(shù)據(jù)上架的時間、

40、數(shù)據(jù)的大小、當前數(shù)據(jù)的下載量、數(shù)據(jù)的簡短描述、當前數(shù)據(jù)的完整性（八個指標）、收藏、推薦有關當前數(shù)據(jù)的相關數(shù)據(jù)、數(shù)據(jù)的詳細信息、訪問過的用戶對當前數(shù)據(jù)的評論信息”。數(shù)據(jù)檢索數(shù)據(jù)的檢索包括，標簽的篩選，數(shù)據(jù)的關鍵字及詳細信息的搜索。用戶點擊其中某個標簽，會按照此標簽 以及之前的過濾標簽重新過濾目標數(shù)據(jù)。目標數(shù)據(jù)的將以標簽匹配的數(shù)據(jù)標題的關鍵字查找出來。搜索框前可以選擇搜索數(shù)據(jù)的標題還是詳細信息，默認的是標題的關鍵字，輸入數(shù)據(jù)的關鍵字，根據(jù)程序的處理搜索有關數(shù)據(jù)的關鍵字匹配，以列表的形式展示出來以供用選擇。用戶管理當前平臺用戶管理分為三類：普通用戶管理、創(chuàng)新工廠用戶管理、供應商用戶管理。普通用戶管理

41、：普通用戶可以在前臺的個人中心里管理自己的基本信息，查看自己的賬戶信息，修改密碼等操作。還可以通過我的訂單查詢當前所有的訂單，及訂單最新的狀態(tài)，查看并管理當前的API的信息。查看當前的系統(tǒng)消息。創(chuàng)新工廠用戶管理：創(chuàng)新工廠用戶可以在個人中心管理自己的基本信息，查看自己當前的等級，查看并管理自己的賬戶余額，查看并管理當前的API的信息，更新自己所購買的API版本等，發(fā)布自己的應用，查看并且管理自己當前已發(fā)布的應用。查看當前的系統(tǒng)消息。供應商用戶管理：供應商用戶可以在前臺的個人中心里管理自己的基本信息，查看并且管理自己的數(shù)據(jù)狀態(tài)，修改密碼等操作。發(fā)布數(shù)據(jù)，查看自己發(fā)布的數(shù)據(jù)的情況。查看當前的系統(tǒng)消息

42、。數(shù)據(jù)共享交換系統(tǒng)數(shù)據(jù)匯集配置管理基于web端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)平臺主節(jié)點與分節(jié)點/獨立數(shù)據(jù)終端系統(tǒng)之間的數(shù)據(jù)匯集操作配置管理功能。數(shù)據(jù)在線匯集基于web端，向后臺系統(tǒng)管理員提供進行數(shù)據(jù)在線匯集傳輸?shù)牟僮鞴芾砉δ?。?shù)據(jù)離線匯集基于web端，向后臺系統(tǒng)管理員提供進行數(shù)據(jù)離線匯集傳輸?shù)牟僮鞴芾砉δ?，包括?shù)據(jù)離線匯集包的導出及導入功能。數(shù)據(jù)共享交換日志管理基于web端，向后臺系統(tǒng)管理員提供數(shù)據(jù)共享交換業(yè)務操作的日志記錄檢索瀏覽功能。數(shù)據(jù)訪問規(guī)則系統(tǒng)訪問規(guī)則管理基于web瀏覽器端，向后臺系統(tǒng)管理員提供基于內置數(shù)據(jù)訪問業(yè)務規(guī)則，對特定用戶或特定數(shù)據(jù)服務進行訪問規(guī)則設置管理的功能。數(shù)據(jù)訪問服務向

43、平臺提供基于webservice形式的API數(shù)據(jù)訪問服務接口。訪問信息服務向平臺提供基于webservice形式的API數(shù)據(jù)訪問歷史記錄信息檢索服務接口。訪問規(guī)則管理對數(shù)據(jù)訪問相關的各類規(guī)則進行統(tǒng)一管理和配置。用戶及權限管理子系統(tǒng)用戶信息管理系統(tǒng)數(shù)據(jù)平臺注冊用戶管理平臺注冊用戶管理，系統(tǒng)管理員可以在后臺進行平臺注冊用戶的管理。通過用戶管理，可以查看用戶的訂單，以及發(fā)現(xiàn)不合法用戶后，對用戶的凍結功能。創(chuàng)新工場用戶管理創(chuàng)新工場用戶管理，系統(tǒng)管理員可以在后臺對平臺所有的創(chuàng)新工場用戶進行操作。可以在后臺的用戶管理中的創(chuàng)新工場用戶管理中設置?？梢赃M行查看當前所有的創(chuàng)新工場用戶列表及詳細信息“ 創(chuàng)新工場用

44、戶名稱、所發(fā)布的API、發(fā)布時間、賬戶信息、用戶等級等?！惫芾韱T還可以對新申請的創(chuàng)新工場用戶進行審核，對不符合創(chuàng)新工場用戶條件的申請進行駁回。對已經(jīng)通過審核的創(chuàng)新工場用戶的賬戶進行凍結，叫停該用戶在應用市場所發(fā)布的應用。數(shù)據(jù)供應商管理數(shù)據(jù)供應商管理，系統(tǒng)管理員可以在后臺對平臺所有的數(shù)據(jù)供應商進行操作。可以在后臺的用戶管理中的數(shù)據(jù)供應商管理中設置?？梢赃M行查看當前所有的供應商列表及詳細信息“供應商名稱、所提供的數(shù)據(jù)、時間等?！惫芾韱T還可以對新申請的數(shù)據(jù)供應商進行審核，對不符合數(shù)據(jù)供應商的申請進行駁回。對已經(jīng)通過審核的數(shù)據(jù)供應商進行凍結，叫停所發(fā)布的數(shù)據(jù)等操作。系統(tǒng)管理員管理系統(tǒng)管理員管理，超級管

45、理員賬號可以在后臺配置有關系統(tǒng)管理員的權限，設立不同的管理權限從而實現(xiàn)不同角色管理員的劃分，例如訂單管理員，只能進行訂單的操作，無法操作其他菜單。超級管理員可以在后臺用戶管理中配置有關的系統(tǒng)管理員的權限。授權管理系統(tǒng)數(shù)據(jù)服務分組管理與授權基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)服務進行分組定義和分組管理設置的功能。基于Web瀏覽器端，向后臺系統(tǒng)管理員提供將數(shù)據(jù)服務分組與用戶分組進行對應關系設置和管理，按照對應關系對用戶組進行數(shù)據(jù)服務授權的功能。數(shù)據(jù)服務分級管理與授權基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)服務進行分級定義和分組管理設置的功能?；赪eb瀏覽器端，向后臺系統(tǒng)管理員提供

46、將數(shù)據(jù)服務分級與用戶分級進行對應關系設置和管理，按照對應關系對用戶級別進行數(shù)據(jù)服務授權的功能。數(shù)據(jù)服務單獨授權基于Web瀏覽器端，向后臺系統(tǒng)管理員提供為特定用戶對特定數(shù)據(jù)服務的訪問授權進行管理控制的功能。提供針對特定用戶訪問特定數(shù)據(jù)服務授權的WebService服務接口。數(shù)據(jù)訪問權限管理數(shù)據(jù)訪問權限管理：普通用戶及其供應商用戶只可以訪問普通的塊數(shù)據(jù)，及API。創(chuàng)新工廠的用戶除了可以查看普通的塊數(shù)據(jù)，及API，還可以調用創(chuàng)新工廠中的對應著自己賬戶等級的API。身份認證與訪問控制系統(tǒng)用戶身份認證提供WebService形式的用戶身份合法性認證服務，根據(jù)用戶名和口令進行用戶身份的比對認證。數(shù)據(jù)服務動

47、態(tài)Token授權服務向用戶提供獲取數(shù)據(jù)服務（開放數(shù)據(jù)API服務和塊數(shù)據(jù)下載服務）訪問授權動態(tài)Token的Web服務API，通過用戶身份認證和數(shù)據(jù)服務訪問權限認證后，向用戶返回最新的數(shù)據(jù)服務調用授權動態(tài)Token。數(shù)據(jù)服務訪問控制對用戶向數(shù)據(jù)平臺發(fā)送的數(shù)據(jù)服務調用請求進行有效性驗證和訪問控制。大數(shù)據(jù)平臺運營維護服務創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目涉及的軟硬件系統(tǒng)范圍較廣，且承載了重要核心的數(shù)據(jù)資產(chǎn)，其穩(wěn)定運行的保障十分重要，XXX數(shù)碼依托自身十多年的IT運維經(jīng)驗，建立一套基于ISO/IEC20000和ITIL v3理論，遵循ITSS、GB/T 28827-2012系列運行維護服務國家標準的運營維護體系，對

48、平臺中各子系統(tǒng)以及各功能模塊提供統(tǒng)一的監(jiān)控維護服務，包括服務的提供狀態(tài)監(jiān)控、服務的使用狀態(tài)監(jiān)控、系統(tǒng)的運行狀態(tài)監(jiān)控等。包括如下的平臺運維服務： 平臺內部資源的監(jiān)控管理對平臺所涉及的所有硬件資源、軟件資源和數(shù)據(jù)資源進行實時不間斷的7x24小時的監(jiān)控和管理，合理設定資源狀態(tài)的預警閾值的設定，確保任何資源狀態(tài)異常的及時通報和展示，通過聲光報警、短信、郵件的及時通知，確保管理人員及時的發(fā)現(xiàn)和處理問題。同時借助大數(shù)據(jù)平臺的優(yōu)勢，實現(xiàn)平臺內部軟件、硬件資源運行狀態(tài)的趨勢預測，不同資源告警閾值的智能化管理和自動設定，做到平臺內部運行狀態(tài)的穩(wěn)定和持續(xù)。硬件資源監(jiān)控大數(shù)據(jù)平臺的硬件資源較多，所有硬件資源包含：路

49、由器、交換機、防火墻、主機（window、linux、Solaris、HP-Unix、AIX等）、虛擬服務器、無線設備AC/AP、存儲設備、光交換、其他安全設備等的監(jiān)控，監(jiān)控方式支持snmp v1/2/3、ssh/telnet、TCP、syslog、trap、腳本、WMI、netflow/cflow/sflow/netstream協(xié)議等。支持對大數(shù)據(jù)平臺涉及的各種設備狀態(tài)的實時監(jiān)控(如：通斷、資源使用情況、端口狀態(tài)、流量峰值、流量變化量等其他關鍵指標等)支持網(wǎng)絡設備的流量的應用層協(xié)議分析和監(jiān)控.借助類似曲線圖表現(xiàn)大數(shù)據(jù)平臺內部最近一個小時，最近一天，最近一周，最近一月，最近一年的服務器或者集群

50、的cpu負載,內存,網(wǎng)絡,硬盤等指標支持各類監(jiān)控指標的告警閾值的人工和自動調整支持告警信息的短信、郵件通知以及聲光報警通知支持網(wǎng)絡拓撲和機房的視圖可視化管理支持網(wǎng)絡資源的配置自動備份軟件資源監(jiān)控大數(shù)據(jù)平臺內部的軟件資源復雜，需要支持統(tǒng)一化的一體監(jiān)控模式，支持對Hadoop架構體系內所有軟件模塊和系統(tǒng)（HBase、HDFS等）、關系型數(shù)據(jù)庫（MySQL集群、Oracle、SQLServer等）、中間件系統(tǒng)、前端應用、軟件TCP端口等軟件資源的監(jiān)控和管理，支持SNMP、SSH/telnet、JMX、JDBC等監(jiān)控方式和協(xié)議，實現(xiàn)：支持大數(shù)據(jù)平臺內部的各種傳統(tǒng)關系型數(shù)據(jù)庫和數(shù)據(jù)庫集群、Hadoop架

51、構中HDFS/HBase等的狀態(tài)、內存數(shù)據(jù)庫狀態(tài)、各類中間件資源狀態(tài)、平臺內部和前端應用狀態(tài)、各類內外部的接口狀態(tài)的實時監(jiān)控 支持各類監(jiān)控資源的告警閾值的人工和自動調整支持告警信息的短信、郵件通知以及聲光報警通知軟件信息變動和資源使用異常等關鍵指標的監(jiān)控基于軟件關聯(lián)關系的監(jiān)控，實現(xiàn)基于多個軟件和硬件的業(yè)務級別的監(jiān)控平臺故障處理管理大數(shù)據(jù)平臺涉及的軟硬件信息和數(shù)據(jù)量較大，平臺上線運行后會面臨海量的故障信息，故障信息分析是運維工程師面臨的難題，而云計算、虛擬化等新技術的廣泛采用進一步加劇了運維管理的復雜度。需要對運維流程進行梳理，將技術人員從繁重的運維工作中解脫出來，實現(xiàn)運維作業(yè)的標準化、自動化，

52、縮短業(yè)務響應時間，提高服務質量。平臺的各類故障和告警處理的管理主要針對平臺運行期間所有異常事件的統(tǒng)一管理，確保所有異常事件都被處理的管理功能。借助國家標準和ITIL的SLA模型，需要建立一套完備的故障事件、問題、變更和發(fā)布等的標準化故障處理流程，規(guī)范故障處理的過程，做到故障的及時處理、追蹤、統(tǒng)計，確保每一個問題和故障都能被及時的處理。提供頁面/郵件/短信/聲音/光/消息客戶端/WebService接口及時通過責任人進行告警處理。日常平臺管理任務自動化日常平臺管理工作中有很多是標準化的工作，如巡檢、值班等工作。這些工作會占用大量的時間，將人工的操作、管理轉變?yōu)橄到y(tǒng)自動化的操作和管理，可以節(jié)省時間，將精力投入到更緊急、更重要的工作中。自動巡檢功能平臺的監(jiān)控管理系統(tǒng)自動將需要巡檢的設備狀態(tài)發(fā)送到系統(tǒng)中，自動進行設備運行狀態(tài)和重要指標性能數(shù)據(jù)的收集匯總形成自動巡檢結果，同時巡檢過程全程記錄，通過巡檢工單，能夠跟蹤巡檢的執(zhí)行情況。人工巡檢功能針對非監(jiān)控資源的巡檢，可通過系統(tǒng)內提供的人工巡檢功能完成巡檢結果的記錄，為巡檢任務執(zhí)行的計劃、監(jiān)督和結果的電子化管理提供了有效的手段。值班管理系統(tǒng)提供值班管理功能實現(xiàn)管理人員的排班、值班、交接班等