大數(shù)據(jù)平臺交流課件

大數(shù)據(jù)平臺交流1目錄一二三五項目概述總體框架數(shù)據(jù)匯聚大數(shù)據(jù)治理四大數(shù)據(jù)存儲六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項目建議21、總體思路以大數(shù)據(jù)支撐平臺建設為核心，為后續(xù)數(shù)據(jù)應用提供有力支撐

建立數(shù)據(jù)管控體系，匯聚集團所有數(shù)據(jù)，通過數(shù)據(jù)治理手段保障數(shù)據(jù)質(zhì)量

提供一系列數(shù)據(jù)應用支撐組件，為項目人員、業(yè)務分析人員、數(shù)據(jù)分析員提供可視化的數(shù)據(jù)應用機制。

以大數(shù)據(jù)平臺為中心，建立系統(tǒng)之間的共享協(xié)同機制

選取一到兩類示范業(yè)務作為試點，展示大數(shù)據(jù)平臺的魅力32、建設目標1、數(shù)據(jù)管理目標：建設統(tǒng)一的數(shù)據(jù)管控體系，對整個集團各個項目的數(shù)據(jù)進行集中化管理，保障數(shù)據(jù)質(zhì)量。2、數(shù)據(jù)應用目標

DaaS：DataasaService，使數(shù)據(jù)管理集中化管理，讓更多的用戶無需去注意底層數(shù)據(jù)的問題，而將注意力完全放在如何使用這些數(shù)據(jù)。

BIaaS：BusinessIntelligenceasaservice，提供一系列數(shù)據(jù)分析、數(shù)據(jù)可視化組件，作為一種敏捷的BI服務為項目提供支撐。4決策層

儀表盤：通過圖表的方式對關(guān)鍵指標數(shù)據(jù)進行展示，為領(lǐng)導決策提供直觀的數(shù)據(jù)支持。

報表：按照預定義的格式，在線查詢報表即席查詢：通過即席查詢工具或者自定義SQL方式，完成業(yè)務信息的檢索

多維分析：從多個維度靈活組合進行分析，提供上下鉆取等

信息檢索：對文檔數(shù)據(jù)進行全文搜索數(shù)據(jù)挖掘：通過數(shù)據(jù)挖掘工具分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型挖掘隱藏的數(shù)據(jù)價值。數(shù)據(jù)共享：訪問數(shù)據(jù)平臺匯聚的不同項目共享的數(shù)據(jù)。

數(shù)據(jù)分析：提供工具，實現(xiàn)數(shù)據(jù)的分析與可視化3、不同用戶對數(shù)據(jù)平臺的關(guān)注點業(yè)務人員數(shù)據(jù)分析員業(yè)務系統(tǒng)數(shù)據(jù)管理員數(shù)據(jù)管控：提供對數(shù)據(jù)標準、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的管控體系

數(shù)據(jù)安全：對數(shù)據(jù)平臺的數(shù)據(jù)進行安全訪問控制和監(jiān)控5目錄二一三五總體框架項目概述數(shù)據(jù)匯聚大數(shù)據(jù)治理四大數(shù)據(jù)存儲六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項目建議61、總體框架數(shù)據(jù)應用數(shù)據(jù)開放門戶平臺管理門戶數(shù)據(jù)增值應用業(yè)務應用數(shù)據(jù)治理數(shù)據(jù)標準元數(shù)據(jù)數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)安全自動化運維資源監(jiān)控事件管理問題處理運維服務數(shù)據(jù)分析數(shù)據(jù)可視化即席分析OLAP分析數(shù)據(jù)挖掘全文檢索大數(shù)據(jù)基礎(chǔ)平臺iPaaS數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)服務數(shù)據(jù)分發(fā)數(shù)據(jù)庫、文件、接口、協(xié)議適配業(yè)務系統(tǒng)APP應用數(shù)據(jù)資源目錄7匯聚存儲治理分析共享數(shù)據(jù)適配數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)校驗HDFSHBase索引庫數(shù)據(jù)標準元數(shù)據(jù)數(shù)據(jù)資源目錄數(shù)據(jù)質(zhì)量數(shù)據(jù)安全即席分析OLAP分析數(shù)據(jù)挖掘全文檢索數(shù)據(jù)可視化數(shù)據(jù)服務數(shù)據(jù)分發(fā)數(shù)據(jù)訂閱2、大數(shù)據(jù)平臺關(guān)鍵技術(shù)8目錄三二一五數(shù)據(jù)匯聚總體框架項目概述大數(shù)據(jù)治理四大數(shù)據(jù)存儲六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項目建議9數(shù)據(jù)匯聚過程10目錄四二三五大數(shù)據(jù)存儲總體框架數(shù)據(jù)集成大數(shù)據(jù)治理一項目概述六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項目建議11數(shù)據(jù)存儲架構(gòu)歷史歸檔數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)索引數(shù)據(jù)區(qū)應用數(shù)據(jù)區(qū)沙盤演練區(qū)12目錄五二三一大數(shù)據(jù)治理總體框架數(shù)據(jù)集成項目概述四大數(shù)據(jù)存儲六大數(shù)據(jù)分析七大數(shù)據(jù)共享八項目建議131、數(shù)據(jù)治理過程中遇到的問題

在業(yè)務需求方面：缺乏企業(yè)級通用的業(yè)務規(guī)則。各業(yè)務部門制定自己的業(yè)務標準，部門之間的標準常常有矛盾或相互混淆。

在數(shù)據(jù)質(zhì)量方面：以滿足功能應用為主，未形成企業(yè)級的整體數(shù)據(jù)架構(gòu)設計，數(shù)據(jù)共享上比較困難，數(shù)據(jù)冗余、數(shù)據(jù)完整性、數(shù)據(jù)合規(guī)性、數(shù)據(jù)一致性等問題突出；在組織管控方面：針對數(shù)據(jù)質(zhì)量管控提升，業(yè)務部門與信息部門之間未達成共識，職責劃分不清，標準規(guī)范不統(tǒng)一，未形成企業(yè)級統(tǒng)一的管理體系、管理規(guī)范和執(zhí)行流程。

在數(shù)據(jù)發(fā)現(xiàn)方面：各部門建設了大量的業(yè)務系統(tǒng)，信息資源數(shù)量多、門類廣、分布分散、信息不對稱的特性，沒有統(tǒng)一的機制進行資源的發(fā)現(xiàn)和定位。142、解決這些問題需要哪些手段？我們需要一個尺度作為判斷的依據(jù)來衡量---建立數(shù)據(jù)標準體系我們需要一個監(jiān)測、報告、協(xié)助分析數(shù)據(jù)問題的系統(tǒng)---數(shù)據(jù)質(zhì)量管理我們需要對數(shù)據(jù)問題的影響進行分析，對數(shù)據(jù)進行統(tǒng)一的版本管理和規(guī)范管理控制---元數(shù)據(jù)管理

我們需要有一套完整的定義、度量、分析、評估、執(zhí)行的完整制度規(guī)范和流程---管理規(guī)范和流程

我們需要業(yè)務人員、開發(fā)人員、數(shù)據(jù)管理員、數(shù)據(jù)治理人員等相關(guān)人員的通力合作，各司其職對數(shù)據(jù)負責---組織和角色職責

我們需要一種方式，對眾多的分布分散的信息資源進行發(fā)現(xiàn)、定位和使用資源

---信息資源目錄15組織架構(gòu)數(shù)據(jù)生產(chǎn)者數(shù)據(jù)使用者數(shù)據(jù)管理者數(shù)據(jù)擁有者制度流程數(shù)據(jù)治理基本制度數(shù)據(jù)治理管理辦法數(shù)據(jù)治理實施細則數(shù)據(jù)治理管控流程技術(shù)平臺數(shù)據(jù)標準管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理資源目錄體系系統(tǒng)實現(xiàn)流程制定支持3、數(shù)據(jù)治理框架163、總體框架---人員組織數(shù)據(jù)治理組織體系數(shù)據(jù)生產(chǎn)者數(shù)據(jù)使用者數(shù)據(jù)管理者數(shù)據(jù)擁有者數(shù)據(jù)標準核對數(shù)據(jù)質(zhì)量初審數(shù)據(jù)質(zhì)量績效執(zhí)行理解數(shù)據(jù)標準、管理制度提出數(shù)據(jù)質(zhì)量問題數(shù)據(jù)發(fā)現(xiàn)、定位、使用數(shù)據(jù)治理績效評估日常數(shù)據(jù)管理維護數(shù)據(jù)安全防護執(zhí)行數(shù)據(jù)標準化流程修復數(shù)據(jù)質(zhì)量問題按照標準建設系統(tǒng)173、總體框架---制度流程數(shù)據(jù)治理組織架構(gòu)與崗位職責數(shù)據(jù)治理制度規(guī)范數(shù)據(jù)治理考核辦法數(shù)據(jù)標準管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)資源目錄數(shù)據(jù)安全管理數(shù)據(jù)標準需求管理流程數(shù)據(jù)標準制定流程數(shù)據(jù)標準執(zhí)行流程數(shù)據(jù)標準維護流程元數(shù)據(jù)需求管理流程元數(shù)據(jù)發(fā)布流程元數(shù)據(jù)維護管理流程元數(shù)據(jù)變更流程數(shù)據(jù)質(zhì)量需求管理流程數(shù)據(jù)質(zhì)量核檢定義流程數(shù)據(jù)質(zhì)量問題排查流程數(shù)據(jù)質(zhì)量問題處理流程數(shù)據(jù)資源目錄發(fā)布流程數(shù)據(jù)服務申請流程數(shù)據(jù)訪問流程數(shù)據(jù)安全控制流程183、總體框架---技術(shù)平臺194、數(shù)據(jù)治理：數(shù)據(jù)標準管理什么是數(shù)據(jù)標準化：對分散在各系統(tǒng)中的數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)命名、數(shù)據(jù)定義、數(shù)據(jù)類型、復制規(guī)則等的定義基準，并提供運維這套數(shù)據(jù)標準成功的科學流程。

有哪些數(shù)據(jù)標準類型：術(shù)語標準、代碼標準（代碼集）、層次代碼標準、規(guī)則標準、引用分類標準數(shù)據(jù)標準化的目標是什么：通過統(tǒng)一信息標準制定、發(fā)布使用、制度約束、系統(tǒng)控制等手段，實現(xiàn)信息的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理，提高信息化水平205、元數(shù)據(jù)管理（1）---數(shù)據(jù)管理面臨的困惑？

龐大的數(shù)據(jù)資源該如何管理？形態(tài)萬千、散落在企業(yè)各處的數(shù)據(jù)資源如何管理？數(shù)據(jù)資源之間的關(guān)系是怎么樣的？如何讓數(shù)據(jù)資源正確、有效的被使用并產(chǎn)生價值？215、元數(shù)據(jù)管理（2）---可以帶來什么價值？

對數(shù)據(jù)資源再組織并形成全局性的視圖幫助用戶更好的理解各個環(huán)節(jié)的數(shù)據(jù)和系統(tǒng)的建設現(xiàn)狀是保障企業(yè)數(shù)據(jù)質(zhì)量的基礎(chǔ)支持企業(yè)信息化的知識傳承

提高數(shù)據(jù)信息化管理水平226、數(shù)據(jù)質(zhì)量管理237、數(shù)據(jù)資源目錄HOWWHENWHATWHOWHERE什么時候可以使用？什么時候可以提供？什么時間用的？有什么資源？資源的內(nèi)容是什么？信息從哪里來？需要的信息在哪里？信息到哪里去？在哪里使用？誰提供的？誰加工的？誰使用的？如何使用？如何管理？如何發(fā)布？如何查找？24目錄六二三五大數(shù)據(jù)分析總體框架數(shù)據(jù)集成大數(shù)據(jù)治理四大數(shù)據(jù)存儲一項目概述七大數(shù)據(jù)共享八項目建議25大數(shù)據(jù)分析是大數(shù)據(jù)平臺的核心價值，只有通過分析才能獲得更多智能的、深入的、有價值的信息。

由于目前廣州地鐵業(yè)務部門對大數(shù)據(jù)分析的需求不是非常明確，但大數(shù)據(jù)平臺作為公司的核心資源，需要提供一套完善的數(shù)據(jù)分析工具，為業(yè)務部門、項目提供數(shù)據(jù)分析和數(shù)據(jù)可視化支撐。

將分析和可視化平臺作為一種敏捷的BI服務，提供給各個業(yè)務部門和項目使用，方便數(shù)據(jù)的探索，充分利用數(shù)據(jù)的價值。1、大數(shù)據(jù)分析概述262、大數(shù)據(jù)分析總體思路大數(shù)據(jù)應用，是利用大數(shù)據(jù)分析的結(jié)果，為用戶提供輔助決策，發(fā)掘潛在價值的過程。大數(shù)據(jù)應用建設總體建設思路：1、建立大數(shù)據(jù)分析和可視化支撐平臺，為項目提供數(shù)據(jù)統(tǒng)計、分析、挖掘服務。2、遷移目前一些常用的數(shù)據(jù)統(tǒng)計和分析功能到大數(shù)據(jù)平臺，并提供統(tǒng)一的可視化系統(tǒng)。3、通過與業(yè)務部門的需求溝通和數(shù)據(jù)分析建模，針對一些業(yè)務做深度的數(shù)據(jù)挖掘和分析。273、大數(shù)據(jù)分析服務即席查詢服務：提供SQL即席分析機制，簡便快捷的檢索、分析小規(guī)模的數(shù)據(jù)集，并提供靈活方便的配置方式，允許用戶自定義查詢，并生成查詢結(jié)果和統(tǒng)計圖表。

多維自助分析服務：結(jié)合數(shù)據(jù)立方體（Cube）技術(shù)實現(xiàn)多維度快速OLAP分析能力。通過建立維度分析機制，有效的減少Hadoop在億級以上數(shù)據(jù)規(guī)模情況下的查詢延遲。

全文信息檢索服務：借助索引、分詞等技術(shù)，對大數(shù)據(jù)平臺的大量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)提供統(tǒng)一的數(shù)據(jù)檢索方式。

可視化數(shù)據(jù)挖掘服務：建立通用的算法庫，和可視化數(shù)據(jù)建模方式，使得分析人員探索數(shù)據(jù)模式及特征，進而發(fā)現(xiàn)行為規(guī)律，專業(yè)人員就可以預測到未來可能發(fā)生的變化趨勢。284、數(shù)據(jù)可視化大數(shù)據(jù)可視化是以圖形的方式直觀的展示數(shù)據(jù)信息，能夠幫助人們更快的理解數(shù)據(jù)，輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識與智慧。大數(shù)據(jù)分析支撐平臺可以通過一個直觀的拖放界面就可創(chuàng)造交互式的圖表，輕松打造“私人訂制”級的數(shù)據(jù)可視化,有力支持管理者進行商業(yè)決策，提高核心競爭力。

常用可視化方法：圖形可視化、多維數(shù)據(jù)可視化、時空數(shù)據(jù)可視化、網(wǎng)絡關(guān)系可視化、文本信息可視化29目錄七二三五大數(shù)據(jù)共享總體框架數(shù)據(jù)集成大數(shù)據(jù)治理四大數(shù)據(jù)存儲六大數(shù)據(jù)分析一項目概述八項目建議30大數(shù)據(jù)共享概述

大數(shù)據(jù)平臺匯聚了大量的企業(yè)數(shù)據(jù)，以大數(shù)據(jù)平臺為中心，構(gòu)建DaaS服務，實現(xiàn)企業(yè)不同系統(tǒng)之間的數(shù)據(jù)共享和業(yè)務協(xié)同。數(shù)據(jù)共享方式：服務共享：通過接口服務的方式訪問共享數(shù)據(jù)，支持字段級權(quán)限控制。數(shù)據(jù)分發(fā)：預定義規(guī)則將大數(shù)據(jù)平臺處理的數(shù)據(jù)分發(fā)到不同的系統(tǒng)。數(shù)據(jù)訂閱：業(yè)務系統(tǒng)訂閱自己關(guān)心的數(shù)據(jù)主題，當有數(shù)據(jù)變更時會通知到相應的訂閱方31目錄八二三五項目建議總體框架數(shù)據(jù)集成大數(shù)據(jù)治理四大數(shù)據(jù)存儲六大數(shù)據(jù)分析七大數(shù)據(jù)共享一項目概述321、總體建議建設大數(shù)據(jù)平臺