企業(yè)數(shù)字化轉(zhuǎn)型大數(shù)據(jù)湖一體化平臺(tái)項(xiàng)目建設(shè)方案 兩份資料

企業(yè)數(shù)字化轉(zhuǎn)型大數(shù)據(jù)湖一體化平臺(tái)項(xiàng)目建設(shè)方案PPT整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行2023年目錄項(xiàng)目概述1總體規(guī)劃2建設(shè)方案3項(xiàng)目建設(shè)背景“4智”應(yīng)用基礎(chǔ)支撐企業(yè)集團(tuán)大數(shù)據(jù)智能化經(jīng)營管理智能化業(yè)務(wù)作業(yè)智能化醫(yī)療健康行業(yè)運(yùn)營智能化解決數(shù)據(jù)“匯”、“存”、“管”、“用”、“營”難題

數(shù)據(jù)湖及應(yīng)用平臺(tái)數(shù)據(jù)管理和業(yè)務(wù)應(yīng)用要求數(shù)據(jù)分散：基礎(chǔ)數(shù)據(jù)分布在各個(gè)應(yīng)用平臺(tái)中，應(yīng)用開發(fā)商整合能力差；數(shù)據(jù)管理能力較弱：缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)開發(fā)管理、數(shù)據(jù)服務(wù)管理、數(shù)據(jù)安全管理和監(jiān)控運(yùn)維管理等；數(shù)據(jù)利用能力不強(qiáng)：現(xiàn)有數(shù)據(jù)無法適應(yīng)新業(yè)務(wù)需求，同時(shí)歷史數(shù)據(jù)無法并入新的系統(tǒng)再利用。集團(tuán)戰(zhàn)略要求集團(tuán)戰(zhàn)略管控?cái)?shù)字化；業(yè)務(wù)運(yùn)營數(shù)字化；產(chǎn)業(yè)協(xié)同數(shù)字化；管理支撐數(shù)字化?！笆奈濉耙?guī)劃愿景響應(yīng)國家“十四五”規(guī)劃提出的““加快數(shù)字發(fā)展，建設(shè)數(shù)字中國”，推進(jìn)“三醫(yī)”聯(lián)動(dòng)持續(xù)深化改革，以“守護(hù)生命與健康”為使命，籌劃建設(shè)“集團(tuán)城市健康中心”，打造以傳統(tǒng)中醫(yī)藥理論為基礎(chǔ)，依托現(xiàn)代科技賦能，基于用戶關(guān)系經(jīng)營，通過大數(shù)據(jù)、實(shí)體醫(yī)療、網(wǎng)絡(luò)診療平臺(tái)、藥事服務(wù)平臺(tái)和

新零售平臺(tái)等提供防、養(yǎng)、調(diào)全渠道多場景的健康產(chǎn)品、健康內(nèi)容、健康定制和健康管理服務(wù)，打造一站式解決目標(biāo)用戶健康問題的創(chuàng)新型健康服務(wù)中臺(tái)。集團(tuán)信息化現(xiàn)狀分析集團(tuán)領(lǐng)導(dǎo)市場財(cái)務(wù)銷售運(yùn)營辦公自動(dòng)化系統(tǒng)三方OMS生產(chǎn)管理系統(tǒng)全渠道數(shù)字化平臺(tái)移動(dòng)應(yīng)用門戶網(wǎng)站ERP系統(tǒng)人力資源系統(tǒng)業(yè)務(wù)信息系統(tǒng)集團(tuán)級集團(tuán)財(cái)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)信息化基本形成體系項(xiàng)目管理級公司級1線上線下業(yè)務(wù)信息化整合工作穩(wěn)步推進(jìn)2決策管理和數(shù)據(jù)分析應(yīng)用正在迭代完善3集團(tuán)統(tǒng)一數(shù)據(jù)管理和應(yīng)用體系尚未建成4業(yè)務(wù)運(yùn)營和管理遇到的問題分析未統(tǒng)一業(yè)務(wù)口徑和數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量層次不齊缺乏統(tǒng)一數(shù)據(jù)管理支撐平臺(tái)需方多、變化快信息化投入較大，卻不能及時(shí)有效了解集團(tuán)整體業(yè)務(wù)運(yùn)營情況海量業(yè)務(wù)報(bào)表，卻無法對決策管理提供有效支撐無法通過企業(yè)關(guān)鍵績效指導(dǎo)決策大量時(shí)間精力投入到數(shù)據(jù)收集、報(bào)表制作中缺乏統(tǒng)一的業(yè)務(wù)運(yùn)營口徑和指標(biāo)標(biāo)準(zhǔn)業(yè)務(wù)的管理口徑和財(cái)務(wù)口徑不一致，各部門運(yùn)營管理信息存在交叉重復(fù)對上級部門運(yùn)營管理匯報(bào)要求不夠靈活，響應(yīng)效率低下；對下級單位數(shù)據(jù)收集不及時(shí)、不準(zhǔn)確運(yùn)營管理缺乏綜合性系統(tǒng)和完整的數(shù)據(jù)支撐能力缺少統(tǒng)一的平臺(tái)滿足決策層、管理層和運(yùn)營層等對數(shù)據(jù)應(yīng)用的各種需求運(yùn)營管理需求反復(fù)變更、“多對多”的情況，IT服務(wù)部門疲于應(yīng)付運(yùn)營管理應(yīng)用需求類型多、數(shù)量多、口徑不一和數(shù)據(jù)質(zhì)量差等原因，導(dǎo)致開發(fā)周期較長，時(shí)效性差等問題業(yè)務(wù)數(shù)據(jù)來源分散，缺乏整合統(tǒng)一的基礎(chǔ)數(shù)據(jù)，無法有效支撐決策和管理集團(tuán)高管層（決策層）IT服務(wù)支撐層業(yè)務(wù)運(yùn)營管理層數(shù)據(jù)孤島、數(shù)據(jù)分散總體建設(shè)目標(biāo)以“守護(hù)生命與健康”為使命，推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型，建立集團(tuán)數(shù)據(jù)湖及應(yīng)用平臺(tái)，全面提升集團(tuán)智慧化經(jīng)營決策管理能力。借助5G、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術(shù)，重點(diǎn)解決戰(zhàn)略閉環(huán)、業(yè)務(wù)運(yùn)營、管理支撐等業(yè)務(wù)系統(tǒng)間數(shù)據(jù)不通和數(shù)據(jù)孤島等問題，破解數(shù)據(jù)“匯”、“存”、“管”、“用”、“營”等難題。通過建立集團(tuán)統(tǒng)一的數(shù)據(jù)湖及應(yīng)用平臺(tái)，提供數(shù)據(jù)匯聚、存儲(chǔ)、治理、分析、服務(wù)、共享、應(yīng)用和運(yùn)營能力，夯實(shí)企業(yè)大數(shù)據(jù)智能化、經(jīng)營管理智能化、業(yè)務(wù)作業(yè)智能化、醫(yī)療健康行業(yè)運(yùn)營智能化的“4智”應(yīng)用基礎(chǔ)支撐能力，構(gòu)建跨業(yè)務(wù)、跨部門和跨層級的融合應(yīng)用場景，形成企業(yè)“數(shù)智化”運(yùn)行的智能中樞，實(shí)現(xiàn)經(jīng)營狀態(tài)的實(shí)時(shí)監(jiān)測，經(jīng)營數(shù)據(jù)的輔助決策、指標(biāo)的智能預(yù)警預(yù)測，關(guān)鍵問題的智慧決策，打造集團(tuán)運(yùn)行管理閉環(huán)與智慧化決策能力

。整理制作郎豐利1519.總體建設(shè)目標(biāo)數(shù)據(jù)匯聚能力數(shù)據(jù)存儲(chǔ)能力數(shù)據(jù)治理能力數(shù)據(jù)分析能力數(shù)據(jù)服務(wù)能力數(shù)據(jù)應(yīng)用能力數(shù)據(jù)運(yùn)營能力離線數(shù)據(jù)采集實(shí)時(shí)數(shù)據(jù)采集結(jié)構(gòu)化數(shù)據(jù)采集非結(jié)構(gòu)化數(shù)據(jù)采集視頻數(shù)據(jù)采集物聯(lián)網(wǎng)數(shù)據(jù)采集互聯(lián)網(wǎng)數(shù)據(jù)采集手工數(shù)據(jù)補(bǔ)錄采集…數(shù)據(jù)庫數(shù)據(jù)存儲(chǔ)文件數(shù)據(jù)存儲(chǔ)圖片數(shù)據(jù)存儲(chǔ)聲音數(shù)據(jù)存儲(chǔ)視頻數(shù)據(jù)存儲(chǔ)關(guān)系圖譜數(shù)據(jù)存儲(chǔ)時(shí)序數(shù)據(jù)存儲(chǔ)…數(shù)據(jù)架構(gòu)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)建模管理數(shù)據(jù)開發(fā)管理數(shù)據(jù)調(diào)度管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理…統(tǒng)計(jì)分析靈活查詢多維分析數(shù)據(jù)挖掘人工智能標(biāo)簽管理指標(biāo)管理知識(shí)圖譜數(shù)據(jù)可視化…數(shù)據(jù)需求管理資源目錄管理數(shù)據(jù)服務(wù)接口管理數(shù)據(jù)共享交換管理數(shù)據(jù)報(bào)送管理數(shù)據(jù)開放管理數(shù)據(jù)服務(wù)評價(jià)…人員管理用戶管理營銷管理渠道管理財(cái)務(wù)管理風(fēng)控管理工程管理生產(chǎn)管理監(jiān)管報(bào)送…數(shù)據(jù)運(yùn)維管理數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價(jià)值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)合作數(shù)據(jù)資產(chǎn)價(jià)值變現(xiàn)數(shù)據(jù)運(yùn)營考核評價(jià)…1234567總體架構(gòu)規(guī)劃數(shù)據(jù)架構(gòu)規(guī)劃技術(shù)架構(gòu)規(guī)劃應(yīng)用體系規(guī)劃數(shù)據(jù)治理規(guī)劃數(shù)據(jù)共享規(guī)劃平臺(tái)工具規(guī)劃平臺(tái)建設(shè)藍(lán)圖規(guī)劃…建設(shè)目標(biāo)規(guī)劃數(shù)據(jù)湖及應(yīng)用平臺(tái)框架體系、搭建技術(shù)基礎(chǔ)平臺(tái)，實(shí)現(xiàn)C端用戶數(shù)據(jù)采集、入湖、治理和共享服務(wù)，以及支撐企業(yè)務(wù)+（私域流量業(yè)務(wù)）綜合分析和智能化應(yīng)用，總結(jié)經(jīng)驗(yàn)教訓(xùn)，為集團(tuán)數(shù)據(jù)湖及應(yīng)用平臺(tái)的整體建設(shè)奠定基礎(chǔ)。目標(biāo)基礎(chǔ)平臺(tái)搭建數(shù)據(jù)治理體系建設(shè)數(shù)據(jù)共享服務(wù)建設(shè)數(shù)據(jù)分析應(yīng)用建設(shè)框架體系規(guī)劃大數(shù)據(jù)平臺(tái)TBDS安裝部署數(shù)據(jù)治理產(chǎn)品安裝部署數(shù)據(jù)共享交換產(chǎn)品安裝部署用戶數(shù)據(jù)采集用戶數(shù)據(jù)建模用戶數(shù)據(jù)開發(fā)數(shù)據(jù)質(zhì)量檢查元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理用戶需求分析應(yīng)用設(shè)計(jì)數(shù)據(jù)及應(yīng)用開發(fā)數(shù)據(jù)共享與服務(wù)對接共享服務(wù)需求分析資源目錄梳理共享服務(wù)發(fā)布共享服務(wù)申請用戶信息調(diào)研共享服務(wù)調(diào)用12345共享服務(wù)授權(quán)預(yù)期成效：”七步走”解決企業(yè)面臨的數(shù)字化轉(zhuǎn)型發(fā)展痛點(diǎn)利用大數(shù)據(jù)技術(shù)建立集團(tuán)統(tǒng)一的數(shù)據(jù)湖，實(shí)現(xiàn)數(shù)據(jù)采集、存儲(chǔ)、處理、分析和服務(wù)的統(tǒng)一管理，提高信息和數(shù)據(jù)的響應(yīng)時(shí)間，提高經(jīng)營管理工作效率，有利于壓縮開支，降低管理成本，推進(jìn)數(shù)字化轉(zhuǎn)型發(fā)展。03020406070503信息煙囪

數(shù)據(jù)分散

利益割據(jù)

數(shù)據(jù)保密不全面

數(shù)據(jù)標(biāo)準(zhǔn)

不統(tǒng)一

管理機(jī)制不成體系

安全保障

不健全

數(shù)字化轉(zhuǎn)型面臨的痛點(diǎn)”七步走”解決問題1設(shè)立專管機(jī)構(gòu)，完善管理體系2整合數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)3構(gòu)建數(shù)據(jù)采集體系，打通數(shù)據(jù)整合通道4設(shè)計(jì)數(shù)據(jù)存儲(chǔ)策略，提升數(shù)據(jù)存儲(chǔ)效率5初步構(gòu)建數(shù)據(jù)治理體系6制定數(shù)據(jù)共享服務(wù)策略，促進(jìn)數(shù)據(jù)融合安全發(fā)展7奠定數(shù)據(jù)應(yīng)用基礎(chǔ)，打造大數(shù)據(jù)綜合應(yīng)用能力目錄項(xiàng)目概述1總體規(guī)劃2建設(shè)方案3建設(shè)總體思路搭建技術(shù)基礎(chǔ)平臺(tái)，探索平臺(tái)應(yīng)用能力第一階段夯實(shí)數(shù)據(jù)基礎(chǔ)，推進(jìn)服務(wù)與應(yīng)用建設(shè)第二階段完善應(yīng)用體系，提升平臺(tái)智慧能力第三階段建立數(shù)據(jù)運(yùn)營體系，持續(xù)優(yōu)化平臺(tái)能力第四階段數(shù)據(jù)湖及應(yīng)用平臺(tái)建設(shè)規(guī)劃數(shù)據(jù)采集技術(shù)平臺(tái)搭建數(shù)據(jù)存儲(chǔ)技術(shù)平臺(tái)搭建數(shù)據(jù)處理技術(shù)平臺(tái)搭建數(shù)據(jù)調(diào)度技術(shù)平臺(tái)搭建數(shù)據(jù)治理技術(shù)平臺(tái)搭建數(shù)據(jù)共享技術(shù)平臺(tái)搭建試點(diǎn)數(shù)據(jù)域（用戶）采集、存儲(chǔ)、治理、分析和共享實(shí)施…集團(tuán)與事業(yè)部應(yīng)用建設(shè)全面支撐（人員管理、用戶管理營銷管理、渠道管理、財(cái)務(wù)管理、工程管理、合同管理、生產(chǎn)管理、風(fēng)控管理、應(yīng)急指揮、監(jiān)管報(bào)送…）基礎(chǔ)分析能力完善（指標(biāo)、標(biāo)簽、知識(shí)圖譜）綜合分析應(yīng)用增強(qiáng)態(tài)勢感知能力建設(shè)實(shí)時(shí)分析應(yīng)用場景體系建設(shè)算法模型體系建設(shè)AI服務(wù)體系化建設(shè)區(qū)塊鏈技術(shù)場景應(yīng)用…數(shù)據(jù)資產(chǎn)運(yùn)營規(guī)劃數(shù)據(jù)產(chǎn)品體系建設(shè)數(shù)據(jù)產(chǎn)品價(jià)值評估體系建設(shè)數(shù)據(jù)價(jià)值變現(xiàn)體系建設(shè)數(shù)據(jù)運(yùn)營安全體系建設(shè)數(shù)據(jù)采集能力迭代升級數(shù)據(jù)治理能力迭代升級數(shù)據(jù)分析能力迭代升級數(shù)據(jù)應(yīng)用能力迭代升級數(shù)據(jù)共享服務(wù)能力迭代升級算法模型中心健全AI服務(wù)能力迭代升級場景應(yīng)用持續(xù)推進(jìn)數(shù)據(jù)運(yùn)營考核體系建設(shè)…數(shù)據(jù)治理體系咨詢規(guī)劃技術(shù)平臺(tái)能力增強(qiáng)集團(tuán)與四大事業(yè)部數(shù)據(jù)入湖全域數(shù)據(jù)采集、存儲(chǔ)、治理、分析和共享體系建設(shè)數(shù)據(jù)治理體系建設(shè)AI平臺(tái)搭建與應(yīng)用探索基礎(chǔ)分析能力建設(shè)（指標(biāo)、標(biāo)簽、知識(shí)圖譜）綜合分析應(yīng)用建設(shè)實(shí)時(shí)分析與應(yīng)用場景探索重點(diǎn)應(yīng)用建設(shè)支持…數(shù)據(jù)湖及應(yīng)用平臺(tái)總體架構(gòu)（構(gòu)建六個(gè)平臺(tái)、四個(gè)中心、三個(gè)保障體系，一個(gè)統(tǒng)一門戶）運(yùn)維保障體系安全保障體系標(biāo)準(zhǔn)規(guī)范體系保障體系數(shù)據(jù)運(yùn)營中心數(shù)據(jù)共享開放平臺(tái)數(shù)據(jù)匯聚平臺(tái)存儲(chǔ)計(jì)算平臺(tái)數(shù)據(jù)處理平臺(tái)數(shù)據(jù)共享交換離線數(shù)據(jù)同步實(shí)時(shí)數(shù)據(jù)同步數(shù)據(jù)補(bǔ)錄共享監(jiān)測共享審計(jì)權(quán)鑒發(fā)布訂閱認(rèn)證注冊數(shù)據(jù)源業(yè)務(wù)系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)外部數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財(cái)務(wù)系統(tǒng)……Hadoop關(guān)系數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫圖數(shù)據(jù)庫對象數(shù)據(jù)庫時(shí)序數(shù)據(jù)庫爬蟲離線數(shù)據(jù)處理實(shí)時(shí)數(shù)據(jù)處理非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)統(tǒng)一調(diào)度數(shù)據(jù)分析平臺(tái)統(tǒng)計(jì)分析多維分析即席查詢機(jī)器學(xué)習(xí)…數(shù)據(jù)挖掘數(shù)據(jù)治理平臺(tái)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)模型管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理AI中心數(shù)據(jù)資源中心指標(biāo)服務(wù)標(biāo)簽服務(wù)數(shù)據(jù)產(chǎn)品服務(wù)知識(shí)圖譜服務(wù)…可信計(jì)算服務(wù)數(shù)據(jù)沙箱服務(wù)多方安全計(jì)算服務(wù)數(shù)據(jù)檢索服務(wù)文件共享服務(wù)庫表共享服務(wù)接口共享服務(wù)共享服務(wù)引擎共享服務(wù)管理共享服務(wù)保障文本識(shí)別影像識(shí)別語義解析圖像識(shí)別語音識(shí)別…數(shù)據(jù)服務(wù)中心數(shù)據(jù)需求管理應(yīng)用集成運(yùn)營可視化數(shù)據(jù)資源目錄管理租戶管理…統(tǒng)一用戶/權(quán)限數(shù)據(jù)統(tǒng)一門戶數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價(jià)值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)價(jià)值變現(xiàn)數(shù)據(jù)運(yùn)營維護(hù)運(yùn)營考核評價(jià)12345678實(shí)時(shí)分析9101112業(yè)務(wù)賦能管理駕駛艙客戶營銷資金管理財(cái)務(wù)分析產(chǎn)能預(yù)測風(fēng)險(xiǎn)審計(jì)用戶分析…績效考核監(jiān)管報(bào)送13平臺(tái)管理實(shí)時(shí)數(shù)據(jù)區(qū)匯聚區(qū)臨時(shí)庫ODS庫基礎(chǔ)區(qū)主題區(qū)分析區(qū)應(yīng)用集市區(qū)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析處理實(shí)時(shí)指標(biāo)計(jì)算當(dāng)事人財(cái)務(wù)…用戶管理營銷管理…指標(biāo)庫標(biāo)簽庫…經(jīng)營分析用戶畫像…數(shù)據(jù)湖及應(yīng)用平臺(tái)分階段規(guī)劃運(yùn)維保障體系安全保障體系標(biāo)準(zhǔn)規(guī)范體系保障體系數(shù)據(jù)運(yùn)營中心數(shù)據(jù)共享開放平臺(tái)數(shù)據(jù)匯聚平臺(tái)存儲(chǔ)計(jì)算平臺(tái)數(shù)據(jù)處理平臺(tái)數(shù)據(jù)共享交換離線數(shù)據(jù)同步實(shí)時(shí)數(shù)據(jù)同步數(shù)據(jù)補(bǔ)錄共享監(jiān)測共享審計(jì)權(quán)鑒發(fā)布訂閱認(rèn)證注冊數(shù)據(jù)源業(yè)務(wù)系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)外部數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財(cái)務(wù)系統(tǒng)……Hadoop關(guān)系數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫圖數(shù)據(jù)庫對象數(shù)據(jù)庫時(shí)序數(shù)據(jù)庫爬蟲離線數(shù)據(jù)處理實(shí)時(shí)數(shù)據(jù)處理非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)統(tǒng)一調(diào)度數(shù)據(jù)分析平臺(tái)統(tǒng)計(jì)分析多維分析即席查詢機(jī)器學(xué)習(xí)…數(shù)據(jù)挖掘數(shù)據(jù)治理平臺(tái)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)模型管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理AI中心數(shù)據(jù)資源中心指標(biāo)服務(wù)標(biāo)簽服務(wù)數(shù)據(jù)產(chǎn)品服務(wù)知識(shí)圖譜服務(wù)…可信計(jì)算服務(wù)數(shù)據(jù)沙箱服務(wù)多方安全計(jì)算服務(wù)數(shù)據(jù)檢索服務(wù)文件共享服務(wù)庫表共享服務(wù)接口共享服務(wù)共享服務(wù)引擎共享服務(wù)管理共享服務(wù)保障文本識(shí)別影像識(shí)別語義解析圖像識(shí)別語音識(shí)別…數(shù)據(jù)服務(wù)中心數(shù)據(jù)需求管理應(yīng)用集成運(yùn)營可視化數(shù)據(jù)資源目錄管理租戶管理…統(tǒng)一用戶/權(quán)限數(shù)據(jù)統(tǒng)一門戶數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價(jià)值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)價(jià)值變現(xiàn)數(shù)據(jù)運(yùn)營維護(hù)運(yùn)營考核評價(jià)12345678實(shí)時(shí)分析9101112業(yè)務(wù)賦能管理駕駛艙客戶營銷資金管理財(cái)務(wù)分析產(chǎn)能預(yù)測風(fēng)險(xiǎn)審計(jì)用戶分析…績效考核監(jiān)管報(bào)送13平臺(tái)管理實(shí)時(shí)數(shù)據(jù)區(qū)匯聚區(qū)臨時(shí)庫ODS庫基礎(chǔ)區(qū)主題區(qū)分析區(qū)應(yīng)用集市區(qū)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析處理實(shí)時(shí)指標(biāo)計(jì)算當(dāng)事人財(cái)務(wù)…用戶管理營銷管理…指標(biāo)庫標(biāo)簽庫…經(jīng)營分析用戶畫像…二階段：夯實(shí)三階段：完善一階段：打基礎(chǔ)四階段：運(yùn)營事業(yè)部數(shù)據(jù)資源池集團(tuán)數(shù)據(jù)資源池實(shí)時(shí)區(qū)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析處理實(shí)時(shí)指標(biāo)計(jì)算匯聚區(qū)臨時(shí)庫ODS庫集團(tuán)數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)省醫(yī)藥數(shù)據(jù)…基礎(chǔ)區(qū)當(dāng)事人機(jī)構(gòu)產(chǎn)品合約采購生產(chǎn)銷售庫存營銷地理區(qū)域財(cái)務(wù)運(yùn)輸事件計(jì)劃項(xiàng)目…主題區(qū)用戶管理營銷管理運(yùn)營管理風(fēng)險(xiǎn)管理財(cái)務(wù)管理…集市區(qū)經(jīng)營分析用戶畫像風(fēng)險(xiǎn)審計(jì)監(jiān)管報(bào)送產(chǎn)能預(yù)警財(cái)務(wù)分析事業(yè)部應(yīng)用…分析區(qū)指標(biāo)庫標(biāo)簽庫關(guān)系圖譜事業(yè)部實(shí)時(shí)區(qū)事業(yè)部匯聚區(qū)臨時(shí)庫ODS庫事業(yè)部基礎(chǔ)區(qū)事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應(yīng)用集市區(qū)123456123456數(shù)據(jù)湖及應(yīng)用平臺(tái)數(shù)據(jù)架構(gòu)（統(tǒng)一標(biāo)準(zhǔn)，構(gòu)建集團(tuán)和四大事業(yè)部數(shù)據(jù)湖的六大數(shù)據(jù)區(qū)）（1）數(shù)據(jù)源（2）采集（3）匯聚（6）共享服務(wù)（4）治理（5）分析（7）數(shù)據(jù)應(yīng)用標(biāo)簽服務(wù)API實(shí)時(shí)服務(wù)API數(shù)據(jù)庫共享文件共享數(shù)據(jù)共享服務(wù)API共享離線采集實(shí)時(shí)采集消息CDCAPI...文件數(shù)據(jù)庫接口補(bǔ)錄填報(bào)...實(shí)時(shí)數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實(shí)時(shí)營銷數(shù)據(jù)…物流數(shù)據(jù)離線數(shù)據(jù)源業(yè)務(wù)系統(tǒng)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財(cái)務(wù)系統(tǒng)…外部數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)來源數(shù)據(jù)采集平臺(tái)指標(biāo)服務(wù)API關(guān)系圖譜服務(wù)API數(shù)據(jù)檢索服務(wù)API數(shù)據(jù)安全服務(wù)API…數(shù)據(jù)應(yīng)用管理駕駛艙客戶營銷資金管理財(cái)務(wù)分析產(chǎn)能預(yù)測風(fēng)險(xiǎn)審計(jì)指揮調(diào)度…績效考核監(jiān)管報(bào)送用戶分析集團(tuán)數(shù)據(jù)湖與事業(yè)部四大數(shù)據(jù)湖之間定位及關(guān)系探討事業(yè)部數(shù)據(jù)資源池集團(tuán)數(shù)據(jù)資源池實(shí)時(shí)區(qū)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析處理實(shí)時(shí)指標(biāo)計(jì)算匯聚區(qū)臨時(shí)庫ODS庫集團(tuán)數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)省醫(yī)藥數(shù)據(jù)…基礎(chǔ)區(qū)當(dāng)事人機(jī)構(gòu)產(chǎn)品合約采購生產(chǎn)銷售庫存營銷地理區(qū)域財(cái)務(wù)運(yùn)輸事件計(jì)劃項(xiàng)目…主題區(qū)用戶管理營銷管理運(yùn)營管理風(fēng)險(xiǎn)管理財(cái)務(wù)管理…集市區(qū)經(jīng)營分析用戶畫像風(fēng)險(xiǎn)審計(jì)監(jiān)管報(bào)送產(chǎn)能預(yù)警財(cái)務(wù)分析事業(yè)部應(yīng)用…分析區(qū)指標(biāo)庫標(biāo)簽庫關(guān)系圖譜事業(yè)部實(shí)時(shí)區(qū)事業(yè)部匯聚區(qū)臨時(shí)庫ODS庫事業(yè)部基礎(chǔ)區(qū)事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應(yīng)用集市區(qū)123456123456方案一：事業(yè)部獨(dú)立建設(shè)數(shù)據(jù)湖，集團(tuán)匯聚整合建湖方案二：集團(tuán)統(tǒng)一建湖，事業(yè)部數(shù)據(jù)湖同步和特色發(fā)展方案建議：集團(tuán)領(lǐng)導(dǎo)牽頭，統(tǒng)一標(biāo)準(zhǔn)和統(tǒng)一建湖方案描述：事業(yè)部根據(jù)自身業(yè)務(wù)特色構(gòu)建數(shù)據(jù)湖和數(shù)據(jù)治理體系，集團(tuán)數(shù)據(jù)湖匯聚事業(yè)部數(shù)據(jù)湖數(shù)據(jù)，設(shè)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)行數(shù)據(jù)治理、數(shù)據(jù)分析和數(shù)據(jù)共享服務(wù)。優(yōu)點(diǎn)：建設(shè)靈活，能快速滿足各事業(yè)部和集團(tuán)數(shù)據(jù)湖的應(yīng)用需求。缺點(diǎn)：難以統(tǒng)一標(biāo)準(zhǔn)和數(shù)據(jù)口徑，多頭數(shù)據(jù)采集，后期維護(hù)工作量較大。方案描述：集團(tuán)數(shù)據(jù)湖統(tǒng)一標(biāo)準(zhǔn)和數(shù)據(jù)治理體系，統(tǒng)一匯聚、治理、分析和數(shù)據(jù)共享服務(wù)；集團(tuán)數(shù)據(jù)湖根據(jù)事業(yè)部數(shù)據(jù)需求統(tǒng)一分發(fā)數(shù)據(jù)，事業(yè)部同步數(shù)據(jù)和，并根據(jù)自身特色構(gòu)建數(shù)據(jù)湖及應(yīng)用。優(yōu)點(diǎn)：集團(tuán)與事業(yè)部數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一，后期管理協(xié)調(diào)難度較少。缺點(diǎn)：前期統(tǒng)一難度較高，事業(yè)部建設(shè)靈活度不高。先進(jìn)經(jīng)驗(yàn)：目前信息化領(lǐng)先行業(yè)和企業(yè)的數(shù)據(jù)平臺(tái)能力建設(shè)，大部分采用集團(tuán)統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一建設(shè)、統(tǒng)一管理和統(tǒng)一運(yùn)營。方案建議：目前集團(tuán)和事業(yè)部業(yè)務(wù)系統(tǒng)已較為完備，數(shù)據(jù)湖建設(shè)處于起步階段，為集團(tuán)統(tǒng)一標(biāo)準(zhǔn)和建湖奠定了基礎(chǔ)。目錄項(xiàng)目概述1總體規(guī)劃2建設(shè)方案3建設(shè)范圍數(shù)據(jù)湖平臺(tái)框架體系規(guī)劃、技術(shù)基礎(chǔ)平臺(tái)搭建，集團(tuán)C端用戶數(shù)據(jù)采集、入湖、治理、共享服務(wù)和用戶分析應(yīng)用總體架構(gòu)規(guī)劃數(shù)據(jù)架構(gòu)規(guī)劃技術(shù)架構(gòu)規(guī)劃應(yīng)用體系規(guī)劃數(shù)據(jù)治理規(guī)劃數(shù)據(jù)共享規(guī)劃平臺(tái)工具規(guī)劃平臺(tái)建設(shè)藍(lán)圖規(guī)劃…1.數(shù)據(jù)湖平臺(tái)框架體系規(guī)劃3.數(shù)據(jù)匯聚4.數(shù)據(jù)資源中心建設(shè)5.數(shù)據(jù)治理6.數(shù)據(jù)分析2.平臺(tái)搭建7.數(shù)據(jù)共享服務(wù)TBDS基礎(chǔ)平臺(tái)搭數(shù)據(jù)治理平臺(tái)搭建數(shù)據(jù)共享服務(wù)平臺(tái)搭建健康事業(yè)部用戶數(shù)據(jù)匯聚省醫(yī)藥公司用戶數(shù)據(jù)匯聚藥品事業(yè)部用戶數(shù)據(jù)匯聚云健康事業(yè)部用戶數(shù)據(jù)匯聚信息調(diào)研基礎(chǔ)區(qū)數(shù)據(jù)模型設(shè)計(jì)主題區(qū)數(shù)據(jù)模型設(shè)計(jì)應(yīng)用數(shù)據(jù)集市模型設(shè)計(jì)數(shù)據(jù)清洗、轉(zhuǎn)換和匯總數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理C端用戶分析需求調(diào)研C端用戶數(shù)據(jù)分析設(shè)計(jì)C源用戶數(shù)據(jù)分析開發(fā)C端用戶數(shù)據(jù)資源目錄梳理C端用戶數(shù)據(jù)共享發(fā)布郎豐利整理制作建設(shè)總體思路事業(yè)部用戶數(shù)渠道分析用戶月活用戶日活地域分析時(shí)間分析數(shù)據(jù)入湖及治理數(shù)據(jù)分析應(yīng)用數(shù)據(jù)可視化FineReportFineBI用戶信息數(shù)據(jù)用戶標(biāo)簽?zāi)Ｐ吞顖?bào)數(shù)據(jù)、參數(shù)數(shù)據(jù)采集數(shù)據(jù)建模數(shù)據(jù)清洗數(shù)據(jù)加載數(shù)據(jù)整合數(shù)據(jù)匯總數(shù)據(jù)源健康事業(yè)部省醫(yī)藥公司藥品事業(yè)部智慧零售達(dá)人管理微信公眾號(hào)后臺(tái)醫(yī)療器械app電商系統(tǒng)數(shù)據(jù)excelerp孩子王電商saas云健康電商平臺(tái)用戶電商平臺(tái)用戶門店用戶數(shù)據(jù)生意參謀數(shù)據(jù)共享服務(wù)用戶資源目錄梳理用戶數(shù)據(jù)目錄掛接用戶數(shù)據(jù)共享發(fā)布邏輯架構(gòu)：搭建基礎(chǔ)平臺(tái)，以集團(tuán)C端用戶需求為試點(diǎn)打通數(shù)據(jù)湖鏈路本期范圍運(yùn)維保障體系安全保障體系標(biāo)準(zhǔn)規(guī)范體系保障體系數(shù)據(jù)運(yùn)營中心數(shù)據(jù)共享開放平臺(tái)數(shù)據(jù)匯聚平臺(tái)存儲(chǔ)計(jì)算平臺(tái)數(shù)據(jù)處理平臺(tái)數(shù)據(jù)共享交換離線數(shù)據(jù)同步實(shí)時(shí)數(shù)據(jù)同步數(shù)據(jù)補(bǔ)錄共享監(jiān)測共享審計(jì)權(quán)鑒發(fā)布訂閱認(rèn)證注冊數(shù)據(jù)源業(yè)務(wù)系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)外部數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財(cái)務(wù)系統(tǒng)……Hadoop關(guān)系數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫圖數(shù)據(jù)庫對象數(shù)據(jù)庫時(shí)序數(shù)據(jù)庫爬蟲離線數(shù)據(jù)處理實(shí)時(shí)數(shù)據(jù)處理非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)統(tǒng)一調(diào)度數(shù)據(jù)分析平臺(tái)統(tǒng)計(jì)分析多維分析即席查詢機(jī)器學(xué)習(xí)…數(shù)據(jù)挖掘數(shù)據(jù)治理平臺(tái)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)模型管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理AI中心數(shù)據(jù)資源中心指標(biāo)服務(wù)標(biāo)簽服務(wù)數(shù)據(jù)產(chǎn)品服務(wù)知識(shí)圖譜服務(wù)…可信計(jì)算服務(wù)數(shù)據(jù)沙箱服務(wù)多方安全計(jì)算服務(wù)數(shù)據(jù)檢索服務(wù)文件共享服務(wù)庫表共享服務(wù)接口共享服務(wù)共享服務(wù)引擎共享服務(wù)管理共享服務(wù)保障文本識(shí)別影像識(shí)別語義解析圖像識(shí)別語音識(shí)別…數(shù)據(jù)服務(wù)中心數(shù)據(jù)需求管理應(yīng)用集成運(yùn)營可視化數(shù)據(jù)資源目錄管理租戶管理…統(tǒng)一用戶/權(quán)限數(shù)據(jù)統(tǒng)一門戶數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價(jià)值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)價(jià)值變現(xiàn)數(shù)據(jù)運(yùn)營維護(hù)運(yùn)營考核評價(jià)12345678實(shí)時(shí)分析9101112業(yè)務(wù)賦能管理駕駛艙客戶營銷資金管理財(cái)務(wù)分析產(chǎn)能預(yù)測風(fēng)險(xiǎn)審計(jì)用戶分析…績效考核監(jiān)管報(bào)送13平臺(tái)管理實(shí)時(shí)數(shù)據(jù)區(qū)匯聚區(qū)臨時(shí)庫ODS庫基礎(chǔ)區(qū)主題區(qū)分析區(qū)應(yīng)用集市區(qū)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析處理實(shí)時(shí)指標(biāo)計(jì)算當(dāng)事人財(cái)務(wù)…用戶管理營銷管理…指標(biāo)庫標(biāo)簽庫…經(jīng)營分析用戶畫像…數(shù)據(jù)架構(gòu)事業(yè)部數(shù)據(jù)資源池集團(tuán)數(shù)據(jù)資源池實(shí)時(shí)區(qū)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析處理實(shí)時(shí)指標(biāo)計(jì)算匯聚區(qū)臨時(shí)庫ODS庫集團(tuán)數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)省醫(yī)藥數(shù)據(jù)…基礎(chǔ)區(qū)當(dāng)事人機(jī)構(gòu)產(chǎn)品合約采購生產(chǎn)銷售庫存營銷地理區(qū)域財(cái)務(wù)運(yùn)輸事件計(jì)劃項(xiàng)目…主題區(qū)用戶管理營銷管理運(yùn)營管理風(fēng)險(xiǎn)管理財(cái)務(wù)管理…集市區(qū)經(jīng)營分析用戶畫像風(fēng)險(xiǎn)審計(jì)監(jiān)管報(bào)送產(chǎn)能預(yù)警財(cái)務(wù)分析事業(yè)部應(yīng)用…分析區(qū)指標(biāo)庫標(biāo)簽庫關(guān)系圖譜事業(yè)部實(shí)時(shí)區(qū)事業(yè)部匯聚區(qū)臨時(shí)庫ODS庫事業(yè)部基礎(chǔ)區(qū)事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應(yīng)用集市區(qū)123456123456（1）數(shù)據(jù)源（2）采集（3）匯聚（6）共享服務(wù)（4）治理（5）分析（7）數(shù)據(jù)應(yīng)用標(biāo)簽服務(wù)API實(shí)時(shí)服務(wù)API數(shù)據(jù)庫共享文件共享數(shù)據(jù)共享服務(wù)API共享離線采集實(shí)時(shí)采集消息CDCAPI...文件數(shù)據(jù)庫接口補(bǔ)錄填報(bào)...實(shí)時(shí)數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實(shí)時(shí)營銷數(shù)據(jù)…物流數(shù)據(jù)離線數(shù)據(jù)源數(shù)據(jù)來源數(shù)據(jù)采集平臺(tái)指標(biāo)服務(wù)API關(guān)系圖譜服務(wù)API數(shù)據(jù)檢索服務(wù)API數(shù)據(jù)安全服務(wù)API…健康事業(yè)部用戶數(shù)據(jù)省醫(yī)藥公司用戶數(shù)據(jù)藥品事業(yè)部用戶數(shù)據(jù)云健康事業(yè)部用戶數(shù)據(jù)數(shù)據(jù)應(yīng)用管理駕駛艙客戶營銷資金管理財(cái)務(wù)分析產(chǎn)能預(yù)測風(fēng)險(xiǎn)審計(jì)指揮調(diào)度…績效考核監(jiān)管報(bào)送用戶分析本期范圍1.數(shù)據(jù)湖平臺(tái)框架體系規(guī)劃行業(yè)最佳實(shí)踐平臺(tái)提升機(jī)會(huì)專家知識(shí)戰(zhàn)略定位應(yīng)用體系規(guī)劃規(guī)劃原則調(diào)研問卷調(diào)研訪談現(xiàn)狀調(diào)研評估建議分項(xiàng)規(guī)劃目標(biāo)現(xiàn)狀期望問題總體評估平臺(tái)提升建議提升機(jī)會(huì)分析總體架構(gòu)規(guī)劃技術(shù)架構(gòu)規(guī)劃數(shù)據(jù)架構(gòu)規(guī)劃數(shù)據(jù)共享服務(wù)規(guī)劃運(yùn)維體系規(guī)劃藍(lán)圖規(guī)劃與演進(jìn)藍(lán)圖規(guī)劃與演進(jìn)平臺(tái)工具規(guī)劃數(shù)據(jù)治理規(guī)劃業(yè)務(wù)與IT部門輸入服務(wù)提供商輸入與分析2、基礎(chǔ)技術(shù)平臺(tái)搭建需求溝通1環(huán)境準(zhǔn)備2平臺(tái)安裝部署3平臺(tái)部署驗(yàn)證4平臺(tái)優(yōu)化完善5TBDS部署需求溝通數(shù)據(jù)共享交換部署需求溝通數(shù)據(jù)治理部署需求溝通網(wǎng)絡(luò)訪問需求溝通…服務(wù)器確定網(wǎng)絡(luò)環(huán)境確定端口環(huán)境確定操作系統(tǒng)確定軟件版本確定…操作系統(tǒng)安裝部署TBDS安裝部署數(shù)據(jù)共享安裝部署數(shù)據(jù)治理安裝部署…平臺(tái)功能驗(yàn)證平臺(tái)訪問和服務(wù)驗(yàn)證平臺(tái)系統(tǒng)接口驗(yàn)證外部接口驗(yàn)證網(wǎng)絡(luò)訪問驗(yàn)證…平臺(tái)實(shí)施需求支持應(yīng)用功能優(yōu)化完善系統(tǒng)運(yùn)行問題處理…平臺(tái)搭建流程預(yù)期成效用戶分析平臺(tái)搭建完成，操作使用正常具備數(shù)據(jù)湖實(shí)施支撐能力具備完整平臺(tái)運(yùn)維文檔3、數(shù)據(jù)采集匯聚

提供異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)同步能力，實(shí)現(xiàn)集團(tuán)C端用戶整庫遷移、全量數(shù)據(jù)匯聚、增量數(shù)據(jù)匯聚、ETL任務(wù)管理和監(jiān)控運(yùn)維。數(shù)據(jù)匯聚架構(gòu)數(shù)據(jù)匯聚流程匯聚范圍確定1匯聚信息整理2數(shù)據(jù)匯聚開發(fā)3任務(wù)調(diào)度配置45匯聚業(yè)務(wù)范圍確定匯聚系統(tǒng)范圍確定匯聚表范圍確定匯聚手工數(shù)據(jù)范圍確定系統(tǒng)信息整理數(shù)據(jù)字典整理接口信息整理網(wǎng)絡(luò)信息整理…匯聚調(diào)度任務(wù)整理匯聚調(diào)度任務(wù)基礎(chǔ)信息配置匯聚調(diào)度任務(wù)依賴觸發(fā)配置任務(wù)調(diào)度測試驗(yàn)證…調(diào)度任務(wù)監(jiān)控配置匯聚任務(wù)監(jiān)控預(yù)警匯聚監(jiān)控任務(wù)故障處理日常運(yùn)維巡檢…匯聚監(jiān)控運(yùn)維用戶信息配置數(shù)據(jù)源配置匯聚區(qū)建表配置數(shù)據(jù)匯聚任務(wù)配置與開發(fā)數(shù)據(jù)匯聚任務(wù)測試數(shù)據(jù)匯聚查看和問題處理…預(yù)期成效數(shù)據(jù)匯聚需求數(shù)據(jù)源匯聚知識(shí)庫采集匯聚引擎采集匯聚知識(shí)庫匯聚知識(shí)庫數(shù)據(jù)源管理數(shù)據(jù)采集開發(fā)管理數(shù)據(jù)采集調(diào)度管理數(shù)據(jù)采集監(jiān)控預(yù)警匯聚區(qū)數(shù)據(jù)庫文件CDC日志消息接口臨時(shí)區(qū)ODS數(shù)據(jù)匯聚平臺(tái)健康事業(yè)部省醫(yī)藥公司藥品事業(yè)部智慧零售達(dá)人管理微信公眾號(hào)后臺(tái)醫(yī)療器械電商系統(tǒng)數(shù)據(jù)erp孩子王電商平臺(tái)智云健康電商平臺(tái)用戶電商平臺(tái)用戶門店用戶數(shù)據(jù)生意參謀4、數(shù)據(jù)體系建設(shè)—總體流程信息調(diào)研(ID)業(yè)務(wù)需求分析應(yīng)用概要設(shè)計(jì)項(xiàng)目前期準(zhǔn)備業(yè)務(wù)調(diào)研(BD）業(yè)務(wù)需求編寫應(yīng)用開發(fā)系統(tǒng)軟硬件資源安裝系統(tǒng)測試與驗(yàn)收系統(tǒng)管理與維護(hù)項(xiàng)目結(jié)束回顧業(yè)務(wù)訪談項(xiàng)目管理（ProjectManagement）應(yīng)用詳細(xì)設(shè)計(jì)前端界面設(shè)計(jì)邏輯數(shù)據(jù)模型設(shè)計(jì)物理數(shù)據(jù)模型設(shè)計(jì)數(shù)據(jù)接口規(guī)范設(shè)計(jì)映射/ETL/實(shí)時(shí)數(shù)據(jù)開發(fā)應(yīng)用設(shè)計(jì)需求分析系統(tǒng)開發(fā)系統(tǒng)設(shè)計(jì)上線與維護(hù)數(shù)據(jù)治理①②③④4、數(shù)據(jù)資源中心建設(shè)—步驟一：信息調(diào)研工作內(nèi)容了解企業(yè)的整體IT架構(gòu)和發(fā)展規(guī)劃了解企業(yè)的當(dāng)前業(yè)務(wù)系統(tǒng)的現(xiàn)狀了解3-5年內(nèi)業(yè)務(wù)系統(tǒng)建設(shè)的規(guī)化了解企業(yè)針對信息系統(tǒng)建設(shè)標(biāo)準(zhǔn)化的規(guī)劃詳細(xì)查看每個(gè)實(shí)體業(yè)務(wù)含義和數(shù)據(jù)特征、并且進(jìn)行分類和取舍定義詳細(xì)查看每個(gè)字段業(yè)務(wù)含義和數(shù)據(jù)物理特征、進(jìn)行分類和取舍定義掌握針對人員、組織機(jī)構(gòu)、客戶、營銷、產(chǎn)品、渠道、合同、財(cái)務(wù)、生產(chǎn)、ERP等定義重要業(yè)務(wù)編碼規(guī)則仔細(xì)整理業(yè)務(wù)系統(tǒng)的代碼編碼、主外鍵關(guān)聯(lián)關(guān)系檢查客戶提供的重要業(yè)務(wù)編碼規(guī)則是否在系統(tǒng)中完整執(zhí)行檢查業(yè)務(wù)系統(tǒng)的代碼的一致性和完整性，并且做出代碼映射關(guān)系基于實(shí)體和字段的物理特征，給出初步的數(shù)據(jù)質(zhì)量審核報(bào)告基于現(xiàn)有ID情況，結(jié)合業(yè)務(wù)需求調(diào)研，進(jìn)行簡要的缺口分析識(shí)大局找關(guān)系掌握業(yè)務(wù)系統(tǒng)之間的業(yè)務(wù)功能劃分掌握業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交換、流向、以及數(shù)據(jù)衍生關(guān)系掌握現(xiàn)有分析系統(tǒng)從業(yè)務(wù)系統(tǒng)之間進(jìn)行數(shù)據(jù)抽取的內(nèi)容和方式掌握現(xiàn)有分析系統(tǒng)和業(yè)務(wù)系統(tǒng)以及應(yīng)用系統(tǒng)的數(shù)據(jù)回送情況看細(xì)節(jié)查質(zhì)量調(diào)研流程各個(gè)源系統(tǒng)分別進(jìn)行收集源系統(tǒng)源：系統(tǒng)需求文檔、操作手冊、表結(jié)構(gòu)說明書、代碼值、樣本數(shù)據(jù)、建庫腳本了解系統(tǒng)系統(tǒng)架構(gòu)、功能、業(yè)務(wù)處理及其它系統(tǒng)間的關(guān)系了解系統(tǒng)的數(shù)據(jù)量、改造計(jì)劃、軟硬件平臺(tái)了解數(shù)據(jù)表的業(yè)務(wù)含義，并初步篩選出關(guān)注的表篩選出需求相關(guān)的表通過分析樣本數(shù)據(jù)驗(yàn)證前期調(diào)研的結(jié)果、分析表間關(guān)系在復(fù)原源系統(tǒng)ER圖的過程中了解表之間關(guān)系、表與字段的業(yè)務(wù)含義根據(jù)調(diào)研結(jié)果及入模型策略篩選入倉范圍基于信息調(diào)研結(jié)果編寫信息調(diào)研報(bào)告分系統(tǒng)確認(rèn)信息調(diào)研報(bào)告：主要確認(rèn)如模型范圍評審信息調(diào)研報(bào)告準(zhǔn)備訪談分析評審了解源系統(tǒng)的字段的業(yè)務(wù)含義只調(diào)研初步篩選關(guān)注的表生產(chǎn)系數(shù)據(jù)統(tǒng)結(jié)構(gòu)與資料不一致怎么辦？源系統(tǒng)設(shè)計(jì)人員不配合怎么辦？入模型范圍如何確定？…資料收集資料收集系統(tǒng)與表級調(diào)研字段級調(diào)研樣本數(shù)據(jù)分析調(diào)研報(bào)告編寫調(diào)研報(bào)告評審123456持續(xù)迭代完善4、數(shù)據(jù)資源中心建設(shè)—步驟二：①數(shù)據(jù)模型設(shè)計(jì)方法物理模型(技術(shù))邏輯模型(業(yè)務(wù))概念模型參考模型行業(yè)數(shù)據(jù)模型選擇：行業(yè)主題模型數(shù)據(jù)主題與主要數(shù)據(jù)概念客戶化邏輯數(shù)據(jù)模型客戶化物理數(shù)據(jù)模型業(yè)務(wù)訪問數(shù)據(jù)模型視圖集市報(bào)表業(yè)務(wù)需求數(shù)據(jù)要素清單數(shù)據(jù)整合映射映射制造業(yè)企業(yè)行業(yè)模型數(shù)據(jù)湖數(shù)據(jù)庫4、數(shù)據(jù)資源中心建設(shè)—步驟二：②數(shù)據(jù)區(qū)定位與數(shù)據(jù)模型設(shè)計(jì)流程數(shù)據(jù)資源中心各區(qū)定位模型設(shè)計(jì)步驟匯聚數(shù)據(jù)區(qū)源系統(tǒng)分類數(shù)據(jù)不整合保留長期歷史數(shù)據(jù)保留明細(xì)數(shù)據(jù)全量數(shù)據(jù)增量數(shù)據(jù)基礎(chǔ)數(shù)據(jù)區(qū)主題分類數(shù)據(jù)整合保留長期歷史數(shù)據(jù)保留明細(xì)數(shù)據(jù)主題/分析數(shù)據(jù)區(qū)主題分類結(jié)合維度建模數(shù)據(jù)整合保留一定周期的歷史數(shù)據(jù)保留部分明細(xì)/匯總加工數(shù)據(jù)集市區(qū)維度建模為主數(shù)據(jù)整合保留特定業(yè)務(wù)需求的歷史數(shù)據(jù)保留部分明細(xì)/匯總加工數(shù)據(jù)面向數(shù)據(jù)面向需求從業(yè)務(wù)的角度出發(fā)滿足公共需求迭代開發(fā)全部原始數(shù)據(jù)核心數(shù)據(jù)、清洗融合后匯總與分析數(shù)據(jù)特定需求數(shù)據(jù)(1)前期準(zhǔn)備項(xiàng)目管理：文檔、溝通、問題跟蹤、回顧、驗(yàn)證、測試、認(rèn)可…方法技術(shù)工具模板經(jīng)驗(yàn)業(yè)務(wù)知識(shí)(2)信息調(diào)研(6)物理模型設(shè)計(jì)(3)構(gòu)建主題模型(4)構(gòu)建概念設(shè)計(jì)(5)邏輯模型詳細(xì)設(shè)計(jì)邏輯模型設(shè)計(jì)(7)設(shè)計(jì)評審/驗(yàn)證物理模型實(shí)現(xiàn)：ETL開發(fā)4、數(shù)據(jù)資源中心建設(shè)—步驟二：③基礎(chǔ)區(qū)數(shù)據(jù)模型設(shè)計(jì)行業(yè)主題模型設(shè)計(jì)參考用戶模型設(shè)計(jì)部分參考當(dāng)事人偏好當(dāng)事人偏好頻率當(dāng)事人偏好類型當(dāng)事人偏好聯(lián)系事件當(dāng)事人偏好媒介類型當(dāng)事人偏好當(dāng)事人當(dāng)事人偏好當(dāng)事人角色當(dāng)事人偏好地點(diǎn)當(dāng)事人偏好地點(diǎn)角色當(dāng)事人偏好地址地理區(qū)域地址當(dāng)事人偏好語言當(dāng)事人基于成熟行業(yè)模型藍(lán)本，構(gòu)建集團(tuán)C端用戶基礎(chǔ)數(shù)據(jù)模型，融合集團(tuán)和事業(yè)部內(nèi)外部數(shù)據(jù)、規(guī)避變化、形成統(tǒng)一的當(dāng)事人數(shù)據(jù)視圖。線下活動(dòng)數(shù)據(jù)訂單編號(hào)商品名稱訂單金額買家ID收貨人姓名收貨地址聯(lián)系電話發(fā)票抵扣券訂單創(chuàng)建時(shí)間微信行為數(shù)據(jù)掃描二維碼關(guān)注公眾號(hào)微信ID昵稱公眾號(hào)留言打開微頁面注冊會(huì)員來源渠道關(guān)注公眾號(hào)訪問活動(dòng)微頁面提交活動(dòng)表單姓名手機(jī)號(hào)郵箱數(shù)據(jù)采集、數(shù)據(jù)清洗微信openidEmailMAC華東地區(qū)基本信息：男性 30歲微信unionid手機(jī)號(hào)碼CookieQQ用戶ID：行為軌跡：會(huì)員信息：會(huì)員等級 會(huì)員積分會(huì)員權(quán)益電商訂單數(shù)據(jù)用戶在不同平臺(tái)以不同的身份留下行為軌跡。通過建立

ID

關(guān)聯(lián)機(jī)制，在基礎(chǔ)區(qū)進(jìn)行數(shù)據(jù)建模和標(biāo)準(zhǔn)化，在不同渠道的身份對應(yīng)到唯一的獨(dú)立身份，不斷累積用戶的行為“像素”。在基礎(chǔ)區(qū)建模的基礎(chǔ)上，根據(jù)用戶特征形成清晰的用戶360畫像。4、數(shù)據(jù)資源中心建設(shè)—步驟二：④用戶標(biāo)簽數(shù)據(jù)模型設(shè)計(jì)線上媒體數(shù)據(jù)Cookie訪問行為記錄手機(jī)號(hào)車型頁面停留時(shí)間試駕時(shí)間姓名城市數(shù)據(jù)采集、數(shù)據(jù)清洗數(shù)據(jù)采集、數(shù)據(jù)清洗數(shù)據(jù)采集、數(shù)據(jù)清洗用戶畫像主題建模ID識(shí)別基礎(chǔ)區(qū)建模數(shù)據(jù)標(biāo)準(zhǔn)化【訂單】女裝

無縫羽絨長大衣

409125金額：1299元收貨地址：上海市X區(qū)XX大街手機(jī)號(hào)：138****8271購買時(shí)間：2018/01/11

09:21:21溝通時(shí)間：2018/01/04

12:18:00所在渠道：小程序商城手機(jī)號(hào)：138****8271咨詢問題：倍舒暖與HEATTECH區(qū)別【訂單】童裝

Ultra

Stretch

起居套裝

414607下單時(shí)間：2018/01/3120:22:00下單門店：上?；春Ｖ新菲炫灥暧唵谓痤~：129元付款方式：支付寶2017/10/21

19:40:22

關(guān)注公眾號(hào)微信昵稱：skyfly001微信OPENID：nsisuykksikqy閱讀“U系列2019春夏款Lookbook”點(diǎn)擊菜單“會(huì)員福利-50元心意券”閱讀“2018年代表作”文章點(diǎn)擊菜單“年貨買買買”點(diǎn)擊商城-男裝-HEATTECH，訪問某倍舒暖商品詳情頁收藏男裝HEATTECH

螺紋圓領(lǐng)T恤

413314瀏覽新春新品活動(dòng)頁訪問時(shí)長

00:21:34

跳出電商平臺(tái)自有平臺(tái)客服線下門店靜態(tài)標(biāo)簽流程標(biāo)簽?zāi)Ｐ蜆?biāo)簽預(yù)測標(biāo)簽性別 地域 年齡職業(yè) 婚否 有孩相對穩(wěn)定的信息、人口學(xué)屬性、身份屬性根據(jù)行為與軌跡、自定義規(guī)則，自動(dòng)添加參與X活動(dòng)瀏覽X頁面報(bào)名領(lǐng)取權(quán)益線上消費(fèi)線下消費(fèi)教育水平依據(jù)屬性行為、計(jì)算得出的客戶標(biāo)簽重要價(jià)值客戶 品類偏好-童裝30天活躍度-120分購買力-高利用算法訓(xùn)練模型得到的預(yù)測標(biāo)簽預(yù)測流失風(fēng)險(xiǎn)-低需求推薦-限時(shí)特優(yōu)-女裝復(fù)購可能預(yù)測-高情感 產(chǎn)品 活動(dòng)信息 偏好 偏好場景偏好銷售 價(jià)格終端 體系情感 視覺 促銷賣點(diǎn) 系統(tǒng) 活動(dòng)關(guān)鍵 衍生詞 品消費(fèi)者維度人口 認(rèn)知信息 信息產(chǎn)品維度基本 功能信息 賣點(diǎn)內(nèi)容場景地點(diǎn) 社交 文化類型 屬性 氛圍4、數(shù)據(jù)資源中心建設(shè)—步驟二：⑤用戶標(biāo)簽設(shè)計(jì)源數(shù)據(jù)標(biāo)簽構(gòu)建標(biāo)簽體系ETL知識(shí)庫ETL調(diào)度管理ETL任務(wù)管理日志管理負(fù)載管理ETL監(jiān)控4、數(shù)據(jù)資源中心建設(shè)—步驟三：數(shù)據(jù)開發(fā)體系框架追加清洗、轉(zhuǎn)換和標(biāo)準(zhǔn)化匯總加載基礎(chǔ)數(shù)據(jù)區(qū)臨時(shí)區(qū)應(yīng)用數(shù)據(jù)集市區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)匯聚平臺(tái)主題區(qū)ODS庫匯總提煉加工任務(wù)文件加載任務(wù)應(yīng)用數(shù)據(jù)加工任務(wù)實(shí)時(shí)數(shù)據(jù)處理文件檢查任務(wù)數(shù)據(jù)匯聚加工任務(wù)數(shù)據(jù)清洗轉(zhuǎn)換任務(wù)數(shù)據(jù)質(zhì)量檢查任務(wù)數(shù)據(jù)抽取加載任務(wù)數(shù)據(jù)治理任務(wù)數(shù)據(jù)處理任務(wù)抽取加載任務(wù)數(shù)據(jù)質(zhì)量管理業(yè)務(wù)檢核任務(wù)文件監(jiān)聽抽取觸發(fā)定時(shí)元數(shù)據(jù)管理庫實(shí)時(shí)數(shù)據(jù)采集數(shù)據(jù)庫主動(dòng)采集數(shù)據(jù)文件采集消息、接口追加清洗、轉(zhuǎn)換和標(biāo)準(zhǔn)化分析區(qū)提煉提煉提煉ETL開發(fā)管理ETL任務(wù)管理數(shù)據(jù)匯聚平臺(tái)元數(shù)據(jù)加載任務(wù)4、數(shù)據(jù)資源中心建設(shè)—步驟三：數(shù)據(jù)開發(fā)流程與支撐工具數(shù)據(jù)開發(fā)準(zhǔn)備1建庫建表2數(shù)據(jù)映射3ETL配置開發(fā)45建庫建表環(huán)境準(zhǔn)備開發(fā)系統(tǒng)準(zhǔn)備配置文件準(zhǔn)備信息調(diào)研結(jié)果數(shù)據(jù)模型成果..創(chuàng)建數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫用戶創(chuàng)建數(shù)據(jù)表數(shù)據(jù)庫表賦權(quán)…單元測試模板準(zhǔn)備單元測試執(zhí)行單元測試報(bào)告…單元測試6ETL調(diào)度配置7系統(tǒng)集成測試表映射字段映射代碼映射關(guān)聯(lián)過濾條件映射…數(shù)據(jù)開發(fā)參數(shù)配置數(shù)據(jù)映射導(dǎo)入數(shù)據(jù)開發(fā)配置公共代碼配置腳本編寫調(diào)試…調(diào)度任務(wù)整理調(diào)度任務(wù)基礎(chǔ)信息配置調(diào)度任務(wù)依賴觸發(fā)配置調(diào)度任務(wù)測試驗(yàn)證…集成測試模板準(zhǔn)備集成測試執(zhí)行集成測試報(bào)告…數(shù)據(jù)開發(fā)流程數(shù)據(jù)開發(fā)工具支撐4、數(shù)據(jù)資源中心建設(shè)—步驟四：數(shù)據(jù)統(tǒng)一調(diào)度管理郵件短信外部管理應(yīng)用ETLAutomationRepositoryETL調(diào)度平臺(tái)管理與控制模塊知識(shí)庫模塊Master模塊消息接口功能接口Agent模塊實(shí)時(shí)監(jiān)控系統(tǒng)管理統(tǒng)計(jì)分析控制臺(tái)系統(tǒng)插件文件監(jiān)控定時(shí)任務(wù)BTEAgent1Agent2AgentnPrimaryStandby一站式開發(fā)平臺(tái)數(shù)據(jù)治理平臺(tái)其他工具調(diào)度程序生成器歷史明細(xì)引擎元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)生命周期批量接口直連接口Cube構(gòu)建引擎數(shù)據(jù)加載數(shù)據(jù)同步數(shù)據(jù)卸載質(zhì)量檢查清洗融合分析匯總數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)觸發(fā)5、數(shù)據(jù)治理建設(shè)：數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)流程1.標(biāo)準(zhǔn)框架數(shù)據(jù)主題設(shè)計(jì)范圍優(yōu)先策略工作重點(diǎn)配合支持……2.現(xiàn)狀調(diào)研現(xiàn)有定義使用習(xí)慣問題梳理現(xiàn)狀分析參考文檔……3.標(biāo)準(zhǔn)設(shè)計(jì)信息大類信息小類信息項(xiàng)數(shù)據(jù)類型重要規(guī)則……4.標(biāo)準(zhǔn)映射系統(tǒng)范圍應(yīng)用領(lǐng)域數(shù)據(jù)表數(shù)據(jù)字段數(shù)據(jù)取值……5.標(biāo)準(zhǔn)執(zhí)行影響分析范圍/順序系統(tǒng)改造新建系統(tǒng)手工補(bǔ)錄……6.維護(hù)反饋標(biāo)準(zhǔn)發(fā)布管理機(jī)制工作流程維護(hù)增強(qiáng)配套工具……標(biāo)準(zhǔn)范圍含哪些？目前的狀況如何？標(biāo)準(zhǔn)應(yīng)該什么樣？這些內(nèi)容都在哪兒？標(biāo)準(zhǔn)應(yīng)該如何執(zhí)行？如何維護(hù)理標(biāo)準(zhǔn)？數(shù)據(jù)標(biāo)準(zhǔn)工具支撐基礎(chǔ)標(biāo)準(zhǔn)管理：為實(shí)體及屬性設(shè)置標(biāo)準(zhǔn)統(tǒng)計(jì)標(biāo)準(zhǔn)管理：為統(tǒng)計(jì)指標(biāo)設(shè)置標(biāo)準(zhǔn)機(jī)構(gòu)清單管理：為層級化實(shí)體設(shè)置標(biāo)準(zhǔn)公共代碼管理：引入國家、行業(yè)或企業(yè)自定義的代碼標(biāo)準(zhǔn)業(yè)務(wù)術(shù)語管理：為元數(shù)據(jù)業(yè)務(wù)口徑配置業(yè)務(wù)術(shù)語命名規(guī)范管理：為系統(tǒng)各類標(biāo)識(shí)符設(shè)立統(tǒng)一標(biāo)準(zhǔn)標(biāo)準(zhǔn)內(nèi)容管理標(biāo)準(zhǔn)審核瀏覽：查看目前已發(fā)布的各類標(biāo)準(zhǔn)詳情標(biāo)準(zhǔn)審核審批：審核新創(chuàng)建的標(biāo)準(zhǔn)并發(fā)布標(biāo)準(zhǔn)評分評分體系庫管理：設(shè)置元數(shù)據(jù)標(biāo)準(zhǔn)評分計(jì)算要素權(quán)重標(biāo)準(zhǔn)評分管理：管理各級元數(shù)據(jù)的標(biāo)準(zhǔn)評分132標(biāo)準(zhǔn)審核管理5、數(shù)據(jù)治理建設(shè)：元數(shù)據(jù)管理元數(shù)據(jù)管理流程元數(shù)據(jù)管理工具支撐元數(shù)據(jù)采集可以對技術(shù)元數(shù)據(jù)進(jìn)行細(xì)粒度到字段級別的全鏈分析，影響分析和血緣分析元數(shù)據(jù)使用包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)使用142血緣&影響分析支持上10種異構(gòu)元數(shù)據(jù)采集,采集配置、采集任務(wù)的管理和采集任務(wù)配置元數(shù)據(jù)地圖35知識(shí)中心按照數(shù)據(jù)資產(chǎn)的層級分類，以3D形式展示各個(gè)層級數(shù)據(jù)資產(chǎn)的匯總情況支持文檔上傳、下載、在線預(yù)覽元數(shù)據(jù)采集1血緣影響分析2元數(shù)據(jù)利用3元數(shù)據(jù)運(yùn)營維護(hù)4數(shù)據(jù)源配置元數(shù)據(jù)采集任務(wù)配置數(shù)據(jù)庫元數(shù)據(jù)采集文件元數(shù)據(jù)采集接口元數(shù)據(jù)采集腳本元數(shù)據(jù)采集ETL調(diào)度元數(shù)據(jù)采集…元數(shù)據(jù)檢索系統(tǒng)、表與字段血緣關(guān)系分析系統(tǒng)、表與字段影響分析關(guān)系分析業(yè)務(wù)元數(shù)據(jù)分析…元數(shù)據(jù)采集監(jiān)控預(yù)警元數(shù)據(jù)采集問題處理系統(tǒng)日常運(yùn)維監(jiān)控…數(shù)據(jù)資產(chǎn)展示數(shù)據(jù)字典管理數(shù)據(jù)對標(biāo)業(yè)務(wù)指標(biāo)管理數(shù)據(jù)質(zhì)量檢查系統(tǒng)故障排查變更影響評估…5、數(shù)據(jù)治理建設(shè)：數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量管理工具支撐數(shù)據(jù)質(zhì)量檢查規(guī)則管理包括檢查模板（質(zhì)量檢查SQL腳本）的新建、編輯及刪除等工單管理包括工單流程的新建、瀏覽及審批132檢查模板管理數(shù)據(jù)質(zhì)量庫2.配置質(zhì)量檢查規(guī)則3.部署檢查腳本4.數(shù)據(jù)質(zhì)量報(bào)告1.收集數(shù)據(jù)質(zhì)量管理需求元數(shù)據(jù)資料庫基于元數(shù)據(jù)配置數(shù)據(jù)質(zhì)量規(guī)則增加數(shù)據(jù)質(zhì)量規(guī)則集5.質(zhì)量問題工單跟蹤處理抽取數(shù)據(jù)源數(shù)據(jù)源基礎(chǔ)區(qū)主題區(qū)傳輸匯聚區(qū)轉(zhuǎn)換加載匯總抽取ETL處理流程數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)集市分析區(qū)數(shù)據(jù)質(zhì)量管理7.質(zhì)量考核評價(jià)6.處理結(jié)果查詢提供檢查規(guī)則的創(chuàng)建、編輯、刪除、啟用及停用等功能數(shù)據(jù)質(zhì)量探查45質(zhì)量評分管理一是自動(dòng)探查，根據(jù)系統(tǒng)內(nèi)置好的探查模板自動(dòng)對數(shù)據(jù)進(jìn)行預(yù)設(shè)好的分析檢查；二是手動(dòng)探查，自定義方式設(shè)置探查模板，再根據(jù)探查模板對數(shù)據(jù)進(jìn)行分析檢查包括評分體系庫管理（為元數(shù)據(jù)質(zhì)量評分設(shè)置評分標(biāo)準(zhǔn)）和質(zhì)量評分管理（管理各級元數(shù)據(jù)系統(tǒng)的質(zhì)量評分）6、數(shù)據(jù)分析試點(diǎn)應(yīng)用（運(yùn)用BI工具對集團(tuán)C端用戶綜合分析）用戶地域分布產(chǎn)品地域銷量門店地域分布用戶數(shù)量統(tǒng)計(jì)用戶增長分析日活用戶分析用戶年齡分布用戶評價(jià)分析地域用戶消費(fèi)分析提升效率提升用戶量輔助領(lǐng)導(dǎo)決策助力產(chǎn)品銷量提升大屏PC端移動(dòng)端7、數(shù)據(jù)服務(wù)試點(diǎn)應(yīng)用：基于供需對接建立數(shù)據(jù)服務(wù)共享體系目錄清單有什么？在哪里？誰負(fù)責(zé)？數(shù)據(jù)資源中心1、目錄問題域2、目錄分類部門目錄主題目錄基礎(chǔ)目錄業(yè)務(wù)目錄數(shù)據(jù)目錄管理目錄上級目錄本級目錄下級目錄資源屬性功能分類層級屬性3、目錄建立4、數(shù)據(jù)掛接提供方主動(dòng)編目A管理方編目B供需對接推動(dòng)編目C提供方主動(dòng)掛接A供需對接推動(dòng)掛接C需求清單需求方資源信息數(shù)據(jù)項(xiàng)信息需求說明管理方審批/分發(fā)責(zé)任清單資源信息共享內(nèi)容共享?xiàng)l件結(jié)束目錄清單：確保數(shù)據(jù)的系統(tǒng)性需求清單：確保數(shù)據(jù)的針對性責(zé)任清單：壓實(shí)數(shù)據(jù)采集責(zé)任提供方以信息化手段推動(dòng)數(shù)據(jù)共享服務(wù)，建立能按需共享的業(yè)務(wù)模式，解決各部門數(shù)據(jù)共享和應(yīng)用難題。管理方掛接B提供方7、數(shù)據(jù)共享服務(wù)試點(diǎn)應(yīng)用：基于C端用戶建立數(shù)據(jù)共享服務(wù)流程數(shù)據(jù)資源目錄梳理1共享資源發(fā)布2共享資源申請3共享資源審核授權(quán)45匯聚區(qū)資源目錄梳理基礎(chǔ)區(qū)資源目錄梳理主題區(qū)資源目錄梳理數(shù)據(jù)集市區(qū)資源目錄梳理..共享服務(wù)目錄創(chuàng)建共享數(shù)據(jù)源配置共享數(shù)據(jù)接入共享數(shù)據(jù)資源配置與更新共享服務(wù)測試共享服務(wù)發(fā)布…數(shù)據(jù)共享資源檢索數(shù)據(jù)共享服務(wù)調(diào)用數(shù)據(jù)共享服務(wù)調(diào)用問題反饋…共享服務(wù)調(diào)用6共享服務(wù)管理與運(yùn)維共享服務(wù)系統(tǒng)管理共享服務(wù)權(quán)限管理共享服務(wù)日志管理共享服務(wù)監(jiān)控預(yù)警共享服務(wù)故障處理共享服務(wù)統(tǒng)計(jì)分析…數(shù)據(jù)共享資源檢索數(shù)據(jù)共享資源申請數(shù)據(jù)共享資源數(shù)量申請數(shù)據(jù)共享資源問題反饋…數(shù)據(jù)共享資源使用審核數(shù)據(jù)共享資源數(shù)量審核數(shù)據(jù)共享資源跨部門授權(quán)數(shù)據(jù)共享資源部門內(nèi)授權(quán)…數(shù)據(jù)共享服務(wù)流程數(shù)據(jù)共享服務(wù)工具支撐謝謝聆聽企業(yè)數(shù)字化轉(zhuǎn)型大數(shù)據(jù)湖一體化運(yùn)營管理平臺(tái)建設(shè)方案整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行2023年目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行數(shù)據(jù)架構(gòu)與承載體系的演變過程完整性、一致性、交互穩(wěn)定性，并發(fā)性，異常可恢復(fù)性數(shù)據(jù)庫時(shí)代關(guān)系型數(shù)據(jù)庫解決了信息時(shí)代的數(shù)據(jù)資源存儲(chǔ)和管理，實(shí)現(xiàn)了電子化的文件柜采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)，冗余小面向事務(wù)管理，具有ACID特性數(shù)據(jù)統(tǒng)一管理和控制，易維護(hù)和擴(kuò)充程序與數(shù)據(jù)獨(dú)立，具有良好用戶接口1數(shù)據(jù)倉庫時(shí)代DW研究和解決了從數(shù)據(jù)庫中獲取信息的問題，通過OLAP、數(shù)據(jù)挖掘等幫助企業(yè)決策分析，構(gòu)建商業(yè)智能（BI）面向主題的，關(guān)注用戶重點(diǎn)業(yè)務(wù)集成的，跨越歷史、區(qū)域、系統(tǒng)…穩(wěn)定的，具有只讀性質(zhì)，以查詢?yōu)橹饕詴r(shí)間序列存儲(chǔ)，非規(guī)范化管理2大數(shù)據(jù)平臺(tái)時(shí)代面對大數(shù)據(jù)5V特點(diǎn)，采用分布式、并行化的存儲(chǔ)和計(jì)算架構(gòu)，提升數(shù)據(jù)處理能力對象：PB級，80%以上非結(jié)構(gòu)化數(shù)據(jù)技術(shù)：分布式架構(gòu)、云計(jì)算、虛擬化等CAP原理：CAPBASE目標(biāo)：線性擴(kuò)展、彈性計(jì)算、實(shí)時(shí)響應(yīng)、動(dòng)態(tài)調(diào)節(jié)31970’s1990’sBillInmon提出DW概念E.F.Codd發(fā)明DBMS2000’sGoogle發(fā)布三篇論文存儲(chǔ)經(jīng)濟(jì)性、高性能、高擴(kuò)展、高并發(fā)、靈活模型適配性企業(yè)級跨域整合、業(yè)務(wù)擴(kuò)展性、架構(gòu)設(shè)計(jì)合理性、流程規(guī)范性背景：數(shù)據(jù)快速入湖，分析更加智能，應(yīng)用更加多樣，服務(wù)更加開放更多企業(yè)數(shù)據(jù)將進(jìn)入數(shù)據(jù)湖，來自傳統(tǒng)系統(tǒng)的數(shù)據(jù)和傳感器等新型數(shù)據(jù)資源不斷融合，數(shù)據(jù)孤島將繼續(xù)被打破。隨著大數(shù)據(jù)分析能力的不斷提高，人工智能的重要性被逐步提升。當(dāng)今最先進(jìn)的機(jī)器學(xué)習(xí)和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法，創(chuàng)建出能夠理解、學(xué)習(xí)、預(yù)測、適應(yīng)，甚至可以自主操作的系統(tǒng)。數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用數(shù)據(jù)分析數(shù)據(jù)治理數(shù)據(jù)平臺(tái)以更加深度的數(shù)據(jù)開放，跨行業(yè)大數(shù)據(jù)關(guān)聯(lián)。以更多樣的應(yīng)用能力，構(gòu)建針對性行業(yè)解決方案。數(shù)據(jù)平臺(tái)存儲(chǔ)方式向數(shù)據(jù)湖模式轉(zhuǎn)變，多數(shù)據(jù)匯聚。支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)多數(shù)據(jù)入湖。入湖即治理，針對性對數(shù)據(jù)源系統(tǒng)輸入數(shù)據(jù)制定入湖標(biāo)準(zhǔn)數(shù)據(jù)驅(qū)動(dòng)治理規(guī)范，以數(shù)據(jù)為核心實(shí)時(shí)制定治理規(guī)范。從深度學(xué)習(xí)到機(jī)器學(xué)習(xí)，從機(jī)器學(xué)習(xí)到人工智能。基于數(shù)據(jù)湖的大量的原始數(shù)據(jù)，深度訓(xùn)練，快速分析智能應(yīng)用，基于AI與機(jī)器學(xué)習(xí)分析，個(gè)性化服務(wù)提供。應(yīng)用快速構(gòu)建，基于數(shù)據(jù)湖進(jìn)行細(xì)粒度的收集、探索和分析數(shù)據(jù)湖數(shù)據(jù)治理數(shù)據(jù)分析數(shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)數(shù)據(jù)驅(qū)動(dòng)規(guī)范，入湖標(biāo)準(zhǔn)制定人工智能分析，直引湖中數(shù)據(jù)大數(shù)據(jù)發(fā)展趨勢分析應(yīng)用更加智能，構(gòu)建更加快速深度數(shù)據(jù)開放，針對方案制定數(shù)據(jù)湖產(chǎn)生背景及概念提出企業(yè)現(xiàn)在正處于大數(shù)據(jù)的“焦慮期”存儲(chǔ)成本問題：海量數(shù)據(jù)需要在多環(huán)境、多級下重復(fù)存儲(chǔ)，存儲(chǔ)開銷大數(shù)據(jù)形態(tài)問題：應(yīng)用大多聚焦在經(jīng)過加工后的再生數(shù)據(jù)，原始數(shù)據(jù)無法得到充分利用業(yè)務(wù)響應(yīng)問題：必須事先進(jìn)行充分規(guī)劃和較長周期加工，欠缺運(yùn)營所需的靈活性和時(shí)效性數(shù)據(jù)集市數(shù)據(jù)湖問題？挑戰(zhàn)？變革！數(shù)據(jù)湖一詞是2011年由Pentaho首席技術(shù)官詹姆斯

迪克森最初提出的，參照“數(shù)據(jù)集市”得來。較小的數(shù)據(jù)存儲(chǔ)庫如同瓶裝水，經(jīng)過過濾包裝結(jié)構(gòu)化后以供使用數(shù)據(jù)來源于不同地方如同湖泊，存儲(chǔ)更自然狀態(tài)下的大量的水預(yù)先設(shè)定問題使用方式單一集中存儲(chǔ)+無限能力用戶各取所需把不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一存儲(chǔ)，使不同數(shù)據(jù)有一致的存儲(chǔ)方式，在使用時(shí)方便連接，真正解決數(shù)據(jù)集成問題。全部采集（CollectEverything）隨處研究（DiveInAnywhere）靈活訪問（FlexibleAccess）數(shù)據(jù)湖的定義與特性存儲(chǔ)一切，分析一切，創(chuàng)建所需數(shù)據(jù)湖（DataLake）核心思想

把你以前在磁帶上擁有的東西倒入到數(shù)據(jù)湖，然后開始探索該數(shù)據(jù)。重要的

只把需要的數(shù)據(jù)倒入到Hadoop；如果你想結(jié)合來自數(shù)據(jù)湖的信息和客戶關(guān)系

管理系統(tǒng)（CRM）里面的信息，我們就進(jìn)行連接，只有需要時(shí)才執(zhí)行這番數(shù)

據(jù)結(jié)合。整理制作郎豐利1519

數(shù)據(jù)湖是一種在系統(tǒng)或存儲(chǔ)庫中以自然格式存儲(chǔ)數(shù)據(jù)的方法，它有助于以各種

模式和結(jié)構(gòu)形式配置數(shù)據(jù)，通常是對象塊或文件。湖中的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)

從關(guān)系數(shù)據(jù)庫（行和列），半結(jié)構(gòu)化數(shù)據(jù)（CSV、XML、JSON的日志），非

結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進(jìn)制數(shù)據(jù)（圖像、音頻、視頻）從

而形成一個(gè)集中式數(shù)據(jù)存儲(chǔ)容納所有形式的數(shù)據(jù)。詹姆斯·迪克森維基百科從對比中理解數(shù)據(jù)湖概念—優(yōu)勢篇對比項(xiàng)數(shù)據(jù)倉庫數(shù)據(jù)湖支持?jǐn)?shù)據(jù)類型有限的數(shù)據(jù)類型支持，以結(jié)構(gòu)化為主支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)采集方式過程開始于業(yè)務(wù)流程識(shí)別，通常由數(shù)據(jù)管理者和業(yè)務(wù)負(fù)責(zé)人基于數(shù)據(jù)和業(yè)務(wù)的某種假設(shè)在數(shù)據(jù)湖世界里，沒有關(guān)于已經(jīng)取得的數(shù)據(jù)假設(shè)。一旦數(shù)據(jù)發(fā)生，即開始在細(xì)粒度級別收集數(shù)據(jù)。業(yè)務(wù)流程發(fā)現(xiàn)基于數(shù)據(jù)與輸入數(shù)據(jù)數(shù)據(jù)處理能力寫入模式，建立模型對數(shù)據(jù)進(jìn)行某類格式和結(jié)構(gòu)的處理，為了減少數(shù)據(jù)的復(fù)雜性，比較難于實(shí)現(xiàn)上卷（Rollup）和鉆?。―rilldown）分析，該設(shè)計(jì)可能需要妥協(xié)一定粒度的數(shù)據(jù)讀取模式，接受原始形式的數(shù)據(jù)，在數(shù)據(jù)細(xì)粒度級別收集、探索和分析非常簡單架構(gòu)重建能力數(shù)據(jù)庫架構(gòu)演變需要謹(jǐn)慎，過程耗時(shí)，成本較高，影響較大，需要對原有數(shù)據(jù)進(jìn)行重構(gòu)不存在結(jié)構(gòu)問題，支持復(fù)雜數(shù)據(jù)類型，便于重置數(shù)據(jù)模型、查詢和應(yīng)用，并具有簡單的重建關(guān)系的能力動(dòng)態(tài)性敏捷性差，采用靜態(tài)固定配置，基于業(yè)務(wù)流程驅(qū)動(dòng)而設(shè)計(jì)系統(tǒng)高度敏捷，動(dòng)態(tài)靈活配置，基于數(shù)據(jù)的業(yè)務(wù)流程定義擴(kuò)展性提供預(yù)定義的業(yè)務(wù)需求點(diǎn)燃創(chuàng)新和新的商業(yè)機(jī)會(huì)從對比中理解數(shù)據(jù)湖概念—劣勢篇對比項(xiàng)數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)規(guī)劃體系具有周密的數(shù)據(jù)發(fā)現(xiàn)、采集、探索和轉(zhuǎn)換的數(shù)據(jù)計(jì)劃，易于突顯數(shù)據(jù)價(jià)值不太重視事先的數(shù)據(jù)規(guī)劃，允許存儲(chǔ)任何數(shù)據(jù)，難以抓取數(shù)據(jù)價(jià)值數(shù)據(jù)利用效率數(shù)據(jù)利用率高，按數(shù)據(jù)優(yōu)先級和數(shù)據(jù)可用性的大小進(jìn)行組織，可以快速定位所需數(shù)據(jù)數(shù)據(jù)利用率低，缺少數(shù)據(jù)優(yōu)先級排序，需要花費(fèi)大量時(shí)間查找和分析前的準(zhǔn)備數(shù)據(jù)需求響應(yīng)能力具有較高的需求響應(yīng)能力，可以保證平穩(wěn)高效的數(shù)據(jù)訪問數(shù)據(jù)響應(yīng)延遲較高，整個(gè)分析過程容易中斷復(fù)雜性和難度較低，建設(shè)規(guī)模與成本可控很高，建設(shè)難度與規(guī)模呈線性增長趨勢，隱性成本較高邏輯可解釋性數(shù)據(jù)組織邏輯性強(qiáng)，數(shù)據(jù)關(guān)系可解釋性較高欠缺語義一致性和嚴(yán)格的元數(shù)據(jù)，數(shù)據(jù)關(guān)系較為松散，難以解釋安全性多年發(fā)展歷程，保護(hù)數(shù)據(jù)的能力比較成熟比較新的技術(shù)，需要持續(xù)完善適用對象企業(yè)的業(yè)務(wù)行家和專業(yè)人員，技術(shù)門檻低面向熟練用戶、科學(xué)領(lǐng)域的數(shù)據(jù)科學(xué)家，技術(shù)門檻高潛在風(fēng)險(xiǎn)數(shù)據(jù)湖數(shù)據(jù)沼澤數(shù)據(jù)湖是大數(shù)據(jù)概念的延伸多樣化的數(shù)據(jù)存儲(chǔ)高效的數(shù)據(jù)處理存儲(chǔ)全部數(shù)據(jù)處理任何數(shù)據(jù)訪問任何數(shù)據(jù)數(shù)據(jù)能力要求支持所有用戶更容易適應(yīng)變化更快的洞悉能力IT能力要求數(shù)據(jù)湖的能力視圖數(shù)據(jù)湖并非是個(gè)全新概念“數(shù)據(jù)湖”是關(guān)于企業(yè)應(yīng)用大數(shù)據(jù)的概念，是面向企業(yè)的最佳的大數(shù)據(jù)的解決方案“數(shù)據(jù)湖”不僅是數(shù)據(jù)存儲(chǔ)和處理的單元，也是釋放數(shù)據(jù)價(jià)值的過程企業(yè)大數(shù)據(jù)應(yīng)用成功的關(guān)鍵并不是存儲(chǔ)所有的數(shù)據(jù)，而是要?jiǎng)?chuàng)建一個(gè)更有意義的“數(shù)據(jù)湖”，幫助企業(yè)加速提取高價(jià)值數(shù)據(jù)的速度數(shù)據(jù)湖是大數(shù)據(jù)發(fā)展方向上的高級階段，是一種建設(shè)理念，而不是一種特定的實(shí)施方法“數(shù)據(jù)湖”是個(gè)架構(gòu)概念，是數(shù)據(jù)倉庫的一種演進(jìn)，是一種大數(shù)據(jù)概念下的延伸數(shù)據(jù)湖概念上的甄別1、用于安置企業(yè)所有數(shù)據(jù)的一個(gè)數(shù)據(jù)倉庫或數(shù)據(jù)集市2、替代運(yùn)營數(shù)據(jù)存儲(chǔ)（ODS）3、高性能的生產(chǎn)環(huán)境4、生產(chǎn)型報(bào)表的應(yīng)用程序5、一個(gè)專門建立的系統(tǒng)來解決一個(gè)特定的問題（盡管專門建立的數(shù)據(jù)集市可以從數(shù)據(jù)湖中提供）1、用戶可以訪問大量原始數(shù)據(jù)的環(huán)境2、一個(gè)開發(fā)和驗(yàn)證分析模型的環(huán)境，然后將其轉(zhuǎn)化為生產(chǎn)3、用于探索數(shù)據(jù)以獲得洞察力的分析沙箱4、企業(yè)級目錄，可幫助用戶查找數(shù)據(jù)并將業(yè)務(wù)術(shù)語與技術(shù)元數(shù)據(jù)鏈接起來5、一個(gè)支持重用數(shù)據(jù)轉(zhuǎn)換和查詢的環(huán)境數(shù)據(jù)湖是……數(shù)據(jù)湖不是……數(shù)據(jù)湖體系的架構(gòu)規(guī)劃Hadoop不一定是數(shù)據(jù)湖的組成部分，只是它是目前最理想的選擇！數(shù)據(jù)湖的邏輯架構(gòu)數(shù)據(jù)湖的數(shù)據(jù)架構(gòu)持久層（PersitentLayer）：存放所有從和外部獲取的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分析沙箱（AnalyticsSandbox）：數(shù)據(jù)科學(xué)家和分析師被授予持久層的訪問權(quán)限并使用進(jìn)行數(shù)據(jù)研究和實(shí)驗(yàn)探索數(shù)據(jù)源（Curated）：數(shù)據(jù)分析師會(huì)將有商業(yè)價(jià)值的數(shù)據(jù)進(jìn)行處理并創(chuàng)建新的數(shù)據(jù)源以提供給業(yè)務(wù)分析師可操作層（Operationallayer）：業(yè)務(wù)分析師繼續(xù)精煉已處理過的數(shù)據(jù)，和數(shù)據(jù)管理團(tuán)隊(duì)一起將這些數(shù)據(jù)轉(zhuǎn)換為更為容易操作和使用的數(shù)據(jù)，存放之以便得到更廣泛的使用數(shù)據(jù)湖建設(shè)的四個(gè)階段整合數(shù)據(jù)湖基礎(chǔ)設(shè)施可擴(kuò)展的數(shù)據(jù)處理和攝入數(shù)據(jù)目錄管理趨于完善EDW與DataLake協(xié)作對外生產(chǎn)價(jià)值輸送能力數(shù)據(jù)服務(wù)和運(yùn)營管理能力端到端的業(yè)務(wù)支撐能力穩(wěn)定的成熟度服務(wù)架構(gòu)靈活完善的企業(yè)運(yùn)營模式分析能力增強(qiáng)優(yōu)化探索環(huán)境豐富價(jià)值發(fā)現(xiàn)模型價(jià)值挖掘階段基礎(chǔ)架構(gòu)階段成熟運(yùn)營階段協(xié)作交互階段01020304大多數(shù)企業(yè)處于前三個(gè)階段的建設(shè)和完善過程中……建設(shè)難點(diǎn)與風(fēng)險(xiǎn)數(shù)據(jù)湖關(guān)鍵點(diǎn)數(shù)據(jù)湖體系的建設(shè)要點(diǎn)與風(fēng)險(xiǎn)分析靈活自動(dòng)化的采集與存儲(chǔ)組織和編目數(shù)據(jù)管理統(tǒng)一的透明訪問方式數(shù)據(jù)質(zhì)量和可靠性無感知的分布式架構(gòu)（存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)）企業(yè)全局?jǐn)?shù)據(jù)的掌握與預(yù)測統(tǒng)一元數(shù)據(jù)規(guī)范和管控能力業(yè)務(wù)關(guān)聯(lián)場景的數(shù)據(jù)理解系統(tǒng)化的質(zhì)量管控體系分布技術(shù)的規(guī)劃和擴(kuò)展能力參考：來自實(shí)踐中數(shù)據(jù)湖建設(shè)內(nèi)容目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2生產(chǎn)型系統(tǒng)分析型系統(tǒng)數(shù)據(jù)接入數(shù)據(jù)存儲(chǔ)生產(chǎn)數(shù)據(jù)(1+N)操作/臨時(shí)存儲(chǔ)原生數(shù)據(jù)(1+N)就近/分域存儲(chǔ)應(yīng)用數(shù)據(jù)(N)分區(qū)建設(shè)應(yīng)用計(jì)算處理整合數(shù)據(jù)(1)全網(wǎng)/分層支撐協(xié)同計(jì)算引擎實(shí)時(shí)檢索和流處理引擎結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫/格式文件等）半結(jié)構(gòu)化數(shù)據(jù)（XML/TXT等）非結(jié)構(gòu)化數(shù)據(jù)（語音、視頻等）統(tǒng)一索引層計(jì)算側(cè)cache生產(chǎn)系統(tǒng)駐留統(tǒng)一接入配置生態(tài)圈系統(tǒng)PB級存儲(chǔ)OracleMySqlHDFSHbaseGreenplumTXTTB級計(jì)算訪問共享API數(shù)據(jù)沙箱訪問接口（JDBC、ODBC）同源異構(gòu)訪問挖掘工具交互分析OLAP應(yīng)用構(gòu)建工具生產(chǎn)直采前置采集存儲(chǔ)計(jì)算加速離線批處理引擎交互式查詢引擎計(jì)算資源調(diào)度IOT接入BSSOSSMSS網(wǎng)絡(luò)/平臺(tái)生態(tài)圈同步鏡像運(yùn)營管控采集接入規(guī)范源數(shù)據(jù)提供規(guī)范數(shù)據(jù)分類規(guī)范數(shù)據(jù)模型規(guī)范元字典規(guī)范資源申請規(guī)范計(jì)算調(diào)度規(guī)范訪問接入規(guī)范數(shù)據(jù)共享標(biāo)準(zhǔn)生產(chǎn)模型規(guī)范數(shù)據(jù)湖統(tǒng)一目錄<統(tǒng)一服務(wù)數(shù)據(jù)集>邏輯化視圖緩存加速統(tǒng)一數(shù)據(jù)服務(wù)代理（DataBroker）統(tǒng)一數(shù)據(jù)接入跨架構(gòu)數(shù)據(jù)聯(lián)邦存儲(chǔ)規(guī)范數(shù)據(jù)安全規(guī)范角色權(quán)限規(guī)范運(yùn)營管理規(guī)范資源池化

彈性伸縮自動(dòng)調(diào)度

按需使用應(yīng)用專區(qū)省分專區(qū)生態(tài)圈專區(qū)…源端系統(tǒng)可視化定義

即配即用透明化部署

實(shí)時(shí)接入調(diào)度平臺(tái)工具外部系統(tǒng)互聯(lián)網(wǎng)合作伙伴大吞吐管道服務(wù)對象外部系統(tǒng)互聯(lián)網(wǎng)網(wǎng)絡(luò)爬蟲主數(shù)據(jù)(1)全網(wǎng)統(tǒng)一大數(shù)據(jù)湖體系規(guī)劃大數(shù)據(jù)湖存儲(chǔ)能力規(guī)劃——統(tǒng)一標(biāo)準(zhǔn)/分區(qū)存儲(chǔ)制定全集團(tuán)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，采取分域分類的數(shù)據(jù)入湖策略，構(gòu)建生產(chǎn)、原生、整合/應(yīng)用、專區(qū)等分區(qū)數(shù)據(jù)存儲(chǔ)及計(jì)算能力，實(shí)現(xiàn)數(shù)據(jù)原生入湖、按需使用的宗旨，為全國1+31省提供應(yīng)用數(shù)據(jù)服務(wù)能力，注智生產(chǎn)激發(fā)生產(chǎn)力。數(shù)據(jù)存儲(chǔ)數(shù)據(jù)接入數(shù)據(jù)訪問運(yùn)營管理數(shù)據(jù)計(jì)算計(jì)算資源管理資源池化，彈性技術(shù)自動(dòng)調(diào)度，按需使用實(shí)時(shí)流式離線批量內(nèi)存計(jì)算及緩存機(jī)器學(xué)習(xí)交互式查詢協(xié)同計(jì)算非結(jié)構(gòu)化計(jì)算存儲(chǔ)資源管理結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)（日志/XML文件等）非結(jié)構(gòu)化數(shù)據(jù)（文件/圖片/音頻/視頻等）省份專區(qū)生態(tài)圈專區(qū)內(nèi)蒙生產(chǎn)數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)實(shí)體關(guān)聯(lián)視圖主數(shù)據(jù)區(qū)省份B/O側(cè)生產(chǎn)系統(tǒng)集團(tuán)橫向系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)網(wǎng)絡(luò)/平臺(tái)生產(chǎn)系統(tǒng)（前置預(yù)處理）編碼統(tǒng)一轉(zhuǎn)換實(shí)體對齊客戶產(chǎn)品渠道營銷資源服務(wù)自然人貴州河北遼寧寧夏…互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT人員組織資源產(chǎn)品客戶…BSS原生數(shù)據(jù)OSS原生數(shù)據(jù)MSS原生數(shù)據(jù)網(wǎng)絡(luò)/平臺(tái)數(shù)據(jù)集團(tuán)橫向數(shù)據(jù)生態(tài)圈-ICT生態(tài)圈-金融…存儲(chǔ)分區(qū)原則：生產(chǎn)數(shù)據(jù)區(qū)：遵循電信集團(tuán)數(shù)據(jù)建模標(biāo)準(zhǔn)及主數(shù)據(jù)規(guī)范要求；規(guī)范層面屬于大數(shù)據(jù)湖范疇，物理資源層面可采用湖資源也可自建；原生數(shù)據(jù)區(qū)：分域分類存儲(chǔ)生產(chǎn)數(shù)據(jù)；將非標(biāo)準(zhǔn)數(shù)據(jù)做標(biāo)準(zhǔn)化轉(zhuǎn)化；整合數(shù)據(jù)區(qū)：采用大數(shù)據(jù)挖掘等技術(shù)進(jìn)行實(shí)體歸集補(bǔ)全；構(gòu)建實(shí)體關(guān)聯(lián)視圖；主數(shù)據(jù)區(qū)：存儲(chǔ)企業(yè)級全網(wǎng)主數(shù)據(jù)，大數(shù)據(jù)主數(shù)據(jù)唯一提供者；應(yīng)用專區(qū)：本著數(shù)據(jù)不出湖，充分挖掘數(shù)據(jù)價(jià)值原則，為使用者提供基于自有、原生、整合數(shù)據(jù)的處理空間，面向應(yīng)用開展數(shù)據(jù)處理工作；郎豐利整理制作大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)規(guī)劃——原生入湖/分類存儲(chǔ)/按需使用以原生入湖分類存儲(chǔ)按需使用為宗旨，分域分類存儲(chǔ)按周期存儲(chǔ)原生數(shù)據(jù)，為云公司、集團(tuán)ODS、省份大數(shù)據(jù)平臺(tái)提供原生數(shù)據(jù)共享服務(wù)，為湖內(nèi)整合數(shù)據(jù)區(qū)、應(yīng)用數(shù)據(jù)區(qū)提供原生數(shù)據(jù)服務(wù)。原生數(shù)據(jù)區(qū)生態(tài)圈數(shù)據(jù)網(wǎng)絡(luò)/平臺(tái)數(shù)據(jù)集團(tuán)橫向數(shù)據(jù)BSS數(shù)據(jù)OSS數(shù)據(jù)MSS數(shù)據(jù)EDA數(shù)據(jù)共享服務(wù)數(shù)據(jù)生產(chǎn)系統(tǒng)BSS系統(tǒng)OSS系統(tǒng)MSS系統(tǒng)EDA系統(tǒng)集團(tuán)橫向系統(tǒng)生態(tài)圈系統(tǒng)…網(wǎng)絡(luò)/平臺(tái)系統(tǒng)原生入湖預(yù)處理入湖數(shù)據(jù)共享原生數(shù)據(jù)專區(qū)共享原生數(shù)據(jù)整合共享數(shù)據(jù)整合區(qū)數(shù)據(jù)專區(qū)實(shí)體關(guān)聯(lián)視圖共享互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT應(yīng)用枝繁葉茂類翼支付甜橙欺詐盾IWIFI統(tǒng)一賬號(hào)NFC產(chǎn)品4G-QoS云堤流量控海洋衛(wèi)星寬帶天翼網(wǎng)關(guān)智能組網(wǎng)視頻通話聚精彩車管專家樂駕天翼云盤企業(yè)云189郵箱翼校通翼機(jī)通+天翼對講旺鋪助手外勤助手號(hào)簿助手手機(jī)看店愛音樂天翼視訊天翼閱讀愛游戲愛動(dòng)漫天翼空間易信新視通4G家庭云安全辦公專屬云加密通道影像云21CN地產(chǎn)大數(shù)據(jù)語音云旅游大數(shù)據(jù)移動(dòng)感知DPI4G分組域話單固網(wǎng)DPI日志留存DPIOIDDMR/CDRPM/CM智能網(wǎng)管電渠悅ME商機(jī)行業(yè)短信ODMS量化微信易信號(hào)百4G數(shù)據(jù)集約積分政企KPI渠道終端…CRM計(jì)費(fèi)客戶服務(wù)PPMVSOP…綜合資源采購輔助財(cái)務(wù)輔助工程輔助ERP人力久其裝維EDA直采省+集團(tuán)電渠服務(wù)量省份專區(qū)生態(tài)圈專區(qū)…實(shí)體關(guān)聯(lián)視圖編碼標(biāo)準(zhǔn)化實(shí)體對齊移動(dòng)/固網(wǎng)DPIOIDDMR/CDRCM/CP計(jì)費(fèi)詳單HANA數(shù)據(jù)ODMS翼支付集約積分…主數(shù)據(jù)區(qū)大數(shù)據(jù)湖整合數(shù)據(jù)區(qū)規(guī)劃——構(gòu)建企業(yè)級核心實(shí)體關(guān)聯(lián)視圖保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作，保持?jǐn)?shù)據(jù)原子性，不影響專區(qū)應(yīng)用指標(biāo)加工處理；實(shí)體補(bǔ)齊性：對核心實(shí)體根據(jù)不同原生數(shù)據(jù)進(jìn)行屬性補(bǔ)齊；實(shí)體關(guān)聯(lián)性：面向?qū)嶓w全業(yè)務(wù)流程數(shù)據(jù)，整合各域數(shù)據(jù)實(shí)現(xiàn)實(shí)體跨域關(guān)聯(lián)視圖；共享一致性：按照湖應(yīng)用的使用需求進(jìn)行共性提煉，實(shí)現(xiàn)統(tǒng)一的公共寬表建設(shè)；整合數(shù)據(jù)區(qū)完成數(shù)據(jù)清洗、編碼轉(zhuǎn)換、實(shí)體對齊及構(gòu)建企業(yè)級核心實(shí)體關(guān)聯(lián)視圖，為應(yīng)用專區(qū)提供整合數(shù)據(jù)服務(wù)。整合數(shù)據(jù)區(qū)保持?jǐn)?shù)據(jù)原子性粒度，不對數(shù)據(jù)做聚合處理，不影響業(yè)務(wù)專區(qū)業(yè)務(wù)指標(biāo)加工處理。實(shí)體對齊實(shí)體關(guān)聯(lián)視圖參與營銷活動(dòng)產(chǎn)品訂購資源配給上門服務(wù)用戶投訴修障維護(hù)用戶使用存量經(jīng)營用戶出賬產(chǎn)品實(shí)體跨域關(guān)聯(lián)視圖構(gòu)建BSS數(shù)據(jù)客戶信息訂購信息OSS數(shù)據(jù)MSS數(shù)據(jù)網(wǎng)絡(luò)/平臺(tái)裝維信息開通信息傭金結(jié)算成本信息用戶投訴率行為數(shù)據(jù)質(zhì)量數(shù)據(jù)消費(fèi)信息服務(wù)信息資源數(shù)據(jù)報(bào)障數(shù)據(jù)財(cái)務(wù)收入補(bǔ)貼數(shù)據(jù)客戶產(chǎn)品渠道營銷資源服務(wù)合作伙伴核心實(shí)體自然人…CP/SP訂購位置信息自然人員工組織地域政企客戶合作伙伴數(shù)據(jù)清洗外部數(shù)據(jù)管理規(guī)則管理實(shí)體沉淀聚合管理沖突管理大數(shù)據(jù)湖應(yīng)用數(shù)據(jù)專區(qū)規(guī)劃——面向應(yīng)用的自建自維數(shù)據(jù)專區(qū)獨(dú)立性：保證資源獨(dú)立性、數(shù)據(jù)獨(dú)立性、應(yīng)用獨(dú)立性；可用性：保證存儲(chǔ)、計(jì)算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平滑擴(kuò)展；易用性：提供豐富的可視化開發(fā)及專區(qū)運(yùn)營工具；可管理性：大數(shù)據(jù)湖對專區(qū)具備監(jiān)控、審計(jì)能力；數(shù)據(jù)服務(wù)性：專區(qū)數(shù)據(jù)可以數(shù)據(jù)形式服務(wù)，也可開發(fā)應(yīng)用直接鏈接調(diào)用；大數(shù)據(jù)湖為業(yè)務(wù)應(yīng)用場景提供具有數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)服務(wù)及數(shù)據(jù)應(yīng)用訪問能力的應(yīng)用專區(qū)，用戶可自行獲取數(shù)據(jù)，面向特定應(yīng)用場景完成數(shù)據(jù)加工處理；大數(shù)據(jù)湖提供專區(qū)申請及監(jiān)控管理，以保證專區(qū)健康、有價(jià)運(yùn)營。數(shù)據(jù)接入源端生產(chǎn)系統(tǒng)/數(shù)據(jù)倉庫省份專區(qū)應(yīng)用生態(tài)圈專區(qū)應(yīng)用其它專區(qū)應(yīng)用應(yīng)用數(shù)據(jù)專區(qū)專區(qū)管理整合數(shù)據(jù)區(qū)主數(shù)據(jù)區(qū)省份專區(qū)-內(nèi)蒙自有數(shù)據(jù)原生數(shù)據(jù)整合區(qū)數(shù)據(jù)應(yīng)用數(shù)據(jù)專區(qū)申請專區(qū)審批專區(qū)劃分專區(qū)變更專區(qū)回收運(yùn)營監(jiān)控資源利用率數(shù)據(jù)處理規(guī)范性使用頻度應(yīng)用成果評估安全性監(jiān)控省份專區(qū)-…生態(tài)圈專區(qū)-…原生數(shù)據(jù)區(qū)實(shí)時(shí)采集批量采集消息采集共享訪問大數(shù)據(jù)湖主數(shù)據(jù)區(qū)規(guī)劃——企業(yè)級核心/統(tǒng)一運(yùn)營保障主數(shù)據(jù)區(qū)負(fù)責(zé)存儲(chǔ)全域主數(shù)據(jù)，并確保與主數(shù)據(jù)生產(chǎn)者保持同步，為大數(shù)據(jù)湖各區(qū)提供唯一主數(shù)據(jù)源，以保證湖中企業(yè)級核心實(shí)體數(shù)據(jù)的一致性和完整性，提升大數(shù)據(jù)湖運(yùn)營效率及效果。統(tǒng)一主數(shù)據(jù)標(biāo)準(zhǔn)：面向全國各域各生產(chǎn)系統(tǒng)提供主數(shù)據(jù)標(biāo)準(zhǔn)；統(tǒng)一主數(shù)據(jù)存儲(chǔ)：面向大數(shù)據(jù)湖提供統(tǒng)一主數(shù)據(jù)存儲(chǔ)能力；統(tǒng)一主數(shù)據(jù)整合：清洗整合各域主數(shù)據(jù)，形成統(tǒng)一、標(biāo)準(zhǔn)、唯一主數(shù)據(jù)；統(tǒng)一主數(shù)據(jù)服務(wù)：為大數(shù)據(jù)湖中各區(qū)提供主數(shù)據(jù)服務(wù)；數(shù)據(jù)接入生產(chǎn)數(shù)據(jù)入湖主數(shù)據(jù)區(qū)主數(shù)據(jù)管理主數(shù)據(jù)整合主數(shù)據(jù)目錄主數(shù)據(jù)共享主數(shù)據(jù)評估客戶產(chǎn)品渠道訂單主數(shù)據(jù)組織…數(shù)據(jù)專區(qū)集團(tuán)橫向生產(chǎn)系統(tǒng)省份BMO生產(chǎn)系統(tǒng)網(wǎng)絡(luò)/平臺(tái)系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)其他系統(tǒng)整合數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)原生數(shù)據(jù)服務(wù)專區(qū)主數(shù)據(jù)入湖主數(shù)據(jù)主數(shù)據(jù)整合數(shù)據(jù)原生數(shù)據(jù)省份專區(qū)生態(tài)圈專區(qū)內(nèi)蒙貴州河北遼寧寧夏…金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念1生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運(yùn)營：大數(shù)據(jù)湖一體化運(yùn)營管理建設(shè)5體系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路2已建新建生態(tài)圈系統(tǒng)大數(shù)據(jù)湖數(shù)據(jù)接入智能連接智慧家庭互聯(lián)網(wǎng)金融新興ICT物聯(lián)網(wǎng)生產(chǎn)系統(tǒng)駐留生產(chǎn)直采前置采集IOT接入同步鏡像iWIFI海洋寬帶天翼高清天翼網(wǎng)關(guān)智能組網(wǎng)翼支付甜橙欺詐盾天翼云盤189郵箱家庭云地產(chǎn)大數(shù)據(jù)物聯(lián)網(wǎng)卡車管專家數(shù)據(jù)湖采集一站式配置采集源連接/采集方式（FTP/API/流式/…）采集類型（全量/增量）/采集計(jì)劃/采集存儲(chǔ)數(shù)據(jù)存儲(chǔ)生產(chǎn)副本（已建）生產(chǎn)正本（新建）原生數(shù)據(jù)智能連接智慧家庭互聯(lián)網(wǎng)金融物聯(lián)網(wǎng)新興ICT整合數(shù)據(jù)統(tǒng)一賬號(hào)客戶特征行為軌跡應(yīng)用數(shù)據(jù)地產(chǎn)大數(shù)據(jù)專區(qū)車管專家營銷云盤客戶洞察金融欺詐分析專區(qū)家庭圈畫像計(jì)算處理實(shí)時(shí)流處理引擎StromSparkstreaming離線批處理引擎HiveMPP機(jī)器學(xué)習(xí)引擎R圖數(shù)據(jù)庫協(xié)同計(jì)算引擎DataBroker內(nèi)存計(jì)算引擎Redis計(jì)算資源按需動(dòng)態(tài)調(diào)配計(jì)算需求分類/資源隊(duì)列管控/租戶任務(wù)管理

計(jì)算規(guī)模/優(yōu)先級別/時(shí)間窗規(guī)劃訪問共享智慧家庭新興ICT智能連接IPTV用戶流量軌跡客戶感知數(shù)據(jù)互聯(lián)網(wǎng)金融翼支付合作商戶客戶金融特征支付風(fēng)險(xiǎn)識(shí)別物聯(lián)網(wǎng)終端設(shè)備列表客戶故障記錄生態(tài)圈統(tǒng)一共享目錄生態(tài)圈客戶數(shù)據(jù)/特征畫像數(shù)據(jù)/客戶感知數(shù)據(jù)/…

生態(tài)圈原生數(shù)據(jù)/主數(shù)據(jù)/整合數(shù)據(jù)/專區(qū)數(shù)據(jù)生態(tài)運(yùn)營協(xié)同生態(tài)資源互換生態(tài)精準(zhǔn)營銷生態(tài)創(chuàng)新發(fā)現(xiàn)生態(tài)圈應(yīng)用APIJDBCODBC沙箱共性基礎(chǔ)數(shù)據(jù)專業(yè)應(yīng)用數(shù)據(jù)基于大數(shù)據(jù)湖的生態(tài)圈建設(shè)模式生態(tài)圈入湖指導(dǎo)原則核心生態(tài)圈數(shù)據(jù)量龐大、繁雜，同時(shí)入庫對計(jì)算資源、并行處理能力、運(yùn)營效率提出了極大的要求，基于此，應(yīng)構(gòu)建科學(xué)、完整的入湖流程及標(biāo)準(zhǔn)，保證生態(tài)圈數(shù)據(jù)能夠順利、高效的入湖并發(fā)揮效果目標(biāo)驅(qū)動(dòng)入湖原則貼近實(shí)際：充分融合業(yè)務(wù)需求，遵循業(yè)務(wù)優(yōu)先原則計(jì)算效率：充分保證數(shù)據(jù)質(zhì)量，讓計(jì)算效率顯著提升邊際效益：合理控制數(shù)據(jù)入湖速度、在成本控制的前提下，實(shí)現(xiàn)效益最大化生態(tài)創(chuàng)新：數(shù)據(jù)、業(yè)務(wù)、需求間的融會(huì)貫通，實(shí)現(xiàn)生態(tài)圈的關(guān)聯(lián)及衍生場景業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù)分類了解生態(tài)業(yè)務(wù)關(guān)鍵概念生態(tài)核心資料1掌握生態(tài)整體經(jīng)營狀況生態(tài)經(jīng)營數(shù)據(jù)2開展生態(tài)業(yè)務(wù)數(shù)字化營銷生態(tài)營銷數(shù)據(jù)3實(shí)現(xiàn)生態(tài)管理運(yùn)營一體化生態(tài)管理數(shù)據(jù)4開拓生態(tài)業(yè)務(wù)智慧創(chuàng)新生態(tài)協(xié)同數(shù)據(jù)5價(jià)值驅(qū)動(dòng)入湖邏輯維度說明權(quán)重系數(shù)優(yōu)先級準(zhǔn)確性數(shù)據(jù)準(zhǔn)