數(shù)據(jù)中臺(tái)架構(gòu)規(guī)劃方案

數(shù)據(jù)中臺(tái)架構(gòu)規(guī)劃方案企業(yè)數(shù)據(jù)應(yīng)用趨勢(shì)及愿景多維視角看數(shù)據(jù)中臺(tái)架構(gòu)規(guī)劃

數(shù)據(jù)中臺(tái)實(shí)施路徑建議匯報(bào)目錄市場、客戶、技術(shù)均在急劇變化，某咨詢公司認(rèn)為制造型企業(yè)要適應(yīng)未來的

變化，需要推動(dòng)主營業(yè)務(wù)的精細(xì)化管理和業(yè)務(wù)創(chuàng)新，關(guān)鍵在于通過數(shù)字驅(qū)動(dòng)實(shí)現(xiàn)以“降本、提質(zhì)、增效、減存”為核心的卓越運(yùn)營

數(shù)字化研發(fā)、智能供應(yīng)鏈、智能制造、預(yù)測(cè)性控制、卓越運(yùn)營、數(shù)字營銷、新IT技術(shù)傳統(tǒng)主營

業(yè)務(wù)數(shù)字賦能商業(yè)創(chuàng)新業(yè)務(wù)舉措預(yù)收與應(yīng)收款控制市場信息收集分析客戶忠誠度的提高低成本高效交易過程質(zhì)量和交貨期承諾滿意度質(zhì)量在線檢測(cè)控制技術(shù)研發(fā)和創(chuàng)新設(shè)備建設(shè)低投高效工藝優(yōu)化和過程控制低耗節(jié)能降本優(yōu)質(zhì)固定成本變動(dòng)成本生產(chǎn)計(jì)劃平衡設(shè)備利用率備件備品預(yù)警預(yù)防性維護(hù)生命周期管理控制采購成本供應(yīng)商管理優(yōu)化庫存結(jié)構(gòu)設(shè)備運(yùn)行維護(hù)作業(yè)成本最低響應(yīng)速度客戶體驗(yàn)產(chǎn)品品種產(chǎn)品質(zhì)量過程控制銷售管理市場策略備件輔料原料客戶管理設(shè)備投入設(shè)備折舊能源介質(zhì)方向工藝路線要素3端到端業(yè)務(wù)可視洞察驅(qū)動(dòng);使能服

務(wù)管理開發(fā)敏捷主動(dòng)，自適應(yīng)和

敏捷地使能業(yè)務(wù)運(yùn)維高效服務(wù)消費(fèi)，按需數(shù)據(jù)可信一致，準(zhǔn)確和實(shí)

時(shí)的數(shù)據(jù)可伸縮的解決方案可預(yù)見并可按環(huán)

境和上下文適配DigitalworkplaceEverythingasa

service協(xié)作MobilitySocial使能業(yè)務(wù)企業(yè)全面數(shù)字化將成為必然，在規(guī)范業(yè)務(wù)管理的基礎(chǔ)上，優(yōu)先搭建企業(yè)適配的數(shù)據(jù)中臺(tái)是決定未來數(shù)據(jù)資產(chǎn)變現(xiàn)及卓越運(yùn)營的關(guān)鍵要素?更高的交付效率?敏捷和快速響應(yīng)?更高的成本效率?新的產(chǎn)品形態(tài)、新的服務(wù)形態(tài)?客戶數(shù)字化轉(zhuǎn)型要求?更高使用效率、更好用戶體驗(yàn)?

自助式服務(wù)?

Mobile

+

BYOD（個(gè)人設(shè)備）?協(xié)作-虛擬團(tuán)隊(duì)、上下游?精細(xì)化高效運(yùn)營?成本透明-項(xiàng)目、人(活動(dòng))、工位?安全透明-可見、可追蹤?

XaaS管理與安全用戶【業(yè)務(wù)要求和挑戰(zhàn)數(shù)據(jù)中臺(tái)業(yè)要求數(shù)據(jù)Cloud

√

4現(xiàn)在

未來審視現(xiàn)在，展望未來，拉通數(shù)據(jù)與業(yè)務(wù)的閉環(huán)成為企業(yè)對(duì)數(shù)據(jù)應(yīng)用及數(shù)據(jù)價(jià)值體現(xiàn)的核心關(guān)切，可有效提升企業(yè)運(yùn)營效率形成“數(shù)據(jù)驅(qū)動(dòng)、業(yè)務(wù)創(chuàng)新”的閉環(huán)看得懂

用得好捋得順

點(diǎn)得清盤得活能夠快速梳理數(shù)

據(jù)鏈路，讓數(shù)據(jù)

管理者和使用者

能夠直觀的、清

晰的掌握數(shù)據(jù)應(yīng)

用與服務(wù)路徑遵循應(yīng)用先行、以用帶存、由存

而通、因通促用

的理念，幫助用

戶盤活數(shù)據(jù)資產(chǎn)，

驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新能夠賦予數(shù)據(jù)以

業(yè)務(wù)價(jià)值，讓各

級(jí)用戶能夠直觀

的理解數(shù)據(jù)、看

懂?dāng)?shù)據(jù)，進(jìn)而提

升數(shù)據(jù)價(jià)值能夠?qū)?shù)據(jù)標(biāo)準(zhǔn)

落地，統(tǒng)一建模，

形成質(zhì)量控制能

力，并以此為基

礎(chǔ)直接向應(yīng)用輸

出數(shù)據(jù)微服務(wù)能夠助力用戶全

面清點(diǎn)數(shù)據(jù)資產(chǎn)，

定期進(jìn)行數(shù)據(jù)資

源統(tǒng)計(jì)分析，讓

管理者真正做到

“心中有數(shù)”能用但不知

道怎么用無數(shù)據(jù)可用有數(shù)據(jù)不可

用知道但不能

快速應(yīng)用相關(guān)痛點(diǎn)5決策層8:45AM在管理駕駛艙中查看管理層9:00AM管理分析小組嘗試通過

兩種方式解決問題：（1）等待該供應(yīng)商發(fā)貨（2）選取備用供應(yīng)商供執(zhí)行層12:00AM系統(tǒng)根據(jù)任務(wù)執(zhí)行情

況持續(xù)進(jìn)行反饋，為

下次決策提供可信參

考進(jìn)入辦公室，通過PC/移動(dòng)App/大屏查看公司整體經(jīng)營情況?全環(huán)節(jié)數(shù)據(jù)收集?

實(shí)時(shí)數(shù)據(jù)加工?

多渠道交互展現(xiàn)為某物料供應(yīng)商供貨延期問題，需要立即采取行動(dòng)?

關(guān)鍵問題下鉆?

根因異常鎖定?異動(dòng)原因分析貨系統(tǒng)給出模擬結(jié)果，并

優(yōu)先推薦第二種解決方案

?

方案演算?

自主學(xué)習(xí)?解決方案推薦新采購?業(yè)務(wù)系統(tǒng)鏈接?

系統(tǒng)指令下達(dá)?人員工單下達(dá)數(shù)據(jù)的價(jià)值將融合到企業(yè)管理的方方面面，基于數(shù)據(jù)中臺(tái)將實(shí)現(xiàn)企業(yè)全層級(jí)的數(shù)據(jù)穿透，大大提高管理效率與輔助決策，體現(xiàn)數(shù)據(jù)智能9:30AM根據(jù)解決方案進(jìn)行指

令下達(dá)，連接采購系

統(tǒng)和采購人員進(jìn)行重用戶歷程關(guān)鍵指標(biāo)異動(dòng)，發(fā)現(xiàn)

某基地的生產(chǎn)計(jì)劃沒有如期進(jìn)行8:50AM點(diǎn)進(jìn)異常指標(biāo)進(jìn)行下

鉆，系統(tǒng)經(jīng)追溯發(fā)現(xiàn)?

關(guān)鍵指標(biāo)分解?

指標(biāo)閾值設(shè)置?風(fēng)險(xiǎn)預(yù)警提示?

執(zhí)行數(shù)據(jù)收集?人員信息回饋?歷史數(shù)據(jù)沉淀數(shù)據(jù)功能決策模擬業(yè)務(wù)概覽結(jié)果反饋根因定位下達(dá)接收異動(dòng)識(shí)別8:30AM6多維視角看數(shù)據(jù)中臺(tái)架構(gòu)規(guī)劃匯報(bào)目錄企業(yè)數(shù)據(jù)應(yīng)用趨勢(shì)及愿景數(shù)據(jù)中臺(tái)實(shí)施路徑建議沉淀累積業(yè)務(wù)

數(shù)據(jù)洞察驅(qū)動(dòng)

尚未構(gòu)建數(shù)據(jù)業(yè)務(wù)化的閉環(huán)體系，缺

乏整體業(yè)務(wù)洞察分析框架，點(diǎn)狀、片

段數(shù)據(jù)難以有效指導(dǎo)運(yùn)營MESWMS

業(yè)務(wù)系統(tǒng)獨(dú)立建設(shè)，缺乏企業(yè)全局?jǐn)?shù)

據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)未有效共享，影響業(yè)務(wù)

高效運(yùn)行然而，傳統(tǒng)企業(yè)數(shù)字化運(yùn)營面臨三大難題，阻礙數(shù)據(jù)價(jià)值的充分挖掘

主體數(shù)據(jù)散落在各系統(tǒng)中，未整合打通、數(shù)據(jù)不規(guī)范，缺乏全局視圖、難以有效洞察

數(shù)據(jù)運(yùn)營體系缺失

數(shù)據(jù)不標(biāo)準(zhǔn)價(jià)值化

服務(wù)化歷史訂單執(zhí)照照片地理區(qū)域…手機(jī)號(hào)賬號(hào)電子文件費(fèi)用家庭信息身份證號(hào)標(biāo)準(zhǔn)化數(shù)據(jù)未貫通分檔授信

記錄CRM經(jīng)銷商SRM合格證書ERP客戶…8數(shù)據(jù)產(chǎn)生數(shù)據(jù)連接信息流價(jià)值鏈數(shù)據(jù)采集&清洗數(shù)據(jù)定義數(shù)據(jù)消費(fèi)數(shù)據(jù)中臺(tái)底座數(shù)據(jù)能力參照某咨詢公司數(shù)據(jù)供應(yīng)鏈的基礎(chǔ)數(shù)據(jù)能力藍(lán)圖，以某企業(yè)業(yè)務(wù)為核心推動(dòng)信息流和價(jià)值鏈的梳理，同時(shí)構(gòu)建相應(yīng)的數(shù)據(jù)能力，為各類業(yè)務(wù)場景分析與價(jià)值體現(xiàn)奠定堅(jiān)實(shí)的基礎(chǔ)

數(shù)據(jù)治理主數(shù)據(jù)

管理元數(shù)據(jù)管理數(shù)據(jù)地圖

管理數(shù)據(jù)服務(wù)

管理信息架構(gòu)

管理數(shù)據(jù)質(zhì)量

管理數(shù)據(jù)安全

管理數(shù)據(jù)資產(chǎn)

運(yùn)營管理指標(biāo)管理診斷性分析指導(dǎo)性分析預(yù)測(cè)性分析數(shù)據(jù)

資產(chǎn)

搜索數(shù)據(jù)

服務(wù)

管理…數(shù)據(jù)匯聚數(shù)據(jù)清洗數(shù)據(jù)連接組織、職責(zé)、制度、流程、考核對(duì)象數(shù)字化規(guī)則數(shù)字化過程數(shù)字化DataSupplyChain數(shù)據(jù)供應(yīng)鏈描述性分析數(shù)據(jù)標(biāo)簽數(shù)據(jù)整合數(shù)據(jù)分析洞察&預(yù)測(cè)數(shù)據(jù)服務(wù)統(tǒng)計(jì)分析數(shù)據(jù)可視數(shù)據(jù)匯聚業(yè)務(wù)9數(shù)據(jù)中臺(tái)規(guī)劃數(shù)據(jù)資產(chǎn)管理選型部署工具化和產(chǎn)品化要實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的高效挖掘：數(shù)據(jù)中臺(tái)搭建需要通過業(yè)務(wù)、技術(shù)與IT產(chǎn)品的深度融合并基于企業(yè)全域數(shù)據(jù)資產(chǎn)治理，以實(shí)現(xiàn)業(yè)務(wù)與數(shù)據(jù)的閉環(huán)驅(qū)動(dòng)數(shù)據(jù)治理及運(yùn)營體系搭建-專題介紹架構(gòu)與技術(shù)“數(shù)據(jù)業(yè)務(wù)”（業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化）：消費(fèi)、再生產(chǎn)新礦產(chǎn)“數(shù)據(jù)資產(chǎn)”（統(tǒng)一：采集，建模，管理，安全）：加工、提純“業(yè)務(wù)礦產(chǎn)”

（各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)

據(jù)）：探礦、挖礦服務(wù)化業(yè)務(wù)梳理賦能各類業(yè)務(wù)-以財(cái)務(wù)為例21統(tǒng)一化310<新品研發(fā)的產(chǎn)品成本測(cè)算分析新產(chǎn)品量產(chǎn)成本測(cè)算分析新產(chǎn)品盈利能力測(cè)算分析銷售接單評(píng)估模擬測(cè)算財(cái)務(wù)端利潤最大化排產(chǎn)模型PMC端排產(chǎn)后盈利預(yù)測(cè)模型銷售合同審核盈利測(cè)算模型漿料采購測(cè)算模型（銀點(diǎn)+加工費(fèi)）成本預(yù)測(cè)模型(對(duì)應(yīng)成本周報(bào)結(jié)構(gòu))無測(cè)算模型無測(cè)算模型新品研發(fā)費(fèi)用分析(實(shí)際/預(yù)測(cè)/目標(biāo)/標(biāo)準(zhǔn))分析見復(fù)盤材料性價(jià)比分析（硅片/網(wǎng)版/漿料）精益制造成本深度分析（含周報(bào)/月報(bào)）

真空泵維修分析切線損失分析銷售回款分析投入產(chǎn)出：分產(chǎn)品分客戶盈利分析全價(jià)值鏈品質(zhì)成本分析價(jià)值鏈產(chǎn)品規(guī)劃與研發(fā)談判和接單采購制造交付回款復(fù)盤評(píng)價(jià)基于某企業(yè)業(yè)務(wù)價(jià)值鏈?zhǔn)崂沓鱿嚓P(guān)報(bào)表及模型，支撐成本精細(xì)管控訴求，未來根據(jù)業(yè)務(wù)需求進(jìn)行擴(kuò)展報(bào)表分析

洞察預(yù)測(cè)

行動(dòng)決策

數(shù)據(jù)價(jià)值鏈

…費(fèi)用

合

規(guī)處置績效考核與激勵(lì)業(yè)務(wù)價(jià)值鏈業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署11打通數(shù)據(jù)孤島沉淀數(shù)據(jù)資產(chǎn)統(tǒng)一共享服務(wù)

業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署

基于某企業(yè)業(yè)財(cái)一體的業(yè)務(wù)梳理與落地，結(jié)合相關(guān)痛點(diǎn)分析，要實(shí)現(xiàn)業(yè)務(wù)場景從0->1到1->100的快速推進(jìn)與擴(kuò)展，搭建數(shù)據(jù)中臺(tái)是企業(yè)必經(jīng)之路數(shù)據(jù)中臺(tái)統(tǒng)一對(duì)外提供服務(wù)接口，以標(biāo)準(zhǔn)化、規(guī)范化方式對(duì)外提供數(shù)據(jù)共享。同時(shí)，這種方式加強(qiáng)了服務(wù)共享的安全機(jī)制。數(shù)據(jù)中臺(tái)致力于打通數(shù)據(jù)孤島，并使分散重復(fù)存儲(chǔ)的數(shù)據(jù)集中化管理，

為充分?jǐn)?shù)據(jù)共享打下堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)中臺(tái)使數(shù)據(jù)有序合理的沉淀其中，沉淀的資產(chǎn)都是經(jīng)過清洗轉(zhuǎn)換的優(yōu)質(zhì)數(shù)據(jù)及驗(yàn)證過的數(shù)據(jù)模型。半成品（知識(shí)/能力沉淀）廚房（平臺(tái)）美食（業(yè)務(wù)場景）數(shù)據(jù)

中臺(tái)

VS

美食

制作數(shù)據(jù)中臺(tái)核心價(jià)值標(biāo)準(zhǔn)與規(guī)范

+渠道12公共數(shù)

據(jù)中心

電商

文娛以業(yè)務(wù)板塊

+業(yè)務(wù)過程

+分析維度

+明細(xì)數(shù)據(jù)/匯總數(shù)據(jù)為架構(gòu)構(gòu)建（OneData體系）數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理資產(chǎn)地圖資產(chǎn)目錄資產(chǎn)治理資產(chǎn)應(yīng)用資產(chǎn)運(yùn)營面向應(yīng)用提供服務(wù)及創(chuàng)新可能的主題式數(shù)據(jù)服務(wù)中間件（OneService）業(yè)務(wù)數(shù)據(jù)化—文化傳遞與引爆社會(huì)影響力接待數(shù)據(jù)大屏數(shù)據(jù)業(yè)務(wù)化—生意參謀平臺(tái)賦能商家零售電商版業(yè)務(wù)數(shù)據(jù)化—阿里數(shù)據(jù)平臺(tái)賦能小二全局?jǐn)?shù)據(jù)監(jiān)控

數(shù)倉規(guī)劃

數(shù)據(jù)引入

數(shù)據(jù)規(guī)范定義

數(shù)據(jù)建模

數(shù)據(jù)通用研發(fā)

數(shù)據(jù)連接萃取

數(shù)據(jù)運(yùn)維監(jiān)控

垂直數(shù)

據(jù)中心天貓

聚劃算

AE媽媽優(yōu)土

UC

高德

LAZADA

…

.以采集（布點(diǎn)、爬取等）、清洗、結(jié)構(gòu)化、同步等實(shí)現(xiàn)數(shù)據(jù)引入最佳實(shí)踐參考：阿里巴巴數(shù)據(jù)中臺(tái)全景圖………實(shí)時(shí)計(jì)算能力在線分析能力離線計(jì)算能力以業(yè)務(wù)/自然對(duì)象+統(tǒng)計(jì)指標(biāo)

+萃取數(shù)據(jù)為架構(gòu)構(gòu)建（OneID體系）萃取數(shù)

據(jù)中心業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署計(jì)算與存儲(chǔ)平臺(tái)商家事業(yè)部消費(fèi)者數(shù)據(jù)體系專利……微博

優(yōu)土植入業(yè)務(wù)場景位置數(shù)據(jù)體系商品數(shù)據(jù)體系媒體數(shù)據(jù)大屏企業(yè)數(shù)據(jù)體系內(nèi)容數(shù)據(jù)體系數(shù)據(jù)化運(yùn)營店鋪

業(yè)務(wù)客服

中心分銷業(yè)務(wù)網(wǎng)商

銀行淘寶

頭條搜索

服務(wù)菜鳥

網(wǎng)絡(luò)搜索

中心淘寶

行業(yè)南華

早報(bào)聚劃

算天貓

國際電視

淘寶天貓

行業(yè)誠信

通阿里

媽媽UC

頭條網(wǎng)銷

寶Laz

ada監(jiān)控大屏1688版AE版CP版手淘物流健康社交天氣營銷淘寶金融出行13………..統(tǒng)一的數(shù)據(jù)服務(wù)運(yùn)營數(shù)據(jù)中心公共數(shù)據(jù)中心總部生產(chǎn)運(yùn)營管理垂直數(shù)據(jù)中心總部系統(tǒng)義烏基地天津基地佛山基地統(tǒng)一的數(shù)據(jù)采集、接入某企業(yè)總部數(shù)據(jù)中臺(tái)規(guī)劃：未來將根據(jù)實(shí)際業(yè)務(wù)需求在本框架下擴(kuò)充相關(guān)場

景與數(shù)據(jù)模型…財(cái)務(wù)漿料采購測(cè)算質(zhì)量質(zhì)量異常追溯供應(yīng)鏈采購優(yōu)化分析設(shè)備MESEMSWMSLIMSBDP…整合提煉、模型、算法，沉淀數(shù)據(jù)能力、形成數(shù)據(jù)產(chǎn)品打通數(shù)據(jù)孤島、構(gòu)建公共數(shù)據(jù)域圖例：

一期范圍覆蓋

二期/三期實(shí)施業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署數(shù)據(jù)開發(fā)監(jiān)控預(yù)警數(shù)據(jù)運(yùn)營數(shù)據(jù)安全需求調(diào)研業(yè)務(wù)分析指標(biāo)規(guī)范數(shù)據(jù)同步資產(chǎn)地圖資產(chǎn)目錄數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)倉規(guī)劃數(shù)倉建模任務(wù)調(diào)度數(shù)據(jù)應(yīng)用主數(shù)據(jù)元數(shù)據(jù)采購比價(jià)模型產(chǎn)品質(zhì)量分析優(yōu)質(zhì)供應(yīng)商評(píng)估運(yùn)營成本分析設(shè)備故障分析設(shè)備運(yùn)行分析供應(yīng)商資質(zhì)管理模型客戶信用評(píng)價(jià)

分析訂單智能排產(chǎn)模型生產(chǎn)成本分析財(cái)務(wù)成本分析銷售人員績效模型需求預(yù)測(cè)模型設(shè)備能效分析物流優(yōu)化調(diào)度模型營銷管理域供應(yīng)鏈管理域設(shè)備管理域…生產(chǎn)管理域客戶管理域研發(fā)管理域人力管理域財(cái)務(wù)管理域質(zhì)量管理域渠道商接口供應(yīng)商接口互聯(lián)網(wǎng)爬蟲數(shù)據(jù)研發(fā)成本預(yù)測(cè)客訴分析設(shè)備效率分析供應(yīng)商畫像數(shù)據(jù)資產(chǎn)治理業(yè)務(wù)應(yīng)用LIMSSFWMSPLMOA…LIMSWMSMESSAPBDPEMSBDPMES…EMSCRM…設(shè)計(jì)與研發(fā)外部數(shù)據(jù)來源……………………14……漿料采購測(cè)算采購優(yōu)化分析供應(yīng)商畫像…………設(shè)備效率分析……運(yùn)營數(shù)據(jù)中心公共數(shù)據(jù)中心垂直數(shù)據(jù)中心供應(yīng)商資質(zhì)管理模型…運(yùn)營數(shù)據(jù)中心的

數(shù)據(jù)一般來源于

公共數(shù)據(jù)中心，

個(gè)別無需在公共

數(shù)據(jù)中心做沉淀

和邏輯轉(zhuǎn)換的數(shù)

據(jù)可以直接來源

于垂直數(shù)據(jù)中心公共數(shù)據(jù)中心主

要通過邏輯轉(zhuǎn)換、

處理、形成主題

域以便數(shù)據(jù)邏輯

沉淀業(yè)務(wù)應(yīng)用所有的數(shù)據(jù)服務(wù)必須通過注冊(cè)形成服務(wù)資產(chǎn)目錄，通過統(tǒng)一的出口對(duì)外提供數(shù)據(jù)能力。垂直數(shù)據(jù)中心全

量貼源存儲(chǔ)來源

數(shù)據(jù)，便于公共

數(shù)據(jù)中心邏輯回

滾某企業(yè)總部數(shù)據(jù)中臺(tái)內(nèi)部核心部分簡介統(tǒng)一的數(shù)據(jù)服務(wù)MESEMSWMSLIMSBDP…整合提煉、模型、算法，沉淀數(shù)據(jù)能力、形成數(shù)據(jù)產(chǎn)品打通數(shù)據(jù)孤島、構(gòu)建公共數(shù)據(jù)域總部系統(tǒng)義烏基地天津基地佛山基地圖例：

一期范圍覆蓋

二期/三期實(shí)施

15業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署數(shù)據(jù)開發(fā)監(jiān)控預(yù)警數(shù)據(jù)同步指標(biāo)規(guī)范業(yè)務(wù)分析需求調(diào)研數(shù)倉建模任務(wù)調(diào)度數(shù)倉規(guī)劃采購比價(jià)模型產(chǎn)品質(zhì)量分析優(yōu)質(zhì)供應(yīng)商評(píng)估設(shè)備運(yùn)行分析生產(chǎn)成本分析銷售人員績效模型財(cái)務(wù)成本分析設(shè)備能效分析訂單智能排產(chǎn)模型物流優(yōu)化調(diào)度模型運(yùn)營成本分析設(shè)備故障分析客戶信用評(píng)價(jià)

分析營銷管理域供應(yīng)鏈管理域設(shè)備管理域…生產(chǎn)管理域客戶管理域人力管理域研發(fā)管理域財(cái)務(wù)管理域質(zhì)量管理域渠道商接口互聯(lián)網(wǎng)爬蟲數(shù)據(jù)供應(yīng)商接口統(tǒng)一的數(shù)據(jù)采集、接入總部生產(chǎn)運(yùn)營管理LIMSSFPLMWMSOA…LIMSWMSMESSAPEMSBDPBDPMES…EMSCRM…設(shè)計(jì)與研發(fā)外部數(shù)據(jù)來源4需求預(yù)測(cè)模型供應(yīng)鏈設(shè)備3113242WMS集團(tuán)總部總部數(shù)據(jù)中臺(tái)財(cái)務(wù)主題數(shù)據(jù)治理/分析/機(jī)器學(xué)習(xí)

報(bào)表

數(shù)據(jù)湖SCMEAP/PAC/CellControllerMCS/RTDLIMS基地運(yùn)維管理系統(tǒng)生產(chǎn)工藝設(shè)備管理人力管理

品質(zhì)管理數(shù)據(jù)治理/分析/機(jī)器學(xué)習(xí)數(shù)據(jù)湖從企業(yè)IT架構(gòu)層面看數(shù)據(jù)中臺(tái)：數(shù)據(jù)中臺(tái)是基于傳統(tǒng)業(yè)務(wù)系統(tǒng)基礎(chǔ)上構(gòu)建的

數(shù)據(jù)決策平臺(tái)決策層管理層執(zhí)行層監(jiān)控層過程控制層設(shè)備層物料緩沖，傳送

帶等FA設(shè)備SECS/GEMOPC-UA作業(yè)者行為，移動(dòng)工

具，其它傳感設(shè)備品質(zhì)檢測(cè)設(shè)備水電氣/化學(xué)品

數(shù)字化計(jì)量儀表AGVRCSIoT

Gateway立倉PLC控制器資產(chǎn)主題

物資主題銷售主題

研發(fā)主題

采購主題總部運(yùn)維管理系統(tǒng)待建系統(tǒng)已存系統(tǒng)多群集管理基地業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署能源管理系統(tǒng)SMIFARM半導(dǎo)體加工機(jī)臺(tái)YMS/TYS▲

MES架構(gòu)整合

漿料網(wǎng)板MES

ClientLabel

Print|報(bào)工MQTT（

QoS=2）or

RocketMQ（

FIFO）立體倉庫HCM/SF發(fā)料機(jī)RMS開發(fā)管理外部數(shù)據(jù)MESCamstarIoTPlatform

基地邊緣計(jì)算集群設(shè)備管理

備品備件ERP

（SAP）OACRM漿料網(wǎng)

版管理品質(zhì)檢

驗(yàn)管理報(bào)表EMS16B天津基地大數(shù)據(jù)平臺(tái)共享服務(wù)層◆、數(shù)據(jù)資

產(chǎn)目錄數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理天津制造系統(tǒng)數(shù)據(jù)源

共享服務(wù)層數(shù)據(jù)域&數(shù)

據(jù)模型C佛山基地大數(shù)據(jù)平臺(tái)數(shù)據(jù)資產(chǎn)目錄A總部及義烏數(shù)據(jù)中臺(tái)共享服務(wù)層

數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理（含MDM主數(shù)據(jù)管理）

總部&義烏業(yè)務(wù)系統(tǒng)數(shù)據(jù)源為滿足某企業(yè)相關(guān)管理對(duì)數(shù)據(jù)及業(yè)務(wù)的需求，總部與義烏制造基地（包含總部職能及義烏基地制造部分）共建共享，同時(shí)與天津、佛山制造基地進(jìn)行全方位的數(shù)據(jù)聯(lián)通，數(shù)據(jù)中臺(tái)數(shù)據(jù)流如圖所示。總部義烏基地從數(shù)據(jù)交互邏輯視角看數(shù)據(jù)中臺(tái)：實(shí)現(xiàn)全級(jí)次數(shù)據(jù)聯(lián)通與服務(wù)共享數(shù)據(jù)資

產(chǎn)目錄總部層面基地層面未來數(shù)據(jù)中臺(tái)數(shù)據(jù)交互邏輯示意業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署佛山制造系統(tǒng)數(shù)據(jù)源企業(yè)架構(gòu)示意數(shù)據(jù)治理天津基地佛山基地17DWS維度單業(yè)務(wù)指標(biāo)周維度單業(yè)務(wù)指標(biāo)通用指標(biāo)…通用指標(biāo)…單業(yè)務(wù)指標(biāo)財(cái)務(wù)營銷人力客戶DWD數(shù)據(jù)交換周計(jì)算數(shù)據(jù)交換周設(shè)備…周期ODS計(jì)算總部數(shù)據(jù)算外部數(shù)據(jù)來源計(jì)算總部用戶/義烏基地用戶應(yīng)用通過數(shù)據(jù)訪問權(quán)限

控制，總部或基地

用戶可訪問對(duì)應(yīng)主

題域的數(shù)據(jù)及服務(wù)。ADS及DWS數(shù)據(jù)以

總部數(shù)據(jù)中臺(tái)的數(shù)

據(jù)為準(zhǔn)，基地可通

過受控地?cái)?shù)據(jù)交換

獲取所需數(shù)據(jù)。DWD在本地集群計(jì)

算完后，通過數(shù)據(jù)

交換同步到總部數(shù)

據(jù)中臺(tái)。在DWD和DWS層數(shù)

據(jù)不能支撐業(yè)務(wù)的

場景下

，可在ODS

層以數(shù)據(jù)同步的方

式將中臺(tái)所需數(shù)據(jù)

從基地同步數(shù)據(jù)至

總部數(shù)據(jù)中臺(tái)。某企業(yè)總部數(shù)據(jù)中臺(tái)：從數(shù)據(jù)架構(gòu)及集群架構(gòu)視角的數(shù)據(jù)流圖成熟期方案:總部及基地各自按照相應(yīng)層級(jí)獨(dú)立計(jì)算，在DWD層進(jìn)行數(shù)據(jù)交換ADS…數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)天津大數(shù)據(jù)平臺(tái)

總部數(shù)據(jù)中臺(tái)

佛山大數(shù)據(jù)平臺(tái)業(yè)務(wù)運(yùn)營分析業(yè)務(wù)流程分析企業(yè)風(fēng)險(xiǎn)管理…MESEMSWMSLIMSBDP…圖例：

一期范圍覆蓋

二期/三期實(shí)施業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署PLMSAPOA互聯(lián)網(wǎng)爬蟲數(shù)據(jù)供應(yīng)商接口渠道商接口客戶價(jià)值分析業(yè)務(wù)流程分析業(yè)務(wù)運(yùn)營分析業(yè)務(wù)流程分析業(yè)務(wù)運(yùn)營分析…供應(yīng)鏈財(cái)務(wù)分析運(yùn)營分析...財(cái)務(wù)分析成本分析質(zhì)量分析生產(chǎn)分析質(zhì)量分析生產(chǎn)分析維度......人力計(jì)算????計(jì)算…物資LIMS設(shè)備WMSSF人力LIMS…質(zhì)量WMSEMSMES…研發(fā)生產(chǎn)BDPCRMMES…EMS…BDP數(shù)據(jù)同步佛山基地用戶義烏基地?cái)?shù)據(jù)數(shù)據(jù)同步

天津基地用戶通用指標(biāo)服務(wù)數(shù)據(jù)物資設(shè)備生產(chǎn)生產(chǎn)質(zhì)量質(zhì)量期期期計(jì)…財(cái)務(wù)營銷人力客戶DWS維度單業(yè)務(wù)指標(biāo)數(shù)據(jù)交換周數(shù)據(jù)交換維度單業(yè)務(wù)指標(biāo)通用指標(biāo)…通用指標(biāo)…單業(yè)務(wù)指標(biāo)質(zhì)量DWD數(shù)據(jù)交換周計(jì)算數(shù)據(jù)交換周設(shè)備…周期ODS計(jì)算總部數(shù)據(jù)算外部數(shù)據(jù)來源計(jì)算總部用戶/義烏基地用戶應(yīng)用通過數(shù)據(jù)訪問權(quán)限

控制，總部或基地

用戶可訪問對(duì)應(yīng)主

題域的數(shù)據(jù)及服務(wù)。ADS及DWS數(shù)據(jù)以

總部數(shù)據(jù)中臺(tái)的數(shù)

據(jù)為準(zhǔn)，基地可通

過受控地?cái)?shù)據(jù)交換

獲取所需數(shù)據(jù)。DWD在本地集群計(jì)

算完后，通過數(shù)據(jù)

交換同步到總部數(shù)

據(jù)中臺(tái)。在DWD和DWS層數(shù)

據(jù)不能支撐業(yè)務(wù)的

場景下

，可在ODS

層以數(shù)據(jù)同步的方

式將中臺(tái)所需數(shù)據(jù)

從基地同步數(shù)據(jù)至

總部數(shù)據(jù)中臺(tái)。某企業(yè)總部數(shù)據(jù)中臺(tái)：從數(shù)據(jù)架構(gòu)及集群架構(gòu)視角的數(shù)據(jù)流圖過渡期方案：基地DWD到DWS層不直接通過計(jì)算實(shí)現(xiàn)，通過與總部數(shù)據(jù)交換ADS…數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)天津大數(shù)據(jù)平臺(tái)

總部數(shù)據(jù)中臺(tái)

佛山大數(shù)據(jù)平臺(tái)業(yè)務(wù)運(yùn)營分析業(yè)務(wù)流程分析企業(yè)風(fēng)險(xiǎn)管理…MESEMSWMSLIMSBDP…圖例：

一期范圍覆蓋

二期/三期實(shí)施業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署OASAPPLM供應(yīng)商接口渠道商接口互聯(lián)網(wǎng)爬蟲數(shù)據(jù)客戶價(jià)值分析業(yè)務(wù)流程分析業(yè)務(wù)運(yùn)營分析業(yè)務(wù)流程分析業(yè)務(wù)運(yùn)營分析…供應(yīng)鏈財(cái)務(wù)分析運(yùn)營分析...財(cái)務(wù)分析成本分析質(zhì)量分析生產(chǎn)分析質(zhì)量分析生產(chǎn)分析......????××物資LIMS設(shè)備WMSSF人力人力LIMS…質(zhì)量WMSEMSMES…研發(fā)生產(chǎn)BDPCRMMES…EMS…BDP數(shù)據(jù)同步佛山基地用戶義烏基地?cái)?shù)據(jù)數(shù)據(jù)同步

天津基地用戶通用指標(biāo)服務(wù)數(shù)據(jù)物資維度設(shè)備生產(chǎn)生產(chǎn)質(zhì)量期期期計(jì)……如何對(duì)外提供？有什么數(shù)據(jù)？什么時(shí)間提怎么用最安全？WHAT供應(yīng)鏈企業(yè)采購大眾

其他機(jī)構(gòu)…數(shù)據(jù)資產(chǎn)目錄從數(shù)據(jù)交互邏輯視角看數(shù)據(jù)中臺(tái)：數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)目錄ADS共享服務(wù)層CDM數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理ODS財(cái)務(wù)部、銷售部、采

購部、生產(chǎn)部、運(yùn)營

部…業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署需要什么數(shù)據(jù)？數(shù)據(jù)提供方數(shù)據(jù)需求方如何獲?。空l在使用？怎么使用WHEREWHEN供？WHOHOW財(cái)務(wù)銷售生產(chǎn)研發(fā)政府20天津基地源系統(tǒng)編目管理注冊(cè)審核通過審核模板基礎(chǔ)定義目錄定義

填報(bào)目錄

展現(xiàn)目錄

目錄數(shù)據(jù)審核

發(fā)布

審核共

審核享交換門戶與應(yīng)用

信息資源目錄從數(shù)據(jù)交互邏輯視角看數(shù)據(jù)中臺(tái)：數(shù)據(jù)資產(chǎn)目錄管理流程數(shù)據(jù)提供方

數(shù)據(jù)中臺(tái)目錄管理

目錄服務(wù)中心數(shù)據(jù)采集信息抓取數(shù)據(jù)資產(chǎn)目錄ADS共享服務(wù)層CDM數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理ODS

總部&義烏

源系統(tǒng)業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署資產(chǎn)目錄庫查詢下載打印元數(shù)據(jù)主機(jī)配置組織機(jī)構(gòu)在線填報(bào)手工錄入分類資源發(fā)現(xiàn)&申請(qǐng)廠佛山基地源系統(tǒng)自動(dòng)/手動(dòng)21統(tǒng)一的數(shù)據(jù)服務(wù)服務(wù)封裝服務(wù)注冊(cè)服務(wù)部署服務(wù)鑒權(quán)服務(wù)調(diào)用日志分析服務(wù)封裝是指將ADS、CDM層的數(shù)據(jù)以服務(wù)方式進(jìn)行封裝的過程。被封裝的服務(wù)必須在平臺(tái)統(tǒng)一注冊(cè)才能被發(fā)現(xiàn)和消費(fèi)。瓜結(jié)合每個(gè)服務(wù)的訪問頻率以及并發(fā)量，設(shè)計(jì)服務(wù)的副本個(gè)數(shù)，采用分布式部署。數(shù)據(jù)服務(wù)被調(diào)

用前需要進(jìn)行

權(quán)限認(rèn)證，需

要由特殊崗位

授予訪問權(quán)限。數(shù)據(jù)服務(wù)被調(diào)用過程中需要加強(qiáng)過程監(jiān)控并及時(shí)記錄調(diào)用日志。根據(jù)日志進(jìn)行事故復(fù)盤、風(fēng)險(xiǎn)分析，并以此作為為整個(gè)數(shù)據(jù)中心提供持續(xù)優(yōu)化建議的依據(jù)。ADS/CDM從數(shù)據(jù)交互邏輯視角看數(shù)據(jù)中臺(tái)：統(tǒng)一的數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)目錄ADS共享服務(wù)層CDM數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理ODS業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署……service2service1service3service4service522如何使用數(shù)據(jù)（包括使用方法和安全）使用效果如何注冊(cè)登錄

獲取

查看資源目錄

調(diào)用ACCESSTOKEN添加數(shù)據(jù)源

創(chuàng)建APIAPI上線創(chuàng)建目錄發(fā)布API

使用情況統(tǒng)計(jì)從數(shù)據(jù)交互邏輯視角看數(shù)據(jù)中臺(tái)：數(shù)據(jù)開發(fā)服務(wù)流程數(shù)據(jù)資產(chǎn)目錄ADS共享服務(wù)層CDM數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理ODS有哪些數(shù)據(jù)授權(quán)反饋業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署根據(jù)反饋情況調(diào)整修改服務(wù)提供方服務(wù)需求方使用情況23數(shù)倉規(guī)劃建模架構(gòu)指標(biāo)構(gòu)建綁定客戶維度表客戶粒度合同金額最近1月（客戶）合同支付金額義烏財(cái)務(wù)合同簽單客戶訂單事實(shí)表維度業(yè)務(wù)過程空間數(shù)據(jù)域匯總邏輯表事實(shí)邏輯表原子指標(biāo)業(yè)務(wù)限定統(tǒng)計(jì)粒度維度邏輯表從數(shù)據(jù)交互邏輯視角看數(shù)據(jù)中臺(tái)：數(shù)據(jù)建模整體邏輯數(shù)據(jù)資產(chǎn)目錄ADS共享服務(wù)層CDM數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理ODSODPS_tbodmODPS_tbodm業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署客戶匯總表制造板塊示例業(yè)務(wù)板塊派生指標(biāo)最近

一月渠道/直供時(shí)間周期數(shù)據(jù)源項(xiàng)目綁定

24

供應(yīng)鏈

產(chǎn)品庫存及物流

產(chǎn)品對(duì)應(yīng)銷售合同

營銷

客戶購買產(chǎn)品

客戶

生產(chǎn)所用設(shè)備

產(chǎn)品

生產(chǎn)制造產(chǎn)品研發(fā)

生產(chǎn)所需物資

人力

數(shù)據(jù)域劃域原則：

面向業(yè)務(wù)分析，將業(yè)務(wù)過程或者維度進(jìn)行抽象的集合。

為保障整個(gè)體系的生命力，數(shù)據(jù)域是需要抽象提煉，并且長期維護(hù)和更新的，但不輕易變動(dòng)。

在劃分?jǐn)?shù)據(jù)域時(shí)，既能涵蓋當(dāng)前所有的業(yè)務(wù)需求，又能在新業(yè)務(wù)進(jìn)入時(shí)無影響的被包含進(jìn)已有的數(shù)據(jù)域或擴(kuò)展新

的數(shù)據(jù)域。數(shù)據(jù)中臺(tái)主題域劃分方法：綜合考慮某企業(yè)業(yè)務(wù)價(jià)值鏈（研-產(chǎn)-供-銷）全領(lǐng)域及其他支撐職能進(jìn)行劃分

物資

生產(chǎn)

生產(chǎn)過程中的質(zhì)量管理

質(zhì)量

設(shè)備研發(fā)新產(chǎn)品

采購物資

財(cái)務(wù)

各類成本核算

數(shù)據(jù)資產(chǎn)目錄ADS共享服務(wù)層CDM數(shù)據(jù)域&數(shù)據(jù)模型數(shù)據(jù)治理ODS業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署

人員支撐采購、銷售等業(yè)務(wù)產(chǎn)品研發(fā)及25財(cái)務(wù)管理域供應(yīng)鏈管理域生產(chǎn)管理域數(shù)據(jù)管控層數(shù)據(jù)管

控平臺(tái)外部數(shù)據(jù)歷史歸檔數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)日志信息圖像數(shù)據(jù)爬蟲數(shù)據(jù)外部接口數(shù)據(jù)統(tǒng)一數(shù)據(jù)采集匯聚內(nèi)部管理、運(yùn)營分析、監(jiān)管報(bào)送統(tǒng)一數(shù)據(jù)服務(wù)數(shù)據(jù)

計(jì)算層從數(shù)據(jù)架構(gòu)視角看數(shù)據(jù)中臺(tái)緩沖數(shù)據(jù)區(qū)ERPCRM

MESPLM數(shù)據(jù)數(shù)據(jù)

數(shù)據(jù)數(shù)據(jù)……分析挖掘?qū)嶒?yàn)室分析挖掘

模型數(shù)據(jù)區(qū)元

數(shù)

據(jù)

數(shù)

據(jù)需

求數(shù)據(jù)

產(chǎn)生層CRMERPMESPLM

其它

業(yè)務(wù)系統(tǒng)業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署實(shí)時(shí)數(shù)

據(jù)查詢歷史數(shù)據(jù)查詢 財(cái)務(wù)集市供應(yīng)鏈集市研發(fā)集市……數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)主數(shù)據(jù)服務(wù)層匯聚層應(yīng)用集市數(shù)據(jù)區(qū)數(shù)據(jù)

應(yīng)用層待處理大數(shù)據(jù)處理后大數(shù)據(jù)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)客戶管理域設(shè)備管理域質(zhì)量管理域研發(fā)管理域營銷管理域人力管理域26.........統(tǒng)一數(shù)據(jù)服務(wù)統(tǒng)一數(shù)據(jù)采集匯聚產(chǎn)生層財(cái)務(wù)管理域供應(yīng)鏈管理域生產(chǎn)管理域數(shù)據(jù)管

控平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)數(shù)

據(jù)

數(shù)

據(jù)需

求外部數(shù)據(jù)ERP

CRMMES

PLM業(yè)務(wù)系統(tǒng)大數(shù)據(jù)區(qū)日志信息圖像數(shù)據(jù)爬蟲數(shù)據(jù)外部接口數(shù)據(jù)數(shù)據(jù)服務(wù)層數(shù)據(jù)

計(jì)算層用于保留源系統(tǒng)的數(shù)據(jù)，為系統(tǒng)間提供交換及分發(fā)，準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢提供支持對(duì)外部數(shù)據(jù)、半結(jié)構(gòu)化以及非結(jié)構(gòu)化進(jìn)行結(jié)構(gòu)化信息提取處理，對(duì)海量數(shù)據(jù)進(jìn)行計(jì)算處理面向特定應(yīng)用的，面向部門的，能快速實(shí)現(xiàn)的，提供更詳細(xì)的，預(yù)先存在的數(shù)據(jù)集合用于數(shù)據(jù)挖掘與探索的某一特定的數(shù)據(jù)集市，可能包含半結(jié)構(gòu)化、非

結(jié)構(gòu)化的特殊的數(shù)據(jù)對(duì)超過一定期限的數(shù)據(jù)

進(jìn)行歸檔存儲(chǔ)從數(shù)據(jù)架構(gòu)視角看數(shù)據(jù)中臺(tái)ERPCRM

MESPLM數(shù)據(jù)數(shù)據(jù)

數(shù)據(jù)數(shù)據(jù)……采用流數(shù)據(jù)處理技術(shù)，實(shí)時(shí)數(shù)據(jù)進(jìn)行處理與分析分析挖掘

模型數(shù)據(jù)區(qū)3業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署 財(cái)務(wù)集市供應(yīng)鏈集市研發(fā)集市……歷史歸檔數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)待處理大數(shù)據(jù)處理后大數(shù)據(jù)主題數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)12654緩沖數(shù)據(jù)區(qū)客戶管理域設(shè)備管理域質(zhì)量管理域研發(fā)管理域營銷管理域人力管理域27.........緩沖層STGCRMMES操作數(shù)據(jù)層ODSCRMMES生產(chǎn)明細(xì)層DWD周期.

.

.H

IVE實(shí)時(shí)計(jì)算：Streambase/SparkStreaming/Flink數(shù)據(jù)服務(wù)Kafka大數(shù)據(jù)平臺(tái)周期ETL實(shí)時(shí)計(jì)算數(shù)據(jù)統(tǒng)一管理平臺(tái)數(shù)據(jù)源JDBCRestfulODBCFTP下游應(yīng)用數(shù)據(jù)采集數(shù)據(jù)清洗/融合數(shù)據(jù)指標(biāo)計(jì)算數(shù)據(jù)服務(wù)應(yīng)用層ADS匯總層DWS實(shí)時(shí)STG從數(shù)據(jù)流向視角看數(shù)據(jù)中臺(tái)實(shí)時(shí)ODS實(shí)時(shí)DWS業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署公共數(shù)據(jù)

服務(wù)平臺(tái)Hu查詢服

務(wù)實(shí)時(shí)監(jiān)測(cè)業(yè)務(wù)分析

系統(tǒng)BI工具

Spotfire數(shù)據(jù)安全管理數(shù)據(jù)源管理元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)調(diào)度管理數(shù)據(jù)調(diào)度管理數(shù)據(jù)服務(wù)管理LIMSSAP.

.

.CRMMESEMSWMS綜合業(yè)務(wù)指

標(biāo)實(shí)時(shí)生產(chǎn)數(shù)據(jù)實(shí)時(shí)生產(chǎn)數(shù)據(jù)實(shí)時(shí)生產(chǎn)數(shù)據(jù)供應(yīng)鏈LIMS.

.

..

.

..

.

..

.

.質(zhì)量.

.

..

.

..

.

.LIMS.

.

.WMS客戶財(cái)務(wù)分析單業(yè)務(wù)指標(biāo)設(shè)備SAPEMSEMSSAPWMS標(biāo)準(zhǔn)維度制造Cube營銷Cube營銷研發(fā)人力研發(fā)分析財(cái)務(wù)Cube財(cái)務(wù)制造分析KuduKuduKafkaOrac

leKy

l

inH

IVEH

IVEH

IVE周期ETLSqoopFlume周期OGG28ETLETL數(shù)據(jù)應(yīng)用“算”DataAnalysis“匯”DataCollection“服”DataServices“存”DataStorage自動(dòng)化系統(tǒng)MES系統(tǒng)品質(zhì)管理系統(tǒng)

SAP系統(tǒng)能耗系統(tǒng)OA系統(tǒng)CRM系統(tǒng)其他…供應(yīng)鏈協(xié)同系統(tǒng)互聯(lián)網(wǎng)采購其他…“管”DataGovernance 內(nèi)部數(shù)據(jù)外部數(shù)據(jù)29生產(chǎn)制造?

設(shè)備故障預(yù)測(cè)與診斷

?

生產(chǎn)調(diào)度和流程優(yōu)化?

能耗分析

?

庫存管理?

智能巡檢

?

物流跟蹤和調(diào)度企業(yè)智能決策輔助?人員主題域

?項(xiàng)目主題域?客戶主題域?物資主題域

?質(zhì)量主題域?資產(chǎn)主題域?設(shè)備主題域?銷售主題域供應(yīng)鏈?物料計(jì)劃?原料采購?原料庫存管理安全體系Security敏捷開發(fā)Devops運(yùn)維支撐Maintena

nce運(yùn)營支撐Operation研發(fā)?產(chǎn)品定義?項(xiàng)目管理?研發(fā)設(shè)計(jì)從平臺(tái)能力視角看數(shù)據(jù)中臺(tái)本項(xiàng)目交付的數(shù)據(jù)應(yīng)用采購第三方平臺(tái)所需能力業(yè)務(wù)梳理

平臺(tái)規(guī)劃選型部署數(shù)據(jù)平臺(tái)能力組件深度學(xué)習(xí)模型管理模型訓(xùn)練統(tǒng)計(jì)分析批量計(jì)算機(jī)器學(xué)習(xí)流式計(jì)算模型驗(yàn)證數(shù)據(jù)預(yù)處理特征工程服務(wù)注冊(cè)服務(wù)發(fā)現(xiàn)數(shù)據(jù)整合自助式分析推理API全生命周期管理可視化自定義儀表盤?銷售計(jì)劃?成品庫管理?產(chǎn)品交付NoSQL數(shù)據(jù)庫圖數(shù)據(jù)庫寬表塊存儲(chǔ)內(nèi)存數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫MPP數(shù)據(jù)庫文件存儲(chǔ)數(shù)據(jù)資產(chǎn)

目錄主數(shù)據(jù)管理數(shù)據(jù)源管理數(shù)據(jù)清洗數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)管理數(shù)據(jù)模型

管理日志采集消息隊(duì)列數(shù)據(jù)庫采集實(shí)時(shí)批量小批量文件采集傳感器準(zhǔn)實(shí)時(shí)?

工程仿真?生產(chǎn)工藝?

品質(zhì)檢測(cè)數(shù)據(jù)質(zhì)量

管理使用率監(jiān)控診斷容量管理計(jì)量渠道管理SLA計(jì)費(fèi)隱私包含認(rèn)證加密解密審計(jì)授權(quán)A/B測(cè)試持續(xù)交付持續(xù)集成一站

式IDE數(shù)據(jù)應(yīng)數(shù)據(jù)源

財(cái)務(wù)主題域用?

K

B

H

應(yīng)用層數(shù)據(jù)服務(wù)共享服務(wù)JDBC/ODBC

一BI工具一

Rest

API數(shù)據(jù)計(jì)算Stream

數(shù)據(jù)存儲(chǔ)應(yīng)用數(shù)據(jù)層u

d

操作數(shù)據(jù)層數(shù)據(jù)采集Flume業(yè)務(wù)系統(tǒng)數(shù)據(jù)高吞吐、高負(fù)載的數(shù)據(jù)SSAA模型層公共維度結(jié)合某企業(yè)業(yè)務(wù)需求及平臺(tái)能力定位，構(gòu)建基于CDH平臺(tái)的整體技術(shù)組件參考架構(gòu)，后期可在此基礎(chǔ)平臺(tái)上結(jié)合某企業(yè)現(xiàn)有組件和第三方選型進(jìn)行擴(kuò)展應(yīng)用平臺(tái)數(shù)據(jù)治理數(shù)據(jù)管控t

HDFS

圖數(shù)據(jù)庫

u

E多樣化日志及文本類數(shù)據(jù)關(guān)系型數(shù)據(jù)SqoopImpalaOLAP引擎

機(jī)器學(xué)習(xí)引擎其他應(yīng)用H5

非實(shí)時(shí)數(shù)據(jù)流實(shí)時(shí)數(shù)據(jù)流業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理平臺(tái)管理CDH

CM調(diào)度管理安全管理SentrySparkStreamingFlinkOracle移動(dòng)應(yīng)用AppH5/VUEKafkaWEB應(yīng)用H5/VUEKylinOGGPythonSparkHiveSpark非實(shí)時(shí)計(jì)算引擎R實(shí)時(shí)計(jì)算引擎FTPAPI30

K

B

H

應(yīng)用層數(shù)據(jù)服務(wù)

共享服務(wù)

JDBC/ODBC★(

)

RestAPI數(shù)據(jù)計(jì)算Stream

I

數(shù)據(jù)存儲(chǔ)應(yīng)用數(shù)據(jù)層u

d

操作數(shù)據(jù)層數(shù)據(jù)采集Flume業(yè)務(wù)系統(tǒng)數(shù)據(jù)SSAA模型層公共維度oopPPS從技術(shù)組件支撐視角看數(shù)據(jù)中臺(tái)：技術(shù)架構(gòu)（基于開源

+商業(yè)產(chǎn)品）

支持工業(yè)實(shí)時(shí)大數(shù)據(jù)

+經(jīng)營分析大數(shù)據(jù)應(yīng)用平臺(tái)數(shù)據(jù)治理數(shù)據(jù)管控Pythont

HDFS

圖數(shù)據(jù)庫

u

ESqoop高吞吐、高負(fù)載的數(shù)據(jù)多樣化日志及文本類數(shù)據(jù)關(guān)系型數(shù)據(jù)ImpalaOLAP引擎

機(jī)器學(xué)習(xí)引擎其他應(yīng)用H5Kafka 其他廠家/組件

★現(xiàn)有組件ETL引擎Zeta業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署元數(shù)據(jù)管理數(shù)棧主數(shù)據(jù)管理MDM數(shù)據(jù)質(zhì)量管理數(shù)棧平臺(tái)管理CDH

CM調(diào)度管理數(shù)棧安全管理SentryDV移動(dòng)應(yīng)用AppH5/VUEWEB應(yīng)用H5/VUESparkStreamingStreamBase

非實(shí)時(shí)數(shù)據(jù)流

實(shí)時(shí)數(shù)據(jù)流SparkFlinkHiveSpark非實(shí)時(shí)計(jì)算引擎

CDH覆蓋開源組件實(shí)時(shí)計(jì)算引擎Kylin★FTPAPI31R數(shù)據(jù)管控?cái)?shù)據(jù)治理應(yīng)用層數(shù)據(jù)服務(wù)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)操作數(shù)據(jù)層數(shù)據(jù)計(jì)算機(jī)器學(xué)習(xí)引擎非實(shí)時(shí)計(jì)算引擎R應(yīng)用數(shù)據(jù)層公共維度模型層Spark

Streaming關(guān)系型數(shù)據(jù)高吞吐、高負(fù)載的數(shù)

據(jù)共享服務(wù)

JDB

OD

BI工具

Rest

API

FTP

StreamBBCCCC//Kafka應(yīng)用平臺(tái)FlumeSqoopOGG典型應(yīng)用場景組件搭配：（1）數(shù)據(jù)采集場景：

日志等文本類數(shù)據(jù)：Flume或其他商用產(chǎn)品

高吞吐實(shí)時(shí)制造數(shù)據(jù)：OGG+Kafka

批量采集關(guān)系型數(shù)據(jù)：Sqoop（2）數(shù)據(jù)治理場景：

主數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理工具（3）數(shù)據(jù)分析場景：

工業(yè)數(shù)據(jù)OLAP分析：BI工具

+Oracle+

Kylin

、

Hue+

Impala

+

kudu；

生產(chǎn)數(shù)據(jù)實(shí)時(shí)分析：OGG+Kafka+

SparkStreaming/FLink+

Kudu

多維度數(shù)據(jù)分析：BI工具

+

Kylin+

Hbase

基于知識(shí)圖譜的實(shí)體-關(guān)系多維分析：BI工具+

圖

數(shù)據(jù)庫（4）機(jī)器學(xué)習(xí)場景：

基于知識(shí)圖譜的實(shí)體-關(guān)系多維分析：BI工具+

圖

數(shù)據(jù)庫

數(shù)據(jù)挖掘：Python、R、Spark

MLib從技術(shù)組件支撐視角看數(shù)據(jù)中臺(tái)：梳理出“采、存、通、用”等場景所需典型技術(shù)組件集合，供以后技術(shù)組件擴(kuò)展或第三方選型參考用HDFS圖數(shù)據(jù)

庫業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署多樣化日志及文本類

數(shù)據(jù)KuduHBASEImpala其他應(yīng)用H5安全管理Sentry元數(shù)據(jù)管理調(diào)度管理主數(shù)據(jù)管理平臺(tái)管理CDHCM數(shù)據(jù)質(zhì)量管理移動(dòng)應(yīng)用AppH5/VUEFlinkOracleWEB應(yīng)用

H5/VUEKylin——b非實(shí)時(shí)數(shù)據(jù)流——實(shí)時(shí)數(shù)據(jù)流Pytho

nSparkHiveSpark實(shí)時(shí)計(jì)算引擎OLAP引擎32總部義烏數(shù)據(jù)中心數(shù)據(jù)中心內(nèi)部萬兆網(wǎng)絡(luò)天津基地?cái)?shù)據(jù)中心從落地部署視角看數(shù)據(jù)中臺(tái)：服務(wù)器部署網(wǎng)絡(luò)拓?fù)鋱D（平穩(wěn)運(yùn)營期建議單個(gè)集群22臺(tái)以上），一期集群部署簡化建議（義烏+天津+佛山：

19+16+14）佛山基地?cái)?shù)據(jù)中心CDH集群（

10臺(tái)以上）CM節(jié)點(diǎn)

NameNode節(jié)點(diǎn)*2…DataNode節(jié)點(diǎn)*7Kafka集群（

3臺(tái)以上）Kafka節(jié)點(diǎn)*

3容器應(yīng)用集群（7臺(tái)以上）K8s主節(jié)點(diǎn)*

3…DataNode節(jié)點(diǎn)*4AI學(xué)習(xí)集群（2臺(tái)以上）GPU節(jié)點(diǎn)*2·

跨數(shù)據(jù)中

s

心網(wǎng)絡(luò)Kafka

集群（

3

臺(tái)以上）Kafka

集群（

3

臺(tái)以上）容器應(yīng)用集群（7臺(tái)以上）容器應(yīng)用集群（7臺(tái)以上）CDH集

群（

10

臺(tái)以上）CDH集

群（

10

臺(tái)以上）數(shù)據(jù)中心內(nèi)部萬兆網(wǎng)絡(luò)數(shù)據(jù)中心內(nèi)部萬兆網(wǎng)絡(luò)AI學(xué)習(xí)

集群（2臺(tái)以

上）AI學(xué)習(xí)

集群（2臺(tái)以

上）業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署33數(shù)據(jù)存儲(chǔ)

與計(jì)算AI訓(xùn)練集群AI訓(xùn)練集群AI訓(xùn)練集群數(shù)據(jù)應(yīng)用應(yīng)用容器集群（Kubernetes）應(yīng)用容器集群（Kubernetes）應(yīng)用容器集群（Kubernetes）數(shù)據(jù)傳輸Kafka集群Kafka集群Kafka集群從落地部署視角看數(shù)據(jù)中臺(tái)：各集群組件及應(yīng)用部署圖天津大數(shù)據(jù)平臺(tái)

總部/義烏數(shù)據(jù)中臺(tái)

佛山大數(shù)據(jù)平臺(tái)業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署TensorflowTensorflowTensorflowStreambaseStreambaseStreambaseSpotfireSpotfireSpotfirekafkakafkakafkaZKFlumeZKFlumeFlumeZKZetaZetaZetaSparkStreamingSparkStreamingSparkStreamingOracleOracleOracleSentrySentrySentrySqoopKuduDNCMFlinkHueNNHueImpalaZKCMKuduKudu…YarnNNDVHive…數(shù)棧HueDNCMHiveDNFlinkFlinkHbaseImpalaYarnDVNNYarnImpala數(shù)棧SqoopHbase…HiveSqoopDVZK數(shù)棧ZKHbaseSparkSparkSparkCDH集群CDH集群CDH集群存儲(chǔ)策略具體內(nèi)容冷熱數(shù)據(jù)存儲(chǔ)策略對(duì)于需要進(jìn)行OLAP操作，且對(duì)分析有一定低延遲要求的數(shù)據(jù)，我們定義為熱數(shù)據(jù)?；A(chǔ)數(shù)據(jù)及過程數(shù)據(jù)常用于數(shù)據(jù)挖掘及機(jī)器學(xué)習(xí)，對(duì)時(shí)效性并無太大要求的數(shù)據(jù)，我們定義為冷數(shù)據(jù)。通過對(duì)冷熱數(shù)據(jù)的區(qū)分，存放于不同存儲(chǔ)介質(zhì)，既可以滿足各類場景對(duì)于性能的需求，又可以在一定程度上降低硬件成本。具體操作方式，通過HDFS的分層存儲(chǔ)策略，我們將熱數(shù)據(jù)的存儲(chǔ)于內(nèi)存中（RAM_DISK）；

冷數(shù)據(jù)存儲(chǔ)于磁盤（

DISK）中數(shù)據(jù)生命周期存儲(chǔ)策略存儲(chǔ)策略的原則：對(duì)于企業(yè)經(jīng)營運(yùn)營分析價(jià)值密度高的數(shù)據(jù)建議長期保持；對(duì)于工藝流程改進(jìn)，生產(chǎn)制造優(yōu)化價(jià)值密度高的數(shù)據(jù)可進(jìn)行加工后，長期保持；大數(shù)據(jù)量的原始制造生產(chǎn)數(shù)據(jù)及圖像數(shù)據(jù)，建議存儲(chǔ)3個(gè)月左右。異常及問題樣本數(shù)據(jù)后續(xù)可作為機(jī)器學(xué)習(xí)樣本數(shù)據(jù)進(jìn)行分析，同時(shí)考慮數(shù)據(jù)量及工藝改進(jìn)和

生產(chǎn)線的升級(jí)換代，建議暫時(shí)保持3年。*上述原則，可根據(jù)未來存儲(chǔ)成本的變化進(jìn)行調(diào)整。【本期建議】1.

業(yè)務(wù)運(yùn)營相關(guān)的數(shù)據(jù)（財(cái)務(wù)、客戶、人力等）進(jìn)行永久存儲(chǔ)。2.

制造相關(guān)流水?dāng)?shù)據(jù)（制造、研發(fā)）保存3年。3.

抽檢圖像數(shù)據(jù)的原始數(shù)據(jù)保存3個(gè)月4.

異常圖像數(shù)據(jù)及特征值數(shù)據(jù)保存3年數(shù)據(jù)中臺(tái)的數(shù)據(jù)存儲(chǔ)策略：從冷熱數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)生命周期角度規(guī)劃存儲(chǔ)策略，根據(jù)存儲(chǔ)策略及數(shù)據(jù)分析性能要求進(jìn)行集群配置部署規(guī)劃業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署集群位置服務(wù)器用途服務(wù)器分類一期建議

節(jié)點(diǎn)數(shù)服務(wù)器配置估算依據(jù)義烏總部k8s應(yīng)用容器

集群Master節(jié)點(diǎn)3CPU16核以上，內(nèi)存128G以上，硬盤500G以上、萬兆網(wǎng)卡worker節(jié)點(diǎn)4CPU32核以上，內(nèi)存128G以上，硬盤2T以上、萬兆網(wǎng)卡根據(jù)應(yīng)用對(duì)配置要求情況進(jìn)行調(diào)整。CDH集群CM節(jié)點(diǎn)0（后期擴(kuò)展）CPU16核以上，內(nèi)存64G以上，硬盤2T以上、萬兆網(wǎng)卡CDH集群超過20臺(tái)以上后，建議增加獨(dú)立CM節(jié)點(diǎn)NameNode節(jié)點(diǎn)2CPU16核以上，內(nèi)存128G以上，硬盤5T以上、萬兆網(wǎng)卡CDH集群規(guī)模在20~200臺(tái)時(shí)，建議再擴(kuò)容1臺(tái)。DataNode節(jié)點(diǎn)7CPU32核以上，內(nèi)存256G以上，硬盤8T*12盤以上、萬兆

網(wǎng)卡電池片日產(chǎn)量每增加200萬片，增加3臺(tái)該類服務(wù)器?？紤]到大數(shù)據(jù)平臺(tái)的分布式計(jì)算能力及目前的盤

位數(shù)，建議選用32核CPU對(duì)象存儲(chǔ)集群對(duì)象存儲(chǔ)0（后期擴(kuò)展）CPU8核以上，內(nèi)存32G以上，硬盤14T*36盤以上、萬兆網(wǎng)

卡電池片日產(chǎn)量每增加100萬片，增加1.6臺(tái)該類

服務(wù)器。Kafka集群Kafka節(jié)點(diǎn)3CPU16核以上，內(nèi)存128G以上，硬盤4T*12盤以上、萬兆

網(wǎng)卡按網(wǎng)絡(luò)帶寬70%的使用率，三副本情況，

1小時(shí)

可以處理約2.4T數(shù)據(jù)AI學(xué)習(xí)集群Tensorflow0（后期擴(kuò)展）CPU32核以上，內(nèi)存128G以上，GPU、硬盤1T以上、萬兆網(wǎng)卡合計(jì)服務(wù)器臺(tái)數(shù)19CDH大數(shù)據(jù)集群配置清單：從一期實(shí)際需求來看，建議義烏總部部署19臺(tái)滿足初期使用，后面視應(yīng)用情況進(jìn)行擴(kuò)展（1/3）義烏總部+基地按日產(chǎn)量500萬片估算業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署36集群位置服務(wù)器用途服務(wù)器分類一期建議

節(jié)點(diǎn)數(shù)服務(wù)器配置估算依據(jù)天津基地k8s應(yīng)用容器

集群Master節(jié)點(diǎn)3CPU16核以上，內(nèi)存128G以上，硬盤500G以上、萬兆網(wǎng)卡worker節(jié)點(diǎn)4CPU32核以上，內(nèi)存128G以上，硬盤2T以上、萬兆網(wǎng)卡根據(jù)應(yīng)用對(duì)配置要求情況進(jìn)行調(diào)整。CDH集群CM節(jié)點(diǎn)0（后期擴(kuò)展）CPU16核以上，內(nèi)存64G以上，硬盤2T以上、萬兆網(wǎng)卡CDH集群超過20臺(tái)以上后，建議增加獨(dú)立CM節(jié)點(diǎn)NameNode節(jié)點(diǎn)2CPU16核以上，內(nèi)存128G以上，硬盤5T以上、萬兆網(wǎng)卡CDH集群規(guī)模在20~200臺(tái)時(shí)，建議再擴(kuò)容1臺(tái)。DataNode節(jié)點(diǎn)

（熱數(shù)據(jù)）4CPU32核以上，內(nèi)存256G以上，硬盤8T*12盤以上、萬兆

網(wǎng)卡電池片日產(chǎn)量每增加200萬片，增加3臺(tái)該類服務(wù)器。考慮到大數(shù)據(jù)平臺(tái)的分布式計(jì)算能力及目前的盤

位數(shù)，建議選用32核CPUDataNode節(jié)點(diǎn)

（冷數(shù)據(jù)）0（后期擴(kuò)展）CPU16核以上，內(nèi)存128G以上，硬盤80T以上、萬兆網(wǎng)卡對(duì)象存儲(chǔ)集群對(duì)象存儲(chǔ)0（后期擴(kuò)展）CPU8核以上，內(nèi)存32G以上，硬盤14T*36盤以上、萬兆網(wǎng)

卡電池片日產(chǎn)量每增加100萬片，增加1.6臺(tái)該類

服務(wù)器。Kafka集群Kafka節(jié)點(diǎn)3CPU16核以上，內(nèi)存128G以上，硬盤4T*12盤以上、萬兆

網(wǎng)卡按網(wǎng)絡(luò)帶寬70%的使用率，三副本情況，

1小時(shí)

可以處理約2.4T數(shù)據(jù)AI學(xué)習(xí)集群Tensorflow0（后期擴(kuò)展）CPU32核以上，內(nèi)存128G以上，GPU、硬盤1T以上、萬兆網(wǎng)卡合計(jì)服務(wù)器臺(tái)數(shù)16CDH大數(shù)據(jù)集群配置清單：從一期實(shí)際需求來看，建議天津基地部署16臺(tái)滿足初期使用，后面視應(yīng)用情況進(jìn)行擴(kuò)展（2/3）天津基地按日產(chǎn)量300萬片估算業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署37集群位置服務(wù)器用途服務(wù)器分類一期建議

節(jié)點(diǎn)數(shù)服務(wù)器配置估算依據(jù)佛山基地k8s應(yīng)用容器

集群Master節(jié)點(diǎn)3CPU16核以上，內(nèi)存128G以上，硬盤500G以上、萬兆網(wǎng)卡worker節(jié)點(diǎn)4CPU32核以上，內(nèi)存128G以上，硬盤2T以上、萬兆網(wǎng)卡根據(jù)應(yīng)用對(duì)配置要求情況進(jìn)行調(diào)整。CDH集群CM節(jié)點(diǎn)0（后期擴(kuò)展）CPU16核以上，內(nèi)存64G以上，硬盤2T以上、萬兆網(wǎng)卡CDH集群超過20臺(tái)以上后，建議增加獨(dú)立CM節(jié)點(diǎn)NameNode節(jié)點(diǎn)2CPU16核以上，內(nèi)存128G以上，硬盤5T以上、萬兆網(wǎng)卡CDH集群規(guī)模在20~200臺(tái)時(shí)，建議再擴(kuò)容1臺(tái)。DataNode節(jié)點(diǎn)

（熱數(shù)據(jù)）2CPU32核以上，內(nèi)存256G以上，硬盤8T*12盤以上、萬兆

網(wǎng)卡電池片日產(chǎn)量每增加200萬片，增加3臺(tái)該類服務(wù)器?？紤]到大數(shù)據(jù)平臺(tái)的分布式計(jì)算能力及目前的盤

位數(shù)，建議選用32核CPUDataNode節(jié)點(diǎn)

（冷數(shù)據(jù)）0（后期擴(kuò)展）CPU16核以上，內(nèi)存128G以上，硬盤80T以上、萬兆網(wǎng)卡對(duì)象存儲(chǔ)集群對(duì)象存儲(chǔ)0（后期擴(kuò)展）CPU8核以上，內(nèi)存32G以上，硬盤14T*36盤以上、萬兆網(wǎng)

卡電池片日產(chǎn)量每增加100萬片，增加1.6臺(tái)該類

服務(wù)器。Kafka集群Kafka節(jié)點(diǎn)3CPU16核以上，內(nèi)存128G以上，硬盤4T*12盤以上、萬兆

網(wǎng)卡按網(wǎng)絡(luò)帶寬70%的使用率，三副本情況，

1小時(shí)

可以處理約2.4T數(shù)據(jù)AI學(xué)習(xí)集群Tensorflow0（后期擴(kuò)展）CPU16核以上，內(nèi)存128G以上，GPU、硬盤1T以上、萬兆網(wǎng)卡合計(jì)服務(wù)器臺(tái)數(shù)14CDH大數(shù)據(jù)集群配置清單：從一期實(shí)際需求來看，佛山基地部署14臺(tái)可滿足初期使用，后面視應(yīng)用情況進(jìn)行擴(kuò)展（3/3）佛山基地按日產(chǎn)量150萬片估算（本期不進(jìn)行部署）業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署38CDH5CDH7CDH6數(shù)據(jù)中臺(tái)涉及CDH部分組件版本號(hào)將根據(jù)某企業(yè)確定的版本而定業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署39兩種方案的區(qū)別：在性能都能保證的情況下，20節(jié)點(diǎn)以上規(guī)模集群比20個(gè)節(jié)點(diǎn)以下規(guī)模集群多了1個(gè)工作節(jié)點(diǎn)，

1個(gè)管理節(jié)點(diǎn)。建議使用20個(gè)節(jié)點(diǎn)部署配置的理由：1.提前超配，并不能帶來顯著的性能提升，但是成本會(huì)增加很多（3個(gè)集群需要增加6個(gè)節(jié)點(diǎn)，含硬件+軟件License成本）；2.后續(xù)隨著集群規(guī)模擴(kuò)大，可以非常容易的增加主節(jié)點(diǎn)和管理節(jié)點(diǎn)。20個(gè)節(jié)點(diǎn)內(nèi)的CDH集群的配置（建議配置）20~200個(gè)節(jié)點(diǎn)內(nèi)的CDH集群的配置大數(shù)據(jù)平臺(tái)部署規(guī)劃（1/2）：CDH集群官方建議配置業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署40兩種方案的區(qū)別：在功能滿足的情況下，單Master集群只部署1臺(tái)主節(jié)點(diǎn)進(jìn)行容器管理和編排建議使用多Master部署配置的理由：1.在生產(chǎn)環(huán)境需要更充分考慮性能因素，比如穩(wěn)定性和高可用性，所以建議采用多Master節(jié)點(diǎn)部署方案；單Master集群部署多Master集群部署（建議方案）大數(shù)據(jù)平臺(tái)部署規(guī)劃（2/2）：

Kubernetes容器集群采用多Master方式部

署Work

NodeproxykubeletdockeretcdDocker中部署數(shù)據(jù)中

臺(tái)等應(yīng)用產(chǎn)品Work

NodeproxykubeletdockeretcdWork

NodeproxykubeletdockeretcdWork

NodeproxykubeletdockeretcdMaster

Nodeapiservercontroller

-managerscheduleretcdMaster

NodeMaster

NodeLoad

Balance業(yè)務(wù)梳理

平臺(tái)規(guī)劃

選型部署contr