蘇寧大數(shù)據(jù)中臺技術架構課件

1、蘇寧大數(shù)據(jù)中臺技術架構技術創(chuàng)新 變革未來0102030405總覽數(shù)據(jù)建模與指標化 維度管理指標查詢服務與OLAP引擎總結數(shù)據(jù)中臺出現(xiàn)之前銷 售 域業(yè)務系統(tǒng)采集DPA匯總層SOR基礎層 SSA緩沖層諸葛PC諸葛APP數(shù) 據(jù) 倉 庫 層數(shù)據(jù)集市DM物 流 域業(yè)務系統(tǒng)采集DPA匯總層SOR基礎層 SSA緩沖層天眼數(shù) 據(jù) 倉 庫 層數(shù)據(jù)集市DM數(shù)據(jù)平臺 vs 數(shù)據(jù)中臺數(shù)據(jù)平臺有完整的數(shù)據(jù)模型設計，但偏重設計和技術，在執(zhí)行過程中，很難保證數(shù)據(jù)的全，數(shù)據(jù)應 用一般不跨過數(shù)據(jù)中心初期數(shù)據(jù)發(fā)展快，效率高，快速體現(xiàn)業(yè)務價值，但是隨著數(shù)倉的建設，數(shù)據(jù)量急速鰲加， 整體成本居高不下，導致數(shù)據(jù)混亂、災難。數(shù)據(jù)中臺數(shù)據(jù)

2、中臺的基本理念是：將所有數(shù)據(jù)匯聚到數(shù)據(jù)中臺，每個數(shù)據(jù)應用都以數(shù)據(jù)中臺為唯一 數(shù)據(jù)來源。蘇寧數(shù)據(jù)中臺的目標是為蘇寧的數(shù)據(jù)戰(zhàn)略提供有力的支撐，從企業(yè)全局進行統(tǒng)一規(guī)劃，統(tǒng) 一建設，強調數(shù)據(jù)的“全”，從設計、組織、建設、流程角度保障了模式的落地。數(shù)據(jù)中臺的建設減低了數(shù)據(jù)使用門檻數(shù)據(jù)中臺系統(tǒng)架構計算存儲引擎基礎服務用戶數(shù)據(jù)服務數(shù)倉管理運維監(jiān)控多租戶隔離集群部署數(shù)據(jù)應用引擎可視化引擎Z數(shù)據(jù)服務引擎 數(shù)據(jù)分析引擎數(shù)據(jù)應用畫像引擎BI報表可視化大屏精準營銷個性化推薦More數(shù)據(jù)開發(fā)套件數(shù)據(jù)集成實時任務開發(fā)任務運維離M任務開發(fā)數(shù)據(jù)倉庫主題域維度 庫用戶主題域銷售題域商品主題域數(shù)據(jù)治理套件數(shù)據(jù)質量數(shù)據(jù)地圖數(shù)據(jù)模型

3、模型指標報表體系系統(tǒng)架構數(shù)據(jù)倉庫指標定義指標層天工數(shù)據(jù)層：可I-引擎統(tǒng)O維度庫模型層事實表維表數(shù)據(jù) API解析引擎計劃引擎執(zhí)行引擎OLAPOLAPAL引擎OLAP數(shù)據(jù)+速引擎OLAP任務調度公共維度表ADSDWSDWD數(shù)據(jù)倉庫指標定義指標層數(shù)據(jù)層：可視+引擎統(tǒng)I維度庫模型層事實表維表數(shù)據(jù) API解析引擎計劃引擎執(zhí)A引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務調度公共維度表ADSDWSDWD0102030405總覽數(shù)據(jù)建模與指標化 維度管理指標查詢服務與OLAP引擎總結為什么是星型模型反范式3NFOLAPOLTP星型雪花允許數(shù)據(jù)適當 冗余，縮短操 作數(shù)據(jù)的時間， 用空間換取時 間

4、避免數(shù)據(jù)冗余， 減少數(shù)據(jù)庫的 空間建 模 過 程數(shù)據(jù)建模模型基本屬性確認確認/儲介質選擇事實表選擇維表和維度選擇字段類型屬性設置cube組合建 模 分 析業(yè)務過程分析事務型事實寬表周期性快照事實寬表累計快照事實寬表確認粒度數(shù)據(jù)來涼模型基本屬性類型星型寬表定制類時效類型實時離線離線實時時序類型時序非時序構建類別+細匯總明細匯總調度類型任務流調度周期模型存儲星型寬表定制類ESPGDRUID時序非時序匯總明細匯總定制化的建模方案會員系統(tǒng)數(shù) 倉會員字典表訪間流量表會員購買表 O L Ap會員購買信息（根據(jù)會員去重）存儲過程（生成會員序列ID）存儲過程（bitmap全量和增量數(shù)據(jù)）查詢維度月留存bitm

5、ap查詢維度半年留存bitmap 查詢維度年留存bitmap查詢維度新買家 bitmap查詢維度純新買家 bitmap查詢維度老買家 bitmap查詢維度新老買家 bitmap指標定義指標基礎信息多種時間粒度多種時間周期多單位換算度量計 算 函 數(shù) ： max/min/count/countdistinct/sum/avg/abs 累計函數(shù) lastday衍生計算表達式支持邏輯流 支持運算符時間計算函數(shù) 異常數(shù)據(jù)個性化篩選條件統(tǒng)一維度支持 自定/維度支持 自定/參數(shù)支持指標屬性可比 占比同環(huán)比 均值可視化測試小天工多維度數(shù)據(jù)驗證 性能驗證模型、指標多版本體系原則狀態(tài)分成上線歷史開發(fā)中上線單一/

6、標來源于上線的模型上線衍生/標中的單一/標必定是上線版本歷史版本模型有凍結期，凍結期結束此版本模型刪 除，關聯(lián)歷史/標下線模型、指標多版本體系模型新版本上線模型版本回滾指標新版本上線指標版本回滾菲容性校驗PV3V.l.0流量3Vl.2流量3Vl.3會員-Vl.0會員-Vl.l會員-V.l.3會員-V.l.4會員-Vl.2衍生指標_l-Vl.4衍生指標_2-Vl.2衍生指標_2-Vl.3會員-Vl.2模型單一指標uV - Vl.2uV- Vl.3衍生指標衍生指標_l-Vl.3Druidda1a0.2rcel da1a0.2rce2PG1ablel1able2 1able3上線歷史開發(fā)中數(shù)據(jù)倉庫指

7、標定義指標層數(shù)據(jù)層：可視+引擎統(tǒng)I維度庫模型層事實表維表數(shù)據(jù) API解析引擎計劃引擎執(zhí)A引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務調度公共維度表ADSDWSDWD0102030405總覽數(shù)據(jù)建模與指標化 維度管理指標查詢服務與OLAP引擎總結統(tǒng)一維度建設背景標準維度業(yè)務口徑不統(tǒng)一，缺乏T效 的管理流程來對/進行管理和約 束，維度建設存 在重復和歧義成本對于維度服務的開發(fā)，各個產品 中心需要各自實 現(xiàn)，造成開發(fā)成 本重復投入。例 如公司的維度。工具ETL開發(fā)人員產品人員，存在大 量手工配置表需 要規(guī)則維護，缺 乏快速開發(fā)工具。平臺業(yè)務人員想查詢維度信L，缺乏 可靠的公共E臺 去

8、快速方便的查 詢。統(tǒng)一維度管理目標根據(jù)業(yè)務需求， 提供快速定義維 度的功能，保證 維度的唯一性完善的維度管理 流程，對維度新 增，變更，下線 全生命周期管理建立維度全鏈路 統(tǒng)一的數(shù)據(jù)監(jiān)控 體系，提升平臺 數(shù)據(jù)安全提供高效、穩(wěn) 定的維度查詢 服務，滿足高 井發(fā)的查詢維度開 發(fā)管理維度信 息管理維度監(jiān) 控管理維度數(shù) 據(jù)服務統(tǒng)一維度系統(tǒng)架構維度管理時效分類實時離線維護分類主數(shù)據(jù)維度手工維度層次類型層級維度非層級維度維度類型普通維度父子維度角色扮演維度雜項維度日歷時間維度維度任務數(shù)倉離線HIVEUDMSMYSQLHBASEMYSQLELASTICSEARCHREDIS本地緩存數(shù)倉實時TOPICUDMS

9、HBASE天工百川統(tǒng)一權限重點服務支持支撐實施Join編碼與名稱轉換離線計算KAFKARPC服務推R三層緩存架構OLAPRPC服務數(shù)據(jù)倉庫指標定義指標層數(shù)據(jù)層：可視+引擎統(tǒng)I維度庫模型層事實表維表數(shù)據(jù) API解析引擎計劃引擎執(zhí)A引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務調度公共維度表ADSDWSDWD0102030405總覽數(shù)據(jù)建模與指標化 維度管理指標查詢服務與OLAP引擎總結離線模型加速方案實時模型加速方案kafkaSpark StreamHDFSH ASE統(tǒng)一維度庫ZookeeperDRUIDESPGRPC指標數(shù)據(jù)查詢服務基本規(guī)則校驗后，將指標奎詢進行解析，獲 得解析器

10、結果按照模型，時間粒度，過濾維度等創(chuàng)建c 剖計劃;經過sort優(yōu)化器，join優(yōu)化器，cost優(yōu)化器 等優(yōu)化器，優(yōu)化執(zhí)行計劃生成物理計劃多線程奎詢引擎自動化計算器，包括：join計算器（衍生指 標計算器，同環(huán)比計算器），占比計算器解 析 引 擎校 驗 器解 析計 劃 引 擎邏輯 計劃優(yōu)化 器物理 計劃執(zhí) 1引 擎查 詢計 算HTTPRPCSPARK SQLOLAP指標數(shù)據(jù)查詢服務一執(zhí)行J劃NodelNode2Node3Node4Nodel_lNodel_24比 J算Node3_lNode3_2C比 J算衍生 J算4比 J算衍生 J算2比 J算3井 J算3井 J算均值 J算ROOT精度 J算排序 J算計劃節(jié)點計算屬性節(jié)點屬性邏輯計劃優(yōu)化器查詢計算joinjoinjoin排序優(yōu)1器Cube優(yōu)1器Join優(yōu)1器Cost優(yōu)1器 路由優(yōu)1器OLAP-數(shù)據(jù)服務OLAP-SPARKParquetOptimizerDruidOptimizerESOptimizer