數(shù)據(jù)倉(cāng)庫(kù)指標(biāo)體系搭建實(shí)戰(zhàn)

數(shù)據(jù)倉(cāng)庫(kù)指標(biāo)體系搭建實(shí)戰(zhàn)指標(biāo)體系1.痛點(diǎn)分析

主要從業(yè)務(wù)、技術(shù)、產(chǎn)品三個(gè)視角來(lái)看：業(yè)務(wù)視角業(yè)務(wù)分析場(chǎng)景指標(biāo)、維度不明確；頻繁的需求變更和反復(fù)迭代，數(shù)據(jù)報(bào)表臃腫，數(shù)據(jù)參差不齊；用戶分析具體業(yè)務(wù)問(wèn)題找數(shù)據(jù)、核對(duì)確認(rèn)數(shù)據(jù)成本較高。技術(shù)視角指標(biāo)定義，指標(biāo)命名混亂，指標(biāo)不唯一，指標(biāo)維護(hù)口徑不一致；指標(biāo)生產(chǎn)，重復(fù)建設(shè)；數(shù)據(jù)匯算成本較高；指標(biāo)消費(fèi)，數(shù)據(jù)出口不統(tǒng)一，重復(fù)輸出，輸出口徑不一致；產(chǎn)品視角缺乏系統(tǒng)產(chǎn)品化支持從生產(chǎn)到消費(fèi)數(shù)據(jù)流沒(méi)有系統(tǒng)產(chǎn)品層面打通；2.管理目標(biāo)技術(shù)目標(biāo)

統(tǒng)一指標(biāo)和維度管理，指標(biāo)命名、計(jì)算口徑、統(tǒng)計(jì)來(lái)源唯一，維度定義規(guī)范、維度值一致業(yè)務(wù)目標(biāo)

統(tǒng)一數(shù)據(jù)出口、場(chǎng)景化覆蓋產(chǎn)品目標(biāo)

指標(biāo)體系管理工具產(chǎn)品化落地；指標(biāo)體系內(nèi)容產(chǎn)品化落地支持決策、分析、運(yùn)營(yíng)例如決策北極星、智能運(yùn)營(yíng)分析產(chǎn)品等3.模型架構(gòu)

業(yè)務(wù)線

業(yè)務(wù)板塊定義原則：業(yè)務(wù)邏輯層面進(jìn)行抽象、物理組織架構(gòu)層面進(jìn)行細(xì)分，可根據(jù)實(shí)際業(yè)務(wù)情況進(jìn)行層級(jí)分拆細(xì)化，層級(jí)分級(jí)建議進(jìn)行最多進(jìn)行三級(jí)分拆，一級(jí)細(xì)分可公司層面統(tǒng)一規(guī)范確定，二級(jí)及后續(xù)拆分可根據(jù)業(yè)務(wù)線實(shí)際業(yè)務(wù)進(jìn)行拆分。例如滴滴出行領(lǐng)域業(yè)務(wù)邏輯層面兩輪車和四輪車都屬于出行領(lǐng)域可抽象出行業(yè)務(wù)板塊(level一級(jí))，根據(jù)物理組織架構(gòu)層面在進(jìn)行細(xì)分普惠、網(wǎng)約車、出租車、順風(fēng)車（level二級(jí)），后續(xù)根據(jù)實(shí)際業(yè)務(wù)需求可在細(xì)分,網(wǎng)約車可細(xì)分獨(dú)乘、合乘，普惠可細(xì)分單車、企業(yè)級(jí)。

規(guī)范定義

數(shù)據(jù)域指面向業(yè)務(wù)分析，將業(yè)務(wù)過(guò)程或者維度進(jìn)行抽象的集合。其中，業(yè)務(wù)過(guò)程可以概括為一個(gè)個(gè)不拆分的行為事件，在業(yè)務(wù)過(guò)程之下，可以定義指標(biāo)；維度，是度量的環(huán)境，如乘客呼單事件，呼單類型是維度。為了保障整個(gè)體系的生命力，數(shù)據(jù)域是需要抽象提煉，并且長(zhǎng)期維護(hù)更新的，變動(dòng)需執(zhí)行變更流程。業(yè)務(wù)過(guò)程指公司的業(yè)務(wù)活動(dòng)事件，如呼單、支付都是業(yè)務(wù)過(guò)程。其中，業(yè)務(wù)過(guò)程不可拆分。時(shí)間周期用來(lái)明確統(tǒng)計(jì)的時(shí)間范圍或者時(shí)間點(diǎn)，如最近30天、自然周、截止當(dāng)日等。修飾類型是對(duì)修飾詞的一種抽象劃分。修飾類型從屬于某個(gè)業(yè)務(wù)域，如日志域的訪問(wèn)終端類型涵蓋APP端、PC端等修飾詞。修飾詞指的是統(tǒng)計(jì)維度以外指標(biāo)的業(yè)務(wù)場(chǎng)景限定抽象，修飾詞屬于一種修飾類型，如在日志域的訪問(wèn)終端類型下，有修飾詞APP、PC端等。度量/原子指標(biāo)原子指標(biāo)和度量含義相同，基于某一業(yè)務(wù)事件行為下的度量，是業(yè)務(wù)定義中不可再拆分的指標(biāo)，具有明確業(yè)務(wù)含義的名稱，如支付金額。維度維度是度量的環(huán)境，用來(lái)反映業(yè)務(wù)的一類屬性，這類屬性的集合構(gòu)成一個(gè)維度，也可以稱為實(shí)體對(duì)象。維度屬于一個(gè)數(shù)據(jù)域，如地理維度（其中包括國(guó)家、地區(qū)、省市等）、時(shí)間維度（其中包括年、季、月、周、日等級(jí)別內(nèi)容）。維度屬性維度屬性隸屬于一個(gè)維度，如地理維度里面的國(guó)家名稱、國(guó)家ID、省份名稱等都屬于維度屬性。指標(biāo)分類主要分為原子指標(biāo)、派生指標(biāo)、衍生指標(biāo)原子指標(biāo)

基于某一業(yè)務(wù)事件行為下的度量，是業(yè)務(wù)定義中不可再拆分的指標(biāo)，具有明確業(yè)務(wù)含義的名稱，如呼單量、交易金額派生指標(biāo)

是1個(gè)原子指標(biāo)+多個(gè)修飾詞（可選）+時(shí)間周期，是原子指標(biāo)業(yè)務(wù)統(tǒng)計(jì)范圍的圈定。派生指標(biāo)又分以下二種類型：事務(wù)型指標(biāo)：

是指對(duì)業(yè)務(wù)過(guò)程進(jìn)行衡量的指標(biāo)。例如，呼單量、訂單支付金額，這類指標(biāo)需要維護(hù)原子指標(biāo)以及修飾詞，在此基礎(chǔ)上創(chuàng)建派生指標(biāo)。存量型指標(biāo)：是指對(duì)實(shí)體對(duì)象（如司機(jī)、乘客）某些狀態(tài)的統(tǒng)計(jì)，例如注冊(cè)司機(jī)總數(shù)、注冊(cè)乘客總數(shù)，這類指標(biāo)需要維護(hù)原子指標(biāo)以及修飾詞，在此基礎(chǔ)上創(chuàng)建派生指標(biāo)，對(duì)應(yīng)的時(shí)間周期一般為“歷史截止當(dāng)前某個(gè)時(shí)間”。衍生指標(biāo)

是在事務(wù)性指標(biāo)和存量型指標(biāo)的基礎(chǔ)上復(fù)合成的。主要有比率型、比例型、統(tǒng)計(jì)型均值

模型設(shè)計(jì)

主要采用維度建模方法進(jìn)行構(gòu)建，基礎(chǔ)業(yè)務(wù)明細(xì)事實(shí)表主要存儲(chǔ)維度屬性集合和度量/原子指標(biāo)；分析業(yè)務(wù)匯總事實(shí)表按照指標(biāo)類別(去重指標(biāo)、非去重指標(biāo))分類存儲(chǔ)，非去重指標(biāo)匯總事實(shí)表存儲(chǔ)統(tǒng)計(jì)維度集合、原子指標(biāo)或派生指標(biāo)，去重指標(biāo)匯總事實(shí)表只存儲(chǔ)分析實(shí)體統(tǒng)計(jì)標(biāo)簽集合。指標(biāo)體系在數(shù)倉(cāng)物理實(shí)現(xiàn)層面主要是結(jié)合數(shù)倉(cāng)模型分層架構(gòu)進(jìn)行指導(dǎo)建設(shè)，滴滴的指標(biāo)數(shù)據(jù)主要存儲(chǔ)在DWM層，作為指標(biāo)的核心管理層。

維度管理

包括基礎(chǔ)信息和技術(shù)信息，由不同角色進(jìn)行維護(hù)管理。基礎(chǔ)信息對(duì)應(yīng)維度的業(yè)務(wù)信息，由業(yè)務(wù)管理人員、數(shù)據(jù)產(chǎn)品或BI分析師維護(hù)，主要包括維度名稱、業(yè)務(wù)定義、業(yè)務(wù)分類。技術(shù)信息對(duì)應(yīng)維度的數(shù)據(jù)信息，由數(shù)據(jù)研發(fā)維護(hù)，主要包括是否有維表（是枚舉維度還是有獨(dú)立的物理維表）、是否是日期維、對(duì)應(yīng)code英文名稱和中文名稱、對(duì)應(yīng)name英文名稱和中文名稱。如果維度有維度物理表，則需要和對(duì)應(yīng)的維度物理表綁定，設(shè)置code和name對(duì)應(yīng)的字段。如果維度是枚舉維，則需要填寫對(duì)應(yīng)的code和name。維度的統(tǒng)一管理，有利于以后數(shù)據(jù)表的標(biāo)準(zhǔn)化，也便于用戶的查詢使用。

指標(biāo)管理

包括基礎(chǔ)信息、技術(shù)信息和衍生信息，由不同角色進(jìn)行維護(hù)管理。

基礎(chǔ)信息對(duì)應(yīng)指標(biāo)的業(yè)務(wù)信息，由業(yè)務(wù)管理人員、數(shù)據(jù)產(chǎn)品或BI分析師維護(hù)，主要包括歸屬信息(業(yè)務(wù)板塊、數(shù)據(jù)域、業(yè)務(wù)過(guò)程)，基本信息(指標(biāo)名稱、指標(biāo)英文名稱、指標(biāo)定義、統(tǒng)計(jì)算法說(shuō)明、指標(biāo)類型(去重、非去重))，業(yè)務(wù)場(chǎng)景信息(分析維度，場(chǎng)景描述)；技術(shù)信息對(duì)應(yīng)指標(biāo)的物理模型信息，由數(shù)據(jù)研發(fā)進(jìn)行維護(hù)，主要包括對(duì)應(yīng)物理表及字段信息；衍生信息對(duì)應(yīng)關(guān)聯(lián)派生或衍生指標(biāo)信息、關(guān)聯(lián)數(shù)據(jù)應(yīng)用和業(yè)務(wù)場(chǎng)景信息，便于用戶查詢指標(biāo)被哪些其它指標(biāo)和數(shù)據(jù)應(yīng)用使用，提供指標(biāo)血緣分析追查數(shù)據(jù)來(lái)源的能力。原子指標(biāo)定義歸屬信息+基本信息+業(yè)務(wù)場(chǎng)景信息派生指標(biāo)定義時(shí)間周期+修飾詞集合+原子指標(biāo)修飾類型主要包含類型說(shuō)明、統(tǒng)計(jì)算法說(shuō)明、數(shù)據(jù)源(可選)

5.指標(biāo)體系建設(shè)流程

建模流程

建模流程主要是從業(yè)務(wù)視角指導(dǎo)工程師對(duì)需求場(chǎng)景涉及的指標(biāo)進(jìn)行主題抽象，歸類，統(tǒng)一業(yè)務(wù)術(shù)語(yǔ)，減少溝通成本，同時(shí)避免后續(xù)的指標(biāo)重復(fù)建設(shè)。分析數(shù)據(jù)體系是模型架構(gòu)中匯總事實(shí)表的物理集合，業(yè)務(wù)邏輯層面根據(jù)業(yè)務(wù)分析對(duì)象或場(chǎng)景進(jìn)行指標(biāo)體系抽象沉淀。滴滴出行主要是根據(jù)分析對(duì)象進(jìn)行主題抽象的，例如司機(jī)主題、安全主題、體驗(yàn)主題、城市主題等。指標(biāo)分類主要是根據(jù)實(shí)際業(yè)務(wù)過(guò)程進(jìn)行抽象分類，例如司機(jī)交易類指標(biāo)、司機(jī)注冊(cè)類指標(biāo)、司機(jī)增長(zhǎng)類指標(biāo)等。

基礎(chǔ)數(shù)據(jù)體系是模型架構(gòu)中明細(xì)事實(shí)表和基礎(chǔ)維度表的物理集合，業(yè)務(wù)邏輯層面根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景進(jìn)行抽象例如司機(jī)合規(guī)、乘客注冊(cè)等，還原業(yè)務(wù)核心業(yè)務(wù)過(guò)程。

開(kāi)發(fā)流程

開(kāi)發(fā)流程是從技術(shù)視角指導(dǎo)工程師進(jìn)行指標(biāo)體系生產(chǎn)、運(yùn)維及質(zhì)量管控，也是數(shù)據(jù)產(chǎn)品或數(shù)據(jù)分析師和數(shù)倉(cāng)研發(fā)溝通協(xié)調(diào)的橋梁。6.指標(biāo)體系圖譜建設(shè)

指標(biāo)體系圖譜概述

指標(biāo)體系圖譜也可稱為數(shù)據(jù)分析圖譜主要是依據(jù)實(shí)際業(yè)務(wù)場(chǎng)景抽象業(yè)務(wù)分析實(shí)體，整合梳理實(shí)體涉及的業(yè)務(wù)分類、分析指標(biāo)和維度的集合。

建設(shè)方法：主要是通過(guò)業(yè)務(wù)思維、用戶視角去構(gòu)建，把業(yè)務(wù)和數(shù)據(jù)緊密關(guān)聯(lián)起來(lái)，把指標(biāo)結(jié)構(gòu)化分類組織。

建設(shè)目的：對(duì)于用戶：便于用戶能夠快速定位所需指標(biāo)和維度，同時(shí)通過(guò)業(yè)務(wù)場(chǎng)景化沉淀指標(biāo)體系，能夠快速觸達(dá)用戶數(shù)據(jù)訴求。對(duì)于研發(fā)：利于后續(xù)指標(biāo)生產(chǎn)模型設(shè)計(jì)、數(shù)據(jù)內(nèi)容邊界化、數(shù)據(jù)體系建設(shè)迭代量化和數(shù)據(jù)資產(chǎn)的落地。

指標(biāo)體系圖譜模型

指標(biāo)體系圖譜實(shí)例

指標(biāo)體系產(chǎn)品化指標(biāo)體系涉及的產(chǎn)品集主要是依據(jù)其生命周期進(jìn)行相應(yīng)建設(shè)，通過(guò)產(chǎn)品工具打通數(shù)據(jù)流，實(shí)現(xiàn)指標(biāo)體系統(tǒng)一化、自動(dòng)化、規(guī)范化、流程化管理。因?yàn)橹笜?biāo)體系建設(shè)本質(zhì)目標(biāo)是服務(wù)業(yè)務(wù)，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)價(jià)值，所以建設(shè)的核心原則是“輕標(biāo)準(zhǔn)、重場(chǎng)景，從管控式到服務(wù)式”。通過(guò)工具、產(chǎn)品、技術(shù)和組織的融合提高用戶使用數(shù)據(jù)效率，加速業(yè)務(wù)創(chuàng)新迭代。

其中和指標(biāo)體系方法論強(qiáng)相關(guān)產(chǎn)品就是指標(biāo)字典工具的落地，其產(chǎn)品的定位及價(jià)值：支撐指標(biāo)管理規(guī)范從方法到落地的工具，自