小源數(shù)據(jù)平臺(tái)規(guī)劃課件

小源大數(shù)據(jù)組數(shù)據(jù)部第1頁(yè)目錄一、現(xiàn)狀分析1.1業(yè)務(wù)現(xiàn)狀1.2數(shù)據(jù)現(xiàn)狀1.3支撐現(xiàn)狀二、數(shù)據(jù)中心的設(shè)計(jì)與規(guī)劃三、數(shù)據(jù)中心實(shí)施計(jì)劃第2頁(yè)業(yè)務(wù)現(xiàn)狀企業(yè)信息化多趣短信JIRA情景彈窗豐富氣泡智能卡夾Wiki&jira戶部管理系統(tǒng)短信公眾號(hào)管理腳本管理銷(xiāo)售平臺(tái)短信公眾號(hào)菜單第3頁(yè)數(shù)據(jù)用戶部門(mén)總經(jīng)辦商務(wù)銷(xiāo)售組市場(chǎng)品牌組合作組運(yùn)營(yíng)腳本組資料組營(yíng)收組產(chǎn)品產(chǎn)品第4頁(yè)數(shù)據(jù)現(xiàn)狀數(shù)據(jù)總量30TB+日增量超過(guò)300GB+30億行入庫(kù)OSS時(shí)效：2小時(shí)格式化分拆數(shù)據(jù)7小時(shí)數(shù)據(jù)第5頁(yè)現(xiàn)數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)hbaseOSS存儲(chǔ)層計(jì)算層SparkstreammingRDSmysqlspark-SQL應(yīng)用層自研報(bào)表系統(tǒng)j2ee+extHadoophdfs接口小時(shí)log文件RDDphoenix第6頁(yè)面臨的問(wèn)題數(shù)據(jù)量大（30億行）數(shù)據(jù)訪問(wèn)難度大數(shù)據(jù)結(jié)構(gòu)復(fù)雜第7頁(yè)目錄一、現(xiàn)狀分析二、數(shù)據(jù)中心的設(shè)計(jì)實(shí)施2.1方法論2.2數(shù)據(jù)中心的邏輯架構(gòu)2.3數(shù)據(jù)流程2.4數(shù)據(jù)邏輯分層2.5模型規(guī)劃2.6管理運(yùn)維體系三、數(shù)據(jù)平臺(tái)實(shí)施計(jì)劃第8頁(yè)數(shù)據(jù)平臺(tái)實(shí)施方法論前期準(zhǔn)備業(yè)務(wù)調(diào)研信息探索邏輯模型設(shè)計(jì)總體方案項(xiàng)目計(jì)劃系統(tǒng)體系架構(gòu)設(shè)計(jì)數(shù)據(jù)庫(kù)與模型設(shè)計(jì)接口與ETL設(shè)計(jì)應(yīng)用于界面設(shè)計(jì)數(shù)據(jù)管控設(shè)計(jì)系統(tǒng)開(kāi)發(fā)與單元測(cè)試上線部署用戶培訓(xùn)試運(yùn)行分析規(guī)劃設(shè)計(jì)實(shí)施上線部署運(yùn)行維護(hù)ETL過(guò)程數(shù)據(jù)管理分析處理運(yùn)行監(jiān)控倉(cāng)庫(kù)管理應(yīng)用切換持續(xù)改進(jìn)提升價(jià)值第9頁(yè)阿里云系架構(gòu)邏輯Hadoop集群

總共300臺(tái)數(shù)據(jù)獲取數(shù)據(jù)平臺(tái)應(yīng)用層數(shù)據(jù)源RDSOSSascii文件點(diǎn)擊流INFO

DataHubFluentd插件(實(shí)時(shí)流)ODS(原始數(shù)據(jù))DM（集市主題）統(tǒng)一門(mén)戶DW(清洗轉(zhuǎn)換)開(kāi)發(fā)套件（DataIDE）統(tǒng)一接口元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理用戶BI報(bào)表機(jī)器學(xué)習(xí)OLAPADSDataV采云間后端ODPS第10頁(yè)實(shí)時(shí)日志文件/http請(qǐng)求ODPS客戶端實(shí)時(shí)數(shù)據(jù)ECSSLBOSS離線數(shù)據(jù)SLBECS采云間數(shù)據(jù)收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理運(yùn)營(yíng)平臺(tái)數(shù)據(jù)報(bào)表OLAP引擎標(biāo)簽庫(kù)指標(biāo)管理非本期實(shí)現(xiàn)采云間ODPS插件數(shù)據(jù)流程11數(shù)據(jù)邏輯分層2.DW層3.DM層1.ODS層來(lái)自各個(gè)業(yè)務(wù)子系統(tǒng)源數(shù)據(jù)ETL數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市應(yīng)用層4.ST層概要數(shù)據(jù)5.DIM層維表第12頁(yè)模型規(guī)劃-業(yè)務(wù)概念企業(yè)號(hào)碼情景服務(wù)消費(fèi)/訪問(wèn)渠道用戶選擇產(chǎn)生導(dǎo)向參與產(chǎn)生使用使用第13頁(yè)企業(yè)dwdm企業(yè)號(hào)統(tǒng)計(jì)ods與接口源系統(tǒng)結(jié)構(gòu)數(shù)據(jù)信息一致收入成本戶部信息企業(yè)菜單模型規(guī)劃服務(wù)用戶營(yíng)收分利流量分利用戶識(shí)別用戶終端企業(yè)號(hào)識(shí)別歸屬地查詢渠道情景配置情景識(shí)別車(chē)次查詢H5埋點(diǎn)菜單展示點(diǎn)擊統(tǒng)計(jì)菜單更新統(tǒng)計(jì)用戶標(biāo)簽用戶周、月累計(jì)去重匯總情景更新客戶端行為埋點(diǎn)Sdk統(tǒng)計(jì)用戶服務(wù)使用第14頁(yè)指標(biāo)體系第15頁(yè)數(shù)據(jù)處理-一般數(shù)據(jù)拆分接口采用高擴(kuò)展的JSON格式入ODPS，使用json函數(shù)分拆后丟棄json數(shù)據(jù)普通數(shù)據(jù)映射為二維表入ODPS16數(shù)據(jù)可視化-數(shù)加BI報(bào)表數(shù)據(jù)源+綁定控件的報(bào)表設(shè)計(jì)模式17數(shù)據(jù)可視化-數(shù)據(jù)分析基礎(chǔ)數(shù)據(jù)構(gòu)建完善后，Enable人人皆分析師18數(shù)據(jù)處理-復(fù)雜數(shù)據(jù)處理自定義函數(shù)：https:///document_detail/odps/SQL/udf/java_udf.htmlMapreduce：https:///document_detail/odps/MapReduce/summary/mr.html?spm=5176.docodps/MapReduce/function/cmd.6.164.nW9LIc招拆招UDF自定義函數(shù)MapReduceJavaSdk/python19數(shù)加管理運(yùn)維體系任務(wù)概述任務(wù)監(jiān)控?cái)?shù)據(jù)流程任務(wù)運(yùn)維第20頁(yè)一階段數(shù)據(jù)接口類(lèi)別路徑數(shù)據(jù)說(shuō)明優(yōu)先級(jí)pretty-logservice/YYYYMMDD/QueryLocationRequest/歸屬地查詢中pretty-logservice/YYYYMMDD/QueryPubInfoRequest/企業(yè)號(hào)資料獲取接口高pretty-logservice/YYYYMMDD/QuerySceneRuleRequest/情景規(guī)則低pretty-logservice/YYYYMMDD/QueryToken/Token查詢低pretty-logservice/YYYYMMDD/UpdatePublicInfoRequest公眾號(hào)請(qǐng)求高pretty-logservice/YYYYMMDD/UpdateRecognitionJarRequest/更新識(shí)別jar請(qǐng)求低pretty-logservice/YYYYMMDD/checkResourseRequest/resourse請(qǐng)求低pretty-logservice/YYYYMMDD/queryIccidInfoRequest//查詢ICCID請(qǐng)求低pretty-loguserinfo/YYYYMMDD/用戶信息中pretty-logiccidInfoLog/iccidnew新增iccid高pretty-logiccidInfoLog/iccidupdate/更新iccid高戶部資料企業(yè)號(hào)碼，企業(yè)信息(脫敏抽取)高第21頁(yè)關(guān)鍵名詞解釋摘要+下游廠商：(另外名稱(chēng)渠道)魅族，聯(lián)想，TOS，一加等+上游企業(yè)：對(duì)應(yīng)短信的主體中國(guó)銀行，支付寶+短信情景：對(duì)應(yīng)某條短信的內(nèi)容進(jìn)行解析，預(yù)定的規(guī)則則匹配對(duì)應(yīng)的功能或者服務(wù)+戶部：如戶部中有中國(guó)移動(dòng)、廣東移動(dòng)等，情景ID后3位的只有中國(guó)移動(dòng)+服務(wù)：某個(gè)情景對(duì)應(yīng)的服務(wù)內(nèi)容(充值、購(gòu)買(mǎi)等)

：當(dāng)前服務(wù)類(lèi)型有“01發(fā)短信、02打電話、03打開(kāi)網(wǎng)址、04打開(kāi)地圖、05充值、06還款、07其它服務(wù)類(lèi)型、08復(fù)制驗(yàn)證碼、09打開(kāi)應(yīng)用、10日程提醒、11水電煤、12流量訂購(gòu)、13物流查詢、14航班查詢、15分期付款、16列車(chē)時(shí)刻、17附近網(wǎng)點(diǎn)、18生活服務(wù)+ICCID：ICCID：Integratecircuitcardidentity集成電路卡識(shí)別碼（固化在SIM卡中）

ICCID為IC卡的唯一識(shí)別號(hào)碼，共有20位數(shù)字組成，分別介紹如下：前六位運(yùn)營(yíng)商代碼：中國(guó)移動(dòng)的為：898600；898602，中國(guó)聯(lián)通的為：898601、898606、898609，中國(guó)電信898603+IMEI:InternationalMobileEquipmentIdentity，移動(dòng)設(shè)備國(guó)際識(shí)別碼是手機(jī)的唯一識(shí)別號(hào)碼第22頁(yè)目錄一、現(xiàn)狀分析二、數(shù)據(jù)中心的設(shè)計(jì)實(shí)施三、數(shù)據(jù)中心實(shí)施計(jì)劃第23頁(yè)2016年4月2016年5月2016年6月2016年7月2016年8月源系統(tǒng)調(diào)研Ods入庫(kù)DW設(shè)計(jì)&ETL開(kāi)發(fā)DM層模型設(shè)計(jì)DM層ETL設(shè)計(jì)開(kāi)發(fā)應(yīng)用開(kāi)發(fā)……根據(jù)模型調(diào)整，驅(qū)動(dòng)ETL開(kāi)發(fā)工作處理后的