2電子商務BI中的基礎思考ppt課件

1、電子商務BI的基礎思考Bobby Luo 羅如意(18907295660189）2019年7月weibo/cquptvlryBobby的Senior BIer之路之二對于BI認識的兩個誤區(qū)BI是一個完整的體系架構規(guī)劃的實例如何分階段實施關于數(shù)據(jù)質量的思考BI到底是什么？BI已經(jīng)是現(xiàn)在很流行的概念了從數(shù)據(jù)獲取信息，產(chǎn)生價值）。但到底什么是BI？應該怎么樣實施？誤區(qū)一：BI就是報表和取數(shù)1、在生產(chǎn)系統(tǒng)之外，建立單獨的報表庫及報表系統(tǒng)，需要時就開發(fā)一些特定的報表，或者手工提取數(shù)據(jù)，再做一些簡單分析。2、一般的需求由業(yè)務部門如市場部、產(chǎn)品部發(fā)起，BI部門淪為簡單的數(shù)據(jù)提供部門。帶來問題：業(yè)務部門一般都

2、是從自己部門角度考慮，同時缺乏對其他部門數(shù)據(jù)和BI技術的了解，分析一般比較狹窄。而BI部門疲于應付各種取數(shù)和開發(fā)需求，缺乏對高級BI應用的開發(fā)和對整個企業(yè)BI分析的規(guī)劃。誤區(qū)二：數(shù)據(jù)挖掘等高級應用才是BI1、很多人尤其是領導者一般很容易被現(xiàn)在流行的BI概念所影響，認為只有數(shù)據(jù)挖掘、精準營銷這些相對高級一點的應用才是BI。2、從而很關心每月做了多少個挖掘或分析，而不愿意做一些基礎性的數(shù)據(jù)整合、模型規(guī)劃等工作。帶來問題：應用很多，但都是淺嘗則止，沒有真正地給企業(yè)帶來多大實際價值。同時應用開發(fā)的效率低下，很多數(shù)據(jù)每個人重復地計算來計算去，結果卻各不一致。數(shù)據(jù)質量問題也影響了分析和挖掘的結果及應用價值

3、。對于BI認識的兩個誤區(qū)BI是一個完整的體系架構規(guī)劃的實例如何分階段實施關于數(shù)據(jù)質量的思考BI是一個完整的體系數(shù)據(jù)源業(yè)務用戶ETL數(shù)據(jù)集市抽取轉換清洗加載CUSTOMERCUSTOMER NUMBERCUSTOMER NAMECUSTOMER CITYCUSTOMER POSTCUSTOMER STCUSTOMER ADDRCUSTOMER PHONECUSTOMER FAXORDERORDER NUMBERORDER DATESTATUSORDER ITEM BACKORDEREDQUANTITYITEMITEM NUMBERQUANTITYDESCRIPTIONORDER ITEM SHI

4、PPEDQUANTITYSHIP DATE查詢報表OLAP數(shù)據(jù)挖掘數(shù)據(jù)倉庫信息訪問網(wǎng)絡管理 數(shù)據(jù)庫管理 系統(tǒng)管理元數(shù)據(jù) 邏輯數(shù)據(jù)模型 物理數(shù)據(jù)模型業(yè)務和技術咨詢與培訓服務中間件/EAI可選項整合的數(shù)據(jù)基礎良好的層次體系長遠的應用規(guī)劃恰當?shù)淖罱K展現(xiàn)+一、要有整合的數(shù)據(jù)基礎二、要有良好的體系規(guī)劃及運維機制三、要結合業(yè)務需求做好應用規(guī)劃四、需求出發(fā)、各盡其用對于BI認識的兩個誤區(qū)BI是一個完整的體系架構規(guī)劃的實例如何分階段實施關于數(shù)據(jù)質量的思考公司的現(xiàn)狀需要考慮的幾個關鍵問題1/3)1、是否需要將Oracle數(shù)據(jù)和應用全部遷移到Teradata？ 否。 Teradata是單節(jié)點，如果全部遷移到Ter

5、adata，隨著數(shù)據(jù)和應用增加遲早也會遇到性能和存儲瓶頸；而且現(xiàn)在ORACLE已經(jīng)有大量的腳本和報表，如果全部遷移的話，需要花費大量精力，數(shù)據(jù)核對也很復雜。2、哪是否形成兩套獨立的系統(tǒng)？老的保留，新的應用全部基于TD。 否。 這樣仍存在Teradata瓶頸問題。同時需要維護兩套不同的ETL系統(tǒng)，工作量增加，兩套系統(tǒng)間的數(shù)據(jù)一致性也會存在很大問題。 因此最好的方法是充分利用現(xiàn)有Oracle的ETL和匯總數(shù)據(jù)，形成Oracle和Teradata整合的體系架構。 Teradata和Oracle結合的EDW體系Oracle生產(chǎn)庫/備庫報表系統(tǒng)TeradataHadoop分析與挖掘輕度匯總表明細數(shù)據(jù)整合

6、數(shù)據(jù)應用層模型明細數(shù)據(jù)輕度匯總1、Oracle作為Teradata的主要數(shù)據(jù)來源，負責對原始數(shù)據(jù)進行清洗整合，并生成輕度匯總表。之后將清洗整合后的數(shù)據(jù)送給TD做匯總處理。2、報表分為兩類，明細報表主要從Oracle產(chǎn)生，匯總報表則來源于TD數(shù)據(jù)倉庫。好處：1、綜合利用Oracle的OLTP處理優(yōu)勢和TD的OLAP優(yōu)勢，分散處理，避免單一系統(tǒng)瓶頸。2、可保證數(shù)據(jù)的一致性。3、用Automation統(tǒng)一維護和監(jiān)控ETL過程。4、最大限度保留已有的腳本和程序，保護投資，減少重復工作量。明細報表匯總報表* 參考了電信IT體系中的ODS系統(tǒng)需要考慮的幾個關鍵問題(2/2)3、怎樣保證基礎建設和應用開發(fā)的

7、平衡？ 分階段實施，以應用觸發(fā)，在開發(fā)的過程中逐步將數(shù)據(jù)倉庫架構、模型體系、ETL開發(fā)和維護流程、MSTR開發(fā)流程等框架搭建起來，后續(xù)再通過新應用將數(shù)據(jù)不斷完善起來。即不專門花時間做基礎建設，而是在應用開發(fā)過程中將基礎建設工作同步完成。 對于模型，想法是先將所有數(shù)據(jù)抽取到STG層，后續(xù)在根據(jù)需求逐步分主題設計實體模型和匯總表等。需要考慮的幾個關鍵問題(2/2)4、模型該怎樣設計？STG抽取的原始數(shù)據(jù)ODS/STG清洗整合DW面向應用的模型TMP存放臨時數(shù)據(jù)VIEW供訪問的視圖庫1、分層次的模型體系便于管理和維護。2、對原始數(shù)據(jù)進行清洗和整合。3、分主題建模型。4、DW層采用維度建模。5、對于維

8、表設計，考慮同時使用當前表和歷史拉鏈表的形式。大部分情況下直接使用當前表即可，少數(shù)情況下需要進行歷史分析時使用拉鏈表。對于BI認識的兩個誤區(qū)BI是一個完整的體系架構規(guī)劃的實例如何分階段實施關于數(shù)據(jù)質量的思考在原來基礎上1個多月完成體系框架搭建共同討論完成體系架構的規(guī)劃完成模型體系和產(chǎn)品、銷售主體模型設計ETL流程、開發(fā)和維護機制的建立MSTR開發(fā)出第一個可用的報表和DASHBOARD基礎框架和流程已確定團隊成員慢慢熟悉流程可以開發(fā)更多地應用了8.31近幾周分別關注的重點完成ETL流程的整理和調試7.25-7.29產(chǎn)品模型設計及新品動銷的MSTR報表財務DASHBOARD的重新設計及上線8.1-

9、8.58.8-8.12其他報表的遷移8.15-8.31每個階段重點關注某一方面的事情。Teradata服務器能否到位的影響Automation安裝抽數(shù)測試定時任務測試作業(yè)配置模型上線腳本核查數(shù)據(jù)核查報表開發(fā)測試上線模型上線腳本及數(shù)據(jù)核查界面美化調整報表開發(fā)測試上線對于BI認識的兩個誤區(qū)BI是一個完整的體系架構規(guī)劃的實例如何分分階段實施關于數(shù)據(jù)質量的思考數(shù)據(jù)質量對于分析的意義這一部分算湊數(shù)的吧?？吹揭粋€微博說做分析時不要太糾結于數(shù)據(jù)質量，從某種意義上來講是有道理的，一些小的數(shù)據(jù)問題不影響大的趨勢，以及分析結論。但個人認為做BI還是要把數(shù)據(jù)整合、數(shù)據(jù)模型、數(shù)據(jù)質量這些基礎工作做好。如前所述BI是涉

10、及從報表、KPI到分析、挖掘的完整體系，數(shù)據(jù)問題必然影響大家對數(shù)據(jù)倉庫使用的信心，乃至整個決策的正確性。同時在大趨勢分析時小的數(shù)據(jù)質量問題是不影響分析結論，但細致分析時可能就是某個小問題恰好能反映背后的故事。所以作為整個企業(yè)的BI來講，還是從一開始就把數(shù)據(jù)質量考慮好，否則真就是那句話“rubbish in，rubbish out了。不要過度將BI神化好像現(xiàn)在大家都在說BI，也很關注BI了。甚至跟數(shù)據(jù)沒啥關系的也都扯上BI分析，其實完全沒必要。我一直認為BI的理念是好的，讓大家認識到數(shù)據(jù)的價值，遵循數(shù)據(jù)說話、科學決策的思想。但要說通過BI一下子讓企業(yè)競爭力提升，超越競爭對手是不可能；只能是逐步實施BI的過程提升大家決策的科學性，同時改進生產(chǎn)環(huán)節(jié)的細節(jié)問題，增強管理的規(guī)范程度。只能錦上添花，不能雪中送炭。而且真正要把BI做好也是不容易的，既要考慮做好基礎性工作，又要考慮業(yè)務的需求，還需要進行長遠地規(guī)劃，最重要的是能夠使B