數(shù)據(jù)倉庫實施步驟與關鍵成功因素

1、數(shù)據(jù)倉庫實施步驟與關鍵成功因素數(shù)據(jù)倉庫實施步驟與關鍵成功因素3/16/20022一、數(shù)據(jù)倉庫實施方法論?規(guī)劃規(guī)劃解決方案支持數(shù)據(jù)倉庫管理(處理流程與操作)物理數(shù)據(jù)庫設計數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務設計與實現(xiàn)設計與實現(xiàn)支持與增強支持與增強解決方案體系結構設計元數(shù)據(jù)管理數(shù)據(jù)倉庫評估應用增強邏輯數(shù)據(jù)模型回顧物理數(shù)據(jù)庫回顧性能調整容量規(guī)劃解決方案集成定制解決方案規(guī)劃詳細數(shù)據(jù)分析解決方案準備就緒解解決決方方案案實實施施建建議議現(xiàn)成解決方案規(guī)劃數(shù)數(shù)據(jù)據(jù)倉倉庫庫策策略略開開發(fā)發(fā)業(yè)務探索業(yè)務探索解決方案定義邏輯數(shù)據(jù)模型設計修改邏輯數(shù)據(jù)模型驗證解決方案數(shù)據(jù)倉庫的循環(huán)過程3/16/20023數(shù)據(jù)倉庫管理物理數(shù)據(jù)模

2、型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構設計元數(shù)據(jù)管理解決方案集成項目具體實施步驟項目前期準備業(yè)務探索信息探索邏輯數(shù)據(jù)模型二、項目具體實施步驟1. 項目前期準備2. 業(yè)務探索（Business Discovery)3. 信息探索（Information Discovery)4. 邏輯數(shù)據(jù)模型設計5. 系統(tǒng)體系結構設計6. 物理數(shù)據(jù)庫設計7. 數(shù)據(jù)轉換加載ETL8. 前端應用開發(fā)9. 數(shù)據(jù)挖掘服務10.元數(shù)據(jù)管理11.數(shù)據(jù)倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運行）3/16/200242.1 項目前期準備主要任務：主要任務： 項目啟動會議(Kick-off Meeting)

3、 確認項目范圍和主要目標 確認項目階段性驗收及總體驗收標準 確認項目實施計劃 成立項目組 確定各項目小組的成員及各自的工作職責 確定各項目小組的階段性工作目標 確定教育訓練計劃 確定服務流程及方式 交付項目：交付項目：項目組織機構項目人員組成 項目前期準備業(yè)務探索信息探索邏輯數(shù)據(jù)模型3/16/200252.2 業(yè)務探索（Business Discovery)主要任務：主要任務： 確定重點用戶與數(shù)據(jù)源 用戶需求調研與確認 數(shù)據(jù)源確認 用戶需求和數(shù)據(jù)源的篩選和分析 交付項目：交付項目：業(yè)務需求說明書BRL ( Business Requirement List )概念數(shù)據(jù)模型CDM （ Conce

4、ptual Data Model ) 項目前期準備業(yè)務探索信息探索邏輯數(shù)據(jù)模型3/16/200262.3 信息探索（Information Discovery)主要任務：主要任務： 分析用戶需求 數(shù)據(jù)源分析 進行工具評估 系統(tǒng)安全性設計 系統(tǒng)命名規(guī)范設計交付項目：交付項目：功能需求列表FRL ( Function Requirement List )系統(tǒng)安全性設計說明書 系統(tǒng)命名規(guī)范說明書數(shù)據(jù)質量分析項目前期準備業(yè)務探索信息探索邏輯數(shù)據(jù)模型3/16/200272.4 邏輯數(shù)據(jù)模型設計主要任務：主要任務： 進行原始數(shù)據(jù)分析 建立實體模型 建立實體間依賴關系 完善并填入所有屬性 建立數(shù)據(jù)庫邏輯模型

5、 利用工具：利用工具： ERWin交付項目：交付項目： 數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型LDM邏輯數(shù)據(jù)模型說明書項目前期準備業(yè)務探索信息探索邏輯數(shù)據(jù)模型3/16/200282.4 邏輯數(shù)據(jù)模型概念邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務的詳細邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務的詳細“藍圖藍圖”基于概念數(shù)據(jù)模型（CDM）由一系列表和實體詳細描述組成通用的業(yè)務語言便于業(yè)務與業(yè)務之間的功能理解集成當前和未來數(shù)據(jù)的藍圖獨立于技術為物理數(shù)據(jù)庫設計作準備是IT人員和業(yè)務人員溝通的工具發(fā)現(xiàn)發(fā)現(xiàn)屬性屬性發(fā)現(xiàn)發(fā)現(xiàn)關系關系發(fā)現(xiàn)發(fā)現(xiàn)實體實體1. 業(yè)務規(guī)則業(yè)務規(guī)則2. ER圖圖3. ERA建模建模3/16/200292.4 邏

6、輯數(shù)據(jù)模型(LDM)示例3/16/2002102.5 系統(tǒng)體系結構設計主要任務：主要任務：對業(yè)務、技術環(huán)境及企業(yè)文化的充分了解，從技術、組織、教育和支持等方面對系統(tǒng)進行全面評估定義業(yè)務驅動力定義數(shù)據(jù)倉庫成功的關鍵因素定義數(shù)據(jù)倉庫的實施原則對系統(tǒng)體系結構各個組件進行詳細設計交付項目：交付項目：1. 系統(tǒng)體系結構設計說明書數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構設計元數(shù)據(jù)管理解決方案集成3/16/2002112.5 體系結構設計組件用戶類型拓撲結構網(wǎng)絡存取與互連組織機構安全性數(shù)據(jù)體系結構-邏輯數(shù)據(jù)模型-元數(shù)據(jù)-數(shù)據(jù)質量-命名規(guī)范數(shù)據(jù)采集與轉換用戶存取及工具備份系統(tǒng)操作管理3

7、/16/200212主要任務：主要任務：轉換邏輯數(shù)據(jù)模型（LDM）為物理數(shù)據(jù)模型定義主索引、次索引非正則化處理（denormalizations）數(shù)據(jù)庫建立設計優(yōu)化數(shù)據(jù)庫功能測試使用工具：使用工具：ERWwin交付項目：交付項目： 物理數(shù)據(jù)模型（LDM） 物理數(shù)據(jù)模型說明書 數(shù)據(jù)庫描述語言DDL2.6 物理數(shù)據(jù)庫設計建模方法：建模方法： 第三范式 3NF 星型結構 雪花狀結構數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構設計元數(shù)據(jù)管理解決方案集成3/16/200213概念數(shù)據(jù)模型概念數(shù)據(jù)模型（ CDM Conceptual Data Model CDM Conceptual

8、Data Model ） 主要實體和它們的關系 （Major Entities and Their Relationships）邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型 （ LDM - Logical Data Model LDM - Logical Data Model ） 業(yè)務模型加（CDM Plus） : 所有的表及簡單的數(shù)據(jù)（All Tables with Sample Data） 輔助的表及簡單的數(shù)據(jù)（ Minor Tables with Sample Data ） 主鍵與外鍵的關系（ PK & FK Relationships ） 數(shù)據(jù)約束（ Constraints ） 屬性（ Attri

9、butes ）擴展邏輯數(shù)據(jù)模型擴展邏輯數(shù)據(jù)模型 （ELDM - Extended Logical Data Model ELDM - Extended Logical Data Model ） 邏輯數(shù)據(jù)模型加（LDM Plus） : 存取詳細描述（Access Demographics） 數(shù)據(jù)詳細描述（Data Demographics）物理數(shù)據(jù)模型物理數(shù)據(jù)模型 （ PDM - Physical Data Model PDM - Physical Data Model ） 擴張邏輯數(shù)據(jù)模型（ELDM Plus）: 索引 （Indices） 非正則化 （Denormalization）2.6 數(shù)

10、據(jù)模型的演變3/16/200214非正則化的兩種類型：v 物理非正則化 派生數(shù)據(jù) （Derived Data） 匯總表 （Summary Tables） 重復的Groups ( Repeating Groups) 多物理表 （Multiple Physical Tables） 預連接 （Pre-joins） 子實體 （Sub-entities）v 邏輯非正則化 視圖 （Views） 邏輯星型結構 （Logical Star Schemas）F 物理非正則化對模型的靈活性會有影響F 邏輯非正則化是一個優(yōu)選的方法（OLAP實現(xiàn)）2.6 非正則化處理 ( Denormalization )3/16/

11、2002152.6 物理數(shù)據(jù)模型（PDM）3/16/2002162.7 數(shù)據(jù)轉換與加載（ETL）主要任務：主要任務：數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉換和加載策略設計構建和測試初始加載的程序和處理流程構建和測試日常加載的程序和處理流程40%的工作量在數(shù)據(jù)轉換與加載上使用工具：使用工具：Teradata Builder、C、Shell、Perl交付項目：交付項目： 數(shù)據(jù)轉換加載設計說明書 數(shù)據(jù)映射 （Data Mapping）說明書 數(shù)據(jù)轉換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Process Control)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構

12、設計元數(shù)據(jù)管理解決方案集成3/16/2002172.7 數(shù)據(jù)清洗方法在源系統(tǒng)上進行清洗（數(shù)據(jù)析取前）在加載服務器上進行清洗（數(shù)據(jù)析取后、加載前）1) 在數(shù)據(jù)倉庫里進行清洗（數(shù)據(jù)加載后）源系統(tǒng)ETL服務器數(shù)據(jù)倉庫SQL, C, ShC, ShSQL3/16/2002182.7 數(shù)據(jù)轉換常用手段 析取 Extracting 條件 Conditioning 剔除 Scrubbing 合并 Merging 濃縮 Enrichment 確認 Validating 加載 Loading 評分 Scoring 家庭關系識別 Householding3/16/2002192.8 前端應用開發(fā)主要任務：主要任務

13、：前端應用體系結構設計OLAP應用設計(Summary/Fact表及Cub的產(chǎn)生）前端應用開發(fā)（隨機查詢、預定義報表、 OLAP應用）撰寫用戶使用手冊用戶測試驗收使用工具：使用工具：查詢報表工具OLAP工具（Brio,Cognos,MicroStrategy)基于Web的開發(fā)工具(InterDev,ColdFusion)其他開發(fā)工具,如: Portal交付項目：交付項目： 前端應用體系結構設計說明書 應用模塊設計說明書 用戶使用手冊 數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構設計元數(shù)據(jù)管理解決方案集成3/16/2002202.9 數(shù)據(jù)挖掘服務2. 知識應用知識應用(Kno

14、wledge Deployment): 將發(fā)現(xiàn)的知識應用于某種目標，例如進行預測1. 知識發(fā)現(xiàn)知識發(fā)現(xiàn) (Knowledge Discovery):發(fā)現(xiàn)將數(shù)據(jù)轉變成信息的潛在模式數(shù)據(jù)數(shù)據(jù)知識知識信息信息決策決策與行動與行動3/16/2002212.9 數(shù)據(jù)挖掘方法項目管理知識轉移業(yè)務理解業(yè)務理解體系結構體系結構和和技術準備技術準備數(shù)據(jù)理解數(shù)據(jù)理解和和數(shù)據(jù)準備數(shù)據(jù)準備分析建模分析建模和和模型評估模型評估知識應用知識應用Teradata DatabaseData Mining & OLAP AssistsTeraMinerDebt$40KSQL3/16/2002222.9 數(shù)據(jù)挖掘常用算法

15、及應用Debt$40KQ QQ QQ QQ QI II I1 12 23 34 45 56 6factor 1factor 2factor n神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 Neural NetworksNeural Networks聚類分析聚類分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis決策樹決策樹 Decision TreesDecision Trees 傾向性分析 客戶保留 客戶生命周期管理 目標市場 價格彈性分析 客戶細分 市場細分

16、 傾向性分析 客戶保留 目標市場 欺詐檢測關聯(lián)分析關聯(lián)分析 AssociationAssociation 市場組合分析 套裝產(chǎn)品分析 目錄設計 交叉銷售3/16/2002232.10 元數(shù)據(jù)管理元數(shù)據(jù)元數(shù)據(jù)( (Metadata)Metadata) 是指關于數(shù)據(jù)的數(shù)據(jù)是指關于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得業(yè)務用戶可以正確地使用數(shù)據(jù)倉庫。來源、定義、存儲位置，使得業(yè)務用戶可以正確地使用數(shù)據(jù)倉庫。 主要任務：主要任務：定義元數(shù)據(jù)使用功能設計元數(shù)據(jù)環(huán)境邏輯結構設計元數(shù)據(jù)環(huán)境物理結構選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉庫（Metadata Repo

17、sitory)建立和測試元數(shù)據(jù)接口使用工具：使用工具：Teradata Metadata Service交付項目：交付項目： 元數(shù)據(jù)管理說明書數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構設計元數(shù)據(jù)管理解決方案集成3/16/200224元數(shù)據(jù)內容項目活動數(shù)據(jù)描述信息探索數(shù)據(jù)采集數(shù)據(jù)定義邏輯數(shù)據(jù)模型數(shù)據(jù)采集數(shù)據(jù)所有權數(shù)據(jù)源邏輯模型邏輯數(shù)據(jù)模型化業(yè)務規(guī)則邏輯數(shù)據(jù)模型.轉換物理模型物理數(shù)據(jù)模型化歷史時間維度物理數(shù)據(jù)模型化數(shù)據(jù)加載數(shù)據(jù)質量標準數(shù)據(jù)轉換數(shù)據(jù)加載2.10 元數(shù)據(jù)開發(fā)元數(shù)據(jù)的開發(fā)應該包含在數(shù)據(jù)倉庫實施過程的每一步驟中，下圖是元數(shù)據(jù)各部分內容與數(shù)據(jù)倉庫開發(fā)過程的對應關系： 3

18、/16/2002252.11 數(shù)據(jù)倉庫管理主要任務：主要任務：設計和開發(fā)數(shù)據(jù)倉庫支持體系結構開發(fā)和測試數(shù)據(jù)倉庫日常運作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試數(shù)據(jù)備份與恢復程序開發(fā)和測試安全系統(tǒng)設計和開發(fā)操作人員/最終用戶培訓計劃建立用戶支持和培訓材料使用工具：使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項目：交付項目： 數(shù)據(jù)倉庫管理過程說明書 數(shù)據(jù)備份過程設計說明書 安全管理模塊設計說明書 用戶培訓計劃及用戶使用手冊數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘服務系統(tǒng)體系結構設計元數(shù)據(jù)管理解決方案集成3/16/2002262.12 解決方案集成(系統(tǒng)驗收與試運行)主要任務：主要任務：建立并執(zhí)行集成測試計劃建立并執(zhí)行數(shù)據(jù)倉庫平臺測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶培訓計劃實施數(shù)據(jù)倉庫管理基礎設施項目實施完成回顧項目狀態(tài)交付項目：交付項目： 數(shù)據(jù)轉換管理系統(tǒng)測試報告 數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試報告 數(shù)據(jù)倉庫平臺測試報告 數(shù)據(jù)倉庫管理過程測試報告 系統(tǒng)回顧報告數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉換應用開發(fā)數(shù)據(jù)挖掘