集團企業(yè)數(shù)字化轉(zhuǎn)型及大數(shù)據(jù)可視化平臺建設(shè)方案

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化

平臺建設(shè)方案

目錄

第1章方案總述21

1.1項目背景21

L2項目目標(biāo)22

L3項目建設(shè)原則22

第2章系統(tǒng)建設(shè)規(guī)劃23

2.1項目建設(shè)目標(biāo)的理解23

2.1.1項目建設(shè)范圍.24

2.1.1.3數(shù)據(jù)范圍24

2.1.2項目建設(shè)內(nèi)容.24

2.L2.3統(tǒng)一報表平臺26

2.22.2.1集團大數(shù)據(jù)平臺的建設(shè)目標(biāo)26

2.2.12.2.1集團大數(shù)據(jù)平臺一期建設(shè)目標(biāo).26

2.2.22.2.1集團大數(shù)據(jù)平臺二期建設(shè)目標(biāo).27

第3章整體設(shè)計方案27

3.1系統(tǒng)設(shè)計方法論27

3.1.1方法論27

3.1.2設(shè)計原則29

3.1.2.1標(biāo)準(zhǔn)規(guī)范30

3.1.2.3可擴展性31

3.L2.5可管理性32

3.1.2.7安全性33

3.1.2.8可重用性34

3.2數(shù)據(jù)平臺技術(shù)體系35

3.2.1數(shù)據(jù)平臺邏輯架構(gòu).35

3.2.1.1數(shù)據(jù)集成區(qū)35

3.2.1.2集團分析型數(shù)據(jù)區(qū)36

3.2.L3管理平臺區(qū)36

3.2.L4統(tǒng)一報表展現(xiàn)平臺36

3.2.1.5ETL設(shè)計關(guān)鍵技術(shù)點說明37

3.2.1.5.1.1ETL處理策略37

3.2.1.5.L2ETL處理流程37

3.2.L5.2質(zhì)房檢核38

3.2.1.5.2.1ETL處理原則38

3.2.1.5.2.2ETL處理方法38

3.2.2數(shù)據(jù)采集設(shè)計38

3.2.2.1T+1數(shù)據(jù)采集39

3.2.2.2.1檢核規(guī)則管理41

3.2.2.2.2錄入任務(wù)管理41

3.2.2.2.3數(shù)據(jù)錄入42

3.2.2.2.4查詢操作43

3.2.2.2.5錄入任務(wù)審批44

3.3數(shù)據(jù)平臺數(shù)據(jù)體系44

3.3.1數(shù)據(jù)架構(gòu)設(shè)計44

3.3.1.1源系統(tǒng)數(shù)據(jù)落地區(qū)45

3.3.L3基礎(chǔ)整合層(FDM)46

3.3.L4共性加工層(ADM)47

3.3.1.5數(shù)據(jù)集市層(MDM)47

3.3.1.6各層次數(shù)據(jù)特點對比48

3.3.2數(shù)據(jù)模型設(shè)計49

3.3.2.1基礎(chǔ)整合層49

3.3.2.2共性加工層50

3.3.2.2.1共性層模型設(shè)計思路50

3.3.2.2.2共性加工層模型建設(shè)方法52

3.3.2.2.2.1存儲什么數(shù)據(jù)：存儲具有一定程度匯總的指

標(biāo)52

3.3.2.2.2.2數(shù)據(jù)如何獲?。褐笜?biāo)分類和指標(biāo)ID53

3.3.2.2.2.3數(shù)據(jù)如何存儲：星型模型53

3.3.2.2.2.4如何適應(yīng)多應(yīng)用系統(tǒng)共性數(shù)據(jù)存儲的需求：

與業(yè)務(wù)需求輕耦合54

3.3.2.2.2.5如何適應(yīng)指標(biāo)頻繁變化的要求：具有高度的

擴展性54

3.3.2.2.3共性加工層當(dāng)前目標(biāo)57

3.3.2.2.4共性加工層遠(yuǎn)景目標(biāo)58

3.3.2.2.4.1完善貴公司數(shù)據(jù)平臺及之上的應(yīng)用系統(tǒng)數(shù)據(jù)架

構(gòu)58

3.3.2.2.4.2擴展共性加工層指標(biāo)數(shù)據(jù)59

3.3.2.2.4.3關(guān)于共性加工層主題劃分59

3.3.2.3集市數(shù)據(jù)層59

3.3.3靈活查詢功能架構(gòu)，60

3.3.4數(shù)據(jù)備份與恢復(fù)61

3.3.4.1數(shù)據(jù)備份與恢復(fù)實施思路61

3.34.2數(shù)據(jù)備份機制61

3.3.4.3數(shù)據(jù)恢復(fù)機制61

3.3.4.4數(shù)據(jù)清理機制62

3.3.4.5存儲空間規(guī)劃62

3.4.1統(tǒng)一報表平臺64

3.4.1.1報表管理模塊65

3.4.1.1.1系統(tǒng)管理65

3.4.1.1.L1支持主流關(guān)系型業(yè)務(wù)數(shù)據(jù)源65

3.4.1.1.1.2支持多種數(shù)據(jù)集類型65

3.4.1.1.33基于RBAC模型的權(quán)限控制模式66

3.4.1.1.1.3.1可配置的權(quán)限控制項68

3.4.1.1.1.3.2資源權(quán)限69

3.4.LL1.3.3報表數(shù)據(jù)權(quán)限69

3.4.1.1.1.4對角色授權(quán)70

3.4.1.1.1.4.1權(quán)限對照設(shè)置70

3.4.LLL4.2角色權(quán)限復(fù)制71

3.4.1.1.1.4.3角色權(quán)限查看71

3.4.1.1.1.5可配置的系統(tǒng)資源72

3.4.1.1.1.5.1菜單項管理72

3.4.LLL5.2系統(tǒng)日志管理72

3.4.1.1.1.5.3公告管理72

3.4.1.1.1.5.4通用代碼管理73

3.4.1.L2才艮表管理73

3.4.1.1.2.1提供統(tǒng)一的報表管理方式74

3.4.1.1.2.1.1統(tǒng)一的報表服務(wù)器管理74

3.4.1.1.2.1.2統(tǒng)一的參數(shù)模板管理75

3.4.1.1.2.L3統(tǒng)一的報表發(fā)布方式76

3.4.1.1.2.L4統(tǒng)一的報表資源管理77

3.4.1.1.2.2報表生命周期管理77

3.4.1.1.2.3調(diào)度式自動執(zhí)行報表78

3.4.1.1.2.5支持歷史數(shù)據(jù)追數(shù)81

3.4.1.1.2.6支持制度包導(dǎo)入更新81

3.4.1.1.3指標(biāo)管理82

3.4.1.1.3.1指標(biāo)邏輯架構(gòu)82

3.4.1.1.3.2指標(biāo)數(shù)據(jù)流程82

3.4.1.1.3.3功有&框架83

3.4.1.1.3.4指標(biāo)引擎83

3.4.1.1.3.4.1指標(biāo)引擎框架83

3.4.1.1.3.4.2指標(biāo)引擎功能84

3.4.1.1.3.4.3派生指標(biāo)定義優(yōu)化器84

3.4.1.1.3.4.4指標(biāo)分類組裝85

3.4.1.1.3.4.5指標(biāo)運算調(diào)度器85

3.4.1.1.3.4.6指標(biāo)運算器85

3.4.1.1.3.4.7數(shù)據(jù)回寫器86

3.4.1.1.3.5指標(biāo)管理86

3.4.1.1.3.5.1基礎(chǔ)指標(biāo)信息維護87

3.4.1.1.3.5.2派生指標(biāo)信息維護87

3.4.1.1.3.5.3派生指標(biāo)公式維護88

3.4.1.1.3.5.4指標(biāo)權(quán)限管理89

3.4.1.1.3.5.5指標(biāo)計算信息、維護90

3.4.1.1.3.6指標(biāo)庫管理90

3.4.1.1.3.7指標(biāo)運算92

3.4.1.1.3.8指標(biāo)應(yīng)用92

3.4.1.1.3.9與元數(shù)據(jù)平臺關(guān)系93

3.4.1.1.4自定義才艮表93

3.4.1.1.4.1類Excel報表設(shè)計器94

3.4.1.L4.5支持?jǐn)?shù)據(jù)校驗101

3.4.1.2數(shù)據(jù)管理模塊104

3.4.1.2.1數(shù)據(jù)保存104

3.4.1.2.2數(shù)據(jù)狀態(tài)105

3.4.1.2.3日志管理105

3.4.L3公共管理模塊107

3.4.1.3.1.1行內(nèi)機構(gòu)管理108

3.4.1.3.2用戶管理108

3.4.1.3.3消息管理108

3.4.1.3.5權(quán)限管理109

3.4.1.4.1.1支持主流關(guān)系型數(shù)據(jù)庫111

3.4.1.4.1.2靈活的錄入與查詢方式111

3.4.1.4.L2.1務(wù)113

3.4.1.4.1.2?2

((......................................................

....................................H3

3.4.1.4.1.3支持事件式多表同步更新114

3?4?1?4?2?1201報現(xiàn)..........................

..........................................115

3.4.1.4.2.2報表導(dǎo)航圖116

3.4.1.4.2.3.2我的文件夾117

3.4.1.4.2.4常用指標(biāo)查詢117

3.4.1.4.3儀表盤120

3.4.1.4.3.1提供關(guān)鍵的高粒度、高縱深的匯總信息（即關(guān)鍵

信息）120

3.4.1.4.3.3靈活的儀表盤設(shè)計器121

3.4.1.4.3.4提供1對1的信息服務(wù)122

3.4.1.4.3.5個性化首頁設(shè)計器122

3.4.1.4.4.2查詢智能報告125

3.4.1.4.4.3彳彥有匕125

3?4?1?4-4-4|=)匕1=1

..............................................■X25

3?4?1?4?4?5I—I????????????<<?????????<<

.................126

3.4.2數(shù)據(jù)圖表化展示126

3.4.2.1.3行長報表129

3.4.2.2.1規(guī)模指標(biāo)133

3.4.2.2.2財務(wù)指標(biāo)133

3.4.2.2.4流動性指標(biāo)134

3.4.2.2.5預(yù)算指標(biāo)135

3.4.2.2.7外部監(jiān)管指標(biāo)135

3.4.2.2.8風(fēng)險資產(chǎn)135

3.4.2.2.9資金變動情況136

3.5數(shù)據(jù)平臺設(shè)計關(guān)鍵點137

3.5.1數(shù)據(jù)平臺性能保障.137

3.5.1.2ETL性能保證138

3.5.2時間窗口149

3.5.3備份策略150

3.5.4數(shù)據(jù)模型的歷史數(shù)據(jù)存儲.152

3.5.5源系統(tǒng)變更影響分析154

第4章軟件及推薦硬件設(shè)備配置方案156

4.1系統(tǒng)軟件方案156

4.1.1統(tǒng)一報表平臺158

4.1.1.2.1技術(shù)層次劃分159

4.LL4功能架構(gòu)163

4.1.1.5.2數(shù)據(jù)補錄166

4.1.1.5.3即席查詢170

4.1.1.5.4儀表盤174

4.1.1.6性能保障178

4.1.L7工具價值179

4.1.1.7.3與BI報表工具互為補充180

4.1.1.7.4廣泛的環(huán)境與平臺支持180

4.1.1.7.6完善的用戶和權(quán)限管理策略180

4.1.1.7.8統(tǒng)一緩存機制181

4.1.1.8總結(jié)181

4.1.1.10XXX

4.1.1.10.1綜合報表系統(tǒng)(RIDP)181

4.1.1.10.1.1報表應(yīng)用整合平臺182

4.1.1.10.1.1.1搭建B1工具與前端展現(xiàn)之間的橋梁

183

4.1.1.10.1.1.2整合主流報表工具與數(shù)據(jù)源183

4.1.1.10.1.L3提供不同機構(gòu)不同部門的統(tǒng)一用戶體驗

183

4.1.1.10.1.1.4滿足不同機構(gòu)的部署需求184

4.1.1.10.1.1.5滿足規(guī)范化開發(fā)要求184

4.1.1.10.1.2RIDP功能介紹184

4.1.1.10.1.2.1報表展現(xiàn)（RptView）184

4.1■1■10.1.2.1.1一的報表185

4.1.1.10.L2.L2個性化報表資源管理185

4.1.1.10.1.2.1.2.1我的收藏夾185

4.1.1.10.1.2.2快捷報表（SmartRpt）186

4.1.1.10.1.2.2.1良好的通用性187

4.1.1.10.1.2.2.1.1支持主流關(guān)系型數(shù)據(jù)庫187

4.1.1.10.1.2.2.1.3多種報表輸出格式187

4.1.1.10.1.2.2.2Excel式報表設(shè)計器187

4.1.1.10.1.2.2.3多種報表樣式支持188

4.1.1.10.1.2.3.1提供關(guān)鍵的高粒度、高縱深的匯總信息（即

關(guān)鍵信息）.191

4.1.1.10.1.2.3.2強大的圖形引擎191

4.1.1.10.1.2.3.3靈活的儀表盤設(shè)計器192

4.1.1.10.1.2.3.4提供1對1的信息服務(wù)192

4.1.1.10.1.2.3.4.1個性化首頁設(shè)計器193

4.1.1.10.1.2.3.4.2個性首頁管理193

4.1.1.10.1.2.4數(shù)據(jù)錄入（Input）194

4.1.1.10.1.2.4.1支持主流關(guān)系型數(shù)據(jù)庫194

4.1.1.10.1.2.4.2靈活的錄入與查詢方式195

4.1.1.10.1.2.4.3增強的數(shù)據(jù)安全性196

4.1.1.10.1.2.4.3.1錄入任務(wù)分發(fā)197

4.1.1.10.1.2.4.3.2錄入任務(wù)審批197

4.1.1.10.1.2.4.3.3數(shù)據(jù)正式入庫198

4.1.1.10.1.2.4.4.1檢核規(guī)則管理199

4.1.1.10.1-2-5表直理(Report)199

4.1.1.10.1.2.5.1提供統(tǒng)一的報表管理方式200

4.1.1.10.1.2.5.1.1統(tǒng)一的報表服務(wù)器管理

200

4.1.1.10.1.2.5.1.2統(tǒng)一的參數(shù)模板管理201

4.1.1.10.1.2.5.1.3統(tǒng)一的報表發(fā)布方式202

4.1.1.10.1.2.5.1.4統(tǒng)一的報表資源管理202

4.1.1.10.1.2.5.2調(diào)度式自動執(zhí)行報表203

4.1.1.10.2指標(biāo)管理204

4.1-1-10.2.2指數(shù)據(jù)流程............................

，*205

4.1.1.10.2.4指標(biāo)引擎206

4.1.1.10.2.4.1指引擎框架

206

4.1.1.10?2.4-2指引擎功能207

4.1.1.10.2.4.3派生指標(biāo)定義優(yōu)化器207

4.1.1.10.2.4.4指標(biāo)分類組裝207

4.1.1.10.2.4.5指標(biāo)運算調(diào)度器207

4.1?1?10.2?4.6infe*208

*1?1-1,4*7II”3

4.1.1.10.2.5指標(biāo)管理209

4.1.1.10.2.5.1基礎(chǔ)指標(biāo)信息維護209

4.1.1.10.2.5.2派生指標(biāo)信息維護210

4.1.1.10.2.5.3派生指標(biāo)公式維護210

4.1.1.10.2.5.4指標(biāo)權(quán)限管理212

4.1.1.10.2.5.5指標(biāo)計算信息維護212

4.1.1.10.2.8指標(biāo)應(yīng)用215

第5章基礎(chǔ)環(huán)境建設(shè)216

5.1機房建設(shè)216

5.1.1機房設(shè)計依據(jù).216

5.1.2設(shè)計原則218

5.1.2.4標(biāo)準(zhǔn)化219

5.1.2.6可管理性219

5.1.3機房裝修220

5.1.3.2防火220

5.1.3.4防塵221

5.1.3.6防靜電221

5.L3.8消聲、減震221

5.1.3.10墻體工程222

5.1.3.11門窗223

5.1.3.12地面工程223

5.L4機房基礎(chǔ)設(shè)備要求224

5.1.4.2電池225

5.L4.3機房配電柜226

空調(diào)系統(tǒng)226

5.1.5動力環(huán)境監(jiān)控系統(tǒng).229

5.1.5.2環(huán)境監(jiān)控系統(tǒng)231

5.1.6KVM系統(tǒng)231

5.1.7消防配套234

5.1.8機房主要配套設(shè)備清單235

5.2.1系統(tǒng)概述236

5.2.2系統(tǒng)架構(gòu)238

5.2.3系統(tǒng)設(shè)計239

5.2.3.1大屏幕系統(tǒng)功能239

5.2.3.2顯示單元內(nèi)置信號處理器240

5.2.4系統(tǒng)配置242

5.2.4.2安裝位置243

5.3無線WIFI系統(tǒng)244

5.3.1系統(tǒng)概述244

5.3.1.1項目現(xiàn)狀244

5.3.2系統(tǒng)架構(gòu)244

5.3.3.2實施設(shè)計245

第六章項目實施管理方案246

6.1項目組織管理246

6.1.1建立項目組織管理機構(gòu)246

6.1.2確定項目分工角色職責(zé)247

6.1.3建立項目組織相關(guān)管理制度252

6.2項目管理計劃252

6.2.1綜合管理計劃.252

6.2.1.1項目計劃編制252

6.2.2綜合變更控制.254

6.3范圍控制計劃255

6.3.1范圍定義及跟蹤255

6.3.2變更管理255

6.3.3變更控制工具255

6.4進度控制計劃257

6.4.1項目進度跟蹤.257

6.4.2項目進度分析258

6.4.3項目進度控制.258

6.5.1人力資源規(guī)劃.259

6.5.2項目團隊建設(shè)259

6.5.3項目團隊管理.259

6.6質(zhì)量保障計劃260

6.6.1質(zhì)量保證目標(biāo)260

6.6.2質(zhì)量保證角色與職責(zé)260

6.6.4質(zhì)量保證活動263

6.7溝通管理計劃263

6.7.1溝通計劃263

6.7.2報告形式264

6.7.3相關(guān)工具文檔.264

6.8配置管理計劃265

6.8.1配置管理目標(biāo)265

6.8.2配置管理角色與職責(zé)265

6.8.3配置管理流程.265

6.8.4配置項定義267

6.8.5配置管理活動268

6.8.6配置管理工具274

6.9風(fēng)險控制計劃274

6.9.1風(fēng)險識別274

6.9.2風(fēng)險分析275

6.9.3風(fēng)險控制276

6.10變革管理計劃278

6.10.1變革管理方法.278

6.10.2變革管理成功的關(guān)鍵策略.278

6.11.1影響項目進度的因索279

6.11.2項目進度制定的原則.279

6.11.3項目實施進度計劃279

6.11.4項日里程碑282

6.13文檔編制計劃284

6.13.1項目管理類284

6.13.3項目支持類285

6.14質(zhì)量保障計劃291

6.14.1確定質(zhì)量保證目標(biāo)291

6.14.2質(zhì)量保證角色與職責(zé)291

6.14.3質(zhì)量保證流程.293

6.14.4質(zhì)量保證活動.294

6.15產(chǎn)品交付計劃294

6.15.1背景介紹.294

6.15.2客戶管理.295

6.15.3服務(wù)人員管理.297

6.15.3.2服務(wù)文化299

6.15.4服務(wù)流程管理.300

6.15.4.4試用304

6.15.5服務(wù)實體設(shè)施.306

6.15.6產(chǎn)品詳細(xì)交付計劃308

6.16項目培訓(xùn)計劃317

6.16.1培訓(xùn)組織管理.317

6.16.2培訓(xùn)隊伍要求,317

6.16.3培訓(xùn)對象318

6.17.1風(fēng)險計劃.1

6.17.2風(fēng)險監(jiān)視3

6.17.3風(fēng)險管理.4

第七章售后服務(wù)及培訓(xùn)5

7.1售后服務(wù)說明5

7.1.1售后服務(wù)及響應(yīng)級別5

7.1.2定期現(xiàn)場巡檢服務(wù)9

7.1.3專人值守服務(wù)9

7.1.4本地化服務(wù)9

7.2運維服務(wù)保障措施10

7.2.1項目運維組織機構(gòu)及職責(zé)10

7.2.2運維風(fēng)險預(yù)防措施，12

7.2.3運維突發(fā)事情應(yīng)急措施13

7.3服務(wù)質(zhì)量保障措施13

7.3.1完善的售后服務(wù)體系13

7.3.2運行維護制度建立14

7.3.3運維知識庫系統(tǒng)14

7.3.4運行維護隊伍建設(shè).15

7.3.5閉環(huán)式服務(wù)15

7.3.6服務(wù)監(jiān)督機制.16

7.3.7試運行期間的運維保障17

7.3.8免費質(zhì)保期間的運維保障.18

7.3.9免費質(zhì)保期后的運維保障19

7.4質(zhì)量保證范圍20

7.6售后服務(wù)機構(gòu)網(wǎng)點清單、服務(wù)電話21

7.6.2人員培訓(xùn)計劃.22

第八章施工組織設(shè)計方案24

8.1施工組織設(shè)計24

8.1.1綜合說明,質(zhì)量、服務(wù)、安全文明施工目標(biāo).24

8.1.1.1質(zhì)量目標(biāo)24

8.1.1.5文明環(huán)境施工目標(biāo)26

8.L2主要施工方法;新技術(shù)、新材料、新工藝、新設(shè)備的應(yīng)用

27

8.1.2.2用現(xiàn)代化技術(shù)設(shè)備29

8.1.2.3建立完善的技術(shù)管理體系29

8.1.2.4新技術(shù)、新工藝、新材料、新設(shè)備的應(yīng)用和計劃30

8.1.3工程投入的主要物資和施工機械設(shè)備情況、主要施工機

械進場計劃30

8.1.4施工設(shè)備進場計劃，30

8.1.5工程所用產(chǎn)品進場計劃30

8.1.6確保工程質(zhì)量的技術(shù)組織措施.30

8.1.7確保安全生產(chǎn)的技術(shù)組織措施.32

8.1.7.2安全檢查制度32

8.1.8確保文明漁工的技術(shù)組織措施.33

8.1.9施工順序、總進度安排及總形象進度示意圖.33

8.3質(zhì)量及保修服務(wù)33

8.3.1保修期與保修范圍.33

8.3.2保修責(zé)任34

8.3.3售后培訓(xùn)34

8.3.4售后維護服務(wù)34

8.3.5接口對接服務(wù)34

8.4組織管理35

8.4.1項目管理方法35

8.4.2項目質(zhì)量管理.37

8.4.2.1質(zhì)量管理計劃37

8.4.2.2質(zhì)量管理過程38

8.4.3系統(tǒng)測試計劃.40

8.4.4測試方案41

8.4.4.4用戶測試（試運行測試）46

8.4.5測試管理48

8.4.5.2測試準(zhǔn)備49

8.4.5.3測試執(zhí)行50

8.4.5.4測試問題跟蹤51

8.4.5.5文檔核查51

8.5項目風(fēng)險管理54

8.5.1主要風(fēng)險列表55

8.5.2風(fēng)險影響分析.56

8.5.4風(fēng)險控制計劃.58

8.5.5風(fēng)險應(yīng)對措施.59

8.5.5.1風(fēng)險應(yīng)對措施59

8.5.5.2其他風(fēng)險措施61

8.5.6項目溝通管理.62

8.5.7項目決策制度.62

8.5.8問題與爭議管理辦法63

8.6上線后支持期64

第1章方案總述

1.1項目背景

隨著貴公司業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)不斷增多，業(yè)務(wù)數(shù)據(jù)量

的規(guī)模也在急速膨脹。集團數(shù)據(jù)整合平臺作為貴公司的數(shù)據(jù)整合中

心，需緊密銜接總行ODS、數(shù)據(jù)倉庫及集團特色系統(tǒng)、并且需考慮

到貴公司未來將要建設(shè)的系統(tǒng)的接入問題。根據(jù)貴公司業(yè)務(wù)的拓展

和條線管理的需要，各業(yè)務(wù)部門對決策信息依賴程度不斷提高，經(jīng)

常會有一些高靈活性、多變性、高及時性的信息需求。貴公司目前需

要能夠滿足業(yè)務(wù)需求快速響應(yīng)的統(tǒng)一數(shù)據(jù)平臺，僅依靠傳統(tǒng)的數(shù)據(jù)

加工模式對源數(shù)據(jù)進行抽取加工操作，由于業(yè)務(wù)口徑的不一致性、

數(shù)據(jù)質(zhì)量低下、以及缺乏良好的數(shù)據(jù)統(tǒng)計分析手段等問題導(dǎo)致集團

范圍的決策分析成為難題，不能充分發(fā)揮業(yè)務(wù)積累的相關(guān)數(shù)據(jù)的作

用數(shù)據(jù)的及時性和準(zhǔn)確性難以保證，給管理和營銷增加了難度。整

理制作郎豐利。

本次數(shù)據(jù)報表平臺項目承擔(dān)了集團主要業(yè)務(wù)數(shù)據(jù)的集中和整合

及報表應(yīng)用展示的功能。通過數(shù)據(jù)平臺的建設(shè)，將為零售、公司、同

業(yè)、績效、人力資源、運營等業(yè)務(wù)提供統(tǒng)一準(zhǔn)確的數(shù)據(jù)支持，是貴公

司業(yè)務(wù)精細(xì)化管理能力的重要基礎(chǔ)類系統(tǒng)。數(shù)據(jù)平臺從中遠(yuǎn)期角度

來看，將成為貴公司管理層/經(jīng)營層洞察經(jīng)營全貌、優(yōu)化經(jīng)營管控水

平、推進戰(zhàn)略決策效能、支撐綜合運營分析的數(shù)據(jù)分析平臺。通過數(shù)

據(jù)的集中化、標(biāo)準(zhǔn)化管理，實現(xiàn)集團數(shù)據(jù)的信息共享，構(gòu)建實現(xiàn)企業(yè)

數(shù)據(jù)平臺及相關(guān)的管理決策分析應(yīng)用。整理制作郎豐利。

1.2項目目標(biāo)

貴公司數(shù)據(jù)平臺建設(shè)項目是搭建一個對接總行ODS、數(shù)據(jù)倉庫、

銜接集團特色業(yè)務(wù)的數(shù)據(jù)平臺。從底層的數(shù)據(jù)平臺、DW到上層的BI

（商業(yè)智能）展現(xiàn)，數(shù)據(jù)平臺在各交易系統(tǒng)之間、交易系統(tǒng)和報表分

析系統(tǒng)之間實現(xiàn)數(shù)據(jù)交換，通過數(shù)據(jù)的加工、整合實現(xiàn)報表統(tǒng)計和

分析。建立基礎(chǔ)數(shù)據(jù)模型、ETL平臺、ETL管理調(diào)度平臺、確保數(shù)

據(jù)采集完整、保證ETL數(shù)據(jù)質(zhì)量、形成統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)

為：

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級數(shù)據(jù)模型，整合各

業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成集團統(tǒng)一的數(shù)據(jù)視圖，建設(shè)成為貴公司系統(tǒng)應(yīng)

用的基礎(chǔ)數(shù)據(jù)平臺。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實現(xiàn)基礎(chǔ)數(shù)據(jù)平臺的基礎(chǔ)上實現(xiàn)

統(tǒng)一報表平臺，為貴公司業(yè)務(wù)分析和經(jīng)驗決策提供全面的支持。

1.3項目建設(shè)原則

本次項目建設(shè)遵循的技術(shù)原則如下：

數(shù)據(jù)平臺的正確建立和合理利用將直接影響到貴公司的

未來信息化發(fā)展，貴公司數(shù)據(jù)平臺建設(shè)應(yīng)參考以下架構(gòu)原則，指導(dǎo)和

規(guī)范未來的數(shù)據(jù)平臺信息化建設(shè)和管理，在項目方案中應(yīng)該能夠體

現(xiàn)以下原則：

1.數(shù)據(jù)集中原則：

將總行ODS、數(shù)據(jù)倉庫數(shù)據(jù)、集團特色數(shù)據(jù)和應(yīng)用統(tǒng)一進

行管理和運維，保證資源的高度利用以及通過相關(guān)的技術(shù)保證數(shù)據(jù)

和應(yīng)用的絕對安全和穩(wěn)定。

2.數(shù)據(jù)標(biāo)準(zhǔn)集團統(tǒng)一原則:

依據(jù)總行的數(shù)據(jù)字典，減少數(shù)據(jù)定義的二義性。未來集團

特色應(yīng)用系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是集團數(shù)據(jù)結(jié)構(gòu)模型的子集。對集團級數(shù)

據(jù)實行單點維護，確保集團級數(shù)據(jù)的可靠性和一致性。

3.數(shù)據(jù)管理集團統(tǒng)一原則：

統(tǒng)一的存儲管理，統(tǒng)一規(guī)劃使用存儲資源，提高存儲資源

使用效率。統(tǒng)一的性能管理，根據(jù)實際業(yè)務(wù)需求，合理分配資源，確

保對數(shù)據(jù)的訪問性能能夠滿足業(yè)務(wù)的需要。統(tǒng)一標(biāo)準(zhǔn)的安全管理，

提高數(shù)據(jù)訪問控制能力，降低關(guān)鍵業(yè)務(wù)數(shù)據(jù)的安全隱患。

4.降低數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制原則：

減低集團級數(shù)據(jù)的冗余度，降低數(shù)據(jù)對存儲資源的需求。

各業(yè)務(wù)系統(tǒng)根據(jù)自身業(yè)務(wù)處理實際需求，確定對屬于其它系統(tǒng)數(shù)據(jù)

的同步需求，制訂出相應(yīng)的數(shù)據(jù)復(fù)制同步策略并統(tǒng)一進行實施。

第2章系統(tǒng)建設(shè)規(guī)劃

2.1項目建設(shè)目標(biāo)的理解

數(shù)據(jù)平臺的建設(shè)對于貴公司是一個非常重要的系統(tǒng)工程，承擔(dān)

著貴公司企業(yè)數(shù)據(jù)整合、數(shù)據(jù)交換以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)

平臺的建設(shè)使得貴公司將自身信息資產(chǎn)切實、有效的管理起來，形

成企業(yè)統(tǒng)一信息視圖，搭建企業(yè)數(shù)據(jù)治理的框架，并為統(tǒng)一報表系

統(tǒng)提供有效的數(shù)據(jù)支撐。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

2.1.1項目建設(shè)范圍

貴公司數(shù)據(jù)平臺本期項目建設(shè)范圍，可以從涉及到的業(yè)務(wù)范圍、

涵蓋到的組織范圍以及數(shù)據(jù)平臺需要接入的源系統(tǒng)范圍三個角度來

分析。

業(yè)務(wù)范圍

本項目的業(yè)務(wù)范圍以貴公司零售、公司業(yè)務(wù)條線為主，計財、績

效、運營等為輔。

組織范圍

本項目業(yè)務(wù)涵蓋的組織范圍為貴公司及轄內(nèi)二級集團、支行。

數(shù)據(jù)范圍

本項目的源系統(tǒng)范圍包括目前貴公司的主要業(yè)務(wù)系統(tǒng)，并需要滿

足本期數(shù)據(jù)平臺主題應(yīng)用的數(shù)據(jù)需求。

2.1.2項目建設(shè)內(nèi)容

2.121基礎(chǔ)數(shù)據(jù)平臺

基礎(chǔ)數(shù)據(jù)平臺技術(shù)架構(gòu)搭建

從總體上規(guī)劃企業(yè)級的基礎(chǔ)數(shù)據(jù)平臺，平臺將包含歷史數(shù)據(jù)存儲、

基礎(chǔ)數(shù)據(jù)平臺、統(tǒng)一報表平臺、自動調(diào)度監(jiān)控等內(nèi)容組成，數(shù)據(jù)平臺

要采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范；

基礎(chǔ)數(shù)據(jù)平臺ETL監(jiān)控、調(diào)度功能，完成從原數(shù)據(jù)倉庫數(shù)據(jù)移植

到新數(shù)據(jù)平臺的工作。

ETL子系統(tǒng)實現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取至數(shù)據(jù)平臺，并進行數(shù)

據(jù)的清洗、轉(zhuǎn)化、加載等操作，形成數(shù)據(jù)分析、決策所需的24/384

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

各種匯總數(shù)據(jù)模型、分析模型，最終形成各種報表、查詢以及KPI指

標(biāo)。ETL子系統(tǒng)實現(xiàn)自動化的數(shù)據(jù)抽取、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)

卸載、自動化數(shù)據(jù)重新加載、加載錯誤自動處理、臟數(shù)據(jù)識別等功能。

基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)補錄功能

提供數(shù)據(jù)補錄平臺功能，包括補錄流程管理、補錄模版管理、

單筆補錄、批量補錄等。通過補錄平臺實現(xiàn)數(shù)據(jù)平臺無法自動獲取的

具備分析價值的數(shù)據(jù)。

本期基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)涵蓋以下工作內(nèi)容：

接口標(biāo)準(zhǔn)：規(guī)范數(shù)據(jù)平臺加載數(shù)據(jù)接口、卸出數(shù)據(jù)格式及校驗標(biāo)

準(zhǔn)

公共代碼標(biāo)準(zhǔn)：參考總行ODS與數(shù)據(jù)倉庫標(biāo)準(zhǔn)與集團特色數(shù)據(jù)

標(biāo)準(zhǔn)；

數(shù)據(jù)質(zhì)量管控

數(shù)據(jù)質(zhì)量管控是一個長期的過程，依托于數(shù)據(jù)管控組織機構(gòu)、流

程的建立和完善。數(shù)據(jù)平臺一期進行數(shù)據(jù)質(zhì)量管控體系的初步探索，

主要完成如下目標(biāo)：

(1)、建立初步的數(shù)據(jù)質(zhì)量管理檢查規(guī)則，包括功能性和非功

能性規(guī)則。功能性規(guī)則主要包括：完整性、唯一性、合法性、準(zhǔn)確性

等；非功能性主要包括信息的完整性、一致性、業(yè)務(wù)稽核等；

(2)、根據(jù)建立的初步檢查規(guī)則，進行數(shù)據(jù)質(zhì)量的監(jiān)測，出具

初步的數(shù)據(jù)質(zhì)量檢查報告；

(3)、根據(jù)數(shù)據(jù)質(zhì)量檢查報告，提出數(shù)據(jù)質(zhì)量提升的解決方案。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

2.L2.2集團級指標(biāo)體系

借鑒與參考總行統(tǒng)一報表指標(biāo)體系成果，在此基礎(chǔ)上建立滿足集

團口徑指標(biāo)體系，擴展集團指標(biāo)；滿足業(yè)務(wù)日常固定報表使用的同時

提供多樣化的報表展現(xiàn)界面，包括表格展現(xiàn)，各類圖形展現(xiàn)；要求界

面友好，易用性強，并能夠提供具性化應(yīng)用風(fēng)格支持。

2.1.2.3統(tǒng)一報表平臺

構(gòu)建統(tǒng)一報表平臺，實現(xiàn)集團業(yè)務(wù)應(yīng)用報表的集中化管理、一體

化服務(wù)；具有報表定制、管理、維護功能；構(gòu)建集團用戶及權(quán)限管理

體系，支撐集團業(yè)務(wù)用戶報表應(yīng)用需求。能夠快速響應(yīng)各級業(yè)務(wù)應(yīng)用

人員的報表需求，滿足報表批量分類存檔的需要。

2.22.2.1集團大數(shù)據(jù)平臺的建設(shè)目標(biāo)

2.集團大數(shù)據(jù)平臺一期建設(shè)目標(biāo)

基于對貴公司系統(tǒng)現(xiàn)狀的了解，貴公司數(shù)據(jù)平臺一期的建設(shè)目標(biāo)

是：

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級數(shù)據(jù)模型，整合各

業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成集團統(tǒng)一的數(shù)據(jù)視圖，建設(shè)成為貴公司數(shù)據(jù)集中

管理和應(yīng)用的基礎(chǔ)數(shù)據(jù)平臺。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實現(xiàn)基礎(chǔ)數(shù)據(jù)平臺的基礎(chǔ)上實現(xiàn)

統(tǒng)一報表平臺，為貴公司業(yè)務(wù)分析和經(jīng)驗決策提供全面的支持。

3、集成現(xiàn)有對公、零售主要系統(tǒng)業(yè)務(wù)固定報表，支撐業(yè)務(wù)數(shù)據(jù)

使用需求。

4、指標(biāo)數(shù)據(jù)按照圖表樣式進行區(qū)間查詢展示數(shù)據(jù)趨向，波動。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

5、將集團原指標(biāo)體系按照新指標(biāo)體系進行平移；

2.2.22.2.1集團大數(shù)據(jù)平臺二期建設(shè)目標(biāo)

鑒于一期建設(shè)主要是搭建主體平臺，二期的信息化建設(shè)目標(biāo)是繼

續(xù)完善平臺，豐富平臺應(yīng)用效果，全面覆蓋現(xiàn)有舊綜合平臺，將重要

數(shù)據(jù)遷移。具體目標(biāo)如下：

二期項目中可以集成計財、運營、人力資源等系統(tǒng)報表；支持

數(shù)據(jù)圖表展示、SQL查詢等個性化查詢需求；將更多的管理應(yīng)

用系統(tǒng)的數(shù)據(jù)源遷移至數(shù)據(jù)平臺；建立并推廣一套完整的需求

與技術(shù)落地標(biāo)準(zhǔn)與體系。

可以預(yù)見，隨著數(shù)據(jù)平臺的不斷成熟，業(yè)務(wù)部門對數(shù)據(jù)平臺的認(rèn)

知不斷提高，會有源源不斷的需求基于數(shù)據(jù)平臺提出，這種變化將使

得數(shù)據(jù)平臺由前期技術(shù)部門“推”轉(zhuǎn)變?yōu)闃I(yè)務(wù)部門的“拉”，讓業(yè)務(wù)

需求作為數(shù)據(jù)平臺持續(xù)良好發(fā)展的源動力。

第3章整體設(shè)計方案

3.1系統(tǒng)設(shè)計方法論

3.1.1方法論

數(shù)據(jù)平臺的項目是一個長期的循序漸進的過程，也是一個不

斷創(chuàng)新、修復(fù)、完善的過程，其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)

貴公司的業(yè)務(wù)特點以及企業(yè)系統(tǒng)建設(shè)的現(xiàn)狀和未來發(fā)展藍(lán)圖，致力打

造一個可擴展的、高可用性的、安全的、高效的、跨部門的可以快速

處理海量數(shù)據(jù)的數(shù)據(jù)平臺。

在貴公司數(shù)據(jù)平臺建設(shè)方面依據(jù)可重用性、安全性、高可用性、

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

可管理性、可擴展性、高性能的設(shè)計原則采取總體規(guī)劃，分層實現(xiàn)的

方式?？v向?qū)用孀陨隙驴矗F公司數(shù)據(jù)平臺的架構(gòu)由邏輯（應(yīng)用）

架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)和物理架構(gòu)四個層次組成，每個層次內(nèi)部

又根據(jù)設(shè)計需要進行抽象分層，從而形成立體的貴公司數(shù)據(jù)平臺項目

架構(gòu)方法。

邏輯（應(yīng)用）架構(gòu)是貴公司數(shù)據(jù)平臺項目承載的應(yīng)用體系，它描

述了貴公司數(shù)據(jù)平臺項目所要實現(xiàn)的應(yīng)用需求，以及支撐這些應(yīng)用需

求所必須的公共模塊，如調(diào)度、監(jiān)控和元數(shù)據(jù)管理等工具組件。

數(shù)據(jù)架構(gòu)承載了支撐應(yīng)用架構(gòu)所必須的業(yè)務(wù)實體關(guān)系的分布，它

通過數(shù)據(jù)模型的方式進行組織，主要分為緩沖數(shù)據(jù)層（ODS）、基礎(chǔ)

數(shù)據(jù)層（FDM）、加工匯總層（ADM）和數(shù)據(jù)集市層（MDM）等四

個層次。

'技術(shù)架構(gòu)是用于支撐貴公司數(shù)據(jù)平臺的數(shù)據(jù)分布和流動的技術(shù)

框架，用到的技術(shù)有數(shù)據(jù)庫技術(shù)、數(shù)據(jù)平臺技術(shù)、ETL技術(shù)、多維計

算技術(shù)、數(shù)據(jù)展現(xiàn)技術(shù)等。

作為最底層的物理架構(gòu)，是對貴公司數(shù)據(jù)平臺物理設(shè)備和網(wǎng)絡(luò)的

合理規(guī)劃部署，它通過有效地利用硬件和網(wǎng)絡(luò)，并能夠添加硬件設(shè)備

進行擴展為上層架構(gòu)（技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、邏輯架構(gòu)）提供支撐能

力。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

邏輯架構(gòu)

族晚勤宏,露求實現(xiàn),相

應(yīng)的公共模塊,調(diào)度'監(jiān)控'

元數(shù)據(jù)管理等非應(yīng)用技術(shù)組

技術(shù)

架構(gòu)支裝

’的技術(shù)架〃

業(yè)務(wù)實體

度木教

物理基礎(chǔ)設(shè)施架構(gòu)

物理設(shè)備和網(wǎng)絡(luò)

等的合理規(guī)劃和有

效擴展，為上層架

供支撐

貴公司數(shù)據(jù)平臺架構(gòu)方法立體視圖

3.1.2設(shè)計原則

根據(jù)貴公司數(shù)據(jù)平臺提出的系統(tǒng)建議的總體原則，總結(jié)我們在多

家金融機構(gòu)建設(shè)數(shù)據(jù)平臺經(jīng)驗，貴公司數(shù)據(jù)平臺的設(shè)計原則體現(xiàn)如下

原則：標(biāo)準(zhǔn)規(guī)范，可擴展，開放，前瞻，高性能，穩(wěn)定，安全，易維

護，實用，可管理，高可用，可重用。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

系統(tǒng)設(shè)計原則

3.1.2.1標(biāo)準(zhǔn)規(guī)范

建立標(biāo)準(zhǔn)的ETL開發(fā)流程，制定符合貴公司數(shù)據(jù)平臺的代碼標(biāo)

準(zhǔn)化統(tǒng)一規(guī)范，設(shè)計應(yīng)對有高效數(shù)據(jù)處理要求及日常低能耗操作的兼

容性數(shù)據(jù)模型，建設(shè)符合貴公司數(shù)據(jù)平臺遠(yuǎn)景目標(biāo)利益的技術(shù)管理體

系。

數(shù)據(jù)模型：制定表名、字段名命名規(guī)范標(biāo)準(zhǔn)。設(shè)計基礎(chǔ)標(biāo)準(zhǔn)模型

及基于基礎(chǔ)數(shù)據(jù)模型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型標(biāo)準(zhǔn)。建立數(shù)

據(jù)質(zhì)量管理機制，提高貴公司數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量，也是數(shù)據(jù)平臺邁

向標(biāo)準(zhǔn)化規(guī)范化管理的重要環(huán)節(jié)。

ETL處理：將ETL處理程序分類化，整理規(guī)范出各種ETL處理

策略。確保ETL開發(fā)人員所開發(fā)的ETL程序遵循中信總行的規(guī)范。

ETL管理：建設(shè)ETL管理平臺，將其納入貴公司的ETL管理體

系，形成有貴公司特色的ETL管理制度。

30/384

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

3.1.2.2開放性

系統(tǒng)建設(shè)遵循開放原則，適應(yīng)未來業(yè)務(wù)和技術(shù)發(fā)展，與現(xiàn)有系統(tǒng)

進行有序的數(shù)據(jù)交互。

數(shù)據(jù)模型：數(shù)據(jù)模型的設(shè)計盡量接口化，關(guān)系與抽象并存。應(yīng)對

新出現(xiàn)的業(yè)務(wù)種類，同時能夠兼容與現(xiàn)有系統(tǒng)進行數(shù)據(jù)交互，完成輸

入與輸出系統(tǒng)的角色。

ETL處理：ETL程序處理邏輯規(guī)則模塊化，應(yīng)對日益更新的技術(shù)

發(fā)展及業(yè)務(wù)變更。

相關(guān)產(chǎn)品：項目開發(fā)過程中使用的XXX公司工具類產(chǎn)品可以提

供客戶相關(guān)開發(fā)源碼進行二次開發(fā)。

后續(xù)開發(fā)：項目組再實施過程中，會對客戶方科技人員進行相關(guān)

的技術(shù)培訓(xùn)，使科技人員能夠獨立的進行ETL程序的開發(fā)、報表開

發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配置等等

3.1.2.3可擴展性

可擴展性是指數(shù)據(jù)平臺能夠支持貴公司業(yè)務(wù)系統(tǒng)和應(yīng)用系統(tǒng)發(fā)

展的需要。在本項目中，具體要從以下幾個方面考慮系統(tǒng)的可擴展性

數(shù)據(jù)模型：設(shè)計基礎(chǔ)數(shù)據(jù)層和數(shù)據(jù)預(yù)處理層模型時應(yīng)充分考慮，

除了能夠容納現(xiàn)有源系統(tǒng)的結(jié)構(gòu)設(shè)計，還應(yīng)該盡可能滿足即將要上線

的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型，同時還需要制定一套合理的模型設(shè)計規(guī)范，使

得新上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型能很方便地擴展到數(shù)據(jù)平臺。

ETL處理：需要考慮兩個方面的擴展性，增加新的ETL任務(wù)處

理以及原有任務(wù)所處理的數(shù)據(jù)規(guī)模加大，ETL處理架構(gòu)必須能適應(yīng)新

的變化，需要考慮通過集群的方式來擴展。

數(shù)據(jù)交換平臺：在設(shè)計時應(yīng)考慮，隨著分發(fā)數(shù)據(jù)規(guī)模的擴大和推

送節(jié)點的增多，對交換處理和傳輸處理的性能要求會越來越高，必須

支持集群的方式進行擴展。此外，數(shù)據(jù)交換平臺

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

還必須提供二次開發(fā)接口，支持SOA服務(wù)模式，可以進行應(yīng)用級的

擴展。

服務(wù)器：平臺中的每一種服務(wù)器都使用集群擴展模式，可以通過

對服務(wù)器數(shù)量的增加獲得更好的數(shù)據(jù)處理和查詢能力。

3.1.2.4高性能

高性能是指在硬件資源有限的情況下，數(shù)據(jù)平臺應(yīng)盡可能的支持

盡量多的數(shù)據(jù)服務(wù)需求，還能承受用戶峰值時間段壓力，使得數(shù)據(jù)平

臺能夠滿足集團范圍內(nèi)的使用者。在本項目中，高性能的設(shè)計主要體

現(xiàn)在以下幾個方面：

ETL處理：在進行ETL設(shè)計時，需要考慮大數(shù)據(jù)量條件下的處

理效率，確保在規(guī)定的時間窗口內(nèi)完成ETL處理，特別是一些特殊日

期的ETL處理，例如結(jié)息日、月底等。

數(shù)據(jù)交換平臺：需要考慮在大數(shù)據(jù)量條件下的文件傳輸效率，主

要也是體現(xiàn)在一些特殊口期條件下的文件傳輸，以及特殊情況下的全

量文件傳輸。

數(shù)據(jù)庫設(shè)計：對一些海量數(shù)據(jù)表或頻繁訪問的數(shù)據(jù)表，在數(shù)據(jù)庫

設(shè)計的時候需要從數(shù)據(jù)庫設(shè)計的角度考慮性能優(yōu)化機制。

3.1.2.5可管理性

這里所說的可管理性主要是指系統(tǒng)運維的可管理性。比如：在實

際運行過程中，系統(tǒng)能很方便地對系統(tǒng)的運行狀態(tài)進行監(jiān)控，查看數(shù)

據(jù)質(zhì)量情況；出現(xiàn)系統(tǒng)異常時，能及時收到消息通知，并有一套完善

的流程來處理數(shù)據(jù)或系統(tǒng)方面的異常等等。在本項目中，可管理性的

設(shè)計具體表現(xiàn)在以下幾個方面：

ETL處理：在ETL的總體設(shè)計時，確保系統(tǒng)可以監(jiān)控全過程的

運行狀態(tài)，并能對異常情況及時提醒，保存完整的處理日志信息，并

設(shè)計相應(yīng)的錯誤處理流程。另外，還需要考慮ETL任務(wù)配置的直觀圖

形化。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

32/384

33/384

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

數(shù)據(jù)管控：在總體設(shè)計時，應(yīng)充分考慮數(shù)據(jù)的復(fù)雜性，必須能

做到多而不亂，能夠清楚了解系統(tǒng)每一個應(yīng)用的轉(zhuǎn)換邏輯和數(shù)據(jù)含

義，在任何環(huán)節(jié)有變動時，能迅速的反饋變動產(chǎn)生的影響。

數(shù)據(jù)交換平臺：在總體設(shè)計時，需要充分考慮數(shù)據(jù)交換任務(wù)易

于配置，傳輸結(jié)果易于監(jiān)控。

高可用性

高可用性是指系統(tǒng)在一些特殊情況發(fā)生時，依靠架構(gòu)的有效設(shè)

計，仍然能保證正常運行。在本項目中，高可用性的設(shè)計主要體現(xiàn)在

以下幾個方面：

數(shù)據(jù)模型的可用性：模型的設(shè)計應(yīng)能屏蔽證券業(yè)務(wù)源系統(tǒng)結(jié)構(gòu)

的變化對數(shù)據(jù)平臺集成平臺和將在其上建設(shè)的分析應(yīng)用系統(tǒng)帶來影

響。局部數(shù)據(jù)模型的擴展不會對其它數(shù)據(jù)模型產(chǎn)生大的影響。

ETL處理的可用性：應(yīng)充分考慮各源系統(tǒng)的時間窗口可能存在

不一致的情況，避免出現(xiàn)一個系統(tǒng)的數(shù)據(jù)時間窗口沒有滿足條件，

影響到其它所有系統(tǒng)的ETL處理。

系統(tǒng)備份：當(dāng)正在運行的系統(tǒng)出現(xiàn)異常時，系統(tǒng)應(yīng)具備相應(yīng)的

備份恢復(fù)機制，確保系統(tǒng)能及時恢復(fù)處理。

各個功能模塊設(shè)計時應(yīng)考慮自己的運行管理流程。

3.1.2.7安全性

在本項目中，安全性主要包括兩個層面的含義：一是防止數(shù)據(jù)

服務(wù)體系的數(shù)據(jù)資源被惡意修改和盜??；二是防止數(shù)據(jù)在傳輸過程

中被截留和篡改。在本項目中，安全性的設(shè)計具體體現(xiàn)在以下方面：

對于第一個層面的安全性，主要依賴于各應(yīng)用系統(tǒng)對用戶角色

和功能權(quán)限的控制。因此，在編寫基于數(shù)據(jù)服務(wù)體系的應(yīng)

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

用系統(tǒng)設(shè)計開發(fā)規(guī)范時，應(yīng)明確要求應(yīng)用系統(tǒng)必須充分考慮安全性的

設(shè)計。若貴公司建設(shè)有面向管理系統(tǒng)的統(tǒng)一用戶認(rèn)證平臺（UA），可

以考慮通過UA來管理用戶權(quán)限。

對于數(shù)據(jù)范圍方面的安全控制要求，在梳理出貴公司數(shù)據(jù)平臺應(yīng)

用需求與目標(biāo)用戶權(quán)限關(guān)系之后，通過在程序中對數(shù)據(jù)進行過濾，用

戶無法涉及其權(quán)限范圍以外的數(shù)據(jù)，以確保數(shù)據(jù)范圍的安全。數(shù)據(jù)過

濾程序可抽象為一個準(zhǔn)確、高效、易管理維護的過濾器。

對于第二個層面的安全性，主要依賴于文件傳輸過程中的加解密

處理。因此，數(shù)據(jù)交換平臺在進行總體設(shè)計的時候需要充分考慮數(shù)據(jù)

傳輸過程中的安全性。

此外，系統(tǒng)在進行網(wǎng)絡(luò)規(guī)劃時，對系統(tǒng)的安全級別也需要進行分

析，必要時需要提高網(wǎng)絡(luò)的安全級別，從物理設(shè)計層面提高系統(tǒng)的安

全性。

3.128可重用性

可重用性是指盡可能避免貴公司數(shù)據(jù)服務(wù)體系建設(shè)的重復(fù)投入

應(yīng)盡可能考慮包括物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)

務(wù)應(yīng)用等多個層面上的復(fù)用。在本項目中，可重用性的設(shè)計具體表現(xiàn)

在以下幾個方面：

ETL功能組件：在設(shè)計ETL任務(wù)處理流程時，要分析ETL任務(wù)

的各個環(huán)節(jié)，盡可能找出一些公用的ETL組件，進行必要的封裝，便

于在模塊內(nèi)復(fù)用，進而推廣到項目內(nèi)進行復(fù)用。

數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型：在設(shè)計數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型時，

應(yīng)充分考慮應(yīng)用系統(tǒng)的數(shù)據(jù)加工需求，盡可能將一些共性的加工需求

在該層實現(xiàn)；并通過這種機制，不斷擴充和完善改成的數(shù)據(jù)模型，實

現(xiàn)加工數(shù)據(jù)的復(fù)用。

知識庫的復(fù)用：在ETL管理平臺中，應(yīng)充分考慮知識庫的管理

和使用流程，以便運維人員和業(yè)務(wù)人員復(fù)用知識庫的經(jīng)驗，來解決和

處理一些日常的問題。

組件復(fù)用：各模塊在開發(fā)的過程中，注意提煉出一些可用

34/384

33/384

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

共用的公共組件，在模塊內(nèi)實現(xiàn)復(fù)用，甚至在模塊間實現(xiàn)復(fù)用。

硬件部署：在進行硬件部署的規(guī)劃時，應(yīng)充分對系統(tǒng)的處理規(guī)模

進行分析。如果性能允許的話，盡可能集中部署，使用現(xiàn)有設(shè)備，在

硬件方面實現(xiàn)復(fù)用。

3.2數(shù)據(jù)平臺技術(shù)體系

3.2.1數(shù)據(jù)平臺邏輯架構(gòu)

分行分析至數(shù)據(jù)區(qū)

鶴

數(shù)據(jù)倉庫應(yīng)用展務(wù)區(qū)

?

9

-層

主

共

應(yīng)

超

憶

用

數(shù)

模

I數(shù)

臬

攜?

統(tǒng)

據(jù)

￡市

■to碇

受

一

層

分

層

工

沖

(認(rèn)

發(fā)

E層

層

D證

W(平

)Q

平

一

D■臺

M拄

)臺

S修

-

:

:

發(fā)

貴公司數(shù)據(jù)平臺邏輯架構(gòu)圖

上圖為XXX公司對貴公司數(shù)據(jù)平臺的邏輯架構(gòu)建議設(shè)計圖。

從邏輯架構(gòu)上看，數(shù)據(jù)平臺主要分為下面幾個部分：郎豐利。

3.2.1.1數(shù)據(jù)集成區(qū)

數(shù)據(jù)集成區(qū)為總行區(qū)域，集團只需要提出對應(yīng)接口需求，由數(shù)

據(jù)集成區(qū)下發(fā)至集團，目前的范圍包含了總行ODS、數(shù)據(jù)倉庫。

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

321.2集團分析型數(shù)據(jù)區(qū)

集團分析型數(shù)據(jù)區(qū)包含報表數(shù)據(jù)區(qū)、應(yīng)用服務(wù)區(qū)及訪問層區(qū)；

報表數(shù)據(jù)區(qū)將總行數(shù)倉、ODS數(shù)據(jù)經(jīng)分發(fā)平臺下發(fā)至集團數(shù)據(jù)

進行整合，選用XXX公司的YC.LDM作為參考模型，建立數(shù)據(jù)緩沖

層、基礎(chǔ)整合層、共性加工層、應(yīng)用集市層。其中基礎(chǔ)整合層模型是

用來統(tǒng)一存儲整合企業(yè)所有源系統(tǒng)的業(yè)務(wù)數(shù)據(jù)；共性加工層數(shù)據(jù)模型

主要是用來存儲一些共性數(shù)據(jù)指標(biāo)，為各應(yīng)用系統(tǒng)提供共同的基礎(chǔ)數(shù)

據(jù)預(yù)處理，提高數(shù)據(jù)共享程度和數(shù)據(jù)使用效率。

應(yīng)用服務(wù)區(qū)按照報表類別及指標(biāo)作用劃分為固定報表、即席報表、

OLAP、儀表盤等，滿足業(yè)務(wù)報表需求。郎豐利整理制作。

訪問層主要對用戶角色、操作權(quán)限進行管理；

3.2.1.3管理平臺區(qū)

管理平臺區(qū)包括任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量三大模塊。集團需

要建設(shè)自身的調(diào)度平臺?？梢圆捎每傂薪y(tǒng)一調(diào)度平臺ETLPLUS或

XXX公司USE調(diào)度產(chǎn)產(chǎn)品，實現(xiàn)對作業(yè)調(diào)度、監(jiān)控和配制管理，支

持各類ETLJOB的調(diào)度，能夠與主流ETL工具集成，支持對調(diào)度策

略、執(zhí)行過程、錯誤日志的實時監(jiān)控。此外ETL管理平臺支持文件到

達監(jiān)控，ETL集群部署與集群調(diào)度以及針對各個服務(wù)器資源的運行情

況監(jiān)控。

元數(shù)據(jù)及數(shù)據(jù)質(zhì)量使用總行元數(shù)據(jù)及數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，，本期暫不

考慮集團自建。

3.2.1.4統(tǒng)一報表展現(xiàn)平臺

統(tǒng)一報表展現(xiàn)平臺（報表平臺）是本期基于數(shù)據(jù)平臺之上建

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

36/384

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

立的一個報表系統(tǒng)，實現(xiàn)對報表的統(tǒng)一管理以及統(tǒng)一展現(xiàn)服務(wù)，向用

戶展現(xiàn)數(shù)據(jù)平臺數(shù)據(jù)整合的成果。報表平臺在功能上需要具備系統(tǒng)

管理、報表管理、報表展現(xiàn)（業(yè)務(wù)報表需求）、BI工具集成，報表

目錄與分類，靈活查詢以及報表統(tǒng)計等功能。通過BI工具開發(fā)的報

表能夠被報表展現(xiàn)平臺無縫集成并且以最方便、最直觀的方式提供

給報表的使用者。在本次貴公司數(shù)據(jù)平臺建設(shè)中，圖表展示、SQL靈

活查詢均將作為一類特殊的報表系統(tǒng)的應(yīng)用。由統(tǒng)一報表展現(xiàn)平臺

完成功能集成與發(fā)布，向用戶提供統(tǒng)一的訪問入口以及應(yīng)用體驗。

3.2.1.5ETL設(shè)計關(guān)鍵技術(shù)點說明

3.2.1.5.1.1ETL處理策略

原則上因機構(gòu)撤并造成的新增賬戶仍以新增帳戶處理，賬戶間

的關(guān)系通過機構(gòu)拆并表進行對應(yīng)。如果有臟數(shù)據(jù)，依據(jù)數(shù)據(jù)情況另

行處理。

賬戶主檔表的處理：新增賬戶直接插入

拉鏈表的處理：關(guān)閉老賬戶，以銷戶方式處理；新增賬戶直接

插入。

3.2.1.5.1.2ETL處理流程

37/384

企業(yè)數(shù)字化平臺及企業(yè)大數(shù)據(jù)可視化平臺建設(shè)方案

機構(gòu)撤并ETL處理流程

3.2.152質(zhì)量檢核

3.2.1.5.2.1ETL處理原則

質(zhì)量檢核是數(shù)據(jù)準(zhǔn)確性的外部保證，應(yīng)盡量提供檢核處理

檢核處理不能對ETL處理有較大性能上的影響

檢核處理不能對時間窗口壓力過大

3.2.1.5.2.2ETL處理方法

檢核作業(yè)與該表的數(shù)據(jù)