數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在銀行業(yè)的應(yīng)用

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及其在銀行業(yè)的應(yīng)用 NCR Teradata 數(shù)據(jù)倉(cāng)庫(kù)事業(yè)部 王闖舟 利用先進(jìn)的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)建立集中的、包含詳細(xì)交易數(shù)據(jù)的商業(yè)智能解決方案，已經(jīng)成為各大銀行對(duì)內(nèi)加強(qiáng)經(jīng)營(yíng)管理和決策支持，對(duì)外更好地了解客戶(hù)需求，開(kāi)發(fā)新產(chǎn)品或服務(wù)，利用現(xiàn)有渠道對(duì)客戶(hù)進(jìn)行交叉銷(xiāo)售，增加贏利能力，并在特定的業(yè)務(wù)領(lǐng)域提供差異化服務(wù)的重要手段。 與前幾年不同的是，大家目前都在談?wù)撈髽I(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) (EDW， Enterprise Data Warehouse)，對(duì)于數(shù)據(jù)集市的定位也基本形成共識(shí)，那就 是數(shù)據(jù)集市應(yīng)該從屬于企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。所謂 EDW，基本的要求是整個(gè)企業(yè)能夠共享統(tǒng)一的數(shù)據(jù)存儲(chǔ)模型，為各級(jí)業(yè)務(wù)人員提供一致的信息視圖。實(shí)施時(shí)可以先按照需求的輕重緩急選擇部分業(yè)務(wù)主題，然后逐步擴(kuò)展到涵蓋全部業(yè)務(wù)。 兩種數(shù)據(jù)倉(cāng)庫(kù)體系架構(gòu) 集線器結(jié)構(gòu) 之所以把這種結(jié)構(gòu)稱(chēng)為 “Hub and Spoke” ，是因?yàn)橹醒霐?shù)據(jù)庫(kù)匯集了來(lái)自各業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)，同時(shí)也負(fù)責(zé)向各從屬數(shù)據(jù)集市提供信息，看上去象一個(gè) Hub （集線器）一樣。而業(yè)務(wù)人員在進(jìn)行數(shù)據(jù)分析與信息訪問(wèn)時(shí)將根據(jù)需要連接到不同的數(shù)據(jù)集市， 這種交叉復(fù)雜的連接看上去就象 Spoke(車(chē)輪輻條 )一樣。由于這樣的關(guān)系，著名評(píng)估機(jī)構(gòu) Gartner Group 把這種結(jié)構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)形象地稱(chēng)為 “Hub and Spoke Data Warehouse” 。 集線器結(jié)構(gòu)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) “Hub and Spoke” 結(jié)構(gòu)解決了企業(yè)內(nèi)統(tǒng)一數(shù)據(jù)存儲(chǔ)模型的問(wèn)題，但從實(shí)際 使用的角度來(lái)看仍有比較嚴(yán)重的缺陷。主要體現(xiàn)在兩方面：一是業(yè)務(wù)人員對(duì)信息的訪問(wèn)非常不方便，很難進(jìn)行跨數(shù)據(jù)集市或跨部門(mén)的信息分析。數(shù)據(jù)集市的存儲(chǔ)模型需要根據(jù)預(yù)先定義的分析需求進(jìn)行規(guī)劃和設(shè)計(jì)，業(yè)務(wù)人員根據(jù)分工到指定的數(shù)據(jù)集市上去訪問(wèn)相關(guān)信息。如果需求發(fā)生變化，就需要對(duì)數(shù)據(jù)集市重新規(guī)劃。這顯然不能滿足日益變化的市場(chǎng)需求。中央數(shù)據(jù)庫(kù)只是起統(tǒng)一數(shù)據(jù)存儲(chǔ)和刷新數(shù)據(jù)集市的作用，一般不提供信息訪問(wèn)。另一個(gè)問(wèn)題是每個(gè)數(shù)據(jù)集市都需要相應(yīng)的軟硬件投入，當(dāng)數(shù)據(jù)集市增加時(shí)，系統(tǒng)整體投資迅速增加，同時(shí)管理的復(fù)雜性也隨之增加。這些都意味著 巨大的整體擁有成本。 為什么不直接訪問(wèn)中央數(shù)據(jù)倉(cāng)庫(kù)而非要設(shè)計(jì)一個(gè)數(shù)據(jù)集市層呢？主要原因在于當(dāng)中央數(shù)據(jù)庫(kù)保存越來(lái)越多的數(shù)據(jù)、并發(fā)用戶(hù)越來(lái)越多時(shí)，一般的數(shù)據(jù)庫(kù)引擎無(wú)法承擔(dān)這樣的負(fù)載，只好把它們分解到不同的數(shù)據(jù)集市。 集中式結(jié)構(gòu) 與前面討論的 “Hub and Spoke” 結(jié)構(gòu)相比，集中式結(jié)構(gòu)與之主要的差別在于：數(shù)據(jù)集市分成物理與邏輯兩種，物理數(shù)據(jù)集市設(shè)立在中央數(shù)據(jù)倉(cāng)庫(kù)之外，具有專(zhuān)門(mén)的軟硬件設(shè)備。一般都使用 OLAP 服務(wù)器，按照特定需求組建多維立方體來(lái)提供多維信息分析。邏輯數(shù)據(jù)集市設(shè)立在 中央數(shù)據(jù)倉(cāng)庫(kù)之內(nèi)，由在基礎(chǔ)數(shù)據(jù)之上形成的小結(jié)表或者邏輯視圖組成。業(yè)務(wù)人員既可以訪問(wèn)多維立方體，也可以訪問(wèn)中央數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的小結(jié)表或者邏輯視圖。這些分析主要針對(duì)預(yù)先定義的業(yè)務(wù)需求，并且粒度比較粗?；?OLAP 服務(wù)器的數(shù)據(jù)集市比基于 RDBMS 的數(shù)據(jù)集市要容易維護(hù)得多，當(dāng)然規(guī)模也相對(duì)較小。 集中式結(jié)構(gòu)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) 中央數(shù)據(jù)庫(kù)采用符合數(shù)據(jù)庫(kù)范式理論 (一般為第三范式 )的存儲(chǔ)模型來(lái)保存基礎(chǔ)數(shù)據(jù)，從而為整個(gè)企業(yè)提供一致的信息視圖。上面說(shuō)明的數(shù)據(jù)集市主要針對(duì)粒度較粗、預(yù)先定義的分析需求，對(duì)于動(dòng)態(tài)的業(yè)務(wù)查詢(xún)、粒度較細(xì)的或者針對(duì)基礎(chǔ)數(shù)據(jù)的分析需求則由中央數(shù)據(jù)庫(kù)提供。因此業(yè)務(wù)人員可以直接訪問(wèn)到最基礎(chǔ)的詳細(xì)數(shù)據(jù)，特別是高級(jí)業(yè)務(wù)分析師，將更頻繁地基于詳細(xì)數(shù)據(jù)進(jìn)行分析，以便挖掘出內(nèi)在的、隱含的業(yè)務(wù)規(guī)則，幫助企業(yè)主管更好地進(jìn)行業(yè)務(wù)決策。 在中央數(shù)據(jù)庫(kù)中還設(shè)立了一個(gè)數(shù)據(jù)轉(zhuǎn)換與緩沖區(qū) (Data Staging Area)，作為ETL（抽取轉(zhuǎn)換裝載機(jī)制）處理的一部分。由于在很多數(shù)據(jù)倉(cāng)庫(kù)的 ETL 處理流程中，需要對(duì)源數(shù)據(jù)作一些比較復(fù)雜的轉(zhuǎn)換與清洗工作，如果僅借助于 ETL 工具實(shí)現(xiàn)這種轉(zhuǎn)換與清洗，由于沒(méi)有數(shù)據(jù)庫(kù)的支撐 (ETL 工具均在數(shù)據(jù)庫(kù)之外運(yùn)行 )，經(jīng)常會(huì)產(chǎn)生比較嚴(yán)重的性能問(wèn)題。于是在一些系統(tǒng)中增加一個(gè) ODS(Operational Data Store)層來(lái)進(jìn)行數(shù)據(jù)的整理，但這就像設(shè)立基于 RDBMS 的數(shù)據(jù)集市一樣，將大大增加整體投資和管理復(fù)雜性。理想的方法是，在中央數(shù)據(jù)庫(kù)中設(shè)置一部分存儲(chǔ)空間來(lái)作為數(shù)據(jù)轉(zhuǎn)換與緩沖區(qū)，借助數(shù)據(jù)倉(cāng)庫(kù)引擎強(qiáng)大的復(fù)雜查 詢(xún)處理能力，通過(guò) SQL 實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)換與清洗。這種實(shí)現(xiàn)方法簡(jiǎn)單、快速、并且不容易出錯(cuò)，當(dāng)然對(duì)中央數(shù)據(jù)倉(cāng)庫(kù)引擎的處理能力就提出了更高的要求。 選擇這種數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)平臺(tái)的基本要求第一是線性擴(kuò)展能力。原始數(shù)據(jù)對(duì)任何一個(gè)數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，都是最主要的負(fù)載之一。隨著數(shù)據(jù)量的增長(zhǎng)，系統(tǒng)性能會(huì)逐漸下降。為了維持合理的業(yè)務(wù)查詢(xún)響應(yīng)時(shí)間，要求數(shù)據(jù)倉(cāng)庫(kù)引擎和相應(yīng)的數(shù)據(jù)庫(kù)服務(wù)器具有優(yōu)良的線性擴(kuò)展能力。一些系統(tǒng)的擴(kuò)展能力非常有限，當(dāng)數(shù)據(jù)量增長(zhǎng)到一定規(guī)模時(shí)（比如 TB級(jí)以上）已經(jīng)很難滿足日常的業(yè)務(wù)分析要求，不得不把數(shù)據(jù)分離到多個(gè)小 規(guī)模的數(shù)據(jù)集市，形成所謂的 “Hub and Spoke” 結(jié)構(gòu)。第二項(xiàng)基本要求是并行處理能力。許多業(yè)務(wù)查詢(xún)與分析都是動(dòng)態(tài) (Ad-hoc Query)的，數(shù)據(jù)庫(kù)傳統(tǒng)的索引技術(shù)對(duì)動(dòng)態(tài)分析和模糊查詢(xún)的幫助不大。系統(tǒng)必須具有非常好的并行處理能力，才能滿足復(fù)雜的、動(dòng)態(tài)的分析需求，并且承擔(dān)比較復(fù)雜的數(shù)據(jù)轉(zhuǎn)換與清洗工作。第三個(gè)基本要求是簡(jiǎn)單的系統(tǒng)管理。對(duì)于大型的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用系統(tǒng)而言，如何能有效而簡(jiǎn)單地進(jìn)行系統(tǒng)管理是非常重要的。特別是當(dāng)數(shù)據(jù)量不斷擴(kuò)大時(shí)，如果沒(méi)有一種有效而且簡(jiǎn)單的系統(tǒng)管理措施，那么系統(tǒng)的運(yùn)行費(fèi)用將會(huì)很高。 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在銀行業(yè)的應(yīng)用 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)屬于基礎(chǔ)設(shè)施的建設(shè)，只有穩(wěn)固的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施才能支撐靈活多樣的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。對(duì)于銀行業(yè)來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用面非常廣，基本上涵蓋了銀行經(jīng)營(yíng)管理與業(yè)務(wù)運(yùn)作的各個(gè)方面。 現(xiàn)在國(guó)內(nèi)幾大商業(yè)銀行都在著手調(diào)研、準(zhǔn)備或者嘗試實(shí)施基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的各種解決方案。比如，中國(guó)工商銀行進(jìn)行了以個(gè)人客戶(hù)關(guān)系管理（ PCRM）和業(yè)績(jī)價(jià)值管理（ PVMS）為主題的應(yīng)用試點(diǎn)，中國(guó)銀行則全面規(guī)劃了信用卡系統(tǒng)，其中很重要的一個(gè)子系統(tǒng)就是基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的銷(xiāo)售和客戶(hù)服務(wù)系統(tǒng) ，中國(guó)農(nóng)業(yè)銀行正在廣東分行進(jìn)行經(jīng)營(yíng)分析系統(tǒng)的建設(shè)，中國(guó)民生銀行也全面啟動(dòng)了客戶(hù)信息管理（ CIM）和企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)。 銀行通過(guò)逐步建立企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，可以對(duì)全行業(yè)務(wù)數(shù)據(jù)進(jìn)行集中存儲(chǔ)和統(tǒng)一管理，科學(xué)合理地對(duì)信息進(jìn)行詳細(xì)分類(lèi)，及時(shí)準(zhǔn)確收集信息和分析信息，確保管理層隨時(shí)掌握銀行的經(jīng)營(yíng)風(fēng)險(xiǎn)、運(yùn)營(yíng)情況和經(jīng)營(yíng)目標(biāo)。在引入詳細(xì)交易數(shù)據(jù)以后，可以通過(guò)各種數(shù)據(jù)的關(guān)聯(lián)分析，衡量各類(lèi)客戶(hù)需求、滿意度、贏利能力、潛在價(jià)值、信用度和風(fēng)險(xiǎn)度等指標(biāo)，幫助銀行識(shí)別不同的客戶(hù)群體，確定目標(biāo)市場(chǎng)，為實(shí)施差別化服務(wù)、產(chǎn)品合理定價(jià)的 策略提供技術(shù)支持。 銀行應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)模型 在一次數(shù)據(jù)倉(cāng)庫(kù)用戶(hù)大會(huì)上，香港東亞銀行的 CTO 在結(jié)束其演講時(shí)深有體會(huì)地談到，東亞銀行花了兩至三年的時(shí)間來(lái)完善其數(shù)據(jù)倉(cāng)