自助BI在銀行電信行業(yè)的應(yīng)用實(shí)踐

1、自助BI在銀行電信行業(yè)的應(yīng)用實(shí)踐題解兩 個 行 業(yè) 有 很 大 的 相 似 性 ： 1、信息化建設(shè)起步早，系統(tǒng)建設(shè)完備。2、數(shù)據(jù)大集中、建設(shè)了數(shù)據(jù)倉庫。3、數(shù)據(jù)分析的特點(diǎn)：1）數(shù)據(jù)量大；2）分支機(jī)構(gòu)、分析用戶多；3）需求覆蓋面廣；4）反集中：數(shù)據(jù)開放；4、從量大、面廣、人多角度看，非其它傳統(tǒng) 行業(yè)客戶可比。為什么在一起？現(xiàn)狀分析數(shù)據(jù)倉庫、集市都已建成，但業(yè)務(wù)部門還是“饑渴”；根據(jù)業(yè)務(wù)需求預(yù)制了數(shù)千張報(bào)表，可還是需求不斷；非常重視數(shù)據(jù)質(zhì)量，但數(shù)據(jù)不一致問題卻還出現(xiàn)；問題原因：傳統(tǒng)報(bào)表的流程和工藝響應(yīng)慢：不能滿足快速變化的需求（及變更）；難溝通：需求理解與交付溝通成本較大；顯瓶頸：科技團(tuán)隊(duì)的人員數(shù)

2、量無法匹配業(yè)務(wù)需求；是否滿足提出需求共同進(jìn)行分析、確定數(shù)據(jù)規(guī)則開發(fā)應(yīng)用需求變更業(yè)務(wù)人員技術(shù)人員時(shí)間太長 受不了！原來的處理方式九大主題，四十余項(xiàng)分析！核 心 交 易助農(nóng)終 端交易理財(cái)電話POS第三方 存管信用卡賬戶網(wǎng)上 銀行國 際 業(yè) 務(wù)分 析 主 題核心交易網(wǎng)上銀行其他主題A T M交 易按 揭 貸 款 還 款保 證 金 交 易定 期 存 入、 支 取國 業(yè) 結(jié) 售 匯 流 水超 級 網(wǎng) 銀 企 業(yè) 轉(zhuǎn) 賬 流 水個 人 網(wǎng) 銀 理 財(cái) 產(chǎn) 品 交 易個 人 網(wǎng) 銀 交 易 流 水繳 費(fèi) 支 付 交 易 流 水手 機(jī) 銀 行 交 易 流 水第 三 方 存 管 業(yè) 務(wù)農(nóng) 信 歷 時(shí) POS流

3、水理 財(cái) 交 易 明 細(xì)助 農(nóng) 終 端 交 易活 期 存 款 賬 戶 交 易賬戶主題存 款 賬 戶 信 息保 證 金 明 細(xì)各 支 行 業(yè) 務(wù) 產(chǎn) 品 客 戶中 間 業(yè) 務(wù) 掛 鉤 客 戶保 證 公 司 保 證 金 明 細(xì)借 記 卡 信 息 查 詢活 期 賬 戶 信 息協(xié) 助 存 款 客 戶代 發(fā) 工 資 數(shù) 據(jù)內(nèi) 部 分 戶 賬 明 細(xì) 調(diào) 取柜 面 收 取 代 理 保 險(xiǎn)自 助 終 端 交 易 數(shù) 據(jù)理 財(cái) 客 戶 信 息存 折 數(shù) 量柜 面 交 易 查 詢?nèi)?方 存 管 信 息核 心 股 東 名 單 數(shù) 據(jù)豐收 創(chuàng) 業(yè) 卡 和 小 額 農(nóng) 貸 卡貸 款 數(shù) 據(jù) 查 詢中 間 業(yè) 務(wù) 摘

4、要 碼核 心 系 統(tǒng) 借 意 險(xiǎn) 數(shù) 據(jù)收 回 已 核 銷 呆 賬 貸 款國 際 匯 入 匯 款 數(shù) 據(jù)信 用 卡 交 易 流 水核心交易網(wǎng)上銀行自助分析需求及期望目標(biāo)80%的報(bào)表需求可以由業(yè)務(wù)人員自行解決科技部門自身的報(bào)表開發(fā)過程縮短50%科技部門投入更多精力發(fā)展數(shù)據(jù)中心，積累數(shù)據(jù)財(cái)富業(yè)務(wù)部門更專注于挖掘數(shù)據(jù)價(jià)值，積累業(yè)務(wù)知識從而大幅提高辦公效能，降低運(yùn)營成本！一些超前的銀行、電信，已經(jīng)開始實(shí)踐， 并取得了期望的效果。自助分析平臺重新“定義”業(yè)務(wù)與技術(shù) 業(yè)務(wù)部門不過度依賴IT支持時(shí)間更多用于分析數(shù)據(jù)，而不是獲得數(shù)據(jù)快速響應(yīng)決策者的需求增加發(fā)展自身業(yè)務(wù)水平的途徑 技術(shù)部門內(nèi)部服務(wù)：負(fù)責(zé)自助BI

5、工具的培訓(xùn)提供日常使用的技術(shù)支持?jǐn)?shù)據(jù)管控：提高數(shù)據(jù)訪問安全控制確保運(yùn)行平臺的性能規(guī)范數(shù)據(jù)管理，提高數(shù)據(jù)質(zhì)量增強(qiáng)元數(shù)據(jù)能力參與創(chuàng)新語義模型 自助分析的基石轉(zhuǎn)義：對表、字段名稱進(jìn)行翻譯 設(shè)置字段的數(shù)據(jù)類型設(shè)置字段的顯示格式表關(guān)聯(lián)關(guān)系設(shè)置：按外鍵、按列名自動創(chuàng)建 手工創(chuàng)建、維護(hù)支持左、右、內(nèi)、外連接業(yè)務(wù)主題：面向業(yè)務(wù)分析進(jìn)行字段重 組，形成分析主題權(quán)限可控自助式獲取數(shù)據(jù)自助式勾選維度和指標(biāo)，簡單易用任何字段均可作為輸出字段和篩選條件，隨意進(jìn)行數(shù)據(jù)探索主要用于清單查詢復(fù)雜表頭、預(yù)警、數(shù)據(jù)格式等高級功能多視角的數(shù)據(jù)透視類似Excel透視表，看了就會用支持鉆取，又無需建立多維模型圖形豐富，并可隨鉆取動作聯(lián)

6、動后臺提供內(nèi)存計(jì)算引擎，性能超群分析效率組合分析、透視分析解決了易用性問題；查詢效率怎么辦？舉例，某電信客戶：1、8年，15.6億，600+200字段；原來的BI工具效率；最后的解決方案；分布式內(nèi)存列式數(shù)據(jù)庫（Spark、Infobright、GP等）TB級HIVEKylin（分布式多維引擎）TB到PB級 日增量：十幾GHBaseDW業(yè)務(wù)庫數(shù)據(jù)分析架構(gòu)分布式的OLAP方案分布式內(nèi)存列式數(shù)據(jù)庫（Spark、Infobright、GP等）TB級HIVEKylin（分布式多維引擎）TB到PB級 日增量：十幾GHBaseDW業(yè)務(wù)庫分布式的OLAP方案應(yīng)用場景分析維度固定，維度個數(shù)較少（如15個以內(nèi)），

7、且事實(shí)表數(shù)據(jù)量超大，如PB級希望能夠秒級響應(yīng)各種維度交叉匯總的查詢，但即使是MPP數(shù)據(jù)倉庫也不具備這種快速響應(yīng)能力應(yīng)用方案使用分布式OLAP，將大量數(shù)據(jù)（TB和PB級）從數(shù)據(jù)倉庫中抽取出來，預(yù) 先進(jìn)行聚合計(jì)算，存儲到分布式多維模型。利用分布式計(jì)算，能在有限的 時(shí)間窗口內(nèi)處理完成最終效果超大數(shù)據(jù)量，用戶多維查詢，秒級響應(yīng)動態(tài)抽取數(shù)據(jù)方案分布式內(nèi)存列式數(shù)據(jù)庫（Spark、Infobright、GP等）TB級Kylin（分布式多維引擎）TB到PB級 日增量：十幾GHIVEHBaseDW業(yè)務(wù)庫動態(tài)抽取數(shù)據(jù)方案大（如1千萬行以內(nèi)）應(yīng)用場景分析維度不固定，維度個數(shù)多（大于15個），且查詢過濾后的結(jié)果集數(shù)據(jù)

8、不應(yīng)用方案根據(jù)查詢字段和查詢條件，從數(shù)據(jù)倉庫中動態(tài)抽取數(shù)據(jù)，并立即進(jìn)行多維分析:在查詢分析過程中，基于查詢字段和查詢條件，動態(tài)進(jìn)行數(shù)據(jù)抽取由于先設(shè)置過濾條件，能夠大大降低結(jié)果集的數(shù)據(jù)量級；將查詢結(jié)果集提取出來存儲到分布式數(shù)據(jù)庫中（如SparkSQL、Infobright，甚至是DW的臨時(shí)表空間），后續(xù)分析快；抽取出來的臨時(shí)數(shù)據(jù)可管理：可配置自動更新數(shù)據(jù)，可手工刪除，可按最近最少訪問策略自動管理；最終效果基于抽取后的數(shù)據(jù)，數(shù)量級小，且無需多表關(guān)聯(lián)，后續(xù)多維分析性能快，秒級響應(yīng)-1、數(shù)據(jù)庫、BI工具，兩端合理分擔(dān)運(yùn)算壓力；2、數(shù)據(jù)庫：明細(xì)、初步匯總；3、BI工具：加載初步匯總數(shù)據(jù)到中間庫，再匯總；鉆取、切片、變換分析角度；分析效率自助分析類項(xiàng)目意義1. 對管理者或技術(shù)部門的支持銀行利用移動信息展現(xiàn)平臺建立移動終端與服務(wù)器的連接，擺脫時(shí)間和場所局限，讓總行 及各分行領(lǐng)導(dǎo)隨時(shí)進(jìn)行高效的管理和溝通，有效提高