系統(tǒng)性能指標(biāo)和測(cè)試結(jié)果說明

系統(tǒng)性能指標(biāo)和測(cè)試結(jié)果說明性能測(cè)試報(bào)告測(cè)試目標(biāo)運(yùn)營(yíng)商手機(jī)上網(wǎng)記錄查詢系統(tǒng)案例，以某運(yùn)營(yíng)商為例，日均上網(wǎng)記錄數(shù)近10億條，每月數(shù)據(jù)量近9TB，移動(dòng)互聯(lián)網(wǎng)用戶快速增加，智能終端迅速普及、戶均流量顯著增長(zhǎng)，上網(wǎng)記錄數(shù)據(jù)將進(jìn)一步猛增，每6個(gè)月，流量翻一番，如此大的數(shù)據(jù)量已經(jīng)超越了傳統(tǒng)關(guān)系型數(shù)據(jù)庫可管理的容量上限，關(guān)系型數(shù)據(jù)庫上對(duì)大規(guī)模數(shù)據(jù)進(jìn)行操作會(huì)造成系統(tǒng)性能嚴(yán)重下降。通過本測(cè)試，驗(yàn)證星環(huán)科技成熟穩(wěn)定的商用Hadoop平臺(tái)，是否可以有效解決數(shù)據(jù)采集、加載、存儲(chǔ)、查詢、分析等問題。測(cè)試內(nèi)容1）存儲(chǔ)節(jié)點(diǎn)數(shù)和存儲(chǔ)量驗(yàn)證；2）并發(fā)加載數(shù)據(jù)的效率驗(yàn)證；3）分別選取簡(jiǎn)單查詢（短信話單查詢），單表統(tǒng)計(jì)（某天某客戶通話次數(shù)），大表關(guān)聯(lián)統(tǒng)計(jì)（統(tǒng)計(jì)指定用戶的上網(wǎng)記錄）三個(gè)應(yīng)用場(chǎng)景驗(yàn)證產(chǎn)品性能。測(cè)試環(huán)境軟硬件環(huán)境配置如下：表9-1服務(wù)器配置服務(wù)器推薦配置及說明節(jié)點(diǎn)數(shù)量300+臺(tái)服務(wù)器CPU兩路6核處理器2*E5-2620內(nèi)存64GBECCDDR3硬盤2個(gè)600G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤12個(gè)2TB的SATA硬盤，7200RPM，不做RAID1網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡部署環(huán)境如下：表9-2集群配置PC服務(wù)器300多臺(tái)NameNode節(jié)點(diǎn)3臺(tái)DataNode節(jié)點(diǎn)278臺(tái)Zookeeper節(jié)點(diǎn)7臺(tái)集群監(jiān)控節(jié)點(diǎn)1臺(tái)入庫服務(wù)節(jié)點(diǎn)24臺(tái)Web查詢應(yīng)用服務(wù)節(jié)點(diǎn)20臺(tái)網(wǎng)絡(luò)拓?fù)淝闆r如下：圖9-1拓?fù)浣Y(jié)構(gòu)圖測(cè)試過程和結(jié)果1）現(xiàn)有HDFS集群已被占用10.5PB，3個(gè)副本，壓縮率在1/3左右，因此實(shí)際HBase表數(shù)據(jù)也已經(jīng)有3.5PB左右。目前數(shù)據(jù)存放6個(gè)月，每天導(dǎo)入日志數(shù)據(jù)在21TB左右，每月導(dǎo)入新增日志數(shù)據(jù)量為630TB，近一個(gè)月為常用熱數(shù)據(jù)，數(shù)據(jù)量增長(zhǎng)較快。2）并發(fā)加載數(shù)據(jù)的效率TranswarpHyperbase集群每秒平均達(dá)到1500萬記錄/秒，峰值時(shí)達(dá)到5000萬/秒，集群導(dǎo)入性能沒有問題。3）支持并發(fā)查詢數(shù)目：遠(yuǎn)高于100000請(qǐng)求/秒上網(wǎng)記錄查詢速度：不高于1秒（含用戶訪問查詢頁面的時(shí)間）場(chǎng)景一：短信話單查詢圖9-3話單查詢表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)CDR_GSM_133114402798測(cè)試語句SELECT*FROMCDR_GSM_13WHEREUSER_ID=?;場(chǎng)景說明使用程序查詢指定USER_ID的短信話單TranswarpSQL性能并發(fā):5000單SQL平均執(zhí)行時(shí)間:12msTranswarpHyperbaseAPI性能并發(fā)：>30W單SQL平均執(zhí)行時(shí)間：3ms場(chǎng)景二：某天某客戶通話次數(shù)：測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)CDR_GSM_13，cdr_gsm_stat3114402798，430293346測(cè)試語句SELECTcount(*)FROMCDR_GSM_13C，cdr_gsm_statGWHEREc.user_id=g.user_idandg.type=’1’andg.date=’20151212’g.user_id=?;場(chǎng)景說明統(tǒng)計(jì)某天某客戶通話次數(shù)TranswarpSQL性能并發(fā):2000單SQL平均執(zhí)行時(shí)間:130msTranswarpHyperbaseAPI性能并發(fā)：>10W單SQL平均執(zhí)行時(shí)間：90ms場(chǎng)景三：關(guān)聯(lián)統(tǒng)計(jì)相關(guān)測(cè)試，統(tǒng)計(jì)制定用戶的上網(wǎng)記錄圖9-4上網(wǎng)記錄表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)CDR_GSM_13，cdr_gsm_stat3114402798，430293346測(cè)試語句SELECTcount(*)FROMCDR_GSM_13C，cdr_gsm_statGWHEREc.user_id=g.user_idandg.type=’1’andg.user_id=?;場(chǎng)景說明使用程序統(tǒng)計(jì)指定USER_ID的上網(wǎng)記錄TranswarpSQL性能并發(fā):3000單SQL平均執(zhí)行時(shí)間:150msTranswarpHyperbaseAPI性能并發(fā)：>10W單SQL平均執(zhí)行時(shí)間：80msTPC-DS測(cè)試報(bào)告測(cè)試目標(biāo)通過國(guó)際標(biāo)準(zhǔn)測(cè)試TPC-DS測(cè)試，驗(yàn)證星環(huán)TDH產(chǎn)品符合數(shù)據(jù)倉庫需要，能夠滿足數(shù)倉業(yè)務(wù)使用要求。測(cè)試內(nèi)容標(biāo)準(zhǔn)事務(wù)性能管理委員會(huì)(TPC)是目前最知名的數(shù)據(jù)管理系統(tǒng)評(píng)測(cè)基準(zhǔn)標(biāo)準(zhǔn)化組織。在過去二十多年間，該機(jī)構(gòu)發(fā)布了多款數(shù)據(jù)庫評(píng)測(cè)基準(zhǔn)。TPC-DS是TPC發(fā)布的標(biāo)準(zhǔn)測(cè)試場(chǎng)景之一，用于驗(yàn)證數(shù)據(jù)庫產(chǎn)品是否符合數(shù)據(jù)倉庫的業(yè)務(wù)需要。TPC-DS采用星型、雪花型等多維數(shù)據(jù)模式。它包含7張事實(shí)表，17張緯度表平均每張表含有18列。其工作負(fù)載包含99個(gè)SQL查詢，覆蓋SQL99和2003的核心部分以及OLAP。這個(gè)測(cè)試集包含對(duì)大數(shù)據(jù)集的統(tǒng)計(jì)、報(bào)表生成、聯(lián)機(jī)查詢、數(shù)據(jù)挖掘等復(fù)雜應(yīng)用，測(cè)試用的數(shù)據(jù)和值是有傾斜的，與真實(shí)數(shù)據(jù)一致?？梢哉fTPC-DS是與真實(shí)場(chǎng)景非常接近的一個(gè)測(cè)試集，也是難度較大的一個(gè)測(cè)試集。TPC-DS的這個(gè)特點(diǎn)跟大數(shù)據(jù)的分析挖掘應(yīng)用非常類似。Hadoop等大數(shù)據(jù)分析技術(shù)也是對(duì)海量數(shù)據(jù)進(jìn)行大規(guī)模的數(shù)據(jù)分析和深度挖掘，也包含交互式聯(lián)機(jī)查詢和統(tǒng)計(jì)報(bào)表類應(yīng)用，同時(shí)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量也較低，數(shù)據(jù)分布是真實(shí)而不均勻的。因此TPC-DS成為客觀衡量多個(gè)不同Hadoop版本以及SQLonHadoop技術(shù)的最佳測(cè)試集。這個(gè)基準(zhǔn)測(cè)試有以下幾個(gè)主要特點(diǎn)：1）一共99個(gè)測(cè)試案例，遵循SQL99和SQL2003的語法標(biāo)準(zhǔn)，SQL案例比較復(fù)雜2）分析的數(shù)據(jù)量大，并且測(cè)試案例是在回答真實(shí)的商業(yè)問題3）測(cè)試案例中包含各種業(yè)務(wù)模型（如分析報(bào)告型，迭代式的聯(lián)機(jī)分析型，數(shù)據(jù)挖掘型等）4）幾乎所有的測(cè)試案例都有很高的IO負(fù)載和CPU計(jì)算需求TPC-DS標(biāo)準(zhǔn)測(cè)試集99個(gè)案例，詳見本建議書附錄部分《TPC-DS測(cè)試集99query說明》測(cè)試環(huán)境測(cè)試過程和結(jié)果量收遷移驗(yàn)證性測(cè)試報(bào)告測(cè)試目標(biāo)通過選取多個(gè)量收系統(tǒng)典型實(shí)際應(yīng)用場(chǎng)景測(cè)試，驗(yàn)證星環(huán)TDH產(chǎn)品能夠?qū)崿F(xiàn)量收系統(tǒng)各類功能應(yīng)用，能夠較好的滿足量收系統(tǒng)遷移要求。測(cè)試內(nèi)容本文檔記載了較為詳細(xì)的測(cè)試案例，內(nèi)容包括量收系統(tǒng)功能各類型的技術(shù)和業(yè)務(wù)場(chǎng)景，包含六個(gè)方向應(yīng)用。具體分別是：1）大數(shù)據(jù)量數(shù)據(jù)加載，計(jì)算及匯總，此方向取“范圍段加載ETL”。2）高并行計(jì)算，復(fù)雜計(jì)算，大表關(guān)聯(lián)，此方向取“收入寬表計(jì)算ETL”。3）大數(shù)據(jù)量，高并發(fā)查詢。此方向取“量收日統(tǒng)計(jì)表查詢”。4）Cognos復(fù)雜邏輯應(yīng)用。此方向取“淡旺季報(bào)表統(tǒng)計(jì)”。5）大表的update和delete類SQL計(jì)算。此方向取“營(yíng)業(yè)客戶數(shù)據(jù)加載計(jì)算ETL”。6）Oracle存儲(chǔ)過程運(yùn)算。此方向取“報(bào)刊在Oracle中存儲(chǔ)過程”。測(cè)試環(huán)境表9-5耗時(shí)日期報(bào)表名稱開始時(shí)間結(jié)束時(shí)間持續(xù)時(shí)間1持續(xù)時(shí)間220160305ORACLE_STOREPROCEDURE.SQL2016/3/516:12:022016/3/516:12:0420:00:0220160305LSRTJBCX.SQL2016/3/516:11:512016/3/516:11:5650:00:0520160305DWJCX.SQL2016/3/516:04:392016/3/516:05:04250:00:2520160305YYKHSJJZETL.SQL2016/3/516:18:062016/3/516:19:11650:01:0520160305SRKBETL.SQL2016/3/516:12:102016/3/516:18:003500:05:5020160305FWDJZETL.SQL2016/3/516:05:102016/3/516:11:443940:06:34串行執(zhí)行集群Workload：圖9-2性能展示圖1并行執(zhí)行情況并行執(zhí)行總耗時(shí)如下：表9-7耗時(shí)日期報(bào)表名稱開始時(shí)間結(jié)束時(shí)間持續(xù)時(shí)間1持續(xù)時(shí)間220160305FWDJZETL.SQL2016/3/516:51:252016/3/516:58:484430:07:2320160305SRKBETL.SQL2016/3/516:51:262016/3/516:57:563900:06:3020160305YYKHSJJZETL.SQL2016/3/516:51:252016/3/516:52:39740:01:1420160305DWJCX.SQL2016/3/516:51:252016/3/516:51:57320:00:3220160305LSRTJBCX.SQL2016/3/516:51:252016/3/516:51:3160:00:0620160305ORACLE_STOREPROCEDURE.SQL2016/3/516:51:252016/3/516:51:2830:00:03并行執(zhí)行workload：圖9-3性能展示圖2生產(chǎn)表數(shù)據(jù)規(guī)模表9-8生產(chǎn)表表名記錄數(shù)備注pims_pdata.tb_peo_postcollpric237097843pims_pdata.tb_peo_postderatepric18352483pims_pdata.tb_peo_postderate17841320pims_pdata.tb_prt_custlevel6267607pims_pdata.tb_fct_sum_det_p_m5792946pims_pdata.tb_peo_winpostdelv3125115pims_pdata.tb_peo_winpostdelvpric3125115pims_pdata.tb_sum_peopostbusn494603pims_pdata.tb_prt_custinfo183046pims_pdata.tb_sum_peonmlpost131378pims_pdata.tb_prt_cporgmgtlev117247pims_pdata.tb_prt_cporg117006pims_pdata.tb_peo_postcoll100000pims_pdata.tb_peo_prtcin83046pims_pdata.tb_cde_cpbusntyp_union10000pims_pdata.tb_fct_kadd10000pims_pdata.tb_fct_operdaily10000pims_pdata.tb_fct_mdak4552pims_pdata.tb_cde_cpbusntyp1547pims_pdata.tb_sum_peopostadjust1173pims_pdata.tb_cde_dailyreport757pims_pdata.tb_cde_operdaily682pims_pdata.tb_cde_country258pims_pdata.tb_fct_sector152pims_pdata.tb_fct_vip_s_range_m100pims_pdata.tb_cde_prictyp43pims_pdata.tb_cde_dim30pims_pdata.tb_cde_custtyp11pims_pdata.tb_cde_custpay7pims_pdata.tb_cde_custsett6pims_pdata.tb_cde_postattr5pims_pdata.tb_prt_cporg_union4pims_pdata.tb_cde_busnchnl3pims__cgnos_log_r0Logpims_pdata.tb_fct_vip_range_m0結(jié)果表pims_pdata.tb_peo_postdelv0空表pims_pdata.tb_peo_postdelvpric0空表pims_pdata.tb_prt_cporgmgtlevvw0tb_prt_cporgmgtlev的視圖pims_pdata.tb_sum_dppt0結(jié)果表測(cè)試結(jié)果所有六個(gè)測(cè)試案例，包含存儲(chǔ)過程案例，經(jīng)過較少的腳本修改（腳本修改量小于1%），就能夠直接在新的TDH環(huán)境中運(yùn)行，且運(yùn)行結(jié)果正確無誤，驗(yàn)證了量收遷移到TDH的技術(shù)可行性。某銀行性能測(cè)試報(bào)告測(cè)試目標(biāo)運(yùn)行某銀行數(shù)據(jù)分析業(yè)務(wù)，以驗(yàn)證星環(huán)TranswarpDataHub平臺(tái)的性能指標(biāo)。測(cè)試內(nèi)容選取某銀行高并發(fā)的理財(cái)查詢業(yè)務(wù)，以及相關(guān)業(yè)務(wù)場(chǎng)景進(jìn)行測(cè)試，包括現(xiàn)有在DB2、DPF、以及Teradata上面的應(yīng)用，進(jìn)行性能比對(duì)。測(cè)試環(huán)境測(cè)試環(huán)境采用5臺(tái)X86服務(wù)器，搭建星環(huán)TranswarpDataHub大數(shù)據(jù)平臺(tái)，進(jìn)行測(cè)試。表9-9測(cè)試表測(cè)試機(jī)器（BIGL1TMP）（BIGL2TMP）（BIGL3TMP）（BIGL4TMP）（BIGL5TMP）CPU2C/6核，E5-2620磁盤2TB*8塊內(nèi)存96GB集群部署：表9-10集群部署B(yǎng)IGL1TMPZookeeper，NameNode，JournalNode，ResourceManager，NodeManager，HBaseMaster，InceptorMetastoreBIGL2TMPZookeeper，NameNode，JournalNode，NodeManager，HBaseMasterBIGL3TMPJournalNode，DataNode，NodeManager，HBaseMaster，HBaseRegionServer，InceptorServerBIGL4TMPDataNode，NodeManager，HBaseRegionServer，RStudioBIGL5TMPZookeeper，DataNode，NodeManager，HBaseRegionServer測(cè)試過程和結(jié)果數(shù)據(jù)加載與導(dǎo)入：將文件較為均勻的分到集群的各個(gè)機(jī)器上，編寫HDFS上傳腳本，同時(shí)向HDFS上傳數(shù)據(jù)，通過記錄上傳時(shí)間和上傳文件大小來計(jì)算數(shù)據(jù)并發(fā)加載的速度。測(cè)試步驟如下：表9-11場(chǎng)景1場(chǎng)景1說明客戶基本信息查詢測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_CUST_INFO_BASE31144027測(cè)試語句SELECT*FROMFIN_CUST_INFO_BASEWHERECUSTNO=?;TranswarpSQL性能并發(fā):7000單SQL平均執(zhí)行時(shí)間:11msTranswarpHyperbaseAPI性能TPS：>12W單SQL平均執(zhí)行時(shí)間：3ms表9-12場(chǎng)景2場(chǎng)景2說明客戶擴(kuò)展信息查詢測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_CUST_INFO_BASE31144027FIN_CUST_INFO_SUB36767776FIN_CONFINPROFILE_BASE31147467FIN_CUST_CMANAGER15639749FIN_CUST_ORG36767888測(cè)試語句SELECTBASE.CUSTNO，BASE.CUSTNAME，BASE.SEX，SUB.AGEPART，SUB.DEPOSITBALAVGL3MPART，CON.DEPOSITBALAVGL3M，CON.FASSETBAL，CMAN.CEMPID，ORG.ORGIDFROMFIN_CUST_INFO_BASEBASEINNERJOINFIN_CUST_INFO_SUBSUBONBASE.CUSTNO=SUB.CUSTNOINNERJOINFIN_CONFINPROFILE_BASECONONCON.CUSTNO=BASE.CUSTNOINNERJOINFIN_CUST_CMANAGERCMANONCMAN.CUSTNO=BASE.CUSTNOINNERJOINFIN_CUST_ORGORGONORG.CUSTNO=BASE.CUSTNOWHEREBASE.CUSTNO=?;TranswarpSQL性能并發(fā):2400單SQL平均執(zhí)行時(shí)間:150msTranswarpHyperbaseAPI性能TPS:>6W單SQL平均執(zhí)行時(shí)間：6ms表9-12場(chǎng)景3場(chǎng)景3說明客戶銷售線索查詢測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_LEADOPPS6738750FIN_CAMPLEADTEM1896FIN_CUST_FMANAGER2150712FIN_CUST_INFO_BASE31144027測(cè)試語句SELECTLEA.RECCREATEDATE，LEA.CLTID，LEA.CUSTNO，LEA.LEADOPPPHASE，LEA.USERID，LEA.ORGID，LEA.RECCREATEUID，CAM.CLTNAME，CAM.EXECUTEDATE，F(xiàn)M.FEMPID，BASE.CUSTNAME，BASE.CUSTTYPE，BASE.SEXFROMFIN_LEADOPPSLEAINNERJOINFIN_CAMPLEADTEMCAMONCAM.CLTID=LEA.CLTIDINNERJOINFIN_CUST_FMANAGERFMONFM.CUSTNO=LEA.CUSTNOINNERJOINFIN_CUST_INFO_BASEBASEONBASE.CUSTNO=LEA.CUSTNOWHEREFM.FEMPID=?;TranswarpSQL性能并發(fā):1500單SQL平均執(zhí)行時(shí)間:180msTranswarpHyperbaseAPI性能TPS:>3W單SQL平均執(zhí)行時(shí)間:15ms表9-13場(chǎng)景4場(chǎng)景4說明客戶金融資產(chǎn)統(tǒng)計(jì)測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_CONFINPROFILE_BASE31147467FIN_CUST_INFO_SUB36767776FIN_CUST_ORG36767888測(cè)試語句SELECTSUB.FASSETBALPART，SUM(CON.FASSETBAL)/10000ASFASSETBAL，SUM(CON.FASSETBALMAX)/10000ASFASSETBALMAX，SUM(CON.FASSETBALAVGMMAX)/10000ASFASSETBALAVGMMAXFROMFIN_CONFINPROFILE_BASECONINNERJOINFIN_CUST_INFO_SUBSUBONSUB.CUSTNO=CON.CUSTNOINNERJOINFIN_CUST_ORGORGONORG.CUSTNO=CON.CUSTNOWHEREORG.ORGID=?GROUPBYSUB.FASSETBALPARTORDERBYSUB.FASSETBALPART;TranswarpSQL性能并發(fā):400單SQL平均執(zhí)行時(shí)間:170ms數(shù)據(jù)挖掘測(cè)試使用商戶信息表(XWXS_EPOS_MCHNT_INFO)和交易流水表(XWXS_EPOS_TRANS)在RStudio上做了POS機(jī)分布建模、用戶流失預(yù)警與用戶聚類三個(gè)案例。北京地區(qū)POS機(jī)分布建模根據(jù)商戶信息和交易流水記錄為POS機(jī)交易建模，生成POS機(jī)分布圖、POS機(jī)刷卡次數(shù)熱點(diǎn)圖、POS機(jī)刷卡金額熱點(diǎn)圖。根據(jù)上面的建模結(jié)果，可以為銀行決策提供理論依據(jù)，主要意義在于：1) 關(guān)注刷卡次數(shù)多的地區(qū)，可以在相關(guān)地區(qū)增加相應(yīng)ATM取款機(jī)。2) 關(guān)注刷卡金額大的地區(qū)，可以在相關(guān)地區(qū)增加銀行服務(wù)點(diǎn)。3) 在刷卡次數(shù)多，金額大的地區(qū)推廣信用卡，增加銀行其他業(yè)務(wù)。4) 避開消費(fèi)聚集區(qū)，推廣投放行銀行廣告，增加投放效果。圖9-4刷卡金額密度圖圖9-5刷卡次數(shù)密度圖除此之外，挑選了一批在現(xiàn)有系統(tǒng)中運(yùn)行時(shí)間較長(zhǎng)或無法成功運(yùn)行的業(yè)務(wù)場(chǎng)景用于TDH的測(cè)試。更新售后客戶產(chǎn)品表：表9-14客戶產(chǎn)品表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_CUST_INFO_BASE31718753FIN_CONDEPOSIT45028847FIN_CONFINPROFILE_DETAIL31725027FIN_OPRODUCTSALEINF6780729FIN_OPRODUCTDEF165XWXS_EPOS_MCHNT_INFO367618MC_YW_PARA57場(chǎng)景描述定期根據(jù)多張表統(tǒng)計(jì)更新客戶產(chǎn)品表業(yè)務(wù)運(yùn)行腳本測(cè)試步驟將數(shù)據(jù)load到內(nèi)存表中進(jìn)行計(jì)算，計(jì)算結(jié)果保存到一張內(nèi)存表中TDH運(yùn)行腳本TDH運(yùn)行時(shí)間耗時(shí)205秒當(dāng)前生產(chǎn)運(yùn)行時(shí)間約一個(gè)小時(shí)統(tǒng)計(jì)兩張交易大表一天的交易信息：表9-15交易表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)P_ACTM_M_DEP_CURR_BASE_TRANS172490929/1897400219M_NIN_AML_V_MDS_TRANS203552016/2239072176場(chǎng)景描述兩大表join業(yè)務(wù)運(yùn)行腳本測(cè)試步驟兩張表各從生產(chǎn)環(huán)境拉下40天數(shù)據(jù)，線下等比將數(shù)據(jù)擴(kuò)展到1年，測(cè)試SQL的時(shí)間參數(shù)為實(shí)際生產(chǎn)數(shù)據(jù)的時(shí)間TDH運(yùn)行腳本測(cè)試結(jié)果耗7.5s當(dāng)前生產(chǎn)運(yùn)行時(shí)間無法成功運(yùn)行統(tǒng)計(jì)兩張交易大表一段時(shí)間內(nèi)的交易信息：表9-16交易表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)P_ACTM_M_DEP_CURR_BASE_TRANS172490929/1897400219M_NIN_AML_V_MDS_TRANS203552016/2239072176場(chǎng)景描述兩大表join測(cè)試步驟兩張表各從生產(chǎn)環(huán)境拉下40天數(shù)據(jù)，線下等比將數(shù)據(jù)擴(kuò)展到1年，測(cè)試SQL的時(shí)間參數(shù)為實(shí)際生產(chǎn)數(shù)據(jù)的時(shí)間運(yùn)行腳本測(cè)試結(jié)果一天內(nèi)：7.5s十二天內(nèi)：25s線上全量數(shù)據(jù)：50sDPF一天內(nèi)：第一次20~40s，后續(xù)6s十二天內(nèi)：第一次66s，后續(xù)25s線上全量數(shù)據(jù)：第一次110s，后續(xù)2.5~3m更新金融資產(chǎn)月報(bào)詳細(xì)信息表：表9-17月報(bào)表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_CONFINPROFILE_DETAIL31725027FIN_CONFINPROFIEL_BASE31735287場(chǎng)景描述大批量數(shù)據(jù)計(jì)算、更新業(yè)務(wù)運(yùn)行腳本測(cè)試步驟將數(shù)據(jù)load到內(nèi)存表進(jìn)行計(jì)算，同時(shí)更新到Hyperbase表中TDH運(yùn)行腳本TDH運(yùn)行時(shí)間耗時(shí)284秒當(dāng)前生產(chǎn)運(yùn)行時(shí)間約20~25分鐘更新金融資產(chǎn)月報(bào)基礎(chǔ)表：表9-18基礎(chǔ)表測(cè)試相關(guān)表數(shù)據(jù)量表名條數(shù)FIN_CONFINPROFILE_BASE31735287場(chǎng)景描述大批量數(shù)據(jù)計(jì)算、更新業(yè)務(wù)運(yùn)行腳本測(cè)試步驟更新Hyperbase表，更新數(shù)據(jù)量16434731條TDH運(yùn)行腳本TDH運(yùn)行時(shí)間耗時(shí)96秒當(dāng)前生產(chǎn)運(yùn)行時(shí)間約20~25分鐘系統(tǒng)配置方案硬件系統(tǒng)配置建議基礎(chǔ)Hadoop平臺(tái)集群配置規(guī)劃根據(jù)此次大數(shù)據(jù)平臺(tái)的建設(shè)要求，大數(shù)據(jù)平臺(tái)需要滿足全量3PB數(shù)據(jù)的存儲(chǔ)要求，根據(jù)數(shù)據(jù)的特點(diǎn)，大概30%為結(jié)構(gòu)化數(shù)據(jù)，70%為非結(jié)構(gòu)化數(shù)據(jù)，并以此進(jìn)行估算。其中：1）結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量為：3PB*30%=0.9PB=922TB（結(jié)構(gòu)化數(shù)據(jù)全部進(jìn)入數(shù)據(jù)倉庫）對(duì)于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)容量要求為：922TB*(3+1+0.5)/3*1.3=1798TB注：對(duì)結(jié)構(gòu)化數(shù)據(jù)，采用3倍副本冗余存儲(chǔ)，1倍中間結(jié)果余留，0.5倍索引存儲(chǔ)空間，3倍數(shù)據(jù)壓縮，0.3倍空間余留。2）非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量為：3PB*70%=2.1PB=2151TB對(duì)于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)要求為：2151TB*3=6453TB非結(jié)構(gòu)化數(shù)據(jù)采用3倍副本冗余存儲(chǔ)。3）全量數(shù)據(jù)存儲(chǔ)容量要求為：1798TB（結(jié)構(gòu)化數(shù)據(jù)）+6453TB（非結(jié)構(gòu)化數(shù)據(jù)）=8251TBDataNode單節(jié)點(diǎn)存儲(chǔ)容量推薦配置為：4TB*12=48TB基礎(chǔ)Hadoop平臺(tái)DataNode節(jié)點(diǎn)數(shù)為：8251TB/48TB=172節(jié)點(diǎn)因此，DataNode服務(wù)器推薦配置為：表10-1推薦配置服務(wù)器推薦配置及說明節(jié)點(diǎn)數(shù)量172個(gè)節(jié)點(diǎn)CPU兩路8核處理器E5-2650v3或以上內(nèi)存128GBECCDDR4硬盤2個(gè)600G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤12個(gè)4TB的SATA硬盤，7200RPM，不做RAID1網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡另外：對(duì)于此次搭建的大規(guī)模Hadoop集群，需要單獨(dú)規(guī)劃Zookeeper9個(gè)節(jié)點(diǎn)，NameNode2個(gè)節(jié)點(diǎn)，ResourceManager2個(gè)節(jié)點(diǎn)，HMaster5個(gè)節(jié)點(diǎn)，總共9+2+2+5=18個(gè)節(jié)點(diǎn)綜上所述，基礎(chǔ)Hadoop平臺(tái)節(jié)點(diǎn)規(guī)模如下：表10-2節(jié)點(diǎn)規(guī)模角色節(jié)點(diǎn)數(shù)量（X86服務(wù)器數(shù)量）功能簡(jiǎn)述DataNode172存儲(chǔ)/計(jì)算節(jié)點(diǎn)NameNode2管理節(jié)點(diǎn)Zookeeper9Hadoop分布式系統(tǒng)中的高可靠的協(xié)調(diào)系統(tǒng)ResourceManager2負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分配HMaster5為RegionServer分配region負(fù)責(zé)RegionServer的負(fù)載均衡總共190針對(duì)NameNode，Zookeeper，ResourceManager，HMaster等角色的功能和性能要求，服務(wù)器建議采用如下配置：表10-3推薦配置服務(wù)器推薦配置及說明節(jié)點(diǎn)數(shù)量18個(gè)節(jié)點(diǎn)CPU兩路8核處理器E5-2650v3或以上內(nèi)存256GBECCDDR4硬盤2個(gè)300G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤10個(gè)300GB的SAS硬盤，15000RPM，不做RAID1網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡數(shù)據(jù)倉庫集群配置規(guī)劃根據(jù)此次大數(shù)據(jù)平臺(tái)的建設(shè)要求，大數(shù)據(jù)平臺(tái)需要滿足全量3PB數(shù)據(jù)的存儲(chǔ)要求，根據(jù)數(shù)據(jù)的特點(diǎn)，大概30%為結(jié)構(gòu)化數(shù)據(jù)，70%為非結(jié)構(gòu)化數(shù)據(jù)，并以此進(jìn)行估算。其中：結(jié)構(gòu)化數(shù)據(jù)922TB*(3+1+0.5)/3*1.3=1798TB（結(jié)構(gòu)化數(shù)據(jù)全部進(jìn)入數(shù)據(jù)倉庫）DataNode單節(jié)點(diǎn)存儲(chǔ)容量推薦配置為：2TB*12=24TB基礎(chǔ)Hadoop平臺(tái)DataNode節(jié)點(diǎn)數(shù)為：1798TB/24TB=75節(jié)點(diǎn)因此，DataNode服務(wù)器推薦配置為：表10-4推薦配置服務(wù)器推薦配置及說明節(jié)點(diǎn)數(shù)量75個(gè)節(jié)點(diǎn)CPU兩路8核處理器E5-2650V3或以上內(nèi)存128GBECCDDR4硬盤2個(gè)600G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤12個(gè)2TB的SATA硬盤，7200RPM，不做RAID1網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡固態(tài)硬盤（可選）800GB或1.2TBPCIeSSD（例如IntelP3600SeriesPCI-eSSD）另外：對(duì)于此次搭建的大規(guī)模Hadoop集群，需要單獨(dú)規(guī)劃Zookeeper7個(gè)節(jié)點(diǎn)，NameNode2個(gè)節(jié)點(diǎn)，ResourceManager2個(gè)節(jié)點(diǎn)，HMaster5個(gè)節(jié)點(diǎn)，總共7+2+2+5=16個(gè)節(jié)點(diǎn)綜上所述，基礎(chǔ)Hadoop平臺(tái)節(jié)點(diǎn)規(guī)模如下：表10-5節(jié)點(diǎn)規(guī)模角色節(jié)點(diǎn)數(shù)量（X86服務(wù)器數(shù)量）功能簡(jiǎn)述DataNode75存儲(chǔ)/計(jì)算節(jié)點(diǎn)NameNode2管理節(jié)點(diǎn)Zookeeper7Hadoop分布式系統(tǒng)中的高可靠的協(xié)調(diào)系統(tǒng)ResourceManager2負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分配HMaster5為RegionServer分配region負(fù)責(zé)RegionServer的負(fù)載均衡總共91針對(duì)NameNode，Zookeeper，ResourceManager，HMaster等角色的功能和性能要求，服務(wù)器建議采用如下配置：表10-6推薦配置服務(wù)器推薦配置及說明節(jié)點(diǎn)數(shù)量16個(gè)節(jié)點(diǎn)CPU兩路8核處理器E5-2650v3或以上內(nèi)存256GBECCDDR4硬盤2個(gè)300G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤10個(gè)300GB的SAS硬盤，15000RPM，不做RAID1網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡集群規(guī)模綜述表10-7集群規(guī)模集群名稱集群用途集群規(guī)模基礎(chǔ)Hadoop集群進(jìn)行全量數(shù)據(jù)存儲(chǔ)，進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換工作。190臺(tái)數(shù)據(jù)倉庫集群存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，并提供高復(fù)雜度、高負(fù)載的計(jì)算、分析任務(wù)，提供數(shù)據(jù)倉庫、數(shù)據(jù)集市等功能91臺(tái)總共281臺(tái)開發(fā)集群配置建議表10-8開發(fā)集群配置服務(wù)器推薦配置及說明CPU兩路8核處理器2*E5-2650v3或以上內(nèi)存128GBECCDDR3硬盤10個(gè)2TB的SATA硬盤，7200RPM，不使用RAID；2個(gè)300G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤網(wǎng)絡(luò)雙電口千兆（1Gbps）以太網(wǎng)卡固態(tài)硬盤（可選）800GB或1.2TBPCIeSSD（例如IntelP3600SeriesPCI-eSSD）測(cè)試集群配置建議表10-9測(cè)試集群配置服務(wù)器推薦配置及說明CPU兩路8核處理器2*E5-2650v3或以上內(nèi)存128GBECCDDR3硬盤10個(gè)2TB的SATA硬盤，7200RPM，不使用RAID；2個(gè)300G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤網(wǎng)絡(luò)雙電口萬兆（10Gbps）以太網(wǎng)卡固態(tài)硬盤（可選）800GB或1.2TBPCIeSSD（例如IntelP3600SeriesPCI-eSSD）軟件配置建議表10-10軟件配置服務(wù)器推薦配置及說明操作系統(tǒng)LINUX（紅旗）操作系統(tǒng)大數(shù)據(jù)基礎(chǔ)平臺(tái)軟件星環(huán)TDH產(chǎn)品，281節(jié)點(diǎn)自有數(shù)據(jù)挖掘分析工具星環(huán)Discover（含并行化R算法庫）商用數(shù)據(jù)挖掘分析工具推薦SAS/SPSS等（建議甲方單獨(dú)采購）數(shù)據(jù)整合平臺(tái)軟件Trinity（ETL、元數(shù)據(jù)管理、數(shù)據(jù)整合）自有可視化BI工具iRecharts、Cognos（利舊）商用可視化BI工具QlikView/Tableau（建議甲方單獨(dú)采購）自有互聯(lián)網(wǎng)數(shù)據(jù)采集軟件iRIS自有大數(shù)據(jù)語義分析軟件iNLP商用大數(shù)據(jù)語義分析軟件推薦SASTextMiner等（建議甲方單獨(dú)采購）工作流引擎開源免費(fèi)：Activiti規(guī)則引擎開源免費(fèi)：Drools表10-11TDH軟件配置銀行（金融）平臺(tái)軟件配置建議軟件組件名稱軟件功能說明備注TranswarpInceptor星環(huán)分布式內(nèi)存計(jì)算引擎，完整支持SQL99，SQL’2003，全面兼容OraclePL/SQL以及DB2存儲(chǔ)過程。TranswarpHyperbase星環(huán)分布式NoSQL數(shù)據(jù)庫，支持海量數(shù)據(jù)高并發(fā)數(shù)據(jù)寫入與查詢，提供多種索引功能、提供圖計(jì)算、分布式事務(wù)等功能支持。TranswarpDissover星環(huán)分布式分析挖掘引擎，提供6000多種數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)算法。TranswarpStream星環(huán)實(shí)時(shí)流數(shù)據(jù)處理引擎，支持對(duì)高吞吐量的實(shí)時(shí)數(shù)據(jù)進(jìn)行快速的計(jì)算。TranswarpHadoop星環(huán)分布式存儲(chǔ)系統(tǒng)，提供高吞吐量的數(shù)據(jù)寫入，提供穩(wěn)定、高效的數(shù)據(jù)存儲(chǔ)與計(jì)算功能。TranswarpManager星環(huán)TranswarpDataHub平臺(tái)圖形化的管理工具。軟硬件配置總表表10-12軟硬件配置總表軟件部分推薦配置及說明數(shù)量操作系統(tǒng)LINUX（紅旗）操作系統(tǒng)（建議甲方單獨(dú)采購）281大數(shù)據(jù)基礎(chǔ)平臺(tái)軟件星環(huán)TDH產(chǎn)品，281節(jié)點(diǎn)281自有數(shù)據(jù)挖掘分析工具星環(huán)Discover（含并行化R算法庫）281商用數(shù)據(jù)挖掘分析工具推薦SAS/SPSS等（建議甲方單獨(dú)采購）1數(shù)據(jù)整合平臺(tái)軟件Trinity（ETL、元數(shù)據(jù)管理、數(shù)據(jù)整合）1自有可視化BI工具iRecharts、Cognos（利舊）1商用可視化BI工具QlikView/Tableau（建議甲方單獨(dú)采購）1自有互聯(lián)網(wǎng)數(shù)據(jù)采集軟件iRIS1自有大數(shù)據(jù)語義分析軟件iNLP1商用大數(shù)據(jù)語義分析軟件推薦SASTextMiner等（建議甲方單獨(dú)采購）1工作流引擎開源免費(fèi)：Activiti1規(guī)則引擎開源免費(fèi)：Drools1硬件部分推薦配置及說明數(shù)量PC服務(wù)器兩路8核CPU 2*E5-2650v3；內(nèi)存分別為128GB（DataNode）、256GB（NameNode等）ECCDDR3；硬盤10個(gè)4TB的SATA硬盤，7200RPM，2個(gè)300G的SAS硬盤，15000RPM；雙電口千兆（1Gbps）以太網(wǎng)卡190PC服務(wù)器兩路8核CPU 2*E5-2650v3；內(nèi)存分別為128GB（DataNode）、256GB（NameNode等）ECCDDR3；硬盤10個(gè)2TB的SATA硬盤，7200RPM，2個(gè)300G的SAS硬盤，15000RPM；雙電口千兆（1Gbps）以太網(wǎng)卡固態(tài)硬盤800GB或1.2TBPCIeSSD91網(wǎng)絡(luò)拓?fù)鋱D10-1網(wǎng)絡(luò)拓?fù)鋱D建議配置12個(gè)一級(jí)TOR萬兆交換機(jī)（48端口），3個(gè)二級(jí)TOR萬兆交換機(jī)（48端口）。任意兩臺(tái)服務(wù)器之間的帶寬為2Gbps。規(guī)劃24個(gè)機(jī)柜，每個(gè)機(jī)柜部署12個(gè)2U服務(wù)器，每臺(tái)服務(wù)器以雙網(wǎng)口鏈路聚合上聯(lián)集群交換機(jī)，后續(xù)隨著集群規(guī)模的擴(kuò)展可增設(shè)核心數(shù)據(jù)層交換機(jī)，