GBase MPP數(shù)據(jù)庫產(chǎn)品介紹

1、數(shù)據(jù)庫產(chǎn)品介紹GBase 8a MPP Cluster目錄GBase 8a MPP 產(chǎn)品簡介及技術(shù)分析1GBase 8a MPP 應(yīng)用場景及行業(yè)典型案例2GBase 8a MPP 平臺穩(wěn)定性及運維支撐體系3大數(shù)據(jù)任何單一的數(shù)據(jù)處理技術(shù)HadoopNoSQL，互聯(lián)網(wǎng)、非結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)庫OldSQL，交易、聯(lián)機事務(wù)MPP數(shù)據(jù)庫NewSQL,分析應(yīng)用、結(jié)構(gòu)化行業(yè)大數(shù)據(jù)大數(shù)據(jù)One Size Doesnt Fit All！合適的技術(shù)解決針對的問題多種數(shù)據(jù)處理技術(shù)的組合混搭架構(gòu)OldSQLNewSQLNoSQL大數(shù)據(jù)平臺GBase 8a MPP Cluster 產(chǎn)品簡介產(chǎn)品簡介 GBase 8a MPP

2、 Cluster是一款基于列式存儲，依托MPP理念和Shared Nothing架構(gòu)的并行數(shù)據(jù)庫集群，為PB級超大規(guī)模數(shù)據(jù)管理提供高性價比的通用平臺，并廣泛地應(yīng)用于各類數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)。GBASE 8aMPP Cluster高擴展性Shared NothingMPP高可用GBASE 8a核心技術(shù)特點及優(yōu)勢Shared Nothing MPP (massively parallel processing)架構(gòu)基于列存儲高動態(tài)擴展能力：橫向擴展高可用性：Safegroup機制新型的Shared Nothing + MPP 架構(gòu)技術(shù)disksdisksmemoryCPUCPUdi

3、sksmemoryCPUCPUdisksmemoryCPUCPUInterconnection Network數(shù)據(jù)MPP架構(gòu)橫向擴展GBase 8a MPP Cluster的技術(shù)架構(gòu)MMMMAppsAppsGCware多MastersMMM1 扁平架構(gòu)2 聯(lián)邦架構(gòu)GBase 8a MPP Cluster 產(chǎn)品軟件架構(gòu)分布式數(shù)據(jù)管理層 分布式集群管理層.集群節(jié)點分布式任務(wù)分布式并行任務(wù)管理層應(yīng)用層統(tǒng)一接口層 JDBC，ODBC，.Net, CAPISQLSQLGNode列存儲引擎A B全文檢索引擎數(shù)據(jù)多個副本GCWareOS + 存儲GClusterCoordinatorOptimizerPar

4、serGNode A B數(shù)據(jù)多個副本GCWareOS + 存儲GClusterCoordinatorOptimizerParser列存儲引擎全文檢索引擎高速數(shù)據(jù)鏈接統(tǒng)一接口層：為上層應(yīng)用SQL提供標(biāo)準(zhǔn)JDBC、ODBC、ADO.Net、CAPI訪問接口GCluster：GCluster 負(fù)責(zé)SQL 的解析、SQL 優(yōu)化、分布式執(zhí)行計劃生成、執(zhí)行調(diào)度。GCWare：GCWare 用于各節(jié)點GCluster 實例間共享信息，以及控制多副本數(shù)據(jù)操作時，提供可操作節(jié)點，并在多副本操作中，控制各節(jié)點數(shù)據(jù)一致性狀態(tài)。GNode：GNode 是GCluster 中最基本的存儲和計算單元。GNode 負(fù)責(zé)集群

5、數(shù)據(jù)在節(jié)點上的實際存儲，并從GCluster 接收和執(zhí)行經(jīng)分解的SQL 執(zhí)行計劃，執(zhí)行結(jié)果返回給GCluster。GBase 8a MPP Cluster的關(guān)鍵技術(shù)GBase 8a采用了列存儲、高效壓縮和智能索引等特有技術(shù)，以實現(xiàn)降低磁盤I/O的主要設(shè)計目標(biāo)上述每一項技術(shù)都有可能提升10倍的性能，GBase 8a的理論上能夠?qū)崿F(xiàn)1000倍的速度提升，實際性能提升可達10-100倍高效壓縮MPP集群的分布式存儲數(shù)據(jù)部署方式：復(fù)制(Replicated)和分布(Distributed)兩種 復(fù)制表 分布表table副本table副本table副本table分片_1table分片_2table分片_

6、3集群的分布式存儲分布表的分布方式：hash分布和隨機分布兩種 隨機分布表 HASH分布表annbobliliannlilibob1,5,103,8,157,16,19node1T1p1T1p2T1p3node2T1p1T1p2T1p3node3T1p1T1p2T1p3主分片文件備份文件標(biāo)注：T1p1Node1故障組內(nèi)節(jié)點數(shù)據(jù)互備executor指向備份分片節(jié)點集群規(guī)劃高可用方案集群特征-在線動態(tài)擴展機制GBase Clusterdatabase集群擴容速度與集群規(guī)模、新增節(jié)點個數(shù)有一定關(guān)聯(lián)，但其影響主要在于網(wǎng)絡(luò)、磁盤IO、內(nèi)存資源是否充足集群多租戶能力StorageStorageStorag

7、eStorageStorageStorageAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSResource Pool In MPP ClusterMemoryCPUAPPOSAPPOSAPPOSMemoryCPUMemoryCPUMemoryCPUMemoryCPUMemoryCPUAPPOSAPPOSAPPOSStorageStorageMemoryCPUMemoryCPUAPPOSAPPOSAPPOSAPPOSAPPOSAPPO

8、SAPPOSAPPOSAPPOS業(yè)務(wù)系統(tǒng) A業(yè)務(wù)系統(tǒng) B業(yè)務(wù)系統(tǒng) C。業(yè)務(wù)系統(tǒng) AcGroup1cGroup2 業(yè)務(wù)系統(tǒng) B業(yè)務(wù)系統(tǒng) CcGroup3資源管理組-資源隔離和資源限額資源管理組CPU配比磁盤配比MPP數(shù)據(jù)庫用戶針對不同的資源使用，用戶定義不同資源管理組，資源管理組內(nèi)定義資源使用上限和資源配比，1個資源管理組就構(gòu)成一個虛擬的資源容器，通過”沙盒“效果實現(xiàn)資源隔離以及資源過度消耗。APPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOGBase 8a MPP

9、Cluster 監(jiān)控平臺可視化訪問、控制和管理集群環(huán)境管理數(shù)據(jù)庫、表、索引、視圖、存儲過程和函數(shù)等數(shù)據(jù)對象企業(yè)管理器集群監(jiān)控工具運行狀態(tài)資源利用情況網(wǎng)絡(luò)通訊情況GBase 8a MPP Cluster支持的軟件標(biāo)準(zhǔn)支持標(biāo)準(zhǔn)SQL92， SQL99， SQL2003提供標(biāo)準(zhǔn)的APIs: C API, JDBC, ODBC, ADO.Net完全支持中文國家標(biāo)準(zhǔn)的中文字符，包括GB2312、GB18030、GBK、UNICODE、UTF-8等兼容主流應(yīng)用軟件，包括商業(yè)智能系統(tǒng)、數(shù)據(jù)抽取轉(zhuǎn)化加載工具等，如Cognos、BO、Informatica、Datastage等GBase 8a MPP Clus

10、ter支持的硬件環(huán)境支持標(biāo)準(zhǔn)Linux 內(nèi)核：Cent OS，Redhat， Suse ，powerLinux等支持基于x86-64的標(biāo)準(zhǔn)PC服務(wù)器支持本地存儲（Sata， SAS， SSD etc）支持陣列部署（SAN，NAS）支持SSD，F(xiàn)lash存儲介質(zhì)作為2級I/O緩存支持千兆，萬兆 Ethernet 網(wǎng)絡(luò)支持 Infiniband 網(wǎng)絡(luò)GBase 8a MPP Cluster產(chǎn)品綜述GBase 8a MPP Cluster是基于列存儲開發(fā)的分布式并行OLAP數(shù)據(jù)庫集群高并行處理MPP 并行架構(gòu)支持高度并行執(zhí)行；集群整體加載速度可達2TB/h以上；支持?jǐn)?shù)據(jù)的邊加載邊查詢；單節(jié)點上并發(fā)查

11、詢能力大于300用戶高可用提供Safegroup和任意副本分片數(shù)據(jù)的部署、提供冗余保護，自動故障探測和管理，自動FailOver， 自動同步多平臺兼容在X86 PC服務(wù)器、一體機和虛擬機上均可部署，并且支持IBM的Power Linux新型開放平臺，業(yè)界唯一PowerLinux支持可選架構(gòu)MPP + Shared Nothing 的分布式架構(gòu)；采用扁平結(jié)構(gòu) + 聯(lián)邦架構(gòu)的兩種架構(gòu)，業(yè)界唯一聯(lián)邦架構(gòu)；基于X86-PCserver具備高性能、高可用、高擴展特性，可以為超大規(guī)模數(shù)據(jù)管理提供高性價比的通用計算平臺，用于支撐各類數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和自助查詢類應(yīng)用目錄GBase 8a MPP 產(chǎn)品簡介

12、及技術(shù)分析1GBase 8a MPP 應(yīng)用場景及行業(yè)典型案例2GBase 8a MPP 平臺穩(wěn)定性及運維支撐體系3傳統(tǒng)的onesizefitsall已經(jīng)一去不復(fù)返了。未來大數(shù)據(jù)平臺一定是各用其長，混搭配合使用給客戶提供整體大數(shù)據(jù)平臺解決方案。大數(shù)據(jù)時代分而治之的數(shù)據(jù)處理解決方案處理熱數(shù)據(jù)傳統(tǒng)事務(wù)型數(shù)據(jù)庫適用于小數(shù)據(jù)量、業(yè)務(wù)邏輯復(fù)雜、并發(fā)度高的事務(wù)型業(yè)務(wù)場景處理冷數(shù)據(jù)Hadoop適合非結(jié)構(gòu)化數(shù)據(jù)處理，流數(shù)據(jù)處理以及大規(guī)模批量作業(yè)處理溫數(shù)據(jù)新型MPP數(shù)據(jù)庫適合處理大規(guī)模的復(fù)雜分析No one could replace each other!傳統(tǒng)事務(wù)型數(shù)據(jù)庫新型MPP數(shù)據(jù)庫Hadoop大數(shù)據(jù)平臺G

13、Base 8a MPP數(shù)據(jù)庫與Hadoop混搭大數(shù)據(jù)平臺系統(tǒng)架構(gòu)ETL平臺結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)傳統(tǒng)ETL數(shù)據(jù)倉庫（基于MPP）Hadoop SQL星型模型雪花模型ACID應(yīng)用平臺存儲過程關(guān)系模型HBasePIGHiveSqoopMRHDFSZooKeeper統(tǒng)一接入管理基于Hadoop云化ETL數(shù)據(jù)交換混搭結(jié)構(gòu)數(shù)據(jù)平臺案例1：山東移動云經(jīng)分-項目背景22傳統(tǒng)經(jīng)分系統(tǒng)面臨的問題數(shù)據(jù)規(guī)模增長快速活躍用戶7800萬，日均數(shù)據(jù)量超過3T，月數(shù)據(jù)90T數(shù)據(jù)總規(guī)模超過800T，并快速增長，正向PB級邁進現(xiàn)有系統(tǒng)響應(yīng)慢各業(yè)務(wù)部門業(yè)務(wù)需求不斷增長，但因系統(tǒng)資源緊張和響應(yīng)較慢，業(yè)務(wù)需求的支撐壓力較

14、大流量分析不夠精細化流量分析相關(guān)的WAP日志、位置數(shù)據(jù)、數(shù)據(jù)業(yè)務(wù)話單、WLAN話單等并未實現(xiàn)有效整合和綜合分析流量分析未到達事件級，無法實現(xiàn)精細化支撐的目標(biāo)構(gòu)建大BI架構(gòu)下“低成本，高效益，高性能”的云平臺，支撐精細化運營管理和實時精確營銷需求項目建設(shè)內(nèi)容去IOE，建設(shè)基于開放式、低成本的X86 PC Server集群云化架構(gòu)搭建基于ETL的數(shù)據(jù)分發(fā)平臺和MPP集群數(shù)據(jù)庫以專題為單位將應(yīng)用遷移到新的數(shù)據(jù)倉庫平臺23案例1：山東移動云經(jīng)分-總體架構(gòu)經(jīng)分系統(tǒng)整體分為應(yīng)用中心和數(shù)據(jù)中心兩部分，應(yīng)用中心采用MPP分布式并行數(shù)據(jù)庫GBase 8a集群作為實現(xiàn)主體基于Hadoop的HDFS完成統(tǒng)一數(shù)據(jù)存儲

15、，實現(xiàn)計算與存儲的分離GBase 8a集群承載交往圈識別、重入網(wǎng)專題以及流量分析、CI自助分析等應(yīng)用24案例1：山東移動云經(jīng)分-解決方案交往圈識別重入網(wǎng)識別WLAN準(zhǔn)實時營銷CI自助分析Node1Node2Safegroup1Node3Node4Safegroup2Node25Node26Safegroup13基于JDBC ODBC ADO.NET C-API的統(tǒng)一接口數(shù)據(jù)加載機原系統(tǒng)使用3臺IBM高端小型機+DB2，新系統(tǒng)使用26臺x86服務(wù)器+GBase 8a集群新系統(tǒng)整體成本降為原系統(tǒng)的1/10，但性能基本相當(dāng)（日報執(zhí)行時間都約為6小時）系統(tǒng)擁有13個安全組，組內(nèi)2個節(jié)點互為備份，節(jié)點發(fā)

16、生故障仍能提供服務(wù)，具備高可用性GBase節(jié)點基于IBM X3750 M4 CPU：4C*6core內(nèi)存：128GB硬盤：16*900GB 10K SAS網(wǎng)卡：千兆網(wǎng)卡*2 ，萬兆網(wǎng)卡*2系統(tǒng)已于2014年1月20日正式上線，與原系統(tǒng)并行運行。同年11月11日完成割接，完全替代DB2。案例3：中國農(nóng)業(yè)銀行數(shù)據(jù)倉庫-項目背景25傳統(tǒng)數(shù)據(jù)平臺的問題基于Sybase IQ建立的分析類系統(tǒng)遇到性能瓶頸無法及時完成數(shù)據(jù)加載處理無法支撐更多的分析和訪問行內(nèi)對數(shù)據(jù)分析的迫切需求無法得到及時滿足信用卡、貸記卡、電子銀行資金轉(zhuǎn)移計價反洗錢、監(jiān)管報表、內(nèi)部審計BoEing等核心系統(tǒng)逐步完善，寶貴歷史數(shù)據(jù)需保存利用

17、項目建設(shè)內(nèi)容以較低成本，建設(shè)能夠支撐1PB數(shù)據(jù)量的數(shù)據(jù)倉庫平臺具備不斷擴容能力能夠適應(yīng)未來大數(shù)據(jù)平臺方案的規(guī)劃案例3：中國農(nóng)業(yè)銀行數(shù)據(jù)倉庫-整體架構(gòu)26案例3：中國農(nóng)業(yè)銀行數(shù)據(jù)倉庫-解決方案56臺PC Server+GBase 8a替換傳統(tǒng)小型機+Sybase IQ每節(jié)點占用磁盤空間為3.4TB實際數(shù)據(jù)量超過1PB （截止2015年3月）每天數(shù)據(jù)增量超過每節(jié)點80GB系統(tǒng)最大表超過1000億行超過1P數(shù)據(jù)量27GBaseN1GBaseN28GBase 8a （DW）ETL1ETL4交換機G1交換機G2級聯(lián)交換機12x66x10G負(fù)載均衡負(fù)載均衡管理交換機萬兆網(wǎng)環(huán)境華為RH2288 V2內(nèi)存：9

18、6GBCPU：24核 2GHzDisk：12 * 3T 該方案已在2013年9月上線行業(yè)案例：中國農(nóng)業(yè)銀行數(shù)據(jù)倉庫項目 獲獎情況該項目獲得中國人民銀行頒發(fā)的2014年度銀行科技發(fā)展獎二等獎打破了國外基礎(chǔ)軟件在我國的壟斷國產(chǎn)MPP數(shù)據(jù)庫方案，撕開了國外MPP數(shù)據(jù)庫產(chǎn)品壟斷市場的缺口；在保證國家信息安全方面進行了有益探索該項目的成功是通過信息國產(chǎn)化保證國家信息安全方面的典型事件和有力證明；提升了國內(nèi)各大數(shù)據(jù)領(lǐng)域的技術(shù)水平對國產(chǎn)MPP數(shù)據(jù)庫的深層研究，提升了國內(nèi)各行業(yè)客戶在大數(shù)據(jù)領(lǐng)域的技術(shù)水平；解決大數(shù)據(jù)平臺建設(shè)成本基于國產(chǎn)數(shù)據(jù)庫，國內(nèi)各行業(yè)大數(shù)據(jù)平臺建設(shè)成本由億元級別降低到千萬級別；項目價值目錄G

19、Base 8a MPP 產(chǎn)品簡介及技術(shù)分析1GBase 8a MPP 應(yīng)用場景及行業(yè)典型案例2GBase 8a MPP 平臺穩(wěn)定性及運維支撐體系3網(wǎng)絡(luò)瞬斷：一般情況可以根據(jù)網(wǎng)絡(luò)層高可用機制在設(shè)備層實現(xiàn)自動切換，并且通過自動同步機制實現(xiàn)網(wǎng)絡(luò)故障時瞬間離開集群的節(jié)點的自動恢復(fù)，通常情況無需手工介入。服務(wù)器宕機：一般通過重起服務(wù)器可以使集群恢復(fù)正常，并且集群內(nèi)部可以通過自動同步機制自動恢復(fù)數(shù)據(jù)。但對于永久性服務(wù)器故障（例如內(nèi)存損壞等），建議通過機器置換并手工同步的方式，可以恢復(fù)系統(tǒng)。介質(zhì)故障：通過RAID5等機制，可以自動實現(xiàn)磁盤陣列層級的故障切換，但如果RAID卡等損壞時，建議通過機器置換并手工同

20、步的方式，可以恢復(fù)系統(tǒng)。GBase 8a MPP Cluster 常見故障的應(yīng)對GBase 8a MPP Cluster 全局破壞時的恢復(fù)策略本地數(shù)據(jù)備份：通過gcrman備份工具實現(xiàn)數(shù)據(jù)的定期“全備 + 增備”或者通過lftp工具等進行定期的物理備份。在系統(tǒng)出現(xiàn)故障時，通過數(shù)據(jù)的restore操作手順完成數(shù)據(jù)的自動恢復(fù)。GBase 8a MPP Cluster 全局破壞時的恢復(fù)策略備份同構(gòu)集群：通過基于文件塊的增量同步工具實現(xiàn)集群的并行節(jié)點之間的同步，從而實現(xiàn)同構(gòu)的集群之間的高可用。并行節(jié)點到節(jié)點實時增量同步基于文件塊高性能、高吞吐量對應(yīng)用透明.集群1.集群2完善的服務(wù)支持流程，保障對一線項

21、目現(xiàn)場提供快速支撐響應(yīng)GBase 8a MPP Cluster 服務(wù)體系 南大通用作為提供產(chǎn)品和技術(shù)服務(wù)的原廠商，提供包括GBase 8a MPP Cluster集群產(chǎn)品，以及產(chǎn)品維保、駐場支出服務(wù)、高級咨詢、方案集成、應(yīng)急處理服務(wù)等多種服務(wù)，這些服務(wù)共同組成我方對客戶的服務(wù)體系，為客戶提供全方位的大數(shù)據(jù)及數(shù)據(jù)倉庫/BI分析領(lǐng)域的專業(yè)服務(wù)支撐。GBase 8a MPP Cluster 運維服務(wù)內(nèi)容 （1）數(shù)據(jù)和SQL和存儲過程遷移配合 配合實施針對客戶原有數(shù)據(jù)庫系統(tǒng)內(nèi)數(shù)據(jù)以及存儲過程向GBase 8a MPP Cluster數(shù)據(jù)庫的遷移和遷移過程中調(diào)優(yōu)。 （2）腳本開發(fā)服務(wù) 提供與GBase 8a MPP Cluster數(shù)據(jù)庫、及其加載服務(wù)器等外圍工具相關(guān)的運維用腳本開發(fā)服務(wù)，根據(jù)客戶需求，此類腳本可實現(xiàn)數(shù)據(jù)自動入庫、運維監(jiān)控、數(shù)據(jù)導(dǎo)出等功能。 （3）系統(tǒng)性能的持續(xù)調(diào)優(yōu) 針對客戶的GBase 8a MPP Cluster數(shù)據(jù)庫系統(tǒng)以及相關(guān)應(yīng)用提供持續(xù)性的調(diào)優(yōu)服務(wù)，并且針對系統(tǒng)軟硬件提出優(yōu)化建議等。 （4）系統(tǒng)狀態(tài)的持續(xù)監(jiān)控 根據(jù)客戶提出的系統(tǒng)監(jiān)控需求，提供針對客戶的GBase 8a MPP Cluster數(shù)據(jù)庫系統(tǒng)以及相關(guān)軟件的監(jiān)控計劃和監(jiān)控技術(shù)服務(wù)，并按