基于PAAS平臺的智慧企業(yè)大數(shù)據(jù)平臺建設方案

基于PAAS平臺的智慧企業(yè)大數(shù)據(jù)平臺建設方案2019基于PAAS平臺的智慧企業(yè)大數(shù)據(jù)平臺建設方案20191Agenda企業(yè)新一代數(shù)據(jù)平臺的技術(shù)需求創(chuàng)新的技術(shù)平臺建設思路Agenda企業(yè)新一代數(shù)據(jù)平臺的技術(shù)需求面向大數(shù)據(jù)的分析NowWhat?SoWhat?What?大數(shù)據(jù)分析企業(yè)內(nèi)、外部的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)量在TB級以上以數(shù)據(jù)挖掘、預測和實時分析為主，強調(diào)對業(yè)務驅(qū)動傳統(tǒng)BI分析企業(yè)內(nèi)部的結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量在GB~TB級以報表、查詢和分析為主，反應當前業(yè)務現(xiàn)狀面向大數(shù)據(jù)的分析NowWhat?大數(shù)據(jù)分析傳統(tǒng)BI分析更豐富、更細致的客戶管理大數(shù)據(jù)分析在企業(yè)的應用更準確、更及時的營銷管理更高效、更全面的風險管理Customer360oSingleViewKeyLifeEvents&NextBestActionStressTest&CreditAssessments更豐富、更細致的客戶管理大數(shù)據(jù)分析在企業(yè)的應用更準確、更及時通用銀行業(yè)大數(shù)據(jù)分析平臺管理分析類應用數(shù)據(jù)交換平臺應用集市數(shù)據(jù)區(qū)核心系統(tǒng)總賬系統(tǒng)國結(jié)系統(tǒng)網(wǎng)銀系統(tǒng)……系統(tǒng)企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層數(shù)據(jù)傳輸數(shù)據(jù)稽核數(shù)據(jù)處理流程調(diào)度監(jiān)控告警……數(shù)據(jù)服務層非結(jié)構(gòu)化數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)用戶評價信息移動互聯(lián)信息……元數(shù)據(jù)數(shù)據(jù)應用層歷史歸檔數(shù)據(jù)區(qū)HDS客戶主題協(xié)議主題產(chǎn)品主題事件沙盤演練應用實時分析應用數(shù)據(jù)管控層POS增量財務增量庫存增量采購增量……增量臨時數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)核心數(shù)據(jù)總賬數(shù)據(jù)國結(jié)數(shù)據(jù)……數(shù)據(jù)主題數(shù)據(jù)區(qū)社交媒體信息網(wǎng)銀數(shù)據(jù)……客戶管理財務管理風險管理……管理客戶管理財務管理風險管理……管理運營管理用戶訪問層決策人員管理人員數(shù)據(jù)科學家業(yè)務人員客戶匯總賬戶匯總機構(gòu)匯總產(chǎn)品匯總……通用銀行業(yè)大數(shù)據(jù)分析平臺管理分析類應用數(shù)據(jù)交換平臺應用集市數(shù)企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)內(nèi)容及實現(xiàn)技術(shù)Page6應用平臺提交請求訪問的數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩類在線存儲周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構(gòu)管理無法用二維表結(jié)構(gòu)來邏輯表達的無結(jié)構(gòu)性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。方便用數(shù)據(jù)庫的二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。例如：客戶信息、用電記錄等。是挖掘數(shù)據(jù)價值的主要對象。支持分析型應用，時效性較低支持前臺交易系統(tǒng)查詢需求，具有可靠性高、并發(fā)度大、采集頻率短的特點按數(shù)據(jù)格式類別劃分按數(shù)據(jù)格式類別劃分按數(shù)據(jù)采集頻度劃分大數(shù)據(jù)

平臺在線數(shù)據(jù)歸檔數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)準實時數(shù)據(jù)非實時數(shù)據(jù)面向貼源數(shù)據(jù)查詢和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū)，適合X86MPP數(shù)據(jù)庫集群范式化模型數(shù)據(jù)面向分析類應用。對應ADW和CM數(shù)據(jù)區(qū)，適合MPP數(shù)據(jù)庫集群維度模型數(shù)據(jù)按數(shù)據(jù)模型劃分企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)內(nèi)容及實現(xiàn)技術(shù)Page6應用平臺提Page7企業(yè)大數(shù)據(jù)平臺架構(gòu)原則平臺7技術(shù)-跨平臺數(shù)據(jù)交換批量和實時數(shù)據(jù)采用不同的技術(shù)手段和工具，遵循統(tǒng)一的文件接口標準技術(shù)-平臺內(nèi)數(shù)據(jù)復制跨同構(gòu)/異構(gòu)數(shù)據(jù)庫（物理系統(tǒng)），基于文本、數(shù)據(jù)庫的數(shù)據(jù)抽取和加載，數(shù)據(jù)的形式不發(fā)生變化，不涉及數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)復制后產(chǎn)生的數(shù)據(jù)副本主要是為了便于數(shù)據(jù)引用，需要制定數(shù)據(jù)副本的生命周期管理策略以及保證數(shù)據(jù)副本的只讀屬性。數(shù)據(jù)-數(shù)據(jù)即服務業(yè)務人員通過邏輯數(shù)據(jù)對象組件訪問數(shù)據(jù)，而不用關(guān)心數(shù)據(jù)的物理存儲方式。通過全行指標口徑和維度、度量信息，使業(yè)務人員可以較容易、較快地定位和了解數(shù)據(jù)的內(nèi)容。數(shù)據(jù)-數(shù)據(jù)質(zhì)量控制通過一系列的技術(shù)和業(yè)務手段實現(xiàn)數(shù)據(jù)集成平臺數(shù)據(jù)質(zhì)量控制，主要體現(xiàn)在數(shù)據(jù)正確性（技術(shù)）、完整性、一致性（業(yè)務）、有效性。Page7企業(yè)大數(shù)據(jù)平臺架構(gòu)原則平臺7技術(shù)-跨平臺數(shù)Page8企業(yè)大數(shù)據(jù)平臺架構(gòu)原則平8數(shù)據(jù)-歷史數(shù)據(jù)分級存儲和訪問近線數(shù)據(jù)存儲形式保持源表源結(jié)構(gòu)，主要以數(shù)據(jù)庫形式存儲，支持在線數(shù)據(jù)查詢、訪問和應用支持，響應時間秒級。歸檔數(shù)據(jù)以廉價大容量磁盤方式存儲，存儲形式會根據(jù)數(shù)據(jù)環(huán)境和未來應用的差異，采用不同于源結(jié)構(gòu)的存儲形式。同時，歸檔數(shù)據(jù)需要創(chuàng)建“被動索引”并具備恢復到主題數(shù)據(jù)區(qū)或者匯總數(shù)據(jù)區(qū)的能力。數(shù)據(jù)-非結(jié)構(gòu)化數(shù)據(jù)管理對于交易和處理過程中形態(tài)尚不穩(wěn)定的非結(jié)構(gòu)化數(shù)據(jù)，可由各平臺根據(jù)時效性、一致性控制和完整性控制等要求考慮自行處理安全-數(shù)據(jù)訪問安全對于普通的查詢訪問應用，應該具備屏蔽敏感信息的展現(xiàn)的能力。面向行內(nèi)用戶的數(shù)據(jù)訪問，應按照數(shù)據(jù)的屬主進行訪問隔離。運維-系統(tǒng)日常運行性能管理在數(shù)據(jù)量不斷增加、訪問用戶數(shù)量的增長、用戶數(shù)據(jù)使用成熟度的變化、數(shù)據(jù)ETL持續(xù)滾動開發(fā)等場景的不斷變化下，需要圍繞日常性能管理，不斷調(diào)整系統(tǒng)設計和運行策略。Page8企業(yè)大數(shù)據(jù)平臺架構(gòu)原則平8數(shù)據(jù)-歷史數(shù)據(jù)分建設新一代數(shù)據(jù)平臺的驅(qū)動力完整的大規(guī)模數(shù)據(jù)的快速捕獲流程多種類型數(shù)據(jù)的存儲數(shù)據(jù)的實時共享與交換海量&劇增數(shù)據(jù)的支撐能力傳統(tǒng)數(shù)據(jù)倉庫技術(shù)和新技術(shù)的結(jié)合Hadoop技術(shù)的合理運用與性能建設新一代數(shù)據(jù)平臺的驅(qū)動力完整的大規(guī)模數(shù)據(jù)的快速捕獲流程Agenda企業(yè)新一代數(shù)據(jù)平臺的技術(shù)需求創(chuàng)新的技術(shù)平臺建設思路Agenda企業(yè)新一代數(shù)據(jù)平臺的技術(shù)需求CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)MainframeSoftware-DefinedDatacenterNewData-fabrics新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的數(shù)據(jù)中心與基礎架構(gòu)CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)MainframeSoftware-DefinedDatacenterNewData-fabrics新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的數(shù)據(jù)中心與基礎架構(gòu)存儲并且在非常大量的數(shù)據(jù)上進行分析CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)MainframeSoftware-DefinedDatacenterNewData-fabrics新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的數(shù)據(jù)中心與基礎架構(gòu)快速應用開發(fā)存儲并且在非常大量的數(shù)據(jù)上進行分析CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)MainframeSoftware-DefinedDatacenterNewData-fabrics新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流Client-Server&WebSoftware-DefinedDatacenterNewData-fabrics私有的數(shù)據(jù)中心與基礎架構(gòu)快速應用開發(fā)存儲并且在非常大量的數(shù)據(jù)上進行分析大規(guī)模自動化運維CONSUMERGRADE先行者:服務于海量客戶的互聯(lián)網(wǎng)企業(yè)級的需求…快速應用開發(fā)MainframeClient-Server&WebCONSUMERGRADE存儲并且在非常大量的數(shù)據(jù)上進行分析新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流大量設備,海量日志,多種應用…無處不在的數(shù)據(jù)采集Software-DefinedDatacenterNewData-fabrics企業(yè)級的需求…快速MainframeClient-Serv來自金融企業(yè)的獨有需求…快速應用開發(fā)MainframeClient-Server&WebCONSUMERGRADE存儲并且在非常大量的數(shù)據(jù)上進行分析新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流大量設備,海量日志,多種應用…無處不在的數(shù)據(jù)采集Software-DefinedDatacenterNewData-fabrics收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定交易事件進行實時反應與傳統(tǒng)應用和基礎架構(gòu)有機配合來自金融企業(yè)的獨有需求…快速MainframeClient來自金融企業(yè)的獨有需求…快速應用開發(fā)MainframeClient-Server&WebCONSUMERGRADE存儲并且在非常大量的數(shù)據(jù)上進行分析新的客戶體驗新的業(yè)務模式由服務于海量客戶的互聯(lián)網(wǎng)巨頭企業(yè)引領(lǐng)潮流大量設備,海量日志,多種應用…無處不在的數(shù)據(jù)采集Software-DefinedDatacenterNewData-fabrics收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定交易事件進行實時反應與傳統(tǒng)應用和基礎架構(gòu)有機配合配合不同云計算平臺實現(xiàn)高效運維和水平擴展...ETC來自金融企業(yè)的獨有需求…快速MainframeClientNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCONSUMERGRADEOperateatScaleinahighlyautomatedway新一代PaaS平臺Software-DefinedDatacenterNewData-fabrics快速應用開發(fā)收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定交易事件進行實時反應存儲并且在非常大量的數(shù)據(jù)上進行分析與傳統(tǒng)應用和基礎架構(gòu)有機配合配合不同云計算平臺實現(xiàn)高效運維和水平擴展...ETC新一代Paas平臺建設思路NewExperiencesInternet-of-thiSoftware-DefinedDatacenterNewData-fabricsTheSoftwareDefinedDataCenterNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCLOUDERAOperateatScaleinahighlyautomatedwayAWSVMW...ETCPivotal:面向數(shù)據(jù)的企業(yè)級Paas平臺PivotalPlatformFromVMwareFromEMCBigDataFastDataRapidApplicationDev&IntegrationCloudAbstraction&AppAutomation存儲并且在非常大量的數(shù)據(jù)上進行分析在收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定事件進行實時反應快速應用開發(fā)配合不同云計算平臺實現(xiàn)高效運維和水平擴展與傳統(tǒng)應用和基礎架構(gòu)有機配合Software-DefinedDatacenterNewSoftware-DefinedDatacenterNewData-fabricsTheSoftwareDefinedDataCenterNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCLOUDERAOperateatScaleinahighlyautomatedwayAWSVMW...ETCPivotal:面向數(shù)據(jù)的企業(yè)級Paas平臺PivotalPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricFromVMwareFromEMCCloudAbstraction&AppAutomationSoftware-DefinedDatacenterNew...ETC支持開放標準并與開源有效互動強調(diào)以數(shù)據(jù)為中心

兼顧各種數(shù)據(jù)類型處理充分關(guān)注新一代開發(fā)人員和新一代企業(yè)級應用的需求為有效進行實時大容量信息處理而設計同時兼顧與傳統(tǒng)應用的互操作性與傳統(tǒng)技術(shù)的有效結(jié)合云支撐平臺數(shù)據(jù)支撐架構(gòu)應用支撐架構(gòu)Scale-outstorage:HDFS/ObjectLanguages&FrameworksIngest&Query:veryhigh-capacity&in-memoryAnalyticsServicesCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistryPivotalOne:重新定義企業(yè)級

PaaS...ETC支持開放標準并與開源有效互動云支撐平臺數(shù)據(jù)支撐架CloudFabricDataFabricApplicationFabricScale-outstorage:HDFS/ObjectLanguages&FrameworksIngest&Query:veryhigh-capacity&in-memoryAnalyticsServicesCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistryPivotalOne:來自EMC和VMW的技術(shù)體系整合GemFirePivotalDataScienceLabsCloudFabricDataFabricApplica創(chuàng)新：以數(shù)據(jù)支撐為中心CloudStorageVirtualizationPivotalDataFabricPivotalCloud&AppFabricData-Driven

Application

DevelopmentPivotalDataScienceLabs...ETC創(chuàng)新：以數(shù)據(jù)支撐為中心CloudStorageVirtua完整的新一代企業(yè)的數(shù)據(jù)平臺藍圖Analytic

DataMartsMPPDatabaseOperational

IntelligenceIn-MemoryDBRun-Time

ApplicationsIn-MemoryObjectEnterpriseData

WarehouseRDBMSDataStaging

PlatformData

IngestionSystemStreams完整的新一代企業(yè)的數(shù)據(jù)平臺藍圖Analytic

DataM分析形數(shù)據(jù)集市實時的數(shù)據(jù)處理Run-Time

Applications企業(yè)級數(shù)據(jù)倉庫大規(guī)模數(shù)據(jù)存儲實時的數(shù)據(jù)捕獲和共享Pivotal數(shù)據(jù)支撐架構(gòu)的解決之道分析形數(shù)據(jù)集市實時的數(shù)據(jù)處理Run-Time

ApplicaGreenplum數(shù)據(jù)庫：極速分析平臺并行處理架構(gòu)MPPshared-nothing架構(gòu)，基于通用X86平臺PB級以上海量存儲，最大支持10000節(jié)點以上所有節(jié)點并發(fā)IO，實現(xiàn)超大IO吞吐，并行運行SQL自動化并行自動化并行計算,實現(xiàn)超大計算能力使用同傳統(tǒng)DB一樣，加載和運行SQL數(shù)據(jù)多節(jié)點分布及高可用性都由DB自身實現(xiàn)極佳的橫向擴展性在線橫向擴展容量、加載和SQL查詢性能隨節(jié)點線性增加專為BI及數(shù)據(jù)分析優(yōu)化深度整合統(tǒng)計數(shù)學模塊（SAS,SOLR,MADLIB,R）高性能并行SQL執(zhí)行器MPPshared-nothing架構(gòu)構(gòu)建在X86開放平臺上的并行處理架構(gòu)Greenplum數(shù)據(jù)庫：極速分析平臺并行處理架構(gòu)MPPGreenplum數(shù)據(jù)庫：行業(yè)最快的數(shù)據(jù)加載技術(shù)每個Rack（16節(jié)點）,每小時16TB加載性能Scatter-GatherStreaming?提供性能線性擴張支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載Enablecomplexdatatransformations“in-flight”對GBK/UTF8/ISO8859字符集的原生支持SingleRackComparisonGreenplumloadratesscalelinearlywith

thenumberofracks,othersdonot.Forexample,tworacks=>32TB/HGreenplumOracle

ExadataNetezzaTeradataLoadGreenplum數(shù)據(jù)庫：行業(yè)最快的數(shù)據(jù)加載技術(shù)每個RacGreenplum數(shù)據(jù)庫：高可用性ClientRedundant

InterconnectMP

Segment

ServersPrimary

Master1Sync&

Failover

ProcessesStandby

MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345提供了全量備份和增量備份功能，保證系統(tǒng)級故障后的數(shù)據(jù)恢復對于任一設備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務多個節(jié)點宕機后，系統(tǒng)性能只降低1/6Greenplum數(shù)據(jù)庫：高可用性ClientRedundGreenplum數(shù)據(jù)庫：Gartner的評價

Gartner公司每年發(fā)布關(guān)于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔法象限研究報告報告主要從個數(shù)據(jù)倉庫廠商的執(zhí)行力和遠景兩個方面評估評估對象包括傳統(tǒng)的企業(yè)級數(shù)據(jù)倉庫和新一代的MPP并行數(shù)據(jù)庫廠商支持各種規(guī)模、有大量并發(fā)用戶、能管理混合工作負載的數(shù)據(jù)倉庫具備較高的客戶滿意度和強有力的服務支持在數(shù)據(jù)倉庫市場有長久的生命力風險最低、產(chǎn)品成熟度最高Gartner對領(lǐng)導者象限的評價采用前瞻性思維設計的數(shù)據(jù)倉庫較小的市場領(lǐng)導者，缺乏全球性發(fā)展缺少較大的本地客戶，因此不易證明其產(chǎn)品的功能和價值在產(chǎn)品技術(shù)領(lǐng)域，某些特性具備前瞻性，但綜合能力需要完善Gartner對遠見者象限的評價Greenplum數(shù)據(jù)庫：Gartner的評價GarLoadBalancerWebandAppServersWebMiddwareDatabaseLayOSAppOSAppWhatisGemFireOSAppOSAppOSAppOSAppOSAppOSAppMemoryComputeDataGridinMemoryLoadBalancerWebandAppServePivotalHadoopHAWQ:性能測試結(jié)果對比4.21988.71612.04152.71,2852.81,81547X19X208X476X648X4.2378.75962.0502.7552.8599X69X25X20X21XPivotalHDPivotalH