Pivotal大數據和平臺云應用平臺-場景-案例

OPivotal大數據和平臺云應用平臺周暉PivotalvFabricPrincipleSolutionArchitectEmail：

日程為什么需要一個新的技術支撐平臺?PivotalOne的功能架構大數據應用平臺的一些案例和應用場景Pivotal公司簡介成立時員工數市場估值~1250~1B62%28%10%Pivotal面向的市場大機時代實現財務處理自動化MainframesISAMClient-Server&Web應用架構時代實現大部分紙面處理流程的自動化:

ERP,CRM,Email,…關系型數據庫小機+PC采用云計算的數據中心新的數據網陣Internet消費級用戶新的客戶體驗新的業(yè)務模式由效勞于海量客戶的互聯網巨頭企業(yè)引領潮流–新的應用構建和支撐方式消費級用戶帶來的IT挑戰(zhàn)快速應用開發(fā)MainframeClient-Server&WebCONSUMERGRADE存儲并且在非常大量的數據上進行分析新的客戶體驗新的業(yè)務模式由效勞于海量客戶的互聯網巨頭企業(yè)引領潮流大量設備,海量日志,多種應用…無處不在的數據采集Software-DefinedDatacenterNewData-fabrics在收集數量龐大的事件數據的同時對特定事件進行實時反響與傳統(tǒng)應用和根底架構有機配合配合不同云計算平臺實現高效運維和水平擴展...ETCNewExperiencesNewBizModelspioneeredbynewConsumer

InternetgiantsInternet-of-thingsPervasivetelemetryMainframeClient-Server&WebCONSUMERGRADEOperateatScaleinahighlyautomatedway新一代PaaS平臺Software-DefinedDatacenterNewData-fabrics快速應用開發(fā)在收集數量龐大的事件數據的同時對特定事件進行實時反響存儲并且在非常大量的數據上進行分析與傳統(tǒng)應用和根底架構有機配合配合不同云計算平臺實現高效運維和水平擴展...ETC上述因素促成了對新平臺的需求新一代企業(yè)級PaaS的設計準那么與當前各種IaaS平臺配合工作–

不管是私有的還是公有的充分關注新一代開發(fā)人員和新一代應用的需求為有效進行實時大容量信息處理而設計同時兼顧與傳統(tǒng)應用的互操作性...ETC支持開放標準并與開源有效互動以數據為中心不與特定云平臺綁定針對開發(fā)者的需求針對企業(yè)的需求CloudFabricDataFabricApplicationFabric可伸縮的存儲和計算:HDFS/Object支持多種語言提供應用框架內存計算—數據加載、查詢、實時處理數據分析服務S提供各種服務IaaS云抽象(可移植)自動化:應用供應和生命周期管理服務注冊和服務目錄PivotalOne:重新定義企業(yè)級PaaS歷史交易數據應用日志數據Internet網站數據用戶行為相關的數據Internet公司業(yè)務相關數據大數據時代，怎么充分利用大數據銀行(包括銀聯)只保存5年歷史數據僅保存近期日志數據沒有關注沒有關注沒有關注歷史數據可以用于用戶分析、趨勢分析日志數據可以做各種關聯分析用戶、產品等分析用戶行為分析品牌形象、相關業(yè)務分析，網絡銷售抓住市場開展趨勢，形成新產品效勞洞悉應用相關關系細分用戶，精確營銷，針對用戶定制產品如上提升品牌、網絡精確營銷Pivotalone集成了EMC和VMWare的現有資產CloudStorageIaaS虛擬化Pivotal數據平臺PivotalPaaS應用平臺數據驅動的應用開發(fā)PivotalDataScienceLabs...ETC客戶流失分析客戶生命周期價值分析消費產品和零售產品的需求分析醫(yī)療分析定價優(yōu)化分析我們現有大數據經典分析產品推薦分析平安風險分析情感分析文本分析(短信分析)名聲分析交通分析Pivotal大數據解決方案藍圖BI

和報表zzzEDW企業(yè)應用系統(tǒng)數據

流數據、日志數據101001

Internet等非結構化數據分析和可視化展示移動計算-JSON+SQL可深度擴展的分析數據平臺MPPDatabaseKV,Object,JSONSQL實時數據平臺現代應用框架OLTP應用/實時分析PivotalOne和現有資產的映射vFabricGemFire...ETCCloudFabricDataFabricApplicationFabric可伸縮的存儲和計算:HDFS/Object支持多種語言提供應用框架內存計算—數據加載、查詢、實時處理數據分析服務提供各種服務IaaS云抽象(可移植)自動化:應用供應和生命周期管理服務注冊和服務目錄CloudFabricDataFabric...ETCPivotalOne:數據支撐架構ApplicationFabricScale-outstorage:HDFS/ObjectCatalogResourceMgmtDataMgmtTXNProcessHAWQMPPReal-TimeDBMapReduceHBaseK/V統(tǒng)一基于Hadoop通用的全局分布式集群文件系統(tǒng)(HDFS)與高級數據處理效勞緊密集成MPPSQL實時交易處理流式數據處理原生設計PaaS設計并作為PivotalOne的有機組成局部:支持彈性伸縮與多租戶環(huán)境HAWQ:性能測試結果比照4.21988.71612.04152.71,2852.81,81547X19X208X476X648X4.2378.75962.0502.7552.8599X69X25X20X21XPivotalHDPivotalHD簡單的、可靠的、彈性的、按需的Hadoop根據客戶的需求彈性擴展和彈性收縮計算和數據的彈性伸縮各自獨立很強的多租戶功能彈性和多租戶整個Hadoop堆棧的高可用性一鍵安裝久經實戰(zhàn)檢驗的高可用性快速部署一站式的命令中心易于配置和重新配置簡化運維企業(yè)級的Hadoop-as-a-ServiceAdhocdatamining內在的Hadoop作為一個效勞–(Hadoop多租戶)計算層數據層HDFSHostHostHostHostHostHostProductionrecommendationengineProductionETLoflogfilesVirtualizationplatformHDFSEMR，彈性的MapReduceHadoopbatchanalysis綜合大數據–(Hadoop+otherbigdata)HDFSHostHostHostHostHostHostHAWQ/HBasereal-timequeriesMPPDBMS–Analysisofstructureddata計算層數據層VirtualizationplatformHDFSShort-livedHadoopcomputecluster綜合的Hadoop和Web應用HDFSHostHostHostHostHostHostWebserversforecommercesite計算層數據層HadoopcomputeclusterVirtualizationplatformPivotalHD將Greenplum大規(guī)模并行計算數據庫產品和Hadoop產品無縫集成。PivotalHD將Greenplum10余年的開發(fā)大規(guī)模并行計算數據庫平臺經驗帶入到開源大數據平臺。PivotalHD的動態(tài)管道技術能夠提供100+倍性能提升，成為業(yè)界性能最強的Hadoop發(fā)行版。PivotalHD是世界首個Hadoop的完整SQL支持處理大數據平臺，能讓傳統(tǒng)SQL開發(fā)人員直接操作大數據，傳統(tǒng)的BI數據挖掘工具亦能完全兼容。PivotalHD架構LoadBalancerWebandAppServersWeb靜態(tài)頁面應用效勞器層數據庫層PivotalOne的數據網陣的內存計算平臺內存計算層DataGridinMemory什么是內存計算?*PerGartner's"WeeklyMemoryPricingIndex,7September2012,"G00239543傳統(tǒng)計算內存計算Application

CodeApp.DataMainmemory(DRAM)"DatabaseofRecord"Application

CodeApp.Data64位的CPU可以尋址upto16exabytesofdata物理內存DRAM的生產本錢每12個月降低32%越來越多的PC效勞器可以配置數T的內存內存計算軟件也越來越成熟，并且市場擴大導致選擇面大Mainmemory(DRAM)"DatabaseofRecord"數據持久化故障數據恢復后處理數據備份Application

CodeApp.DataApplication

CodeApp.Data為什么現在講內存計算Legacy遺留系統(tǒng)B2BBPM應用界面HTMLEnterpriseDataBus(EDB)/CEP/ODS/MDM(直接訪問數據庫，直接做數據操作)通過內存計算打造企業(yè)數據總線EnterpriseServiceBus(ESB)(小數據量交互)業(yè)務邏輯JavaBAM(業(yè)務活動管理)SOA開發(fā)工具SpringEclpise管控治理管理SOA架構的幾大原那么業(yè)務和流程別離業(yè)務和界面別離數據和業(yè)務別離數據訪問接口訪問CustomerASP1CustomerASP1CustomerASP1存儲過程數據總線–去除重復數據和重復存儲過程CustomerAFn1去除重復數據去除重復功能vFabricGemFireEDBSpringORMapping框架實現業(yè)務和數據的別離應用程序層DB表述層應用程序層DB表述層持久化層數據訪問配置從業(yè)務邏輯中別離出持久化層JDBC/ODBC/ADO.netJavaORMapping框架

Hibernate

ibatis

openJPA

PHPORMapping框架

Doctrine

RedBeanPHP

Propel

NotORM

基于內存的性能，低延遲，保障可用性性能數據和計算全部在內存中，，比磁盤快10-100倍10-100微秒vs10-100毫秒保持多份數據，確?？煽啃酝ㄟ^主數據更新0數據喪失可以選擇更新到磁盤可以選擇異步更新到數據庫CustomersOrdersProduct數據保護ApplicationClientJava,C++,.Net,SQL支持海量并發(fā)在高壓力下依然保證數據訪問時間低延時一個集群40T內存數據并行計算內存計算、實時計算Pivotal大數據分析平臺GreenplumChorus企業(yè)數據分析協作平臺Greenplum數據庫擴展性最好的多節(jié)點數據庫平臺分析工具(商業(yè)智能,統(tǒng)計分析)PivotalHadoop面向非結構化數據的企業(yè)數據分析平臺GreenplumDCA一體機或

GPDB集群專為大數據分析定制EMC/VMware存儲和虛擬化技術MPP數據庫Greenplum根本架構大規(guī)模并行處理MPP(MassivelyParallelProcessing)

無共享架構Shared-NothingArchitectureNetworkInterconnect............Master

節(jié)點生成查詢方案并派發(fā)匯總執(zhí)行結果Segment

節(jié)點執(zhí)行查詢方案及數據存儲管理SQLMapReduce外部數據源并行裝載或導出...ETC有效支撐快速應用開發(fā)簡化在開發(fā)，測試和生產環(huán)境間的部署和遷移支持多種語言和開發(fā)框架下的自動部署和自動擴展業(yè)界領先的Java/Spring運行時支撐松耦合的即時效勞綁定缺省提供運行時數據的分析和可視化監(jiān)控功能PivotalOne:應用支撐架構CloudFabricDataFabricApplicationFabric支持多種語言提供給用框架數據分析效勞S提供各種效勞CloudFabricIaaS云抽象(可移植)自動化:應用供給和生命周期管理效勞注冊和效勞目錄基于CloudFoundry開放并以開源方式實現:C設計目標:可移植性可擴展性自動化彈性不斷成長的生態(tài)系統(tǒng)PivotalOne:云支撐架構DataFabric...ETCApplicationFabricCloudFoundry解決了什么問題？

TraditionalITStorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYouManageO/S

PaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYouManageManagedbyPlatformAgilityandCostSavingsO/S

IaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYouManageManagedbyPlatform33IaaS: 硬件的自動化管理，人與機器的解耦合

獲得效率/提高資源利用率PaaS: 應用的自動化管理，應用與OS的解耦合

獲得彈性/簡化運維今天的應用趨勢應用框架應用越來越廣泛提高開發(fā)效率，創(chuàng)新降低開發(fā)工作量，減少開發(fā)時間支持新的應用類型Mobile,Social,SaaS應用要盡早發(fā)布，并且經常升級數據密集型應用新的要求:彈性伸縮、支持多種云面向Web帶來了數據指數級的增長要部署在虛擬化或是IaaS云環(huán)境下Virtualization,Cloud,PaaSCloudFoundry是一個開放的PaaS平臺ThePaaSofchoicefortheCloudera

簡單開發(fā)者專注于他們的代碼，不鎖定于特定中間件開放防止鎖定在特定的云、框架和效勞上從第一天起就是完全開放的靈活性和可伸縮性應用自效勞、自動部署、自動伸縮S可擴展的架構，可以吸收未來云創(chuàng)新的開展應用執(zhí)行體PaaS平臺系統(tǒng)架構應用健康管理

軟件路由器NATS消息總線后端效勞池MySQLMongoDBRadisRabbitMQ用戶數據權限數據用戶平安管理和多租戶管理應用控制組裝應用生命周期管理應用包管理應用執(zhí)行池服務節(jié)點Oracle應用集成網關其他效勞應用執(zhí)行體應用執(zhí)行體應用執(zhí)行體OA應用IaaS-VMWarevSphereAmazon云接口OpenStack云接口PaaS自動化部署CloudFoundryBOSHvSphere云接口

PC–瀏覽器訪問Mobile–App訪問管理界面開發(fā)環(huán)境應用執(zhí)行體應用執(zhí)行體應用執(zhí)行體物流應用應用執(zhí)行體應用執(zhí)行體應用執(zhí)行體財務應用JavaGrailsJava_webLiftScalewebframeworkSpring

RubyRack

Rails3

Sinatra

PythonDjango

WsgiPython的CGIOtherPlatformStaticpagenode.js

ErlangphpStandaloneImportant:支持的運行時框架MainstreamMongodb

MysqlNeo4jPostgresqlRedisStorageFileSystemRemoteNFSVblob

AmazonS3memcacheMessageRabbitMQ

BigDataHadoop支持的效勞敏捷開發(fā)代碼開發(fā)App1

程序員John的工作環(huán)境Otherdevapps代碼開發(fā)App1

程序員Mary的開發(fā)環(huán)境OtherdevappsQAQAApp1

QA版本OtherQAappsProductionPRODUCTIONApp1

生產上線版本OtherProdapps無需修改代碼和配置!“從有想法到生產上線一天內”平安模型在整個開發(fā)生命周期的安全性滲透測試(安全性測試):如1.SQL注入。2.XSS和CSRF。3.Cookies,Session劫持和偽造。4.不必要的權限和信息泄露。5.偽造數據和授權問題6.環(huán)境和代碼安全性(服務器配置,混淆,加殼等)隔離用戶代碼在一個安全的、隔離的Linux容器下運行對每個應用實例都是VM隔離CF的部件在特定的網段認證和訪問控制組織和空間提供了安全角色，對不同的用戶組和用戶在不同的級別提供了不同的安全角色用戶帳戶和認證服務(UAA)提供了:對應用、用戶和CF部件的認證，并且支持SSO，和現有的IDP集成基于如下標準:OAuth2,OpenIDConnect,SCIM審計日志審計

WhoWhatWhen通過ServicesBroker與現有企業(yè)效勞的集成Appservicegateway創(chuàng)立綁定systemservice使用綁定使用servicebroker企業(yè)效勞41CloudFoundry:在市場上的表現對各種IaaS的支持Baremetal私有PaaS云的案例公有PaaS云的案例.COMCloudFoundry在國內的案例43用友應用PaaS云大數據營銷案例客戶面臨挑戰(zhàn)近年來，某銀行信用卡中心的發(fā)卡量迅速增長。2008年銀行向消費者發(fā)卡約500萬張，而這個數字在2010年增加了一倍。隨著業(yè)務的迅猛增長，業(yè)務數據規(guī)模也線性膨脹。某銀行信用卡中心無論在數據存儲、系統(tǒng)維護等方面，還是在有效地利用客戶數據方面，都面臨著越來越大的壓力：針對傳統(tǒng)的BI分析需求，舊系統(tǒng)面臨嚴重的性能瓶頸針對大數據分析需求，舊系統(tǒng)架構無法支撐，無法實現大數據的快速處理和靈活分析PivotalGPDB一期解決方案建立卡中心數據倉庫，實現：實現卡中心現有的20多個業(yè)務系統(tǒng)的集成與整合實現傳統(tǒng)BI平臺改造，提升系統(tǒng)效率，支撐反洗錢等應用支持營銷、反欺詐和催收等日常業(yè)務處理支持高級分析人員沙盤分析預測需求結合客戶消費習慣，實現秒級營銷數據沙盤應用平臺SAS卡業(yè)務系統(tǒng)卡中心數據倉庫系統(tǒng)操作數據層（ODS）數據倉庫層（EDW)傳統(tǒng)BI平臺CognosTriad決策平臺Alpine營銷平臺分中心CRM現有數據量為60TB、每日增長50GB以上生產系統(tǒng)為2個Master節(jié)點+8個Segment節(jié)點構成的Pivotal數據倉庫集群利用大數據實現秒級營銷例如中信銀行信用卡中心跟漢拿山烤肉的聯合促進活動，在實時BI的支持下，中信銀行信用卡中心選取漢拿山附近商戶消費的客戶，在第一時間通知客戶此項優(yōu)惠112113超市115117118漢拿山122119116童鞋121126125124127客戶進入深圳來福士廣場客戶進行了一筆108元的消費客戶信息：30-35女性、有2個孩子、曾經使用銀行刷卡優(yōu)惠發(fā)送優(yōu)惠短信：您剛消費了108元，如您再消費一筆超過91元，即可在福士購物中心5層漢拿山烤肉享5折優(yōu)惠1次

看完短信，客戶剛剛還在猶豫是否要給小孩兒買的一雙新鞋，立即下決心刷卡付款在漢拿山刷卡消費，享受5折優(yōu)惠利用大數據實現秒級營銷〔續(xù)〕AS400Greenplum某信用卡營銷平臺來福士廣場商戶POS中信信用卡業(yè)務系統(tǒng)中信信用卡數據倉庫系統(tǒng)消費信息消費信息消費信息優(yōu)惠信息位置信息360o視圖消費結果演進架構方案—數據即效勞一體化營銷平臺交易明細客戶/.賬戶數據社交媒體GPDB宏觀經濟……外部數據內部數據GPHDSENTIMENTANALYSIS,TEXTMININGandPREDICTIVEANALYTICS;SAS,MADlib,R……數據集成處理Websitescreenshots個性化產品營銷分析預測GemfireETLETL營銷結果反響客戶收益實現了秒級實時營銷促進了客戶經理轉型提升了整體運營效率市場活動中答應客戶在刷滿一定金額或次數后贈送禮品，客戶可以在剛好滿足條件的那次刷卡后馬上獲得實時獲取客戶消費信息、位置信息，利用移動終端，發(fā)起呼出式營銷信用卡中心已經可以結合實時、歷史數據進行全局分析，可以每天評估客戶的行為，并決定對客戶的信用額度在同一天進行調整所有客戶信息現在均可以通過分中心CRM（客戶關系管理）系統(tǒng)的專用PAD移動設備實時獲取和使用分中心的營銷人員除了單純的發(fā)卡工作外，還參與到客服、控、產品營銷等工作，分中心團隊正在由單純的發(fā)卡團隊變?yōu)橐恢娪辛Φ目蛻艚浝韴F隊大數據平臺用戶雷達數據庫前端應用界面Hawq數據讀取數據寫入JDBC數據支持JDBC用戶雷達分析器熱詞等數據寫入某大型企業(yè)大數據應用數據交換平臺數據交換平臺Gateway

360度客戶視圖HadoopE-HubE-StoreHPUHome商城互聯網外部數據外部數據Hadoop平臺應用區(qū)處理區(qū)GatewayHawqHbaseHDFS文件傳輸數據清洗數據標準化數據檢核數據抽取用戶雷達精準營銷用戶分群400客服智能物流……實時交易總線EAIJDBC批量實時

鐵道總公司采用GemFire改造12306

案例介紹12306改造工程背景2012年春節(jié)，12306網上訂票上線，頂峰時間無法登陸網站，登陸了網站也無法訂票2012年3月開始，鐵路總公司(原鐵道部)開始調研、改造123062012年4月和Pivotal溝通，做PoC驗證，性能大幅提高2012年6月選擇GemFire改造12306，一期是改造余票查詢，9月份完成代碼改造，系統(tǒng)上線2012年國慶，又是網上訂票頂峰期間，大家可以顯著發(fā)現，可以登錄12306,雖然還是很難訂票，但是查詢余票很快。2012年10月份，二期用GemFire改造訂票查詢2013年春節(jié)，又是網上訂票頂峰期間，大家可以顯著發(fā)現，可以登錄12306,雖然還是很難訂票，但是查詢余票很快，而且查詢自己的訂票記錄也很快。鐵路余票(庫存)信息量也很大訂票的第一步：查詢余票

信息，而且會有屢次查詢5518個分局實時數據流數據庫小型機20多臺余票計算HPUnix服務器中央數據庫小型機1.數據“實時復制”到所有“數據分庫”2.所有數據分庫數據統(tǒng)一一致，承擔部分預處理運算各地分支機構“數據實時復制”傳輸并匯總到總部中央數據庫Web&App小型機N>100Web層效勞器應用層效勞器數據庫小型機80臺HPUnix服務器...1.深度處理數據統(tǒng)一復制到所有“數據分庫”2.數據分庫獨立運行，運算負荷高，DBIO瓶頸實時數據復制實時數據復制12306網上訂票原有系統(tǒng)架構資料匯總

Web&AppServersN>100Web效勞器集群應用效勞器集群數據庫(x86)SQL語句抽取RabbitMQ(x86)集群讀取變化數據Gemfire服務器

(x86)集群

17臺...18個分局實時數據流原有IT系統(tǒng)結構數據分流云應用系統(tǒng)設計結構實時數據復制SybaseReplication

實時數據復制日志/存儲過程復制技術中央數據庫小型機數據庫小型機N>5數據庫小型機M>5012306網上訂票系統(tǒng)架構改造原有系統(tǒng)只做熱備Sybase復制效勞器12306的邏輯架構17臺X86效勞器，2CPU*8核1T內存常用數據表20多個余票數據表60多個單次查詢耗時15秒左右無法支持高流量并發(fā)查詢，只能通過分庫來實現，在極端高流量并發(fā)情況，系統(tǒng)無法支撐高峰期間無法訪問，也無法動態(tài)增加機器來應當運行在UNIX小型機單次訂票查詢最長耗時150-200毫秒，單次查詢最短耗時1-2毫秒。提高100倍-1000倍支持每秒上萬次的并發(fā)查詢，頂峰期間2.6萬個并發(fā)/秒，查詢速度依然是平均200毫秒以內按需彈性動態(tài)擴展，并發(fā)量增加還可以動態(tài)增加機器應對，同步實時變化的數據耗時秒級運行在LinuxX86效勞器集群12306改造后12306改造之前改造后取得的效果

--來自網上訂票系統(tǒng)實際運行數據12306的一些數據可系統(tǒng)已經部署在生產環(huán)境中，一切正常穩(wěn)定運行，準確度與原系統(tǒng)一致。生產環(huán)境中有17臺物理機，每臺物理機器4個邏輯節(jié)點，總共68個節(jié)點，每個節(jié)點設置32G緩存。每臺物理效勞器配置為1T內存，2CPU*8核心，屬于超配，為了未來的擴展系統(tǒng)配置了一份數據冗余，內存占用在200GB-300GB之間(整個余票查詢系統(tǒng))余票總量在2000萬到3000萬條記錄之間變化，預售時間越長數據越多，在春節(jié)頂峰期間，最大并發(fā)量訪問量到達2.6萬次/秒余票查詢屬于讀寫別離的案例，沒有任何寫回數據庫的動作，所有的余票數據都保持在GemFire內存中，GemFire內存的數據持久化到本地硬盤。目前GemFire內存和硬盤中都有2份數據保證高可用性。

2012年10月份開始改造二期—訂單查詢二期改造：改造訂單查詢一期改造：余票查詢Web層效勞器應用層效勞器原有訂單處理系統(tǒng)結構Web層效勞器應用層效勞器交易請求交易應用效勞器集群查詢應用效勞器集群。。。。。。交易UNIXServercluster：最大處理能力：200筆/秒數據復制查詢請求查詢UNIXServercluster：最大處理能力：200-300筆/秒-數據復制到數據庫–瓶頸-并發(fā)查詢量大,影響數據復制效率-導致數據復制堵塞訂單查詢原有架構Web層效勞器應用層效勞器改造后訂單處理系統(tǒng)結構Web層效勞器應用層效勞器交易請求。。。。。。交易UNIXServercluster：最大處理能力：500筆/秒數據復制到內存查詢請求GemfireServerx86cluster：最大處理能力：》10000筆/秒平均反響時間:20-30msx86cluster訂單查詢改造后架構交易應用效勞器集群查詢應用效勞器集群

只能處理每秒300-400的并發(fā)查詢，平均查詢在100毫秒左右無法支持高并發(fā)查詢在極