OWER大數(shù)據(jù)解決方案介紹及案例分享

POWER大數(shù)據(jù)解決方案介紹及案例分享許棟IBMPower資深系統(tǒng)架構(gòu)師AgendaPower，為大數(shù)據(jù)而設計Power大數(shù)據(jù)方案介紹應用場景和案例分享3現(xiàn)實世界中的數(shù)據(jù)量呈爆炸式增長46億移動電話用戶13億RFID標簽in2005

30億RFID

標簽by201020億Internet用戶by2011Twitter每天處理

7terabytes數(shù)據(jù)Facebook每天處理

10terabytes

世界氣象數(shù)據(jù)中心220Terabytes

網(wǎng)頁數(shù)據(jù)9Petabytes

其他數(shù)據(jù)資產(chǎn)市場數(shù)據(jù)量增長1,750%,

2003-064數(shù)據(jù)爆炸的時代，贏得數(shù)據(jù)才能贏得世界數(shù)據(jù)是新的自然資源基于數(shù)據(jù)的決策更加復雜更加重要數(shù)據(jù)的爆炸式增長超出系統(tǒng)能力大數(shù)據(jù)計算需要什么樣的硬件平臺？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批處理交互分析流計算更大容量更低成本更快的處理速度支持多樣化的計算類型橫向擴展的能力更大更多的磁盤更少機器更少空間和耗電更低的造價游戲Map-ReduceHPC圖像渲染云存儲工業(yè)仿真計算密集消重/歸檔風險分析IO密集流計算實時分析/交互分析更快的CPU更多的線程并行更大的內(nèi)存容量和帶寬更大的IO帶寬Flash加速大數(shù)據(jù)處理技術(shù)的發(fā)展，對硬件提出了更高的要求…靈活的硬件配比支持從計算密集到IO密集多種計算類型靈活定制硬件創(chuàng)新，CPU、GPU和混合計算多種計算負載的混合調(diào)度6認知計算能力持續(xù)數(shù)據(jù)加載性能海量IO帶寬低延遲極端Flash性能加速網(wǎng)格擴展存儲私有云公有云TraditionalIT混合云為BigData而設計軟件定義+云化開放和協(xié)作創(chuàng)新Power8基于云的實時、敏捷、高效和開放的架構(gòu)才能滿足新計算時代的需求Power8----迄今最快的CPUPower更強大的計算能力意味著更快的數(shù)據(jù)洞察查詢報告預測分析認知計算大數(shù)據(jù)和分布式并行計算場景，仍然需要更強大的CPUPower8性能對比測試testmachineCPUMemory(GB)CoreNumberTPSPercoreperformance(TPS)PKDL380pE5-2650@2.2Ghz642*6=12corephysicalbox19001581Power8282-22APower8@3.93GHz16dedicated1coreLPAR7907905.0xSPECjEnterprise2010benchmark,1.76xcoretocoreadvantagethanSPARCT5OracleSiebelCRM8.1.1.xbenchmark,6.7xcoretocoreadvantagethanSPARCT51.76x6.7xPower8—業(yè)界最高的8并發(fā)超線程Power8更多的超線程意味著更高的并發(fā)性更多用戶更多活動作業(yè)SMT8技術(shù)允許在同一個物理CPU核心上同時運行8個獨立的指令或線程，比Power7的SMT4高了一倍，是Intel上的超線程技術(shù)的4倍可以按需在不同模式見動態(tài)轉(zhuǎn)換：SMT1/SMT2/SMT4/SMT8Power8更大的內(nèi)存，更寬的內(nèi)存帶寬，更快的內(nèi)容讀寫意味著更適合內(nèi)存計算場景和計算密集型場景更大的內(nèi)存數(shù)據(jù)庫更大的OLAP多維立方體更快的內(nèi)存思想性分析更高效的實時數(shù)據(jù)分析Power8—超大內(nèi)存帶寬較POWER7內(nèi)存帶寬提升2.3倍，是x86的4倍每處理器支持1TB內(nèi)存，高達192GB/sec內(nèi)存帶寬

單臺Power8服務器最多可支持230.4GB/sec內(nèi)存帶寬史無前例的片上96MBL3cache創(chuàng)新內(nèi)存緩存芯片，進一步提高內(nèi)存讀寫速度Power8——更大的I/O帶寬更快的I/O讀取意味味著更適適合數(shù)據(jù)據(jù)密集型型場景更低的數(shù)數(shù)據(jù)讀寫寫延遲更高的數(shù)數(shù)據(jù)讀寫寫速度創(chuàng)新I/O協(xié)處理硬硬件，軟軟件功能能硬件加加速較POWER7,內(nèi)存帶寬寬提升2.3倍內(nèi)置PCIeGen3支持直接處理理器集成成取代專屬屬GX/橋接低延時Gen3x16帶寬(32GB/s)PCIeGen3x16x8x16x8Power8I/O帶寬測試試Power靈活配比比方案，，支持更更多計算算類型SmallPODMediumPODLargePOD–ALargePOD–BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePOD––B2P8S822Lw/1DCS3700LargePOD––A1P8S822Lw/1DCS3700Power大數(shù)據(jù)最最佳實踐踐從計算密密集型到到數(shù)據(jù)密密集型都都有靈活活的配比比方案性能、容容量和成成本的最最佳平衡衡ComputeDenseStorageDensePower8無處不在在的RAS處理器指指令重試試備用處理理器恢復復可選擇動動態(tài)固件件更新Chipkill內(nèi)存ECC二級緩存存、三級級緩存帶故障監(jiān)監(jiān)控功能能的服務務處理器器熱插拔磁磁盤托架架熱插拔并并發(fā)維護護PCIe插槽熱插拔冗冗余電源源和散熱熱風扇動態(tài)處理理器重新新分配PCI插槽上的的擴展錯錯誤處理理Power8遠超x86的高可靠靠設計CustomHardwareApplicationPOWER8CAPPCoherenceBusPSLFPGAorASIC可自定義義的硬件件應用程程序加速速器特定的系系統(tǒng)軟件件、中間間件或用用戶應用用程序?qū)懭隤SL提供的持持久接口口POWER8PCIeGen3TransportforencapsulatedmessagesProcessorServiceLayer(PSL)向應用程程序提供供成熟的的、穩(wěn)定定的接口口降低CAPP的復雜性性和工作作負載虛擬尋址址加速器可可以與處處理器一一樣直接接對內(nèi)存存進行尋尋址與處理器器運行程程序一樣樣使用指指針消除操作作系統(tǒng)和和設備驅(qū)驅(qū)動程序序的額外外開銷Power8創(chuàng)新CAPI接口，開開放定制制硬件加加速硬件管理理的緩存存一致性性使得加速速器能作作為正常常線程參參與“Locks”，降低IO通信模型型中的延延遲基于Power8CAPI加速接口口，為大大數(shù)據(jù)進進行硬件件創(chuàng)新AgendaPower，為大數(shù)數(shù)據(jù)而設設計Power大數(shù)據(jù)方方案介紹紹應用場景景和案例例分享企業(yè)級市市場的大大數(shù)據(jù)應應用機會會KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2013to2017inGCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,Gov’’tsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket大數(shù)據(jù)的的主要應應用類型型實時性高高實時性低低簡單查詢詢復雜分析析內(nèi)存數(shù)據(jù)據(jù)庫內(nèi)存分析析NoSQL實時查詢詢流式計算算M-R批量分析析MPP數(shù)據(jù)倉庫庫多應用混混合大數(shù)數(shù)據(jù)平臺臺海量數(shù)據(jù)據(jù)存儲海量數(shù)據(jù)據(jù)存儲IBM基于Power的大數(shù)據(jù)據(jù)方案實時性高高實時性低低簡單查詢詢復雜分析析內(nèi)存數(shù)據(jù)據(jù)庫內(nèi)存分析析NoSQL實時查詢詢流式計算算M-R批量分析析MPP數(shù)據(jù)倉庫庫多應用混混合大數(shù)數(shù)據(jù)平臺臺Power+CAPI+Flash+NoSQLPower+StreamPower+DB2BLUPower+DB2DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symphony/GFSP+HadoopSpectrumStoragePower+GPFSTheMarket:Explosivegrowthofnewmobile,socialappsrequiringlighteningfastresponseathighvolumeEnabledbyin-memoryNoSQL,KeyValueStoreslikeRedisOrdered(key,value)pairsprovidetypeofin-memory,lighteningfastdistributedhashtablePlaysanimportantroleinmanylargewebsitesGitHub,Amazon,Facebook,Twitter&more…TheIssue:x86memorylimitedbymaxRAMScale-outx86serverslimitedmemorysizeResultsincostly,complexinfrastructureLoadBalancer500GBCacheNode500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:NewFLASHasRAMforRedisin-memoryappsProvidesmeansforlargeFLASHexploitationLowercostmemory,greaterworkloaddensityDramaticallyreducecoststodeliverservicesCanbeofferedasacloud-basedserviceorasanon-premisesolutionforenterprises24:1serverconsolidation3Upto3xlowerTCA24UPowerS822L/S812LUbuntu14.10FlashSystem8402TBto40TBFlash4UTheSolution:POWER8+CAPIFLASHasRAM-Upto40TBin4U19Power8+CAPI+Flash，NoSQL內(nèi)存數(shù)據(jù)據(jù)庫方案案LoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory&CachefordynamictuningEliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirementsLargeDistributed(Scaleout)LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancingPowerCAPI-attachedFlashmodelforNoSQLregainsinfrastructurecontrolandreignsinthecosttodeliverservices.Power8創(chuàng)新NoSQL方案與與現(xiàn)有有NoSQL方案比比較10GbUplinkBackupNodes500GBCacheNode500GBCacheNode500GBCacheNode512GBCacheNode24:1Reductionininfrastructure2.4xPricereduction12xLessEnergy12xLessrackspace40TBofextendedmemory4U大數(shù)據(jù)據(jù)JAVA計算算過程程使用用GPU加加速，，提升升5倍倍的性性能Power8+JAVA+GPU，大數(shù)數(shù)據(jù)硬硬件加加速方方案其他Power8CAPI開放硬硬件創(chuàng)創(chuàng)新方方案……提供無無限可可能GoogleDesignedinnovationserverbaseonPower8chipKey-Value-Store35xperformanceperwattimprovement高性能能網(wǎng)絡絡加速速卡減減少10x延遲10xreduceslinesofCcodeby40xcomparedtonon-CAPI250xFasterwithCAPIFPGA+POWER8coreforMonteCarloSimulationsTMSFlashmemorystorageCoherentlyattachedHighspeed&convergednetworkingAcceleratorSwitchboardNetworkvirtualizationFieldProgrammableGateArray(FPGA)Coherently(CAPI)attachedGPU加速速，高高性能能網(wǎng)卡卡加速速，F(xiàn)lash加速速，蒙蒙特卡卡羅分分析硬硬件加加速，，硬件件壓縮縮，硬硬件加加解密密……….Power+Stream流計算算方案案23大數(shù)據(jù)據(jù)平臺臺實時時分析析平臺臺一個處處理流流數(shù)據(jù)據(jù)的低延遲遲平臺毫秒級級，甚甚至微微妙級級端到到端的的延遲遲一個可高度度擴展展的，用用于實時分分析的高性能能平臺通過橫橫向增增加硬硬件獲獲得近近線性性的處處理能能力擴擴展高達125個節(jié)點點擴展展一個靈活的的、動態(tài)的的平臺Streams應用靈靈活部部署支持動動態(tài)部部署新新的分分析應應用MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoringPower+Stream流計算算方案案編譯時時Operators自動融融合：：高效利利用CPU，調(diào)整整力度度更細細分布式式運行行快速的的數(shù)據(jù)據(jù)交換換允許自自動或或人工工調(diào)整整良好的的擴擴展性性流處理理語言言：可重用用的operators快速的的動態(tài)態(tài)應用用部署署連續(xù)的的“管管道””處理理靈活、、高性性能的的數(shù)據(jù)據(jù)傳輸輸極低延延遲極高數(shù)數(shù)據(jù)速速率易擴展展內(nèi)置adaptors用戶可可使用用熟悉悉的C++和Java進行擴擴充使用為為您帶帶來競競爭優(yōu)優(yōu)勢的的數(shù)據(jù)據(jù)：幾乎能能處理理任何何數(shù)據(jù)據(jù)類型型使用一一些傳傳統(tǒng)方方式無無法處處理或或處理理成本本太高高動態(tài)分分析：：運行時時程序序拓撲撲的變變動創(chuàng)建新新任務務動態(tài)數(shù)數(shù)據(jù)流流Power+DB2BLU內(nèi)存分分析方方案實現(xiàn)10TB數(shù)數(shù)據(jù)據(jù)亞秒秒級查查詢系統(tǒng)-32核，10TB的表，，含100個列，，10年的數(shù)數(shù)據(jù)查詢：：2010年有多多少事事務SELECTCOUNT(*)fromMYTABLEwhereYEAR='2010’結(jié)果：：亞秒秒級10TB查詢??！每個個CPU核心只只檢查查相當當于8MB的數(shù)據(jù)據(jù)StandAloneDB2BLU:UltraFastAnalyticsPower:UltraFastInfrastructureSolutionAdvantageArchitecture：OpenSolutionismorepreferredinChinacustomersTechnology:DynamicIn-Memory,ActionableCompression,ParallelVectorProcessing,DataSkipping,etc.Performance：DB2BLUonPower7xbetterperformancethanSAPHANAPrice：DB2BLUonPower1/9costofSAPHANAOptimizedEachOtherDB2onPower=FastonFast,DB2+Power=Excellent+ExcellentSizing720(8c,128GB)2.5-5TB740(16c,256GB)5-10TB750(32c,512TB)10-20TB720(4c,64GB)<2.5TB38xAverageAccelerationofdatabasequeriesforreporting(vs.previousversion)Power+DB2BLU內(nèi)存存分分析析方方案案客戶查詢速度提高某大型金融服務公司46.8倍某第三方軟件供應商37.4倍某分析軟件業(yè)務公司13.0倍某全球零售公司6.1倍某大型歐洲銀行5.6倍分析查詢速度平均提高10-25倍“Itwasamazingtoseethefasterquerytimescomparedtotheperformanceresultswithourrow-organizedtables.Theperformanceoffourofourqueriesimprovedbyover100-fold!Thebestoutcomewasaquerythatfinished137xfasterbyusingBLUAcceleration.”-KentCollins,DatabaseSolutionsArchitect,BNSFRailwayPower+DB2BLU內(nèi)存存分分析析方方案案vs傳統(tǒng)統(tǒng)基基于于磁磁盤盤的的數(shù)數(shù)據(jù)據(jù)分分析析關注點DB2BLUonPOWERSAPHANA硬件平臺PowerX86性能7Xadvantage(OLAP)總體擁有成本computingresources:10Xadvantagememoryfootprint:10Xadvantagestoragefootprint:10XadvantageTCO:9Xadvantage數(shù)據(jù)容量單節(jié)點5-20TB最佳，無需全部導入內(nèi)存最多56TB，需準確預估，超出可能導致嚴重性能問題架構(gòu)已經(jīng)驗證的部署DB2數(shù)據(jù)庫的成熟平臺支持現(xiàn)有平臺擴展及利舊大中華區(qū)只有少量實施案例全新系統(tǒng)架構(gòu)備份與安全對存儲沒有特別要求，可以利用現(xiàn)有各種備份和存儲災備技術(shù)備份主要采用磁盤備份，目前還不支持大多數(shù)常用備份軟件Power+DB2BLUvsSAPHANAPower+DB2DPFMPP數(shù)據(jù)據(jù)倉倉庫庫方方案案大數(shù)數(shù)據(jù)據(jù)時時代代，，MPP數(shù)據(jù)據(jù)庫庫仍仍然然是是不不可可或或缺缺的的重重要要部部分分MPP作為為結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)和和匯匯總總數(shù)數(shù)據(jù)據(jù)的的實實時時查查詢詢、、交交互互分分析析和和報報表表展展現(xiàn)現(xiàn)的的重重要要載載體體DB2DPF作為為MPP的代代表表，，具具有有廣廣泛泛的的優(yōu)優(yōu)點點，，是是DW均衡衡架架構(gòu)構(gòu)的的最最佳佳實實現(xiàn)現(xiàn)，CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1CPU2CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1CPU2CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99…..SMP+MPP架構(gòu)構(gòu)的的DB2DPFDW垂直直擴擴展展:擴展展操操作作系系統(tǒng)統(tǒng)資資源源數(shù)數(shù)量量以以及及內(nèi)內(nèi)部部的的每每個個DB2分區(qū)區(qū)節(jié)節(jié)點點的的資資源源數(shù)數(shù)量量水平平擴擴展展:擴展展操操作作系系統(tǒng)統(tǒng)數(shù)數(shù)量量以以及及DB2分區(qū)區(qū)節(jié)節(jié)點點的的數(shù)數(shù)量量Power+DB2DPF，可可靈靈活活選選擇擇硬硬件件平平臺臺，，達達到到性性能能、、擴擴展展性性和和價價格格的的最最佳佳平平衡衡高端方案中端方案低端方案主機高端Power中低端PowerPowerlinux數(shù)據(jù)庫軟件DB2DPFDB2DPFOracleRAC或單機版DB2DPF架構(gòu)SMP+MPP小型SMP+MPP小型SMP+SharedDisk或小型SMPMPP擴展方式垂直擴展或水平擴展DB2一般垂直擴展升級為高端POWER方案，或可水平擴展Oracle可垂直升級為高端方案，很難水平擴展水平擴展存儲中高端存儲中低端存儲中低端存儲適用場景超大規(guī)模主DW、數(shù)據(jù)集市集中庫中型數(shù)據(jù)集市、ODS小型數(shù)據(jù)集市數(shù)據(jù)量（非壓縮）可超過1PB，全球生產(chǎn)案例可達3PB；國內(nèi)案例：128節(jié)點800TB數(shù)十TB至數(shù)百TB數(shù)十TB至上百TB優(yōu)缺點優(yōu)勢：支持超大規(guī)模結(jié)構(gòu)化DW，很好的性能和擴展能力優(yōu)勢：對于適用數(shù)據(jù)量，性能好缺點：水平擴展需要數(shù)據(jù)重分布影響生產(chǎn)性能；Oracle很難水平擴展優(yōu)勢：對于適用數(shù)據(jù)量性價比好缺點：無垂直擴展，水平擴展需數(shù)據(jù)重分布Power+DB2DPFvs一體體機機序號測試場景測試目的ISASvsExadata1數(shù)據(jù)加載測試測試數(shù)據(jù)庫數(shù)據(jù)加載效率占優(yōu)2數(shù)據(jù)壓縮測試測試數(shù)據(jù)庫對數(shù)據(jù)壓縮率占優(yōu)3大數(shù)據(jù)表查詢——selectcount(*)測試數(shù)據(jù)庫對大表的查詢效率。使用全表掃描。不占優(yōu)4多表關聯(lián)查詢（5表、10表）測試數(shù)據(jù)庫多表復雜關聯(lián)的效率占優(yōu)5多表關聯(lián)查詢（2表）測試數(shù)據(jù)庫多表復雜關聯(lián)的效率占優(yōu)6寬表查詢測試數(shù)據(jù)庫對寬表的匯總查詢效率占優(yōu)7聚合函數(shù)測試數(shù)據(jù)庫對于表的聚合函數(shù)匯總效率占優(yōu)8數(shù)據(jù)的distinct去重測試數(shù)據(jù)庫distinct去重的效率占優(yōu)9復制一張表的某些字段和一部分數(shù)據(jù)CTAS類型操作的效率占優(yōu)10存儲過程用例測試生產(chǎn)系統(tǒng)常用業(yè)務組合的效率占優(yōu)11并發(fā)的查詢用例測試生產(chǎn)系統(tǒng)常用業(yè)務組合的效率占優(yōu)12多任務查詢用例測試生產(chǎn)系統(tǒng)常用業(yè)務組合的效率占優(yōu)13多個巨量SQL并發(fā)測試測試生產(chǎn)系統(tǒng)常用業(yè)務組合的效率占優(yōu)14卸載數(shù)據(jù)測試數(shù)據(jù)庫自有的數(shù)據(jù)庫導出工具數(shù)據(jù)導出性能占優(yōu)15數(shù)據(jù)的insert操作測試數(shù)據(jù)庫的insert操作效率。占優(yōu)16數(shù)據(jù)的刪除操作——刪除部分數(shù)據(jù)測試數(shù)據(jù)庫大表的刪除速度占優(yōu)17數(shù)據(jù)的rollback操作測試數(shù)據(jù)庫大表的刪除后rollback的效率占優(yōu)18數(shù)據(jù)的刪除操作——整表刪除測試數(shù)據(jù)庫大表的刪除效率，truncatetable占優(yōu)占優(yōu)比例94%2012年年在在某某移移動動客客戶戶進進行行的的對對比比測測試試，，證證明明Power+DB2DPF具具有有超超越越一一體體機機性性能能的的能能力力，，且且性性價價比比更更高高，，客客戶戶可可靈靈活活設設計計硬硬件件架架構(gòu)構(gòu)。。DB2DPFvs其他他MPP數(shù)據(jù)據(jù)庫庫2013年年在在某某移移動動客客戶戶進進行行的的對對比比測測試試，，DB2DPF在在幾幾乎乎所所有有場場景景的的性性能能表表現(xiàn)現(xiàn)均均超超越越了了其其他他MPP產(chǎn)產(chǎn)品品。。8節(jié)點點+SSD盤8節(jié)點點+磁盤盤16節(jié)點點4地市市融融合合業(yè)業(yè)務務場場景景32Power海量非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)分析析方案HDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理層平臺層工具層HiveStormBigSQLStreamPigBigSheetSewuoiaDBSPSSPowerlinux：企業(yè)級環(huán)環(huán)境的最最佳選擇擇，性能能與成本本最佳平平衡的新新一代硬硬件平臺臺標準linux,Redhat/Suse全面支持持更加成熟熟、可靠靠與更高高性能的的分布式式文件系系統(tǒng)領先的大大數(shù)據(jù)計計算調(diào)度度平臺，，多租戶戶管理，，更智能能調(diào)度，，更高性性能、SLA管理，支支持更多多大數(shù)據(jù)據(jù)計算類類型成熟的流流計算和和實時分分析解決決方案企業(yè)級SQLonHadoop方案同樣支持持商業(yè)分分析軟件件完全支持持開源大大數(shù)據(jù)版版本Powerlinux是大數(shù)據(jù)據(jù)計算的的理想平平臺多線程:POWER7+每處理器器核心有有4線程,而Intel的處理器器只有2線程高吞吐:POWER7+有非常大大的內(nèi)存存和I/O帶寬(沃森成功功的關鍵鍵)依賴Java應用:POWER7+提供了高高度優(yōu)化化的JVM企業(yè)用戶戶的大數(shù)數(shù)據(jù)建設設方向是是：資源源共享的的大數(shù)據(jù)據(jù)中心34管理和運運維方面面的需求求共享資源源，提高高資源利利用率，，提高投投資收益益資源統(tǒng)一一調(diào)度，，為每個個應用彈彈性供給給資源統(tǒng)一一管理應用統(tǒng)一一管理用戶統(tǒng)一一管理數(shù)據(jù)安全全統(tǒng)一管管理統(tǒng)一的企業(yè)大數(shù)據(jù)中心平臺業(yè)支網(wǎng)運O域分析B域分析開發(fā)商A應用1開發(fā)商A應用2開發(fā)商B應用1開發(fā)商C應用2任務1任務1任務3任務4任務5任務6任務7任務8業(yè)務和開開發(fā)的需需求統(tǒng)一的基基礎平臺臺層，統(tǒng)統(tǒng)一的數(shù)數(shù)據(jù)和應應用接口口，便于于應用開開發(fā)的標標準化和和開放化化獨立的基基礎平臺臺層，便便于靈活活引入各各種力量量進行應應用層的的開發(fā)創(chuàng)創(chuàng)新數(shù)據(jù)和應應用的共共享和重重用，提提高開發(fā)發(fā)效率，，推動應應用的迭迭代創(chuàng)新新其關鍵是是實現(xiàn)面面向多租租戶的任任務調(diào)度度和資源源管理IBM面向多租租戶的大大數(shù)據(jù)共共享平臺臺實現(xiàn)場場景IBM多租戶大大數(shù)據(jù)平平臺技術(shù)術(shù)實現(xiàn)框框架PlatformComputingSymphonyEGO(DCOS)(dynamicclusterresourcemanagementsupportingdiversetenants)HDFS/GPFS/GPFSFPO(reliable,distributedstorage––yourchoiceofdistributed,orfastparallelPOSIXfilesystems)ABB––applicationbackboneBigInsightsinstance,Streams,Hbase,Oozie,NativeSQLapps,MongoDB,CassandraPlatformSymphonyPlatformSymphonySOAM,PSMRIBMPlatformClusterManager(provisioningandmanagementofdistributedenvironments)HPA,BigData,AnalyticSPSS,Algo,RBigSQL,Pig,Hive,DataExplorer,..PlatformLSFPlatformLSFSerialBatchMPIParallelSessionorientedHPC&BatchanywhereR,SAS,MatLab,DataStageFlowManagementHypervisorPlatformResourceSchedulerExistingDataCenterProvisioningTechnologiesPuppetRPMTPMKick-start…PlatformPPMParallelSOADataAffinityParallelRecursionMapReducePlatformPPMBatchanywhereSAS,Integrationw/Autosys,CtrlMDAGPlatformSymphonyAdvancedServiceControllerYARNAPIPlatformAdvancedServiceControllerMRAMRStreamsDataExplCognosBigSQL(online)HBase(online)YARN(Hadoop2.xRM)MRBatchTezStormABBAppsIBMSymphony支持多種種高性能計算算，高性能分分析，大數(shù)據(jù)據(jù)和其它分布布式框架實際生產(chǎn)環(huán)境境驗證的多租租戶，共享資資源框架。支支持包括Hadoop在內(nèi)的分布式式負載。Symphony能夠支持多租租戶，支持資資源的有效共共享資源在多應用用之間有效共共享、調(diào)配資源計劃示例例37IBMSymphony提供面向多租租戶的資源調(diào)調(diào)度多租戶間基于于策略的資源源共享多應用間可配置的資源共享策略尊重資源擁有者–可獨占支持資源分組，應用可使用多個資源組，每組配置共享策略基于時間的共享策略可配置資源借出、借入策略可配置搶占策略具有保證租戶SLA機制，去除資源共享的業(yè)務障礙多種負載、計計算框架資源源共享：可同同時調(diào)度并執(zhí)執(zhí)行MapReduce分析框架、SPARK內(nèi)存計算、Stream/Storm流式計算、Hbase/MPP/NoSQL數(shù)據(jù)庫、SOA實時計算，R/SAS等傳統(tǒng)BI分析及ETL應用等7種類型的負載載Symphony支持多維度精精確資源管理理和調(diào)度可以為每個租租戶定義多維維度資源調(diào)度度因子，當前前最多支持4個(Cores,Memory,Swap,Tmp,磁盤個數(shù)等)通過負載在每每個傾斜維度度的充分利用用，提高增提提資源利用率率DominantResourceFairness(DRF)算法最大化資資源任務分配配Example:假設集群包含含8cores,40GBmemoryApp1為計算密集型型，每個任務務需要4cores,2.5GBApp2為內(nèi)存密集型型，每個任務務需要1core,10GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GB1core,5GBWithoutMDS(可同時運行3個任務:1App1,2App2)WithMDS(可同時運行4個任務:1App1,3App2)1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core5GB1core2.5GB2.5GBApp1,Task1App2,Task1App2,Task2App2,Task3LegendMulti-DimensionalResourceScheduling(MDS)IBM方案vs純開源方案相對于基于純純開源Hadoop修改的方案，，IBMSymphony軟件有以下特特點：三級粒度資源源管理和調(diào)度度能力，支持持資源分組。。多樣化的資源源調(diào)度策略，，如支持優(yōu)先先級、獨占、、按比例共享、點對點點借還、搶占占、按時間預預留等。完善的用戶/租戶定義和管管理機制。端到端的資源源SLA保障機制。對于服務器CPU/Mem/IO資源的細粒度度精確管控能能力，多維度度調(diào)度資源，，提高整體使使用率?；谟脩舻臄?shù)數(shù)據(jù)共享和安安全隔離機制制健全的圖形化化監(jiān)控管理用用戶界面對開源版本Hadoop及各種新型數(shù)數(shù)據(jù)工具的開開放兼容能力力，支持一個個平臺同時運運行多個Hadoop/YARN版本及實例。。對多種OS和硬件平臺的的開放兼容和和異構(gòu)支持能能力Symphony基于c/c++編寫，經(jīng)過多多年優(yōu)化，比比純開源Hadoop性能更好Symphony具有更高性能能，作業(yè)調(diào)度度使用更高效效的推送方式式，而非輪詢詢方式，相對對開源實現(xiàn)在在不同的場景景下有40%-66倍的性能提升升。具有完整的報報表功能，多多角度搜集、、分析分布式式文件系統(tǒng)、、并行執(zhí)行框框架、資源、、作業(yè)數(shù)據(jù)，，分析平臺利利用情況，發(fā)發(fā)現(xiàn)性能瓶頸頸。企業(yè)級技術(shù)支支持IBMSymphony在大數(shù)據(jù)方案案中的核心價價值靈活-多租戶環(huán)境實實現(xiàn)資源共享享高效-更快速地得到到計算/分析結(jié)果強大-低延遲，高性性能，高可擴擴展經(jīng)濟-降低TCO（基礎設施和和管理開銷））成熟-經(jīng)過大規(guī)模生生產(chǎn)驗證的解解決方案開放-豐富的API和應用支持整合-集成管理工具具，支持多集集群和云環(huán)境境貼心-強大的本地開開發(fā)和技術(shù)支支持團隊資源調(diào)度C工作負載管理CCCCCCCCCCCDDDDDDDDDDDDCCCCCCAAAAAAAAAAAAAAAABBBBBBBBBBBBBBBBBB各種商業(yè)軟件B自開發(fā)應用C大數(shù)據(jù)分析MapReduce/內(nèi)存計算D快速響應靈活擴展經(jīng)濟高效SpectrumStorage/Power+GPFS海量數(shù)據(jù)存儲儲中心方案統(tǒng)一的企業(yè)內(nèi)內(nèi)部存儲云，，云化各種存存儲介質(zhì)，提提供統(tǒng)一的通通用存儲服務務GPFSasunifieddataplaneontopofdifferentstoragesystemsProvidinganunifiedinterfaceforSDScontrolplane,with:Unifiednamespacefordistributedapplications(thenatureofGPFSasclusterfilesystem)MaturedenterprisestoragefeaturesindependenttothestoragesystemsNFSMapReduceConnectorOpenStackFlashDiskTapePOSIXClientworkstationsUsersandapplicationsComputeFarmGSSCIFSCinderSwiftGlanceManilaVMwareSRMVADPVAAIvSphereSinglenamespaceIBMSpectrumScaleShareNothing

ClusterSiteASiteBSiteCGPFS

AFMIBMInterCloudStoreUniversalCloudgatewayconnectsIBMpubliccloud,AmazonS3,AzureandotherstorageprovidersIC

StoreAgendaPower，為大數(shù)據(jù)而而設計Power大數(shù)據(jù)方案介介紹應用場景和案案例分享某運營商流計計算案例--Streams44網(wǎng)絡質(zhì)量實時時監(jiān)測數(shù)據(jù)規(guī)模大，，大于10萬/秒的信令實時洞察網(wǎng)絡絡質(zhì)量指標實時分析CDR短頻話單分析析短頻話單分析析并按小區(qū)/號段統(tǒng)計切換頻話單異常話單單通話單掉話率分析測試結(jié)果（CDR/秒）配置：2GHz*4核*2臺服務器單節(jié)點：702083兩節(jié)點：140000按小區(qū)或號段段緯度統(tǒng)計短短頻話單：1、占用時長小小于15秒的通話，且且同一主叫和和被叫的兩通通通話間隔小小于20秒重復小區(qū)切切換話單.2、剔除業(yè)務臺臺號碼；3、按照小區(qū)維維度統(tǒng)計滿足足條件1、2的話單數(shù)包含設備和業(yè)業(yè)務種類多，，涉及指標多多，數(shù)據(jù)量大大不斷的增大大等挑戰(zhàn)．需需要有一個實實時分析平臺臺解決實時分分析網(wǎng)絡質(zhì)量量問題，優(yōu)化化網(wǎng)絡設備提提高客戶滿意意度．某運營商數(shù)據(jù)據(jù)倉庫案例：：Power+DB2DPF128節(jié)點的典型shared-nothingMPP數(shù)據(jù)倉庫，數(shù)數(shù)據(jù)庫可用容容量已超過500TB。45某運營商移動動流量經(jīng)營和和大數(shù)據(jù)分析析平臺硬件配置:IBMPower70*7R1Redhatv6.46Cores,128GBMemInternalDisk:2*300GB,4*1.2TBEXP24s:24*1.2TBSASdiskNetworkAdapter:2x1000Gbps,2x10000Gbps開源軟件部分分清單:Hadoop

2.3.0-cdh5.0.0HBase0.98.Spark(Sparkstream)HDFS2.3.0-cdh5.0.0某省移動企業(yè)業(yè)級多租戶大大數(shù)據(jù)平臺30臺7R1單臺7R1配置：8core128GB54×SASHDD4×10GE+4×1GE面向多租戶資資源SLA的統(tǒng)一平臺應用之間，用