大數(shù)據(jù)處理與分析相關(guān)簡介

大數(shù)據(jù)處置與分析相關(guān)平臺簡介中國人民大學(xué)信息學(xué)院董兆安內(nèi)容來自CSDN等互聯(lián)網(wǎng)資源大數(shù)據(jù)及其主要特征2規(guī)模〔Volume〕、種類〔Variety〕、速度〔Velocity〕2001年，道格.萊尼〔DougLaney〕VolumeVolumeVarietyVolume模態(tài)多樣VelocityVolume速度極快體量宏大文本視頻圖片音頻到2020年，數(shù)據(jù)總量達(dá)40ZB，人均5.2TB分享的內(nèi)容條目超越25億個(gè)/天，添加數(shù)據(jù)超越500TB/天關(guān)于大數(shù)據(jù)定義的誤解blogs.gartner/doug-laney/Other“V〞slikeveracity,validity,value,etc.areaspirationalqualitiesofalldata,notdefinitionalqualitiesofbigdata.3硬件、技術(shù)、數(shù)據(jù)不斷進(jìn)化4傳統(tǒng)的數(shù)據(jù)處置ExternalDataSourcesExtractTransformLoadDataWarehouseIntegratedstorageDataprocessingUsersSQL5數(shù)據(jù)分析的需求也逐漸提高從海量數(shù)據(jù)中快速獲取有價(jià)值信息低延遲、高性能、分布式、可擴(kuò)展、容錯(cuò)。6RTAPOLAPOLTP需求變化7Real-TimeNon-InteractiveBatchInteractiveOnlinesystemsRealtimeAnalyticsComplexeventprocessingDatapreparationIncrementalbatchprocessingDashboardsOperationalbatchprocessingEnterprisereportsDataminingParameterizedReportsDrilldownVisualizationExploration0--5s5s--1m1m--1h1h+場景不同-工具不同-視角不同Hortonworks將運(yùn)用需求進(jìn)展了如下劃分：實(shí)時(shí)運(yùn)用場景(0~5s)：Storm、S4、ClouderaImpala，ApacheDrill等；交互式場景〔5s~1m〕：最好支持SQL，：ClouderaImpala、ApacheDrill、Shark等；非交互式場景〔1m~1h〕：MapReduce、Hive、Pig、Stinger等；批處置場景〔1h+〕運(yùn)轉(zhuǎn)時(shí)間較長，處置數(shù)據(jù)量較大，對容錯(cuò)性和擴(kuò)展性要求較高M(jìn)apReduce、Hive、Pig、Stinger等。8大數(shù)據(jù)分析與處置架構(gòu)——一個(gè)案例9IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceRepository,WorkbenchIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZone9Connectors大數(shù)據(jù)處置與分析技術(shù)數(shù)據(jù)采集數(shù)據(jù)處置數(shù)據(jù)存儲統(tǒng)計(jì)分析數(shù)據(jù)發(fā)掘模型預(yù)測數(shù)據(jù)可視化元數(shù)據(jù)管理10數(shù)據(jù)處置的幾種方式轉(zhuǎn)換TransformerConvertpayloadormodifyheaders過濾FilterDiscardmessagesbasedonbooleanevaluation路由RouterDeterminenextchannelbasedoncontent分割SplitterGeneratemultiplemessagesfromone聚集AggregatorAssembleasinglemessagefrommultiple11幾種平臺引見MPPHadoopstormspark12開源的大數(shù)據(jù)處置平臺SQLonHadoopHortonworks:Tez、StingerCloudera:ImpalaFacebook：Hive，PrestoGoogle發(fā)布了Dremel和PowerDrillEMC推出Pivotal+HAWQ開源數(shù)據(jù)倉庫brighthouse基于MySQL的數(shù)據(jù)倉庫存儲引擎13開源的大數(shù)據(jù)處置平臺NO-MapReduce系統(tǒng)微軟的DAG義務(wù)計(jì)算模型DryadGoogle的圖批量同步處置系統(tǒng)Pregel和增量式計(jì)算框架PercolatorYahoo!的數(shù)據(jù)流計(jì)算系統(tǒng)S4、NYU的共享內(nèi)存處置系統(tǒng)PiccoloBerkeley的交互式實(shí)時(shí)處置系統(tǒng)Spark等等。NEWSQL系統(tǒng)VoltDBmySQL集群14Hadoop的版本1516IntelHadoop*17Hadoop1.018Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorMorevarieddatasourceswithmanymoreaccess/retentionrequirementsUsers19Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorDataaccessedthroughmultipleentrypointsUsers20Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersLotsofnewconsumersofthedata21Hadoopeco-systemExternalDataSourcesHDFSstoragelayerProcessingFramework(Map-Reduce)HBaseSqoop+FlumePigHiveQLMahoutHiveMetastore(HCatalog)OozieClouderaNavigatorUsersOneaccesscontrolmechanism:files22Hadoop1.0——HDFS存儲模型23Hadoop1.0——計(jì)算模型MapReduce24節(jié)點(diǎn)功能與角色25集群部署表示26YARN和Hadoop2.027comprisesthelatestreleaseacrossHadoopandthekeyrelatedprojectsintoasingleintegratedandtestedplatformCoreservicesDataservicesOperationalservices28Hadoop2.0Hadoop2.0YARN的根本思想是將JobTracker的兩個(gè)主要功能資源管理和作業(yè)調(diào)度/監(jiān)控分別主要方法是創(chuàng)建一個(gè)全局的ResourceManager〔RM〕和假設(shè)干個(gè)針對運(yùn)用程序的ApplicationMaster〔AM〕29對比：Hadoop1.0JobTracker和TaskTracker30對比：Hadoop2.031運(yùn)轉(zhuǎn)在YARN上的計(jì)算框架YARN=YetAnotherResourceNeogitator.32內(nèi)存計(jì)算——SparkandShark33High-SpeedIn-MemoryAnalytics

overHadoopandHiveDataUCBERKELEY34MapReduce——數(shù)據(jù)共享于HDFSiter.1iter.2...InputHDFS

readHDFS

writeHDFS

readHDFS

writeInputquery1query2query3result1result2result3...HDFS

readSlowduetoreplication,serialization,anddiskIO35iter.1iter.2...InputSpark——數(shù)據(jù)共享于內(nèi)存Distributed

memoryInputquery1query2query3...one-time

processing10-100×fasterthannetworkanddiskSpark之RDD——彈性分布式數(shù)據(jù)集3637伯克利架構(gòu)38分布式實(shí)時(shí)計(jì)算系統(tǒng)

Storm流數(shù)據(jù)處置Storm可以用來處置源源不斷流進(jìn)來的音訊，處置之后將結(jié)果寫入到某個(gè)存儲中去。S4(SimpleScalableStreamingSystem)是一個(gè)分布式流處置引擎，開發(fā)者可以在這個(gè)引擎根底上開發(fā)面向無界的，不延續(xù)的流數(shù)據(jù)處置運(yùn)用。分布式rpc由于storm的處置組件是分布式的，而且處置延遲極低，所以可以作為一個(gè)通用的分布式rpc框架來運(yùn)用。搜索引擎本身也是一個(gè)分布式rpc系統(tǒng)。39STORM角色Nimbus：擔(dān)任資源分配和義務(wù)調(diào)度。Supervisor：擔(dān)任接受nimbus分配的義務(wù)，啟動和停頓屬于本人管理的worker進(jìn)程。Worker：運(yùn)轉(zhuǎn)詳細(xì)處置組件邏輯的進(jìn)程。Task：worker中每一個(gè)spout/bolt的線程稱為一個(gè)task.40根本邏輯——概念Spout：在一個(gè)topology中產(chǎn)生源數(shù)據(jù)流的組件。Spout是一個(gè)自動的角色，其接口中有個(gè)nextTuple()函數(shù)，storm框架會不停地調(diào)用此函數(shù)，用戶只需在其中生成源數(shù)據(jù)即可。Bolt：在一個(gè)topology中接受數(shù)據(jù)然后執(zhí)行處置的組件。Bolt可以執(zhí)行過濾、函數(shù)操作、合并、寫數(shù)據(jù)庫等任何操作。Bolt是一個(gè)被動的角色，Tuple：一次音訊傳送的根本單元。Stream：源源不斷傳送的tuple就組成了stream。Topology：storm中運(yùn)轉(zhuǎn)的一個(gè)實(shí)時(shí)運(yùn)用程序，由于各個(gè)組件間的音訊流動構(gòu)成邏輯上的一個(gè)拓?fù)錁?gòu)造。41大數(shù)據(jù)處置平臺——MPP42

運(yùn)用程序經(jīng)過Master主機(jī)訪問數(shù)據(jù)

在存儲節(jié)點(diǎn)和Master主機(jī)之間交換數(shù)據(jù)

每一個(gè)存儲節(jié)點(diǎn)都是獨(dú)立的PgSQL數(shù)據(jù)庫〔無共享〕QueryPlanMPP=MassiveParallelProcessing海量并行處置構(gòu)造數(shù)據(jù)分發(fā)43Share-Nothing的完全并行架構(gòu)

44共享磁盤例如：OracleRACDBSAN/共享磁盤DBDBDB網(wǎng)絡(luò)SAN/FC完全共享例如：SMP效力器DB磁盤完全不共享例如：GreenplumDBDBDBDB網(wǎng)絡(luò)磁盤磁盤磁盤磁盤Master注：一切的共享資源都用藍(lán)灰色表示基于外部表的高速