CDH-HDP-MAPR-DKH-星環(huán)組件比較

、組件比較:序號(hào)組件名稱CDH（美國(guó)Cloudera）HDP（美國(guó)Hortonworks）MAPR（美國(guó)MapR）DKH（中國(guó)大快）Transwarp（中國(guó)星環(huán)）1HadoopJVVVV2HBaseVVVV3ZookeeperJVVVV4SparkVVVV5HiveVVVV6HueVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVV16StormVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixV26PigVV27RangerV28SliderV29TezV30DrillV31MapR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV、組件簡(jiǎn)介:Hadoop簡(jiǎn)介：集群基礎(chǔ)組件，分為存儲(chǔ)6DFS)和計(jì)算(Mapreduce)兩大部分。apache社區(qū)開源。技術(shù)來(lái)源于因空”的GFS和Mapreduce。Hbase簡(jiǎn)介：鍵-值非關(guān)系型數(shù)據(jù)庫(kù)，apache社區(qū)開源。是Google的Bigtable一個(gè)開源的實(shí)現(xiàn)。Zookeeper簡(jiǎn)介：集群協(xié)調(diào)組件，已開源。是Google的Chubby一個(gè)開源的實(shí)現(xiàn)。Spark簡(jiǎn)介：內(nèi)存計(jì)算框架，伯克利首先提出，現(xiàn)已開源。Hive簡(jiǎn)介：基于HDFS的SQL工具，facebook開發(fā)，后開源。6、Hue簡(jiǎn)介：圖形化集群工具，cloudera開發(fā)，后開源。Impala簡(jiǎn)介：基于HDFS的SQL工具，cloudera開發(fā)，后開源。Sqoop簡(jiǎn)介：用于關(guān)系型數(shù)據(jù)庫(kù)與NOSQL數(shù)據(jù)庫(kù)之間的數(shù)據(jù)導(dǎo)入導(dǎo)出。Cloudera開發(fā)，已開源。Flume簡(jiǎn)介：用于數(shù)據(jù)流的導(dǎo)入，Cloudera開發(fā)，已開源。Oozie簡(jiǎn)介：工作流系統(tǒng)，用于提交、監(jiān)控集群作業(yè)。Cloudera開發(fā)，已開源。Solr簡(jiǎn)介：基于Lucene的全文搜索服務(wù)器。已開源。Isilon簡(jiǎn)介：基于OneFs操作系統(tǒng)的存儲(chǔ)產(chǎn)品，美國(guó)賽龍公司開發(fā)，后屬于EMC，一種集群存儲(chǔ)方案。K-Vstoreindexer簡(jiǎn)介：為HBase到solr的索引中間件，為NGDATA公司開發(fā)，已開源。ClouderaManager簡(jiǎn)介：CDH集群安裝管理工具。Cloudera開發(fā)。kafka簡(jiǎn)介：消息隊(duì)列組件。已經(jīng)開源。Storm簡(jiǎn)介：流數(shù)據(jù)處理組件。Elasticsearch簡(jiǎn)介：基于Lucene的全文搜索服務(wù)器。已開源。ESSQL簡(jiǎn)介：基于Elasticsearch的SQL工具，大快開發(fā)。DK-NLP簡(jiǎn)介：自然語(yǔ)言處理組件。大快開發(fā)，已開源。DK-SPIDER簡(jiǎn)介：分布式爬蟲組件。大快開發(fā)。DKM簡(jiǎn)介：集群安裝管理工具。大快開發(fā)。DK-DMYSQL簡(jiǎn)介：分布式MYSQL組件，大快改寫。ApacheFalcon簡(jiǎn)介：Falcon是一個(gè)面向Hadoop的、新的數(shù)據(jù)處理和管理平臺(tái)，設(shè)計(jì)用于數(shù)據(jù)移動(dòng)、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)。ApacheKnox簡(jiǎn)介：Apacheknox是一個(gè)訪問hadoop集群的restapi網(wǎng)關(guān)，它為所有rest訪問提供了一個(gè)簡(jiǎn)單的訪問接口點(diǎn)。ApachePhoenix簡(jiǎn)介：Phoenix是HBase的SQL驅(qū)動(dòng)。ApachePig簡(jiǎn)介：Pig定義了數(shù)據(jù)流語(yǔ)言PigLatin，它是MapReduce編程抽象。ApacheRanger簡(jiǎn)介：ranger是一個(gè)hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個(gè)集中的管理機(jī)制，管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。ApacheSlider簡(jiǎn)介：Slider是一個(gè)YARN應(yīng)用，用于發(fā)布已有的分布式應(yīng)用到Y(jié)ARN上，并對(duì)這些應(yīng)用進(jìn)行監(jiān)控以及根據(jù)需要調(diào)整規(guī)模。Tez簡(jiǎn)介：Tez支持DAG作業(yè)的計(jì)算框架，它直接源于MapReduce框架，核心思想是將Map和Reduce兩個(gè)操作進(jìn)一步拆分形成一個(gè)大的DAG作業(yè)。ApacheDrill簡(jiǎn)介：ApacheDrill是一個(gè)低延遲的分布式海量數(shù)據(jù)（涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化以及嵌套數(shù)據(jù)）交互式查詢引擎，使用ANSISQL兼容語(yǔ)法。MapR-DB簡(jiǎn)介：MapR開發(fā)MapRStreams簡(jiǎn)介：MapR開發(fā)Mahout簡(jiǎn)介：機(jī)器學(xué)習(xí)算法庫(kù)，現(xiàn)已停止更新。HttpFS簡(jiǎn)介：Cloudera開發(fā)的基于http協(xié)議的HDFS操作組件。Sentry簡(jiǎn)介：ApacheSentry是Cloudera公司發(fā)布的一個(gè)Hadoop開源組件，截止目前還是Apache的孵化項(xiàng)目，它提供了細(xì)粒度級(jí)、基于角色的授權(quán)以及多租戶的管理模式。Sahara簡(jiǎn)介：Sahara旨在為用戶提供簡(jiǎn)單部署Hadoop集群的能力，提供在OpenStack上快速配置和部署Hadoop集群的能力。37、Myriad0.1.0簡(jiǎn)介:Myriad是一個(gè)Mesos框架用來(lái)動(dòng)態(tài)擴(kuò)展YARN集群，并支持運(yùn)行Hadoop應(yīng)用，如Spark和非Hadoop應(yīng)用，如Node.js、Memcached、RoR等。TranswarpInceptor簡(jiǎn)介：由ApacheSpark改寫，TranswarpInceptor交互式分析引擎提供高速SQL分析和R語(yǔ)言數(shù)據(jù)挖掘能力，可幫助企業(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)和/或數(shù)據(jù)集市，結(jié)合多種報(bào)表工具提供交互式數(shù)據(jù)分析、即時(shí)報(bào)表和可視化能力。星環(huán)開發(fā)。TranswarpHyperbase簡(jiǎn)介：TranswarpHyperbase實(shí)時(shí)數(shù)據(jù)庫(kù)是建立在ApacheHBase基礎(chǔ)之上，融合了多種索引技術(shù)、分布式事務(wù)處理、全文實(shí)時(shí)搜索、圖形數(shù)據(jù)庫(kù)在內(nèi)的實(shí)時(shí)NoSQL數(shù)據(jù)庫(kù)。星環(huán)開發(fā)。TranswarpStream簡(jiǎn)介：TranswarpStream實(shí)時(shí)流處理引擎提供了強(qiáng)大的流計(jì)算表達(dá)能力，支持復(fù)雜的應(yīng)用邏輯，生產(chǎn)系統(tǒng)的消息通過實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群，在集群內(nèi)以流水線方式被依次處理，完成數(shù)據(jù)轉(zhuǎn)換、