數(shù)據(jù)立方與Hadoop生態(tài)圈

1、數(shù)據(jù)立方與Hadoop生態(tài)圈 數(shù)據(jù)立方與 Hadoop 生態(tài)圈 數(shù)據(jù)立方提供了結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)和實(shí)時(shí)在線查詢(xún)功能，在整個(gè)生態(tài)圈 中與HBase具有相同的地位。不同的是數(shù)據(jù)立方提供了多維度的實(shí)時(shí)查詢(xún)，下 圖為整個(gè)生態(tài)圈的結(jié)構(gòu)。 ZQOke!巾 分布式協(xié)作服務(wù) 在傳統(tǒng)的Hadoop生態(tài)圈中，主要解決的問(wèn)題是大數(shù)據(jù)的存儲(chǔ)、檢索以及 分析。對(duì)于數(shù)據(jù)的存儲(chǔ)一般采用HDFS作為底層的分布式文件系統(tǒng)，隨著HDFS 版本的不斷升級(jí)，目前 Hfds基本趨向于穩(wěn)定。而數(shù)據(jù)存儲(chǔ)一般采用HBase作 為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，對(duì)于海量數(shù)據(jù)的分析采用Map Reduce 。 Mahout提供了對(duì) 大數(shù)據(jù)的數(shù)據(jù)挖掘功能，免去

2、了我們自己編寫(xiě)分布式程序的問(wèn)題。同時(shí)提供的其 他組件也很方便的給開(kāi)發(fā)者提供快捷的開(kāi)發(fā)。 數(shù)據(jù)立方與HDFS 數(shù)據(jù)立方作為大數(shù)據(jù)的存儲(chǔ)，底層采用了HDFS作為底層的存儲(chǔ)。這樣可 以很大程度上避免對(duì)于文件可靠性、數(shù)據(jù)一致性等存儲(chǔ)問(wèn)題。 數(shù)據(jù)立方與HBase HBase作為目前開(kāi)源的 NoSql，可以提供結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)以及基于 RowKey的實(shí)時(shí)查詢(xún)業(yè)務(wù)。數(shù)據(jù)立方同樣提供了對(duì)于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)， 可以進(jìn) 行多維度的業(yè)務(wù)查詢(xún)。而 HBase目前只要對(duì)于RowKey的查詢(xún)是實(shí)時(shí)的，而其 余字段的查詢(xún)會(huì)導(dǎo)致Full Scan ,導(dǎo)致整個(gè)集群的大量10操作。數(shù)據(jù)立方目前支 持SQL操作，開(kāi)發(fā)人員可以很方便

3、的使用數(shù)據(jù)立方開(kāi)發(fā)。 數(shù)據(jù)立方與 MapReduce 數(shù)據(jù)立方提供基本的實(shí)時(shí)查詢(xún)業(yè)務(wù)，對(duì)于批量的離線分析可以采用 Map Reduce。目前數(shù)據(jù)立方支持 Map Reduce，提供了 Map Reduce 的文件 In putFormat 和OutPutFormat 。用戶同樣可以采用數(shù)據(jù)立方作為 Map Reduce 的數(shù)據(jù)源，相比文件作為數(shù)據(jù)源。數(shù)據(jù)立方可以更快的數(shù)據(jù)源，可以提高 MapReduce的運(yùn)行速度。同時(shí)數(shù)據(jù)立方還會(huì)支持 Spark等其他計(jì)算框架。 數(shù)據(jù)立方與Sqoop 常用的數(shù)據(jù)存儲(chǔ)多采用關(guān)系數(shù)據(jù)庫(kù)，數(shù)據(jù)立方目前支持Sqoop的數(shù)據(jù)導(dǎo)入 導(dǎo)出功能?？梢蕴峁╆P(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)立方的

4、導(dǎo)入導(dǎo)出以及HDFS的導(dǎo)入導(dǎo)出。 數(shù)據(jù)立方優(yōu)勢(shì) 實(shí)時(shí)性：各類(lèi)基本的數(shù)據(jù)查詢(xún)操作基本都在秒級(jí)完成， 大規(guī)模或復(fù)雜的分析 計(jì)算在分鐘級(jí)完成，實(shí)現(xiàn)傳統(tǒng)數(shù)據(jù)庫(kù)所難以達(dá)到的處理能力和處理效率。 高可靠性：避免系統(tǒng)主節(jié)點(diǎn)的單點(diǎn)失效，并具有存儲(chǔ)和計(jì)算節(jié)點(diǎn)失效檢測(cè)和 恢復(fù)的容錯(cuò)處理能力，保證不出現(xiàn)系統(tǒng)癱瘓和數(shù)據(jù)出錯(cuò)現(xiàn)象。 高可擴(kuò)展性：應(yīng)用系統(tǒng)規(guī)模擴(kuò)大時(shí)能根據(jù)需要隨時(shí)增加節(jié)點(diǎn)以擴(kuò)大系統(tǒng)的數(shù) 據(jù)存儲(chǔ)能力和計(jì)算能力；并能在不停機(jī)的情況下增加節(jié)點(diǎn)，以保證應(yīng)用服務(wù)的連 續(xù)性。 全業(yè)務(wù)支持：海量數(shù)據(jù)分布存儲(chǔ)，少量數(shù)據(jù)關(guān)系復(fù)雜或?qū)崟r(shí)性要求很高的數(shù) 據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，采用這種分布式海量數(shù)據(jù)存儲(chǔ)為主、關(guān)系數(shù)據(jù)庫(kù)為輔的混 合式

5、數(shù)據(jù)存儲(chǔ)模式，可存儲(chǔ)各種不同規(guī)模和不同媒體和類(lèi)型的數(shù)據(jù)，滿足各種不 同的數(shù)據(jù)處理和應(yīng)用業(yè)務(wù)需求。 數(shù)據(jù)立方對(duì)比HBase 比較特性 數(shù)據(jù)立方 HBase 支持索引 支持 無(wú)（二級(jí)索引不夠完善） 數(shù)據(jù)立方支持多維索引，可 以滿足任意字段的查詢(xún)，而 HBase是基于主鍵的查詢(xún)， 如果條件不包含主鍵會(huì)全表 掃描，整體性能非常低下 支持SQL 支持 無(wú) HBase目前是提供專(zhuān)有 API 的方式，開(kāi)發(fā)人貝需要冉次 學(xué)習(xí)。數(shù)據(jù)立方提供JDBC, 支持SQL，對(duì)于開(kāi)發(fā)人員來(lái) 說(shuō)學(xué)習(xí)成本非常低。 圖形化管理 支持 支持 數(shù)據(jù)立方有監(jiān)控系統(tǒng)， HBase目前不包含。 監(jiān)控與告警 支持 無(wú) 數(shù)據(jù)立方有監(jiān)控系統(tǒng)， HBase目前不包含。 安全性 支持 無(wú) 數(shù)據(jù)立方支持用戶的權(quán)限認(rèn) 證登錄，而HBase不支持。 只要知道訪問(wèn)地址，都