EMC Isilon 大數(shù)據(jù)Hadoop解決方案 NetApp

EMCISILON

SCALE-OUTNAS大數(shù)據(jù)Hadoop解決方案徐ndy.xu@?2015NetApp,Inc.。保留所有權(quán)利。NetApp專有信息—使用受限2應(yīng)用存儲(chǔ)基礎(chǔ)設(shè)施3EMCCONFIDENTIAL—INTERNALUSEONLY傳統(tǒng)文件應(yīng)用分析平臺(tái)移動(dòng)應(yīng)用云存儲(chǔ)FTPCIFSNFSSyncplicityHTTPHDFSObjectREST企業(yè)級(jí)@擴(kuò)展統(tǒng)一的文件平臺(tái)–Isilon集群

單一文件系統(tǒng)/適應(yīng)“傳統(tǒng)”和“下一代”企業(yè)級(jí)應(yīng)用Hadoop+IsilonHDFSEthernet傳統(tǒng)HadoopDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeNameNodeR(RHIPE)PIGMahoutHiveHBaseNameNodeJobTrackerTaskTrackerDataNode2ndNameNodeEthernet擁有IsilonHDFS的HadoopR(RHIPE)PIGMahoutHiveHBaseJobTrackerTaskTrackerDataNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodenamenodenamenodenamenodenamenodenamenodenamenodedatanodeNameNodeIsilon傳統(tǒng)

NameNode

體系結(jié)構(gòu)NameNode當(dāng)

NameNode“地圖”丟失或損壞時(shí)，數(shù)據(jù)位置信息將不復(fù)存在NameNode

提供所有文件的位置信息備用NameNode

自動(dòng)化恢復(fù)

=

宕機(jī)Hadoop

即將推出的

NameNode

故障切換，也需要手動(dòng)恢復(fù)Isilon:分布式（群集化）NameNode元數(shù)據(jù)以標(biāo)準(zhǔn)文件元數(shù)據(jù)相同的方式跨系統(tǒng)存儲(chǔ)跨大量節(jié)點(diǎn)實(shí)現(xiàn)內(nèi)置的群集化冗余NameNode在

Isilon

上建立

NameNode

群集可實(shí)現(xiàn)

Isilon

提供的保護(hù)級(jí)別群集化

NameNode傳統(tǒng)的“無(wú)共享”Hadoop現(xiàn)有虛擬化數(shù)據(jù)中心無(wú)共享

Hadoop

基礎(chǔ)架構(gòu)非結(jié)構(gòu)化數(shù)據(jù)1分析終于能夠開始現(xiàn)有主存儲(chǔ)234234234234串聯(lián)的

Hadoop

(R=3)

意味著需要4份數(shù)據(jù)拷貝（資金）數(shù)據(jù)必須先拷貝到

Hadoop

群集，然后分析才能開始（收效時(shí)間）將您所有非結(jié)構(gòu)化數(shù)據(jù)復(fù)制到Hadoop平臺(tái)需要多長(zhǎng)時(shí)間？當(dāng)主存儲(chǔ)上的文件發(fā)生變更時(shí)，如何保持?jǐn)?shù)據(jù)一致性？“共享一切”的

Isilon

Hadoop現(xiàn)有虛擬化數(shù)據(jù)中心使用本地

HDFS

協(xié)議非結(jié)構(gòu)化數(shù)據(jù)1僅需一份數(shù)據(jù)，無(wú)需復(fù)制（使用現(xiàn)有數(shù)據(jù)）只要有空閑的CPU和

RAM，可立即開始使用

Hadoop通過

NAS

和

HDFS

協(xié)議訪問同一數(shù)據(jù)使用現(xiàn)有數(shù)據(jù)即可實(shí)現(xiàn)極短的收效時(shí)間，無(wú)需使用拷貝，也不會(huì)浪費(fèi)資金，有效降低TCO分析可從第一個(gè)虛擬機(jī)開始新的

Hadoop

計(jì)算節(jié)點(diǎn)現(xiàn)有主存儲(chǔ)數(shù)據(jù)中心網(wǎng)絡(luò)收效時(shí)間數(shù)據(jù)拷貝分析就地分析現(xiàn)有主存儲(chǔ)串聯(lián)式

Hadoop通過

10

Gb鏈路將

100

TB

數(shù)據(jù)從一處拷貝到另一處需要花多長(zhǎng)時(shí)間？>

24

小時(shí)數(shù)據(jù)中心網(wǎng)絡(luò)現(xiàn)有主存儲(chǔ)Hadoop

處理節(jié)點(diǎn)讀取相關(guān)數(shù)據(jù)進(jìn)行分析依賴式擴(kuò)展傳統(tǒng)

Hadoop

HDFSIsilon

HDFS存儲(chǔ)/計(jì)算比率固定擴(kuò)展計(jì)算意味著擴(kuò)展容量難以提供

QoS計(jì)算的升級(jí)屬于斷代升級(jí)獨(dú)立于存儲(chǔ)擴(kuò)展計(jì)算即使在工作負(fù)載增長(zhǎng)時(shí)也可實(shí)現(xiàn)最佳性能平衡永遠(yuǎn)不需要遷移數(shù)據(jù)！隨著硬件發(fā)展實(shí)現(xiàn)性能增長(zhǎng)計(jì)算存儲(chǔ)所需的性能/容量所需的

Hadoop

群集節(jié)點(diǎn)獨(dú)立式擴(kuò)展傳統(tǒng)

Hadoop

HDFSIsilon

HDFS存儲(chǔ)/計(jì)算比率固定擴(kuò)展計(jì)算意味著擴(kuò)展容量難以提供

QoS計(jì)算的升級(jí)屬于斷代升級(jí)獨(dú)立于存儲(chǔ)擴(kuò)展計(jì)算即使在工作負(fù)載增長(zhǎng)時(shí)也可實(shí)現(xiàn)最佳性能平衡永遠(yuǎn)不需要遷移數(shù)據(jù)！隨著硬件發(fā)展實(shí)現(xiàn)性能增長(zhǎng)計(jì)算存儲(chǔ)所需的性能/容量所需的

Hadoop

群集節(jié)點(diǎn)協(xié)議支持服務(wù)器服務(wù)器服務(wù)器之前之后HDFS

對(duì)

Windows、Unix、Linux、Apple

或任何其他本機(jī)文件系統(tǒng)不可見大數(shù)據(jù)僅用于大數(shù)據(jù)Isilon

支持多協(xié)議，允許隨時(shí)隨地訪問包括

Hadoop

在內(nèi)的所有文件大數(shù)據(jù)就是實(shí)際的數(shù)據(jù)！服務(wù)器快照/版本控制之前之后傳統(tǒng)

HDFS

沒有復(fù)制功能無(wú)法拍攝數(shù)據(jù)快照缺少版本控制與

SnapshotIQ完全集成，可識(shí)別更改多線程、多節(jié)點(diǎn)橫向擴(kuò)展復(fù)制跨不同地理位置復(fù)制Hadoop！ANALYTICSMOBILE關(guān)鍵能力優(yōu)勢(shì)支持Hadoop2.0支持PivotalHD同時(shí)支持HDFS1.0&2.0分布式NameNode支持開放的Hadoop應(yīng)用無(wú)單點(diǎn)故障無(wú)需3倍鏡像改進(jìn)TCOIsilon支持Hadoop2.0HDFSIsilon

HDFS

接口Isilon

支持從

NameNode

和

DataNode

到主機(jī)及元數(shù)據(jù)和數(shù)據(jù)的

HDFS

接口底層文件系統(tǒng)是

OneFS就像將

HDFS

客戶端指向

Isilon

群集的

DNS

名稱一樣簡(jiǎn)單！HDFSHadoop配置文件TraditionalHadoop

IsilonHadoopSolution可靠性NameNode單點(diǎn)故障NameNode受到N+1到N+4的保護(hù)收效時(shí)間在分析前需大量時(shí)間用于數(shù)據(jù)遷移零數(shù)據(jù)遷移，直接開始分析企業(yè)級(jí)數(shù)據(jù)保護(hù)沒有本地?cái)?shù)據(jù)保護(hù)或遠(yuǎn)程數(shù)據(jù)保護(hù)Snapshots,SyncIQ,NDMPtotape存儲(chǔ)利用率投入只能用于Hadoop3倍數(shù)據(jù)鏡像（30%存儲(chǔ)利用率)標(biāo)準(zhǔn)NAS，適應(yīng)多種協(xié)議80%的存儲(chǔ)利用率BenefitsSummary傳統(tǒng)Hadoop

VS

IsilonHadoopHadoop

成本低廉，無(wú)需3倍鏡像Hadoop

易于部署，僅需修改一個(gè)配置文件Hadoop

可使用現(xiàn)有數(shù)據(jù)，無(wú)需數(shù)據(jù)遷移Hadoop

NameNode

數(shù)據(jù)受到Isi