面向客戶nutanix高度融合web scale基礎(chǔ)架構(gòu)

PresenterName

Date高度融合WEB-SCALE基礎(chǔ)架構(gòu)謝輝雄2014.9VMVMVM1990sCloudGenerationClient-ServerGenerationVirtualizationGeneration

數(shù)據(jù)中心基礎(chǔ)架構(gòu)的演變PublicCloudVMVMx86VM2000s2010>VMVMVMx86x86VMx86x86x86x86x86x86VMVMIntelligent

Software現(xiàn)存數(shù)據(jù)中心基礎(chǔ)架構(gòu)所面臨的挑戰(zhàn)1.

內(nèi)生復(fù)雜性2.低效孤島3.無法預(yù)知的擴展新型WEB-SCALE數(shù)據(jù)中心：簡單，擴展，有效設(shè)計目標更少消耗以及可預(yù)測擴展無單點故障分布式處理一切不間斷運行系統(tǒng)大范圍自動化及豐富的分析基礎(chǔ)假設(shè)無物主的x86服務(wù)器無專用設(shè)備所有智能性及服務(wù)存在于軟件中線性，可預(yù)測橫向擴展徹底簡化我們能從WEBSCALEIT中獲取什么?優(yōu)勢核心內(nèi)容業(yè)務(wù)靈敏性快速擴展成本效率基礎(chǔ)架構(gòu)戰(zhàn)略軟件層的智能性線性以及可預(yù)測橫向擴展更少消耗人員及流程文化與技術(shù)一樣重要先開始，優(yōu)化在后不推崇技術(shù)系統(tǒng)設(shè)計非破壞性的滾動升級無單點故障最少的人工干預(yù)何為WEB-SCALE基礎(chǔ)架構(gòu)？X86服務(wù)器上的超級融合整合計算與存儲軟件提供所有智能100%軟件定義分布式處理一切囊括整個集群范疇內(nèi)的數(shù)據(jù)及服務(wù)自我修復(fù)系統(tǒng)伴隨分布式復(fù)原的故障隔離由API驅(qū)動的自動化及豐富分析由數(shù)據(jù)驅(qū)動的效率100011011100010010001001100100100100由網(wǎng)絡(luò)公司開創(chuàng)的具備前所未有敏捷性、高速擴展性以及低運維成本的IT基礎(chǔ)架構(gòu)。12345X86NodeWEB–SCALE基礎(chǔ)架構(gòu)的強大優(yōu)勢x86服務(wù)器的超融合系統(tǒng)的自我修復(fù)由API驅(qū)動的自動化+豐富的分析分布式處理一切軟件提供所有智能無限制橫向擴展更少消耗低成本不間斷運行數(shù)據(jù)中心的簡化WEB-SCALE基礎(chǔ)架構(gòu)適合所有企業(yè)大型企業(yè)中端市場企業(yè)中小規(guī)模企業(yè)快速擴展成本效率業(yè)務(wù)靈敏性服務(wù)提供者企業(yè)級WEB-SCALE基礎(chǔ)架構(gòu)的優(yōu)點簡易性靈活性快速擴展公有云網(wǎng)絡(luò)規(guī)?；A(chǔ)架構(gòu)

具備云的所有優(yōu)勢無須妥協(xié)的簡易性業(yè)務(wù)進行速度無與倫比的成本SLAs（服務(wù)等級協(xié)議）隱私及控制更好的長期總擁有成本遺留的基礎(chǔ)架構(gòu)整合計算與存儲軟件提供所有智能分布式處理一切自我修復(fù)系統(tǒng)WEB-SCALE融合基礎(chǔ)架構(gòu)自動化與豐富的分析

Legacy(Yahoo,Altavista)Server,switches,SAN,NASCloud(Google,Amazon)Commodity,Map/Reduce,NoSQL不同的WEB-SCALE數(shù)據(jù)中心的構(gòu)建方式，不同的命運普通一個集群＝27,000臺

100PBData,30Mops/sec,100+GB/sI/O

12云和網(wǎng)絡(luò)規(guī)?；A(chǔ)架構(gòu)Prineville,OregonLenoir,NorthCarolinaChicago,IllinoisMakingstorageaninvisibleresource…Uselocaldevicesonx86hardwareasthefundamentalstorageresourceBuildintelligentdistributedsoftware-basedstorageservicesontopofthesesystemsthatarepurposebuiltfortheusecase(ex:GoogleGFS,FacebookHaystack,WindowsAzureDrives/Blobs)Scaleoutnotscaleup.Scaleoutnotshellout.接納世界級創(chuàng)新

他們的共同點是什么呢?SpecializedITBigIronPurchasesSpindlesVirtualizedServersFlashFractionalConsumptionGeneralistITPrivateDatacentersHybridCloudsVirtualizedDatacenter數(shù)據(jù)中心的發(fā)展趨勢CloudEnterpriseAgilityScaleCost1change

takes100days100snodes,

petabytesofdata$0.50/GB100schanges

take1day10,000snodes,zettabytesofdata$0.01/GB網(wǎng)絡(luò)規(guī)模(Web-Scale)數(shù)據(jù)中心的優(yōu)勢Server2ServerNVirtualMachine/VirtualDiskServer1Nutanix分布式體系架構(gòu)通用硬件＋靈活擴展

高性能確保高可用和數(shù)據(jù)保護分布式文件系統(tǒng)（NDFS）FlashFlashFlashNutanix硬件系統(tǒng)－2U／4個節(jié)點18每個節(jié)點:2xCPUsw/10coresUpto512GBcache2xSSDswithupto1.6TB4x1TBHDDwithupto4TBNodeNodeNodeNodeNX3461BlockEachNode:2x10Gbports2x1Gbports1x1IPMIports

服務(wù)器資源會越來越強大CPUDIMMRAMHBAFlashPCIiSCSI/FCHDD/SATA/SASSSD/Snapshot/cloning/DR/Metro-cluster…CPUDIMMRAMHBAFlashPCI4.0iSCSI/FCHDD/SATA/SASSSD/Snapshot/cloning/DR/Metro-cluster…FlashaccelFASTRRAM/6-12TBNVMeMEMCStorage服務(wù)器資源會越來越強大服務(wù)器資源會越來越強大22高效IO管理－自動分級管理NutanixControllerVMHypervisorHDDHDDHDDHDDSSDsGuestVMGuestVMGuestVMGuestVMiSCSI/NFSDataColdDataHotDataDatahitsSSDfirst(configurable)MovedofftocoldertierbyCuratorBroughtbacktohottierdependingonaccesspatterns高性能IO及數(shù)據(jù)保護－寫I/O操作NodeGuestVMHypervisorControllerVMSSD／SATANodeHypervisorControllerVMSSD／SATANodeHypervisorControllerVMSSD／SATADataiswrittenlocallyReplicatedonothernodesforhighavailabilityReplicasarespreadacrossclusterforhighperformance高性能IO及數(shù)據(jù)保護－讀I/O操作NodeGuestVMHypervisorControllerVMSSD/SATANodeHypervisorControllerVMSSD/SATANodeHypervisorControllerVMSSD/SATADataisreadlocallyRemoteaccessonlyifdataisnotlocallypresent25虛機遷移NodeHypervisorControllerVMSSD/SATANodeHypervisorControllerVMSSD/SATANodeGuestVMHypervisorControllerVMSSD/SATASeamlessVMMigrationMetadataservicecanaccessdatafromanywhereLocalityimprovesovertime26故障環(huán)境下虛機遷移NodeHypervisorControllerVMSSD/SATANodeHyperviorControllerVMSSD/SATANodeGuestVMHypervisorControllerVMSSD/SATAGuestVMSeamlessHAMetadataservicecanaccessreplicasfromanywhereNewcopiesarecreatedtoensurecontinuedfaulttolerance

動態(tài)靈活的集群擴展NDFS集成的資源10GbpsEthernetNDFS單個節(jié)點計算:16核存儲:

閃存:400/800GBSSD;HDD:4TB

控制器:Nutanix控制器

VM再也沒有“叉車”式的升級!

只是隨需擴展可預(yù)見的經(jīng)濟與增長

企業(yè)級存儲特性－數(shù)據(jù)壓縮線內(nèi)壓縮寫數(shù)據(jù)時同步壓縮歸檔數(shù)據(jù)的理想應(yīng)用對批量型數(shù)據(jù)負荷提供高性能

后處理壓縮數(shù)據(jù)變“冷”后遷移到SATA盤之后壓縮在數(shù)據(jù)和計算資源空閑時進行對正常IO沒有影響隨機數(shù)據(jù)的理想應(yīng)用專為虛擬化設(shè)計提高所有存儲層的可用空間壓縮策略與虛機工作類型配合利用Snappy算法最大化壓縮／解壓性能可用分配數(shù)據(jù)塊壓縮，提高效率

VMCentric企業(yè)級存儲特性－重復(fù)數(shù)據(jù)刪除30準實時應(yīng)用相應(yīng)時間最高可達10倍去重比，為更多虛機服務(wù)支持所有硬件平臺RAM和Flash實時刪重100%軟件驅(qū)動為橫向擴展而設(shè)計可延展到所有存儲包括硬盤以VM為中心的快照支持VMwareVAAIAPIArray-basedquick-clonesforefficientprovisioning完全Vmware集成支持ViewVCAI標準從虛擬化軟件中分離，提高性能

企業(yè)級存儲特性－軟件定義快照／克隆

沒有LUN或卷優(yōu)化的容量和性能靈活的多向保護以VM為核心的工作流數(shù)據(jù)保護企業(yè)級存儲特性－基于VM的遠程復(fù)制靈活的拓撲結(jié)構(gòu)和策略

多站點，多拓撲結(jié)構(gòu)支持單向，雙向，一對多，多對一同時雙向復(fù)制智能復(fù)制時序安排避免影響VM生產(chǎn)操作ProtectionDomainBProtectionDomainBProtectionDomainDProtectionDomainEProtectionDomainCProtectionDomainAOneDirectionalBi-DirectionalHubandSpoke最小化的人為干預(yù)服務(wù)連續(xù)性

動態(tài)利用鄰近的存儲控制器數(shù)據(jù)保持可用對最終用戶沒有影響簡單升級軟件

不停機對大型集群也是如此

零停機軟件升級

支持多種虛擬化軟件平臺支持所有功能vMotion/LiveMigration DRS/PRO FaultTolerance HighAvailability預(yù)裝虛擬化軟件（KVM）統(tǒng)一的管理平臺Nutanix所有硬件平臺36管理程序環(huán)境虛擬化匯總存儲性能報警匯總政策執(zhí)行統(tǒng)一的管理界面Nutanix軟件架構(gòu)DataProtectionServicesDataReductionServicesSystemResilienceServicesIntelligentDataTieringServicesAnalyticsandMonitoringInfrastructureManagementNutanixPrismNutanixDistributedFileSystemWeb-ScaleFoundationPlatformPowerfulControlPlaneScale-outDataPlaneDistributedMetadataStoreVM-awareCoreDataServicesClusterBootstrapDirectorHypervisorInterfaceConfigurationManager…VMVMIntegratedDataProtection核心組件MedusaDistributedMetadataStoreZeusClusterConfigManagerStargateDataI/OManagerviaNFS,iSCSI,SMBtohypervisorCuratorMapreduceClusterMgt&cleanupChronosJob&TaskManagerPrismUI&API–ManagementHTML5&RESTAPICerebroReplication/DRMgrPithosvDiskConfigMgrApacheCassandraLinearScale&FaultToleranceZooKeeper:CoordinationSvc4distsysNuanix解決方案的特點系統(tǒng)性能好每個節(jié)點內(nèi)置盤架構(gòu)，SSD提供本地直接數(shù)據(jù)讀寫所有VM保證本地數(shù)據(jù)訪問系統(tǒng)可用性高每個節(jié)點內(nèi)含一個存儲控制器，用戶數(shù)據(jù)兩份或三份保存，不需要額外實現(xiàn)多冗余系統(tǒng)彈性好網(wǎng)絡(luò)規(guī)模線性增長，不用提前投資性能，每次擴展都能用到最新的配置和能力，與原有系統(tǒng)完美整合，不需要數(shù)據(jù)遷移管理簡單不做RAID，LUN等存儲管理工作，無需復(fù)雜的容量規(guī)劃高度融合節(jié)約機房空間，節(jié)約電力資源完全配合系統(tǒng)建設(shè)的云化配合未來大數(shù)據(jù)應(yīng)用39支持企業(yè)多種類型應(yīng)用業(yè)務(wù)40DesktopVirtualizationServerVirtualizationBigDataDisasterRecover