路坦力(Nutanix)技術(shù)白皮書.docx

Nutanix Complete Cluster技術(shù)白皮書NUTANIX COMPLETE CLUSTER:ATECHNICALWHITEPAPER目錄內(nèi)容簡介.3引言.4當(dāng)前架構(gòu)的局限性.4谷歌方法.4Nutanix Complete Cluster架構(gòu).6主要支柱.6架構(gòu)綜述.7Nutanix橫向擴展型融合存儲主要組件.8主要功能特點.11容量優(yōu)化.11易于管理.11性能和可擴展性.12高可用性.13總結(jié).15Er-2UJ2UdX-2U內(nèi)容簡介存儲是當(dāng)前虛擬化數(shù)據(jù)中心的最大挑戰(zhàn)。十五年以前針對物理服務(wù)器設(shè)計的網(wǎng)絡(luò)存儲架構(gòu)對于虛擬機來說過于昂貴和復(fù)雜。但在沒有企業(yè)級的替代方案時，各組織機構(gòu)被迫采用各種傳統(tǒng)的解決方案，而這些解決方案無法滿足虛擬機的需求，因為虛擬機始終保持著動態(tài)變化、數(shù)量迅速增加、并不斷要求全新的性能和容量水平。Nutanix Complete Cluster是一種可橫向擴展的計算和存儲基礎(chǔ)設(shè)施，它使組織機構(gòu)無需網(wǎng)絡(luò)存儲（SAN或NAS）便能夠?qū)⒆约旱臄?shù)據(jù)中心虛擬化。Nutanix Complete Cluster專門針對虛擬機而設(shè)計，可提供全面的計算和存儲功能，以及企業(yè)級的性能、可擴展性、可用性和數(shù)據(jù)管理功能。它采用符合行業(yè)標(biāo)準(zhǔn)的硬件組件、固態(tài)硬盤，以及市場領(lǐng)先的管理程序，以便提供開箱即用的解決方案，讓桌面虛擬化變得極其簡單有效。NUTANIX Complete Cluster：技術(shù)白皮書3z20-oz引言當(dāng)前架構(gòu)的局限性組織機構(gòu)采用傳統(tǒng)的“服務(wù)器通過網(wǎng)絡(luò)與存儲相連（servers-connected-to-storage-over-a-network）”的架構(gòu)來創(chuàng)建自己的虛擬化基礎(chǔ)設(shè)施，但這種架構(gòu)無法滿足不斷變化的虛擬化需求。除了性能較低之外，網(wǎng)絡(luò)存儲還是虛擬化環(huán)境中成本和復(fù)雜性的最大源頭。物理服務(wù)器用于相對不變的工作負載，在這種情況下，基于網(wǎng)絡(luò)存儲的架構(gòu)非常有用。然而，虛擬化以及現(xiàn)在的云計算使得數(shù)據(jù)中心處于不斷變化之中；虛擬機迅猛增加，在不同的服務(wù)器之間來回遷移，并且非常依賴于共享資源。正因為如此，管理虛擬機及其基本的物理基礎(chǔ)設(shè)施變得極度復(fù)雜。由于創(chuàng)建新虛擬機非常簡便，因此數(shù)據(jù)中心的數(shù)據(jù)量增長很快。在企業(yè)中，桌面虛擬化等新項目進一步促進了這種發(fā)展趨勢。服務(wù)提供商必須提供更大量的虛擬機，因為他們創(chuàng)建數(shù)據(jù)中心的目標(biāo)客戶無法承擔(dān)虛擬化所需的成本和管理開銷。對于通過多跳網(wǎng)絡(luò)將計算和存儲連接起來的傳統(tǒng)架構(gòu)來說，不斷增加的虛擬機造成了巨大的成本、性能和管理壓力。固態(tài)硬盤（SSD）的興起進一步擴大了計算層和存儲層之間的鴻溝。SSD的速度是傳統(tǒng)機械硬盤的100-1000倍，它們的使用將使現(xiàn)有的網(wǎng)絡(luò)瓶頸和復(fù)雜性更加惡化如果虛擬機需要通過網(wǎng)絡(luò)才能訪問它們的話。許多SAN/NAS廠商將SSD添加到自己的解決方案中，一方面他們可以收取較高的硬盤溢價，另一方面客戶需要加大網(wǎng)絡(luò)帶寬的投入才能夠訪問已經(jīng)非常昂貴的存儲層。4谷歌方法谷歌以及亞馬遜、雅虎、微軟（Azure）等領(lǐng)先的云一代企業(yè)意識到，基于網(wǎng)絡(luò)存儲的方法不適合自己的數(shù)據(jù)中心。于是，他們創(chuàng)建了各種軟件技術(shù)（如谷歌文件系統(tǒng)），將大量的商業(yè)服務(wù)器和本地存儲器融合于單一集群。通過這種方法，谷歌將商業(yè)服務(wù)器和本地存儲器作為構(gòu)件，創(chuàng)建起了自己的計算和存儲融合型基礎(chǔ)設(shè)施。谷歌文件系統(tǒng)運行于集群服務(wù)器上，并提供單一的本地存儲庫，集群中任意服務(wù)器上的應(yīng)用程序均可對其進行無縫訪問。它能夠應(yīng)對硬盤甚至所有服務(wù)器的故障，從而實現(xiàn)應(yīng)用程序的高可用性。谷歌文件系統(tǒng)使得谷歌創(chuàng)建的數(shù)據(jù)中心具備可大規(guī)模擴展的計算和存儲能力，同時沒有與網(wǎng)絡(luò)存儲相關(guān)的高成本和性能局限問題。NUTANIX Complete Cluster：技術(shù)白皮書Nutanix采用類似的橫向擴展方法，創(chuàng)建了一種企業(yè)級的計算和存儲基礎(chǔ)設(shè)施，它專門針對虛擬機而設(shè)計。sNUTANIX COMPLETE CLUSTER:A TECHNICAL WHITEPAPERNUTANIX Complete Cluster：技術(shù)白皮書EuUFF-2UdzEuUOuZUzX2U-dzdNutanix Complete Cluster架構(gòu)主要支柱Nutanix Complete Cluster利用系統(tǒng)架構(gòu)、硬件和軟件技術(shù)的最新發(fā)展建立起一個系統(tǒng)，以解決虛擬機的存儲問題。Nutanix架構(gòu)有三大核心支柱：分布式計算Nutanix架構(gòu)類似于谷歌架構(gòu)，也是無需網(wǎng)絡(luò)存儲的橫向擴展型計算和存儲基礎(chǔ)設(shè)施。同時，Nutanix借鑒了谷歌架構(gòu)，并可提供一種企業(yè)級的解決方案。谷歌文件系統(tǒng)是定制的解決方案，適用于谷歌內(nèi)部的各種應(yīng)用（搜索、Gmail等），而Nutanix提供通用的解決方案，適用于各種虛擬化的環(huán)境。除了橫向擴展能力之外，它還具備與各種先進的網(wǎng)絡(luò)存儲解決方案相同甚至更好的企業(yè)級數(shù)據(jù)管理功能，包括高可用性、備份、快照、災(zāi)難恢復(fù)等。虛擬化Nutanix架構(gòu)專門針對虛擬機而設(shè)計，因此它支持傳統(tǒng)網(wǎng)絡(luò)存儲架構(gòu)所支持的全部管理程序功能，包括實時虛擬機遷移和高可用性等功能。此外，因為Nutanix架構(gòu)為虛擬機感知型，所以它能夠克服配合物理服務(wù)器使用的傳統(tǒng)解決方案的各種局限。例如，在計算側(cè)按單個虛擬機開展管理時，存儲管理單元傳統(tǒng)上為LUN。當(dāng)LUN由許多虛擬機共享時，按單個虛擬機執(zhí)行備份、恢復(fù)、快照等存儲操作就會越來越困難。在過度共享的環(huán)境中，識別瓶頸問題也非常困難，因為計算層和存儲層之間存在斷層。Nutanix架構(gòu)克服了這些局限。NUTANIX Complete Cluster：技術(shù)白皮書NUTANIX COMPLETE CLUSTER:A TECHNICAL WHITEPAPER6固態(tài)硬盤Nutanix架構(gòu)可充分利用企業(yè)級的固態(tài)硬盤（SSD）。值得注意的是，傳統(tǒng)的存儲系統(tǒng)專門針對旋轉(zhuǎn)介質(zhì)而設(shè)計，所以很難有效利用SSD，因為SSD的訪問模式截然不同。機械硬盤有旋轉(zhuǎn)和時延，而SSD則不存在這些機械局限性。由于兩種媒介之間存在這種不同，因此要求軟件進行不同的優(yōu)化，以實現(xiàn)最佳的性能。我們不能簡單拿來專門針對機械硬盤系統(tǒng)編寫的軟件，然后希望它能夠有效運用于固態(tài)硬盤。Nutanix架構(gòu)利用SSD存儲各種各樣的常用數(shù)據(jù)從虛擬機元數(shù)據(jù)到主數(shù)據(jù)存儲，一方面通過分布式緩存獲得高性能，另一方面通過永久存儲實現(xiàn)快速檢索。為了將SSD的性能優(yōu)勢最大化，Nutanix架構(gòu)：l 保留SSD用于I/O密集型功能l 采用各種節(jié)省空間的技術(shù)，使得較小的物理空間能夠存儲大量的邏輯數(shù)據(jù)l 自動將“冷”數(shù)據(jù)或非常用數(shù)據(jù)遷移至機械硬盤，低優(yōu)先級的虛擬機避開SSD架構(gòu)綜述Nutanix Complete Cluster是一個由高性能的節(jié)點或服務(wù)器組成的橫向擴展型集群，每臺設(shè)備運行一個標(biāo)準(zhǔn)的管理程序；集群還含有處理器、內(nèi)存和本地存儲器，包括SSD和機械硬盤。每個節(jié)點都運行虛擬機，如同標(biāo)準(zhǔn)的虛擬主機一樣。此外，所有節(jié)點的本地存儲器均通過Nutanix橫向擴展型融合存儲（SOCS）架構(gòu)進行虛擬化，成為一個統(tǒng)一的存儲庫（圖1）。實際上，SOCS的作用就像一個先進的SAN，利用所有節(jié)點的本地SSD和機械硬盤存儲虛擬機數(shù)據(jù)。集群中運行的虛擬機將數(shù)據(jù)寫入SOCS，就像寫入SAN一樣。SOCS為虛擬機感知型，可提供先進的數(shù)據(jù)管理功能。它將數(shù)據(jù)存儲于本地系統(tǒng)上，因此數(shù)據(jù)更接近虛擬機，從而降低了成本并提高了性能。Nutanix Complete Cluster能夠從幾個節(jié)點水平擴展到大量的節(jié)點，因此組織機構(gòu)可根據(jù)自身需要擴展其基礎(chǔ)設(shè)施。NUTANIX Complete Cluster：技術(shù)白皮書yNUTANIX COMPLETE CLUSTER:A TECHftllCAL WHITEPAPERuEu-2E2Oz-Uu4Xdud2-ELUzd2NUTANIX Complete Cluster：技術(shù)白皮書10圖1：Nutanix橫向擴展型融合存儲（SOCS）架構(gòu)通過Nutanix Complete Cluster，高可用性和實時虛擬機遷移等虛擬化功能便可無縫發(fā)揮作用。管理員通過標(biāo)準(zhǔn)程序在Nutanix Complete Cluster上創(chuàng)建虛擬機，而Nutanix SOCS通過虛擬硬盤或vDisk為虛擬機提供存儲，這些硬盤均為標(biāo)準(zhǔn)的iSCSI設(shè)備。Nutanix橫向擴展型融合存儲主要組件Nutanix架構(gòu)的關(guān)鍵是SOCS，它是一種正在申請專利的橫向擴展型融合存儲層，具備下列獨特的功能特點：l 它與計算層融合在一起。虛擬機和SOCS共存于同一集群。l 它為虛擬機感知型。SOCS針對單個虛擬機提供存儲，并能夠識別每臺虛擬機的I/O.l 它能夠從幾個節(jié)點擴展到大量的節(jié)點。l 它全面整合固態(tài)硬盤。l 它提供高可用性，不存在硬盤或節(jié)點故障。l 它通過本地I/O訪問提高性能，充分利用固態(tài)硬盤的性能優(yōu)勢，并采用了一系列正在申請專利的性能優(yōu)化方法。l 它提供獨特的容量優(yōu)化功能。SOCS通過下列組件發(fā)揮作用：NUTANIX Complete Cluster：技術(shù)白皮書n向控制器集群傳統(tǒng)的SAN解決方案一般擁有1、2、4或8個控制器，而n節(jié)點的Nutanix Complete Cluster擁有n個控制器（圖2）。Nutanix Complete Cluster中的每個節(jié)點運行一臺特定的虛擬機，稱為控制器虛擬機。該虛擬機用作SOCS的虛擬控制器。集群中的所有控制器虛擬機彼此通信，形成單一的分布式系統(tǒng)。與限制于少量固定控制器的傳統(tǒng)SAN/NAS解決方案不同，這種架構(gòu)可隨著節(jié)點的增加而不斷擴展。圖2：Nutanix橫向擴展型控制器虛擬機架構(gòu)熱度優(yōu)化分層緩存（HOTcache）HOTcache是一種高性能的緩存，受到集群中每個節(jié)點的SSD的支持。當(dāng)訪客虛擬機寫入數(shù)據(jù)時，數(shù)據(jù)先寫入HOTcache，然后在后臺清空至SOCS。HOTcache采用一種順序數(shù)據(jù)布局，即使虛擬機工作負載混合成為隨機工作負載，也能夠?qū)崿F(xiàn)較高的性能。HOTcache在本地SSD上保留一個數(shù)據(jù)副本，并在一個不同的節(jié)點上保留另外一個數(shù)據(jù)副本，這樣，即使節(jié)點發(fā)生故障，數(shù)據(jù)也不會丟失。分布式元數(shù)據(jù)服務(wù)（Medusa）在傳統(tǒng)的存儲系統(tǒng)中，隨著存儲的增加，控制器通常會成為瓶頸。造成這個問題的主要原因之一在于：存儲元數(shù)據(jù)存儲在控制器上。傳統(tǒng)系統(tǒng)可擴展至少量的控制器，因此當(dāng)虛擬機數(shù)量增加時，每個控制器的I/O負載也會隨之增加。Nutanix的NUTANIX Complete Cluster：技術(shù)白皮書EuUFF-2UdzEuUOuZUzX2U-dzd分布式元數(shù)據(jù)服務(wù)，即Medusa，可將集群元數(shù)據(jù)在整個集群上進行分布，從而實現(xiàn)可擴展性；同時還可將數(shù)據(jù)復(fù)制到多個節(jié)點，以實現(xiàn)容錯功能。該服務(wù)高度可用，并能夠容忍多個模塊故障。相對而言，傳統(tǒng)解決方案依賴于少數(shù)存儲控制器，無法容忍多個控制器故障。分布式數(shù)據(jù)維護服務(wù)（Curator）Nutanix的分布式數(shù)據(jù)維護服務(wù)（Curator）是一個基于MapReduce1的框架，用于以大規(guī)模平行方式執(zhí)行后臺數(shù)據(jù)管理操作。這些操作包括：l 將冷門數(shù)據(jù)遷移至較低的分層（實現(xiàn)熱度優(yōu)化分層）l 收集已刪除的垃圾數(shù)據(jù)l 通過程序校驗實現(xiàn)數(shù)據(jù)的一致性l 節(jié)點或硬盤發(fā)生故障時復(fù)制數(shù)據(jù)l 添加或移除節(jié)點時對數(shù)據(jù)進行再平衡l 當(dāng)虛擬機從一個節(jié)點移動到另一個節(jié)點時，對數(shù)據(jù)進行遷移以便將本地訪問最大化FlashStoreFlashStore是一個永久性的、基于閃存的存儲器，由集群中所有節(jié)點的SSD聯(lián)合提供。數(shù)據(jù)首先寫入FlashStore，然后在成為冷門數(shù)據(jù)后遷移至DiskStore。當(dāng)冷門數(shù)據(jù)重新成為熱點數(shù)據(jù)后，將被重新提取至FlashStore。對于用于低優(yōu)先級虛擬機的vDisk，管理員可選擇跳過FlashStore。DisKStoreDiskStore是跨越整個集群的大容量SATA存儲層，針對冷門數(shù)據(jù)提供較大的存儲容量。Nutanix的HOT技術(shù)將FlashStore和DiskStore整合在一起，能夠以較低的成本實現(xiàn)較高的性能和較大的容量。NUTANIX Complete Cluster：技術(shù)白皮書1.MapReduce是谷歌原創(chuàng)的技術(shù)，用于大規(guī)模平行分析集群數(shù)據(jù)NUTANIX COMPLETE CLUSTER:A TECHftllCAL WHITEPAPERE2 UH主要功能特點Nutanix Complete Cluster不僅拋棄了SAN，而且提供了最高級別的線性可用性、性能及數(shù)據(jù)管理功能。以下是主要特點描述：容量優(yōu)化Nutanix QuickCloneINutanix使管理員能夠通過QuickClone功能迅速部署新的虛擬機。QuickClone是可寫快照，其功能如同標(biāo)準(zhǔn)的vDisk管理員可將其附加于虛擬機，在上面寫入數(shù)據(jù)，甚至可進一步快照，因此非常適用于部署新的虛擬桌面，創(chuàng)建生產(chǎn)數(shù)據(jù)庫的測試和開發(fā)拷貝，并適用于無須復(fù)制數(shù)據(jù)便可進行克隆的其它任意場景。該系統(tǒng)還支持用于備份目的只讀快照。Nutanix精簡配置系統(tǒng)中，虛擬機存儲的配置非常精簡。管理員可以設(shè)置vDisk的容量，但物理存儲器只在必要時才進行分配。管理員還可以設(shè)置最小的保留參數(shù)，以保證vDisk的特定存儲量。Nutanix融合備份Nutanix的融合備份功能可針對vDisk提供即時備份和恢復(fù)能力。設(shè)備無須外部備份存儲即可保存幾個月的備份。當(dāng)需要恢復(fù)時，管理員可以立即將vDisk恢復(fù)至任意過往備份。設(shè)備還支持通過標(biāo)準(zhǔn)的第三方工具進行異地備份。易于管理易于部署Nutanix Complete Cluster是一種即插即用的解決方案，其中含有運行大量虛擬服務(wù)器或虛擬桌面所需的全部硬件和軟件。管理員能夠在幾分鐘時間內(nèi)將其設(shè)置完畢，并開始創(chuàng)建虛擬機。NUTANIX Complete Cluster：技術(shù)白皮書下一代用戶界面Nutanix Command Center是一種非常直觀的、基于Flex的用戶界面，使管理員能夠完全掌控集群中的計算和存儲資源。它將每臺虛擬機映射至系統(tǒng)中的物理資源，使管理員能夠輕松解決與虛擬機有關(guān)的問題。Nutanix Complete Cluster還可以提供用于管理的命令行界面。Nutanix橫向擴展型融合存儲（SOCS）Nutanix SOCS無須管理復(fù)雜的網(wǎng)絡(luò)存儲基礎(chǔ)設(shè)施，可輕松管理任意規(guī)模的虛擬環(huán)境。符合IT標(biāo)準(zhǔn)Nutanix Complete Cluster可實現(xiàn)一種融合型的架構(gòu)，因此能夠繼續(xù)支持IT部門已經(jīng)采用的標(biāo)準(zhǔn)工具和界面。例如，各節(jié)點運行符合行業(yè)標(biāo)準(zhǔn)的管理程序（VMware ESXi），而配合該管理程序使用的所有IT程序和軟件工具便可繼續(xù)配合Nutanix使用。同樣，vDisk為標(biāo)準(zhǔn)的iSCSI設(shè)備，通過管理程序中的標(biāo)準(zhǔn)iSCSI啟動器與虛擬機相連。通過利用這些標(biāo)準(zhǔn)界面，Nutanix Complete Cluster能夠無縫融入現(xiàn)有的IT生態(tài)系統(tǒng)。性能和可擴展性固態(tài)硬盤Nutanix Complete Cluster在設(shè)計時已經(jīng)考慮了SSD。與傳統(tǒng)的基于SAN的SSD相比，Nutanix Complete Cluster中基于服務(wù)器的SSD避免了網(wǎng)絡(luò)瓶頸，因而性能更高。傳統(tǒng)系統(tǒng)通常受限于保存在控制器緩存中的元數(shù)據(jù)量。而在Nutanix Complete Cluster中，SSD不僅用于虛擬機數(shù)據(jù)，而且用于存儲SOCS元數(shù)據(jù)，從而實現(xiàn)快速訪問。將豐富的元數(shù)據(jù)保存在SSD上，使得SOCS能夠提供先進的數(shù)據(jù)管理功能。若給定橫向擴展型架構(gòu)，則系統(tǒng)的SSD容量將隨著集群中節(jié)點的增加而提高。NUTANIX COMPLETE CLUSTER:A TECHNICAL WHITEPAPER14NUTANIX Complete Cluster：技術(shù)白皮書Nutanix熱度優(yōu)化分層（HOT）在Nutanix集群中，vDisk可配置SSD和HDD混合容量。為了保證只有高價值的數(shù)據(jù)才停留于SSD上，SOCS通過HOT功能將冷門數(shù)據(jù)轉(zhuǎn)移至后臺的大容量SATA硬盤上?？蓴U展性Nutanix Complete Cluster可從少數(shù)節(jié)點擴展至大量節(jié)點。在設(shè)計的時候，系統(tǒng)各個方面均已考慮如今虛擬化數(shù)據(jù)中心的可擴展性要求。例如，系統(tǒng)沒有集中化的元數(shù)據(jù)控制中心。元數(shù)據(jù)層本身分布于整個集群，因此不存在大多數(shù)橫向擴展型系統(tǒng)常見的瓶頸問題。此外，每個模塊運行均SOCS控制器，系統(tǒng)中“控制器”的數(shù)量遠高于一般基于網(wǎng)絡(luò)的存儲解決方案，后者的控制器數(shù)量較少。這樣的設(shè)計創(chuàng)新使得系統(tǒng)能夠從小規(guī)模入手，然后進行大規(guī)模擴展。高可用性Nutanix集群RAIDNutanix Complete Cluster是一個高度可用的橫向擴展型系統(tǒng)，不存在單點故障問題。通過Nutanix集群RAID，數(shù)據(jù)分別存儲于節(jié)點內(nèi)的各個硬盤以提高性能，并在集群范圍內(nèi)進行復(fù)制以便提高其可用性。因此，即使硬盤或整個節(jié)點出現(xiàn)故障，也能夠保證虛擬機的高可用性。Nutanix分布式元數(shù)據(jù)服務(wù)（Medusa）Nutanix分布式元數(shù)據(jù)服務(wù)，即Medusa，可將集群元數(shù)據(jù)在整個集群上進行分布，從而實現(xiàn)可擴展性；同時還可將數(shù)據(jù)復(fù)制到多個節(jié)點，以實現(xiàn)容錯功能。該服務(wù)高度可用，并能夠容忍多節(jié)點故障。相對而言，傳統(tǒng)解決方案依賴于少數(shù)存儲控制器，因而無法容忍多控制器故障。Nutanix Instant vDisk Motion能夠?qū)崟r將虛擬機從一臺主機遷移到另一臺主機，這是符合行業(yè)標(biāo)準(zhǔn)的管理程序提供的一種非常強大的功能