H3C數(shù)據(jù)中心虛擬化解決方案技術(shù)白皮書

1、目錄1 技術(shù)背景21.1 虛擬化簡(jiǎn)介21.2 網(wǎng)絡(luò)虛擬化簡(jiǎn)介31.2.1 網(wǎng)絡(luò)虛擬化31.2.2 MCE（精簡(jiǎn)版VRF）的原理31.3 計(jì)算虛擬化簡(jiǎn)介41.3.1 計(jì)算虛擬化的概念41.3.2 計(jì)算虛擬化的特性61.3.3 計(jì)算虛擬化的架構(gòu)71.4 存儲(chǔ)虛擬化簡(jiǎn)介81.4.1 定義81.4.2 虛擬化的方法91.4.3 網(wǎng)絡(luò)虛擬化技術(shù)91.4.4 虛擬存儲(chǔ)的意義112 數(shù)據(jù)中心虛擬化解決方案122.1 方案概述122.1.1 傳統(tǒng)的應(yīng)用孤島式的數(shù)據(jù)中心122.1.2 虛擬化方案132.1.3 數(shù)據(jù)中心虛擬化方案架構(gòu)142.2 網(wǎng)絡(luò)虛擬化152.3 計(jì)算虛擬化162.3.1 計(jì)算虛擬化方案架構(gòu)1

2、62.3.2 計(jì)算虛擬化方案VMware ESX Server的網(wǎng)絡(luò)組件182.3.3 虛擬交換機(jī)Virtual Switch182.3.4 VMware ESX Server的虛擬特性規(guī)格202.4 存儲(chǔ)虛擬化202.4.1 整體架構(gòu)202.4.2 存儲(chǔ)虛擬方案的目標(biāo)與特點(diǎn)223 數(shù)據(jù)中心虛擬化解決方案的典型組網(wǎng)233.1 典型組網(wǎng)1233.2 典型組網(wǎng)2254 數(shù)據(jù)中心虛擬化解決方案應(yīng)用265 方案總結(jié)26關(guān)鍵詞：數(shù)據(jù)中心，虛擬化摘 要：根據(jù)市場(chǎng)的需求及業(yè)界的發(fā)展趨勢(shì)，數(shù)據(jù)中心第五期解決方案圍繞“虛擬化”主題展開。核心是網(wǎng)絡(luò)網(wǎng)虛擬化、計(jì)算虛擬化、存儲(chǔ)虛擬化?？s略語(yǔ)清單：縮略語(yǔ)英文全名中文解

3、釋IDCInternet Data Center互聯(lián)網(wǎng)數(shù)據(jù)中心VRFVirtual Router Forwarding虛擬路由器轉(zhuǎn)發(fā)SMPSymmetrical Multi-Processing對(duì)稱多處理SNIAStorage Networking Industry Association存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì)TCOTotal Cost of Ownership總擁有成本ROIReturn on Investment 投資回報(bào)1 技術(shù)背景隨著社會(huì)生產(chǎn)力的不斷發(fā)展，用戶需求不斷發(fā)展提高，市場(chǎng)也不斷發(fā)展變化，誰(shuí)能真正掌握市場(chǎng)迎合用戶，誰(shuí)就能夠占領(lǐng)先機(jī)提高自己的核心競(jìng)爭(zhēng)力。企業(yè)運(yùn)營(yíng)中關(guān)鍵資訊傳遞的暢通可以

4、幫助企業(yè)充分利用關(guān)鍵資源，供應(yīng)鏈、渠道管理，了解市場(chǎng)抓住商機(jī)，從而幫助企業(yè)維持甚至提高其競(jìng)爭(zhēng)地位。作為網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)和流通中心的企業(yè)數(shù)據(jù)中心，很顯然擁有企業(yè)資訊流通最核心的地位，越來(lái)越受到企業(yè)的重視。當(dāng)前各個(gè)企業(yè)/行業(yè)的基礎(chǔ)網(wǎng)絡(luò)已經(jīng)基本完成，隨著“大集中”思路越來(lái)越深入人心，各企業(yè)、行業(yè)越來(lái)越迫切的需要在原來(lái)的基礎(chǔ)網(wǎng)絡(luò)上新建自己的數(shù)據(jù)中心。數(shù)據(jù)中心設(shè)施的整合已經(jīng)成為行業(yè)內(nèi)的一個(gè)主要發(fā)展趨勢(shì)，利用數(shù)據(jù)中心，企業(yè)不但能集中資源和信息加強(qiáng)資訊的流通以及新技術(shù)的采用，還可以改善對(duì)外服務(wù)水平提高企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。一個(gè)好的數(shù)據(jù)中心在具有上述好處之外甚至還可以降低擁有成本。1.1 虛擬化簡(jiǎn)介在數(shù)據(jù)大集中的趨勢(shì)

5、下，數(shù)據(jù)中心的服務(wù)器規(guī)模越來(lái)越龐大。隨著服務(wù)器規(guī)模的成倍增加，硬件成本也水漲船高，同時(shí)管理眾多的服務(wù)器的維護(hù)成本也隨著增加。為了降低數(shù)據(jù)中心的硬件成本和管理難度，對(duì)大量的服務(wù)器進(jìn)行整合成了必然的趨勢(shì)。通過(guò)整合，可以將多種業(yè)務(wù)集成在同一臺(tái)服務(wù)器上，直接減少服務(wù)器的數(shù)量，有效的降低服務(wù)器硬件成本和管理難度。服務(wù)器整合帶來(lái)了巨大的經(jīng)濟(jì)效益，同時(shí)也帶來(lái)了一個(gè)難題：多種業(yè)務(wù)集成在一臺(tái)服務(wù)器上，安全如何保證？而且不同的業(yè)務(wù)對(duì)服務(wù)器資源也有不同的需求，如何保證各個(gè)業(yè)務(wù)資源的正常運(yùn)作？為了解決這些問(wèn)題，虛擬化應(yīng)運(yùn)而生了。虛擬化指用多個(gè)物理實(shí)體創(chuàng)建一個(gè)邏輯實(shí)體，或者用一個(gè)物理實(shí)體創(chuàng)建多個(gè)邏輯實(shí)體。實(shí)體可以是計(jì)算

6、、存儲(chǔ)、網(wǎng)絡(luò)或應(yīng)用資源。虛擬化的實(shí)質(zhì)就是“隔離”將不同的業(yè)務(wù)隔離開來(lái)，彼此不能互訪，從而保證業(yè)務(wù)的安全需求；將不同的業(yè)務(wù)的資源隔離開來(lái)，從而保證業(yè)務(wù)對(duì)于服務(wù)器資源的要求。數(shù)據(jù)中心運(yùn)行的應(yīng)用越來(lái)越多，但很多應(yīng)用都相互獨(dú)立，而且在使用率低下、相關(guān)隔絕的不同環(huán)境中運(yùn)行。每個(gè)應(yīng)用都追求性能的不斷提高，數(shù)據(jù)中心擁有多種操作系統(tǒng)、計(jì)算平臺(tái)和存儲(chǔ)系統(tǒng)。因此，IT 機(jī)構(gòu)必須提高運(yùn)行效率，優(yōu)化數(shù)據(jù)中心資源的利用率，才能將節(jié)省出來(lái)的資金用于開展新的盈利型IT 項(xiàng)目。另外，數(shù)據(jù)中心需要建立永續(xù)的基礎(chǔ)設(shè)施，才能保護(hù)各種應(yīng)用和服務(wù)免受各種安全攻擊和干擾的危害，才能建立既可以持續(xù)改進(jìn)計(jì)算機(jī)、存儲(chǔ)和應(yīng)用技術(shù)，又能支持不斷變

7、化的業(yè)務(wù)流程的靈活型基礎(chǔ)設(shè)施。利用整合和虛擬化技術(shù)幫助數(shù)據(jù)中心將計(jì)算和存儲(chǔ)資源從多個(gè)分立式系統(tǒng)轉(zhuǎn)變成可以通過(guò)智能網(wǎng)絡(luò)匯聚、分層、調(diào)配和訪問(wèn)的標(biāo)準(zhǔn)化組件，從而為自動(dòng)化等新興IT 戰(zhàn)略奠定基礎(chǔ)。數(shù)據(jù)中心資源的整合和虛擬化正在不斷發(fā)展，這需要高度可擴(kuò)展的永續(xù)安全數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)。網(wǎng)絡(luò)不但能讓用戶安全訪問(wèn)各種數(shù)據(jù)中心服務(wù)，還能根據(jù)需要實(shí)現(xiàn)共享數(shù)據(jù)中心組件的部署、互聯(lián)和匯聚，包括各種應(yīng)用、服務(wù)器、設(shè)備和存儲(chǔ)。適當(dāng)規(guī)劃的數(shù)據(jù)中心網(wǎng)絡(luò)不僅能保護(hù)應(yīng)用和數(shù)據(jù)完整性，提高應(yīng)用可用性和性能，還能增強(qiáng)對(duì)不斷變化的市場(chǎng)狀況、業(yè)務(wù)重要程度和技術(shù)先進(jìn)性的反應(yīng)能力。1.2 網(wǎng)絡(luò)虛擬化簡(jiǎn)介1.2.1 網(wǎng)絡(luò)虛擬化虛擬化技術(shù)可以適

8、用于企業(yè)網(wǎng)絡(luò)核心或是邊緣的交換機(jī)。如果把一個(gè)企業(yè)網(wǎng)絡(luò)分隔成多個(gè)不同的子網(wǎng)絡(luò)它們使用不同的規(guī)則和控制，用戶就可以充分利用交換機(jī)的虛擬化路由功能，而不是購(gòu)買及插入新的機(jī)架或者設(shè)備來(lái)實(shí)現(xiàn)這種分隔機(jī)制。虛擬化網(wǎng)絡(luò)概念并不是什么新概念，因?yàn)槎嗄陙?lái)，虛擬局域網(wǎng)（VLAN）技術(shù)作為經(jīng)實(shí)踐證明切實(shí)可靠的一種方法，歷來(lái)用于在一個(gè)以太網(wǎng)交換上或者跨多個(gè)交換機(jī)來(lái)構(gòu)建安全、獨(dú)立的局域網(wǎng)網(wǎng)段。而核心機(jī)架交換機(jī)里面的虛擬化路由功能是可以在第三層分隔企業(yè)網(wǎng)絡(luò)、對(duì)內(nèi)外網(wǎng)絡(luò)流量提供更多安全和控制的一種類似工具。通過(guò)VRF進(jìn)行隔離在多協(xié)議標(biāo)記交換（MPLS）運(yùn)營(yíng)商網(wǎng)絡(luò)，虛擬路由和轉(zhuǎn)發(fā)（VRF）被用于把客戶流量分割成獨(dú)立路由轉(zhuǎn)發(fā)的

9、幾段流量，這步操作有時(shí)在同一個(gè)設(shè)備上進(jìn)行。針對(duì)企業(yè)應(yīng)用，精簡(jiǎn)版VRF（一種規(guī)模比較小的VRF，不需要MPLS）可以把一個(gè)交換機(jī)劃分成多個(gè)虛擬化設(shè)備。1.2.2 MCE（精簡(jiǎn)版VRF）的原理根據(jù)VPN用戶，將MCE路由表劃分成幾個(gè)獨(dú)立的邏輯實(shí)體路由表(virtual route table)；然后根據(jù)不同VPN用戶占用不同的路由表，并根據(jù)獨(dú)立的路由協(xié)議實(shí)例在不同的路由表中生成路由項(xiàng)。交換機(jī)轉(zhuǎn)發(fā)引擎根據(jù)報(bào)文的vpn-id(如ACL或VLAN+端口)索引不同的路由表，并根據(jù)目的IP在其內(nèi)進(jìn)行查找，然后將報(bào)文加上VPN的標(biāo)識(shí)后經(jīng)過(guò)上行鏈路轉(zhuǎn)發(fā)出去。圖1 MCE原理圖1.3 計(jì)算虛擬化簡(jiǎn)介1.3.1 計(jì)

10、算虛擬化的概念1. 計(jì)算虛擬化的分類計(jì)算虛擬化目前主要有3種不同的類型：虛擬主機(jī)：大拆小的思想，將一個(gè)獨(dú)立的硬件服務(wù)器虛擬成多個(gè)邏輯服務(wù)器n 主要產(chǎn)品：VMWare（業(yè)界主流產(chǎn)品）、XEN（開源軟件，也有商用產(chǎn)品）n 應(yīng)用場(chǎng)合：提高服務(wù)器資源的利用率。虛擬對(duì)稱多處理（SMP）：小并大的思想，將多個(gè)物理機(jī)器組成一個(gè)易于管理的高性能服務(wù)器。n 主要產(chǎn)品：Virtual Iron、Qlusters、VMware SMPn 應(yīng)用場(chǎng)合：充分利用一些便宜的性能低的機(jī)器，組合成高性能的計(jì)算工具。物理計(jì)算虛擬化：實(shí)現(xiàn)服務(wù)器的無(wú)狀態(tài)化，服務(wù)器只被看成一個(gè)CPU內(nèi)存的資源，服務(wù)器與OS、IO設(shè)備、存儲(chǔ)設(shè)備無(wú)關(guān)?？?/p>

11、以實(shí)現(xiàn)任意組合。n 主要產(chǎn)品：CISCO VFrame、Egeneran 應(yīng)用場(chǎng)合：實(shí)現(xiàn)在異構(gòu)環(huán)境下，計(jì)算資源的快速變更與快速部署2. 虛擬主機(jī)的概念什么是虛擬主機(jī)? 就是將物理服務(wù)器、操作系統(tǒng)、及其應(yīng)用程序 “打包”為一個(gè)檔案-可移動(dòng)的虛擬機(jī)(VM)。圖2 計(jì)算虛擬化虛擬主機(jī)簡(jiǎn)單得講就是一個(gè)物理服務(wù)器上運(yùn)行多個(gè)虛擬機(jī)， 這些虛擬機(jī)共享底層硬件， 從應(yīng)用的角度看就象是一個(gè)物理服務(wù)器， 有自己的操作系統(tǒng)，cpu, memory, nic, storage， 虛擬的資源。其實(shí)，也就是將物理服務(wù)器、操作系統(tǒng)、及其應(yīng)用程序 “打包”為一個(gè)檔案, 稱為虛擬機(jī)(VM)，虛擬機(jī)是可移動(dòng)的，可以提高服務(wù)器的利

12、用率；同虛擬機(jī)支持操作系統(tǒng)的和數(shù)據(jù)的備份、實(shí)施更加靈活。圖3 虛擬主機(jī)對(duì)數(shù)據(jù)中心的整合1.3.2 計(jì)算虛擬化的特性1. 計(jì)算虛擬化的特性n 分區(qū)，在單一物理服務(wù)器上同時(shí)運(yùn)行多個(gè)虛擬機(jī)n 隔離，在同一服務(wù)器上的虛擬機(jī)之間相互隔離n 封裝，整個(gè)虛擬機(jī)都保存在文件中，而且可以通過(guò)移動(dòng)和復(fù)制這些文件的方式來(lái)移動(dòng)和復(fù)制該虛擬機(jī)n 相對(duì)于硬件獨(dú)立，無(wú)需修改即可在任何服務(wù)器上運(yùn)行虛擬機(jī)2. 計(jì)算虛擬化的優(yōu)勢(shì)虛擬化前n 每臺(tái)主機(jī)一個(gè)操作系統(tǒng)n 軟件硬件緊密地結(jié)合 n 在同一主機(jī)上運(yùn)行多個(gè)應(yīng)用程序通常會(huì)遭遇沖突n 系統(tǒng)的資源利用率低n 硬件成本高昂而且不夠靈活虛擬化后n 打破了操作系統(tǒng)和硬件的互相倚賴n 通過(guò)封

13、裝到到虛擬機(jī)的技術(shù), 管理操作系統(tǒng)和應(yīng)用程序?yàn)閱我坏膫€(gè)體n 強(qiáng)大的安全和故障隔離n 虛擬機(jī)是獨(dú)立于硬件的, 它們能在任何硬件上運(yùn)行1.3.3 計(jì)算虛擬化的架構(gòu)計(jì)算虛擬化有兩個(gè)基本架構(gòu)，一種是寄居架構(gòu)（Hosted Architecture），另一種是裸金屬架構(gòu)（”Bare Metal” Architecture）。1. 寄居架構(gòu)圖4 虛擬服務(wù)器寄居架構(gòu)n 優(yōu)點(diǎn)：簡(jiǎn)單，便于實(shí)現(xiàn)n 缺點(diǎn)：安裝和運(yùn)行應(yīng)用程序依賴于主機(jī)操作系統(tǒng)對(duì)設(shè)備的支持n 舉例：GSX Server, VMware Server, Workstation2. 裸金屬架構(gòu)圖5 虛擬服務(wù)器裸金屬架構(gòu)n 優(yōu)點(diǎn)：虛擬機(jī)不依賴于操作系統(tǒng)，可

14、以支持多種操作系統(tǒng)，多種應(yīng)用，更加靈活n 缺點(diǎn)：虛擬層內(nèi)核開發(fā)難度較大n 舉例：VMWare ESX Server1.4 存儲(chǔ)虛擬化簡(jiǎn)介1.4.1 定義虛擬存儲(chǔ)技術(shù)將底層存儲(chǔ)設(shè)備進(jìn)行抽象化統(tǒng)一管理，向服務(wù)器層屏蔽存儲(chǔ)設(shè)備硬件的特殊性，而只保留其統(tǒng)一的邏輯特性，從而實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)集中、統(tǒng)一而又方便的管理。對(duì)比一個(gè)計(jì)算機(jī)系統(tǒng)來(lái)說(shuō)，整個(gè)存儲(chǔ)系統(tǒng)中的虛擬存儲(chǔ)部分就像計(jì)算機(jī)系統(tǒng)中的操作系統(tǒng)，對(duì)下層管理著各種特殊而具體的設(shè)備，而對(duì)上層則提供相對(duì)統(tǒng)一的運(yùn)行環(huán)境和資源使用方式。SNIA（Storage Networking Industry Association，存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì)）對(duì)存儲(chǔ)虛擬化是這樣定義的：

15、通過(guò)將一個(gè)或多個(gè)目標(biāo)（Target）服務(wù)或功能與其它附加的功能集成，統(tǒng)一提供有用的全面功能服務(wù)。典型的存儲(chǔ)虛擬化包括如下一些情況：屏蔽系統(tǒng)的復(fù)雜性，增加或集成新的功能，仿真、整合或分解現(xiàn)有的服務(wù)功能等。虛擬化是作用在一個(gè)或者多個(gè)實(shí)體上的，而這些實(shí)體則是用來(lái)提供存儲(chǔ)資源或服務(wù)的。1.4.2 虛擬化的方法存儲(chǔ)的虛擬化可以在三個(gè)不同的層面上實(shí)現(xiàn)，包括了基于專用卷管理軟件在主機(jī)服務(wù)器上實(shí)現(xiàn)，或者利用陣列控制器的固件（Firmware）在磁盤陣列上實(shí)現(xiàn)；再或者是利用專用的虛擬化引擎在存儲(chǔ)網(wǎng)絡(luò)上實(shí)現(xiàn)。具體使用哪種方法來(lái)做，應(yīng)根據(jù)實(shí)際需求來(lái)決定。1) 基于主機(jī)的虛擬化如果僅僅需要單個(gè)主機(jī)服務(wù)器（或單個(gè)集群）

16、訪問(wèn)多個(gè)磁盤陣列，就可以使用基于主機(jī)的存儲(chǔ)虛擬化技術(shù)。此時(shí)，虛擬化的工作通過(guò)特定的軟件在主機(jī)服務(wù)器上完成，而經(jīng)過(guò)虛擬化的存儲(chǔ)空間可以跨越多個(gè)異構(gòu)的磁盤陣列。這種類型的虛擬化通常由主機(jī)操作系統(tǒng)下的邏輯卷管理軟件（logical volume manager）來(lái)實(shí)現(xiàn)。它們?cè)谥鳈C(jī)系統(tǒng)和Unix服務(wù)器上已經(jīng)有多年的廣泛應(yīng)用，目前在Windows操作系統(tǒng)上也提供類似的卷管理器。2) 基于存儲(chǔ)設(shè)備的虛擬化當(dāng)有多個(gè)主機(jī)服務(wù)器需要訪問(wèn)同一個(gè)磁盤陣列的時(shí)候，可以采用基于陣列控制器的虛擬化技術(shù)。此時(shí)虛擬化的工作是在陣列控制器上完成， 將一個(gè)陣列上的存儲(chǔ)容量劃分為多個(gè)存儲(chǔ)空間（LUN），供不同的主機(jī)系統(tǒng)訪問(wèn)。智能的

17、陣列控制器提供數(shù)據(jù)塊級(jí)別的整合，同時(shí)還提供一些附加的功能，例如：LUN Masking、緩存、即時(shí)快照、數(shù)據(jù)復(fù)制等。配合使用不同的存儲(chǔ)系統(tǒng)，這種基于存儲(chǔ)設(shè)備的虛擬化模式可以實(shí)現(xiàn)性能的優(yōu)化。3) 基于存儲(chǔ)網(wǎng)絡(luò)的虛擬化以上都是一對(duì)多的訪問(wèn)模式，而在現(xiàn)實(shí)的應(yīng)用環(huán)境中，很多情況下是需要多對(duì)多的訪問(wèn)模式的，也就是說(shuō)，多個(gè)主機(jī)服務(wù)器需要訪問(wèn)多個(gè)異構(gòu)存儲(chǔ)設(shè)備，目的是為了優(yōu)化資源利用率多個(gè)用戶使用相同的資源，或者多個(gè)資源對(duì)多個(gè)進(jìn)程提供服務(wù)，等等。在這種情形下，存儲(chǔ)虛擬化的工作就一定要在存儲(chǔ)網(wǎng)絡(luò)上完成了。這也是構(gòu)造公共存儲(chǔ)服務(wù)設(shè)施的前提條件。1.4.3 網(wǎng)絡(luò)虛擬化技術(shù)在存儲(chǔ)網(wǎng)絡(luò)層面進(jìn)行虛擬化的方法已經(jīng)成為虛擬化

18、的明確方向，這種虛擬化工作需要使用相應(yīng)的專用虛擬化引擎來(lái)實(shí)現(xiàn)。目前市場(chǎng)上的SAN Appliances專用存儲(chǔ)服務(wù)器，或是建立在某種專用的平臺(tái)上，或是在標(biāo)準(zhǔn)的Windows、Unix和Linux服務(wù)器上配合相應(yīng)的虛擬化軟件而構(gòu)成。在這種模式下，因?yàn)樗械臄?shù)據(jù)訪問(wèn)操作都與SAN Appliances相關(guān)，所以必須消除它的單點(diǎn)故障。在實(shí)際應(yīng)用中，SAN Appliance 通常都是冗余配置的。SAN Appliances 可以兩種形式來(lái)控制存儲(chǔ)的虛擬化：直接位于主機(jī)服務(wù)器和存儲(chǔ)設(shè)備的數(shù)據(jù)通道中間（帶內(nèi)，In-Band）；或者位于數(shù)據(jù)通道之外（帶外，Out-of-Band），僅僅向主機(jī)服務(wù)器傳送一些

19、控制信息（Metadata），來(lái)完成物理設(shè)備和邏輯卷之間的地址映射。1) 帶內(nèi)虛擬化如所示，帶內(nèi)虛擬化引擎位于主機(jī)和存儲(chǔ)系統(tǒng)的數(shù)據(jù)通道中間，控制信息和用戶數(shù)據(jù)都會(huì)通過(guò)它，而它會(huì)將邏輯卷分配給主機(jī)，就像一個(gè)標(biāo)準(zhǔn)的存儲(chǔ)子系統(tǒng)一樣。因?yàn)樗械臄?shù)據(jù)訪問(wèn)都會(huì)通過(guò)這個(gè)引擎，它就可以實(shí)現(xiàn)很高的安全性。就像一個(gè)存儲(chǔ)系統(tǒng)的防火墻，只有它允許的訪問(wèn)才能夠通行，否則就會(huì)被拒絕。帶內(nèi)虛擬化的優(yōu)點(diǎn)是：可以整合多種技術(shù)的存儲(chǔ)設(shè)備，安全性高。此外，該技術(shù)不需要在主機(jī)上安裝特別的虛擬化驅(qū)動(dòng)程序，比帶外的方式易于實(shí)施。其缺點(diǎn)為：當(dāng)數(shù)據(jù)訪問(wèn)量異常大時(shí)專用的存儲(chǔ)服務(wù)器會(huì)成為瓶頸。 目前市場(chǎng)上使用該技術(shù)的產(chǎn)品主要有，IBM的Tota

20、lStorage SVC，HP的VA、EVA系列，HDS的TagmaStore，NetApp的V-Series及H3C的IV5000。圖6 帶內(nèi)虛擬化引擎2) 帶外虛擬化 帶外虛擬化引擎是一個(gè)數(shù)據(jù)訪問(wèn)必須經(jīng)過(guò)的設(shè)備，通常利用Caching技術(shù)來(lái)優(yōu)化性能。帶外虛擬化引擎物理上不位于主機(jī)和存儲(chǔ)系統(tǒng)的數(shù)據(jù)通道中間，而是通過(guò)其它的網(wǎng)絡(luò)連接方式與主機(jī)系統(tǒng)通訊。于是，在每個(gè)主機(jī)服務(wù)器上，都需要安裝客戶端軟件，或者特殊的主機(jī)適配卡驅(qū)動(dòng)，這些客戶端軟件接收從虛擬化引擎 傳來(lái)的邏輯卷結(jié)構(gòu)和屬性信息，以及邏輯卷和物理塊之間的映射信息，在SAN上實(shí)現(xiàn)地址尋址。存儲(chǔ)的配置和控制信息由虛擬化引擎負(fù)責(zé)提供。該方式的優(yōu)點(diǎn)為

21、：能夠提供很好的訪問(wèn)性能，并無(wú)需對(duì)現(xiàn)存的網(wǎng)絡(luò)架構(gòu)進(jìn)行改變。其缺點(diǎn)是：數(shù)據(jù)的安全性難以控制。此外，這種方式的實(shí)施難度大于帶內(nèi)模式，因?yàn)槊總€(gè)主機(jī)都必須有一個(gè)客戶端程序。也許就是這個(gè)原因，目前大多數(shù)的SAN Appliances都是采用帶內(nèi)的方式。目前市場(chǎng)上使用該技術(shù)的產(chǎn)品主要有，EMC的InVista和StoreAge的SVM。圖7 帶外虛擬化引擎1.4.4 虛擬存儲(chǔ)的意義總體來(lái)說(shuō)，存儲(chǔ)虛擬化可以表現(xiàn)出三個(gè)優(yōu)勢(shì)。1) 存儲(chǔ)管理的自動(dòng)化與智能化在虛擬存儲(chǔ)環(huán)境下，所有的存儲(chǔ)資源在邏輯上被映射為一個(gè)整體，對(duì)用戶來(lái)說(shuō)是單一視圖的透明存儲(chǔ)，而單個(gè)存儲(chǔ)設(shè)備的容量、性能等物理特性卻被屏蔽掉了。無(wú)論后臺(tái)的物理存儲(chǔ)

22、是什么設(shè)備，服務(wù)器及其應(yīng)用系統(tǒng)看到的都是客戶非常熟悉的存儲(chǔ)設(shè)備的邏輯映像。系統(tǒng)管理員不必關(guān)心自己的后臺(tái)存儲(chǔ)，只要專注于管理存儲(chǔ)空間本身，所有的存儲(chǔ)管理操作，如系統(tǒng)升級(jí)、改變RAID級(jí)別、初始化邏輯卷、建立和分配虛擬磁盤、存儲(chǔ)空間擴(kuò)容等比從前的任何存儲(chǔ)技術(shù)都更容易，存儲(chǔ)管理變得輕松無(wú)比。與普通的SAN相比，存儲(chǔ)管理的復(fù)雜性大大降低了。2) 提高存儲(chǔ)效率提高存儲(chǔ)效率主要表現(xiàn)在釋放被束縛的容量、整體使用率達(dá)到更高的水平。虛擬化存儲(chǔ)技術(shù)解決了這種存儲(chǔ)空間使用上的浪費(fèi)問(wèn)題，它把系統(tǒng)中各個(gè)分散的存儲(chǔ)空間整合起來(lái)，形成一個(gè)連續(xù)編址的邏輯存儲(chǔ)空間，突破了單個(gè)物理磁盤的容量限制，客戶幾乎可以100%地使用磁盤容

23、量，而且由于存儲(chǔ)池?cái)U(kuò)展時(shí)能自動(dòng)重新分配數(shù)據(jù)和利用高效的快照技術(shù)降低容量需求，從而極大地提高了存儲(chǔ)資源的利用率。3) 減少成本，增加投資回報(bào)由于歷史的原因，許多企業(yè)不得不面對(duì)各種各樣的異構(gòu)環(huán)境，包括不同操作平臺(tái)的服務(wù)器和不同廠商不同型號(hào)的存儲(chǔ)設(shè)備。采用存儲(chǔ)虛擬化技術(shù)，可以支持物理磁盤空間動(dòng)態(tài)擴(kuò)展，這樣用戶現(xiàn)有的設(shè)備不必拋棄，可以融入系統(tǒng)，保障了用戶的已有投資，從而降低了用戶TCO（Total Cost of Ownership，總擁有成本），實(shí)現(xiàn)了存儲(chǔ)容量的動(dòng)態(tài)擴(kuò)展，增加了用戶的ROI（Return on Investment，投資回報(bào)）。2 數(shù)據(jù)中心虛擬化解決方案2.1 方案概述2.1.1 傳

24、統(tǒng)的應(yīng)用孤島式的數(shù)據(jù)中心圖8 傳統(tǒng)應(yīng)用孤島式數(shù)據(jù)中心n 擴(kuò)展性差，當(dāng)新業(yè)務(wù)擴(kuò)展時(shí)需要部署專門的網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)設(shè)施、形成了應(yīng)用孤島/豎井n 資源缺少共享，導(dǎo)致資源利用率低，管理成本復(fù)雜n 分離的環(huán)境排除了部署統(tǒng)一服務(wù)的可能性，每一套環(huán)境必須有分離的安全、優(yōu)化、備份及容災(zāi)機(jī)制2.1.2 虛擬化方案圖9 虛擬化的轉(zhuǎn)變1. 數(shù)據(jù)中心虛擬化需要滿足下面的目標(biāo)：n 降低運(yùn)行成本n 擴(kuò)展性強(qiáng)，新應(yīng)用的快速部署n 提供業(yè)務(wù)的連續(xù)性保障n 提供對(duì)資源的安全可靠的訪問(wèn)通過(guò)服務(wù)器整合，可以滿足：n 數(shù)據(jù)大集中，將多個(gè)數(shù)據(jù)中心資源集中到少量數(shù)據(jù)中心n 提供集中管理、規(guī)劃和控制通過(guò)計(jì)算虛擬化，可以滿足：n 改變每種應(yīng)

25、用資源孤島模式，建立虛擬資源池，按需邏輯的分配給應(yīng)用n 簡(jiǎn)化管理，提供靈活性，優(yōu)化資源利用率，降低維護(hù)成本n 支持部署統(tǒng)一的部署策略2. 數(shù)據(jù)中心虛擬化的需求目前國(guó)內(nèi)數(shù)據(jù)中心的主要用戶包括：政務(wù)、運(yùn)營(yíng)商、門戶網(wǎng)站、兵工集團(tuán)等等。這些用戶對(duì)于數(shù)據(jù)中心虛擬化有明確的需求，但側(cè)重點(diǎn)各有不同。n 政府政務(wù)中心對(duì)數(shù)據(jù)中心虛擬化的需求“不同部門對(duì)數(shù)據(jù)中心訪問(wèn)的邏輯隔離”n 運(yùn)營(yíng)商共享容災(zāi)方案對(duì)虛擬化的需求“不同客戶對(duì)相同物理資源訪問(wèn)的邏輯隔離”n ICP、門戶網(wǎng)站對(duì)虛擬化的需求“服務(wù)器資源和存儲(chǔ)資源能夠共享，并實(shí)現(xiàn)業(yè)務(wù)的快速部署 ”n 以兵工集團(tuán)為代表的國(guó)防工業(yè)系統(tǒng)對(duì)虛擬化的需求“以任務(wù)為中心的虛擬化數(shù)據(jù)

26、中心”2.1.3 數(shù)據(jù)中心虛擬化方案架構(gòu)數(shù)據(jù)中心虛擬化分為：網(wǎng)絡(luò)網(wǎng)虛擬化、計(jì)算虛擬化、存儲(chǔ)虛擬化 三個(gè)環(huán)節(jié)。圖10 數(shù)據(jù)中心虛擬化方案架構(gòu)n 數(shù)據(jù)中心網(wǎng)絡(luò)資源虛擬化 通過(guò)數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)設(shè)備的多實(shí)例等技術(shù)實(shí)現(xiàn)n 數(shù)據(jù)中心計(jì)算資源虛擬化 通過(guò)VMWare服務(wù)器虛擬機(jī)技術(shù)實(shí)現(xiàn)n 數(shù)據(jù)中心存儲(chǔ)資源虛擬化 通過(guò)IV/IX系列存儲(chǔ)交換機(jī)的VSAN技術(shù)實(shí)現(xiàn)2.2 網(wǎng)絡(luò)虛擬化單獨(dú)的實(shí)現(xiàn)數(shù)據(jù)中心的虛擬化是沒(méi)有意義的，需要在客戶機(jī)的接入側(cè)、接入端到數(shù)據(jù)中心的整個(gè)數(shù)據(jù)路徑及其數(shù)據(jù)中心內(nèi)部均實(shí)現(xiàn)虛擬化（含計(jì)算虛擬化、存儲(chǔ)虛擬化），3個(gè)網(wǎng)絡(luò)功能區(qū)域、5個(gè)層次上配合，才能實(shí)現(xiàn)：數(shù)據(jù)大集中環(huán)境下的，不同業(yè)務(wù)的、端到端的數(shù)據(jù)

27、中心應(yīng)用及其訪問(wèn)的隔離，達(dá)到具有完整意義上的業(yè)務(wù)虛擬化。端到端虛擬化中，各區(qū)域的作用：l 用戶接入隔離：利用EAD方案保證接入用戶的合法性，并請(qǐng)能夠識(shí)別用戶的訪問(wèn)權(quán)限。l 廣域網(wǎng)隔離：利用MPLS VPN保證接入用戶能夠正確訪問(wèn)相應(yīng)的資源，以及業(yè)務(wù)數(shù)據(jù)交換的隔離l 數(shù)據(jù)中心虛擬化：通過(guò)集中策略管理，保證數(shù)據(jù)中心、服務(wù)器能為相應(yīng)的合法用戶提供服務(wù)圖11 數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化結(jié)構(gòu)2.3 計(jì)算虛擬化2.3.1 計(jì)算虛擬化方案架構(gòu)當(dāng)前對(duì)計(jì)算虛擬化的需求主要是“提高資源利用率”，在一臺(tái)服務(wù)器中虛擬多臺(tái)設(shè)備。這是“虛擬主機(jī)”類計(jì)算虛擬軟機(jī)的主要應(yīng)用場(chǎng)合。VMware通過(guò)為客戶提供服務(wù)器整合和數(shù)量控制、業(yè)務(wù)連

28、續(xù)性、測(cè)試/開發(fā)自動(dòng)化、企業(yè)臺(tái)式機(jī)管理等解決方案，從而實(shí)現(xiàn)降低成本、提高響應(yīng)速度、實(shí)現(xiàn)零停機(jī)、災(zāi)難快速恢復(fù)等系列好處。通過(guò)虛擬架構(gòu)整合服務(wù)器，可以控制x86服務(wù)器的蔓延，在一臺(tái)服務(wù)器上運(yùn)行多個(gè)操作系統(tǒng)和應(yīng)用，并使新的硬件支持老的應(yīng)用，數(shù)據(jù)中心撤退舊的硬件。VMware虛擬基礎(chǔ)架構(gòu)使企業(yè)能夠通過(guò)提高效率、增加靈活性和加快響應(yīng)速度而降低IT成本。管理一個(gè)虛擬基礎(chǔ)架構(gòu)使IT能夠快速將資源和業(yè)務(wù)需要連結(jié)起來(lái)，并對(duì)其進(jìn)行管理。虛擬基礎(chǔ)架構(gòu)可以使x86服務(wù)器的利用率從現(xiàn)在的5-15%提高到60-80%，并且在數(shù)十秒的時(shí)間內(nèi)完成新應(yīng)用程序的資源調(diào)配，而不需要幾天時(shí)間。請(qǐng)求響應(yīng)時(shí)間也改為以分鐘計(jì)算。在維護(hù)上，

29、可以實(shí)現(xiàn)零停機(jī)硬件維護(hù)，不需要等待維護(hù)窗口。圖12 數(shù)據(jù)中心計(jì)算虛擬化方案VMWare ESX是VMWare Infrastruture數(shù)據(jù)中心虛擬化管理套件中的一個(gè)組成部分。承上啟下，對(duì)上解決與網(wǎng)絡(luò)虛擬化對(duì)接問(wèn)題，對(duì)下解決與存儲(chǔ)服務(wù)器的虛擬化映射問(wèn)題。圖13 數(shù)據(jù)中心計(jì)算虛擬化方案邏輯拓?fù)鋘 交換機(jī)支持鏈路聚合協(xié)議 802.3ad ，可實(shí)現(xiàn)鏈路捆綁，提高鏈路可靠性。n 數(shù)據(jù)中心接入層交換機(jī)使用堆疊交換機(jī)，可以與ESX虛擬交換機(jī)實(shí)現(xiàn)跨設(shè)備鏈路聚合，進(jìn)一步提高鏈路可靠性。n 管理網(wǎng)絡(luò)獨(dú)立于生產(chǎn)網(wǎng)絡(luò)，提高管理性能。n VMotion網(wǎng)絡(luò)獨(dú)立于生產(chǎn)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)，便于虛擬機(jī)的遷移和備份。2.3.2

30、計(jì)算虛擬化方案VMware ESX Server的網(wǎng)絡(luò)組件圖14 VMware ESX Server3 網(wǎng)絡(luò)架構(gòu)VMware ESX Server3的網(wǎng)絡(luò)架構(gòu)主要分為3個(gè)部分：n Virtual Ethernet Adapters，ESX Server3虛擬以太網(wǎng)卡，其作用就是一個(gè)以太網(wǎng)卡；n Virtual Switch虛擬化交換機(jī)，是ESX Server3網(wǎng)絡(luò)架構(gòu)的核心部分；n Physical Ethernet Adapters，物理以太網(wǎng)卡，與外部物理網(wǎng)絡(luò)連接；2.3.3 虛擬交換機(jī)Virtual Switch1. 虛擬交換機(jī)與物理交換機(jī)的差異從功能上來(lái)看，虛擬交換機(jī)就是一個(gè)二層交換機(jī)

31、，具備二層交換機(jī)所具備一切功能特性。但由于使用場(chǎng)景的特殊性，所以與真正的物理交換機(jī)還是有所不同。最主要的差別就在于ESX Server的多個(gè)虛擬交換機(jī)居于同一層次的網(wǎng)絡(luò)上，彼此之間不存在級(jí)聯(lián)要求。這樣居于同一層次的交換機(jī)之間不存在互通要求，因此虛擬交換機(jī)不需要支持STP協(xié)議。2. NIC TeamingNIC Teaming指的就是一個(gè)虛擬交換機(jī)與多塊物理以太網(wǎng)卡連接的技術(shù)，其目的是為了提高系統(tǒng)的可用性，要求支持多鏈路負(fù)載分擔(dān)和故障保護(hù)特性。負(fù)載分擔(dān)NIC Teaming的負(fù)載分擔(dān)支持三種分擔(dān)算法：n 虛擬交換機(jī)入端口確定上行鏈路，即根據(jù)服務(wù)器數(shù)據(jù)流進(jìn)入虛擬交換機(jī)的端口ID確定采用哪條上行鏈路

32、。這是缺省負(fù)載分擔(dān)算法，也是使用最廣泛的算法。這種算法的特點(diǎn)是，由于虛擬以太網(wǎng)卡與虛擬交換機(jī)端口的對(duì)應(yīng)關(guān)系是固定的，從指定的虛擬以太網(wǎng)卡輸出的數(shù)據(jù)流會(huì)從固定的物理以太網(wǎng)卡上行，除非因?yàn)樵撐锢硪蕴W(wǎng)卡出現(xiàn)故障而發(fā)生倒換才會(huì)改變上行數(shù)據(jù)流的方向。需要注意的是：如果一臺(tái)虛擬服務(wù)器僅創(chuàng)建了一個(gè)虛擬以太網(wǎng)卡，則無(wú)法使用NIC Teaming提供的多物理以太網(wǎng)卡負(fù)載分擔(dān)。虛擬服務(wù)器必須創(chuàng)建了多個(gè)虛擬以太網(wǎng)卡后，才能使用NIC Teaming。n 源MAC Hash算法確定上行鏈路。n 源、目的IP地址 Hash算法確定上行鏈路。故障保護(hù)NIC Teaming發(fā)現(xiàn)故障的方式有兩種：n 鏈路狀態(tài)檢測(cè)，僅僅能夠

33、發(fā)現(xiàn)直連的網(wǎng)絡(luò)鏈路異常，包括：鏈路拔出、物理設(shè)備下電等等；但是不能發(fā)現(xiàn)配置導(dǎo)致的鏈路不同，例如：STP阻塞端口、VLAN配置錯(cuò)誤等等。n 路徑探測(cè)，由物理以太網(wǎng)卡定時(shí)向上發(fā)送探測(cè)報(bào)文，根據(jù)回應(yīng)情況確定網(wǎng)絡(luò)是否可達(dá)。圖15 NIC Teaming路徑探測(cè)流程2.3.4 VMware ESX Server的虛擬特性規(guī)格VMware ESX Server網(wǎng)絡(luò)虛擬特性的規(guī)格如下表所列。設(shè)備特性最大數(shù)目虛擬服務(wù)器的虛擬以太網(wǎng)卡4物理服務(wù)器的虛擬交換機(jī)端口4096虛擬交換機(jī)的端口1016物理服務(wù)器的虛擬交換機(jī)248虛擬交換機(jī)的上行鏈路32物理服務(wù)器的上行鏈路32表1 VMware ESX Server網(wǎng)絡(luò)

34、虛擬化特性規(guī)格2.4 存儲(chǔ)虛擬化2.4.1 整體架構(gòu)數(shù)據(jù)中心虛擬化解決方案利用H3C公司存儲(chǔ)產(chǎn)品Neocean IV5000內(nèi)置的NeoStor虛擬化數(shù)據(jù)管理引擎，能夠整合異構(gòu)存儲(chǔ)環(huán)境，由統(tǒng)一界面進(jìn)行集中存儲(chǔ)管理，使得存儲(chǔ)空間利用率最大化，同時(shí)整合應(yīng)用服務(wù)器，跨越SAN的孤島聯(lián)接，或者進(jìn)行數(shù)據(jù)遷移；同時(shí)，通過(guò)存儲(chǔ)虛擬化和SSE（Storage Service Enabler，存儲(chǔ)服務(wù)使能）選項(xiàng)，將關(guān)聯(lián)的存儲(chǔ)設(shè)備整合起來(lái)，在此基礎(chǔ)上，還可以提供與之相關(guān)的存儲(chǔ)服務(wù)，如快照、鏡像、復(fù)制等，滿足用戶復(fù)雜的存儲(chǔ)服務(wù)需求。圖16 IV5000虛擬化整體架構(gòu)1. 存儲(chǔ)資源整合方案支持標(biāo)準(zhǔn)開放的協(xié)議（包括SC

35、SI、iSCSI、FC以及NFS/CIFS），集成統(tǒng)一的管理平臺(tái)將所有底層的存儲(chǔ)和網(wǎng)絡(luò)資源作為一個(gè)一體化的存儲(chǔ)資源提供給上層的應(yīng)用服務(wù)器。因此IV5000能夠統(tǒng)一管理FC SAN、IP SAN、DAS等存儲(chǔ)設(shè)備和資源，整合到統(tǒng)一的邏輯存儲(chǔ)池中，并使用存儲(chǔ)池的資源為應(yīng)用服務(wù)器創(chuàng)SAN或者NAS資源，滿足客戶全方位的需求。2. 存儲(chǔ)服務(wù)使能解決方案通過(guò)獨(dú)特的方式實(shí)現(xiàn)物理設(shè)備的虛擬化，即把物理設(shè)備的虛擬化信息寫入到邏輯存儲(chǔ)池中某個(gè)空閑的存儲(chǔ)空間，因此虛擬化的過(guò)程不會(huì)破壞磁盤已有的數(shù)據(jù)，也不需要大量的數(shù)據(jù)拷貝。圖17 SED虛擬化原理SED設(shè)備支持IV5000的各種存儲(chǔ)服務(wù)（比如鏡像、復(fù)制、TimeM

36、ark等），并且支持剝離SED作為一個(gè)普通的磁盤掛接到PC上直接使用。但是SED設(shè)備不支持容量的擴(kuò)展，也不能把一個(gè)SED設(shè)備劃分為更小的邏輯磁盤。因此SED設(shè)備的物理磁盤和邏輯磁盤是一一對(duì)應(yīng)的關(guān)系。2.4.2 存儲(chǔ)虛擬方案的目標(biāo)與特點(diǎn)存儲(chǔ)虛擬化解決方案的主要目標(biāo)是系統(tǒng)整合與數(shù)據(jù)遷移。n 在用戶長(zhǎng)期的IT建設(shè)過(guò)程中，由于種種原因引入不同廠商、不同品牌的存儲(chǔ)系統(tǒng)。這些型號(hào)各異的存儲(chǔ)系統(tǒng)給IT管理人員帶來(lái)挑戰(zhàn)，存儲(chǔ)系統(tǒng)的管理維護(hù)成本日漸增加。n 解決方案采用帶內(nèi)虛擬化技術(shù)，可整合異構(gòu)的存儲(chǔ)環(huán)境形成一個(gè)虛擬的存儲(chǔ)資源池。它支持與應(yīng)用服務(wù)器的多協(xié)議連接，可通過(guò)iSCSI、FC、CIFS/NFS為應(yīng)用服務(wù)

37、器分配存儲(chǔ)資源。圖18 系統(tǒng)整合與數(shù)據(jù)遷移示意圖該方案具有以下特性：1. 構(gòu)建全新的存儲(chǔ)網(wǎng)絡(luò)整合IP SAN、FC SAN、DAS設(shè)備，甚至應(yīng)用服務(wù)器本地磁盤，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理。同時(shí)，IV5000支持不同產(chǎn)品的應(yīng)用服務(wù)器（包括Linux/UNIX、HP-UX、IBM AIX、Sun Solaris和Microsoft Windows等）跨越協(xié)議接口的限制使用存儲(chǔ)資源。2. 快速虛擬化提供獨(dú)特的SSE虛擬化技術(shù)，可以保證虛擬化存儲(chǔ)資源時(shí)，不破壞存儲(chǔ)資源中原有數(shù)據(jù)，這大大降低了系統(tǒng)的實(shí)施難度，同時(shí)大大縮短了實(shí)施時(shí)間。3. 提供豐富的數(shù)據(jù)遷移方式結(jié)合DiskSafe技術(shù)，方案可以實(shí)現(xiàn)應(yīng)用服務(wù)器本地

38、磁盤中的數(shù)據(jù)備份到IV5000管理的存儲(chǔ)設(shè)備中。同步鏡像/異步鏡像可以簡(jiǎn)單、快速地在后端網(wǎng)絡(luò)中完成異構(gòu)存儲(chǔ)設(shè)備之間地?cái)?shù)據(jù)遷移（在圖16中，P表示數(shù)據(jù)源，M表示目標(biāo)數(shù)據(jù)卷）。4. 零干擾數(shù)據(jù)遷移應(yīng)用服務(wù)器本地磁盤到存儲(chǔ)設(shè)備數(shù)據(jù)遷移在后臺(tái)運(yùn)行，對(duì)應(yīng)用服務(wù)器沒(méi)有影響；而存儲(chǔ)設(shè)備之間的數(shù)據(jù)遷移在后端網(wǎng)絡(luò)運(yùn)行，不影響前端網(wǎng)絡(luò)的性能。5. 實(shí)時(shí)擴(kuò)充存儲(chǔ)容量在存儲(chǔ)設(shè)備層，可以實(shí)時(shí)添加新的存儲(chǔ)系統(tǒng)，增大數(shù)據(jù)中心的存儲(chǔ)容量。6. 提高投資回報(bào)率通過(guò)簡(jiǎn)潔的Web界面統(tǒng)一管理存儲(chǔ)設(shè)備提供的存儲(chǔ)容量，避免在每一個(gè)應(yīng)用服務(wù)器上安裝存儲(chǔ)管理軟件，降低存儲(chǔ)管理的軟件成本和人力成本；同時(shí)，多個(gè)應(yīng)用服務(wù)器共享存儲(chǔ)設(shè)備，提高了存儲(chǔ)資源的利用率，提高了投資回