iaas資源池規(guī)劃與建設(shè)技術(shù)研究

iaas資源池規(guī)劃與建設(shè)技術(shù)研究

0資源池資源池iacm（基礎(chǔ)設(shè)施即服務(wù)）是云計(jì)算和開(kāi)發(fā)的基礎(chǔ)，為上層平臺(tái)和應(yīng)用程序提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和其他基礎(chǔ)設(shè)施服務(wù)。在實(shí)際應(yīng)用中,為了進(jìn)行資源整合與優(yōu)化,提高資源利用率,將所有的計(jì)算和存儲(chǔ)資源都作為一個(gè)整體,能夠根據(jù)應(yīng)用的需求,靈活地為應(yīng)用提供硬件資源,使資源得到充分利用,并能實(shí)時(shí)在各種應(yīng)用中動(dòng)態(tài)調(diào)整資源分配,類(lèi)似于一個(gè)“水池”的概念,稱(chēng)之為資源池。作為一個(gè)新興的技術(shù)領(lǐng)域,IaaS資源池的規(guī)劃建設(shè)還沒(méi)有系統(tǒng)的規(guī)劃方法及體系可以借鑒,本文希望將實(shí)踐中積累的實(shí)際經(jīng)驗(yàn)與行業(yè)內(nèi)發(fā)布的一些零散的理論基礎(chǔ)相整合,形成一套切實(shí)可行的資源池規(guī)劃與建設(shè)方法體系,為今后的建設(shè)工作提供一些參考。1多網(wǎng)融合安全體系總體架構(gòu)從不同維度和角度進(jìn)行劃分,IaaS資源池的構(gòu)架會(huì)有不同的體系形式。本文從技術(shù)類(lèi)別和功能層級(jí)的角度劃分,IaaS的技術(shù)構(gòu)架主要包括物理資源、虛擬資源池、安全和運(yùn)營(yíng)管理平臺(tái)四個(gè)部分,總體架構(gòu)如圖1所示。物理資源主要包括服務(wù)器、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備,提供最底層的物理支撐能力。虛擬化資源池是指通過(guò)服務(wù)器虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化等技術(shù),結(jié)合操作系統(tǒng)、中間件和應(yīng)用軟件等軟件資源,將物理設(shè)備資源抽象形成可管理、可調(diào)度的邏輯資源,通過(guò)資源匯聚形成資源池。安全是實(shí)現(xiàn)IaaS服務(wù)端到端安全的重要保障,其包括網(wǎng)絡(luò)安全、主機(jī)/虛擬化安全、數(shù)據(jù)安全、業(yè)務(wù)安全和運(yùn)營(yíng)管理安全。運(yùn)營(yíng)管理平臺(tái)是實(shí)現(xiàn)資源統(tǒng)一管理和業(yè)務(wù)統(tǒng)一管控的自動(dòng)化系統(tǒng),主要有以下功能:資源管理、業(yè)務(wù)管理、用戶(hù)管理、接口管理、運(yùn)維管理。2資源池建設(shè)的主要技術(shù)2.1管理物理資源主機(jī)虛擬化是指在一臺(tái)物理主機(jī)上虛擬出多個(gè)VM(虛擬機(jī)),各個(gè)VM之間相互隔離,并能同時(shí)運(yùn)行相互獨(dú)立的操作系統(tǒng),這些GuestOS(客戶(hù)操作系統(tǒng))通過(guò)VMM(虛擬機(jī)管理器)訪問(wèn)實(shí)際的物理資源,并進(jìn)行管理。主機(jī)虛擬化的核心是虛擬化軟件(Hypervisor),分商業(yè)軟件(代表有VMWareESXi和CitrixXenServer等)和開(kāi)源軟件(Xen和KVM等)兩大陣營(yíng)。商業(yè)軟件的特點(diǎn)是成熟、穩(wěn)定、功能豐富、技術(shù)支持能力強(qiáng),但成本較高。開(kāi)源軟件則以免費(fèi)取勝,產(chǎn)品免費(fèi),雖然仍需支付技術(shù)支持費(fèi)用,但總擁有成本仍遠(yuǎn)小于商業(yè)軟件。實(shí)際建設(shè)時(shí)應(yīng)根據(jù)承載業(yè)務(wù)的重要性、自身維護(hù)人員的技術(shù)實(shí)力以及資金狀況靈活選擇。2.2基于技術(shù)的增強(qiáng)存儲(chǔ)存儲(chǔ)虛擬化技術(shù)一般用于整合利舊原有存儲(chǔ)資源,通過(guò)存儲(chǔ)虛擬化技術(shù),將多套異構(gòu)存儲(chǔ)虛擬成一套大容量的存儲(chǔ)設(shè)備,供多個(gè)系統(tǒng)共同使用?？刹捎玫姆绞街饕腥N:a)基于主機(jī)層的存儲(chǔ)虛擬化,即在主機(jī)操作系統(tǒng)中加裝代理軟件。該方式的維護(hù)與配置相對(duì)較復(fù)雜,但支持功能及特性全面,適用于大規(guī)模、異構(gòu)環(huán)境較復(fù)雜、存在大數(shù)據(jù)量交互的異構(gòu)存儲(chǔ)環(huán)境。b)基于存儲(chǔ)層的存儲(chǔ)虛擬化,即以其中一臺(tái)存儲(chǔ)設(shè)備為主,代理訪問(wèn)其余存儲(chǔ)。該方式存在設(shè)備兼容性與單點(diǎn)故障問(wèn)題,如果需要整合的存儲(chǔ)設(shè)備種類(lèi)較多,不推薦此方式。c)基于存儲(chǔ)網(wǎng)絡(luò)層的虛擬化,即依賴(lài)于在存儲(chǔ)網(wǎng)絡(luò)中添加相應(yīng)的虛擬化設(shè)備,實(shí)現(xiàn)對(duì)存儲(chǔ)網(wǎng)絡(luò)中存儲(chǔ)設(shè)備的虛擬化。該方式維護(hù)與配置相對(duì)較簡(jiǎn)單,但受前端控制服務(wù)器的堆疊數(shù)量限制,適用于數(shù)據(jù)讀寫(xiě)量不高的簡(jiǎn)單異構(gòu)存儲(chǔ)環(huán)境。存儲(chǔ)整合時(shí),需綜合考慮不同方式對(duì)原有存儲(chǔ)數(shù)據(jù)的影響、存儲(chǔ)池化的成本以及現(xiàn)有存儲(chǔ)設(shè)備的特點(diǎn)等因素進(jìn)行綜合評(píng)估。3資源池及安全域1)以提高資源利用率為主要目標(biāo),積極引入X86虛擬化和分布式等云化技術(shù),增強(qiáng)資源整合與動(dòng)態(tài)調(diào)配能力,優(yōu)化軟硬件資源配置方案以及資源分配與調(diào)度機(jī)制,整體提升資源利用率。2)充分考慮不同硬件平臺(tái)之間、不同CPU型號(hào)之間、不同虛擬機(jī)平臺(tái)之間、不同存儲(chǔ)系統(tǒng)之間的兼容性,在IaaS服務(wù)標(biāo)準(zhǔn)化尚不成熟階段,盡可能采用單一系統(tǒng),降低兼容性、互通性風(fēng)險(xiǎn)。3)資源池內(nèi)、外部網(wǎng)絡(luò)應(yīng)提供足夠帶寬,滿(mǎn)足虛擬機(jī)加載、遷移產(chǎn)生的高帶寬需求。同時(shí),數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)提供足夠的安全性,通過(guò)部署安全策略在網(wǎng)絡(luò)層面提高IaaS系統(tǒng)的安全性。4)資源池規(guī)劃主要應(yīng)從以下幾方面考慮:總體容量規(guī)劃、節(jié)點(diǎn)設(shè)置、資源池部署、軟件選擇、安全防護(hù)、應(yīng)用加載等。4“網(wǎng)絡(luò)帶”及管理平臺(tái)需求分析資源池容量規(guī)劃時(shí)需要對(duì)規(guī)劃期內(nèi)擬部署或遷移至資源池的業(yè)務(wù)系統(tǒng)需求進(jìn)行梳理,從而得出資源池的建設(shè)要求及規(guī)模。對(duì)于計(jì)算資源,傳統(tǒng)模式下業(yè)務(wù)部門(mén)提出的需求可能是以tpmC為單位的處理能力,也可能是CPU/內(nèi)存/硬盤(pán)等規(guī)劃參數(shù)的物理服務(wù)器配置。為此建議預(yù)先定義好若干標(biāo)準(zhǔn)化虛擬機(jī)模板,要求用戶(hù)將計(jì)算資源需求轉(zhuǎn)化為各類(lèi)標(biāo)準(zhǔn)化模板配置的數(shù)量。對(duì)于存儲(chǔ)資源,主要關(guān)注存儲(chǔ)容量、存儲(chǔ)接口類(lèi)型,如FC(光遷通道)、IP接口數(shù)量等參數(shù)。對(duì)于網(wǎng)絡(luò)資源,主要關(guān)注各種網(wǎng)絡(luò)帶寬需求、IP地址數(shù)、防火墻、負(fù)載均衡設(shè)備需求、NAT(網(wǎng)絡(luò)地址轉(zhuǎn)換)需求等。對(duì)于一些特殊的應(yīng)用,還可能提出X86物理服務(wù)器、小型機(jī)等需求。需要注意的是,由于服務(wù)器的計(jì)算資源可以較好地實(shí)現(xiàn)分時(shí)共享,因此1個(gè)物理CPU的核在實(shí)際運(yùn)行時(shí)往往可以同時(shí)供多臺(tái)虛機(jī)同時(shí)使用,稱(chēng)為超配。單臺(tái)服務(wù)器上所有虛擬機(jī)VCPU(虛擬CPU)總數(shù)為物理CPU核總數(shù)=超配比。為提高資源利用率,可適當(dāng)超配。根據(jù)其上承載的業(yè)務(wù)類(lèi)型,超配比一般在2~6之間。內(nèi)存由于應(yīng)用程序往往不會(huì)主動(dòng)釋放,故很難實(shí)現(xiàn)內(nèi)存的高效共享,因此資源池中服務(wù)器內(nèi)容配比一般較高,建議物理CPU核數(shù)與內(nèi)存的比例至少按照1:4配置,對(duì)于一些內(nèi)容要求較高的業(yè)務(wù),可采用1:8甚至1:16的配比。5同中心節(jié)點(diǎn)的部署考慮到資源池的集約化與規(guī)模效應(yīng),在條件允許的情況下,建議集中部署。選擇基礎(chǔ)設(shè)施條件較好、具備豐富的出局傳輸資源、可擴(kuò)展性好(具備機(jī)房機(jī)架擴(kuò)展空間)、交通方便、配套設(shè)施齊全的機(jī)房。對(duì)于規(guī)模較大(如200個(gè)機(jī)架以上)或機(jī)房條件所限而不得不采用多節(jié)點(diǎn)設(shè)置的,盡量將關(guān)聯(lián)度較高的業(yè)務(wù)系統(tǒng)部署在同一個(gè)節(jié)點(diǎn)。資源池節(jié)點(diǎn)之間建立廣域二層網(wǎng)絡(luò)互聯(lián)的需求主要來(lái)源于資源池之間的服務(wù)器集群計(jì)算及跨資源池的虛擬機(jī)實(shí)時(shí)遷移(如VMotion)。現(xiàn)階段跨節(jié)點(diǎn)的二層互聯(lián)技術(shù)可以選擇光纖直聯(lián)(或傳輸波分)、二層VPLS(虛擬專(zhuān)用局域網(wǎng))VPN(虛擬專(zhuān)用網(wǎng))、IP通道VPLSOverGRE(通用路由封裝)、L2TP(二層隧道協(xié)議)、OTV(覆蓋傳輸虛擬化)等。但虛擬機(jī)實(shí)時(shí)遷移對(duì)時(shí)延的要求非常高,非同城節(jié)點(diǎn)很難滿(mǎn)足要求,并且大二層網(wǎng)絡(luò)的缺點(diǎn)也非常明顯,存在STP(生成樹(shù)協(xié)議)、VRRP(虛擬路由器冗余協(xié)議)Group擴(kuò)散、廣播風(fēng)暴問(wèn)題、VLAN(虛擬局域網(wǎng))及IP地址的全局規(guī)劃難度增加等問(wèn)題,都使得跨節(jié)點(diǎn)大二層網(wǎng)絡(luò)的實(shí)際實(shí)施非常困難。因此,現(xiàn)階段節(jié)點(diǎn)間一般采用三層IP/VPN互聯(lián)。6資源池建設(shè)計(jì)劃6.1管理維護(hù)系統(tǒng)的建立同一個(gè)資源池節(jié)點(diǎn)內(nèi),資源一般分計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源三個(gè)層次,同時(shí)有安全防護(hù)及管理維護(hù)兩個(gè)保障系統(tǒng)。根據(jù)不同的業(yè)務(wù)保障等級(jí)要求,資源又可劃分為開(kāi)發(fā)測(cè)試區(qū)、非核心業(yè)務(wù)區(qū)、核心業(yè)務(wù)區(qū)三個(gè)區(qū)域,為不同區(qū)域提供不同的軟、硬件及維護(hù)等級(jí)的差異化保障。6.2在資源池中引入不同虛機(jī)集群計(jì)算資源以支持虛擬化技術(shù)的X86服務(wù)器為主體,利用不同虛擬化軟件可進(jìn)一步形成不同虛機(jī)集群。針對(duì)特殊需求,也可在資源池中引入X86物理服務(wù)器或UNIX小型機(jī)資源。各種不同的計(jì)算資源首先通過(guò)各自的管理工具實(shí)現(xiàn)管理,并開(kāi)放接口給統(tǒng)一的管理平臺(tái)(通過(guò)統(tǒng)一的異構(gòu)資源適配層),實(shí)現(xiàn)計(jì)算資源的集中監(jiān)控與管理。6.3光纖存儲(chǔ)存儲(chǔ)資源池部署以使用共享存儲(chǔ)為主,分布式對(duì)象存儲(chǔ)作為補(bǔ)充。根據(jù)各類(lèi)存儲(chǔ)技術(shù)的技術(shù)特點(diǎn),推薦以下部署模式:a)FCSAN(基于光纖通道的存儲(chǔ)局域網(wǎng)絡(luò))性能最好,但相對(duì)成本較高,需要建設(shè)單獨(dú)的光纖存儲(chǔ)網(wǎng)絡(luò),作為中高端存儲(chǔ)使用。b)IPSAN或FCoE(以太網(wǎng)光纖通道)可以利用網(wǎng)絡(luò)交換機(jī),無(wú)需單獨(dú)建設(shè)光纖存儲(chǔ)網(wǎng)絡(luò),成本適中,性能略低,作為中、低端存儲(chǔ)使用。c)分布式對(duì)象存儲(chǔ)價(jià)格低廉、容量大,但響應(yīng)速度略低,適合作為非頻繁讀寫(xiě)的大數(shù)據(jù)量存儲(chǔ)需求。d)離線備份手段可以采用傳統(tǒng)磁帶庫(kù),也可采用大容量SATA(串行高級(jí)技術(shù)附件)陣列。6.4資源池三網(wǎng)三網(wǎng)資源池節(jié)點(diǎn)的網(wǎng)絡(luò)推薦采用扁平化架構(gòu)設(shè)計(jì),分核心層與接入層兩個(gè)層面。核心層主要由大容量三層交換機(jī)組成,主要負(fù)責(zé)與外部網(wǎng)絡(luò)的流量交換以及節(jié)點(diǎn)內(nèi)各集群之間的流量轉(zhuǎn)發(fā)。資源池配置集中式的大容量防火墻及負(fù)載均衡設(shè)備,供資源池內(nèi)多個(gè)業(yè)務(wù)系統(tǒng)共同使用,一般直接接入核心層。接入層主要由接入交換機(jī)構(gòu)成,負(fù)責(zé)服務(wù)器的接入。7虛擬層安全的特點(diǎn)IaaS資源層的安全防護(hù)主要包括物理與環(huán)境安全、主機(jī)安全、網(wǎng)絡(luò)安全、虛擬層安全及接口安全,當(dāng)然也包括數(shù)據(jù)安全、加密和密鑰管理、身份識(shí)別和訪問(wèn)管理、安全事件管理、業(yè)務(wù)連續(xù)性等多個(gè)方面。其中多數(shù)屬于傳統(tǒng)的安全防護(hù)領(lǐng)域,也有因?yàn)樾录夹g(shù)引入帶來(lái)的新挑戰(zhàn),如虛擬層安全。虛擬化的安全包括兩個(gè)方面的問(wèn)題:a)虛擬技術(shù)本身的安全問(wèn)題。b)虛擬化引入后新的安全問(wèn)題?？梢圆捎玫南鄳?yīng)技術(shù)措施包括虛擬鏡像文件的加密存儲(chǔ)和完整性檢查、VM的隔離和加固、VM訪問(wèn)控制、虛擬化脆弱性檢查、VM監(jiān)控、VM安全遷移等。另外還需要關(guān)注虛擬層自身存在的一些容易被利用的漏洞,對(duì)于商業(yè)化軟件,要及時(shí)更新漏洞補(bǔ)丁,制訂一套嚴(yán)格的Hypervisor配置策略,定期審核Hypervisor安全日志,采用沙盤(pán)Sandbox技術(shù)等方式來(lái)加強(qiáng)安全。8集成商的研發(fā)業(yè)務(wù)系統(tǒng)遷移建設(shè)按照前期評(píng)估、方案制訂、資源調(diào)度、業(yè)務(wù)割接部署、成全審計(jì)、成效評(píng)估六個(gè)步驟進(jìn)行。對(duì)于集成商支撐力度較強(qiáng)的業(yè)務(wù)系統(tǒng),建議采用在虛擬機(jī)上重新部署的方式遷移,避免可能出現(xiàn)的兼容性問(wèn)題。對(duì)于支撐力度較弱的系統(tǒng),可以利用一些P2V(物理機(jī)到虛擬機(jī))的工具進(jìn)行自動(dòng)遷移,但遷移工具對(duì)