云資源管理平臺項目工作匯報

云資源管理平臺項目工作匯報

2012.8.29中國銀聯(lián)電子支付研究院目錄項目目標(biāo)和進(jìn)度詳細(xì)工作成果整體架構(gòu)和重要解決方案后續(xù)工作計劃項目目標(biāo)和進(jìn)度

總體目標(biāo)與架構(gòu)分階段建設(shè)目標(biāo)項目整體進(jìn)度項目管理制度1總體目標(biāo)與架構(gòu)資源整合層最終用戶云資源管理平臺LDAP驗證統(tǒng)一監(jiān)控界面計算資源池PC服務(wù)器IBM小型機(jī)計算虛擬化存儲資源池HPXP24000HDSUSP-VEMCDMX-4存儲虛擬化網(wǎng)絡(luò)資源池交換機(jī)防火墻路由器網(wǎng)絡(luò)虛擬化適配器適配器適配器即將數(shù)據(jù)中心所有服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備集中統(tǒng)一管理，通過模版配置和動態(tài)調(diào)整等功能為用戶提供整合的、高可用性的、可快速部署使用的IT基礎(chǔ)設(shè)施。

資源創(chuàng)建可靠運行便捷管理統(tǒng)籌規(guī)劃云資源管理能力創(chuàng)建集群注冊物理主機(jī)虛擬機(jī)資源申請和審批虛擬機(jī)資源創(chuàng)建虛擬機(jī)的啟動和停止虛擬資源負(fù)載均衡虛擬機(jī)遷移虛擬機(jī)備份和恢復(fù)高可用基本監(jiān)控完善資源監(jiān)控與計量應(yīng)用自動安裝資源調(diào)度策略可配置可調(diào)整資源申請和審批流程可配置虛擬網(wǎng)絡(luò)規(guī)劃存儲虛擬化管理可視化網(wǎng)絡(luò)設(shè)計和資源開通可視化資源拓?fù)涔芾?012-5201320142012-10分階段建設(shè)目標(biāo)100臺主機(jī)1000臺主機(jī)2000臺主機(jī)集成規(guī)模階段5月8月9月10月11月試用版和發(fā)改委驗收正式版需求和設(shè)計技術(shù)預(yù)研監(jiān)控集成開發(fā)集成測試上線和穩(wěn)定100%100%90%100%40%HA預(yù)研文檔電子票據(jù)系統(tǒng)穩(wěn)定運行項目整體進(jìn)度（1）研究院研發(fā)環(huán)境試用。云POS、電子票據(jù)、風(fēng)險、數(shù)據(jù)挖掘和移動編程引擎√√√√20%√√√√20%√√√30%20%√√√20%20%√√√20%20%√√√20%20%√√√√(*)20%√√√30%20%√√-50%20%√√√20%20%√√√√√√√√30%20%核心特性創(chuàng)建、查看、重啟、刪除啟動、停止、掛起、激活備份和恢復(fù)克隆和熱遷移快照和回滾虛擬機(jī)高可用多集群部署方式調(diào)度(指定和自動)多租戶支持VLAN支持和存儲支持監(jiān)控整合和PaaS接口其它需求設(shè)計預(yù)研開發(fā)測試上線驗收銀聯(lián)獨立完成銀聯(lián)主導(dǎo)項目整體進(jìn)度（2）銀聯(lián)參與目前已完成測試方案與部分測試案例項目計劃項目管理制度每周例會和匯報風(fēng)險點跟蹤（均按計劃進(jìn)行）詳細(xì)工作成果

試用版需求設(shè)計詳細(xì)開發(fā)其他2試用版

需求122頁55個功能點55個評審意見設(shè)計29個表

162個業(yè)務(wù)方法開發(fā)詳細(xì)的開發(fā)任務(wù)跟蹤開發(fā)規(guī)范版本管理Vmware中搭建的openstack開發(fā)環(huán)境，開箱即用，一鍵源碼安裝openstack截止目前資源管理平臺40864行,修改openstack源碼，編寫各類腳本和配置2千行測試測試方案書測試案例一期測試用例

：

203個測試用例,50個bug二期測試用例

：

已完成測試方案，483個測試用例其他多份預(yù)研報告部署手冊使用手冊整體架構(gòu)和重要解決方案

邏輯架構(gòu)OpenStack部署架構(gòu)HA自動調(diào)度存儲方案3邏輯架構(gòu)BasedonOpenStackOpenStackQuatum云節(jié)點(Zone,完整的Openstack部署實例,可管理100-500臺物理機(jī))部署架構(gòu)云平臺控制器物理集群(20)物理集群(20)物理集群(20)物理集群(20)ImageKeystone云節(jié)點控制器DBApiSchedulerNetworkHAMonitorMQ邏輯集群(1-20)邏輯集群邏輯集群邏輯集群物理機(jī)租戶區(qū)/業(yè)務(wù)區(qū)各組件分布在不同集群中,可根據(jù)實際情況添加組件，以提高處理性能和可用性。HAHAComputeStatusDB高可用集群ComputeScheduler探測投票探測遷移指令VM狀態(tài)查詢狀態(tài)報告VM創(chuàng)建虛擬機(jī)自動調(diào)度銀聯(lián)云計算存儲需求與分析—存儲性能需求存儲類別IO性能擴(kuò)展性高可用性管理性共享性方案鏡像模板（鏡像母庫）低高中高無共享？鏡像實例(OS盤)中低低低共享/無共享（無熱遷移）？虛擬機(jī)業(yè)務(wù)數(shù)據(jù)中中高中共享（HA）？虛擬機(jī)快照低中高高無共享？虛擬機(jī)備份低高高高無共享？應(yīng)用間共享文件存儲中中高高共享？數(shù)據(jù)庫高中高低無共享FC-SAN海量數(shù)據(jù)中高高中無共享Hadoop現(xiàn)有存儲方案

SAN交換機(jī)管理服務(wù)器虛擬化虛擬化虛擬化虛擬化虛擬化OCFS2虛擬機(jī)鏡像實例(OS盤)虛擬機(jī)業(yè)務(wù)應(yīng)用數(shù)據(jù)盤管理網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)(WAN)虛擬機(jī)快照和備份的存儲并未明確規(guī)劃虛擬機(jī)上的應(yīng)用無法共享文件存儲共享性差（OCFS2等集群文件系統(tǒng)共享節(jié)點數(shù)受限）管理性差（直接對SAN管理，配置不靈活）性能損耗（

OCFS2引起）穩(wěn)定性（受制于OCFS2）鏡像模板（鏡像母庫）NAS專有網(wǎng)絡(luò)方案演進(jìn)-鏡像實例(OS盤)和虛擬機(jī)業(yè)務(wù)數(shù)據(jù)

SAN交換機(jī)管理服務(wù)器虛擬化虛擬化虛擬化虛擬化虛擬化虛擬機(jī)鏡像實例(OS盤)管理網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)(WAN)

高性能NAS存儲網(wǎng)關(guān)虛擬機(jī)業(yè)務(wù)應(yīng)用數(shù)據(jù)盤鏡像模板（鏡像母庫）銀聯(lián)虛機(jī)文件共享千兆接入、萬兆匯聚服務(wù)器上光纖端口變?yōu)橐蕴W(wǎng)口，光纖交換機(jī)變?yōu)榫W(wǎng)絡(luò)交換機(jī)管理性、共享性和擴(kuò)展性得到提升詳細(xì)方案規(guī)劃SAN交換機(jī)橫向擴(kuò)展NAS集群上限為4、8與16考慮到虛擬機(jī)OS鏡像和虛擬機(jī)業(yè)務(wù)數(shù)據(jù)重要性等級，不做SAN的雙備，僅通過Raid10保護(hù)方案合理性分析-數(shù)據(jù)規(guī)劃

物理機(jī)每臺物理機(jī)運行5臺虛擬機(jī)千兆接入，萬兆匯聚虛擬機(jī)每臺虛擬機(jī)平均30G存儲空間每臺虛擬機(jī)IOPS為30每臺虛擬機(jī)存儲帶寬200KB/S存儲一個SAN存儲機(jī)器480塊SAS盤每塊SAS盤IOPS為200采用Raid10可支持虛擬機(jī)數(shù)=SAN存儲滿盤數(shù)/2*每盤IOPS*磁盤性能預(yù)留（0.8）/每虛擬機(jī)IOPS=1280臺>1000臺匯聚帶寬=每臺虛擬機(jī)存儲帶寬*1000臺=200MB/S<萬兆匯聚帶寬每塊SAS盤容量=所需存儲容量*2/SAN存儲滿盤數(shù)=125GB（300GB）方案合理性分析-NAS集群的選型（1）NAS集群網(wǎng)關(guān)節(jié)點之間共享存儲空間存儲擴(kuò)展性高成本較高，高性能SAN存儲

SAN交換機(jī)帶盤陣的NAS集群節(jié)點之間不共享存儲空間存儲擴(kuò)展性差成本較低，性能一般方案合理性分析-NAS集群的選型（2）SAN交換機(jī)方案合理性分析-成本分析200臺物理機(jī)規(guī)模硬件成本分析

服務(wù)器存儲端口線纜接入交換機(jī)總成本NAS+SAN方案20萬元3.2萬元60萬元83.2萬元SAN方案60萬元8萬元100萬元168萬元差價

84.8萬元配件單價（元）雙口HBA卡3000雙口千兆網(wǎng)卡1000光纖線2006類線8048口光纖交換機(jī)10000048口千兆交換機(jī)60000一臺NAS集群網(wǎng)關(guān)大約30~40萬，相比SAN存儲的方案SAN交換機(jī)減少了，但是還需每800臺物理機(jī)服務(wù)器配備2臺核心萬兆交換機(jī)。因此總體成本基本持平。每臺服務(wù)器1塊雙口HBA卡/1個雙口千兆網(wǎng)卡每臺服務(wù)器2根光纖錢/2根6類網(wǎng)線每40臺服務(wù)器2臺光纖交換機(jī)/2臺千兆交換機(jī)機(jī)架式服務(wù)器:

NAS專有網(wǎng)絡(luò)虛擬機(jī)OS鏡像采用DAS（不具備熱遷移）

SAN交換機(jī)管理服務(wù)器虛擬化虛擬化虛擬化虛擬化虛擬化管理網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)(WAN)

高性能NAS存儲網(wǎng)關(guān)銀聯(lián)虛機(jī)文件共享鏡像模板（鏡像母庫）虛擬機(jī)業(yè)務(wù)應(yīng)用數(shù)據(jù)盤虛擬機(jī)虛擬機(jī)鏡像實例(OS盤)DAS存儲由于云上業(yè)務(wù)系統(tǒng)采用負(fù)載均衡模式，對于一些不重要的虛擬機(jī)業(yè)務(wù)數(shù)據(jù)也可采用DAS（此時實現(xiàn)HA較難）虛擬機(jī)虛擬機(jī)鏡像實例(OS盤)虛擬機(jī)虛擬機(jī)鏡像實例(OS盤)虛擬機(jī)虛擬機(jī)鏡像實例(OS盤)虛擬機(jī)虛擬機(jī)鏡像實例(OS盤)業(yè)務(wù)數(shù)據(jù)從物理機(jī)的NAS變?yōu)樘摂M機(jī)的NAS

以太網(wǎng)交換機(jī)

以太網(wǎng)交換機(jī)需要對存儲進(jìn)行深入的管理VM1物理機(jī)文件系統(tǒng)中的一個文件成熟的虛擬機(jī)化技術(shù)，無需進(jìn)一步管理存儲后續(xù)工作計劃

4后續(xù)工作計劃年底的穩(wěn)定上線測試案例完善（已啟動，后續(xù)跟進(jìn)）云機(jī)房與設(shè)備到位后，做充分的測試與模型驗證與普元工作機(jī)制的制定，10月后長期有人留守在銀聯(lián)監(jiān)控系統(tǒng)方案的調(diào)研(與上信聯(lián)合)UMP（銀聯(lián)二代系統(tǒng)，使