重慶移動(dòng)網(wǎng)管支撐系統(tǒng)云平臺(tái)構(gòu)架與建設(shè)應(yīng)用VIP

網(wǎng)絡(luò)質(zhì)量是通信企業(yè)生命線 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 2010年 1月 重慶移動(dòng)網(wǎng)管支撐系統(tǒng)云平臺(tái)構(gòu)架與建設(shè)應(yīng)用 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 2頁 目錄 建設(shè)背景及目標(biāo) 虛擬主機(jī)應(yīng)用案例 虛擬存儲(chǔ)應(yīng)用案例 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 3頁 建設(shè)背景 根據(jù)集團(tuán)公司領(lǐng)導(dǎo)專題辦公會(huì)議紀(jì)要“南方基地項(xiàng)目及云計(jì)算應(yīng)用研究專題會(huì)議 ”：先期積極探索支撐云的建設(shè)。，逐步讓云計(jì)算成為支撐系統(tǒng)建設(shè)的核心力量，在新的支撐系統(tǒng)建設(shè)時(shí)，要考慮云計(jì)算的比例 集團(tuán)節(jié)能減排工作：將 IT系統(tǒng)虛擬化建設(shè)納入了 2009年考核辦法，要求重點(diǎn)推動(dòng) 建設(shè)依據(jù) 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 4頁 建設(shè)背景 資源的“無限”擴(kuò)張正面臨“硬底”，缺乏有效的管理工具 存儲(chǔ)服務(wù)受限于同構(gòu)系統(tǒng)的粘性，控制力和技術(shù)選擇能力弱化 資源使用效率的不一致，有些系統(tǒng)存儲(chǔ)一再擴(kuò)容，而一些系統(tǒng)可能還有閑置的空間，但不能實(shí)現(xiàn)資源共享 網(wǎng)絡(luò)建設(shè)需求緊急，而現(xiàn)有建設(shè)周期長，建設(shè)需經(jīng)過規(guī)劃、設(shè)計(jì)、設(shè)備購置、安裝等多個(gè)環(huán)節(jié)無法滿足需求快速部署的要求 網(wǎng)管存儲(chǔ)現(xiàn)狀分析 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 5頁 建設(shè)背景 話務(wù)、數(shù)據(jù)、傳輸、動(dòng)環(huán)、信令監(jiān)測等各專業(yè) OMC網(wǎng)管和專業(yè)綜合網(wǎng)管，系統(tǒng)超過 50多套，近三年 PC主機(jī)采購86臺(tái)，現(xiàn)狀為 PC應(yīng)用專有服務(wù)器獨(dú)占（服務(wù)器孤島），PC主機(jī)存在某些利用率不高或某些使用頻繁的情況，并且隨著網(wǎng)管支撐系統(tǒng)的不斷新建和擴(kuò)容，資源利用將會(huì)更加不均衡 網(wǎng)絡(luò)建設(shè)需求緊急，而現(xiàn)有建設(shè)周期長，建設(shè)需經(jīng)過規(guī)劃、設(shè)計(jì)、設(shè)備購置、安裝等多個(gè)環(huán)節(jié)無法滿足需求快速部署的要求 網(wǎng)管主機(jī)現(xiàn)狀分析 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 6頁 建設(shè)目標(biāo) 1 2 4 建立多層智能化存儲(chǔ)網(wǎng)絡(luò) ， 實(shí)現(xiàn)數(shù)據(jù)訪 問隔離與數(shù)據(jù)共享，支持復(fù)雜的多協(xié)議網(wǎng) 絡(luò)平臺(tái) 按中心或者機(jī)房復(fù)用網(wǎng)絡(luò)和安全等 IT設(shè)備 統(tǒng)籌考慮安全 實(shí)現(xiàn)存儲(chǔ)網(wǎng)絡(luò)、服務(wù)器網(wǎng)絡(luò)訪問多路徑冗 余 購建異購模式的存儲(chǔ)池，服務(wù)器池和網(wǎng)絡(luò) 池 集中統(tǒng)一管理基礎(chǔ)設(shè)施資源 建立視圖管理 在線回收，在線遷移、在線擴(kuò)展資源 建立災(zāi)備中心 制定存儲(chǔ)安全級(jí)別， 分級(jí)存儲(chǔ)，提高數(shù)據(jù)保障能力 根據(jù)存儲(chǔ)安全級(jí)別劃分，分級(jí)備份 建立橫跨各應(yīng)用系統(tǒng)的統(tǒng)一備份系統(tǒng) 按需規(guī)劃，高資源利用率，統(tǒng)一擴(kuò)容； 虛擬服務(wù)器 集中統(tǒng)一管理、建立災(zāi)備中心 虛擬存儲(chǔ) 3 虛擬網(wǎng)絡(luò) 制定系統(tǒng) /子功能重要級(jí)別，按需分配資源 n+1,1+1的集群模式 關(guān)注系統(tǒng)生命周期，合理利用資源 按需規(guī)劃，高利用率，按需申請 網(wǎng)管支撐云平臺(tái) 整合存儲(chǔ)及服務(wù)器是一階段目標(biāo) 虛擬池及災(zāi)備中心是二階段目標(biāo) 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 7頁 目錄 建設(shè)背景及目標(biāo) 虛擬主機(jī)應(yīng)用案例 虛擬存儲(chǔ)應(yīng)用案例 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 8頁 虛擬存儲(chǔ)的建設(shè)步驟 統(tǒng)籌規(guī)劃、分步實(shí)施 構(gòu)建綜合網(wǎng)管支撐系統(tǒng)的虛擬存儲(chǔ)池，擴(kuò)容現(xiàn)有存儲(chǔ)空間，按需分配，并為后期 IT虛擬化平臺(tái)提供存儲(chǔ)空間，支持多協(xié)議存儲(chǔ)網(wǎng)絡(luò)，設(shè)備異構(gòu) 實(shí)施階段一 廠家 OMC存儲(chǔ)納入存儲(chǔ)池管理，實(shí)現(xiàn) X86的存儲(chǔ)與小型機(jī)的存儲(chǔ)的互通，構(gòu)建統(tǒng)一的網(wǎng)絡(luò)支撐系統(tǒng)的基礎(chǔ)設(shè)施平臺(tái)，標(biāo)準(zhǔn)化 IT網(wǎng)管支撐體系，提升平臺(tái)服務(wù)支撐能力，業(yè)務(wù)保障能力。 實(shí)施階段二 云平臺(tái) 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 9頁 網(wǎng)管集中存儲(chǔ)平臺(tái)相關(guān)系統(tǒng)介紹 系統(tǒng)名稱 主機(jī)型號(hào)數(shù)量 主機(jī)數(shù) 量 主機(jī)操作系 統(tǒng)名稱以及版本 集群 軟 件和版本 數(shù)據(jù) 庫 版本 &數(shù)據(jù) 庫 安裝類 型 存 儲(chǔ)類 型和配置 交換機(jī)類型數(shù)量 信令監(jiān)測 TD改造系統(tǒng) HP RX6600 1 HP-UX B.11.23 N/A Sybase IQ(Raw Device) EMC CX3-20F N/A 信令監(jiān)測 2.5與 3期系統(tǒng) HP DL580G5 3 Redhat Linux5AS N/A oracle EMC CX3-20F Sun Fire V890 3 Solaris10 N/A oracle EMC CX300 EMC DS200B x1 Sun Fire V880 1 Solaris10 N/A oracle EMC CX300 數(shù)據(jù)業(yè)務(wù)綜合網(wǎng)管系統(tǒng) HP RX3600 2 HP-UX B.11.23 MC/SG oracle9ilvm IBM DS4700 IBMMDS9124 HP RX6600 2 HP-UX B.11.23 MC/SG sybase IBMMDS9124 傳輸網(wǎng)管系統(tǒng) HP 7420 2 HP-UX B.11.23 MC/SG informix HP EVA4400 HP StorageWorks x2 話務(wù)網(wǎng)管 4期 HP RX6600 2 HP-UX B.11.31 MC/SG Oracle10g (Raw Device on lvm) HP EVA4400 HP StorageWorks x2 網(wǎng)絡(luò)支撐客服系統(tǒng) HPDL585 2 RedHat Linux Redhat Cluster Suit Oracle10g (raw device on clvm) HP EVA4100 HP StorageWorks x2 HPDL385 2 RedHat Linux Redhat Cluster Suit HP EVA4100 HP StorageWorks x2 信令監(jiān)測 2期系統(tǒng) Sun Fire V880 3 Solaris8 N/A Sybase ASE Sun StorEdge 3510 N/A Sybase IQ(Raw Device) 電子運(yùn)行維護(hù)系統(tǒng) SUN V440 2 Solaris 9 Sun Cluster oracle9i Sun StorEdge 3510 N/A 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 10頁 一期整合存儲(chǔ)容量（ 30T),擴(kuò)容（ T) 項(xiàng)目名稱 存儲(chǔ)類型和配置 存儲(chǔ)容量 數(shù)據(jù)恢復(fù)時(shí) 長需求 話務(wù)網(wǎng)管 4期 HP EVA4400/RAID1+0 24 x 300G (15k/rpm， FC) 2小時(shí) 數(shù)據(jù)業(yè)務(wù)綜 合網(wǎng)管系統(tǒng) IBM DS4700 12 x 146G (10Krpm,FC) 0小時(shí) 網(wǎng)絡(luò)支撐客 服系統(tǒng) HP EVA4100/RAID1+0 12 x 300G (15k/rpm， FC) 12小時(shí) 電子運(yùn)行維 護(hù)系統(tǒng) Sun StorEdge 3510 10 x 146G (10k/rpm， FC) 1小時(shí) 信令監(jiān) TD 改造系統(tǒng) EMC CX3-20F/RAID5 磁盤柜 1： 15 x 300（ 10K/rpm,FC） 磁盤柜 2： 15 x 300（ 10K/rpm,FC） 磁盤柜 3： 15 x 300（ 10K/rpm,FC） 磁盤柜 4： 5 x 300（ 10K/rpm,FC） 磁盤柜 5： 15 x 300（ 10K/rpm,FC） 12小時(shí) 信令監(jiān)測 2期系統(tǒng) Sun StorEdge 3510/RAID5 控制框： 12 x 146G (10Krpm， FC) 擴(kuò)展框 1： 12 x 146G (10Krpm， FC) 擴(kuò)展框 2： 12 x 146G (10Krpm， FC) 12小時(shí) 信令監(jiān)測 2.5與 3期系統(tǒng) EMC CX20F/RAID5 EMC CX300/RAID5 陣列 1(CX0F)： 磁盤柜 1： 14 x 300G (10Krpm， FC) 磁盤柜 2： 5 x 300G (10Krpm， FC) 陣列 2(CX300)： 磁盤柜 1： 15 x 300G (10Krpm， FC) 磁盤柜 2： 15 x 300G (10Krpm， FC) 12小時(shí) 傳輸網(wǎng)管系統(tǒng) HP EVA4400/RAID5 陣列 2(EVA4400)： 13 x 146G (10Krpm,FC) 2小時(shí)以內(nèi) 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 11頁 二期計(jì)劃整合存儲(chǔ)容量 數(shù)據(jù)安全級(jí)別 高 SUN SE3310 華為 M2000 高 SUN 6140 華為 M2000 中 SUN SE 3300 預(yù)警分析系統(tǒng) 中 SUN ST2450 愛立信 TD OMC 中 SUN ST2450 愛立信 TD OMC 高 SUN 6140 華為 TD OMC 高 SUN SE3310 華為 M2000 中 SUN 3510 阿爾卡特 OMCR 中 SUN 3510 阿爾卡特 OMCR 高 SUN 3510 愛立信網(wǎng)管系統(tǒng) 高 SUN 3510 愛立信網(wǎng)管系統(tǒng) 數(shù)據(jù)恢復(fù)時(shí)長需求 存儲(chǔ)容量 存儲(chǔ)類型和配置 項(xiàng)目名稱 高 中 低 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 12頁 圖例 ： 光纖鏈路 話務(wù)網(wǎng)管四期 EOMS 信令監(jiān)測 2 期系統(tǒng) 網(wǎng)絡(luò)支撐客服系統(tǒng) 數(shù)據(jù)綜合網(wǎng)管 2 信令監(jiān)測 2 .5 、 3 期系統(tǒng) 信令監(jiān)測 TD 服 務(wù) 器 SW1 服務(wù)器 SW2 HP EVA 4400 SUN 3510 EVA 4400 SUN 3510 IBM DS 4 7 00 HP EVA 4000 HP rx 6600 HP rx 6600 SUN V 440 SUN V 440 HP rx 3 600 HP rx 6600 SUNV 880 SUN V 890 SUN V 890 SUNV 8 90 虛擬存儲(chǔ) 控制設(shè)備 HP rx 3 600 HP rx 6600 傳輸綜合網(wǎng)管 SUN V 890 SUN V 890 SUN V 890 EMC 3 20 - F EMC CX 3 00 EMC CX 3- 20 存 儲(chǔ) 光 纖 SW2 存 儲(chǔ) 光 纖 SW1 重慶移動(dòng)虛擬存儲(chǔ)平臺(tái)網(wǎng)絡(luò)拓?fù)鋱D（新） 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 13頁 目錄 建設(shè)背景及目標(biāo) 虛擬主機(jī)應(yīng)用案例 虛擬存儲(chǔ)應(yīng)用案例 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 14頁 虛擬主機(jī)的建設(shè)步驟 統(tǒng)籌規(guī)劃、分步實(shí)施 構(gòu)建網(wǎng)管支撐系統(tǒng)的虛擬主機(jī)池，為新建支撐項(xiàng)目提供基于X86的計(jì)算能力，依靠自然法則，遵循資產(chǎn)管理規(guī)定逐步替換年久設(shè)備 實(shí)施階段一 建立分布式計(jì)算模式 實(shí)施階段二 云平臺(tái) 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 15頁 一階段實(shí)施目標(biāo) 將近期新增網(wǎng)管支撐系統(tǒng)和部分能力不足需擴(kuò)容系統(tǒng)的PC主機(jī)納入該項(xiàng)目實(shí)施管理，采購大處理能力的 PC主機(jī)5臺(tái)劃分虛擬機(jī)（若按常規(guī)方式建設(shè)需購買 20臺(tái) PC SERVER）和 2臺(tái)管理機(jī)以滿足網(wǎng)管支撐系統(tǒng) PC主機(jī)發(fā)展需要到 2010年 6月 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 16頁 網(wǎng)管主機(jī)虛擬化平臺(tái)一期效益分析 效益分析： 主機(jī)虛擬化特性 優(yōu)勢 物理服務(wù)器轉(zhuǎn)換成虛擬機(jī)，虛擬機(jī)被動(dòng)態(tài)部署，物理服務(wù)器數(shù)量被縮減 減少服務(wù)器的維護(hù)量，減少物理服務(wù)器的快速增長，簡化和加快應(yīng)用服務(wù)器配置速度 高級(jí)虛擬化管理系統(tǒng)同時(shí)管理虛擬的和物理的資產(chǎn)；實(shí)現(xiàn)服務(wù)器配置安裝和變更控制的集中化管理 減少用于管理的資源和時(shí)間 不需要為每套系統(tǒng)每個(gè)應(yīng)用單獨(dú)配置計(jì)算資源 提高設(shè)備利用率 節(jié)能減排：虛擬化前 20臺(tái) PC能耗 11000瓦 /小時(shí)（ 550 瓦 /臺(tái) .小時(shí) )，虛擬化后 5臺(tái) PC能耗 3750瓦 /小時(shí)（ 750瓦 /臺(tái) .小時(shí)），減少 7250瓦 /小時(shí) 主設(shè)備功耗降低 63510度，空調(diào)能耗降低 114318度，一年可節(jié)約能耗 177828度，年節(jié)約 17.78萬元左右電費(fèi) 節(jié)約空間：虛擬化前 20臺(tái) PC需要 4個(gè)機(jī)架，虛擬化后 5臺(tái)機(jī)器需要 1個(gè)機(jī)架 機(jī)房面積節(jié)約約 4平方米（服務(wù)器機(jī)架和維護(hù)面積之和） 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 17頁 一期系統(tǒng)應(yīng)用情況 網(wǎng)管支撐系統(tǒng) 操作系統(tǒng)名稱 CPU型號(hào)、數(shù)量（主頻、核數(shù)量） 網(wǎng)卡接入局域網(wǎng)交換機(jī)的數(shù)量、型號(hào) 轉(zhuǎn)固使用年限 CPU平均利用率 方式 業(yè)通達(dá)動(dòng)環(huán)網(wǎng)管維護(hù)終端 windows2000 P4 2.6 G 1個(gè)，處理能力為 15萬 TPMC Realtek TL8139 網(wǎng)卡 1個(gè) 2003-7-20 15% 系統(tǒng)遷移 數(shù)據(jù)遷移 業(yè)通達(dá)動(dòng)環(huán)短信服務(wù)器 windows2000 P4 2.6 G 1個(gè)，處理能力為 15萬 TPMC Realtek TL8139網(wǎng)卡 1個(gè) 2003-7-20 15% 系統(tǒng)遷移 數(shù)據(jù)遷移 電子運(yùn)維系統(tǒng)（短信網(wǎng)關(guān) ) Windows2003 Server Xeon 3.0，處理能力為 20萬TPMC Realtek TL8139網(wǎng)卡 1個(gè) 2004-10-1 80% 系統(tǒng)遷移 數(shù)據(jù)遷移 電子運(yùn)維系統(tǒng)（論壇 ) Windows2003 Server Xeon 3.0，處理能力為 20萬TPMC Realtek TL8139網(wǎng)卡 1個(gè) 2004-10-1 50% 系統(tǒng)遷移 數(shù)據(jù)遷移 電子運(yùn)維系統(tǒng)（ Web跳轉(zhuǎn) ) Windows2003 Server Xeon 3.0，處理能力為 20萬TPMC Realtek TL8139網(wǎng)卡 1個(gè) 2004-10-1 60% 系統(tǒng)遷移 數(shù)據(jù)遷移 一期遷移至主機(jī)虛擬化平臺(tái)的系統(tǒng)設(shè)備 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 18頁 一期系統(tǒng)應(yīng)用情況 系統(tǒng)名稱 虛機(jī)部署數(shù)量 CPU型號(hào)、數(shù)量（主頻、核數(shù)量） 存儲(chǔ)可用容量需求 寬需求（ MB/s） 綜合監(jiān)控系統(tǒng) 綜合監(jiān)控和應(yīng)急指揮管理的采集服務(wù)器： 2臺(tái)； 應(yīng)用服務(wù)器： 2臺(tái)； 數(shù)據(jù)庫服務(wù)器： 1臺(tái)。 合計(jì)： 5臺(tái) 每臺(tái)處理能力至少為 20萬TPMC 3TB 內(nèi)網(wǎng)： 10M 外網(wǎng)： 1M 網(wǎng)管安全管控平臺(tái) 日志采集服務(wù)器： 6臺(tái)； 審計(jì)及數(shù)據(jù)庫服務(wù)器： 2臺(tái)； 集中認(rèn)證服務(wù)器： 2臺(tái)； 核心服務(wù)器： 2臺(tái)； 應(yīng)急服務(wù)器： 1臺(tái)。 合計(jì)： 13臺(tái) 因方案未完全確定，需求不明確 3.5TB 內(nèi)網(wǎng)： 20M 外網(wǎng)： 0M 網(wǎng)絡(luò)預(yù)警分析系統(tǒng) 數(shù)據(jù)倉庫服務(wù)器： 2臺(tái) 分析服務(wù)器： 2臺(tái) 合計(jì)： 4臺(tái) 內(nèi)存 32G Intel 至強(qiáng) E7440 四顆 4*4核，主頻 2.4GHz內(nèi)存： 12G CPU： Intel Xeon X5560 二顆（ 2*4核，主頻 2.8GHz）檔次 10T 內(nèi)網(wǎng)： 100M 外網(wǎng)： 0M 一期新建至主機(jī)虛擬化平臺(tái)的系統(tǒng)設(shè)備 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 19頁 H P l e f t H a n d P 4 5 0 0 磁 盤 陣 列虛 擬 機(jī) 承 載 層虛 擬 中 心 管 理 服 務(wù) 器( 2 片 刀 片 )網(wǎng) 絡(luò) 設(shè) 備 層集 中 存 儲(chǔ) 層（ 核 心 網(wǎng) 集 中 備 份 ）網(wǎng) 管 核 心 交 換 機(jī)S 8 5 0 5 （ 2 臺(tái) ）新 增 設(shè) 備三 層 交 換 機(jī)（ 2 臺(tái) ）千 兆 以 太 網(wǎng) 線 纜中 興 5 2 2 4 交 換 機(jī)利 舊 設(shè) 備刀 片 1虛 擬 中 心 管 理 層3 * G E3 * G E2 * G E2 * G E2 * G E1 * G E1 * G E刀 片 2 刀 片 3 刀 片 4 刀 片 5內(nèi) 部 D M Z 交 換 機(jī)（ 2 臺(tái) ）外 部 D M Z 交 換 機(jī)（ 2 臺(tái) ）2 * G E2 * G E2 * G E2 * G E 2 * G E網(wǎng)管主機(jī)虛擬化平臺(tái)一期網(wǎng)絡(luò)結(jié)構(gòu) 中國移動(dòng)通信集團(tuán)重慶有限公司 網(wǎng)絡(luò)管理中心 第 20頁 H P l e f t H a n d P 4 5 0 0 磁 盤 陣 列虛 擬 機(jī) 承 載 層虛 擬 中 心 管 理 服 務(wù) 器( 2 片 刀 片 )網(wǎng) 絡(luò) 設(shè) 備 層集 中 存 儲(chǔ) 層（ 核 心 網(wǎng) 集 中 備 份 ）網(wǎng) 管 核 心 交 換 機(jī)S 8 5 0 5 （ 2 臺(tái) ）新 增 設(shè) 備三 層 交 換 機(jī)（ 2 臺(tái) ）千 兆 以 太 網(wǎng) 線 纜中 興 5 2 2 4 交 換 機(jī)利 舊 設(shè) 備刀 片 1虛 擬 中 心 管 理 層3 * G E3 * G E2 * G E2 * G E2 * G E1 * G E1 * G E刀 片 2 刀 片 3 刀 片 4 刀 片 5內(nèi) 部 D M Z 交 換 機(jī)（ 2 臺(tái) ）外 部 D M Z 交 換 機(jī)（ 2 臺(tái)