重慶移動網(wǎng)管支撐系統(tǒng)云平臺構架與建設應用

網(wǎng)絡質量是通信企業(yè)生命線 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 2010年 1月 重慶移動網(wǎng)管支撐系統(tǒng)云平臺構架與建設應用 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 2頁 目錄 建設背景及目標 虛擬主機應用案例 虛擬存儲應用案例 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 3頁 建設背景 根據(jù)集團公司領導專題辦公會議紀要“南方基地項目及云計算應用研究專題會議 ”：先期積極探索支撐云的建設。，逐步讓云計算成為支撐系統(tǒng)建設的核心力量，在新的支撐系統(tǒng)建設時，要考慮云計算的比例 集團節(jié)能減排工作：將 IT系統(tǒng)虛擬化建設納入了 2009年考核辦法，要求重點推動 建設依據(jù) 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 4頁 建設背景 資源的“無限”擴張正面臨“硬底”，缺乏有效的管理工具 存儲服務受限于同構系統(tǒng)的粘性，控制力和技術選擇能力弱化 資源使用效率的不一致，有些系統(tǒng)存儲一再擴容，而一些系統(tǒng)可能還有閑置的空間，但不能實現(xiàn)資源共享 網(wǎng)絡建設需求緊急，而現(xiàn)有建設周期長，建設需經(jīng)過規(guī)劃、設計、設備購置、安裝等多個環(huán)節(jié)無法滿足需求快速部署的要求 網(wǎng)管存儲現(xiàn)狀分析 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 5頁 建設背景 話務、數(shù)據(jù)、傳輸、動環(huán)、信令監(jiān)測等各專業(yè) OMC網(wǎng)管和專業(yè)綜合網(wǎng)管，系統(tǒng)超過 50多套，近三年 PC主機采購86臺，現(xiàn)狀為 PC應用專有服務器獨占（服務器孤島），PC主機存在某些利用率不高或某些使用頻繁的情況，并且隨著網(wǎng)管支撐系統(tǒng)的不斷新建和擴容，資源利用將會更加不均衡 網(wǎng)絡建設需求緊急，而現(xiàn)有建設周期長，建設需經(jīng)過規(guī)劃、設計、設備購置、安裝等多個環(huán)節(jié)無法滿足需求快速部署的要求 網(wǎng)管主機現(xiàn)狀分析 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 6頁 建設目標 1 2 4 建立多層智能化存儲網(wǎng)絡 ， 實現(xiàn)數(shù)據(jù)訪 問隔離與數(shù)據(jù)共享，支持復雜的多協(xié)議網(wǎng) 絡平臺 按中心或者機房復用網(wǎng)絡和安全等 IT設備 統(tǒng)籌考慮安全 實現(xiàn)存儲網(wǎng)絡、服務器網(wǎng)絡訪問多路徑冗 余 購建異購模式的存儲池，服務器池和網(wǎng)絡 池 集中統(tǒng)一管理基礎設施資源 建立視圖管理 在線回收，在線遷移、在線擴展資源 建立災備中心 制定存儲安全級別， 分級存儲，提高數(shù)據(jù)保障能力 根據(jù)存儲安全級別劃分，分級備份 建立橫跨各應用系統(tǒng)的統(tǒng)一備份系統(tǒng) 按需規(guī)劃，高資源利用率，統(tǒng)一擴容； 虛擬服務器 集中統(tǒng)一管理、建立災備中心 虛擬存儲 3 虛擬網(wǎng)絡 制定系統(tǒng) /子功能重要級別，按需分配資源 n+1,1+1的集群模式 關注系統(tǒng)生命周期，合理利用資源 按需規(guī)劃，高利用率，按需申請 網(wǎng)管支撐云平臺 整合存儲及服務器是一階段目標 虛擬池及災備中心是二階段目標 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 7頁 目錄 建設背景及目標 虛擬主機應用案例 虛擬存儲應用案例 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 8頁 虛擬存儲的建設步驟 統(tǒng)籌規(guī)劃、分步實施 構建綜合網(wǎng)管支撐系統(tǒng)的虛擬存儲池，擴容現(xiàn)有存儲空間，按需分配，并為后期 IT虛擬化平臺提供存儲空間，支持多協(xié)議存儲網(wǎng)絡，設備異構 實施階段一 廠家 OMC存儲納入存儲池管理，實現(xiàn) X86的存儲與小型機的存儲的互通，構建統(tǒng)一的網(wǎng)絡支撐系統(tǒng)的基礎設施平臺，標準化 IT網(wǎng)管支撐體系，提升平臺服務支撐能力，業(yè)務保障能力。 實施階段二 云平臺 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 9頁 網(wǎng)管集中存儲平臺相關系統(tǒng)介紹 系統(tǒng)名稱 主機型號數(shù)量 主機數(shù) 量 主機操作系 統(tǒng)名稱以及版本 集群 軟 件和版本 數(shù)據(jù) 庫 版本 &數(shù)據(jù) 庫 安裝類 型 存 儲類 型和配置 交換機類型數(shù)量 信令監(jiān)測 TD改造系統(tǒng) HP RX6600 1 HP-UX B.11.23 N/A Sybase IQ(Raw Device) EMC CX3-20F N/A 信令監(jiān)測 2.5與 3期系統(tǒng) HP DL580G5 3 Redhat Linux5AS N/A oracle EMC CX3-20F Sun Fire V890 3 Solaris10 N/A oracle EMC CX300 EMC DS200B x1 Sun Fire V880 1 Solaris10 N/A oracle EMC CX300 數(shù)據(jù)業(yè)務綜合網(wǎng)管系統(tǒng) HP RX3600 2 HP-UX B.11.23 MC/SG oracle9ilvm IBM DS4700 IBMMDS9124 HP RX6600 2 HP-UX B.11.23 MC/SG sybase IBMMDS9124 傳輸網(wǎng)管系統(tǒng) HP 7420 2 HP-UX B.11.23 MC/SG informix HP EVA4400 HP StorageWorks x2 話務網(wǎng)管 4期 HP RX6600 2 HP-UX B.11.31 MC/SG Oracle10g (Raw Device on lvm) HP EVA4400 HP StorageWorks x2 網(wǎng)絡支撐客服系統(tǒng) HPDL585 2 RedHat Linux Redhat Cluster Suit Oracle10g (raw device on clvm) HP EVA4100 HP StorageWorks x2 HPDL385 2 RedHat Linux Redhat Cluster Suit HP EVA4100 HP StorageWorks x2 信令監(jiān)測 2期系統(tǒng) Sun Fire V880 3 Solaris8 N/A Sybase ASE Sun StorEdge 3510 N/A Sybase IQ(Raw Device) 電子運行維護系統(tǒng) SUN V440 2 Solaris 9 Sun Cluster oracle9i Sun StorEdge 3510 N/A 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 10頁 一期整合存儲容量（ 30T),擴容（ T) 項目名稱 存儲類型和配置 存儲容量 數(shù)據(jù)恢復時 長需求 話務網(wǎng)管 4期 HP EVA4400/RAID1+0 24 x 300G (15k/rpm， FC) 2小時 數(shù)據(jù)業(yè)務綜 合網(wǎng)管系統(tǒng) IBM DS4700 12 x 146G (10Krpm,FC) 0小時 網(wǎng)絡支撐客 服系統(tǒng) HP EVA4100/RAID1+0 12 x 300G (15k/rpm， FC) 12小時 電子運行維 護系統(tǒng) Sun StorEdge 3510 10 x 146G (10k/rpm， FC) 1小時 信令監(jiān) TD 改造系統(tǒng) EMC CX3-20F/RAID5 磁盤柜 1： 15 x 300（ 10K/rpm,FC） 磁盤柜 2： 15 x 300（ 10K/rpm,FC） 磁盤柜 3： 15 x 300（ 10K/rpm,FC） 磁盤柜 4： 5 x 300（ 10K/rpm,FC） 磁盤柜 5： 15 x 300（ 10K/rpm,FC） 12小時 信令監(jiān)測 2期系統(tǒng) Sun StorEdge 3510/RAID5 控制框： 12 x 146G (10Krpm， FC) 擴展框 1： 12 x 146G (10Krpm， FC) 擴展框 2： 12 x 146G (10Krpm， FC) 12小時 信令監(jiān)測 2.5與 3期系統(tǒng) EMC CX20F/RAID5 EMC CX300/RAID5 陣列 1(CX0F)： 磁盤柜 1： 14 x 300G (10Krpm， FC) 磁盤柜 2： 5 x 300G (10Krpm， FC) 陣列 2(CX300)： 磁盤柜 1： 15 x 300G (10Krpm， FC) 磁盤柜 2： 15 x 300G (10Krpm， FC) 12小時 傳輸網(wǎng)管系統(tǒng) HP EVA4400/RAID5 陣列 2(EVA4400)： 13 x 146G (10Krpm,FC) 2小時以內 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 11頁 二期計劃整合存儲容量 數(shù)據(jù)安全級別 高 SUN SE3310 華為 M2000 高 SUN 6140 華為 M2000 中 SUN SE 3300 預警分析系統(tǒng) 中 SUN ST2450 愛立信 TD OMC 中 SUN ST2450 愛立信 TD OMC 高 SUN 6140 華為 TD OMC 高 SUN SE3310 華為 M2000 中 SUN 3510 阿爾卡特 OMCR 中 SUN 3510 阿爾卡特 OMCR 高 SUN 3510 愛立信網(wǎng)管系統(tǒng) 高 SUN 3510 愛立信網(wǎng)管系統(tǒng) 數(shù)據(jù)恢復時長需求 存儲容量 存儲類型和配置 項目名稱 高 中 低 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 12頁 圖例 ： 光纖鏈路 話務網(wǎng)管四期 EOMS 信令監(jiān)測 2 期系統(tǒng) 網(wǎng)絡支撐客服系統(tǒng) 數(shù)據(jù)綜合網(wǎng)管 2 信令監(jiān)測 2 .5 、 3 期系統(tǒng) 信令監(jiān)測 TD 服 務 器 SW1 服務器 SW2 HP EVA 4400 SUN 3510 EVA 4400 SUN 3510 IBM DS 4 7 00 HP EVA 4000 HP rx 6600 HP rx 6600 SUN V 440 SUN V 440 HP rx 3 600 HP rx 6600 SUNV 880 SUN V 890 SUN V 890 SUNV 8 90 虛擬存儲 控制設備 HP rx 3 600 HP rx 6600 傳輸綜合網(wǎng)管 SUN V 890 SUN V 890 SUN V 890 EMC 3 20 - F EMC CX 3 00 EMC CX 3- 20 存 儲 光 纖 SW2 存 儲 光 纖 SW1 重慶移動虛擬存儲平臺網(wǎng)絡拓撲圖（新） 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 13頁 目錄 建設背景及目標 虛擬主機應用案例 虛擬存儲應用案例 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 14頁 虛擬主機的建設步驟 統(tǒng)籌規(guī)劃、分步實施 構建網(wǎng)管支撐系統(tǒng)的虛擬主機池，為新建支撐項目提供基于X86的計算能力，依靠自然法則，遵循資產管理規(guī)定逐步替換年久設備 實施階段一 建立分布式計算模式 實施階段二 云平臺 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 15頁 一階段實施目標 將近期新增網(wǎng)管支撐系統(tǒng)和部分能力不足需擴容系統(tǒng)的PC主機納入該項目實施管理，采購大處理能力的 PC主機5臺劃分虛擬機（若按常規(guī)方式建設需購買 20臺 PC SERVER）和 2臺管理機以滿足網(wǎng)管支撐系統(tǒng) PC主機發(fā)展需要到 2010年 6月 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 16頁 網(wǎng)管主機虛擬化平臺一期效益分析 效益分析： 主機虛擬化特性 優(yōu)勢 物理服務器轉換成虛擬機，虛擬機被動態(tài)部署，物理服務器數(shù)量被縮減 減少服務器的維護量，減少物理服務器的快速增長，簡化和加快應用服務器配置速度 高級虛擬化管理系統(tǒng)同時管理虛擬的和物理的資產；實現(xiàn)服務器配置安裝和變更控制的集中化管理 減少用于管理的資源和時間 不需要為每套系統(tǒng)每個應用單獨配置計算資源 提高設備利用率 節(jié)能減排：虛擬化前 20臺 PC能耗 11000瓦 /小時（ 550 瓦 /臺 .小時 )，虛擬化后 5臺 PC能耗 3750瓦 /小時（ 750瓦 /臺 .小時），減少 7250瓦 /小時 主設備功耗降低 63510度，空調能耗降低 114318度，一年可節(jié)約能耗 177828度，年節(jié)約 17.78萬元左右電費 節(jié)約空間：虛擬化前 20臺 PC需要 4個機架，虛擬化后 5臺機器需要 1個機架 機房面積節(jié)約約 4平方米（服務器機架和維護面積之和） 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 17頁 一期系統(tǒng)應用情況 網(wǎng)管支撐系統(tǒng) 操作系統(tǒng)名稱 CPU型號、數(shù)量（主頻、核數(shù)量） 網(wǎng)卡接入局域網(wǎng)交換機的數(shù)量、型號 轉固使用年限 CPU平均利用率 方式 業(yè)通達動環(huán)網(wǎng)管維護終端 windows2000 P4 2.6 G 1個，處理能力為 15萬 TPMC Realtek TL8139 網(wǎng)卡 1個 2003-7-20 15% 系統(tǒng)遷移 數(shù)據(jù)遷移 業(yè)通達動環(huán)短信服務器 windows2000 P4 2.6 G 1個，處理能力為 15萬 TPMC Realtek TL8139網(wǎng)卡 1個 2003-7-20 15% 系統(tǒng)遷移 數(shù)據(jù)遷移 電子運維系統(tǒng)（短信網(wǎng)關 ) Windows2003 Server Xeon 3.0，處理能力為 20萬TPMC Realtek TL8139網(wǎng)卡 1個 2004-10-1 80% 系統(tǒng)遷移 數(shù)據(jù)遷移 電子運維系統(tǒng)（論壇 ) Windows2003 Server Xeon 3.0，處理能力為 20萬TPMC Realtek TL8139網(wǎng)卡 1個 2004-10-1 50% 系統(tǒng)遷移 數(shù)據(jù)遷移 電子運維系統(tǒng)（ Web跳轉 ) Windows2003 Server Xeon 3.0，處理能力為 20萬TPMC Realtek TL8139網(wǎng)卡 1個 2004-10-1 60% 系統(tǒng)遷移 數(shù)據(jù)遷移 一期遷移至主機虛擬化平臺的系統(tǒng)設備 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 18頁 一期系統(tǒng)應用情況 系統(tǒng)名稱 虛機部署數(shù)量 CPU型號、數(shù)量（主頻、核數(shù)量） 存儲可用容量需求 寬需求（ MB/s） 綜合監(jiān)控系統(tǒng) 綜合監(jiān)控和應急指揮管理的采集服務器： 2臺； 應用服務器： 2臺； 數(shù)據(jù)庫服務器： 1臺。 合計： 5臺 每臺處理能力至少為 20萬TPMC 3TB 內網(wǎng)： 10M 外網(wǎng)： 1M 網(wǎng)管安全管控平臺 日志采集服務器： 6臺； 審計及數(shù)據(jù)庫服務器： 2臺； 集中認證服務器： 2臺； 核心服務器： 2臺； 應急服務器： 1臺。 合計： 13臺 因方案未完全確定，需求不明確 3.5TB 內網(wǎng)： 20M 外網(wǎng)： 0M 網(wǎng)絡預警分析系統(tǒng) 數(shù)據(jù)倉庫服務器： 2臺 分析服務器： 2臺 合計： 4臺 內存 32G Intel 至強 E7440 四顆 4*4核，主頻 2.4GHz內存： 12G CPU： Intel Xeon X5560 二顆（ 2*4核，主頻 2.8GHz）檔次 10T 內網(wǎng)： 100M 外網(wǎng)： 0M 一期新建至主機虛擬化平臺的系統(tǒng)設備 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 19頁 H P l e f t H a n d P 4 5 0 0 磁 盤 陣 列虛 擬 機 承 載 層虛 擬 中 心 管 理 服 務 器( 2 片 刀 片 )網(wǎng) 絡 設 備 層集 中 存 儲 層（ 核 心 網(wǎng) 集 中 備 份 ）網(wǎng) 管 核 心 交 換 機S 8 5 0 5 （ 2 臺 ）新 增 設 備三 層 交 換 機（ 2 臺 ）千 兆 以 太 網(wǎng) 線 纜中 興 5 2 2 4 交 換 機利 舊 設 備刀 片 1虛 擬 中 心 管 理 層3 * G E3 * G E2 * G E2 * G E2 * G E1 * G E1 * G E刀 片 2 刀 片 3 刀 片 4 刀 片 5內 部 D M Z 交 換 機（ 2 臺 ）外 部 D M Z 交 換 機（ 2 臺 ）2 * G E2 * G E2 * G E2 * G E 2 * G E網(wǎng)管主機虛擬化平臺一期網(wǎng)絡結構 中國移動通信集團重慶有限公司 網(wǎng)絡管理中心 第 20頁 H P l e f t H a n d P 4 5 0 0 磁 盤 陣 列虛 擬 機 承 載 層虛 擬 中 心 管 理 服 務 器( 2 片 刀 片 )網(wǎng) 絡 設 備 層集 中 存 儲 層（ 核 心 網(wǎng) 集 中 備 份 ）網(wǎng) 管 核 心 交 換 機S 8 5 0 5 （ 2 臺 ）新 增 設 備三 層 交 換 機（ 2 臺 ）千 兆 以 太 網(wǎng) 線 纜中 興 5 2 2 4 交 換 機利 舊 設 備刀 片 1虛 擬 中 心 管 理 層3 * G E3 * G E2 * G E2 * G E2 * G E1 * G E1 * G E刀 片 2 刀 片 3 刀 片 4 刀 片 5內 部 D M Z 交 換 機（ 2 臺 ）外 部 D M Z 交 換 機（ 2 臺