江蘇移動BOSS容災備份系統(tǒng)建設情況匯報

江蘇移動通信有限責任公司 江蘇移動 BOSS容災備份系統(tǒng) 建設情況匯報 江蘇移動通信有限責任公司 江蘇移動通信有限責任公司 第 2 頁 匯報提綱 項目建設背景 項目建設目標 第一階段建設方案 第一階段工程建設情況 第一階段建設經(jīng)驗總結 第二階段建設思路 江蘇移動通信有限責任公司 第 3 頁 項目建設背景 按照集團公司統(tǒng)一部署，江蘇公司于 2003年 9月底完成BOSS集中化改造工程， BOSS集計費、營業(yè)、帳務、客服等各功能于一體的綜合業(yè)務支撐平臺，是保證市場經(jīng)營活動正常開展，提高服務水平和市場競爭力的重要工具。 保證業(yè)務服務和支撐的連續(xù)性，在 BOSS系統(tǒng)發(fā)生不可抗拒故障發(fā)生時，保證客戶滿意度、服務質量、公司信譽等不受影響成為業(yè)務支撐工作當務之急。 2003年 6月底集團公司批復江蘇公司作為 BOSS容災備份項目試點省份。 江蘇移動通信有限責任公司 第 4 頁 匯報提綱 項目建設背景 項目建設目標 第一階段建設方案 第一階段工程建設情況 第一階段建設經(jīng)驗總結 第二階段建設思路 江蘇移動通信有限責任公司 第 5 頁 項目建設目標 為 BOSS系統(tǒng)抵御重大故障和災難，我公司積極探索 BOSS容災備份系統(tǒng)，并作為集團公司第一個遠程 BOSS容災系統(tǒng)試點工程，容災中心設置在無錫市，距南京 BOSS生產(chǎn)中心超過 200公里（傳輸距離超過 230公里）。 江蘇移動通信有限責任公司 第 6 頁 為降低項目實施風險 ， 設立分階段建設目標 . BOSS關鍵應用系統(tǒng)容災，總結容災系統(tǒng)建設技術和管理經(jīng)驗 BOSS系統(tǒng) BOSS容災備份 第一階段工程 實現(xiàn)關鍵應用系統(tǒng)的異地容災備份 BOSS容災備份 第二階段工程 承擔部分應用功能、各分公司個性化統(tǒng)計分析、系統(tǒng)測試等 為第二階段容災建設積累技術和管理經(jīng)驗 兩個中心負荷分擔和互為災備 充分發(fā)揮容災系統(tǒng)設備資源利用率和效益 最終實現(xiàn)關鍵應用系統(tǒng)容災備份和負荷分擔兩個業(yè)務運營中心 項目建設目標 江蘇移動通信有限責任公司 第 7 頁 匯報提綱 項目建設背景 項目建設目標 第一階段建設方案 第一階段工程建設情況 第一階段建設經(jīng)驗總結 第二階段建設思路 江蘇移動通信有限責任公司 第 8 頁 總體方案 根據(jù) BOSS系統(tǒng)的特點 ,按照三層體系結構進行建設 ,采用多種技術混合的容災方案 ,分別從應用 、 主機 、 存儲 、 網(wǎng)絡 、物理等 5個層次實現(xiàn)從生產(chǎn)中心到容災中心的 IT映射 。 第一階段 RTO和 RPO指標 計費 、 帳務 、 客服 （ 營業(yè) ） RTO 指標 = 4 小時； RPO=0小時 。 第一階段建設方案 江蘇移動通信有限責任公司 第 9 頁 第一階段建設方案 第一階段項目 投資情況 項目立項金額為 1.8億元人民幣 ， 其中第一階段金額為 1.3億元人民幣 ， 第二階段 5000萬人民幣 。 江蘇移動通信有限責任公司 第 10 頁 第一階段建設方案 BOSS（南京） BOSS容災備份系統(tǒng)（無錫） SAN 接入層 業(yè)務邏輯層 核心數(shù)據(jù)層 SAN 接入層 業(yè)務邏輯層 核心數(shù)據(jù)層 采集點、漫游結算中心、營業(yè)廳、網(wǎng)上營業(yè)廳、銀行、 HLR/AUC、 1860/1861、秘書臺、經(jīng)營分析系統(tǒng) 業(yè)務數(shù)據(jù)狀態(tài)同步 接入冗余切換及業(yè)務處理能力冗余 江蘇移動通信有限責任公司 第 11 頁 BOSS系統(tǒng) 容災備份技術方案選擇 計費 集中采集 應用軟件 計費應用 應用軟件 計費數(shù)據(jù)庫 數(shù)據(jù)庫和應用軟件相結合 帳務 客服 (營業(yè) ) 帳務應用服務器 應用軟件 帳務客服數(shù)據(jù)庫 智能存儲系統(tǒng) Multi-HOP遠程復制 業(yè)務邏輯和接入 應用軟件 查詢數(shù)據(jù)庫 數(shù)據(jù)庫和應用軟件相結合。 第一階段建設方案 江蘇移動通信有限責任公司 第 12 頁 第一階段建設方案 接入層 中間層 帳務應用層 計費 網(wǎng)間結算 報表系統(tǒng) 核心數(shù)據(jù)層 異步 同步 銀行 /郵儲 BOSS南京中心 接入層 中間層 帳務應用層 計費 核心數(shù)據(jù)層 應天西路 轉換點 應用級容災 應用級容災 應用級容災 應用級容災 虎踞路 81號 無錫中心 江蘇移動通信有限責任公司 第 13 頁 BOSS計費系統(tǒng)容災拓撲圖 計費 數(shù)據(jù)庫 計費應用 服務器 通過 FTAM、FTP協(xié)議傳輸原始話單文件 集中采集 服務器 批價后清單文件發(fā)送給帳務 復制 數(shù)據(jù)庫 漫游數(shù)據(jù) 通信服務器 以文件方式傳輸省際、國際漫游話單 MSC Gateway SCP/SSP SMC ISMG 帳務客服 數(shù)據(jù)庫 帳務應用 服務器 數(shù)據(jù)源 計費 數(shù)據(jù)庫 計費應用 服務器 集中采集 服務器 帳務客服 數(shù)據(jù)庫 帳務應用 服務器 漫游數(shù)據(jù) 通信服務器 原始文件同步 基于應用的水平和垂直同步 基于數(shù)據(jù)庫復制技術實現(xiàn)關鍵表同步 生產(chǎn)中心 容災中心 江蘇移動通信有限責任公司 第 14 頁 BOSS帳務客服系統(tǒng)容災方案 統(tǒng)計分析 服務器 計費應用 服務器 查詢 數(shù)據(jù)庫 帳務客服 數(shù)據(jù)庫 計費 數(shù)據(jù)庫 帳務應用 服務器 銀行、郵儲 HLR/AUC 營業(yè)廳 1860/1861 秘書臺 網(wǎng)上 營業(yè)廳 一級BOSS HLR容災 銀行前置 統(tǒng)一接口 Web接入 查詢應用 客服應用 帳務客服 數(shù)據(jù)庫 查詢 數(shù)據(jù)庫 帳務應用 服務器 銀行前置 統(tǒng)一接口 Web接入 查詢應用 客服應用 批價后話單文件、應用軟件同步 基于智能存儲數(shù)據(jù)庫同步 軟件同步 統(tǒng)計分析 服務器 計費應用 服務器 計費 數(shù)據(jù)庫 生產(chǎn)中心 容災中心 查詢話單同步是通過對批價后話單文件重新入庫實現(xiàn)，在線線保留 2 1個月。 江蘇移動通信有限責任公司 第 15 頁 智能存儲系統(tǒng) Multi-HOP數(shù)據(jù)復制示意圖 圖例： 主機 SAN交換機 磁盤陣列 FiberChannel通道 (FC) 南 京 應 天 西 路 生 產(chǎn) 中 心南 京 虎 踞 路 8 1 號 轉 換 點無 錫 容 災 中 心4 套 帳 務 客 服 數(shù) 據(jù) 庫同 步 方 式異 步 方 式R 1R 2 B C VB C VR 2C - B C V4 套 帳 務 客 服 數(shù) 據(jù) 庫f c _ s w 1 1 f c _ s w 1 2f c _ s w 2 3 f c _ s w 2 4f c _ s w 0 1f c _ s w 0 2江蘇移動通信有限責任公司 對容災系統(tǒng)管理功能而言， 最關鍵是什么？ 能夠在災難發(fā)生時，能夠順利切換，并且滿足RTO、 RPO指標。 為了完成這個目標要做到 A)根據(jù) BOSS系統(tǒng)特點，選擇合適的切換模式 B)操作比較方便，特定人員經(jīng)過培訓后，能將復雜的 BOSS系統(tǒng)切換到容災中心。 強化系統(tǒng)管理功能設計 容災備份系統(tǒng)管理功能介紹 江蘇移動通信有限責任公司 第 17 頁 系統(tǒng)管理 容災管理軟件功能結構圖 系統(tǒng)監(jiān)控 BOSS BOSS DR運維電子工作流 任務調度 配置管理 演習及導 航 模擬演示 切換導航 切換演習 同步 &稽核 應用發(fā)布通知 江蘇移動通信有限責任公司 系統(tǒng)管理功能 切換導航 人性化的切換、演習、模擬演示導航 各類角色可以根據(jù)提示一步步操作 最大化自動化操作，少量人工的簡單判斷 可以配置各步驟的依賴關系預留人工操作（例如外部接口的聯(lián)系人名單） 江蘇移動通信有限責任公司 容災系統(tǒng)管理功能 切換導航 a) 總負責人啟動導航 b) 總負責人根據(jù)本次切換切換分配角色 c) 相關角色負責人會收到短信通知 d) 角色負責人進入系統(tǒng)，簽到 e) 總負責人通過界面可以看到各個角色的簽到和任務執(zhí)行狀態(tài)。 f) 角色負責人如果遇到某個步驟執(zhí)行失敗，可以選擇強制跳過該步驟，不會影響整個切換。 g) 總負責人可以選擇是否中止切換導航。 江蘇移動通信有限責任公司 第 20 頁 切換導航 切換過程監(jiān)控 江蘇移動通信有限責任公司 第 21 頁 切換導航 切換角色狀態(tài) 江蘇移動通信有限責任公司 第 22 頁 切換導航 任務總圖 江蘇移動通信有限責任公司 第 23 頁 切換導航 操作員操作界面 江蘇移動通信有限責任公司 第 24 頁 切換報告 切換總結可以打印、另存為本地文件。 切換導航 切換報告 江蘇移動通信有限責任公司 第 25 頁 系統(tǒng)管理功能 同步 &稽核 對數(shù)據(jù)的同步方式 EMC Multi Hop-zwdb 應用同步分發(fā) 清 單 MV 系 統(tǒng)管理配置數(shù)據(jù) 人工數(shù)據(jù)維護 清 單庫 對應用和配置的同步 &稽核方式 文件同步 &稽核 目錄同步 &稽核 數(shù)據(jù)庫信息稽核 江蘇移動通信有限責任公司 第 26 頁 同步 &稽核告警 江蘇移動通信有限責任公司 第 27 頁 定期組織實施演習 通過演習驗證預案中的流程和應急措施的正確性和可用性；通過演習使各類人員熟悉流程與操作步驟 ， 加強操作人員之間的配合 ， 提高處理效率；通過演習發(fā)現(xiàn)流程 、人員配合等各方面的問題并加以改進 ， 以利于今后的應急處理 。 為此 ， 我們制定了BOSS備份系統(tǒng)備份恢復演習 、BOSS容災系統(tǒng)演習等計劃 。 演 習 環(huán) 境 準 備演 習 正常 ？核 查 、 修 正演 習 規(guī) 劃流 程 演 習 回 退 流 程評 估 演 習 對業(yè) 務 影 響發(fā) 布 修 改 后演 習 規(guī) 劃 文 檔開 始結 束制 定 演 習 回 退 流 程觸 發(fā) 演 習 場 景執(zhí) 行 演 習 規(guī) 劃總 結 演 習 經(jīng) 驗 ， 修改 演 習 規(guī) 劃否是江蘇移動通信有限責任公司 第 28 頁 匯報提綱 項目建設背景 項目建設目標 第一階段建設方案 第一階段工程建設情況 第一階段建設經(jīng)驗總結 第二階段建設思路 江蘇移動通信有限責任公司 第 29 頁 2003年 6月底，我公司正式啟動 BOSS容災備份系統(tǒng)項目各項準備工作，進行項目可行性研究和技術論證。 2003年 10月完成可研 ,并開始正式啟動項目的應用軟件采購、主設備國際招標、機房配套工程建設等工作。經(jīng)過 7個月軟件開發(fā)、系統(tǒng)測試努力，于 6月份投入容災切換演習階段。 第一階段工程建設情況 江蘇移動通信有限責任公司 第 30 頁 機房及配套設備改造 設備安裝 軟件開發(fā) DCN網(wǎng)改造 智能存儲系統(tǒng) Multi-HOP調測 系統(tǒng)切換演習測試 第一階段工程建設情況 江蘇移動通信有限責任公司 第 31 頁 機房及配套設備改造 1. 機房裝修： 2003年 10月開始機房裝修，到 2003年底全部完成。 2. 高低壓配電改造： 為 BOSS容災系統(tǒng)新建一套高低壓配電系統(tǒng)， 2003年 10月開始， 2004年 2月完工，開始給容災系統(tǒng)供電。 3. UPS及空調安裝： 新建一套 250KVA的 UPS系統(tǒng)，新增 9臺 5萬大卡機房專用空調。 第一階段工程建設情況 江蘇移動通信有限責任公司 第 32 頁 應用軟件開發(fā) 軟件開發(fā)階段 開始日期 結束日期 需求分析（容災、 BOSS調整） 1月 10日 2月 20日 總體設計（容災、 BOSS調整） 2月 10日 3月 10日 詳細設計 3月 1日 3月 31日 編碼和單元測試 4月 1日 5月 15月 集成測試、聯(lián)調 5月 15日 6月 15日 設備安裝情況 2月份開始共用三個月時間完成無錫容災中心及南京同城點小型機、磁盤陣列、網(wǎng)絡設備的安裝、加電、系統(tǒng)安裝配置，完成傳輸鏈路調試。 第一階段工程建設情況 江蘇移動通信有限責任公司 第 33 頁 DCN網(wǎng)絡改造 1、 南京 BOSS系統(tǒng)與無錫容災中心之間新建 8條 155M傳輸用于容災系統(tǒng)與 BOSS系統(tǒng)的 DCN骨干網(wǎng)連接 。 2、 各市分公司各新建 2條 155M傳輸用于市公司與容災系統(tǒng)的 DCN骨干網(wǎng)連接 。 3、 DCN網(wǎng)改造后全省 DCN骨干網(wǎng)已成網(wǎng)狀 ， 既用于容災系統(tǒng) ， 又構成迂回路由 ， 消除了單點故障 。 第一階段工程建設情況 江蘇移動通信有限責任公司 第 34 頁 蘇州 無錫 常州 南通 泰州 揚州 鹽城 徐州 南京 宿遷 淮安 連云港 鎮(zhèn)江 省中心 81號 12016 CISCO12008 FOUNDRY8000 無錫 BOSS容災中心 155M 新增 155M 100M 1000M 新增 1000M 應天西路 BOSS生產(chǎn)中心 CISCO12016 FOUNDRY8000 BOSS容災系統(tǒng)網(wǎng)絡規(guī)劃 江蘇移動通信有限責任公司 第 35 頁 智能存儲 Multi-HOP調測情況 4月底之前完成南京兩個節(jié)點之間及南京與無錫之間的 Fiber Channel通道調測工作 。 5月初開始進行 SRDF調試 ， 到 5月底四個數(shù)據(jù)庫的 SRDF復制調試工作全部完成 。 第一階段工程建設情況 江蘇移動通信有限責任公司 第 36 頁 系統(tǒng)切換演習測試 1、 5月中下旬進行了三輪全系統(tǒng)切換測試，與生產(chǎn)系統(tǒng)進行數(shù)據(jù)對比，尋找系統(tǒng)存在的問題，總結經(jīng)驗，為回切做準備。 2、 6月份進行了一個帳務數(shù)據(jù)庫的切換回切演習測試，系統(tǒng)在無錫容災中心運行一周后回切成功。 3、 7月份完成其余帳務數(shù)據(jù)庫的切換回切演習測試及計費系統(tǒng)的切換回切測試，全部成功。 第一階段工程建設情況 江蘇移動通信有限責任公司 第 37 頁 匯報提綱 項目建設背景 項目建設目標 第一階段建設方案 第一階段工程建設情況 第一階段建設經(jīng)驗總結 第二階段建設思路 江蘇移動通信有限責任公司 第 38 頁 一 、領導重視 該項目建設得到集團公司和省公司領導的大力支持，保證各類項目資源、工程實施按照預期計劃進行，公司領導多次參加技術方案論證、切換演習等工作。 第一階段建設經(jīng)驗總結 江蘇移動通信有限責任公司 第 39 頁 第一階段建設經(jīng)驗總結 二、公司成立內部虛擬項目組，由規(guī)劃技術部、工程建設部、信息技術中心、物資供應部、無錫分公司及相關人員組成。在各部門密切配合強化工程管理、傳輸調度及時大大提高工程設施效率，為系統(tǒng)聯(lián)測爭取了時間，創(chuàng)造有利的條件。 主要職責分工如下： 規(guī)劃技術部承擔可研和項目立項工作 工程建設部承擔配套設備、主設備的工程設計和現(xiàn)場管理。 信息技術中心是項目實施部門，承擔技術方案論證、項目實施和系統(tǒng)維護管理。 物資供應部負責軟件設備采購、合同簽訂等工作。 無錫分公司承擔工程現(xiàn)場管理、系統(tǒng)維護管理工作。 江蘇移動通信有限責任公司 第 40 頁 三、有效控制項目風險 方案選型階段 針對 EMC Multi-HOP、數(shù)據(jù)庫復制效率進行模擬功能測試。 方案實施階段 提前 4個月進行 BOSS系統(tǒng)優(yōu)化，有效降低系統(tǒng)負荷，及時分析存在的性能風險，并提出解決方案。 切換演習階段 固化切換、回切流程，制定切換失敗應急方案，盡量避免演習測試對生產(chǎn)系統(tǒng)影響。 第一階段建設經(jīng)驗總結 江蘇移動通信有限責任公司 第 41 頁 四、創(chuàng)新建設 BOSS應急系統(tǒng)，應對突發(fā)故障，解決 BOSS容災備份系統(tǒng)切換盲點，與 BOSS容災系統(tǒng)和備份系統(tǒng)形成三位一體的業(yè)務支撐系統(tǒng)保障體系。 積極建設 BOSS應急系統(tǒng)，可在 3分鐘內接管和恢復業(yè)務，以填補容災切換系統(tǒng)障恢復時間和系統(tǒng)維護時間里的系統(tǒng)服務盲點。同時，主要定位就是將手工的應急流程變?yōu)樽詣拥模岣叻账?，提高重大故障的應變能力，保證 7x24小時都有一套計算機系統(tǒng)為外部用戶、為內部的經(jīng)營服務部門服務。 第一階段建設經(jīng)驗總結 江蘇移動通信有限責任公司 第 42 頁 五、演習測試準備細致，對生產(chǎn)系統(tǒng)影響較小 容災備份系統(tǒng)與 BOSS系統(tǒng)密切相關，在進行演習測試前，制定詳細演習步驟、流程，做好風險分析，擬定應急處理流程和實施步驟。同時，設計開發(fā)了容災切換、演習、模擬演示等導航界面，固化切換、回切流程及操作步驟。 共進行各類切換、回切測試演習累計近 20次，沒有一次影響 BOSS的正常運行。 第一階段建設經(jīng)