上海電信ODS系統(tǒng)數(shù)據(jù)庫升級項目測試方案V

1、上海*電信 ODS 系統(tǒng) 數(shù)據(jù)庫升級測試方案*2010-12-16第 1章 項目概述上海電信 ODS 系統(tǒng)作為上海電信 MBOSS 信息整合項目的一個重要組成部分， 存儲上海電信的運營數(shù)據(jù)，包含客戶、產(chǎn)品、計費和資源（業(yè)務(wù)資源）主題域，支 撐上海電信的客戶經(jīng)理和管理層所需的經(jīng)營和客戶數(shù)據(jù)的分析和統(tǒng)計工作。自 2004 年上線運行以來，新業(yè)務(wù)的涌現(xiàn)以及電信需求的不斷增加要求 ODS 系 統(tǒng)不斷向前發(fā)展。而現(xiàn)有的系統(tǒng)從硬件環(huán)境和數(shù)據(jù)庫環(huán)境等各方面，都已經(jīng)不能滿 足用戶對于該系統(tǒng)的需要，主要存在的問題包括：數(shù)據(jù)庫版本過低，ORACLE原廠商將停止保修服務(wù)器老化，維保費用高昂目前上海電信ODS系統(tǒng)數(shù)據(jù)

2、庫服務(wù)器使用的是IBM P5-590和P5-690小型機，590 和 690 耗電量巨大， 原廠商的設(shè)備維保費用高昂， 如果繼續(xù)使用上述服務(wù)器 用于生產(chǎn)環(huán)境，從成本角度，是不經(jīng)濟的，從節(jié)能角度，是不環(huán)保的，從性能角 度看， IBM P5 的性能遠不如 P6?；谝陨弦蛩兀虾ｋ娦刨徺I了兩臺滿配的 P6-570，計劃用于替換先前的ODS 數(shù)據(jù)庫服務(wù)器，通過硬件的升級，從而進一步提高系統(tǒng)的穩(wěn)定性和用戶響應(yīng)速度。1.1 本文目的本文主要是對上海電信 ODS系統(tǒng)數(shù)據(jù)庫升級項目的實施方案描述， 對項目實施中的涉及系統(tǒng)的遷 移及擴容等提供依據(jù)。1.2 本文讀者上海電信ODS系統(tǒng)數(shù)據(jù)庫升級項目相關(guān)人員，包括

3、上海電信IT部和理想公司相關(guān)人員。1.3 參考資料1.4 Oracle 升級對周圍 IT 系統(tǒng)的要求ODS數(shù)據(jù)庫軟件 Oracle從原先9i升級到11g后，ODS其它軟件也需要進行相應(yīng)版本升級，才能支持 Oracle 11g。目前ODS的生產(chǎn)軟件對 Oracle的支持與否已經(jīng)得到廠商的正式回復，簡述如下：報表展現(xiàn)工具： Businessobjects (BO)目前版本不支持 Oracle 11g目前使用版本： enterprise11.0? Release I 和 Release II需要升級到的版本： Business Objects XI R3 (service Packet3.1 )QL

4、inkView (QV )目前版本支持 Oracle 11g 。但仍需測試。ETL 開發(fā)工具：Informaitca目前版本不支持 Oracle 11g目前使用版本： Informaitca PowerCenter 851需要升級到的版本：Informaitca PowerCenter 861BO、QV和Informaitca是ODS部門IT開發(fā)的主要工具，是維持 ODS生產(chǎn)經(jīng)營的重要基礎(chǔ)。這些 工具的升級，需要謹慎和細致的測試工作。由于這三個工具緊密結(jié)合數(shù)據(jù)庫，所以測試工作必須在 Oracle 升級完成后展開，測試步驟見第 2 章。BO 和 Informaitca 升級后的新版本軟件需要有硬

5、件服務(wù)器來運行。建議配置兩臺服務(wù)器，一臺給 BO，臺給 Informaitca。新版本Informaitca服務(wù)器的配置建議參考現(xiàn)有ETL服務(wù)器配置，如下：IBM pSeries 670 16CPU/64GB新版本B0服務(wù)器的配置建議參考現(xiàn)有ETL服務(wù)器配置，如下：IBM x445 8CPU/32GB第 2章 上海電信 ODS 數(shù)據(jù)庫升級測試方案2.1 測試方案流程測試前準備工作：（ 1） 各類遷移或受升級影響的程序的統(tǒng)計整理，整改。統(tǒng)計采用自主申報和無主認領(lǐng)相結(jié)合的方式展開。首先讓ODS各個小組將各自負責的程序按照模板上報，由DBA審核。第二步是對無主程序的認領(lǐng)。具體見”SP/functio

6、n/Package 程序的遷移 ”小節(jié)的描述信息。（2） 搭建 Oracle 11g 的測試環(huán)境。具體步驟見（3）新建ETL測試環(huán)境（版本：Informaitca PowerCenter 861 ）、新建BO測試環(huán)境（版 本： Business Objects XI R3） ，準備 QV 測試環(huán)境。（4）把ODSPD上的程序遷移部署到該測試環(huán)境中，然后復制原數(shù)據(jù)庫的生產(chǎn)數(shù)據(jù)的一部分到測試數(shù)據(jù)庫環(huán)境中（5）在ETL測試環(huán)境部署受升級影響的ETL進程（6）在 BO， QV 測試環(huán)境部署相關(guān)程序測試步驟：Oracle11G 數(shù)據(jù)庫升級測試（ 1 ） 在新環(huán)境測試遷移的 Oracle 程序。（ 2 ）

7、 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3）在新環(huán)境對Oracle程序進行大數(shù)據(jù)量加載的性能測試，若性能測試不合格， 查找原因并予以解決。（4） 在ETL測試環(huán)境測試受升級影響的ETL進程。（5）運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（6）大數(shù)據(jù)量性能測試，若性能測試不合格，查找原因并予以解決。（7）在 BO， QV 測試環(huán)境運行測試程序。（8） 在BO，QV測試環(huán)境，IT或業(yè)務(wù)部門查看報表是否正常。若不正常，則查找 原因并予以解決。（9）Oracle11G 數(shù)據(jù)庫升級測試完畢Oracle11G 數(shù)據(jù)庫升級完畢后：Informaitca Pow

8、erCenter 861 升級測試（1 ）在ETL新環(huán)境測試和部署在 Oracle11G數(shù)據(jù)庫升級階段未測試過的ETL進程。（ 2 ）運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因 并予以解決。（ 3） Informaitca PowerCenter 861 升級測試完成。Business Objects XI R3（Service Pack 3.1）升級測試（1） 在BO新環(huán)境測試和部署在 Oracle11G數(shù)據(jù)庫升級階段未測試過的BO進程。（ 2）運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（ 3）Business Objects XI R3（Service Pack

9、 3.1） 升級測試完成。測試方案流程示意圖：2.2 SP/function/Package 程序的遷移、修改和驗證SP/function/Package 程序的遷移所有的 SP/function/Package 程序由程序員填寫遷移申請表申請表記錄下列信息：申請人、申請日期、 SP/function/Package 的名稱、環(huán)境（用戶名） 、項目組、 程序用途（業(yè)務(wù)背景、邏輯等） 、程序源表、程序目標表、程序上線日期、 程序運行時間點、程序運行周期。EDA 架構(gòu)師團隊對所有申請的 SP/function/Package 進行審核審核的內(nèi)容包括：該 SP/function/Package 是否

10、還有效，無效的 SP/function/Package 將不遷移， 但由 DBA 做好備份；該 SP/function/Package 是否符合 EDA 的代碼規(guī)范；該 SP/function/Package 是否需要變更運行環(huán)境；該 SP/function/Package 是否需要做其他修改。審核通過的該 SP/function/Package 由 DBA 發(fā)布到新的服務(wù)器上審核不通過的該 SP/function/Package ，給出整改意見，整改通過后發(fā)布 無人認領(lǐng) SP/function/Package 的處理DBA整理出所有沒有人提出遷移申請的SP/function/Package，

11、提交EDA架構(gòu)師團隊做第 1 步分析，是否該 SP/function/Package 是否有效；如果認定有效，則由DBA發(fā)布，并指定程序負責人；如果認定無效，群發(fā)給 EDA 所有人員公示 1 周，若還無人認領(lǐng)，則作為無效 SP/function/Package 處理； 如果認定有效但需要做修改，則指定程序負責人，給出整改意見，整改通過 后發(fā)布。SP/function/Package 程序的修改EDA 架構(gòu)師團隊審核不通過的 SP/function/Package ，給出整改意見，提交程序負責人進行整改；整改過程需要按照 EDA 的代碼規(guī)范執(zhí)行；程序負責人在接到整改通知后 1 天內(nèi)提交整改計劃給

12、 EDA 架構(gòu)師團隊審核，審核通過后，按計劃進行整改；整改后并通過驗證后，由 DBA 提交。SP/function/Package 程序的驗證如果有必要， 程序需要編寫測試稽核腳本。 用以比對程序遷移后是否正常和準確 的運行。功能驗證功能驗證驗證 3 點：程序是否能正常運行；程序執(zhí)行結(jié)果是否與預期的一致。如通過稽核腳本的測試。 報表數(shù)據(jù)是否得到業(yè)務(wù)部門的確認。能力驗證驗證應(yīng)用程序是否能夠達到預期的執(zhí)行效率；驗證應(yīng)用程序是否會耗費大量的資源；驗證方式驗證工作由 EDA 基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；擬態(tài)驗證，在同一計劃時間內(nèi)運行的程序，也在同一時間內(nèi)驗證； 程

13、序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.3 ETL 程序的修改和驗證ETL 程序的的遷移同 SP/function/Package 程序的遷移。ETL 程序的修改 在測試環(huán)境，所有鏈接原 ODS服務(wù)器ETL程序都應(yīng)更改為新的服務(wù)器鏈接；ETL 程序的驗證功能驗證如果有必要，程序需要編寫測試稽核腳本。用以比對程序遷移后是否正常和準確的運行。功能驗證驗證 3 點程序是否能正常運行；程序執(zhí)行結(jié)果是否與預期的一致。如通過稽核腳本的測試。業(yè)務(wù)部門確認報表數(shù)據(jù)正確。能力驗證驗證應(yīng)用程序是否能夠達到預期的執(zhí)行效率； 驗證應(yīng)用程序是否會耗費大量的資源； 驗證方式驗證工作由 EDA 基礎(chǔ)維護組和業(yè)務(wù)單

14、位共同完成；驗證工作同時兼顧功能驗證和能力驗證； 擬態(tài)驗證，在同一計劃時間內(nèi)運行的程序，也在同一時間內(nèi)驗證； 程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.4 BO 報表語義層的修改和驗證BO 程序的遷移同 SP/function/Package 程序的遷移。BO 報表語義層的修改在測試環(huán)境，鏈接到原 ODS數(shù)據(jù)庫的BO語義層的數(shù)據(jù)庫鏈接做修改BO 報表語義層的驗證驗證工作同ETL程序，由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成;驗證工作同時兼顧功能驗證和能力驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.5 QV報表程序修改和驗證QV報表程序的遷移同 SP/function/Pac

15、kage 程序的遷移。QV報表程序修改從原ODS服務(wù)器上抽取數(shù)據(jù)到QV服務(wù)器上的程序?qū)㈡溄痈臑樾路?wù)器QV報表程序驗證驗證工作同ETL程序，由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.6測試計劃（草案）任務(wù)名子任務(wù)名開始時間天數(shù)結(jié)束時間參與單位數(shù)據(jù)庫升級功能測試與驗證新建 ETL 測試服務(wù)器(Informaitca PowerCenter 861)2011-1-332011-1-5IT部、理想新建 BO測試服務(wù)器(Business Objects XI R3)2011-1-332011-1-5IT部、理想在ETL

16、測試服務(wù)器部署測試ETL程序。如將程序數(shù)據(jù)源連新環(huán)境。（共800多個）2011-1-632011-1-8IT部、理想在BO測試服務(wù)器部署測試程序。如將程序數(shù)據(jù)源連新環(huán) 境。2011-1-622011-1-7IT部、理想在QV測試服務(wù)器部署測試程序，如將程序數(shù)據(jù)源連新環(huán) 境。2011-1-622011-1-7IT部、理想在oracle11g測試環(huán)境部署原 ODSP啲oracle存儲過程、函數(shù)（共3000多個）2011-1-632011-1-8IT部、理想oracle存儲過程、函數(shù)的測試運行2011-1-862011-1-13IT部、理想oracle進程數(shù)據(jù)稽核。（數(shù)據(jù)比對腳本的運行和比對結(jié) 果分

17、析）2011-1-8102011-1-17IT部、理想原ODSPD勺oracle存儲過程、函數(shù)的修改和再測試2011-1-1822011-1-19IT部、理想ETL測試程序運行2011-1-2052011-1-26IT部、理想ETL測試程序的數(shù)據(jù)比對腳本的運行和結(jié)果分析2011-1-21102011-1-30IT部、理想ETL測試程序的修改和再測試2011-2-1032011-2-12IT部、理想B0測試程序運行2011-2-1332011-2-15IT部、理想B0報表查看和業(yè)務(wù)單位確認2011-2-1432011-2-16IT部、理想、業(yè)務(wù)單位B0程序的修改和再測試，確認2011-2-183

18、2011-2-20IT部、理想、業(yè)務(wù)單位QV測試程序運行2011-2-2232011-2-24IT部、理想QV報表查看和業(yè)務(wù)單位確認2011-2-2632011-2-28IT部、理想、業(yè)務(wù)單位QV程序的修改和再測試，確認2011-3-132011-3-3IT部、理想、業(yè)務(wù)單位數(shù)據(jù)庫升級性能測試與驗證oracle存儲過程、函數(shù)的在大數(shù)據(jù)量下的測試2011-3-422011-3-5IT部、理想ETL程序在大數(shù)據(jù)量下的測試2011-3-622011-3-7IT部、理想ORACLE生能調(diào)優(yōu)2011-3-832011-3-11IT部、理想ETL版本升級測試與驗證部署老環(huán)境程序2011-6-852011-

19、6-22IT部、理想運行2011-6-2332011-6-25IT部、理想測試和驗證和修改。2011-6-2672011-7-2IT部、理想BO版本升 級測試與 驗證部署老環(huán)境程序2011-7-352011-7-7IT部、理想運行2011-7-832011-7-10IT部、理想測試和驗證和修改。2011-7-1172011-7-17IT部、理想、業(yè)務(wù)單位第3章OracleETLBOQV程序統(tǒng)計模板3.1 SP/function/Package 程序3.1.1程序列表模板用戶對象名字類型3.1.2數(shù)據(jù)實例見oracle進程統(tǒng)計.xls3.2 ETL程序3.2.1程序列表模板服務(wù)器名字目錄work

20、flow 名稱3.2.2數(shù)據(jù)實例見ETL進程統(tǒng)計.xls3.3 BOQV 程序3.3.1程序列表模板主題報表名稱報表類型需求提出 部門業(yè)務(wù)部門 聯(lián)系人業(yè)務(wù)部門 聯(lián)系電話1報表計劃 啟用日期1報表停用日期'報表展現(xiàn) 系統(tǒng)備注統(tǒng)計口徑補充說明1STATE頻率追溯期限1IT部門聯(lián) 系人（開 發(fā)部門）需求提出部門聯(lián)系人'需求審核部門聯(lián)系人'需求提出 單位'IT部門聯(lián)系電話（開發(fā)部 門聯(lián)系電話）需求提出 部門聯(lián)系 電話需求審核 部門聯(lián)系 電話報表實際 啟用日期1操作狀態(tài)開發(fā)部門1需求審核部門訪問路徑BSS工單編號日報表刷新時間權(quán)限3.3.2數(shù)據(jù)實例見BO、QV進程統(tǒng)計.x

21、ls第 4章 系統(tǒng)恢復預案為避免因系統(tǒng)遷移失敗給上海電信業(yè)務(wù)所造成的影響，確保業(yè)務(wù)的正常開展， 我們必須做好兩手準備，一方面要對系統(tǒng)遷移方案進行嚴密的分析、論證，并嚴格 進行測試、模擬，加大各級人員的培訓力度，而且只有在所有準備工作就緒，對于 數(shù)據(jù)庫遷移日期選定在連續(xù) 1-2 天節(jié)假日前的凌晨進行，一切準備完備的基礎(chǔ)上進 行數(shù)據(jù)遷移，確保平滑成功地移植。另一方面必須做好遷移不成功時的恢復方案， 使業(yè)務(wù)生產(chǎn)能平滑恢復到原系統(tǒng)進行，保障業(yè)務(wù)的正常開展。數(shù)據(jù)庫遷移失敗的恢復預案如在數(shù)據(jù)庫遷移過沖中出現(xiàn)數(shù)據(jù)庫遷移失敗的情況，直接將舊的數(shù)據(jù)庫系 統(tǒng)投產(chǎn)即可，沒有需要恢復的數(shù)據(jù)。由于舊的數(shù)據(jù)庫系統(tǒng)啟用，等

22、到故障排除后，又須做一次數(shù)據(jù)庫遷移，這時相當于前次的系統(tǒng)遷移。第5章項目難點及風險Oracle數(shù)據(jù)庫系統(tǒng)升級是一項機遇和風險并存的系統(tǒng)工程，對現(xiàn)有系統(tǒng)的全面 了解和評估，升級需求的分析，合理的升級技術(shù)方案設(shè)計是升級項目的基礎(chǔ)。由于 ODS系統(tǒng)為在用的生產(chǎn)系統(tǒng)，因此整個升級過程必須十分慎重，科學的升級方法論 指導和項目有計劃的實施是升級的重要保障。并可能出現(xiàn)的問題，需采取預防措施， 盡可能減少風險的發(fā)生。下表列舉了升級過程中可能存在的風險以及應(yīng)對和監(jiān)控措 施。序號可能遇到的風險風 險 等 級可能造成的后果風險規(guī)避方法1升級中遇到無法解決的錯誤， 如升級程序遇到Bug。高升級失敗1）盡早搭建和生產(chǎn)環(huán)境一致的測試環(huán)境 ，預先在測 試環(huán)境演練升級全過程，對于升級中發(fā)生的每一種 錯誤找到解決辦法；2） 預先制定可靠的系統(tǒng)回退方案，一旦升級失敗， 可采取快速回退，保