上海電信ODS系統(tǒng)數(shù)據(jù)庫升級項(xiàng)目測試方案

F、/ .[ ▲、/A********************************上海電信ODS系統(tǒng)

數(shù)據(jù)庫升級測試方案2010-12-16第1章項(xiàng)目概述上海電信ODS系統(tǒng)作為上海電信MBOSS信息整合項(xiàng)目的一個重要組成部分，存儲上海電信的運(yùn)營數(shù)據(jù)，包含客戶、產(chǎn)品、計(jì)費(fèi)和資源（業(yè)務(wù)資源）主題域，支撐上海電信的客戶經(jīng)理和管理層所需的經(jīng)營和客戶數(shù)據(jù)的分析和統(tǒng)計(jì)工作。自2004年上線運(yùn)行以來，新業(yè)務(wù)的涌現(xiàn)以及電信需求的不斷增加要求ODS系統(tǒng)不斷向前發(fā)展。而現(xiàn)有的系統(tǒng)從硬件環(huán)境和數(shù)據(jù)庫環(huán)境等各方面，都已經(jīng)不能滿足用戶對于該系統(tǒng)的需要，主要存在的問題包括：口數(shù)據(jù)庫版本過低，ORACLE原廠商將停止保修口服務(wù)器老化，維保費(fèi)用高昂目前上海電信ODS系統(tǒng)數(shù)據(jù)庫服務(wù)器使用的是IBMP5-590和P5-690小型機(jī)，590和690耗電量巨大，原廠商的設(shè)備維保費(fèi)用高昂，如果繼續(xù)使用上述服務(wù)器用于生產(chǎn)環(huán)境，從成本角度，是不經(jīng)濟(jì)的，從節(jié)能角度，是不環(huán)保的，從性能角度看，IBMP5的性能遠(yuǎn)不如P6?；谝陨弦蛩?，上海電信購買了兩臺滿配的P6-570,計(jì)劃用于替換先前的ODS數(shù)據(jù)庫服務(wù)器，通過硬件的升級，從而進(jìn)一步提高系統(tǒng)的穩(wěn)定性和用戶響應(yīng)速度。1.1本文目的本文主要是對上海電信 系統(tǒng)數(shù)據(jù)庫升級項(xiàng)目的實(shí)施方案描述，對項(xiàng)目實(shí)施中的涉及系統(tǒng)的遷移及擴(kuò)容等提供依據(jù)。本文讀者上海電信 系統(tǒng)數(shù)據(jù)庫升級項(xiàng)目相關(guān)人員，包括上海電信IT部和理想公司相關(guān)人員。1.3參考資料升級對周圍系統(tǒng)的要求ODS數(shù)據(jù)庫軟件Oracle從原先9i升級到11g后，ODS其它軟件也需要進(jìn)行相應(yīng)版本升級，才能支持Oracle11g。目前ODS的生產(chǎn)軟件對Oracle的支持與否已經(jīng)得到廠商的正式回復(fù)，簡述如下：報表展現(xiàn)工具：Businessobjects(BO)目前版本不支持Oracle11g目前使用版本：enterprisell.O?ReleaseI和ReleaseII需要升級到的版本：BusinessObjectsXIR3(servicePacket3.1)QLinkView(QV)目前版本支持Oracle11g。但仍需測試。ETL開發(fā)工具：Informaitca目前版本不支持Oracle11g目前使用版本：InformaitcaPowerCenter851需要升級到的版本：InformaitcaPowerCenter861BO、QV和Informaitca是ODS部門IT開發(fā)的主要工具，是維持ODS生產(chǎn)經(jīng)營的重要基礎(chǔ)。這些工具的升級，需要謹(jǐn)慎和細(xì)致的測試工作。由于這三個工具緊密結(jié)合數(shù)據(jù)庫，所以測試工作必須在Oracle升級完成后展開，測試步驟見第2章。BO和Informaitca升級后的新版本軟件需要有硬件服務(wù)器來運(yùn)行。建議配置兩臺服務(wù)器，一臺給BO,—臺給Informaitca。新版本Informaitca服務(wù)器的配置建議參考現(xiàn)有ETL服務(wù)器配置，如下：新版本BO服務(wù)器的配置建議參考現(xiàn)有ETL服務(wù)器配置，如下:第2章上海電信ODS數(shù)據(jù)庫升級測試方案2.1測試方案流程★測試前準(zhǔn)備工作：（1） 各類遷移或受升級影響的程序的統(tǒng)計(jì)整理，整改。統(tǒng)計(jì)采用自主申報和無主認(rèn)領(lǐng)

相結(jié)合的方式展開。首先讓ODS各個小組將各自負(fù)責(zé)的程序按照模板上報，由DBA審核。第二步是對無主程序的認(rèn)領(lǐng)。具體見SP/function/Package程序的遷移小節(jié)的描述信息。（2） 搭建Oracle11g的測試環(huán)境。具體步驟見《》（3） 新建ETL測試環(huán)境（版本：InformaitcaPowerCenter861）、新建BO測試環(huán)境（版本：BusinessObjectsXIR3），準(zhǔn)備QV測試環(huán)境。（4） 把ODSPD上的程序遷移部署到該測試環(huán)境中，然后復(fù)制原數(shù)據(jù)庫的生產(chǎn)數(shù)據(jù)的一部分到測試數(shù)據(jù)庫環(huán)境中（5） 在ETL測試環(huán)境部署受升級影響的ETL進(jìn)程（6） 在BO,QV測試環(huán)境部署相關(guān)程序★測試步驟：OraclellG數(shù)據(jù)庫升級測試（1） 在新環(huán)境測試遷移的Oracle程序。（2） 運(yùn)行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） 在新環(huán)境對Oracle程序進(jìn)行大數(shù)據(jù)量加載的性能測試，若性能測試不合格，查找原因并予以解決。（4） 在ETL測試環(huán)境測試受升級影響的ETL進(jìn)程。（5） 運(yùn)行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（6） 大數(shù)據(jù)量性能測試，若性能測試不合格，查找原因并予以解決。（7） 在BO,QV測試環(huán)境運(yùn)行測試程序。（8） 在BO,QV測試環(huán)境，IT或業(yè)務(wù)部門查看報表是否正常。若不正常，則查找原因并予以解決。（9） Oracle11G數(shù)據(jù)庫升級測試完畢OraclellG數(shù)據(jù)庫升級完畢后：InformaitcaPowerCenter861升級測試（1） 在ETL新環(huán)境測試和部署在Oracle11G數(shù)據(jù)庫升級階段未測試過的ETL進(jìn)程。（2） 運(yùn)行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） InformaitcaPowerCenter861升級測試完成。BusinessObjectsXIR3（ServicePack3.1）升級測試（1） 在BO新環(huán)境測試和部署在Oracle11G數(shù)據(jù)庫升級階段未測試過的BO進(jìn)程。（2） 運(yùn)行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） BusinessObjectsXIR3（ServicePack3.1）升級測試完成。? 測試方案流程示意圖：程序的遷移、修改和驗(yàn)證SP/function/Package程序的遷移所有的SP/function/Package程序由程序員填寫遷移申請表申請表記錄下列信息：申請人、申請日期、SP/function/Package的名稱、環(huán)境（用戶名）、項(xiàng)目組、程序用途（業(yè)務(wù)背景、邏輯等）、程序源表、程序目標(biāo)表、程序上線日期、程序運(yùn)行時間點(diǎn)、程序運(yùn)行周期。EDA架構(gòu)師團(tuán)隊(duì)對所有申請的SP/function/Package進(jìn)行審核審核的內(nèi)容包括：該SP/function/Package是否還有效,無效的SP/function/Package將不遷移,但由DBA做好備份；該SP/function/Package是否符合EDA的代碼規(guī)范；該SP/function/Package是否需要變更運(yùn)行環(huán)境；該SP/function/Package是否需要做其他修改。審核通過的該SP/function/Package由DBA發(fā)布到新的服務(wù)器上審核不通過的該SP/function/Package,給出整改意見，整改通過后發(fā)布?無人認(rèn)領(lǐng)SP/function/Package的處理DBA整理出所有沒有人提出遷移申請的SP/function/Package，提交EDA架構(gòu)師團(tuán)隊(duì)做第1步分析，是否該SP/function/Package是否有效；如果認(rèn)定有效，則由DBA發(fā)布，并指定程序負(fù)責(zé)人；如果認(rèn)定無效，群發(fā)給EDA所有人員公示1周，若還無人認(rèn)領(lǐng)，則作為無效SP/function/Package處理；如果認(rèn)定有效但需要做修改，則指定程序負(fù)責(zé)人，給出整改意見，整改通過后發(fā)布。SP/function/Package程序的修改EDA架構(gòu)師團(tuán)隊(duì)審核不通過的SP/function/Package，給出整改意見，提交程序負(fù)責(zé)人進(jìn)行整改；整改過程需要按照EDA的代碼規(guī)范執(zhí)行；程序負(fù)責(zé)人在接到整改通知后1天內(nèi)提交整改計(jì)劃給EDA架構(gòu)師團(tuán)隊(duì)審核，審核通過后，按計(jì)劃進(jìn)行整改；整改后并通過驗(yàn)證后，由DBA提交。SP/function/Package程序的驗(yàn)證?如果有必要，程序需要編寫測試稽核腳本。用以比對程序遷移后是否正常和準(zhǔn)確的運(yùn)行。?功能驗(yàn)證功能驗(yàn)證驗(yàn)證3點(diǎn)：程序是否能正常運(yùn)行；程序執(zhí)行結(jié)果是否與預(yù)期的一致。如通過稽核腳本的測試。報表數(shù)據(jù)是否得到業(yè)務(wù)部門的確認(rèn)。?能力驗(yàn)證驗(yàn)證應(yīng)用程序是否能夠達(dá)到預(yù)期的執(zhí)行效率；驗(yàn)證應(yīng)用程序是否會耗費(fèi)大量的資源；?驗(yàn)證方式驗(yàn)證工作由EDA基礎(chǔ)維護(hù)組和業(yè)務(wù)單位共同完成；驗(yàn)證工作同時兼顧功能驗(yàn)證和能力驗(yàn)證；擬態(tài)驗(yàn)證，在同一計(jì)劃時間內(nèi)運(yùn)行的程序，也在同一時間內(nèi)驗(yàn)證；程序負(fù)責(zé)人提供理論結(jié)果，驗(yàn)證人驗(yàn)證結(jié)果是否正確；程序的修改和驗(yàn)證ETL程序的的遷移同SP/function/Package程序的遷移。?ETL程序的修改在測試環(huán)境，所有鏈接原ODS服務(wù)器ETL程序都應(yīng)更改為新的服務(wù)器鏈接；ETL程序的驗(yàn)證?功能驗(yàn)證如果有必要，程序需要編寫測試稽核腳本。用以比對程序遷移后是否正常和準(zhǔn)確的運(yùn)行。功能驗(yàn)證驗(yàn)證3點(diǎn)程序是否能正常運(yùn)行；程序執(zhí)行結(jié)果是否與預(yù)期的一致。如通過稽核腳本的測試。業(yè)務(wù)部門確認(rèn)報表數(shù)據(jù)正確。?能力驗(yàn)證驗(yàn)證應(yīng)用程序是否能夠達(dá)到預(yù)期的執(zhí)行效率；驗(yàn)證應(yīng)用程序是否會耗費(fèi)大量的資源；?驗(yàn)證方式驗(yàn)證工作由EDA基礎(chǔ)維護(hù)組和業(yè)務(wù)單位共同完成；驗(yàn)證工作同時兼顧功能驗(yàn)證和能力驗(yàn)證；擬態(tài)驗(yàn)證，在同一計(jì)劃時間內(nèi)運(yùn)行的程序，也在同一時間內(nèi)驗(yàn)證；程序負(fù)責(zé)人提供理論結(jié)果，驗(yàn)證人驗(yàn)證結(jié)果是否正確；報表語義層的修改和驗(yàn)證BO程序的遷移同SP/function/Package程序的遷移。BO報表語義層的修改在測試環(huán)境，鏈接到原ODS數(shù)據(jù)庫的BO語義層的數(shù)據(jù)庫鏈接做修改BO報表語義層的驗(yàn)證驗(yàn)證工作同ETL程序，由EDA基礎(chǔ)維護(hù)組和業(yè)務(wù)單位共同完成;驗(yàn)證工作同時兼顧功能驗(yàn)證和能力驗(yàn)證；程序負(fù)責(zé)人提供理論結(jié)果，驗(yàn)證人驗(yàn)證結(jié)果是否正確；報表程序修改和驗(yàn)證QV報表程序的遷移同SP/function/Package程序的遷移。QV報表程序修改從原ODS服務(wù)器上抽取數(shù)據(jù)到QV服務(wù)器上的程序?qū)㈡溄痈臑樾路?wù)器QV報表程序驗(yàn)證驗(yàn)證工作同ETL程序，由EDA基礎(chǔ)維護(hù)組和業(yè)務(wù)單位共同完成；驗(yàn)證工作同時兼顧功能驗(yàn)證和能力驗(yàn)證；程序負(fù)責(zé)人提供理論結(jié)果，驗(yàn)證人驗(yàn)證結(jié)果是否正確；2.6測試計(jì)劃（草案）任務(wù)名子任務(wù)名開始時間天數(shù)結(jié)束時間參與單位數(shù)據(jù)庫升級功能測試與驗(yàn)證新建 測試服務(wù)器（ ）部、理想新建測試服務(wù)器（ ）部、理想在 測試服務(wù)器部署測試程序。如將程序數(shù)據(jù)源連新環(huán)境。（共 多個）3部、理想在測試服務(wù)器部署測試程序。如將程序數(shù)據(jù)源連新環(huán)境。2部、理想在測試服務(wù)器部署測試程序，如將程序數(shù)據(jù)源連新環(huán)境。2部、理想在 測試環(huán)境部署原 的 存儲過程、函數(shù)（共 多個）3部、理想存儲過程、函數(shù)的測試運(yùn)行6部、理想進(jìn)程數(shù)據(jù)稽核。（數(shù)據(jù)比對腳本的運(yùn)行和比對結(jié)果分析）10部、理想原 的 存儲過程、函數(shù)的修改和再測試2部、理想測試程序運(yùn)行5部、理想

測試程序的數(shù)據(jù)比對腳本的運(yùn)行和結(jié)果分析10部、理想測試程序的修改和再測試3部、理想測試程序運(yùn)行3部、理想報表查看和業(yè)務(wù)單位確認(rèn)3部、理想、業(yè)務(wù)單位程序的修改和再測試確認(rèn)3部、理想、業(yè)務(wù)單位測試程序運(yùn)行3部、理想報表查看和業(yè)務(wù)單位確認(rèn)3部、理想、業(yè)務(wù)單位程序的修改和再測試確認(rèn)3部、理想、業(yè)務(wù)單位數(shù)據(jù)庫升級性能測試與驗(yàn)證存儲過程、函數(shù)的在大數(shù)據(jù)量下的測試2部、理想程序在大數(shù)據(jù)量下的測試2部、理想性能調(diào)優(yōu)3部、理想版本升級測試與驗(yàn)證部署老環(huán)境程序5部、理想運(yùn)行3部、理想測試和驗(yàn)證和修改。7部、理想版本升級測試與驗(yàn)證部署老環(huán)境程序5部、理想運(yùn)行3部、理想測試和驗(yàn)證和修改。7部、理想、業(yè)務(wù)單位第3章Oracle\ETL\BO\QV程序統(tǒng)計(jì)模板程序3.1.1程序列表模板見《oracle進(jìn)程統(tǒng)計(jì).xls》程序3.2.1程序列表模板見《ETL進(jìn)程統(tǒng)計(jì).xls》程序3.3.1程序列表模板主題報表名稱報表類型需求提出部門業(yè)務(wù)部門聯(lián)系人業(yè)務(wù)部門聯(lián)系電話報表計(jì)劃啟用日期報表停用日期報表展現(xiàn)系統(tǒng)備注

統(tǒng)計(jì)口徑補(bǔ)充說明頻率追溯期限部門聯(lián)系人開發(fā)部門需求提出部門聯(lián)系人需求審核部門聯(lián)系人需求提出單位部門聯(lián)系電話開發(fā)部門聯(lián)系電話需求提出部門聯(lián)系電話需求審核部門聯(lián)系電話報表實(shí)際啟用日期操作狀態(tài)開發(fā)部門需求審核部門訪問路徑工單編號日報表刷新時間權(quán)限3.3.2數(shù)據(jù)實(shí)例見《BO、QV進(jìn)程統(tǒng)計(jì).xls》第4章系統(tǒng)恢復(fù)預(yù)案為避免因系統(tǒng)遷移失敗給上海電信業(yè)務(wù)所造成的影響，確保業(yè)務(wù)的正常開展，我們必須做好兩手準(zhǔn)備，一方面要對系統(tǒng)遷移方案進(jìn)行嚴(yán)密的分析、論證，并嚴(yán)格進(jìn)行測試、模擬，加大各級人員的培訓(xùn)力度，而且只有在所有準(zhǔn)備工作就緒，對于數(shù)據(jù)庫遷移日期選定在連續(xù)1-2天節(jié)假日前的凌晨進(jìn)行，一切準(zhǔn)備完備的基礎(chǔ)上進(jìn)行數(shù)據(jù)遷移，確保平滑成功地移植。另一方面必須做好遷移不成功時的恢復(fù)方案，使業(yè)務(wù)生產(chǎn)能平滑恢復(fù)到原系統(tǒng)進(jìn)行，保障業(yè)務(wù)的正常開展。數(shù)據(jù)庫遷移失敗的恢復(fù)預(yù)案如在數(shù)據(jù)庫遷移過沖中出現(xiàn)數(shù)據(jù)庫遷移失敗的情況，直接將舊的數(shù)據(jù)庫系統(tǒng)投產(chǎn)即可，沒有需要恢復(fù)的數(shù)據(jù)。由于舊的數(shù)據(jù)庫系統(tǒng)啟用，等到故障排除后，又須做一次數(shù)據(jù)庫遷移，這時相當(dāng)于前次的系統(tǒng)遷移。第5章項(xiàng)目難點(diǎn)及風(fēng)險Oracle數(shù)據(jù)庫系統(tǒng)升級是一項(xiàng)機(jī)遇和風(fēng)險并存的系統(tǒng)工程,對現(xiàn)有系統(tǒng)的全面了解和評估，升級需求的分析，合理的升級技術(shù)方案設(shè)計(jì)是升級項(xiàng)目的基礎(chǔ)。由于ODS系統(tǒng)為在用的生產(chǎn)系統(tǒng)，因此整個升級過程必須十分慎重，科學(xué)的升級方法論指導(dǎo)和項(xiàng)目有計(jì)劃的實(shí)施是升級的重要保障。并可能出現(xiàn)的問題，需采取預(yù)防措施，盡可能減少風(fēng)險的發(fā)生。下表列舉了升級過程中可能存在的風(fēng)險以及應(yīng)對和監(jiān)控措施。序號可能遇到的風(fēng)險風(fēng)險等級可能造成的后果風(fēng)險規(guī)避方法升級中遇到無法解決的錯誤，如升級程序遇到u高升級失敗1盡早搭建和生產(chǎn)環(huán)境致的測試環(huán)境預(yù)先在測試環(huán)境演練升級全過程對于升級中發(fā)生的每一種錯誤找到解決辦法；2預(yù)先制定可靠的系統(tǒng)回退方案，一旦升級失敗，可采取快速回退，保障生產(chǎn)業(yè)務(wù)系統(tǒng)不受影響。升級耗用的時間超過計(jì)劃停機(jī)時間高業(yè)務(wù)系統(tǒng)運(yùn)營延誤1在測試環(huán)境升級演練中估算生產(chǎn)環(huán)境所需的升級時間適當(dāng)調(diào)整升級方案和計(jì)劃。）升級前進(jìn)行預(yù)演，保障升級最終方案的可行性。數(shù)據(jù)庫新老特性不致，導(dǎo)致應(yīng)用運(yùn)行不正常高升級