新老系統(tǒng)遷移及整合方案

1、1新老系統(tǒng)遷移及整合方案本次總局綜合業(yè)務系統(tǒng)是在原有系統(tǒng)的基礎上開發(fā)完成，因此，新舊系統(tǒng)間就存在著切換的問題。另外，新開發(fā)的系統(tǒng)還存在與其他一些應用系統(tǒng)，例如，企業(yè)信用聯(lián)網應用系統(tǒng)、企業(yè)登記子網站、外資登記子網站等系統(tǒng)進行整合使之成為一個相互連通的系統(tǒng)。本章將針對新老系統(tǒng)遷移和整合提出解決方案。1.1 新老系統(tǒng)遷移及整合需求分析系統(tǒng)遷移又稱為系統(tǒng)切換，即新系統(tǒng)開發(fā)完成后將老系統(tǒng)切換到新系統(tǒng)上來。系統(tǒng)切換得主要任務包括：數(shù)據資源整合、新舊系統(tǒng)遷移、新系統(tǒng)運行監(jiān)控過程。數(shù)據資源整合包含兩個步驟：數(shù)據整理與數(shù)據轉換。數(shù)據整理就是將原系統(tǒng)數(shù)據整理為系統(tǒng)轉換程序能夠識別的數(shù)據；數(shù)據轉換就是將整理完成后的

2、數(shù)據按照一定的轉換規(guī)則轉換成新系統(tǒng)要求的數(shù)據格式，數(shù)據的整合是整合系統(tǒng)切換的關鍵；新舊系統(tǒng)遷移就是在數(shù)據正確轉換的基礎上，制定一個切實可行的計劃，保證業(yè)務辦理順利、平穩(wěn)過渡到新系統(tǒng)中進行；新系統(tǒng)運行監(jiān)控就是在新系統(tǒng)正常運轉后，還需要監(jiān)控整個新系統(tǒng)運行的有效性和正確性，以便及時對數(shù)據轉換過程中出現(xiàn)的問題進行糾正。系統(tǒng)整合是針對新開發(fā)的系統(tǒng)與保留的老系統(tǒng)之間的整合，以保證新開發(fā)的系統(tǒng)能與保留的老系統(tǒng)互動，保證業(yè)務的順利開展。主要的任務是接口的開發(fā)。1.1.1需要進行遷移的系統(tǒng)1.1.2需要進行整合的系統(tǒng)需要與保留系統(tǒng)整合的系統(tǒng)包括：1、企業(yè)登記管理（含信用分類），全國企業(yè)信用聯(lián)網統(tǒng)計分析，不冠行政

3、區(qū)劃企業(yè)名稱核準，大屏幕觸摸屏系統(tǒng)與企業(yè)信用聯(lián)網應用，企業(yè)登記子網站，屬地監(jiān)管傳輸，網上業(yè)務受理之間的整合；2、外資企業(yè)登記管理（含信用分類），全國外資企業(yè)監(jiān)測分析與屬地監(jiān)管傳輸，外資登記子網站，網上業(yè)務受理，大屏幕觸摸屏系統(tǒng)之間的整合；3、廣告監(jiān)管系統(tǒng)與廣告監(jiān)管子網站之間的整合；4、12315數(shù)據統(tǒng)計分析與12315子網站之間的整合；5、通用信息查詢、統(tǒng)計系統(tǒng)與數(shù)據采集轉換之間的整合；1.1.3數(shù)據遷移和轉換分析根據招標文件工商總局新建系統(tǒng)的數(shù)據庫基于IBMDB2，而原有系統(tǒng)的數(shù)據庫包括ORACLE，SQLServer，DB2。這種異構數(shù)據在總局主要存在于兩個方面，即部門內部的異構數(shù)據和上下

4、級部門之間的異構數(shù)據。同時，系統(tǒng)的技術構件有.NET和J2EE兩大類。對于部門內部的異構數(shù)據的集成采用數(shù)據移植的方法，如：如果數(shù)據有基于DB2管理的，有ORACLE管理的，有SQLServer管理的，就根據新系統(tǒng)DB2的要求，把ORACLE的數(shù)據遷移到DB2數(shù)據庫中，把SQLServer的數(shù)據遷移到DB2數(shù)據庫中。上下級國工商局之間的異構數(shù)據的集成利用數(shù)據交換系統(tǒng)來完成，重點在于數(shù)據庫存儲標準、交換標準的制定和遵守，保證數(shù)據的共享，這部分工作由數(shù)據中心完成。1.2 系統(tǒng)遷移和整合目標一、系統(tǒng)切換的主要目標：保證系統(tǒng)正常運行在數(shù)據轉換過程中，由于原有的系統(tǒng)數(shù)據的復雜性，給數(shù)據轉換工作帶來了很大的

5、難度，為了在新系統(tǒng)啟動后不影響原系統(tǒng)正常的業(yè)務，因此數(shù)據轉換完成后，必須保證新系統(tǒng)的正常運行。保證原有系統(tǒng)在新系統(tǒng)中的獨立性原有系統(tǒng)是獨立運行的系統(tǒng)，數(shù)據在新系統(tǒng)中雖然是集中存放的，但是各個系統(tǒng)由于存在業(yè)務上的差別，數(shù)據在邏輯上應當保持一定的獨立性。二、系統(tǒng)整合的目標：保證直接關聯(lián)的系統(tǒng)互動，保證業(yè)務的正常辦理。例如公眾服務系統(tǒng)與基本業(yè)務系統(tǒng)之間互動，基本業(yè)務與協(xié)同業(yè)務之間互動等等。1.3 系統(tǒng)切換方案1.3.1系統(tǒng)切換工作流程系統(tǒng)切換包括前期調研、數(shù)據整理、數(shù)據轉換、系統(tǒng)切換、運行監(jiān)控五個階段。系統(tǒng)切換的整個工作流程如下所示：圖1-1系統(tǒng)切換流程示意圖1.3.2系統(tǒng)切換工作步驟

6、 前期調研階段前期調研是數(shù)據轉換中很重要的一個步驟，也是至關重要的一部分。在進行數(shù)據轉換工作前，我們需要先認真閱讀系統(tǒng)的相關文檔，如數(shù)據字典、系統(tǒng)概要設計報告等，來熟悉原有的系統(tǒng)。當然在閱讀文檔的過程中肯定還會有理解不清晰的地方，這時還需要熟悉原有系統(tǒng)的工程師的幫助。數(shù)據轉換的前期工作就是對原系統(tǒng)做一次徹底的全面了解，主要需要的考慮的有下面一些情況：1、原系統(tǒng)的網絡結構；2、原系統(tǒng)的業(yè)務范圍、存在幾套業(yè)務系統(tǒng)以及他們之間的關系；3、原系統(tǒng)的開發(fā)商、開發(fā)工具、開發(fā)平臺以及采用的數(shù)據庫；4、原系統(tǒng)的數(shù)據分布狀況：包括數(shù)據范圍、數(shù)據量大小等；5、原系統(tǒng)的業(yè)務流程；6、原系統(tǒng)的數(shù)據流程；7、原系統(tǒng)的數(shù)

7、據結構；在了解這些要素的基礎上，需要編寫前期調研分析報告。調研報告主要包含如下一些方面：1、將所有數(shù)據表進行分類，如系統(tǒng)參數(shù)類、代碼類、綜合業(yè)務類、相關業(yè)務類等等。2、對所有數(shù)據表的數(shù)據組成、數(shù)據來源、用途等進行描述。3、并非所有的數(shù)據都是需要進行轉換的，在數(shù)據字典分析報告中要指出那些數(shù)據表是需要進行轉換的，那些是不需要進行轉換的，對于不需要轉換的表要說明不需要轉換的原因。4、描述數(shù)據在各表中的流向，對于關鍵的或復雜的業(yè)務點要做詳細說明。 轉換設計階段轉換設計階段主要是完成新舊數(shù)據字典的對照，同時明確各個表中具體數(shù)據字段的轉換方式。在轉換設計階段主要是編寫數(shù)據字典對照報告數(shù)據字典

8、對照報告主要描述新舊系統(tǒng)數(shù)據表間的對照關系以及代碼對照關系。以新系統(tǒng)為準，原系統(tǒng)作參照，將原系統(tǒng)的數(shù)據字典對應到相應的系統(tǒng)數(shù)據字典中。在對照過程中，需要遵循數(shù)據照搬原則，數(shù)據盡量不要作處理。在數(shù)據字典對照表中需要進行轉換的數(shù)據字段應該一一對應，對新舊數(shù)據表中字段的名稱、類型、精度等都要有詳細的描述，同時還要明確數(shù)據的轉換方式。數(shù)據轉換方式主要有以下幾種：1. 直接轉換。直接轉換方式是最常用的方式，就是將原表中對應字段的數(shù)據原封不動的搬到新表中來。按照“數(shù)據照搬”原則，我們應該應該盡量采用這種方法。2. 程序轉換。對那些需要進行計算才能進行轉換的數(shù)據將采用程序轉換方式進行。3. 代碼對照。某些代

9、碼字段，往往新舊系統(tǒng)的編碼不相同，這時就需要參照代碼對照表進行代碼對照轉換。4. 類型轉換。少數(shù)數(shù)據可能需要對類型進行轉換，如就表以字符串'YYYY-MM-DD'來存放日期，而新表中以DATE型來存放日期，這時就需要進行類型轉換。5. 常量轉換。新表中某些字段可能存在缺省值，這時將采用常量轉換方式，當舊表沒有對應字段或舊表對應字段數(shù)據為空時，將直接在新表中寫入缺省數(shù)據。6. 不轉換。對于舊表有但新表中沒有的字段將不作任何轉換。新舊系統(tǒng)代碼對照列出了全部需要進行轉換的新舊系統(tǒng)數(shù)據表中存在的二級代碼間的對照關系，主要以二級代碼對照表的形式來反映。 數(shù)據遷移一、數(shù)據整理

10、策略數(shù)據整理就是將原系統(tǒng)數(shù)據整理為系統(tǒng)轉換程序能夠識別的數(shù)據。數(shù)據整理大致分為兩個階段：第一階段就是將不同類型來源數(shù)據采集備份到統(tǒng)一的數(shù)據庫中；第二階段就是將原始數(shù)據進行整理，按照不同的要求分類進入不同的中間數(shù)據庫，為數(shù)據轉換提供中間數(shù)據。數(shù)據整理過程采用了以下方法：確保原始數(shù)據的完整性在進行數(shù)據整理之間，我們先需要對原始采集數(shù)據進行備份。備份的目的有兩個：一個是統(tǒng)一數(shù)據庫，便于數(shù)據轉換，另一個就是為以后數(shù)據追根溯源提供參考依據。在本系統(tǒng)中，我們將采用DB2作為備份統(tǒng)一數(shù)據庫。 數(shù)據分級過濾策略數(shù)據分級過濾就是把數(shù)據按照不同的數(shù)據級別進行分類整理進入不同的中間數(shù)據庫中。本系統(tǒng)中我們把數(shù)據分為三

11、個級別：廢棄數(shù)據、待調整數(shù)據、可轉換數(shù)據。廢棄數(shù)據就是該部分數(shù)據的存在對系統(tǒng)資源造成浪費的數(shù)據，并且會影響以后系統(tǒng)的運行。待調整數(shù)據就是該部分數(shù)據嚴重影響新系統(tǒng)的運行，必須進行人工調整后，方可進行數(shù)據轉換。可轉換數(shù)據就是該部分數(shù)據不需做任何處理，基本滿足數(shù)據轉換的要求或者是該部分數(shù)據新系統(tǒng)建議調整，但是不影響系統(tǒng)的運行，可以等新系統(tǒng)運行后再調整，這樣可以為數(shù)據轉換工作節(jié)省很多時間。 借助數(shù)據整理相關工具數(shù)據整理非常艱巨，涉及的數(shù)據量很大，通過人工檢查是不可能完成的，因此必須編寫相關的數(shù)據整理工具完成數(shù)據整理。包括數(shù)據整理工具和數(shù)據糾錯工具。數(shù)據整理工具負責將原始備份數(shù)據庫中的數(shù)據進行分類進入不

12、同的中間數(shù)據庫；數(shù)據糾錯工具負責提供友好、方便的工具界面供用戶方相關人員完善和糾正錯誤數(shù)據。利用中間庫作為橋梁由于原系統(tǒng)和新系統(tǒng)的數(shù)據庫結構可能不一樣，所以采用中間庫作為銜接新舊系統(tǒng)數(shù)據的重要橋梁，對于建立新舊系統(tǒng)的對照關系很重要。一旦業(yè)務人員對新系統(tǒng)中某項轉換數(shù)據存在疑問的情況下，就可以通過中間庫的關聯(lián)，順利找出原數(shù)據。二、數(shù)據轉換數(shù)據轉換就是將整理后的數(shù)據，依照對照表的要求進行轉換，并寫入到新系統(tǒng)。這個過程可以通過交換系統(tǒng)實現(xiàn)。三、數(shù)據整理與轉換步驟設計數(shù)據移植方案設計數(shù)據移植方案主要包括以下幾個方面工作：研究歷史數(shù)據的結構、來源、數(shù)據項定義、取值等現(xiàn)狀，研究新舊數(shù)據庫結構的差異，評估和選

13、擇數(shù)據移植的軟硬件平臺、選擇數(shù)據移植方法、選擇數(shù)據備份和恢復策略、設計數(shù)據移植和測試方案等。源數(shù)據庫數(shù)據清理對于一個運行已久的數(shù)據庫，主要存在三種數(shù)據庫垃圾：數(shù)據庫對象垃圾、數(shù)據庫權限垃圾、數(shù)據垃圾。數(shù)據庫對象的清理不是一件容易的工作，需有認真負責的態(tài)度，要有耐力，任何錯誤的清理不僅會造成前端不能運行，而且將會造成數(shù)據的丟失。所以清理數(shù)據庫對象也許需要一個安全、準確，可很快恢復的方法。首先要認識數(shù)據庫資源，包括數(shù)據庫對象，如表、數(shù)據庫事件、過程、函數(shù)，數(shù)據庫結構關系，在此基礎上結合運行系統(tǒng)，確認數(shù)據庫垃圾，制定合理的垃圾清理方案，達到清理垃圾的目的。主要方法是對數(shù)據庫數(shù)據進行整合和分解，整合相

14、關數(shù)據減少數(shù)據的重復，分解數(shù)據則可是數(shù)據團體更趨向合理，當然整合和分解要以適合新設計的數(shù)據庫結構為基礎，以便簡化轉化程序。進行數(shù)據模擬移植根據設計的數(shù)據移植方案，建立一個模擬的數(shù)據移植環(huán)境，它既能仿真實際環(huán)境又不影響實際數(shù)據，然后在數(shù)據模擬移植環(huán)境中測試數(shù)據移植的效果。數(shù)據模擬移植前也應按備份策略備份模擬數(shù)據，以便數(shù)據移植后能按恢復策略進行恢復測試。測試數(shù)據模擬移植根據設計的數(shù)據移植測試方案測試數(shù)據模擬移植，也就是檢查數(shù)據模擬移植后數(shù)據和應用軟件是否正常，主要包括：數(shù)據一致性測試、應用軟件執(zhí)行功能測試、性能測試、數(shù)據備份和恢復測試等。準備實施數(shù)據移植數(shù)據模擬移植測試成功后，在正式實施數(shù)據移植前

15、還需要做好以下幾個方面工作：進行完全數(shù)據備份、確定數(shù)據移植方案、安裝和配置軟硬件等。正式實施數(shù)據移植按照確定的數(shù)據移植方案，正式實施數(shù)據移植。 數(shù)據整理和轉換的關鍵技術對于多源異構數(shù)據庫之間的數(shù)據轉換，因為目標數(shù)據庫的格式和約束的限制嚴格，直接編寫轉換程序實現(xiàn)困難，可在原有數(shù)據庫系統(tǒng)中編寫轉換程序。對于源數(shù)據庫、目標數(shù)據庫結構有差異的數(shù)據，建立中間過渡庫，中間庫在原數(shù)據庫平臺中建立，但結構與目標數(shù)據庫的結構相同。將源數(shù)據庫轉入中間庫的過程是一個數(shù)據的重新組合和關聯(lián)的過程，將是轉換的中心和重點工作，需要對源數(shù)據庫與新數(shù)據庫的數(shù)據關系進行深入分析，對每一個數(shù)據庫寫出轉換策略。非空處理

16、：對于應該非空但實際為空的記錄制定處理規(guī)則。取值約束處理：對于有取值范圍約束的字段進行規(guī)范化處理，即將轉換后的數(shù)據取值規(guī)范到該范圍內。主鍵處理：重新對中間庫進行編號。填寫外鍵：每個數(shù)據庫或多或少存在外鍵，外鍵越多，標明與其它庫關聯(lián)越多，這樣的庫應后處理；反之，外鍵越少的庫應該先處理。唯一鍵處理：對要求唯一的數(shù)據項（主鍵、唯一鍵）進行唯一檢測，并對檢測出的不唯一的記錄，制定處理規(guī)則。附加分散處理：對某些表中的某些字段進行數(shù)據規(guī)范化處理，即將不合規(guī)范的數(shù)據替換成規(guī)范的數(shù)據，幾個表之間的關聯(lián)處理，以及一些特殊處理等。數(shù)據一致性處理：對于有多個數(shù)據源的數(shù)據進行一致性檢查,制定處理規(guī)則。

17、新舊系統(tǒng)切換第一步：編寫系統(tǒng)切換方案。系統(tǒng)切換方案包括系統(tǒng)切換方法、系統(tǒng)切換計劃等內容。第二步：組織相關人員對系統(tǒng)切換方案進行評審，如果未通過，則需要調整系統(tǒng)切換方案。第三步：進行業(yè)務系統(tǒng)數(shù)據轉換。在進行業(yè)務系統(tǒng)數(shù)據轉換前，需要先選擇一個時間點進行業(yè)務系統(tǒng)數(shù)據采集。該時間點的選擇以完成一個完整的業(yè)務周期為準。轉換時機根據以往的經驗，我們建議將正式數(shù)據轉換的時間放在月結剛剛完成后并且最好是節(jié)假日。準備工作正式數(shù)據轉換前的準備工作是非常多的，現(xiàn)列舉如下：編寫詳細的數(shù)據轉換指南。數(shù)據轉換指南應該是在前面的幾次試轉換過程中編寫并完善的，要詳細說明數(shù)據轉換的全過程，包括：準備工作、執(zhí)行步驟、注意事項等。

18、編寫執(zhí)行腳本。在前面幾次試轉換的基礎上編寫并完善好數(shù)據轉換執(zhí)行腳本。執(zhí)行腳本包括：轉換執(zhí)行腳本、驗證執(zhí)行腳本等。所有的腳本都必須安裝執(zhí)行的先后順序編寫，在正式轉換時將按照順序來執(zhí)行。數(shù)據庫環(huán)境準備。根據以往的經驗，在正式轉換階段出現(xiàn)的異常往往都是有數(shù)據庫方面的，大部分是因為數(shù)據庫環(huán)境沒有準備好。數(shù)據庫方面需要做好如下幾方面的準備：表空間劃分、大數(shù)據文件準備、大回滾段準備、創(chuàng)建索引等。其他必要準備。在正式轉換前，老系統(tǒng)要停止使用，同時在還需要把老系統(tǒng)的數(shù)據做一次完整的備份。執(zhí)行過程數(shù)據轉換時將按照已經編寫好的轉換執(zhí)行腳本來進行。對沒一步的操作都要做好日志記錄，日志分兩種，一種是計算機自動產生的日

19、志，如LOG文件；另一種是在轉換執(zhí)行過程中手工做的記錄。在正式轉換時，要求至少兩人一起工作，其中一人負責操作，另外一人負責監(jiān)督，兩人都必須做好記錄。每執(zhí)行完一條轉換命令后都需要去查看一些錯誤記錄表，如果出現(xiàn)異常錯誤信息，需要暫停轉換執(zhí)行，對錯誤分析處理完畢后才能繼續(xù)執(zhí)行。 驗證過程轉換執(zhí)行結束后，需要對轉換的結果進行驗證，驗證時按照已經編寫好的驗證腳本來進行，驗證最好由兩名以上的人員分開來進行，在驗證過程中做好每一步的驗證記錄。如果在驗證過程中沒有發(fā)現(xiàn)異常，并且?guī)酌炞C人員的驗證記錄都非常一致，則可以認為已經通過驗證。 收尾工作數(shù)據轉換工作執(zhí)行完畢后，需要對關閉原有系統(tǒng)全部的業(yè)務經辦功能，只開

20、發(fā)查詢功能，以便業(yè)務人員在需要時可以繼續(xù)查詢舊系統(tǒng)中的數(shù)據。對新系統(tǒng)的數(shù)據進行一次物理備份，同時啟動新系統(tǒng)數(shù)據庫的重做日志功能。到此時為止新舊系統(tǒng)數(shù)據轉換工作全部結束，整個應用系統(tǒng)將切換到新系統(tǒng)上來運行。第四階段：新系統(tǒng)運行監(jiān)控及數(shù)據整理在所有新系統(tǒng)平穩(wěn)運行后，還需要進行定期的運行監(jiān)控以及對部分數(shù)據進行調整。對于那些對系統(tǒng)運行未造成影響的，在數(shù)據整理過程中，沒有進行數(shù)據修正，所以在系統(tǒng)平穩(wěn)運行后，需要對這些數(shù)據進行調整。 系統(tǒng)切換保障措施系統(tǒng)在整個切換過程中，安全、平穩(wěn)過渡是第一位的。我們將采用如下措施保證系統(tǒng)切換安全：1、數(shù)據備份在進行新舊系統(tǒng)數(shù)據轉換時，對原系統(tǒng)數(shù)據進行備份以

21、保證歷史數(shù)據的可追溯性。一旦在新系統(tǒng)中業(yè)務辦理出現(xiàn)問題，則可以通過追溯歷史數(shù)據來判斷是數(shù)據轉換錯誤，還是新系統(tǒng)程序存在BUG。2、數(shù)據測試數(shù)據測試分為兩個層次測試，一個是數(shù)據監(jiān)測性測試，就是在數(shù)據轉換完成后，測試數(shù)據的轉換正確性；二是驗證性測試，驗證性測試通過使用已經通過功能測試的新系統(tǒng)辦理實際業(yè)務來驗證數(shù)據轉換的正確性。數(shù)據測試是一個關鍵環(huán)節(jié)，關系到系統(tǒng)切換的成功與否，所以必須加大測試力度來保證數(shù)據轉換的正確性。而與數(shù)據測試相關的系統(tǒng)功能測試也必須重視，因為如果系統(tǒng)功能如果存在問題，則數(shù)據測試也就無法保證正確性。3、切換點的選擇系統(tǒng)在什么時候進行切換，也是一個很關鍵的問題。一般情況下，我們都選擇一個業(yè)務周期結束，下一個業(yè)務周期開始的時候進行切換。4、切換方式的選擇系統(tǒng)切換有兩種方式，一種是新舊系統(tǒng)并軌運行，一種是新系統(tǒng)單軌運行。對于第一種方式舊系統(tǒng)為主，新系統(tǒng)為輔，在時機成熟的時候在切換到新系統(tǒng)運行；第二種是以新系統(tǒng)為主，舊系統(tǒng)為輔，舊系統(tǒng)只是驗證新系統(tǒng)業(yè)務辦