新老系統設計遷移和整合方案與對策

1、1 新老系統遷移及整合方案本次總局綜合業(yè)務系統是在原有系統的基礎上開發(fā)完成，因此，新舊系統間 就存在著切換的問題。另外，新開發(fā)的系統還存在與其他一些應用系統，例如， 企業(yè)信用聯網應用系統、企業(yè)登記子網站、外資登記子網站等系統進行整合使之 成為一個相互連通的系統。本章將針對新老系統遷移和整合提出解決方案。1.1 新老系統遷移及整合需求分析系統遷移又稱為系統切換，即新系統開發(fā)完成后將老系統切換到新系統上 來。系統切換得主要任務包括：數據資源整合、新舊系統遷移、新系統運行監(jiān)控 過程。數據資源整合包含兩個步驟：數據整理與數據轉換。數據整理就是將原系 統數據整理為系統轉換程序能夠識別的數據：數據轉換就是

2、將整理完成后的數據 按照一定的轉換規(guī)則轉換成新系統要求的數據格式，數據的整合是整合系統切換 的關鍵：新舊系統遷移就是在數據正確轉換的基礎上，制定一個切實可行的計 劃，保證業(yè)務辦理順利、平穩(wěn)過渡到新系統中進行；新系統運行監(jiān)控就是在新系 統正常運轉后，還需要監(jiān)控整個新系統運行的有效性和正確性，以便及時對數據 轉換過程中出現的問題進行糾正。系統整合是針對新開發(fā)的系統與保留的老系統之間的整合，以保證新開發(fā)的 系統能與保留的老系統互動，保證業(yè)務的順利開展。主要的任務是接口的開發(fā)。1.1.1 需要進行遷移的系統1.1.2 需要進行整合的系統需要與保留系統整合的系統包括：1 、企業(yè)登記管理含信用分類 ，全國

3、企業(yè)信用聯網統計分析，不冠行政區(qū) 劃企業(yè)名稱核準，大屏幕觸摸屏系統與企業(yè)信用聯網應用，企業(yè)登記子網站，屬 地監(jiān)管傳輸，網上業(yè)務受理之間的整合；2 、外資企業(yè)登記管理含信用分類） ，全國外資企業(yè)監(jiān)測分析與屬地監(jiān)管傳 輸，外資登記子網站，網上業(yè)務受理，大屏幕觸摸屏系統之間的整合：3、廣告監(jiān)管系統與廣告監(jiān)管子網站之間的整合：4 、12315 數據統計分析與 12315 子網站之間的整合：5、通用信息查詢、統計系統與數據采集轉換之間的整合：1.1.3 數據遷移和轉換分析 根據招標文件廣東省工商局新建系統的數據庫基于 SAP Sybase ASE 15.7，而原有系統的數據庫包括 ORACLE,SQLS

4、erver,DB2 。這種異構數據在總局 主要存在于兩個方面，即部門內部的異構數據和上下級部門之間的異構數據。同 時，系統的技術構件有 NET 和 J2EE 兩大類。對于部門內部的異構數據的集成采用數據移植的方法，如：如果數據有基于 DB2 管理的，有 ORACLE 管理的，有 SQLServer 管理的，就根據新系統 SAP Sybase ASE 15.7 的要求，把 ORACLE 的數據遷移到 SAP Sybase ASE 15.7 數據庫中，把 SQLServer 的數據遷移到 SAP Sybase ASE 15.7 數據庫中。上下級工商系統之間的異構數據的集成利用數據交換系統來完成，重

5、點在于 數據庫存儲標準、交換標準的制定和遵守，保證數據的共事，這部分工作由數據 中心完成。1.2 系統遷移和整合目標一、系統切換的主要目標：?保證系統正常運行 在數據轉換過程中，由于原有的系統數據的復雜性，給數據轉換工作帶來了 很大的難度，為了在新系統啟動后不影響原系統正常的業(yè)務，因此數據轉換完成 后，必須保證新系統的正常運行。?保證原有系統在新系統中的獨立性 原有系統是獨立運行的系統，數據在新系統中雖然是集中存放的，但是各個系統由于存在業(yè)務上的差別，數據在邏輯上應當保持一定的獨立性。二、系統整合的目標：保證直接關聯的系統互動，保證業(yè)務的正常辦理。例如公眾服務系統與基本 業(yè)務系統之間互動，基本

6、業(yè)務與協同業(yè)務之間互動等等。1.3系統切換方案系統切換工作流程系統切換包括前期調研、數據整理、數據轉換、系統切換、運行監(jiān)控五個階 段。系統切換的整個工作流程如下所示：圖1-1系統切換流程示意圖系統切換工作步驟前期調研階段前期調研是數據轉換中很重要的一個步驟，也是至關重要的一部分。在進行數據轉換工作前，我們需要先認真閱讀系統的相關文檔，如數據字典、系統概要設計報告等，來熟悉原有的系統。當然在閱讀文檔的過程中肯定還會有理 解不清晰的地方，這時還需要熟悉原有系統的工程師的幫助。數據轉換的前期工 作就是對原系統做一次徹底的全面了解，主要需要的考慮的有下面一些情況：1、原系統的網絡結構：2、原系統的業(yè)務

7、范圍、存在幾套業(yè)務系統以及他們之間的關系：3、原系統的開發(fā)商、開發(fā)工具、開發(fā)平臺以及采用的數據庫：4、原系統的數據分布狀況：包括數據范圍、數據量大小等；5 、原系統的業(yè)務流程：6、原系統的數據流程；7、原系統的數據結構：在了解這些要素的基礎上，需要編寫前期調研分析報告 。調研報告主要包含 如下一些方面：1、將所有數據表進行分類，如系統參數類、代碼類、綜合業(yè)務類、相關業(yè)務類 等等。2、對所有數據表的數據組成、數據來源、用途等進行描述。3、并非所有的數據都是需要進行轉換的，在數據字典分析報告中要指出那 些數據表是需要進行轉換的，那些是不需要進行轉換的，對于不需要轉換的表要說 明不需要轉換的原因。4

8、、描述數據在各表中的流向，對于關鍵的或復雜的業(yè)務點要做詳細說明。1.3.2.2 轉換設計階段 轉換設計階段主要是完成新舊數據字典的對照，同時明確各個表中具體數據字 段的轉換方式。在轉換設計階段主要是編寫數據字典對照報告 ，數據字典對照 報告主要描述新舊系統數據表間的對照關系以及代碼對照關系。以新系統為準， 原系統作參照，將原系統的數據字典對應到相應的系統數據字典中。在對照過程 中，需要遵循數據照搬原則，數據盡量不要作處理。在數據字典對照表中需要進行轉換的數據字段應該一一對應，對新舊數據表中 字段的名稱、類型、精度等都要有詳細的描述，同時還要明確數據的轉換方式。數 據轉換方式主要有以下幾種：1.

9、 直接轉換。直接轉換方式是最常用的方式，就是將原表中對應字段的數據原 封不動的搬到新表中來。按照“數據照搬”原則，我們應該盡量采用這種方法。2. 程序轉換。對那些需要進行計算才能進行轉換的數據將采用程序轉換方式進 行。3. 代碼對照。某些代碼字段，往往新舊系統的編碼不相同，這時就需要參照代 碼對照表進行代碼對照轉換。4. 類型轉換。少數數據可能需要對類型進行轉換，如就表以字符串YYYY-MM-DD '來存放日期，而新表中以 DATE 型來存放日期，這時就需要進行類型轉 換。5. 常量轉換。新表中某些字段可能存在缺省值，這時將采用常量轉換方式，當舊表沒有對應字段或舊表對應字段數據為空時，

10、將直接在新表中寫入缺省數據。6. 不轉換。對于舊表有但新表中沒有的字段將不作任何轉換。 新舊系統代碼對照列出了全部需要進行轉換的新舊系統數據表中存在的二級代 碼間的對照關系，主要以二級代碼對照表的形式來反映。1.3.2.3 數據遷移一、數據整理策略數據整理就是將原系統數據整理為系統轉換程序能夠識別的 數據。數據整理大致分為兩個階段：第一階段就是將不同類型來源數據采集備份到 統一的數據庫中：第二階段就是將原始數據進行整理，按照不同的要求分類進入不 同的中間數據庫，為數據轉換提供中間數據。數據整理過程采用了以下方法：?確保原始數據的完整性在進行數據整理之間，我們先需要對原始采集數據進行備份。備份的

11、目的有兩 個：一個是統一數據庫，便于數據轉換，另一個就是為以后數據追根溯源提供參考 依據。在本系統中，我們將采用 DB2 作為備份統一數據庫。?數據分級過濾策略 數據分級過濾就是把數據按照不同的數據級別進行分類整理進入不同的中間數 據庫中。本系統中我們把數據分為三個級別：廢棄數據、待調整數據、可轉換數 據。廢棄數據就是該部分數據的存在對系統資源造成浪費的數據，并且會影響以后系統的運行。待調整數據就是該部分數據嚴重影響新系統的運行，必須進行人工調 整后，方可進行數據轉換?？赊D換數據就是該部分數據不需做任何處理，基本滿足 數據轉換的要求或者是該部分數據新系統建議調整，但是不影響系統的運行，可以 等

12、新系統運行后再調整，這樣可以為數據轉換工作節(jié)省很多時間。?借助數據整理相關工具數據整理非常艱巨，涉及的數據量很大，通過人工檢查是不可能完成的，因此 必須編寫相關的數據整理工具完成數據整理。包括數據整理工具和數據糾錯工具。 數據整理工具負責將原始備份數據庫中的數據進行分類進入不同的中間數據庫：數 據糾錯工具負責提供友好、方便的工具界面供用戶方相關人員完善和糾正錯誤數 據。?利用中間庫作為橋梁由于原系統和新系統的數據庫結構可能不一樣，所以采用中間庫作為銜接新舊 系統數據的重要橋梁，對于建立新舊系統的對照關系很重要。一旦業(yè)務人員對新系 統中某項轉換數據存在疑問的情況下，就可以通過中間庫的關聯，順利找

13、出原數 據。二、數據轉換數據轉換就是將整理后的數據，依照對照表的要求進行轉換，并寫入到新系 統。這個過程可以通過交換系統實現。三、數據整理與轉換步驟?設計數據移植方案設計數據移植方案主要包括以下幾個方面工作：研究歷史數據的結構、來源、 數據項定義、取值等現狀，研究新舊數據庫結構的差異，評估和選擇數據移植的軟 硬件平臺、選擇數據移植方法、選擇數據備份和恢復策略、設計數據移植和測試方 案等。?源數據庫數據清理對于一個運行己久的數據庫，主要存在三種數據庫垃圾：數據庫對象垃圾、數 據庫權限垃圾、數據垃圾。數據庫對象的清理不是一件容易的工作，需有認真負責 的態(tài)度，要有耐力，任何錯誤的清理不僅會造成前端不

14、能運行，而且將會造成數據 的丟失。所以清理數據庫對象也許需要一個安全、準確，可很快恢復的方法。首先要認識數據庫資源，包括數據庫對象，如表、數據庫事件、過程、函數， 數據庫結構關系，在此基礎上結合運行系統，確認數據庫垃圾，制定合理的垃圾清理方案，達到清理垃圾的目的。主要方法是對數據庫數據進行整合和分解， 整合相關數據減少數據的重復，分解，數據則可是數據團體更趨向合理，當然整合 和分解要以適合新設計的數據庫結構為基礎，以便簡化轉化程序。?進行數據模擬移植根據設計的數據移植方案，建立一個模擬的數據移植環(huán)境，它既能仿真實際環(huán) 境又不影響實際數據，然后在數據模擬移植環(huán)境中測試數據移植的效果。數據模擬移植

15、前也應按備份策略備份模擬數據，以便數據移植后能按恢復策略 進行恢復測試。?測試數據模擬移植根據設計的數據移植測試方案測試數據模擬移植，也就是檢查數據模擬移植后 數據和應用軟件是否正常，主要包括：數據一致性測試、應用軟件執(zhí)行功能測試、 性能測試、數據備份和恢復測試等。?準備實施數據移植數據模擬移植測試成功后，在正式實施數據移植前還需要做好以下幾個方面工 作：進行完全數據備份、確定數據移植方案、安裝和配置軟硬件等。?正式實施數據移植按照確定的數據移植方案，正式實施數據移植。1.3.2.4 數據整理和轉換的關鍵技術對于多源異構數據庫之間的數據轉換，因為目標數據庫的格式和約束的限制嚴 格，直接編寫轉換

16、程序實現困難，可在原有數據庫系統中編寫轉換程序。對于源數據庫、目標數據庫結構有差異的數據，建立中間過渡庫，中間庫在原 數據庫平臺中建立，但結構與目標數據庫的結構相同。將源數據庫轉入中間庫的過程是一個數據的重新組合和關聯的過程，將是轉換 的中心和重點工作，需要對源數據庫與新數據庫的數據關系進行深入分析，對每一 個數據庫寫出轉換策略。非空處理：對于應該非空但實際為空的記錄制定處理規(guī)則。 取值約束處理：對于有取值范圍約束的宇段進行規(guī)范化處理，即將轉換后的數 據取值規(guī)范到該范圍內。主鍵處理：重新對中間庫進行編號。 填寫外鍵：每個數據庫或多或少存在外鍵，外鍵越多，標明與其它庫關聯越 多，這樣的庫應后處理

17、：反之，外鍵越少的庫應該先處理。唯一鍵處理：對要求唯一的數據項（主鍵、唯一鍵）進行唯一檢測，并對檢測 出的不唯一的記錄，制定處理規(guī)則。附加分散處理：對某些表中的某些字段進行數據規(guī)范化處理，即將不合規(guī)范的 數據替換成規(guī)范的數據，幾個表之間的關聯處理，以及一些特殊處理等。數據一致 性處理：對于有多個數據源的數據進行一致性檢查，制定處理規(guī)則。1.3.2.5 新舊系統切換 第一步：編寫系統切換方案 。系統切換方案包括系統切換方法、系統切換 計劃等內容。第二步：組織相關人員對系統切換方案進行評審，如果未通過，則需要調 整系統切換方案。第三步：進行業(yè)務系統數據轉換。 在進行業(yè)務系統數據轉換前，需要先選擇一

18、個時間點進行業(yè)務系統數據采集。 該時間點的選擇以完成一個完整的業(yè)務周期為準。?轉換時機根據以往的經驗，我們建議將正式數據轉換的時間放在月結剛剛完成后并且最 好是節(jié)假日?準備工作正式數據轉換前的準備工作是非常多的，現列舉如下：編寫詳細的數據轉換指南 。數據轉換指南應該是在前面的幾次試轉換過 程中編寫并完善的，要詳細說明數據轉換的全過程，包括：準備工作、執(zhí)行步驟、 注意事項等。編寫執(zhí)行腳本。在前面幾次試轉換的基礎上編寫并完善好數據轉換執(zhí)行腳本。 執(zhí)行腳本包括：轉換執(zhí)行腳本、驗證執(zhí)行腳本等。所有的腳本都必須安裝執(zhí)行的先 后順序編寫，在正式轉換時將按照順序來執(zhí)行。數據庫環(huán)境準備。根據以往的經驗，在正式

19、轉換階段出現的異常往往都是有數 據庫方面的，大部分是因為數據庫環(huán)境沒有準備好。數據庫方面需要做好如下幾方 面的準備：表空間劃分、大數據文件準備、大回滾段準備、創(chuàng)建索引等。其他必要 準備。在正式轉換前，老系統要停止使用，同時在還需要把老系統的數據做一次完 整的備份。?執(zhí)行過程 數據轉換時將按照己經編寫好的轉換執(zhí)行腳本來進行。對沒一步的操作都要做 好日志記錄，日志分兩種，一種是計算機自動產生的日志，如 LOG 文件：另一種 是在轉換執(zhí)行過程中手工做的記錄。在正式轉換肘，要求至少兩人一起工作，其中 一人負責操作，另外一人負責監(jiān)督，兩人都必須做好記錄。每執(zhí)行完一條轉換命令后都需要去查看一些錯誤記錄衰，

20、如果出現異常錯誤信 息，需要暫停轉換執(zhí)行，對錯誤分析處理完畢后才能繼續(xù)執(zhí)行。?驗證過程轉換執(zhí)行結束后，需要對轉換的結果進行驗證，驗證時按照已經編寫好的驗證 腳本來進行，驗證最好由兩名以上的人員分開來進行，在驗證過程中做好每一步的 驗證記錄。如果在驗證過程中沒有發(fā)現異常，并且?guī)酌炞C人員的驗證記錄都非常一致， 則可以認為已經通過驗證。?收尾工作 數據轉換工作執(zhí)行完畢后，需要對關閉原有系統全部的業(yè)務經辦功能，只開發(fā) 查詢功能，以便業(yè)務人員在需要時可以繼續(xù)查詢舊系統中的數據。對新系統的數據進行一次物理備份，同時啟動新系統數據庫的重做日志功能。 到此時為止新舊系統數據轉換工作全部結束，整個應用系統將切

21、換到新系統上 來運行。第四階段：新系統運行監(jiān)控及數據整理 在所有新系統平穩(wěn)運行后，還需要進行定期的運行監(jiān)控以及對部分數據進行調 整。對于那些對系統運行未造成影響的，在數據整理過程中，沒有進行數據修正， 所以在系統平穩(wěn)運行后，需要對這些數據進行調整。1.3.2.6 系統切換保障措施 系統在整個切換過程中，安全、平穩(wěn)過渡是第一位的。我們將采用如下措施保 證系統切換安全：1、數據備份 在進行新舊系統數據轉換時，對原系統數據進行備份以保證歷史數據的可追溯 性。一旦在新系統中業(yè)務辦理出現問題，則可以通過追溯歷史數據來判斷是數據轉 換錯誤，還是新系統程序存在 BUG 。2、數據測試 數據測試分為兩個層次測

22、試，一個是數據監(jiān)測性測試，就是在數據轉換完成 后，測試數據的轉換正確性；二是驗證性測試，驗證性測試通過使用已經通過功能 測試的新系統辦理實際業(yè)務來驗證數據轉換的正確性。數據測試是一個關鍵環(huán)節(jié)，關系到系統切換的成功與否，所以必須加大測試力 度來保證數據轉換的正確性。而與數據測試相關的系統功能測試也必須重視，因為 如果系統功能如果存在問題，則數據測試也就無法保證正確性。3、切換點的選擇系統在什么時候進行切換，也是一個很關鍵的問題。一般情況下，我們都選擇 一個業(yè)務周期結束，下一個業(yè)務周期開始的時候進行切換。4、切換方式的選擇系統切換有兩種方式，一種是新舊系統并軌運行，一種是 新系統單軌運行。對于第一種方式舊系統為主，新系統為輔，在時機成熟的時候在切換到新系統 運行；第二種是以新系統為主，舊系統為輔，舊系統只是驗