國產(chǎn)化智能數(shù)據(jù)遷移方案

1、國產(chǎn)化智能數(shù)據(jù)遷移方案技術(shù)創(chuàng)新，變革未來目錄CONTENTS01需 求 來 源02過 程 解 構(gòu)03解 決 方 案04未 來 規(guī) 劃01需求來源SOURCE OF REQUIREMENT服務(wù)超過 20 個重點行業(yè) 裝機部署超過 60萬 套遍布全國 3000 個縣市需求背景 整體需求背景 信創(chuàng)產(chǎn)業(yè)截至11月中旬，市占率達 54%；覆蓋全國 所有 省、自治區(qū)及直轄市；一二期（2016-2019）中標(biāo) 50%以上，三期（2020-2022）一期試點億級規(guī)模二期試點百億級規(guī)模全面替代千億級規(guī)模關(guān)鍵領(lǐng)域替代萬億級規(guī)模市場規(guī)模多客戶大規(guī)模并發(fā)實施時如何實現(xiàn)快速交付？02系統(tǒng)遷移過程解構(gòu)PROCESS DE

2、CONSTRUCTION整體過程性能及穩(wěn)定性驗證系統(tǒng)上線系統(tǒng)系統(tǒng) 遷移整體過程應(yīng)用數(shù)及數(shù)據(jù)庫遷移適配遷移過程解構(gòu)工程 評估可行性系統(tǒng)規(guī)模 自動化率對象 遷移數(shù)據(jù)表視圖 索引 約束觸發(fā)器存儲過程包 函數(shù) 序列數(shù)據(jù) 遷移全量數(shù)據(jù)增量數(shù)據(jù)差異數(shù)據(jù)結(jié)果 驗證對象驗證數(shù)據(jù)驗證功能驗證穩(wěn)定性如何？兼容性如何？項目計劃如何做？費用預(yù)算如何估？系統(tǒng)規(guī)模如何？遷移難度？多長時間能完成遷移？實施工期如何排？人員投入如何定？經(jīng)驗 + 拍腦袋 ？成千上萬的表、視圖、函數(shù)、存儲過程、觸發(fā)器、包、序列、索引 數(shù)據(jù)類型標(biāo)準(zhǔn)不一， SQL語法五花八門，海量數(shù)據(jù)無從下手工程評估痛點對象遷移痛點 誰來改VS.工期最好 不改成本穩(wěn)

3、定性性能功能 實現(xiàn)人員業(yè)務(wù) 邏輯歷史應(yīng)用開發(fā)商歷史遺留 系統(tǒng)修改適配轉(zhuǎn)換改寫數(shù)據(jù)庫兼容開發(fā)實施咨詢應(yīng) 用 系 統(tǒng)傳統(tǒng)應(yīng)用交互展現(xiàn)數(shù) 據(jù) 庫 系 統(tǒng)數(shù)據(jù)存儲邏輯運算業(yè)務(wù)流程對象遷移痛點 怎么改（項目）存儲過程函數(shù)包視圖觸發(fā)器自定義 類型為適應(yīng) 目標(biāo)數(shù)據(jù)庫人工修改或重寫業(yè)務(wù)邏輯遷移難度及 工作量大改寫對象 正確率低系統(tǒng)穩(wěn)定性難以保證測試覆蓋率 導(dǎo)致上線隱患性能存在 下降風(fēng)險遷 移 工 期 及 成 功 率 如 何 保 證？對象遷移痛點 怎么改（數(shù)據(jù)庫）各廠商傳統(tǒng)做法 - 兼容 盲目兼容的弊端架構(gòu)沖突形態(tài)山寨功能照搬 發(fā)展扭曲內(nèi)核挑戰(zhàn)深度改造穩(wěn)定性堪憂 性能受限不可能完成的任務(wù)異構(gòu)庫眾多完全兼容？ 無

4、底洞！后續(xù)問題數(shù)據(jù)遷移傳統(tǒng)離線遷移效率低下，導(dǎo)致業(yè)務(wù) 長時間中斷重遷漏遷、遷移穩(wěn)定性問題導(dǎo)致數(shù) 據(jù)的重復(fù)或丟失結(jié)果驗證缺乏遷移結(jié)果自動化驗證工具或 方法，數(shù)據(jù)庫對象結(jié)構(gòu)和海量數(shù) 據(jù)遷移后無法判斷其正確性更談不上出錯數(shù)據(jù)的糾正與補遷03智能數(shù)據(jù)庫遷移方案INTELLIGENT DATABASE MIGRATION SOLUTION遷移過程工程 評估可行性系統(tǒng)規(guī)模 自動化率對象 遷移數(shù)據(jù)表視圖 索引 約束觸發(fā)器存儲過程包 函數(shù) 序列數(shù)據(jù) 遷移全量數(shù)據(jù)增量數(shù)據(jù)差異數(shù)據(jù)結(jié)果 驗證對象驗證數(shù)據(jù)驗證功能驗證遷移過程工程 評估可行性系統(tǒng)規(guī)模 自動化率對象 遷移數(shù)據(jù)表視圖 索引 約束觸發(fā)器存儲過程包 函數(shù) 序

5、列DMS數(shù)據(jù)庫遷移評估系統(tǒng)KDMS 系統(tǒng)定位源庫智能分析，快速生成評估報告避免數(shù)據(jù)庫內(nèi)核盲目的兼容性實現(xiàn)而導(dǎo)致的性能及穩(wěn)定性問題異構(gòu)數(shù)據(jù)庫對象智能翻譯轉(zhuǎn)換有效解決遷移工程評估困難、實施周期長、難度大、穩(wěn)定性低的問題KDMS 服務(wù)模式源端與目標(biāo)端數(shù)據(jù)庫端數(shù)據(jù)庫對象采集云遷移評估報告對象智能翻譯轉(zhuǎn)換遷移評估服務(wù)DBA支持服務(wù)DBA在線支持即時協(xié)助溝通 云 + 端 + 服務(wù) ”KDMS 工程評估源庫對象快速采集評估平均每分鐘可以處理超1.3萬個數(shù)據(jù)庫對象， 或18萬行代碼 。評估報告內(nèi)容詳實提供多維度量化指標(biāo)，包括源庫各分類對象的：有效對象數(shù)量及列表可成功轉(zhuǎn)換數(shù)量及列表不兼容對象數(shù)量、列表及不兼容點

6、描述說明自動化轉(zhuǎn)換率KDMS 工程評估立項階段提供多維度詳盡量化指標(biāo) 可充分支持立項及合理預(yù)算分類評估數(shù)據(jù)庫對象結(jié)構(gòu) 詳細(xì)指出兼容難點可有效幫助安排工期及資源投入落地階段KDMS 對象遷移語法樹對象詞法 解析語法解析源庫對象 數(shù)據(jù)包數(shù)據(jù)庫 腳本轉(zhuǎn)換改寫轉(zhuǎn)換規(guī)則改寫規(guī)則KES語法樹對象遷移轉(zhuǎn)換KDMS 對象遷移KDMS 對象遷移KDMS 對象遷移DB2變量賦值KDMS 對象遷移KDMS 對象遷移KDMS 對象遷移數(shù)據(jù)庫對象自動轉(zhuǎn)換支持線上人工修改及多版本記錄 支持多人在線協(xié)同支持向資深DBA在線求助提供目標(biāo)端為數(shù)據(jù)庫的實時腳本轉(zhuǎn)換功能案例 某復(fù)雜文件交換系統(tǒng)國產(chǎn)化遷移流程 序號工作 內(nèi)容傳統(tǒng)方式

7、估算 所需工時實際工 時工時縮減1工程評估/1人天- 1人天2結(jié)構(gòu)遷移40人天3人天37人天3數(shù)據(jù)遷移1人天1人天無4代碼級適配5人天2人天3人天5應(yīng)用聯(lián)調(diào)5人天2人天3人天小計51人天9人天42人天存儲過程 310 個 | 函數(shù) 131 個 | 視圖 19 個 包 19 個 | 索引 54 個人員高級工程師 方式傳統(tǒng)工具手工修改人員初級工程師 方式評估轉(zhuǎn)換補充調(diào)整VS.自動化轉(zhuǎn)換率 96.4%總工時縮減 82%成本降低 91%案例 某OA系統(tǒng)國產(chǎn)化遷移流程 序號工作 內(nèi)容傳統(tǒng)方式估算 所需工時實際工 時工時縮減1工程評估/ KingbaseES V83602張表，85個觸發(fā)器，28個視圖，2

8、186個存儲過 程，21個函數(shù)，自動轉(zhuǎn)換162720處遷移評估即時完成，自動轉(zhuǎn)換率達97.13%整體遷移時間11天03某部委 業(yè)務(wù)系統(tǒng)MySQL - KingbaseESV87355張表，7個存儲過程，102個函數(shù)，2個視圖，自 動轉(zhuǎn)換196146處遷移評估即時完成，自動轉(zhuǎn)換率達99.99%整體遷移時間6天02某ERP軟件SQLServer - KingbaseES V8790張表，749個觸發(fā)器，280個視圖，1328個存儲過程，205個函數(shù)，自動轉(zhuǎn)換367752處遷移評估即時完成，自動轉(zhuǎn)換率達95.52%整體遷移時間15天04某央企 業(yè)務(wù)系統(tǒng)DB2 - KingbaseES V81326張

9、表，21個序列，5個存儲過程，1個函 數(shù)，自動轉(zhuǎn)換9438處遷移評估即時完成，自動轉(zhuǎn)換率達94.83%整體遷移時間5天遷移過程工程 評估可行性系統(tǒng)規(guī)模 自動化率對象 遷移數(shù)據(jù)表視圖 索引 約束觸發(fā)器存儲過程包 函數(shù) 序列數(shù)據(jù) 遷移全量數(shù)據(jù)增量數(shù)據(jù)差異數(shù)據(jù)結(jié)果 驗證對象驗證數(shù)據(jù)驗證功能驗證遷移過程數(shù)據(jù) 遷移全量數(shù)據(jù)增量數(shù)據(jù)差異數(shù)據(jù)結(jié)果 驗證對象驗證數(shù)據(jù)驗證功能驗證DT數(shù)據(jù)遷移工具FS異構(gòu)數(shù)據(jù)同步軟件DC數(shù)據(jù)比對工具數(shù)據(jù)遷移FS異構(gòu)數(shù)據(jù)同步軟件在線遷移全量數(shù)據(jù)搬遷 | 增量數(shù)據(jù)同步采用數(shù)據(jù)庫日志解析方式 | 支持?jǐn)帱c續(xù)傳 適用于各類在線業(yè)務(wù)系統(tǒng)DT數(shù)據(jù)遷移工具離線遷移全量數(shù)據(jù)遷移采用JDBC接口訪

10、問 適用于基于靜態(tài)數(shù)據(jù)或已離線的業(yè)務(wù)系統(tǒng)結(jié)果驗證代碼及參數(shù)適配應(yīng)用功能迭代驗證功能驗證DC數(shù)據(jù)比對工具對象結(jié)構(gòu)比對驗證數(shù)據(jù)內(nèi)容比對驗證 差異數(shù)據(jù)搬遷對象遷移工程評估方案總結(jié)目標(biāo)庫KingbaseESKDMS結(jié)構(gòu)采集1采集 結(jié)構(gòu)包2KDMS遷移評估3執(zhí)行 腳本64遷移 評估報告結(jié)果驗證8KDC數(shù)據(jù)源Oracle MySQL MSSQL DB27數(shù)據(jù)遷移KDTKFSKDMS翻譯轉(zhuǎn)換504未來規(guī)劃LATER PLANNING多源支持應(yīng)用遷移應(yīng) 用 系 統(tǒng)原應(yīng)用交互展現(xiàn)數(shù) 據(jù) 庫 系 統(tǒng)數(shù)據(jù)存儲邏輯運算業(yè)務(wù)流程SQL監(jiān)聽SQL語句源端應(yīng)用SQL腳本云遷移評估報告對象智能翻譯轉(zhuǎn)換遷移評估服務(wù)服 務(wù)DBA在線支持即時協(xié)助溝通數(shù) 據(jù) 總 線DMSFSDCDTSynchr