北京移動數(shù)據(jù)庫數(shù)智化生態(tài)能力研發(fā)與創(chuàng)新

北京移動數(shù)據(jù)庫數(shù)智化生態(tài)能力研發(fā)與創(chuàng)新侯鵬｜中國移動通信集團(tuán)北京有限公司01數(shù)據(jù)庫市場發(fā)展現(xiàn)狀02電信行業(yè)數(shù)據(jù)庫國產(chǎn)化難題03中國移動磐維數(shù)據(jù)庫解決方案04北京移動數(shù)據(jù)庫數(shù)智化生態(tài)成果與應(yīng)用Chapter01數(shù)據(jù)庫市場發(fā)展現(xiàn)狀數(shù)據(jù)庫市場規(guī)模穩(wěn)定增長2022-2027年國內(nèi)數(shù)據(jù)庫整體市場將維持增長態(tài)勢，2022-2027年國內(nèi)數(shù)據(jù)庫整體市場將維持增長態(tài)勢，2024年整體市場規(guī)模預(yù)計(jì)為543.1億，到2027年將增長至1183.8億，2022-2027年復(fù)黨政領(lǐng)域內(nèi)部辦公與電子公文在省部級的存量替換已接近尾聲，當(dāng)前向風(fēng)險的出現(xiàn)，前幾年國產(chǎn)替換主要以非核心系統(tǒng)為主。以金融業(yè)為例，銀行核心系統(tǒng)的國產(chǎn)數(shù)據(jù)庫替代率15%左右；證券和保險核心系統(tǒng)的國產(chǎn)數(shù)據(jù)庫替代率不超過20%。相關(guān)領(lǐng)域?qū)⒊蔀槲磥砣陣a(chǎn)替代的重點(diǎn)。以阿里云、騰訊云、華為云等為代表的頭部廠商投入大量資源進(jìn)行研發(fā)，2022-2027年中國數(shù)據(jù)庫市場規(guī)模及增速8006004002000:686.6336.7208.2497.2367.7279.7206.4單位億元CAGR：30.67%:686.6336.7208.2497.2367.7279.7206.4單位億元CAGR：30.67%551.5437.5274.6274.62022年2023年2024年e2025年e2026年e2027年e數(shù)據(jù)庫國產(chǎn)化發(fā)展主要趨勢數(shù)字經(jīng)濟(jì)發(fā)展數(shù)字經(jīng)濟(jì)發(fā)展核心產(chǎn)業(yè)增加值占國內(nèi)生產(chǎn)總值比重達(dá)到10%，數(shù)據(jù)要素市場體系初步建立，數(shù)據(jù)庫作為支撐國家數(shù)據(jù)經(jīng)濟(jì)發(fā)展的三大基礎(chǔ)軟件之一，在政策紅利下加速發(fā)展。信創(chuàng)改造升級信創(chuàng)改造升級預(yù)計(jì)央國企將在2027年前后100%完成核心信創(chuàng)系統(tǒng)的替代，目前金融行業(yè)非核心系統(tǒng)約40%，銀行核心系統(tǒng)約15%，制造業(yè)、醫(yī)療等行業(yè)國產(chǎn)數(shù)據(jù)庫替換率整體不足5%，蘊(yùn)藏著巨大的市場空間。數(shù)據(jù)要素治理數(shù)據(jù)要素治理新質(zhì)生產(chǎn)力新質(zhì)生產(chǎn)力新質(zhì)生產(chǎn)力是驅(qū)動國產(chǎn)數(shù)據(jù)庫長期發(fā)展的重要因素，能觸發(fā)國產(chǎn)數(shù)據(jù)庫提供商投入更多資源，用于核心產(chǎn)品的研發(fā)，滿足業(yè)務(wù)系統(tǒng)對于數(shù)據(jù)庫在穩(wěn)定性、高可靠性、高并發(fā)等方面的核心需求。在數(shù)據(jù)要素治理過程中，企業(yè)需要從各個數(shù)據(jù)庫采集數(shù)據(jù)，并形成前置數(shù)據(jù)庫，需要大量數(shù)據(jù)轉(zhuǎn)化的工具組件，形成增量的數(shù)據(jù)庫市場，并催生數(shù)據(jù)庫生態(tài)的發(fā)展。Chapter02電信行業(yè)數(shù)據(jù)庫國產(chǎn)化難題電信行業(yè)數(shù)據(jù)庫國產(chǎn)化難題電信行業(yè)數(shù)據(jù)庫國產(chǎn)化機(jī)遇和挑戰(zhàn)數(shù)智化轉(zhuǎn)型OGG數(shù)據(jù)遷移云和恩墨、新炬……PLSQL工具Java、C++存儲過程，觸發(fā)器Java、C++存儲過程，觸發(fā)器社區(qū)Oraclesupport網(wǎng)站SQL92oracle特色函數(shù)TDE加密ARMTDE加密ARM存儲加密存儲加密分期定期清理OCA、OCP、OCM認(rèn)證第三方代維國產(chǎn)化升級國產(chǎn)化升級自主可控實(shí)踐過程面臨的挑戰(zhàn)各單位均在試點(diǎn)摸索，缺少全視角、框架性策略體系和成熟案例指導(dǎo)現(xiàn)網(wǎng)應(yīng)用多、數(shù)據(jù)連接及事務(wù)繁雜，國產(chǎn)數(shù)據(jù)庫品牌眾多、場景復(fù)雜，造成對性能能力折射失真。當(dāng)前國產(chǎn)庫商用周期短，工具生態(tài)不完備，遷移成本高、效率低。缺少統(tǒng)一監(jiān)控、智能檢測、智能審計(jì)缺少統(tǒng)一監(jiān)控、智能檢測、智能審計(jì)，易用性不足，不利于推動新質(zhì)生產(chǎn)力發(fā)展。Chapter03中國移動磐維數(shù)據(jù)庫解決方案中國移動磐維數(shù)據(jù)庫發(fā)展歷程移動云原生數(shù)據(jù)庫的研發(fā)是中國移動響應(yīng)國家“加快建設(shè)科技強(qiáng)國”戰(zhàn)略、踐行中國移動創(chuàng)世界一流“力量大廈”戰(zhàn)略規(guī)劃的重要●●構(gòu)建差異化競爭力繁榮數(shù)據(jù)庫生態(tài)●磐維1.0發(fā)布●●構(gòu)建差異化競爭力繁榮數(shù)據(jù)庫生態(tài)●磐維1.0發(fā)布域內(nèi)推廣自研數(shù)據(jù)庫論證與準(zhǔn)備數(shù)據(jù)庫國產(chǎn)化研究與試點(diǎn)證與準(zhǔn)備遷移平臺：數(shù)據(jù)庫作為信創(chuàng)產(chǎn)業(yè)生態(tài)鏈的重要基礎(chǔ)軟件，具?市場層面：預(yù)計(jì)2025年中國數(shù)據(jù)庫市場份額將達(dá)688億元，?行業(yè)層面：數(shù)智化轉(zhuǎn)型對IT基礎(chǔ)架構(gòu)建設(shè)提出了新的挑戰(zhàn)，?2023年發(fā)布磐維數(shù)據(jù)庫2.0版本，大幅提升兼容性與工具易?發(fā)揮技術(shù)應(yīng)用與變現(xiàn)優(yōu)勢，在AI4DB、全密態(tài)計(jì)算等方向積?充分調(diào)研多種開源數(shù)據(jù)庫內(nèi)核特點(diǎn)，最終采用發(fā)展趨勢較好?組建數(shù)據(jù)庫產(chǎn)品、研發(fā)和交維團(tuán)隊(duì)，全面開展數(shù)據(jù)庫產(chǎn)品的中國移動磐維數(shù)據(jù)庫市場定位產(chǎn)品定位深入研究數(shù)據(jù)庫技術(shù)體系，從功能、性能、平滑過渡等多方面，構(gòu)建自主可控的企業(yè)級數(shù)據(jù)庫產(chǎn)品。圍繞數(shù)據(jù)庫內(nèi)核產(chǎn)品定位深入研究數(shù)據(jù)庫技術(shù)體系，從功能、性能、平滑過渡等多方面，構(gòu)建自主可控的企業(yè)級數(shù)據(jù)庫產(chǎn)品。圍繞數(shù)據(jù)庫內(nèi)核，搭建數(shù)據(jù)庫遷移平臺+運(yùn)維管理平臺，并提供整套數(shù)據(jù)庫解決方案。與國產(chǎn)軟硬件廠商通力合作，實(shí)現(xiàn)全鏈條、全方位的協(xié)同運(yùn)轉(zhuǎn)，豐富信創(chuàng)產(chǎn)業(yè)生態(tài)。建設(shè)數(shù)據(jù)庫服務(wù)體系，加入企業(yè)數(shù)智化轉(zhuǎn)型市場，實(shí)現(xiàn)多行業(yè)、多領(lǐng)域賦能。市場拓展市場拓展中國移動磐維數(shù)據(jù)庫關(guān)鍵特性-行存、列存、內(nèi)存等多種存儲模式、多樣負(fù)載-提供主備式、分布式、一體機(jī)、云化多樣部署-行存、列存、內(nèi)存等多種存儲模式、多樣負(fù)載-提供主備式、分布式、一體機(jī)、云化多樣部署-NUMA-AWARE技術(shù)、極大提升多核處理器-SQLbypaas特殊執(zhí)行路徑-主流數(shù)據(jù)庫Oracle/MySQL/PG等超融合兼容引擎-基于多種國產(chǎn)平臺軟硬協(xié)同-強(qiáng)化學(xué)習(xí)的參數(shù)自調(diào)優(yōu)、啟發(fā)式索引推薦-循環(huán)神經(jīng)網(wǎng)絡(luò)的多指標(biāo)監(jiān)控告警-強(qiáng)化學(xué)習(xí)的參數(shù)自調(diào)優(yōu)、啟發(fā)式索引推薦-循環(huán)神經(jīng)網(wǎng)絡(luò)的多指標(biāo)監(jiān)控告警-多數(shù)據(jù)源、多模式、全自動化遷移-自動兼容評估，智能改造建議-提供同城雙中心、兩地三中心、異地雙活集群-邏輯備份、物理備份，多種備份恢復(fù)策略-提供同城雙中心、兩地三中心、異地雙活集群-邏輯備份、物理備份，多種備份恢復(fù)策略-接入認(rèn)證、權(quán)限管理、安全審計(jì)、保障系統(tǒng)安全-基于國密算法的全密態(tài)存儲/傳輸/計(jì)算-簡化安裝部署，多層次系統(tǒng)管理-全方位監(jiān)控，全自動巡檢，智能告警中國移動磐維數(shù)據(jù)庫產(chǎn)品體系部署形態(tài)全棧式解決方案產(chǎn)品標(biāo)準(zhǔn)服務(wù)遷移平臺企業(yè)級關(guān)系型數(shù)據(jù)庫部署形態(tài)全棧式解決方案產(chǎn)品標(biāo)準(zhǔn)服務(wù)遷移平臺適用場景年度維保服務(wù)高性能內(nèi)核高性能內(nèi)核SQL引擎存儲引擎運(yùn)維平臺專家高級服務(wù)運(yùn)維平臺專家高級服務(wù)......增量檢查點(diǎn)NUMA化數(shù)據(jù)結(jié)構(gòu)空間管理存儲管理適配......基礎(chǔ)平臺支持基礎(chǔ)平臺支持CPU：鯤鵬/海光/飛騰/龍芯/兆芯/申威/Intel等主流芯片CPU：鯤鵬/海光/飛騰/龍芯/兆芯/申威/Intel等主流芯片OS：BC-Linux/openEuler/麒麟/統(tǒng)信等主流操作系統(tǒng)部署：物理機(jī)/私有云/混合云/公有云等Chapter04北京移動數(shù)據(jù)庫數(shù)智化生態(tài)成果與應(yīng)用國產(chǎn)化實(shí)踐經(jīng)驗(yàn)AI+場景技術(shù)打造“數(shù)據(jù)庫自主可控?cái)?shù)智生態(tài)體系”國產(chǎn)化實(shí)踐經(jīng)驗(yàn)AI+場景技術(shù)數(shù)據(jù)庫自主可控?cái)?shù)智生態(tài)體系一套管理流程自主可控改造管理流程兩大改造方法論兩大改造方法論三引擎方法論雙平面方法論四大數(shù)智生態(tài)工具四大數(shù)智生態(tài)工具數(shù)據(jù)交換平臺智能運(yùn)維平臺可信管理平臺SQL智能管控平臺自主可控改造管理流程完整的數(shù)據(jù)庫割接方案包括：遷移流程，遷移預(yù)估，遷移測試結(jié)果以及數(shù)據(jù)回流的托底方案。完整的數(shù)據(jù)庫割接方案包括：遷移流程，遷移預(yù)估，遷移測試結(jié)果以及數(shù)據(jù)回流的托底方案。數(shù)據(jù)庫割接集成設(shè)計(jì)數(shù)據(jù)庫割接國產(chǎn)庫必須有高可用方案需要帶業(yè)務(wù)的全場景測試高可用測試測試階段出現(xiàn)的問題確認(rèn)閉環(huán)并進(jìn)行驗(yàn)證后，才可進(jìn)行遷移籌備階段國產(chǎn)庫必須有高可用方案需要帶業(yè)務(wù)的全場景測試高可用測試測試問題閉環(huán)測試問題閉環(huán)運(yùn)維管理建設(shè)運(yùn)維管理建設(shè)包括數(shù)據(jù)庫集群狀態(tài)查詢腳本，空間兼容性改造容量查詢，慢查詢定位腳本，鎖定位兼容性改造安全認(rèn)證通過資質(zhì)審核和安全入網(wǎng)掃描合格方可準(zhǔn)入及查殺，系統(tǒng)會話查殺腳本，集群重起安全認(rèn)證通過資質(zhì)審核和安全入網(wǎng)掃描合格方可準(zhǔn)入性能測試數(shù)據(jù)庫和開發(fā)明確改造界面，改造中去掉oracle特性內(nèi)容，保證國產(chǎn)化版本的代碼移植性。業(yè)務(wù)開發(fā)務(wù)必枚舉性能風(fēng)險點(diǎn)用例性能測試數(shù)據(jù)庫和開發(fā)明確改造界面，改造中去掉oracle特性內(nèi)容，保證國產(chǎn)化版本的代碼移植性。上線的性能標(biāo)準(zhǔn)。雙平面方法論雙平面方法論核心庫國產(chǎn)化挑戰(zhàn)雙平面回切方案雙平面方法論核心庫國產(chǎn)化挑戰(zhàn)雙平面回切方案第一步性能有“差距”第一步-—廠-----—廠----遷移有“風(fēng)險”第二步第二步模擬測試”困難”第三步第三步三引擎方法論自主研發(fā)數(shù)據(jù)庫數(shù)智化生態(tài)工具集京審SQL智能管控平臺京信數(shù)據(jù)可信管理平臺京融數(shù)據(jù)交換平臺京審SQL智能管控平臺京信數(shù)據(jù)可信管理平臺京融數(shù)據(jù)交換平臺京維數(shù)據(jù)庫智能運(yùn)維平臺具備數(shù)據(jù)遷移，數(shù)據(jù)對比，自動生成報(bào)表，數(shù)據(jù)清洗，數(shù)據(jù)映射等功能。京融具備自動分析，平臺自動生成分析報(bào)告，歷史數(shù)據(jù)留存，隨時調(diào)取態(tài)勢感知，智能預(yù)警等功能。京維具備對結(jié)構(gòu)化非結(jié)構(gòu)化等重要數(shù)據(jù)資產(chǎn)持續(xù)檢查確認(rèn)數(shù)據(jù)是可信狀態(tài)，數(shù)據(jù)一但有異常有問題，能夠快速發(fā)現(xiàn)、告警、分析定位，并修復(fù)到可信狀態(tài)。京信SQL監(jiān)控和建模分析平臺，具備SQL監(jiān)控和審核，SQL運(yùn)行模型建立，自動分析等功能。知識庫主動修復(fù)主動防御智能預(yù)警主動修復(fù)主動防御智能預(yù)警關(guān)鍵特性痛點(diǎn)難點(diǎn)關(guān)鍵特性痛點(diǎn)難點(diǎn)應(yīng)用效果解決方案關(guān)鍵特性?界面化操作：選擇規(guī)則進(jìn)行篩選，監(jiān)控關(guān)鍵特性?界面化操作：選擇規(guī)則進(jìn)行篩選，監(jiān)控?適配多種數(shù)據(jù)庫：滿足對多種數(shù)據(jù)庫制?定期執(zhí)行、智能調(diào)度：數(shù)據(jù)表清理及分區(qū)合并工作自動化、智能化執(zhí)行，減少應(yīng)用效果痛點(diǎn)難點(diǎn)痛點(diǎn)難點(diǎn)解決方案數(shù)據(jù)量不斷膨脹，分區(qū)數(shù)持續(xù)增長，數(shù)據(jù)系統(tǒng)穩(wěn)定運(yùn)行，需保持?jǐn)?shù)據(jù)庫清爽和高性能，不斷增加臨時分區(qū)、臨時數(shù)據(jù)清理等數(shù)據(jù)表保留周期歷史空分區(qū)可清理列表可清理列表數(shù)據(jù)清理腳本分區(qū)表最大分區(qū)<100MB表使用頻率表使用頻率每小時變化<1000行分區(qū)合并列表分區(qū)合并列表分區(qū)合并腳本關(guān)鍵特性關(guān)鍵特性測應(yīng)用效果痛點(diǎn)難點(diǎn)解決方案機(jī)器學(xué)習(xí)關(guān)聯(lián)分析熵值技術(shù)數(shù)據(jù)機(jī)器學(xué)習(xí)關(guān)聯(lián)分析熵值技術(shù)數(shù)據(jù)預(yù)處理異常識別告警結(jié)構(gòu)化數(shù)據(jù)備份等副本數(shù)據(jù)…相似度分析…異常特征提取非結(jié)構(gòu)化數(shù)據(jù)AAI智能引擎可信評估可信評估分析定位威脅