2024 Top10國產數(shù)據(jù)庫遷移與同步指南

w內容概覽?手冊背景?使用指南?數(shù)據(jù)庫技術發(fā)展分析?國產數(shù)據(jù)庫風云榜?ToP10國產數(shù)據(jù)庫同步攻略?數(shù)據(jù)庫簡介?常見同步方案及工具匯總及介紹?遷移/同步詳細教程數(shù)據(jù)庫一直是企業(yè)數(shù)字化和創(chuàng)新的重要基礎設施之一。從傳統(tǒng)的關系型數(shù)據(jù)庫到非關系型數(shù)據(jù)庫、分析型數(shù)據(jù)庫,再到云數(shù)據(jù)庫和多模數(shù)據(jù)庫,這一領域仍在持續(xù)變革中,各種新型數(shù)據(jù)庫產品涌現(xiàn),數(shù)據(jù)管理的能力和應用場景也由此得到了擴展。隨著企業(yè)數(shù)字化轉型的深入,數(shù)據(jù)的爆炸性增長對數(shù)據(jù)庫技術提出了更高的要求,不僅僅是存儲和查詢的能力,還包括實時處理、智能分析、多樣化數(shù)據(jù)類型的支持等。數(shù)據(jù)庫技術的多樣化是未來發(fā)展的一個重要方向,數(shù)據(jù)庫技術正朝著多模、實時、智能化的方向發(fā)展。例如,實時分析型數(shù)據(jù)庫、圖數(shù)據(jù)庫、內存數(shù)據(jù)庫、時序數(shù)據(jù)庫、分布式數(shù)據(jù)庫、湖倉一體數(shù)據(jù)庫、數(shù)據(jù)庫自治以及數(shù)據(jù)庫云服務等新興趨勢正在引領未來的技術發(fā)展。與此同時,在信創(chuàng)環(huán)境國產化浪潮之下,國產數(shù)據(jù)庫等基礎軟件的崛起成為了一個重要的趨勢。中國的數(shù)據(jù)庫廠商紛紛推出具有自主可控技術的數(shù)據(jù)庫產品,以應對新時代對于信息安全、自主創(chuàng)新的要求。同時,國產數(shù)據(jù)庫在性能、可擴展性、兼容性以及生態(tài)系統(tǒng)支持方面也取得了顯著的進展,能夠滿足企業(yè)級應用和海量數(shù)據(jù)處理的需求。因此,越來越多的國內企業(yè)開始尋求從oracle、MYSQL等海外數(shù)據(jù)庫向新興國產數(shù)據(jù)庫遷移的解決方案如何有效地實現(xiàn)從舊有系統(tǒng)到國產數(shù)據(jù)庫的遷移,以及如何在多種數(shù)據(jù)庫之間進行高效的數(shù)據(jù)同步,成為企業(yè)面臨的關鍵挑戰(zhàn)。在這樣的背景下,我們著手整編國產數(shù)據(jù)庫遷移與同步系列內容,本手冊為系列第一期《2024ToP10國產數(shù)據(jù)庫遷移與同步指南》,在這里我們將我們將以當前市場上最具代表性的國產數(shù)據(jù)庫為例,依次深入解析每款數(shù)據(jù)庫的遷移與同步方案,并附上詳細的操作步驟,幫助大家進一步了解國產數(shù)據(jù)庫的發(fā)展現(xiàn)狀,以及對應的數(shù)據(jù)同步策略。數(shù)據(jù)來源本手冊采用的國產數(shù)據(jù)庫排行榜數(shù)據(jù),均源自墨天輪中國數(shù)據(jù)庫流行度排行。該榜單于2019年6月推出,通過近50個維度的數(shù)據(jù)來考察近300個中國數(shù)據(jù)庫的流行度排行,每月1日更新排行數(shù)據(jù),用于體現(xiàn)中國數(shù)據(jù)庫在互聯(lián)網上的流行度。作為國產數(shù)據(jù)庫領域的權威參考,展示了各類國產數(shù)據(jù)庫在互聯(lián)網上的流行度方面的排名和變化。通過定期發(fā)布的數(shù)據(jù)庫排行,行業(yè)從業(yè)者能夠全面了解國產數(shù)據(jù)庫的基本發(fā)展動態(tài)。受眾群體與方案需求?-次性遷移方案:從以國產數(shù)據(jù)庫作為目標庫,關注全量同步能力,適用于考慮完全替換0racle,SQLserver等海外數(shù)據(jù)庫的企業(yè)和組織。?增量遷移方案:對關鍵型需要24x7不下線的應用,在遷移過程中需要在老庫和新庫之間持續(xù)的實時復制以實現(xiàn)無縫切換?持續(xù)同步方案:在確保原業(yè)務庫正常運行的前提下,持續(xù)、實時同步數(shù)據(jù)至國產數(shù)據(jù)庫。特別適用于正在部署或運行數(shù)據(jù)倉庫或者大數(shù)據(jù)平臺的企業(yè)。綜上所述,本手冊依托墨天輪數(shù)據(jù)庫排行,整理當前流行的國產數(shù)據(jù)庫的技術發(fā)展情況,旨在通過對主流遷移工具的分析與對比,為讀者提供一個相對實用的參考框架,助力國產數(shù)據(jù)庫的推廣和使用?！a數(shù)據(jù)庫發(fā)展趨勢1.1數(shù)據(jù)庫技術發(fā)展分析眼下,數(shù)據(jù)庫技術正朝著多模、實時、智能化的方向發(fā)展。例如,實時分析型數(shù)據(jù)庫、圖數(shù)據(jù)庫、內存數(shù)據(jù)庫、時序數(shù)據(jù)庫、分布式數(shù)據(jù)庫、湖倉一體數(shù)據(jù)庫、數(shù)據(jù)庫自治以及數(shù)據(jù)庫云服務等新興趨勢正在引領未來的技術發(fā)展。?云原生數(shù)據(jù)庫云數(shù)據(jù)庫因其靈活性和可擴展性,正在被納入企業(yè)數(shù)據(jù)管理的優(yōu)先選擇。據(jù)Gartner統(tǒng)計,云數(shù)據(jù)庫的全球市場份額正在不斷增長,2023年已達整體市場份額的61%。在這一領域,國產廠商正在嶄露頭角。而作為基于云架構的云數(shù)據(jù)庫,云原生數(shù)據(jù)庫更是以其專為云環(huán)境優(yōu)化的架構,迅速贏得市場青睞。天生匹配云環(huán)境和分布式事務,其核心是存儲與計算分離,一般提供計算存儲分離和日志即數(shù)據(jù)能力,具備高性能、高可擴展、一致性、容錯、易于管理和多云支持等特性。它們專門為云環(huán)境設計,能夠利用云計算的彈性、分布式架構和高可用性特點。在云原生架構下,數(shù)據(jù)庫能夠自動擴展,支持高并發(fā)的訪問和按需分配資源,極大地提升了企業(yè)的運維效率和成本控制能力。這類數(shù)據(jù)庫還通常具備跨區(qū)域災備能力,能夠實現(xiàn)數(shù)據(jù)的高可用性和容災性能,使其成為現(xiàn)代化企業(yè)的重要基礎設施之一,引領企業(yè)的數(shù)據(jù)庫部署方式發(fā)生根本性轉變。圖數(shù)據(jù)庫的發(fā)展同樣值得關注,隨著數(shù)據(jù)關聯(lián)性和復雜關系查詢需求的增加,圖數(shù)據(jù)庫憑借其處理復雜關系和高效查詢的能力,逐漸成為數(shù)據(jù)庫領域的熱門技術。與傳統(tǒng)的關系型數(shù)據(jù)庫不同,圖數(shù)據(jù)庫能夠直接表示實體之間的關系,特別適合處理社交網絡、知識圖譜、推薦系統(tǒng)等高度關聯(lián)性的數(shù)據(jù)場景。因此,在需要快速查詢和分析復雜關系的場景中,圖數(shù)據(jù)庫展現(xiàn)出了巨大的優(yōu)勢。目前,國產廠商也在這一領域有所突破,NebulaGraph等國產圖數(shù)據(jù)庫開始在性能、擴展性和應用場景上與國際廠商競爭。NebulaGraph在處理海量節(jié)點和邊數(shù)據(jù)時表現(xiàn)出色,支持大規(guī)模分布式存儲,并能夠實現(xiàn)秒級查詢和關系分析。此外,圖數(shù)據(jù)庫還廣泛應用于反欺詐、供應鏈管理、知識圖譜等領域,助力企業(yè)從復雜數(shù)據(jù)中快速挖掘深層次關聯(lián),提升決策效率。隨著大數(shù)據(jù)分析需求的增加,圖數(shù)據(jù)庫的市場需求也在快速增長,未來將進一步推動數(shù)據(jù)管理技術的發(fā)展。?HTAP(混合事務與分析處理)數(shù)據(jù)庫HTAP數(shù)據(jù)庫技術結合了OLTP(在線事務處理)和OLAP(在線分析處理)的功能,允許用戶在同一數(shù)據(jù)庫中既進行高效的事務處理,又能執(zhí)行實時的數(shù)據(jù)分析。這項技術克服了傳統(tǒng)數(shù)據(jù)庫需要分離在線處理和數(shù)據(jù)分析系統(tǒng)的局限性,能夠支持更為復雜的業(yè)務場景。隨著實時數(shù)據(jù)分析需求的增加,HTAP逐漸成為企業(yè)構建數(shù)據(jù)中臺和實時數(shù)據(jù)倉庫的關鍵技術之一。時序數(shù)據(jù)庫的崛起得益于物聯(lián)網(IOT)、智能制造、能源管理等領域的快速發(fā)展。時序數(shù)據(jù)具有高頻采集和大規(guī)模寫入的特點,傳統(tǒng)數(shù)據(jù)庫在處理此類數(shù)據(jù)時往往面臨瓶頸。時序數(shù)據(jù)庫能夠高效處理海量時序數(shù)據(jù),提供強大的數(shù)據(jù)壓縮和查詢能力,適用于智能監(jiān)控、金融交易記錄、工業(yè)設備管理等需要大規(guī)模實時數(shù)據(jù)分析的場景。知名的時序數(shù)據(jù)庫包括InfluxDB、openTSDB、TDEngine等。隨著企業(yè)數(shù)據(jù)復雜性的增加,多模數(shù)據(jù)庫逐漸興起,它能夠在同一數(shù)據(jù)庫中支持多種數(shù)據(jù)模型(如文檔、鍵值對、圖形、關系型等),幫助企業(yè)簡化數(shù)據(jù)管理架構。通過多模數(shù)據(jù)庫,企業(yè)可以在不同的應用場景中選擇最合適的數(shù)據(jù)模型,而無需管理多個數(shù)據(jù)庫系統(tǒng)。這種統(tǒng)一的數(shù)據(jù)存儲模式特別適合應用廣泛且多樣化的數(shù)據(jù)需求,推動了大數(shù)據(jù)和人工智能領域的快速發(fā)展。自動駕駛數(shù)據(jù)庫是一種具備自優(yōu)化、自愈合、自安全特性的智能數(shù)據(jù)庫,能夠通過機器學習和人工智能算法自動調優(yōu)性能,預測潛在的故障并采取預防措施。這類數(shù)據(jù)庫代表了未來數(shù)據(jù)庫的智能化發(fā)展方向,降低了人工干預和維護的需求,使得數(shù)據(jù)庫系統(tǒng)更加高效、穩(wěn)定。oracle的自駕數(shù)據(jù)庫是該領域的先鋒之一,它能通過內置的AI模塊自動執(zhí)行備份、修復和優(yōu)化操作。湖倉一體化技術將數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)勢融合在一起,提供了一種統(tǒng)一的存儲和管理方案。它解決了傳統(tǒng)數(shù)據(jù)湖中數(shù)據(jù)管理不規(guī)范、分析效率低的問題,同時也保留了數(shù)據(jù)倉庫在結構化數(shù)據(jù)分析上的優(yōu)勢。湖倉一體的數(shù)據(jù)庫不僅能處理結構化數(shù)據(jù),還能高效管理非結構化數(shù)據(jù),在大數(shù)據(jù)分析場景中尤為適用。通過以上技術的快速發(fā)展,數(shù)據(jù)庫領域正在朝著更加高效、智能、多元的方向前進。這些新興趨勢不僅提高了數(shù)據(jù)處理的性能和靈活性,還為企業(yè)應對數(shù)字化轉型提供了更加豐富的技術選擇。1.2國產數(shù)據(jù)庫風云榜國產數(shù)據(jù)庫的崛起是數(shù)據(jù)庫技術發(fā)展的一個重要趨勢,隨著國家對信息技術自主可控的要求提升,國產數(shù)據(jù)庫得到了快速發(fā)展。例如,oceanBase云數(shù)據(jù)庫在兩年內客戶數(shù)年增長130%,支持100多個可用區(qū),顯示出國產數(shù)據(jù)庫在性能和市場接受度上的顯著進步;騰訊云數(shù)據(jù)庫TDSQL的多項優(yōu)化創(chuàng)新方案,突破了數(shù)據(jù)庫領域的性能瓶頸。根據(jù)墨天輪2024年9月官方解讀報告,如上圖所示,在墨天輪發(fā)布的9月中國數(shù)據(jù)庫流行度排行榜中,中國數(shù)據(jù)庫產業(yè)格局進一步聚集刷新,呈現(xiàn)出3大顯著特征:1.開源勢力力爭上游顯優(yōu)勢領先潮流;2.openGauss開源根社區(qū)優(yōu)勢明顯;3.阿里華為兩極鼎立云上云下各爭先。開源勢力力爭上游顯優(yōu)勢領先潮流首先來談談第一個觀點:開源勢力力爭上游顯優(yōu)勢領先潮流。在排行榜的前10名中,polarDB、TDSQL都有開源的子品牌,而oceanBase、openGauss、TiDB主產品都已經開源,此外的5個閉源數(shù)據(jù)庫分別是達夢、GoldenDB、GBase、人大金倉、GaussDB,這其中的部分產品同樣和開源有關。從排名上來看,開源產品的影響力和排行已經超過了閉源產品。開源數(shù)據(jù)庫的生命力得到了充分證明。以下是從開源視角看5個開源(相關)數(shù)據(jù)庫的情況:從全球看,在數(shù)據(jù)庫領域,開源開放也一直是數(shù)據(jù)庫的原始基因。數(shù)據(jù)庫歷史上最早期的Ingres項目,就以開源方式開放了源代碼,從而催生了一系列聲名顯赫的產品,包括postgresQl、Informixsybase、MicrosoftsQlserver、Illustra等。此后,MYSQL同樣通過開源打破了商業(yè)數(shù)據(jù)庫的壁壘,在互聯(lián)網時代成就了數(shù)據(jù)基礎。openGauss開源根社區(qū)優(yōu)勢明顯如果做一個類比,昔日的Ingres就如同中國今天的openGauss.Ingres和openGauss最終都成為了一個根社區(qū),帶動和孵化了后續(xù)一系列的數(shù)據(jù)庫產品,帶動了產業(yè)繁榮。當下,在國內,圍繞openGauss推出的獨立數(shù)據(jù)庫產品包括云和恩墨的MogDB、海量數(shù)據(jù)的vastBase、中國移動的磐維數(shù)據(jù)庫,這幾個產品在墨天輪流行度排行榜上都有獨立的呈現(xiàn)。此外,南大通用的GBase、神舟通用的神通數(shù)據(jù)庫,都有基于openGauss的產品版本,這兩者的openGuass版本在榜單上沒有獨立的呈現(xiàn)。下圖展示了包含openGauss在內的,openGauss路線的四個獨立數(shù)據(jù)庫品牌,合計流行度分值已達到604.6,足以穩(wěn)定躋身排行榜的前三甲。這就是開源開放的根社區(qū)的優(yōu)勢:根據(jù)沙利文《重點行業(yè)數(shù)據(jù)庫應用調研報告》,2023年中國數(shù)據(jù)庫市場,線下集中式"openGauss系"新增市場份額達21.9%。這正是開源開放的力量。目前在openGauss開源社區(qū)官方站點上,通過社區(qū)認證的發(fā)行版版本數(shù)量已經達到了26個。這些發(fā)行版伴隨著各自廠商,正在千行萬業(yè)的優(yōu)勢場景下,落地生根蓬勃生長。阿里華為兩極鼎立云上云下各爭先從墨天輪的榜單來看,阿里系產品和華為系產品,呈現(xiàn)出顯著的兩極鼎立之勢。其中oceanBase、polarDB源自阿里巴巴的基因;openGauss和GaussDB則是源自華為的基因。這四大產品都已位列前10。其中polarDB和GaussDB以云數(shù)據(jù)庫為主。oceanBase和openGauss在過去都以線下為主,并且都采取了開源的路線,openGuass率先開源,oceanBase隨后開源。openGauss在開源時即聯(lián)合了社區(qū)伙伴,共同發(fā)起,這其中包括的主要廠商包括云和恩墨、海量數(shù)據(jù)、南大通用、神舟通用等。如今,openGauss路線產品已經多點開花,根社區(qū)的優(yōu)勢漸漸顯現(xiàn)。并且,中國移動、郵儲銀行等行業(yè)客戶,也加入了openGauss社區(qū)發(fā)行版的行列,例如中國移動的磐維數(shù)據(jù)庫也已經榜上有名。當下,在墨天輪流行度排行榜上,關系型數(shù)據(jù)庫的分類榜單中,從第11名開始和前10名的差距已經拉大,11名的分值約是第10名的一半左右,這說明數(shù)據(jù)庫的陣營已經基本拉開。中國數(shù)據(jù)庫向何處去當談及"中國數(shù)據(jù)庫向何處去,中國數(shù)據(jù)庫產業(yè)何以繁榮?"這一問題時,解讀報告認為目前的形勢是:強者獨善其身,達者兼濟天下。?達夢金倉是中國數(shù)據(jù)庫產業(yè)的先行者,以20多年的公司探索,成就了今日在信創(chuàng)產業(yè)中的領先位置,達夢已經登陸科創(chuàng)板,金倉也已更名為電科金倉,兩者都以閉源商業(yè)模式探索市場,是謂強者獨善其身。?華為阿里是中國數(shù)據(jù)庫產業(yè)的新兩極,并且兩者都受益于開源,并倡導開源,以開源推動產業(yè)繁榮,是為達者兼濟天下。達者、強者,與產業(yè)生態(tài)共建者,共同成就中國數(shù)據(jù)庫產業(yè)未來。二、ToP10國產數(shù)據(jù)庫遷移及同步攻略2.1oceanBase以下是oceanBase的墨天輪流行度排行變化趨勢:2.1.1關于oceanBaseoceanBase數(shù)據(jù)庫是阿里巴巴和螞蟻集團不基于任何開源產品,完全自研的原生分布式關系數(shù)據(jù)庫軟件,在普通硬件上實現(xiàn)金融級高可用,首創(chuàng)"三地五中心"城市級故障自動無損容災新標準,具備卓越的水平擴展能力,全球首家通過TPC-C標準測試的分布式數(shù)據(jù)庫,單集群規(guī)模超過1500節(jié)點。產品具有云原生、強一致性、高度兼容oracle/MYSQL等特性,承擔支付寶100%核心鏈路,在國內幾十家銀行、保險公司等金融客戶的核心系統(tǒng)中穩(wěn)定運行?！井a品優(yōu)勢】?金融級高可用:三地五中心容災架構方案,建立金融行業(yè)無損容災新標準?；趐axos協(xié)議的a志傳輸,支持數(shù)據(jù)多副本,普通服務器可實現(xiàn)容災自動恢復,且數(shù)據(jù)零丟失。?HTAP混合負載:用同套高性能并行執(zhí)行引擎,結合獨有的數(shù)據(jù)存儲方式,分別對交易和分析場景進行深度優(yōu)化。隔離不同負載使用的計算資源,避免分析場景與交易場景相互干擾。?超大規(guī)模集群水平擴展:實現(xiàn)透明水平擴展,支持業(yè)務快速的擴容縮容,同時通過準內存處理架構實現(xiàn)高性能。支持集群節(jié)點超過數(shù)千個,單集群最大數(shù)據(jù)量超過3PB,最大單表行數(shù)達萬億級。?主流商業(yè)和開源數(shù)據(jù)庫兼容:兼容MYSQL和oracle兩種主流數(shù)據(jù)庫生態(tài),包括SQL語法、函數(shù)、視圖以及存儲過程等高級特性。提供豐富的數(shù)據(jù)庫工具軟件,開放API接口,能夠與三方工具集成,降低客戶的使用門檻。【應用場景】交易支付是螞蟻集團最核心的一個業(yè)務,最初采用的是分庫分表的解決方案。分庫分表的方案給核心業(yè)務帶來了水平擴展的能力,同時也帶來了灰度升級的能力,讓核心業(yè)務的系統(tǒng)性風險大大降低。但隨著支付寶業(yè)務的飛速發(fā)展,發(fā)現(xiàn)系統(tǒng)中的單機容量開始出現(xiàn)不足,在分庫分表的架構下,這種情況只能通過將數(shù)據(jù)繼續(xù)拆分成M*N份來解決,導致一方面耗時耗力,另外一方面技術風險非常高。而oceanBase數(shù)據(jù)庫利用分區(qū)表的方案及其帶來的水平擴展能力,完美地解決了這一問題。只需要將原來的N份數(shù)據(jù),每一份都通過分區(qū)表打散為M個數(shù)據(jù)分區(qū),利用分區(qū)表打破單機的容量限制,就可以從數(shù)據(jù)層完成這一拆分過程,無需業(yè)務改造,極大地節(jié)省了成本,降低了技術風險。同時,oceanBase數(shù)據(jù)庫的分區(qū)表方案也可以使得用戶完全無需關注數(shù)據(jù)的分布細節(jié),輕松支持跨分區(qū)的分布式事務、多分區(qū)的關聯(lián),真正實現(xiàn)"透明"訪問分布式數(shù)據(jù)庫。會員系統(tǒng)在很多企業(yè)中也都是存在的,系統(tǒng)中保存了很多重要的用戶信息。對于這些信息,是需要從多個維度進行訪問的,例如:通過用戶的ID查詢用戶的詳細信息;通過用戶的手機號碼查詢用戶的詳細信息;以年齡作為一個維度來對用戶進行分組等等。對于這種多維度查詢場景,尤其是非分區(qū)鍵查詢在海量數(shù)據(jù)的分布式場景中是經常碰到的問題。通?？梢圆捎迷诜欠謪^(qū)列建立影子表的方式來解決。但這樣的解決方式并非利用了數(shù)據(jù)庫本身的能力,只能算是應用層的折中方案。oceanBase數(shù)據(jù)庫可以利用分區(qū)表特性將數(shù)據(jù)打散后分布到集群的多個節(jié)點上,從而滿足一部分的查詢需求,之后利用強一致性全局索引功能來滿足其它維度的查詢和分析需求,在數(shù)據(jù)庫層面實現(xiàn)了數(shù)據(jù)分片和水平擴展能力,并且對用戶透明。很多行業(yè)的批處理系統(tǒng)中通常會有大量批處理操作,包含多張大表關聯(lián)的復雜計算,并且涉及到大量的數(shù)據(jù)更新。批處理意味著每一次處理的數(shù)據(jù)量很大,而且有很多張大表要做關聯(lián),經常要做一些比較復雜的查詢,并且更新量也比較大,使得傳統(tǒng)的集中式數(shù)據(jù)庫,出現(xiàn)了單點瓶頸,垂直擴容成本非常高,幾乎不可接受。oceanBasE數(shù)據(jù)庫的SQL引擎在經過了近10年的發(fā)展之后,已經擁有了很好的SQL執(zhí)行能力和分布式計算能力,可以支撐這種復雜的HTAP應用。由于oceanBasE數(shù)據(jù)庫的原生分布式數(shù)據(jù)庫特點,可以完美地解決傳統(tǒng)數(shù)據(jù)庫的單點性能瓶頸問題,而且還可以節(jié)省擴容帶來的成本。2.1.2oceanBase常見數(shù)據(jù)遷移/同步方案詳見:《oceanBase數(shù)據(jù)庫技術文檔-數(shù)據(jù)遷移》:/docs/oceanbase-database-cn數(shù)據(jù)遷移是日常運維操作的一種常見操作,是調整集群負載和機房搬遷的必備操作。雖然集群內部、表與表之間數(shù)據(jù)歸檔、磁盤水位均衡、資源單元搬遷等操作在oceanBase數(shù)據(jù)庫中可以通過簡單命令快速發(fā)起,但是涉及異構數(shù)據(jù)源和集群間的數(shù)據(jù)同步等功能時就需要借助外部工具。【應用場景】數(shù)據(jù)遷移是數(shù)據(jù)庫運維常見的操作,主要有如下的應用場景:?調整集群負載和機房搬遷。?數(shù)據(jù)導出到文件、從文件導入到數(shù)據(jù)庫。?數(shù)據(jù)庫邏輯復制,包括讀寫分離、數(shù)據(jù)庫容災、業(yè)務多活等。?業(yè)務上的數(shù)據(jù)復制需求。【遷移方案oceanBase數(shù)據(jù)庫提供豐富的數(shù)據(jù)遷移復制方法,包括:?使用OMS遷移t建議)?使用obloader&obdumper遷移?使用obloader導入數(shù)據(jù)?使用obdumper導出數(shù)據(jù)?使用OUTFILE語句遷移?使用DBCAT遷移遷移方案具體支持情況如下:遷移方案結構遷移全量數(shù)據(jù)遷移增量數(shù)據(jù)遷移數(shù)據(jù)校驗存儲過程支持的數(shù)據(jù)源OMS支持支持支持支持不支持oceanBaseMYSQLoraclepostgresQLDB2LUWTiDBkafkaRocketMQDatahubobloader&obdumper支持支持不支持不支持支持oceanBaseSQL腳本遷移支持支持不支持不支持支持主流數(shù)據(jù)庫,但無法跨實例做數(shù)據(jù)遷移MYDumper支持支持不支持不支持支持MYSQL兼容的數(shù)據(jù)源TapData支持支持支持支持不支持內置100+數(shù)據(jù)連接器(含oceanBase源與目標的支持),包含商業(yè)數(shù)據(jù)庫、開源數(shù)據(jù)庫、云數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖、消息隊列、saas平臺、文件等,且支持自定義數(shù)據(jù)源較多,具體范圍查看官方文檔Datax不支持支持不支持不支持不支持較多,具體范圍查看官方文檔OUTFILE語句不支持支持不支持不支持不支持MYSQLoceanBaseDBCAT支持不支持不支持不支持支持較多,具體范圍查看官方文檔以上是幾種oceanBase適用的數(shù)據(jù)遷移方法及工具。2.1.3高效數(shù)據(jù)遷移/同步分步教程此處教程選用TapData本地部署版本為工具,以oceanBase→MYSQL為模擬場景進行操作演示。更多詳情,參見《TapData幫助文檔-連接數(shù)據(jù)源-自建數(shù)據(jù)庫oceanBase》:https:/ldocs·/prerequisites/on-prem-databases/oceanbase完成TapDataAgent部署后,即可跟隨以下教程在TapData中添加oceanBase數(shù)據(jù)源(支持版本:oceanBase3.x),后續(xù)可將其作為源或目標庫來構建數(shù)據(jù)管道。這里我們將以oceanBase為數(shù)據(jù)源,MYSQL為數(shù)據(jù)目標進行模擬演示。①準備工作1.確保TapData所屬的網絡已加入oceanBase的租戶白名單中。3.執(zhí)行下述格式的命令,創(chuàng)建用于數(shù)據(jù)同步的用戶。?username:用戶名。?password:密碼。4.執(zhí)行下述格式的命令,為剛創(chuàng)建的用戶授予庫級別所有權限,您也可以基于業(yè)務需求自定義更精細化的權限控制。?databasename:數(shù)據(jù)庫名稱。?username:用戶名。②創(chuàng)建oceanBase的連接*oceanBase有MYSQL和oracle兩種運行模式,依據(jù)JDBC驅動連接時的租戶名稱判斷,目前TapData兩種模式都可支持。1.進入TapData控制臺,在左側導航欄,單擊連接管理。2.單擊頁面右側的創(chuàng)建,在彈框中,搜索并選擇oceanBaseo3.在跳轉到的頁面,根據(jù)下述說明填寫oceanBase連接信息:?連接名稱:填寫具有業(yè)務意義的獨有名稱。?連接類型:支持OCEanBasE數(shù)據(jù)庫作為源或目標。?地址:數(shù)據(jù)庫連接地址。?端口:數(shù)據(jù)庫的服務端口,默認為2881。?數(shù)據(jù)庫:數(shù)據(jù)庫名稱,即一個連接對應一個數(shù)據(jù)庫,如有多個數(shù)據(jù)庫則需創(chuàng)建多個數(shù)據(jù)連接。test租戶時,即填寫為test租戶時,即填寫為tapdata@test?密碼:租戶賬號對應的密碼。?額外參數(shù):額外的連接參數(shù),默認為空。?時區(qū):默認為數(shù)據(jù)庫所用的時區(qū),您也可以根據(jù)業(yè)務需求手動指定。?高級設置?Agent設置:默認為平臺自動分配,您也可以手動指定Agento?模型加載頻率:數(shù)據(jù)源中模型數(shù)量大于1萬時,TapData將按照設置的時間定期刷新模型。4.單擊連接測試,測試通過后單擊保存:*提示:如提示連接測試失敗,請根據(jù)頁面提示進行修復。③創(chuàng)建MYSQL的連接1.參照oceanBase連接創(chuàng)建流程,完成MYSQL連接配置信息填寫,添加數(shù)據(jù)目標MYSQL:2.測試MYSQL連接:3.模型加載成功:④創(chuàng)建數(shù)據(jù)復制/開發(fā)任務1.左側導航欄點擊數(shù)據(jù)復制,并點擊右側創(chuàng)建:2.進入DAG頁面,構建數(shù)據(jù)復制任務,通過拖拉拽的方式添加源與目標節(jié)點,并連接源與目標3.單擊源與目標節(jié)點,即可按需對二者進行設置:4.保存任務S任務啟動與監(jiān)控1.啟動任務,任務全量同步正常運行:2.源表和目標表數(shù)據(jù)檢驗count一致,內容一致3.增量同步:數(shù)據(jù)源表新增數(shù)+1,目標表新增數(shù)+1,檢查源表和目標表,源表和目標表依次新增這條數(shù)據(jù)以上,便是借助TapData快速實現(xiàn)oceanBase到MYSQL的全、增量同步的模擬教程。2.2polarDB以下是polarDB的墨天輪流行度排行變化趨勢:2.2.1關于polarDBpolarDB是一款開源的云原生數(shù)據(jù)庫,支撐了阿里巴巴雙十—業(yè)務,同時作為云產品為廣大企業(yè)提供了高質量的服務。作為阿里云自研產品,polarDB在存儲計算分離架構下,利用了軟硬件結合的優(yōu)勢,為用戶提供秒級彈性、高性能、海量存儲、安全可靠的數(shù)據(jù)庫服務。10%兼容MYSQL和postgrESQL生態(tài),支持分布式擴展,高度兼容oracle語法。polarDB家族三大分支包括:polarDBMYSQL版、polarDBPostgresQL版、polarDB分布式版。其中polarDBpostgresQL版、polarDB分布式版于2021年開源。?云原生數(shù)據(jù)庫polarDBMYSQL版云原生數(shù)據(jù)庫polarDBMYSQL版是阿里云自研產品,100%兼容MYSQL。產品具有多主多寫、多活容災、HTAP等特性,交易性能最高可達開源數(shù)據(jù)庫的6倍,分析性能最高可達開源數(shù)據(jù)庫的400倍,TCO低于自建數(shù)據(jù)庫50%。?云原生數(shù)據(jù)庫polarDBpostgresQL版云原生數(shù)據(jù)庫polarDBpostgresQL版是阿里云自研的云原生關系型數(shù)據(jù)庫產品,100%兼容postgresQL,高度兼容oracle語法。為用戶提供快速彈性、高性能、海量存儲、安全可靠的數(shù)據(jù)庫服務,同時支持阿里云自研Ganos多維多模時空信息引擎及開源postGS地理信息引擎。?云原生數(shù)據(jù)庫polarDB分布式版polarDBXpolarDB分布式版(polarDBforxscale,簡稱"polarDB-X")是阿里云自主設計研發(fā)的高性能云原生分布式數(shù)據(jù)庫產品,為用戶提供高吞吐、大存儲、低延時、易擴展和超高可用的云時代數(shù)據(jù)庫服務。歷經各屆天貓雙11及阿里云各行業(yè)客戶業(yè)務的考驗,助力企業(yè)加速完成業(yè)務數(shù)字化轉型。【產品優(yōu)勢】?兼容并包,無縫兼容原有生態(tài):1OO%兼容MYSQL和postgresQL生態(tài),無需修改代碼即可使用,提供從RDSMYSQL高可用版到polarDB的一鍵遷移功能,連接地址保留不變。高度兼容oracle語法,ADAM工具全周期協(xié)助您進行oracle遷移,將oracle的遷移成本和周期縮減到原來的1/10甚至更低。?海量存儲,大規(guī)模擴展:polarDBMYSQL版和postgresQL版支持最大容量1OOTB,最多可橫向擴展16個節(jié)點,每個節(jié)點最高88VCPU,serverless分布式存儲空間根據(jù)數(shù)據(jù)量自動伸縮。polarDB分布式版本可支持PB級存儲擴展。?高性價比:polarDB相比傳統(tǒng)MYSQPostgresQ獲得百倍以上執(zhí)行性能加速效果同時多個計算節(jié)點共享存儲,新增只讀節(jié)點時只需支付計算節(jié)點費用,大大降低擴容成本。存儲空間無需手動配置,根據(jù)數(shù)據(jù)量自動伸縮,只需為實際使用的容量付費。?高可用,保障業(yè)務永遠在線:單機故障,可實現(xiàn)主備切換。數(shù)據(jù)丟失,徹底解決異步復制帶來的主備節(jié)點數(shù)據(jù)非強一致問題,幾分鐘內即可擴展只讀副本,備份和恢復數(shù)據(jù)。支持多樣化的部署和容災能力,比如同城三機房、三地五中心等。?兼容性強:polarDB數(shù)據(jù)庫100%兼容MYSQl、postgresQL高度兼容oraclE語法,可根據(jù)業(yè)務需求選擇合適的引擎版本?！緫脠鼍啊?教育i直播:業(yè)務高彈性分鐘級彈性升降配,快速應對業(yè)務峰值教育、直播場景下業(yè)務有明顯的峰值峰谷特征,學生課外時間、雙11等大促活動時的業(yè)務量是日常情況的數(shù)倍,業(yè)務系統(tǒng)需要在大促前后進行升降配。polarDB支持分鐘級彈性升配能力,解決了傳統(tǒng)數(shù)據(jù)庫的升配時間會隨著存儲量的大小、宿主機資源的情況而不斷上升的問題。?金融i保險:高可用和強讀數(shù)據(jù)強一致性保證,滿足金融級可靠性要求金融場景下對業(yè)務要求高可用和強一致性,polarDB采用存儲和計算分離的架構,支持秒級的故障恢復、全局數(shù)據(jù)一致性和數(shù)據(jù)備份容災等功能,充分滿足金融級合規(guī)可靠性要求。?游戲:全球部署高并發(fā)提供高讀寫性能,支持業(yè)務全球化部署游戲場景下需經常進行開服合服操作,業(yè)務峰值時可能需要支撐百萬級玩家同時在線的高并發(fā)壓力,更可能需要確保業(yè)務的增長進行海外部署。polarDB提供低延遲、高穩(wěn)定、高性能的云服務,滿足游戲業(yè)務需求。?交通物流:每秒萬級并發(fā)在線業(yè)務超高并發(fā),輕松解決如在城市公交場景下,涉及大量的車輛和車型、多樣的計費方式,不僅要求數(shù)據(jù)庫系統(tǒng)具有海量存儲的能力,還需滿足復雜查詢計算的能力?；趐olarDB分布式版存儲海量數(shù)據(jù),通過AnalyticDB進行數(shù)據(jù)分析,可構建智能化的城市公交系統(tǒng),滿足路線規(guī)劃、站點查詢、公交預報、業(yè)務報表結算、公交調度等需求,提升運營效率和服務水平。?電商零售:大促秒殺平穩(wěn)應對單表數(shù)據(jù)量過大、業(yè)務潮汐電商行業(yè)中如大型促銷秒殺場景對系統(tǒng)整體訪問壓力巨大。polarDB分布式版歷經各屆天貓雙十—及阿里云各行業(yè)客戶業(yè)務的考驗,能有效解決熱點數(shù)據(jù)的高并發(fā)更新性能瓶頸,助力業(yè)務穩(wěn)定運行。?通用:大容量數(shù)據(jù)存儲海量存儲,支持上百TB級別數(shù)據(jù)業(yè)務的發(fā)展伴隨著歷史數(shù)據(jù)的飛速增長,單庫能達到TB級別。在這種情況下,傳統(tǒng)數(shù)據(jù)庫的存儲和性能都碰到了瓶頸。polarDB采用存儲和分離架構,單實例最高100TB存儲,節(jié)點支持縱向擴展(升/降配節(jié)點)和橫向擴展(增/減只讀節(jié)點),快速應對業(yè)務增長。?通用:HTAP分析加速海量數(shù)據(jù),快速查詢polarDB采用計算和存儲分離架構,支持數(shù)據(jù)庫服務器的CPU、內存能夠快速擴容,最快可增加15個只讀節(jié)點,支持并行查詢、讀寫分離等功能,使查詢耗時指數(shù)級下降,解決計算量較大的查詢、多表連接查詢、日常報表查詢等輕分析類業(yè)務需求。2.2.2polarDB常見數(shù)據(jù)遷移/同步方案詳見《polarDB產品文檔-操作指南》:https:/izhipolardb/userguidepolarDB提供了多種數(shù)據(jù)遷移與同步方案,可滿足不同上云、遷云以及業(yè)務同步等需求,支持在不影響業(yè)務的情況下平滑實現(xiàn)引擎間的數(shù)據(jù)遷移與同步,以polarDBMYSQL版本為例:①使用阿里云數(shù)據(jù)傳輸服務(DTS)DTS(DataTransmissionservice)是阿里云提供的數(shù)據(jù)傳輸服務,適用于polarDB的遷移與同步場景,支持RDBMS、NOSQl、OLAP等數(shù)據(jù)源間的數(shù)據(jù)交互。polarDB的數(shù)據(jù)遷移?使用場景:?從RDS遷移至polarDB?polarDB間的數(shù)據(jù)遷移?從其他數(shù)據(jù)庫遷移至polarDB?從polarDB遷移至其他數(shù)據(jù)庫polarDB的實時同步?使用場景:?polarDB間的數(shù)據(jù)同步?polarDB與其它數(shù)據(jù)庫的數(shù)據(jù)同步支持的數(shù)據(jù)庫當源為polarDBMYSQL版時,DTS對源庫與目標庫的支持情況如下:?源庫:polarDBMYSQL版所有版本?目標庫:包含polarDBMYSQL自建MYSQl、RDSMYSQl、云原生數(shù)據(jù)倉庫AnalyticDBMYSQl版、云原生數(shù)據(jù)倉庫AnalyticDBpostgresQL版、clickHouse等在內的10+數(shù)據(jù)目標②使用實時數(shù)據(jù)同步工具TapDataTapData是一個以低延遲數(shù)據(jù)移動為核心優(yōu)勢構建的現(xiàn)代數(shù)據(jù)平臺,可用于實現(xiàn)核心數(shù)據(jù)系統(tǒng)之間的實時同步、實時交換及實時處理。polarDB的數(shù)據(jù)遷移?使用場景:?從其他數(shù)據(jù)庫遷移至polarDB?polarDB間的數(shù)據(jù)遷移?從polarDB遷移至其他數(shù)據(jù)庫polarDB的實時同步?使用場景:?polarDB間的數(shù)據(jù)同步?polarDB與其它數(shù)據(jù)庫的數(shù)據(jù)同步支持的數(shù)據(jù)庫當源為polarDBMYSQL版時,TapData對源庫與目標庫的支持情況如下:?目標庫:包含polarDBMYSQl、MYSQl、RDSMYSQl、cickHouse、Elasticsearch.kafka等在內的60+數(shù)據(jù)目標2.2.3高效數(shù)據(jù)遷移/同步分步教程此處教程選用TapData本地部署版本為工具,以polarDBMYSQL→RDSMYSQL為模擬場景進行操作演示。更多詳情,參見《TapData幫助文檔-連接數(shù)據(jù)源-云數(shù)據(jù)庫polarDBMYSQL》:https:i//prerequisites/cloud-databases/polardb-mysal完成TapDataAgent部署后,即可跟隨以下教程在TapData中添加polarDBMYSQL數(shù)據(jù)連接(支持版本:polarDBMYSQL5.6、5.7、8.0),后續(xù)可將其作為源或目標庫來構建數(shù)據(jù)管道。這里我們將以polarDBMYSQL為數(shù)據(jù)源,RDSMYSQL為數(shù)據(jù)目標進行模擬演示。①前提條件(作為源)開啟Binlog?必須開啟MYSQL的binlog,Tapdata才能正常完成同步工作。?級連刪除(CASCADEDELETE),這類由數(shù)據(jù)庫產生的刪除不會記錄在biniog內,所以不被支持。修改$MYSQLHOME/f,例如:配置解釋:?serverid:對于MYSQL中的每個服務器和復制客戶端必須是唯一的?binlogformat:必須設置為row或者ROW?binlogrowimage:必須設置為full?expirelogsdays:進制a志文件保留的天數(shù),到期會自動刪除?logbin:binlog序列文件的基本名稱重啟MYSQl驗證binlog已啟用,請在mysqlshell執(zhí)行以下命令輸出的結果中,formatvalue應該是"ROW"驗證binlogrowimage參數(shù)的值是否為full:輸出結果中,binlogrowimagevalue應該是"FULL"創(chuàng)建MYSQL賬號MYSQL以后,對密碼加密的方式不同,請注意使用對應版本的方式,設置密碼,否則會導致無法進行增量同步使用以下命令,確認supplementallogging是否開啟給TapData賬號授權對于某個數(shù)據(jù)庫賦予select權限對于全局的權限約束說明當從MYSQL同步到其他異構數(shù)據(jù)庫時,如果源MYSQL存在表級聯(lián)設置,因該級聯(lián)觸發(fā)產生的數(shù)據(jù)更新和刪除不會傳遞到目標。如需要在目標端構建級聯(lián)處理能力,可以視目標情況,通過觸發(fā)器等手段來實現(xiàn)該類型的數(shù)據(jù)同步。②創(chuàng)建polarDBMYSQL的連接1.進入TapData控制臺,在左側導航欄,單擊連接管理。2.單擊頁面右側的創(chuàng)建,在彈框中,搜索并選擇polarDBo3.在跳轉到的頁面,根據(jù)下述說明填寫polarDB連接信息:4.單擊連接測試,測試通過后單擊保存:*提示:如提示連接測試失敗,請根據(jù)頁面提示進行修復。③創(chuàng)建RDSMYSQL的連接1.參照polarDB連接創(chuàng)建流程,完成RDSMYSQL連接配置信息填寫,添加數(shù)據(jù)目標:2.測試RDSMYSQL的連接:④創(chuàng)建數(shù)據(jù)復制/開發(fā)任務1.左側導航欄點擊數(shù)據(jù)復制,并點擊右側創(chuàng)建:2.進入DAG頁面,構建數(shù)據(jù)復制任務,通過拖拉拽的方式添加源與目標節(jié)點,并連接源與目標3.單擊源與目標節(jié)點,即可按需對二者進行設置:4.保存任務S任務啟動與監(jiān)控1.啟動任務,任務全量同步正常運行:2.增量同步開啟以上,便是借助TapData快速實現(xiàn)polarDBMYSQL到RDSMYSQL的全、增量同步的模擬教程。2.3TiDB以下是TiDB的墨天輪流行度排行變化趨勢:2.3.1關于TiDBTiDB是pingcAP公司自主設計、研發(fā)的開源分布式關系型數(shù)據(jù)庫,是一款同時支持在線事務處理與在線分析處理(HybridTransactionalandAnalyticalprocessing,HTAP)的融合型分布式數(shù)據(jù)庫產品,具備水平擴容或者縮容、金融級高可用、實時HTAP、云原生的分布式數(shù)據(jù)庫、兼容MYSQL5.7協(xié)議和MYSQL生態(tài)等重要特性。目標是為用戶提供一站式OLTP(onlineTransactionalprocessing)OLAP(oonlineAnalyticalprocessing)HTAP解決方案。TiDB適合高可用、強一致要求較高、數(shù)據(jù)規(guī)模較大等各種應用場景。TiDB核心特性:?鍵水平擴容或者縮容:得益于TiDB存儲計算分離的架構的設計,可按需對計算、存儲分別進行在線擴容或者縮容,擴容或者縮容過程中對應用運維人員透明。?金融級高可用:數(shù)據(jù)采用多副本存儲,數(shù)據(jù)副本通過Muiti-Raft協(xié)議同步事務日志,多數(shù)派寫入成功事務才能提交,確保數(shù)據(jù)強一致性且少數(shù)副本發(fā)生故障時不影響數(shù)據(jù)的可用性?？砂葱枧渲酶北镜乩砦恢谩⒏北緮?shù)量等策略滿足不同容災級別的要求。?實時HTAP:提供行存儲引擎Tikv、列存儲引擎TiFlash兩款存儲引擎,TiFlash通過Multi-RaftLearner協(xié)議實時從Tikv復制數(shù)據(jù),確保行存儲引擎Tikv和列存儲引擎TiFlash之間的數(shù)據(jù)強一致。Tikv、TiFlash可按需部署在不同的機器,解決HTAP資源隔離的問題。?云原生的分布式數(shù)據(jù)庫:為云設計的分布式數(shù)據(jù)庫,通過TiDBOperator可在公有云、私有云、混合云中實現(xiàn)部署工具化、自動化,依托公有云提供開箱即用的TiDBcloud服務(DBaas)。?兼容MYSQl5.7協(xié)議和MYSQL生態(tài):兼容MYSQl5.7協(xié)議、MYSQL常用的功能、MYSQL生態(tài),應用無需或者修改少量代碼即可從MYSQL遷移到TiDB。提供豐富的數(shù)據(jù)遷移工具幫助應用便捷完成數(shù)據(jù)遷移。【產品優(yōu)勢】與傳統(tǒng)的單機數(shù)據(jù)庫相比,TiDB具有以下優(yōu)勢:?純分布式架構,擁有良好的擴展性,支持彈性的擴縮容;?支持SQl,對外暴露MYSQL的網絡協(xié)議,并兼容大多數(shù)MYSQL的語法,在大多數(shù)場景下可以直接替換MYSQL;?默認支持高可用,在少數(shù)副本失效的情況下,數(shù)據(jù)庫本身能夠自動進行數(shù)據(jù)修復和故障轉移,對業(yè)務透明;?支持AciD事務,對于些有強一致需求的場景友好,例如:銀行轉賬;?具有豐富的工具鏈生態(tài),覆蓋數(shù)據(jù)遷移、同步、備份等多種場景。【應用場景】?對數(shù)據(jù)一致性及高可靠系統(tǒng)高可用、可擴展性、容災要求較高的金融行業(yè)屬性的場景金融行業(yè)對數(shù)據(jù)一致性及高可靠、系統(tǒng)高可用、可擴展性、容災要求較高。傳統(tǒng)的解決方案是同城兩個機房提供服務、異地一個機房提供數(shù)據(jù)容災能力但不提供服務,此解決方案存在以下缺點:資源利用率低、維護成本高、RTO(RecoveryTimeobjective)及RPO(Recoverypointobjective)無法真實達到企業(yè)所期望的值。TiDB采用多副本+Multi-Raft協(xié)議的方式將數(shù)據(jù)調度到不同的機房、機架、機器,當部分機器出現(xiàn)故障時系統(tǒng)可自動進行切換,確保系統(tǒng)的RTO<=30S及RPO=0O?對存儲容量可擴展性、并發(fā)要求較高的海量數(shù)據(jù)及高并發(fā)的olTP場景隨著業(yè)務的高速發(fā)展,數(shù)據(jù)呈現(xiàn)爆炸性的增長,傳統(tǒng)的單機數(shù)據(jù)庫無法滿足因數(shù)據(jù)爆炸性的增長對數(shù)據(jù)庫的容量要求,可行方案是采用分庫分表的中間件產品或者NewsQL數(shù)據(jù)庫替代、采用高端的存儲設備等,其中性價比最大的是NewsQL數(shù)據(jù)庫,例如:TiDB.TiDB采用計算、存儲分離的架構,可對計算、存儲分別進行擴容和縮容,計算最大支持512節(jié)點,每個節(jié)點最大支持1000并發(fā),集群容量最大支持PB級別。?Real-timeHTAP場景隨著5G、物聯(lián)網、人工智能的高速發(fā)展,企業(yè)所生產的數(shù)據(jù)會越來越多,其規(guī)模可能達到數(shù)百TB甚至PB級別,傳統(tǒng)的解決方案是通過OLTP型數(shù)據(jù)庫處理在線聯(lián)機交易業(yè)務,通過ETL工具將數(shù)據(jù)同步到OLAP型數(shù)據(jù)庫進行數(shù)據(jù)分析,這種處理方案存在存儲成本高、實時性差等多方面的問題。TiDB在4.0版本中引入列存儲引擎TiFlash結合行存儲引擎Tikkv構建真正的HTAP數(shù)據(jù)庫,在增加少量存儲成本的情況下,可以同一個系統(tǒng)中做聯(lián)機交易處理、實時數(shù)據(jù)分析,極大地節(jié)省企業(yè)的成本。?數(shù)據(jù)匯聚=次加工處理的場景當前絕大部分企業(yè)的業(yè)務數(shù)據(jù)都分散在不同的系統(tǒng)中,沒有一個統(tǒng)一的匯總,隨著業(yè)務的發(fā)展,企業(yè)的決策層需要了解整個公司的業(yè)務狀況以便及時做出決策,故需要將分散在各個系統(tǒng)的數(shù)據(jù)匯聚在同一個系統(tǒng)并進行二次加工處理生成T+0或T+1的報表。傳統(tǒng)常見的解決方案是采用ETL+Hadoop來完成,但Hadoop體系太復雜,運維、存儲成本太高無法滿足用戶的需求。與Hadoop相比,TiDB就簡單得多,業(yè)務通過ETL工具或者TiDB的同步工具將數(shù)據(jù)同步到TiDB,在TiDB中可通過SQL直接生成報表。2.3.2常見數(shù)據(jù)遷移/同步方案詳見《TiDB技術文檔-數(shù)據(jù)遷移》:/zh/tidb/stable/migration-overviewTiDB在官方文檔中,為大家提供了一些適用的數(shù)據(jù)遷移方案:?全量數(shù)據(jù)遷移?數(shù)據(jù)導入:使用TiDBLightning將Aurorasnapshot,Csv文件或SQldump文件的數(shù)據(jù)全量導入到TiDB集群。?數(shù)據(jù)導出:使用Dumpling將TiDB集群的數(shù)據(jù)全量導出為CSV文件或SQldump文件,從而更好地配合從MYSQL數(shù)據(jù)庫或MariaDB數(shù)據(jù)庫進行數(shù)據(jù)遷移。?TiDBDM(Datamigration)也提供了適合小規(guī)模數(shù)據(jù)量數(shù)據(jù)庫(例如小于1TiB)的全量數(shù)據(jù)遷移功能。?快速初始化TiDB集群:TiDBLightning提供的快速導入功能可以實現(xiàn)快速初始化TiDB集群的指定表的效果。請注意,使用快速初始化TiDB集群的功能對TiDB集群的影響極大,在進行初始化的過程中,TiDB集群不支持對外訪問。極大降低業(yè)務遷移過程中停機窗口時間。?TiDB集群復制:TiDB支持備份恢復功能,該功能可以實現(xiàn)將TiDB的某個快照初始化到另-個全新的TiDB集群。?TiDB集群增量數(shù)據(jù)同步:TicDC支持同構數(shù)據(jù)庫之間的災備場景,能夠在災難發(fā)生時保證主備集群數(shù)據(jù)的最終一致性。目前該場景僅支持TiDB作為主備集群。根據(jù)遷移數(shù)據(jù)所在數(shù)據(jù)庫類型、部署位置、業(yè)務數(shù)據(jù)規(guī)模大小、業(yè)務需求等因素,會有不同數(shù)據(jù)遷移選擇。下面是一些常用的遷移工具匯總:TiDBDataMigration(DM)使用場景用于將數(shù)據(jù)從與MYSQL協(xié)議兼容的數(shù)據(jù)庫遷移到TiDB上游MYSQL,MariaDB,Aurora下游TiDB主要優(yōu)勢一體化的數(shù)據(jù)遷移任務管理工具,支持全量遷移和增量同步支持對表與操作進行過濾支持分庫分表的合并遷移使用限制數(shù)據(jù)導入速度與TiDBLightning的邏輯導入模式大致相同,而比TiDBLightning的物理導入模式低很多。建議用于1TB以內的存量數(shù)據(jù)遷移。TiDBLightning使用場景用于將數(shù)據(jù)全量導入到TiDB上游(輸入源文件)Dumpling輸出的文件從AmazonAurora或ApacheHive導出的parquet文件csv文件從本地盤或AmazonS3云盤讀取數(shù)據(jù)下游TiDB主要優(yōu)勢支持快速導入大量數(shù)據(jù),實現(xiàn)快速初始化TiDB集群的指定表支持斷點續(xù)傳支持數(shù)據(jù)過濾使用限制如果使用物理導入模式進行數(shù)據(jù)導入,TiDBLightning運行后,TiDB集群將無法正常對外提供服務。如果你不希望TiDB集群的對外服務受到影響,可以參考TiDBLightning邏輯導入模式中的硬件需求與部署方式進行數(shù)據(jù)導入。TicDC使用場景通過拉取Tikv變更日志實現(xiàn)的TiDB增量數(shù)據(jù)同步工具,具有將數(shù)據(jù)還原到與上游任意TSO一致狀態(tài)的能力,支持其他系統(tǒng)訂閱數(shù)據(jù)變更上游TiDB下游TiDB,MYSQL,kafka,MQ,confluent,存儲服務(如AmazonS3、GCS、AzureBlobstorage和NFS)主要優(yōu)勢提供開放數(shù)據(jù)協(xié)議(TicDcopenprotocol)。使用限制TicDC只能同步至少存在一個有效索引的表。暫不支持以下場景:單獨使用Rawkv的Tikv集群。在TiDB中創(chuàng)建SEQUENCE的DDL操作和SEQUENCE函數(shù)。TapData使用場景用于將數(shù)據(jù)從各類數(shù)據(jù)源全量/增量導入到TiDB,同時支持從包括TiDB在內的個數(shù)據(jù)源將數(shù)據(jù)全量/增量導出上游TapData支持的60+數(shù)據(jù)源(含TiDB),包含商業(yè)數(shù)據(jù)庫、開源數(shù)據(jù)庫、云數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖、消息隊列、saas平臺、文件等,且支持自定義數(shù)據(jù)源下游TapData支持的60+數(shù)據(jù)目標(含TiDB),包含商業(yè)數(shù)據(jù)庫、開源數(shù)據(jù)庫、云數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖、消息隊列、saas平臺、文件等,且支持自定義數(shù)據(jù)源主要優(yōu)勢為進一步簡化使用流程,TapData的TiDB連接器集成了TicDC,可基于數(shù)據(jù)變更日志解析為有序的行級變更數(shù)據(jù)。支持全量數(shù)據(jù)同步和基于CDC的增量實時數(shù)據(jù)采集,廣泛的數(shù)據(jù)源和數(shù)據(jù)類型支持,低代碼可視化操作使用限制將其設置為24小時。將TiDB作為源以實現(xiàn)增量數(shù)據(jù)同步場景時,將其設置為24小時。?待同步的表需具備主鍵或唯一索引],其中唯一索引所屬列的值不可為NUUL且不能為虛擬列。?由于TiDB組件間通信限制,當采用Tapdatacloud產品時的,部署的Agent需為半托管實例(詳情參見:/faq/agent-installation#semi-and-full-agent)。Dumpling使用場景用于將數(shù)據(jù)從MYSQL/TiDB進行全量導出上游MYSQL,TiDB下游(輸出文件)SQL,CSV主要優(yōu)勢支持全新的table-filter,篩選數(shù)據(jù)更加方便支持導出到AmazonS3云盤使用限制如果導出后計劃往非TiDB的數(shù)據(jù)庫恢復,建議使用Dumpling.如果導出后計劃往另-個TiDB恢復,建議使用BR。Backup&Restore(BR)使用場景通過對大數(shù)據(jù)量的TiDB集群進行數(shù)據(jù)備份和恢復,實現(xiàn)數(shù)據(jù)遷移上游TiDB下游(輸出文件)SST,backup.meta文件,backup.lock文件主要優(yōu)勢適用于向另一個TiDB遷移數(shù)據(jù)。支持數(shù)據(jù)冷備份到外部存儲,可以用于災備恢復。使用限制BR恢復到TicDC/Drainer的上游集群時,恢復數(shù)據(jù)無法由TicDC/Drainer同步到下游。BR只支持在mysql.tidb表中newcollationenabled開關值相同的集群之間進行操作。sync-diff-inspector使用場景用于校驗MYSQL/TiDB中兩份數(shù)據(jù)的一致性上游TiDB,MYSQL下游TiDB,MYSQL主要優(yōu)勢提供了修復數(shù)據(jù)的功能,適用于修復少量不一致的數(shù)據(jù)。使用限制對于MYSQL和TiDB之間的數(shù)據(jù)同步不支持在線校驗。不支持JSON、BIT、BINARY、BLOB等類型的數(shù)據(jù)。以上是使用這些工具的場景、支持的上下游、優(yōu)勢和相關限制等信息,可根據(jù)實際需求選擇合適的工具。2.3.3高效數(shù)據(jù)遷移/同步分步教程此處教程選用TapData本地部署版本為工具,以MYSQL→TiDB為模擬場景進行操作演示。更多詳情,參見《TapData幫助文檔-連接數(shù)據(jù)源-自建數(shù)據(jù)庫TiDB》:/prerequisites/on-prem-databases/tidb完成TapDataAgent部署后,即可跟隨以下教程在TapData中添加TiDB數(shù)據(jù)源(支持版本:TiDB6.0.0及以上),后續(xù)可將其作為源或目標庫來構建數(shù)據(jù)管道。這里我們將以MYSQL為數(shù)據(jù)源,TiDB為數(shù)據(jù)目標進行模擬演示。*注意:為保障數(shù)據(jù)的正常同步,TiDB集群與TapData引擎(Agent)之間需處于同內網且能正常通信。①準備工作1.登錄TiDB數(shù)據(jù)庫,執(zhí)行下述格式的命令,創(chuàng)建用于數(shù)據(jù)同步/開發(fā)任務的賬號。?username:用戶名。?host:允許該賬號登錄的主機,百分號(%)表示允許任意主機。?password:密碼。示例:創(chuàng)建一個名為tapdata的賬號,允許從任意主機登錄。2.為剛創(chuàng)建的賬號授予權限。3?databasename:數(shù)據(jù)庫名稱。?username:用戶名。②創(chuàng)建TiDB的連接1.進入TapData控制臺,在左側導航欄,單擊連接管理。2.單擊頁面右側的創(chuàng)建,在彈框中,搜索并選擇TiDB。3.在跳轉到的頁面,根據(jù)下述說明填寫TiDB連接信息:?連接名稱:填寫具有業(yè)務意義的獨有名稱。?連接類型:支持將TiDB數(shù)據(jù)庫作為源或目標。?PDServer地址:填寫PDserver的連接地址和端口,默認端口號為2379,本參數(shù)僅在作為源庫時需填寫。?數(shù)據(jù)庫地址:數(shù)據(jù)庫連接地址。?端口:數(shù)據(jù)庫的服務端口,默認為4000。?數(shù)據(jù)庫名稱:數(shù)據(jù)庫名稱,即一個連接對應一個數(shù)據(jù)庫,如有多個數(shù)據(jù)庫則需創(chuàng)建多個數(shù)據(jù)連接。?賬號、密碼:數(shù)據(jù)庫的賬號和密碼,賬號的創(chuàng)建和授權方法,見準備工作。?高級設置?其他連接串參數(shù):額外的連接參數(shù),默認為空。?時間類型的時區(qū):默認為數(shù)據(jù)庫所用的時區(qū),您也可以根據(jù)業(yè)務需求手動指定。?共享挖掘:挖掘源庫的增量日志,可為多個任務共享源庫的增量日志,避免重復讀取,從而最大程度上減輕增量同步對源庫的壓力,開啟該功能后還需要選擇一個外存用來存儲增量日志信息,本參數(shù)僅在作為源庫時需填寫。?包含表:默認為全部,您也可以選擇自定義并填寫包含的表,多個表之間用英文逗號(,)分隔。?排除表:打開該開關后,可以設定要排除的表,多個表之間用英文逗號(,)分隔。?agent設置:默認為平臺自動分配,您也可以手動指定。。模型加載時間:當數(shù)據(jù)源中模型數(shù)量小于10,000時,每小時刷新次模型信息;如果模型數(shù)據(jù)超過10,000,則每天按照您指定的時間刷新模型信息。。開啟心跳表:當連接類型選擇為源頭和目標、源頭時,支持打開該開關,由Tapdata在源庫中創(chuàng)建一個名為tapdataheartbeattable的心跳表并每隔10秒更新一次其中的數(shù)據(jù)(數(shù)據(jù)庫賬號需具備相關權限),用于數(shù)據(jù)源連接與任務的健康度監(jiān)測。?SSL設置:選擇是否開啟SSL連接數(shù)據(jù)源,可進步提升數(shù)據(jù)安全性,開啟該功能后還需要上傳CA文件、客戶端證書、密鑰填寫客戶端密碼。更多介紹,見生成自簽名證書。*提示:數(shù)據(jù)源需在數(shù)據(jù)復制/開發(fā)任務引用并啟動后,心跳任務任務才會啟動,此時您可以再次進入該數(shù)據(jù)源的編輯頁面,即可單擊查看心跳任務。4.單擊連接測試,測試通過后單擊保存:*提示:如提示連接測試失敗,請根據(jù)頁面提示進行修復。③創(chuàng)建MYSQL的連接1.參照TiDB連接創(chuàng)建流程,完成MYSQL連接配置信息填寫,添加數(shù)據(jù)源MYSQL:2.測試MYSQL連接:④創(chuàng)建數(shù)據(jù)復制/開發(fā)任務1.左側導航欄點擊數(shù)據(jù)復制,并點擊右側創(chuàng)建:2.進入DAG頁面,構建數(shù)據(jù)復制任務,通過拖拉拽的方式添加源與目標節(jié)點,并連接源與目標:3.單擊源與目標節(jié)點,即可按需對二者進行設置:4.保存任務:任務啟動與監(jiān)控1.啟動任務,任務全量同步正常運行:2.增量事件正常同步:以上,便是借助TapData快速實現(xiàn)MYSQL到TiDB的全、增量同步的模擬教程。2.4達夢數(shù)據(jù)庫(Dameng)以下是Dameng的墨天輪流行度排行變化趨勢:2.4.1關于Dameng達夢數(shù)據(jù)庫管理系統(tǒng)(DM)是新一代大型通用關系型數(shù)據(jù)庫,全面支持SQL標準和主流編程語言接口/開發(fā)框架。行列融合存儲技術,在兼顧OLAP和OLTP的同時,滿足HTAP混合應用場景。憑借其豐富的產品架構、優(yōu)異的性能表現(xiàn)、絕對的安全保證適應各種應用場景需求得到了眾多客戶的信任,不僅在國產數(shù)據(jù)庫市場中成功占有一席之地,成為國產化替代的常見選項,也逐漸成為國際競爭中的一股重要力量。值得一提的是,DM8是達夢公司在總結DM系列產品研發(fā)與應用經驗的基礎上,堅持開放創(chuàng)新、簡潔實用的理念,推出的新一代自研數(shù)據(jù)庫。DM8吸收借鑒當前先進新技術思想與主流數(shù)據(jù)庫產品的優(yōu)點,融合了分布式、彈性計算與云計算的優(yōu)勢,對靈活性、易用性、可靠性、高安全性等方面進行了大規(guī)模改進,多樣化架構充分滿足不同場景需求,支持超大規(guī)模并發(fā)事務處理和事務-分析混合型業(yè)務處理,動態(tài)分配計算資源,實現(xiàn)更精細化的資源利用、更低成本的投入。—個數(shù)據(jù)庫,滿足用戶多種需求,讓用戶能更加專注于業(yè)務發(fā)展。核心特性】?多維融合,滿足多樣需求?達夢讀寫分離架構數(shù)據(jù)庫讀寫分離■支持自動故障切換?支持事務級讀寫負載分離?支持讀寫分配比例可調整?讀多寫少業(yè)務場景下的性能近線性提升?達夢混合事務分析處理技術行列融合2.0?具備事務-分析混合型業(yè)務處理的能力,滿足用戶對HTAP應用場景的需求?具備變更緩存、高級日志兩個關鍵特性,彌合行存儲與列存儲的鴻溝?多項細節(jié)優(yōu)化,增強易用性?為用戶帶來359項產品細節(jié)打磨,優(yōu)化細節(jié)增強易用性省心便捷的運維管理?全新的集中式運維管理工具-DEM?管理工具集成新的SQL助手2.0?運行環(huán)境提示與誤刪保護持續(xù)增強安全性?高安全等級的數(shù)據(jù)庫管理系統(tǒng),達到國家安全四級、EAL4+級滿足GB/T20273、GB/T18336?增強改進多項安全性技術生態(tài)再升級?支持更廣泛的技術選型?支持多種云計算基礎設施環(huán)境、支持多種軟硬件平臺?廣泛的SQL語法兼容性?專用DBAPI特性兼容?便捷的數(shù)據(jù)遷移?達夢柔性遷移解決方案【應用場景】?高性能交易處理需求場景事務處理應用的主要特點是高并發(fā)的短事務請求,通常響應時間為秒級以內,數(shù)據(jù)量相對較低,一般為TB級別,可靠性要求一般視業(yè)務重要性和業(yè)務特點而定,通常要求可靠率達99.99%。?高可用需求場景數(shù)據(jù)庫系統(tǒng)往往處在信息系統(tǒng)的核心位置,是系統(tǒng)正常運行的必要基礎。因此,用戶對數(shù)據(jù)庫系統(tǒng)的安全性和可用性提出了很高的要求。傳統(tǒng)的備份恢復技術,基于存儲的遠程鏡像等方法可以滿足用戶對數(shù)據(jù)安全性的要求,但無法滿足高可用性的要求,從出現(xiàn)故障,到解決故障、重新提供數(shù)據(jù)庫服務的時間往往較長。用戶迫切地希望有一種新的解決方案,可以同時滿足數(shù)據(jù)安全性和高可用性的要求。大規(guī)模數(shù)據(jù)分析以復雜統(tǒng)計查詢請求為主,并發(fā)相對較少,請求響應時間相對較長,通常為分鐘級,部分場景甚至可達小時級,但該應用場景數(shù)據(jù)量非常大,達到TB級~PB級,在可靠性方面業(yè)務連續(xù)性要求相對較低,但數(shù)據(jù)必須確保副本/備份。高強度混合負載場景的特點是既有相對較高的并發(fā)事務請求,同時也有較復雜的報表、分析統(tǒng)計業(yè)務,傳統(tǒng)的數(shù)據(jù)庫架構下,兩類不同業(yè)務往往會產生嚴重的資源爭用,對用戶業(yè)務系統(tǒng)的整體性能產生顯著的影響。本類場景多以大集中架構的辦公、管理、財務等系統(tǒng)為代表。以oracle、DB2數(shù)據(jù)庫為代表的數(shù)據(jù)庫軟件產品,已經長期、廣泛應用于國內各行業(yè)的核心業(yè)務系統(tǒng)中。當面臨升級替換時,需要解決新老數(shù)據(jù)庫切換過程中數(shù)據(jù)遷移、應用兼容、新系統(tǒng)穩(wěn)定性等各種問題,降低用戶進行數(shù)據(jù)庫管理系統(tǒng)架構遷移的風險。達夢柔性替換解決方案,可使在替換過程中達夢數(shù)據(jù)庫應用上線過程風險總體可控、系統(tǒng)運行平滑。提供統(tǒng)一的數(shù)據(jù)庫發(fā)放、運維、監(jiān)控、管理平臺,實現(xiàn)數(shù)據(jù)庫云服務的"按需申請、開箱即用、秒級發(fā)放",滿足內部中小型業(yè)務系統(tǒng)數(shù)據(jù)庫的統(tǒng)一云化管理和智能運維。2.4.2常見數(shù)據(jù)遷移/同步方案詳見《達夢技術文檔-DM數(shù)據(jù)移植》:https:iieco.dameng·comidocument/dmizh-cn/starti①需求確認移植會涉及諸多場景,如容災備份、應用改造/替代、數(shù)據(jù)庫版本升級/回退、數(shù)據(jù)庫替代、業(yè)務分流等,不同的場景在數(shù)據(jù)流向、停機窗口、同步需求、數(shù)據(jù)處理等方面會有不同的需求,需要針對性地選擇遷移工具和方案。②數(shù)據(jù)庫調研考慮遷移工具版本、驅動版本、基礎環(huán)境、操作方式、對象個數(shù)、對象大小、數(shù)據(jù)量等均會影響遷移工作的開展,需要對源端和目的端數(shù)據(jù)庫及服務器、業(yè)務系統(tǒng)進行調研,確保在滿足相關需求的前提下穩(wěn)定完成遷移。確認遷移需求后,源端數(shù)據(jù)庫需提前調研如下信息:1.環(huán)境信息。提前了解操作系統(tǒng)層面,確定工具能否使用可視化界面,或者端口號開放情況,可以方便在后期部署安裝過程中,及時避開處理問題時的一些干擾項。主要包括對服務器、內存、CPU、網絡、端口、安全策略、是否具備可視化界面等信息的調研。2.業(yè)務系統(tǒng)信息。提前了解應用系統(tǒng)層面信息,結合應用系統(tǒng)特性,為后面制定遷移策略、遷移時間評估等提供參考。主要包括對業(yè)務類型、業(yè)務運行時段、停機窗口、數(shù)據(jù)量、數(shù)據(jù)增量、并發(fā)訪問量等信息的調研。3.數(shù)據(jù)庫信息。提前了解遷移數(shù)據(jù)量、字符編碼、歸檔保留、數(shù)據(jù)庫對象、表空間等信息,為后續(xù)遷移做好規(guī)劃和相關準備工作。③遷移評估1.了解數(shù)據(jù)源特征數(shù)據(jù)源分析是數(shù)據(jù)遷移的基礎,幫助您評估數(shù)據(jù)同步所需的資源,制定精細化的任務配置策略,包括:類別說明確認源庫類型例如需進行異構數(shù)據(jù)同步,需在遷移前進行源端數(shù)據(jù)庫兼容性評估,確保數(shù)據(jù)類型兼容性。待同步表的數(shù)量基于該數(shù)據(jù)估算同步任務的規(guī)模和復雜度,如果表數(shù)量眾多,需要分批創(chuàng)建數(shù)據(jù)同步任務或優(yōu)先同步關鍵數(shù)據(jù)。數(shù)據(jù)變化量估算日常數(shù)據(jù)變化量,以便于調整同步頻率和性能參數(shù),確保實時或近實時的數(shù)據(jù)更新。主鍵/唯一索引主鍵或唯一索引對同步性能和數(shù)據(jù)一致性保障起到至關重要的作用,如果缺失可在后續(xù)任務配置時對該表進行特殊配置。2.測試環(huán)境驗證通過在測試環(huán)境中進行細致的上線前測試,可以大大降低生產環(huán)境中遇到問題的風險,確保數(shù)據(jù)同步過程的平穩(wěn)和高效,通常流程包括:?模擬真實環(huán)境:在測試環(huán)境中盡可能地模擬生產環(huán)境,包括數(shù)據(jù)量數(shù)據(jù)類型和業(yè)務操作。?驗證數(shù)據(jù)同步邏輯:確保所有同步邏輯按預期工作,包括數(shù)據(jù)轉換、過濾和錯誤處理。?性能測試:檢驗數(shù)據(jù)同步對系統(tǒng)性能的影響,包括同步速度和系統(tǒng)資源消耗。?異常和錯誤處理:測試數(shù)據(jù)同步在面對網絡中斷、數(shù)據(jù)格式錯誤等異常情況時的表現(xiàn)。?恢復和回滾計劃:確保有應對失敗情況的恢復和回滾計劃。④移植工具選擇達夢在官方文檔中提供了三種移植工具,分別是:數(shù)據(jù)遷移工具DTS、數(shù)據(jù)復制軟件DMDRS和數(shù)據(jù)集成軟件DMDls,以滿足不同移植場景的使用需求。除此之外,實時數(shù)據(jù)同步工具TapData,也是非常常見的工具選擇。他們各自的功能屬性如下:1.數(shù)據(jù)遷移工具DTSDTS是一款免費的數(shù)據(jù)遷移工具,在數(shù)據(jù)庫安裝時自帶有圖形化的版本,同時也可以部署DEM(達夢企業(yè)管理器),以WEB客戶端方式提供。此工具主要適用于靜態(tài)數(shù)據(jù)遷移場景。DTS基于成熟的關系數(shù)據(jù)模型和標準接口,跨越多種主流大型數(shù)據(jù)庫,能以極少的系統(tǒng)開銷實現(xiàn)數(shù)據(jù)遷移工作。DMDTS的技術原理圖如下圖所示