全鏈路數(shù)據(jù)治理-全域數(shù)據(jù)集成篇

阿里云開發(fā)者“藏經(jīng)閣”單表>>單表等場(chǎng)景下，進(jìn)行實(shí)時(shí)或離線同步的技術(shù)選型與核心能力，并以DataWorks官網(wǎng)：/product/bigdata/ide 6 6 6 8 多庫多表至多表僅同步整庫的變化日數(shù)據(jù)集成主站-同步解決方案指定過濾規(guī)則持續(xù)增量一次性全量周周期性全量同步一次性全量同步按照指定過濾規(guī)則抽周期性增量同步一次性增量同步分庫分表至目源端庫本身是分庫分按照邏輯表的規(guī)則寫實(shí)時(shí)增全量同步將一個(gè)表中的所有數(shù)周期性全量同步按照指定過濾規(guī)則抽取一個(gè)表中的部分?jǐn)?shù)周期性增量同步中的數(shù)據(jù)開發(fā)模塊，數(shù)據(jù)集成主站是指l實(shí)時(shí)增全量同步：對(duì)于目標(biāo)端引擎不支持update的引擎（比如1)支持?jǐn)?shù)據(jù)源開發(fā)和生產(chǎn)隔離2)獨(dú)享數(shù)據(jù)集成資源組3)DataWorks運(yùn)維中心-任務(wù)運(yùn)行狀態(tài)監(jiān)控4)DataWorks數(shù)據(jù)質(zhì)量-表數(shù)據(jù)質(zhì)量監(jiān)控5)DataWorks審批中心-數(shù)據(jù)集成審批策略1)監(jiān)控報(bào)警配置 模塊/AnalyticDBfor-√-√-√ApsaraDBforOceanBase--√-√-√√-√-√（polardb-x）--√-√-Elasticsearch-√---√-√-√-√Kafka√√-√-√√------√-√-√--√-√-√-√-√√--√-√√√-√-√√----√-單表/分庫分表數(shù)據(jù)同步全量/增量數(shù)離線同步通過配置類似數(shù)據(jù)過濾功能來決定同步全量數(shù)據(jù)還是增 模塊/√---√√√-√√√-√√√-ApsaraDBforOceanBase√√--√√--√√--√√√-√√√-√√√-Elasticsearch√√-√√√--GBase8a√√--√√--√√--HBase11xsql-√HBase20xsql√-√√--√√√-√√--√√√-Kafka√√--√√--√√--√√--√√-√-√---√--√---√√--√√√--√--√---√√√-√√-√√---√√√-√√√-√----√--√√--√√--需要根據(jù)神策數(shù)據(jù)存儲(chǔ)類型選擇√--√√√-√√--√√--Vertica√√--1)使用限制直接連通，方案詳情和配置指導(dǎo)請(qǐng)參見下不同阿里云主賬號(hào)場(chǎng)景一：通過公網(wǎng)訪問數(shù)據(jù)庫場(chǎng)景二：通過VPC（內(nèi)網(wǎng)）訪問數(shù)據(jù)庫，且數(shù)據(jù)庫與DataWorks工作空間，同阿里云主賬號(hào)、同地域場(chǎng)景三：通過VPC（內(nèi)網(wǎng)）訪問數(shù)據(jù)庫，且數(shù)據(jù)庫與DataWorks工作空間，同阿里云主賬號(hào)、不同地域場(chǎng)景四：通過VPC（內(nèi)網(wǎng)）同步數(shù)據(jù)庫數(shù)據(jù)，且數(shù)據(jù)庫與DataWorks工作空間使用不同阿里云主賬號(hào)場(chǎng)景五：數(shù)據(jù)庫不在阿里云，在IDC或其他廠商1)網(wǎng)絡(luò)連通解決方案如下：l任務(wù)運(yùn)行在獨(dú)享數(shù)據(jù)集成資源上，日志中會(huì)出現(xiàn)如下信息：runningin1)網(wǎng)絡(luò)連通配置1)創(chuàng)建同步任務(wù)分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐分庫表至Hologres最佳實(shí)踐1)業(yè)務(wù)訴求MySQL分庫分表的場(chǎng)景下，上游的表和庫非常多，都需要同時(shí)寫入一張 同步解決方案暫不支持跨時(shí)區(qū)