十年數(shù)據(jù)庫(kù)技術(shù)生態(tài)變革創(chuàng)新分析

1、金聲玉振十年數(shù)據(jù)庫(kù)技術(shù)和生態(tài)變革創(chuàng)新分析197719831984198819891999199519962005200920092010201020122014201520172019數(shù)據(jù)庫(kù)發(fā)展的三個(gè)時(shí)代，成就了三種商業(yè)形態(tài)商業(yè)數(shù)據(jù)庫(kù)時(shí)代：成就了商業(yè)軟件時(shí)代；開(kāi)源數(shù)據(jù)庫(kù)時(shí)代：成就了互聯(lián)網(wǎng)時(shí)代；云（新）數(shù)據(jù)庫(kù)時(shí)代：是 商業(yè) 和 開(kāi)源、SQL和NewSQL交融的時(shí)代，成就了云和數(shù)字化時(shí)代；行業(yè)趨勢(shì)：走進(jìn)云數(shù)據(jù)庫(kù)時(shí)代金聲玉振：分布式數(shù)據(jù)庫(kù)落地開(kāi)花北京銀行使用 TiDB 承擔(dān)包括核心網(wǎng)聯(lián)支付/銀聯(lián)無(wú)卡支 付業(yè)務(wù)，支付 對(duì)賬，核心批量作業(yè) 等一批核心交易應(yīng)用中國(guó)郵政，通過(guò)云原生分布式數(shù)據(jù)庫(kù)PolarDB

2、-X， 高效支撐了 “雙十一”訂單業(yè)務(wù)峰值超過(guò)1億件不停機(jī)實(shí)施互聯(lián)網(wǎng)金融業(yè)務(wù)平臺(tái)、互聯(lián)網(wǎng)交易資金存 管平臺(tái)數(shù)據(jù)庫(kù)向OceanBase分布式數(shù)據(jù)庫(kù)遷移。2020-08-18 昆山農(nóng)商銀行啟動(dòng)新一代核心系統(tǒng)建 設(shè)，采用騰訊云分布式數(shù)據(jù)庫(kù)TDSQL工行基于華為云 FusionInsight 金融數(shù)據(jù)湖中， GaussDB（DWS）等產(chǎn)品承載了關(guān)鍵的金融數(shù)據(jù)業(yè)務(wù)中信總行核心，按照3億用戶(hù)、15億賬戶(hù)、日均3億筆交易十輪 演練，GoldenDB于2020年5月3日14點(diǎn)正式對(duì)外營(yíng)業(yè)企業(yè)的原生演進(jìn)：海量數(shù)據(jù)累積 性能衰減業(yè)務(wù)爆發(fā)式增長(zhǎng)互聯(lián)網(wǎng)式洪峰流量極致的高可用讀寫(xiě)分離拆分?jǐn)?shù)據(jù)表、數(shù)據(jù)庫(kù)混合架構(gòu)數(shù)據(jù)庫(kù)軟件

3、的進(jìn)化：內(nèi)存分區(qū)，分塊進(jìn)程拆分，主從數(shù)據(jù)表分區(qū)ADG 讀寫(xiě)分離RAC集群數(shù)據(jù)庫(kù)Sharding分布式數(shù)據(jù)庫(kù)Scale-Out 和 Scale-Up 的演進(jìn)核心都是并行和分布式！需求驅(qū)動(dòng)：原生演進(jìn)和數(shù)據(jù)庫(kù)進(jìn)化路線之爭(zhēng)：從集中處理到分布式數(shù)據(jù)庫(kù)Sharding 是一種聯(lián)合使用眾多獨(dú)立數(shù) 據(jù)庫(kù)的應(yīng)用管理的擴(kuò)展技術(shù)數(shù)據(jù)切分為多個(gè)數(shù)據(jù)庫(kù)；每個(gè)數(shù)據(jù)庫(kù)存儲(chǔ)一個(gè)數(shù)據(jù)子集（通過(guò)范圍或者哈希拆分）；每個(gè)分片通過(guò)復(fù)制實(shí)現(xiàn)可用性和擴(kuò)展性；分片是擴(kuò)展大型網(wǎng)站的主要方法；分片用于需要極高擴(kuò)展性并需要應(yīng)用程序?yàn)榇俗龀鲎尣綉?yīng)用程序根據(jù)鍵值將請(qǐng)求調(diào)度到特定數(shù)據(jù)庫(kù)；查詢(xún)受到限制-基于分片鍵的簡(jiǎn)單查詢(xún)對(duì)數(shù)據(jù)進(jìn)行反范式化以避免跨分片

4、操作（無(wú)聯(lián)接）這也被稱(chēng)為水平分片分片架構(gòu)的一種全量變體實(shí)現(xiàn)，這種 形態(tài)非常常見(jiàn)每個(gè)數(shù)據(jù)庫(kù)承載全量數(shù)據(jù)請(qǐng)求基于讀寫(xiě)、鍵值進(jìn)行分發(fā)寫(xiě)操作集中在一個(gè)數(shù)據(jù)庫(kù)，變更復(fù)制到 其他數(shù)據(jù)庫(kù)，其他庫(kù)承載讀請(qǐng)求主要受益包括，不需要 reShardGoogle 奠定規(guī)模分布式存儲(chǔ)系統(tǒng)的理論基礎(chǔ)2003 - Google File System2004 - Google MapReduce2006 - Google BigTableOracle 對(duì)分布式數(shù)據(jù)庫(kù)技術(shù)的認(rèn)知和實(shí)踐2008 - Global Scale Web 2.0 Data Platforms Sharding2017 Oracle Sharding

5、Option Release8 / 8i （1998）11InternetOracle8 for LinuxOracle Parallel ServerXML &Native Java SupportOnline SupportOracle LinuxAutomatic Undo Segment ManagementMobile DatabaseAutomatic PGAReal Application ClusterActive Data GuardExadata(2008)Database Cloud(2012)Database ReplayGrid InfrastructureAutom

6、atic Storage ManagementClusterwareAutomatic Workload RepositoryFlashbackAutomatic Shared Memory Management宏觀進(jìn)化：數(shù)據(jù)庫(kù)技術(shù)發(fā)展演進(jìn)方向8109gg20cShardingMultitenant , OnlineClone and RelocateAutonomous Health FrameworkNew In-Memory FeaturesOnline EncryptionMultitenant Snapshot CarouselMem Optimized Row St

7、orePrivate Temporary TablesT1 T2 T3 T4Active Directory IntegrationSharded RACActive DirectoryAutoMLin OML4PyBlockchain TablesJSON Speed and FlexibilityPersistent Memory StoreIn-Memory Vector JoinsSALESITEMSHigh speed data ingestionADG DMLRedirectAutomatic IndexingHybrid Partition TablesJSONImproveme

8、ntsSALES TABLEQ1Q2Q3宏觀進(jìn)化：數(shù)據(jù)庫(kù)技術(shù)發(fā)展演進(jìn)方向 （2017）微觀進(jìn)化：源自實(shí)踐的增強(qiáng)和改進(jìn)9i: 共享內(nèi)存分區(qū)10g: ASM 分片數(shù)據(jù)存儲(chǔ)新增 - HIGH FREQUENCY AUTOMATIC STATISTICS COLLECTION，每15分鐘；Automatic statistics gathering jobLGWRLGWRO000B002B003B001B00011g: ASM 磁盤(pán)組維護(hù)進(jìn)程12.1: 多日志寫(xiě)進(jìn)程12.2: LMS 進(jìn)程拆分為 RMV 和 CR19c: 實(shí)時(shí)的統(tǒng)計(jì)信息微觀進(jìn)化：源自實(shí)踐的增強(qiáng)和改進(jìn)表達(dá)式參數(shù)：20c開(kāi)始，指定一個(gè)表達(dá)

9、式作為某些初始化 參數(shù)的值，使得數(shù)據(jù)庫(kù)能夠根據(jù)環(huán)境變化自動(dòng)調(diào)整參數(shù) 值。實(shí)現(xiàn)Autonomous 自治。SQL show parameter aqNAMETYPEVALUEaq_tm_processesinteger1SQL ALTER SYSTEM SET AQ_TM_PROCESSES = MIN(40, PROCESSES * .1);SQL show parameter aqNAMETYPEVALUEaq_tm_processesinteger30自動(dòng)索引：借鑒于人工工作的專(zhuān)家系統(tǒng) It is an expert system that implements what a perfor

10、mance engineer skilled in index tuning would doMonitorOnline ValidationCaptureIdentifyVerifyDecideOne-Click UpgradeAutonomous Data Guard簡(jiǎn)單透明的主備切換管理Completely transparent to customer applicationsAutomatic failover for zero-data loss scenarios User-initiated failover for other scenarios Computer Assoc

11、iatesopenGauss HuaweiPolarDB for OracleInformix IBMIngresUc BerkeleyInformixPostgreSQL CommunitySQL Server SybasePostgres Uc Berkeley1974年Kingbase 人大金倉(cāng)2004年2015年之后， 國(guó)產(chǎn)廠商購(gòu)入 源代碼2017 印度 HCL 收購(gòu)SinoDB 星瑞格 Toprow 華勝信泰Gbase 8T 南大通用SQL Server SAPSQL Server MicrosoftPivotalIllustraTo Informix2001年IBM收購(gòu)Ingres

12、 CorporationCA-OSIngres Corp.王佑曾 (Eugene Wong) 中央研究院院士。 生于 1934 年 12 月 24 日，中國(guó)南京市 1980 Ingres ，1988 ACM軟件系統(tǒng)獎(jiǎng)AntDB 亞信 202004 ，中國(guó)移動(dòng)入股亞信科技，占股20%UXDB 優(yōu)炫數(shù)據(jù)庫(kù)Tbase 騰訊TelePG 中國(guó)電信EnterpriseDB云和恩墨用戶(hù)抉擇：最具活力的開(kāi)源生態(tài)1980年生態(tài)變革：openGauss 開(kāi)源和開(kāi)放PostgreSQL架構(gòu)關(guān)鍵差異化因素openGaussPostgreSQL宏觀 架構(gòu)執(zhí)行模型線程模型：動(dòng)態(tài)分配執(zhí)行線程，支持1萬(wàn)并發(fā)進(jìn)程模型：進(jìn)程執(zhí)

13、行模型，一個(gè)鏈接一個(gè)進(jìn)程，小于1000并發(fā)內(nèi)存模型進(jìn)程內(nèi)內(nèi)存被多線程共享，內(nèi)存安全性好多進(jìn)程共享內(nèi)存，內(nèi)存安全性弱；動(dòng)態(tài)擴(kuò)展難事務(wù) 處理并發(fā)控制事務(wù)支持CSN快照，procArray免鎖高并發(fā)事務(wù)ID回卷，長(zhǎng)期運(yùn)行性能因?yàn)镮D回收周期大幅波動(dòng)日志和檢查點(diǎn)增量checkpoint，性能波動(dòng)15%鯤鵬NUMANUMA多核優(yōu)化，單機(jī)兩路性能TPMC 大于150wNUMA多核能力弱，單機(jī)兩路性能TPMC 60w數(shù)據(jù) 組織多引擎行存、列存、內(nèi)存引擎，在研DFV存儲(chǔ)引擎僅支持行存SQL引擎優(yōu)化器支持CBO，吸收工行等大型企業(yè)場(chǎng)景優(yōu)化能力支持CBO，復(fù)雜場(chǎng)景優(yōu)化能力一般SQL解析ANSI/ISO標(biāo)準(zhǔn)SQL9

14、2、SQL99和SQL2003和企業(yè)擴(kuò)展包ANSI/ISO標(biāo)準(zhǔn)SQL92、SQL99和SQL2003GaussDB Kernel是衍生自PostgreSQL-XC，單機(jī)邏輯架構(gòu)與PG接近。GaussDB Kernel和PG在架構(gòu)和關(guān)鍵技術(shù)選擇路徑上有根本性差異，導(dǎo)致引擎級(jí)和組件級(jí)實(shí)現(xiàn)架構(gòu)差別很大。openGauss Kernel架構(gòu)存儲(chǔ)引擎MVCC行存 儲(chǔ)引擎內(nèi)存引擎列存儲(chǔ)引擎DFV存儲(chǔ)引擎（構(gòu)筑中）數(shù)據(jù)庫(kù)主進(jìn)程數(shù)據(jù)庫(kù)后臺(tái)進(jìn)程Writer子進(jìn)程日志寫(xiě)子進(jìn)程Vacuum子進(jìn)程統(tǒng)計(jì)收集子進(jìn)程Ckp子進(jìn)程歸檔子進(jìn)程數(shù)據(jù)緩存區(qū)多進(jìn)程共享內(nèi)存池Xlog緩沖區(qū)數(shù)據(jù)庫(kù)線程池SQL接口 AI自調(diào)優(yōu)SQL解析器

15、 ABO優(yōu)化器SQL EngineSQL優(yōu)化器In-DB ML并行執(zhí)行可擴(kuò)展功能 框架分布式框架（分布式執(zhí)行/優(yōu)化/傳輸）數(shù)據(jù) 庫(kù)進(jìn) 程 n數(shù)據(jù) 庫(kù)進(jìn) 程 1由淺入深：獲得可遷移的學(xué)習(xí)能力2020-03-08 WARNING:database PDB must be vacuumed within 1000001 transactions2020-03-08 HINT:To avoid a database shutdown, execute a database-wide VACUUM in that database.You might also need to commit or rol

16、l back old prepared transactions.2020-03-08 ERROR:could not open relation with OID 2454532020-03-08 CONTEXT:automatic vacuum of table DB.pg_toast.pg_toast_245448could not open relation with OID代碼： src/backend/access/common/relation.cautomatic vacuum of table DB.pg_toast代碼： src/backend/postmaster/aut

17、ovacuum.cautomatic vacuum of table DB.pg.代碼： src/backend/access/table/table.c攻克疑難：openGauss 的技術(shù)創(chuàng)新實(shí)驗(yàn)驗(yàn)證：新增一個(gè)表，插入數(shù)據(jù)，在系統(tǒng)里刪除數(shù) 據(jù)文件，找不到數(shù)據(jù)文件，就無(wú)法執(zhí)行vacuum操作， 這時(shí)新開(kāi)一個(gè)會(huì)話開(kāi)始刷事務(wù) idpostgres=# select version();versionMogDB (openGauss 1.0.0 build 197f217c) compiled at 2020-09-08 postgres=# select txid_current();txid_c

18、urrent4580988517(1 row)postgres=# select xmin,age(xmin),* from vacuum_test_1; xmin | age | id + 2 |-1 | 1(1 row)解決32位事務(wù)號(hào)問(wèn)題，擴(kuò)展至64位，openGauss解決了 PG 由來(lái)已久的一個(gè)技術(shù)遺留。MogDB：云和恩墨 openGauss發(fā)行版MogDB 是 EnMotech openGauss Database Enterprise Edition 的縮寫(xiě)，是云和恩墨 基于華為 openGauss 開(kāi)源數(shù)據(jù)庫(kù)進(jìn)行定制，推出的企業(yè)發(fā)行版。2020-07-01 發(fā)布 openGa

19、uss 的 Docker 版本；2020-08-30 發(fā)布 OpenGaussHA 高可用產(chǎn)品；2020-09-24 發(fā)布 在 HC 大會(huì)發(fā)布 MogDB 商業(yè)版；云和恩墨 MogDB 定位：建設(shè)自有內(nèi)核研發(fā)團(tuán)隊(duì)，融入 openGauss 開(kāi)源生態(tài)，結(jié)合自身優(yōu)勢(shì)，打造 MogDB 企 業(yè)版核心能力，包括：高可用選件、自動(dòng)化備份恢復(fù)選件、一體機(jī)產(chǎn)品、自動(dòng)化運(yùn)維產(chǎn)品、兼容性選件等，打造最易用的 openGauss 商業(yè)版！云和恩墨已經(jīng)圍繞客戶(hù)需求展開(kāi)了 openGauss 的推廣和技術(shù)實(shí)踐工作；民生銀行 云和恩墨和民生銀行一起展開(kāi)了 openGauss 的生產(chǎn)驗(yàn)證和增強(qiáng)， 開(kāi)發(fā)實(shí)施了高可用選件，客

20、戶(hù)已經(jīng)確定了多個(gè)系統(tǒng)遷移計(jì)劃，云和恩墨和民 生銀行在 HC 2020 大會(huì)共同獲得超級(jí)用戶(hù)大獎(jiǎng)；行業(yè)趨勢(shì)：智能化企業(yè)級(jí) dbPaaS 時(shí)代 20152020百花齊放，十年可期：數(shù)據(jù)庫(kù)領(lǐng)域的由亂到治，是一場(chǎng)持久戰(zhàn)，可能經(jīng)歷長(zhǎng)達(dá)十年的過(guò)渡期；先建能力，后建系統(tǒng)：百年樹(shù)人人才培養(yǎng)持久，應(yīng)先建立平臺(tái)化服務(wù)能力，再構(gòu)建業(yè)務(wù)系統(tǒng)；自動(dòng)智能，變革之機(jī)：統(tǒng)一管理平臺(tái)，多數(shù)據(jù)庫(kù)自動(dòng)化部署，智能運(yùn)維，推動(dòng)服務(wù)升級(jí)和革新。生態(tài)變革：2019 中國(guó)數(shù)據(jù)庫(kù)元年創(chuàng)業(yè)派：數(shù)據(jù)庫(kù)領(lǐng)域生機(jī)勃發(fā)的另外一支力量是新興的獨(dú)立 數(shù)據(jù)庫(kù)創(chuàng)業(yè)企業(yè)，技術(shù)創(chuàng)業(yè)者和資本的結(jié)合，在新時(shí)代催生了 一系列的新興數(shù)據(jù)庫(kù)企業(yè)，這其中包括巨杉、PingCA

21、P、偶 數(shù)、星環(huán)、柏睿數(shù)據(jù)、星瑞格、易鯨捷等。創(chuàng)業(yè)核心多數(shù)來(lái)自企業(yè)派：頭部科技企業(yè)也參與到了數(shù)據(jù)庫(kù)核心攻關(guān)中，這其中 包括華為、中興、浪潮等，華為在2019年推出了 GaussDB， 中興推出了 GoldenDB，浪潮則是推出了K-DB。深諳企業(yè)級(jí) 服務(wù)之道的頭部科技企業(yè)的介入，讓數(shù)據(jù)庫(kù)和商業(yè)市場(chǎng)運(yùn)作徹我以為，一個(gè)技術(shù)生態(tài)的繁榮發(fā)展，必須擁有廣泛的投入、廣泛的參與、廣泛的關(guān)注，這三者缺一不可。而在 2019年，這三者意外的同時(shí)具備了。四大流派，開(kāi)源自研，百花齊放。學(xué)院派：中國(guó)數(shù)據(jù)庫(kù)發(fā)展的40年，最初源于國(guó)家的引導(dǎo)、支持和扶植， 在這一階段，中國(guó)數(shù)據(jù)庫(kù)的研發(fā)始于高校和科研院所，直至今日，源自 高

22、等院校的幾大數(shù)據(jù)庫(kù)公司仍然是國(guó)產(chǎn)數(shù)據(jù)庫(kù)的重要參與力量。 這其中 包括人大金倉(cāng)、武漢達(dá)夢(mèng)、南大通用、神舟通用等。互聯(lián)網(wǎng)派：隨著近年互聯(lián)網(wǎng)和開(kāi)源技術(shù)的蓬勃發(fā)展，互聯(lián)網(wǎng)企業(yè)以高 度的熱情參與到了數(shù)據(jù)庫(kù)的建設(shè)中來(lái)。不管是自主研發(fā)，還是借助開(kāi) 源，互聯(lián)網(wǎng)解決了自身應(yīng)用的問(wèn)題，并且依托云平臺(tái)，展開(kāi)了云數(shù)據(jù)庫(kù) 的應(yīng)用推廣。這其中，阿里巴巴的OceanBase、PolarDB，騰訊的 TDSQL、TBase等，都成為了來(lái)之能用，用之能穩(wěn)的核心武器。1977 黃山 首屆中國(guó)數(shù)據(jù)庫(kù)年會(huì)于 Oracle、IBM、Intel、HP、EMC等國(guó)際企業(yè)，正是因?yàn)橛械紫烁裟?，迎?lái)了加速奔跑的時(shí)代。 了這四十年的厚積薄發(fā)，才有了今天的朝氣蓬勃，遍地花開(kāi)。https:/db/74512020-11-17 PingCAP 完成 2.7億美元融資；2020-10-22 巨杉成功完成數(shù)億元戰(zhàn)略融資；2020-10-19 貴陽(yáng)銀行核心業(yè)務(wù)易鯨捷國(guó)產(chǎn)數(shù) 據(jù)庫(kù)應(yīng)用項(xiàng)目，成交金額 4.26億；2020-06-30 華為 openGauss 開(kāi)源；2020-06-09 阿里云PolarDB幫1