解析國(guó)產(chǎn)數(shù)據(jù)庫(kù)架構(gòu)、應(yīng)用場(chǎng)景及其存儲(chǔ)適配

1.國(guó)產(chǎn)數(shù)據(jù)庫(kù)的市場(chǎng)格局，技術(shù)背景以及發(fā)展格局

1.1

國(guó)產(chǎn)數(shù)據(jù)庫(kù)的發(fā)展情況

數(shù)據(jù)庫(kù)(Database，簡(jiǎn)稱DB)是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)。數(shù)據(jù)庫(kù)管理系統(tǒng)(簡(jiǎn)稱DBMS)用于建立、使用、操縱和管理數(shù)據(jù)庫(kù)，與數(shù)據(jù)庫(kù)共同組成數(shù)據(jù)庫(kù)系統(tǒng)。數(shù)據(jù)庫(kù)向下調(diào)用底層硬件資源，向上支撐應(yīng)用業(yè)務(wù),是三大基礎(chǔ)軟件之一，更是計(jì)算機(jī)功能實(shí)現(xiàn)的重要基礎(chǔ)。數(shù)據(jù)庫(kù)發(fā)展出多種技術(shù)路徑。按照數(shù)據(jù)模型、業(yè)務(wù)負(fù)載特征、部署方式、適配硬件架構(gòu),數(shù)據(jù)庫(kù)可分為多種類型。數(shù)據(jù)模型決定了數(shù)據(jù)庫(kù)的邏輯結(jié)構(gòu)以及數(shù)據(jù)的存儲(chǔ)，組織和操作方式，是最重要的要素。從全球視野來看，數(shù)據(jù)庫(kù)發(fā)展起源追溯到20世紀(jì)60年代。上世紀(jì)七十年代，關(guān)系型數(shù)據(jù)庫(kù)模型首次出現(xiàn)，面世后在使用中因其對(duì)于邏輯模型的高度描述能力進(jìn)入大眾視野，如IBM公司的DB2以及甲骨文公司的Oracle。20世紀(jì)末，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)得到廣泛應(yīng)用，Oracle、IBM等商業(yè)化數(shù)據(jù)庫(kù)也隨之到了蓬勃的發(fā)展。而在中國(guó)，Oracle、IBM、Microsoft、SAP四家傳統(tǒng)廠商的產(chǎn)品曾一度占據(jù)國(guó)內(nèi)商業(yè)數(shù)據(jù)庫(kù)市場(chǎng)超90%，目前Oracle在中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)可謂是一手遮天。為了在數(shù)據(jù)方面實(shí)現(xiàn)安全可靠，自上世紀(jì)90年代以來，我國(guó)就有大大小小眾多企業(yè)開始涉足國(guó)產(chǎn)數(shù)據(jù)庫(kù)領(lǐng)域。雖然早期我國(guó)數(shù)據(jù)庫(kù)廠商發(fā)展艱辛，但也獲得了不小的成果：中國(guó)擁有了第一代原型數(shù)據(jù)庫(kù)，也崛起了諸如東軟Openbase、中軟Cobase和華科DMDatabase等一系列優(yōu)秀國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品。進(jìn)入21世紀(jì)，阿里喊出了“去IOE”的口號(hào)，選擇使用開源的MySQL，棱鏡門事件的曝光，同時(shí)基于863計(jì)劃、核高基計(jì)劃等國(guó)家政策支持，一批擁有高校背景的國(guó)產(chǎn)廠商成立，也讓達(dá)夢(mèng)、金倉(cāng)等一批國(guó)產(chǎn)數(shù)據(jù)庫(kù)得到了廣泛的關(guān)注，PostgreSQL、HBase等開源數(shù)據(jù)庫(kù)也開始活躍起來，國(guó)產(chǎn)數(shù)據(jù)庫(kù)真正進(jìn)入了蓬勃發(fā)展的時(shí)代，一時(shí)間數(shù)據(jù)庫(kù)行業(yè)百花齊放，目前國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品已有兩百余種。1.2

國(guó)內(nèi)數(shù)據(jù)庫(kù)市場(chǎng)格局

目前海外的Oracle數(shù)據(jù)庫(kù)與IBMDB2數(shù)據(jù)庫(kù)在我國(guó)金融行業(yè)占據(jù)主導(dǎo)，國(guó)產(chǎn)化仍有廣闊空間。同時(shí)在金融行業(yè)國(guó)產(chǎn)化數(shù)據(jù)庫(kù)建設(shè)中，國(guó)產(chǎn)數(shù)據(jù)庫(kù)已經(jīng)從邊緣系統(tǒng)逐步走向核心系統(tǒng)，顯示出國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品功能、性能水平不斷增強(qiáng)，國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商競(jìng)爭(zhēng)力不斷提升。借助政策東風(fēng)，國(guó)產(chǎn)廠商厚積薄發(fā)，市場(chǎng)版圖快速擴(kuò)張。以阿里云、達(dá)夢(mèng)數(shù)據(jù)庫(kù)為代表的國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商，在某些行業(yè)持續(xù)拓展自身業(yè)務(wù)，獲得了一定的市場(chǎng)領(lǐng)先地位。據(jù)統(tǒng)計(jì)，2020年國(guó)外數(shù)據(jù)庫(kù)廠商的市場(chǎng)份額下降至52.6%，達(dá)夢(mèng)金倉(cāng)等傳統(tǒng)國(guó)產(chǎn)廠商的市場(chǎng)份額上升至7.1%。目前國(guó)產(chǎn)數(shù)據(jù)庫(kù)大致可以分為集中式和分布式。集中式發(fā)力較早的例如南大通用Gbase、武漢達(dá)夢(mèng)DM、人大金倉(cāng)kingbase、神通數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)技術(shù)在互聯(lián)網(wǎng)公司較早研發(fā)和應(yīng)用，其由于自身業(yè)務(wù)壓力或者是被動(dòng)的研究和改進(jìn)數(shù)據(jù)庫(kù)。例如阿里云OceanBase、騰訊云TDSQL、polarDB，后也有一些大型IT廠商跟進(jìn)進(jìn)行分布式研發(fā)，例如華為的GaussDB、OpenGauss、中興通訊GoldenDB、亞信AntDB。從技術(shù)路線上來進(jìn)行劃分，PostgreSQL系有openGauss（Huawei）及基于openGauss開源MogDB（云和恩墨）和Vastbase（海量數(shù)據(jù)）、AntDB（亞信）、TelePG（中國(guó)電信）、Tbase（騰訊）、TDSQLforPostgreSQL（騰訊）等。MySQL系有TDSQL-C（騰訊）、GaussDBforMySQL（華為云）、PolarDBforMySQL（阿里云）、GoldenDB（中興）、AliSQL（阿里巴巴）、GreatDB（萬里開源）等。Informix系有GBasae8T（南大通用）、Toprow（華勝信泰）及SinoDB（星瑞格）。1.3

OLAP和OLTP數(shù)據(jù)庫(kù)

隨著數(shù)據(jù)時(shí)代的發(fā)展，企業(yè)對(duì)于數(shù)據(jù)也有了不同的處理需求，從場(chǎng)景上分有分析和交易兩種類型。面對(duì)事務(wù)處理和分析決策的需求，OLTP(OnlineTransactionalProcessing)事務(wù)型數(shù)據(jù)庫(kù)和OLAP(Onlineanalyticalprocessing)分析型數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。OLTP系統(tǒng)主要使用關(guān)系模型，保證強(qiáng)一致性，面向一線業(yè)務(wù)人員，支持多并發(fā)、實(shí)時(shí)、快速地增刪查改，例如銀行交易、零售電商、車票預(yù)訂等；OLAP系統(tǒng)可以高速多維分析來自數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市或者數(shù)據(jù)湖的數(shù)據(jù)，可使用關(guān)系型或者非關(guān)系型的數(shù)據(jù)庫(kù)，主要面向分析師和管理者，支持對(duì)歷史數(shù)據(jù)的復(fù)雜分析操作，從而賦能企業(yè)商業(yè)智能決策。隨著數(shù)據(jù)價(jià)值的進(jìn)一步挖掘，企業(yè)對(duì)數(shù)據(jù)庫(kù)系統(tǒng)也提出了新的要求。現(xiàn)階段企業(yè)為滿足交易處理和分析的需求，往往采用OLTP+OLAP的組合方案。但二者之間往往存在時(shí)延，無法滿足企業(yè)實(shí)時(shí)分析的需求；同時(shí)管理兩個(gè)平臺(tái)往往需要組建兩支團(tuán)隊(duì)，運(yùn)維成本高。HTAP(HybridTransactional/AnalyticalProcessing)混合型數(shù)據(jù)庫(kù)基于新的計(jì)算存儲(chǔ)框架，能夠同時(shí)支撐OLTP和OLAP場(chǎng)景，避免傳統(tǒng)架構(gòu)中大量數(shù)據(jù)交互造成的資源浪費(fèi)和沖突。此外，HTAP基于分布式架構(gòu)，支持彈性擴(kuò)容，可按需擴(kuò)展吞吐或存儲(chǔ)，輕松應(yīng)對(duì)高并發(fā)、海量數(shù)據(jù)場(chǎng)景。1.4國(guó)產(chǎn)集中式數(shù)據(jù)庫(kù)各方面對(duì)比

目前國(guó)產(chǎn)數(shù)據(jù)庫(kù)都有替換Oracle的能力，只是替換程度、效率和性能等各有差異，無論那個(gè)國(guó)產(chǎn)數(shù)據(jù)庫(kù)替換Oracle，都可能需要付出一定的代價(jià)，支出一定的成本，而根據(jù)項(xiàng)目系統(tǒng)制定一個(gè)完好的移植方案將會(huì)事半功倍減少代價(jià)和成本。一個(gè)好的方案需要經(jīng)過對(duì)項(xiàng)目系統(tǒng)的全方面調(diào)研，根據(jù)業(yè)務(wù)場(chǎng)景、數(shù)據(jù)量、業(yè)務(wù)量、應(yīng)用特性等諸多方面分析，結(jié)合預(yù)期移植數(shù)據(jù)庫(kù)產(chǎn)品本身特性，如Oracle的兼容性、高可用性、數(shù)據(jù)安全性及性能情況，選擇移植后的架構(gòu)、以及sql優(yōu)化等等進(jìn)行考慮。在sql兼容性上，目前市面上達(dá)夢(mèng)數(shù)據(jù)與Oracle數(shù)據(jù)庫(kù)的語(yǔ)法兼容性相對(duì)高；其他基于pg系的如OpenGuass略低于達(dá)夢(mèng)；MySQL以及Informix系與Oracle的兼容性則更弱，在表類型、索引類型、高級(jí)數(shù)據(jù)庫(kù)對(duì)象、Oracle語(yǔ)法兼容性、Oracle特色功能兼容性等指標(biāo)的支持程度上相對(duì)范圍較小，不支持高級(jí)數(shù)據(jù)庫(kù)對(duì)象、Oracle兼容接口；從架構(gòu)上分析，主流集中式數(shù)據(jù)庫(kù)擁有常規(guī)的主備集群、讀寫分離集群架構(gòu)，達(dá)夢(mèng)目前實(shí)現(xiàn)了DSC+ASM功能，仿照銀行常用的RAC+ADG架構(gòu)，目前能提供DSC+DMDW架構(gòu)。其他集中式數(shù)據(jù)庫(kù)目前主要還是使用主備集群的架構(gòu)?？煽啃苑矫?，部分?jǐn)?shù)據(jù)庫(kù)備份還原不支持分級(jí)別的備份還原和跨平臺(tái)備份還原，數(shù)據(jù)復(fù)制均只支持同構(gòu)復(fù)制不支持異構(gòu)復(fù)制；仍然有部分?jǐn)?shù)據(jù)庫(kù)不支持行存儲(chǔ)。在數(shù)據(jù)庫(kù)智能套件產(chǎn)品方面，目前主流集中式和分布式數(shù)據(jù)庫(kù)，均能提供數(shù)據(jù)遷移工具，sql分析工具等。從國(guó)產(chǎn)數(shù)據(jù)庫(kù)的產(chǎn)品適用的應(yīng)用場(chǎng)景進(jìn)行分析比較。達(dá)夢(mèng)適用于大規(guī)模事務(wù)處理、大規(guī)模分析處理（中小規(guī)模同樣適用）和混合型應(yīng)用；神通、金倉(cāng)和虛谷都適用于中小型事務(wù)處理和中小型分析處理場(chǎng)景；南大通用適用于大規(guī)模及中小型的分析處理。比較項(xiàng)達(dá)夢(mèng)神通金倉(cāng)南大通用大規(guī)模事務(wù)處理OLTP型應(yīng)用（數(shù)據(jù)量100T以上）√╳╳╳中小型事務(wù)處理OLTP型應(yīng)用（數(shù)據(jù)量100T以下）√√√╳大規(guī)模分析處理OLAP型應(yīng)用（1000并發(fā)用戶及以上）√╳╳√中小型分析處理OLAP型應(yīng)用（1000并發(fā)用戶以內(nèi)）√√√√混合型應(yīng)用√╳╳╳2.“國(guó)產(chǎn)數(shù)據(jù)庫(kù)+服務(wù)器本地盤架構(gòu)”與”國(guó)產(chǎn)數(shù)據(jù)庫(kù)+SAN存儲(chǔ)”不同搭配間性能對(duì)比在信創(chuàng)項(xiàng)目的國(guó)產(chǎn)化改造中，數(shù)據(jù)庫(kù)的高效的運(yùn)行離不開高性能的基礎(chǔ)設(shè)施，尤其是數(shù)據(jù)庫(kù)數(shù)據(jù)的存儲(chǔ)介質(zhì)。對(duì)于分布式數(shù)據(jù)庫(kù)，存儲(chǔ)的性能擴(kuò)展和容量擴(kuò)展可以通過增加磁盤數(shù)量或者存儲(chǔ)節(jié)點(diǎn)數(shù)量實(shí)現(xiàn)，而集中式數(shù)據(jù)庫(kù)，主要是通過提升本地磁盤或者陣列性能、容量來實(shí)現(xiàn)。無論集中式數(shù)據(jù)庫(kù)是以服務(wù)器本地磁盤陣列方式作為數(shù)據(jù)存儲(chǔ)，還是以SAN存儲(chǔ)陣列作為數(shù)據(jù)庫(kù)的存儲(chǔ)設(shè)備，從磁盤類別選擇上，都推薦使用高性能的SSD甚至NVMESSD磁盤；但是從集中式數(shù)據(jù)庫(kù)采用本地磁盤和采用SAN存儲(chǔ)兩種方案進(jìn)行對(duì)比，采用SAN存儲(chǔ)在多個(gè)方面具備一定優(yōu)勢(shì)。以下是從各指標(biāo)架構(gòu)的對(duì)比情況。項(xiàng)目本地盤SAN存儲(chǔ)性能通過使用高性能磁盤組成本地陣列，可以達(dá)到較高性能，滿足絕大部分需求場(chǎng)景。單臺(tái)服務(wù)器io擴(kuò)展能力有限，難以支持超大IO需求場(chǎng)景。通過存儲(chǔ)服務(wù)器內(nèi)置的存儲(chǔ)管理系統(tǒng)，讀寫機(jī)制經(jīng)過操作系統(tǒng)和存儲(chǔ)廠商的優(yōu)化，用更多高性能磁盤組成存儲(chǔ)陣列提高整體IO能力，結(jié)合多鏈路等技術(shù)，整體能夠獲得較高性能，可以滿足更高性能要求的場(chǎng)景安全性通過服務(wù)器本地陣列卡可以組建磁盤陣列，保證數(shù)據(jù)庫(kù)的冗余。分布式數(shù)據(jù)庫(kù)，數(shù)據(jù)有多副本機(jī)制，如果是集中式數(shù)據(jù)庫(kù)數(shù)據(jù)均存儲(chǔ)在單臺(tái)服務(wù)器上，單臺(tái)服務(wù)器硬盤raid損壞則可能導(dǎo)致數(shù)據(jù)丟失。通過存儲(chǔ)服務(wù)器內(nèi)置的存儲(chǔ)管理系統(tǒng)機(jī)制，組建存儲(chǔ)陣列，存儲(chǔ)具備故障硬盤的預(yù)損壞狀態(tài)監(jiān)控，壞盤導(dǎo)致數(shù)據(jù)丟失可能性相對(duì)較低，同時(shí)存儲(chǔ)本身也可以組建高可用甚至雙活，可以有更多的數(shù)據(jù)復(fù)制方案，安全性更高?？煽啃杂捎赬86服務(wù)器可靠性本身較低，而磁盤安裝在本地，服務(wù)器或磁盤陣列卡故障會(huì)降低可靠性。集中式存儲(chǔ)經(jīng)過長(zhǎng)期、大量的使用案例，技術(shù)較為成熟，具有高可靠性。通過存儲(chǔ)服務(wù)器內(nèi)置的存儲(chǔ)管理系統(tǒng)機(jī)制，組建存儲(chǔ)陣列，同時(shí)存儲(chǔ)本身也可以組建高可用甚至雙活，穩(wěn)定性高擴(kuò)展性單臺(tái)服務(wù)器本地盤位一般有限，在一定程度上限制了擴(kuò)展性存儲(chǔ)服務(wù)器擁有更多的盤位，同時(shí)存儲(chǔ)服務(wù)器支持進(jìn)行橫向擴(kuò)展，擴(kuò)展性更好。數(shù)據(jù)庫(kù)可移植能力數(shù)據(jù)庫(kù)遷移通過兩種方案進(jìn)行遷移：1、通過數(shù)據(jù)庫(kù)軟件本身自帶集群內(nèi)主備復(fù)制能力完成數(shù)據(jù)復(fù)制后進(jìn)行切換；2、通過拔插磁盤進(jìn)行數(shù)據(jù)遷移，且需要保證raid信息等一致性數(shù)據(jù)庫(kù)遷移通過兩種方案進(jìn)行遷移：1、通過數(shù)據(jù)庫(kù)軟件本身自帶集群內(nèi)主備復(fù)制能力完成數(shù)據(jù)復(fù)制后進(jìn)行切換；2、可以將存儲(chǔ)通過SAN網(wǎng)絡(luò)映射，掛載到其他物理服務(wù)器節(jié)點(diǎn)，實(shí)現(xiàn)跨設(shè)備遷移數(shù)據(jù)庫(kù)。3、可將存儲(chǔ)進(jìn)行卷復(fù)制、存儲(chǔ)間復(fù)制等操作，便捷實(shí)現(xiàn)數(shù)據(jù)復(fù)制和遷移。成本投入單臺(tái)插硬盤的服務(wù)器成本相對(duì)較低，但多臺(tái)服務(wù)器支撐多個(gè)數(shù)據(jù)庫(kù)，成本逐漸與集中式存儲(chǔ)持平。需要采購(gòu)存儲(chǔ)設(shè)備相對(duì)較高，但一套集中式存儲(chǔ)可提供多個(gè)集中式數(shù)據(jù)庫(kù)使用，均攤后成本甚至可能低于多套使用本次磁盤的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)的架構(gòu)支持高可用集群支持支持RAC集群服務(wù)器的本地硬盤無法支持映射給多臺(tái)物理服務(wù)器，故而無法支持RAC集群功能。通過SAN網(wǎng)絡(luò)支持將存儲(chǔ)映射給多個(gè)服務(wù)器，支持多臺(tái)服務(wù)器同時(shí)讀寫一個(gè)數(shù)據(jù)存儲(chǔ)，因此可以支持RAC集群功能。從業(yè)務(wù)場(chǎng)景上來評(píng)估，如只是普通非關(guān)鍵業(yè)務(wù)系統(tǒng)，對(duì)數(shù)據(jù)庫(kù)的性能、穩(wěn)定性、可靠性和數(shù)據(jù)安全性要求不高，且無擴(kuò)展性要求，或本身環(huán)境無SAN存儲(chǔ)條件的情況下，可以選擇“國(guó)產(chǎn)數(shù)據(jù)庫(kù)+服務(wù)器本地盤”的架構(gòu)，在服務(wù)器本地構(gòu)建磁盤陣列共數(shù)據(jù)庫(kù)存放相關(guān)數(shù)據(jù)文件。如果是關(guān)鍵業(yè)務(wù)系統(tǒng)，對(duì)數(shù)據(jù)庫(kù)的性能、穩(wěn)定性、可靠性和數(shù)據(jù)安全性要求都很高，且對(duì)磁盤擴(kuò)展性也有要求，建議在有條件的情況下使用SAN存儲(chǔ)。業(yè)務(wù)類型和要求架構(gòu)選擇普通業(yè)務(wù)，無高可用要求一般物理機(jī)+服務(wù)器本地盤+單機(jī)普通業(yè)務(wù)，有高可用要求一般物理機(jī)+服務(wù)器本地盤+高可用集群關(guān)鍵業(yè)務(wù)，負(fù)載較高，性能要求較高高性能物理機(jī)+SAN存儲(chǔ)+單機(jī)關(guān)鍵業(yè)務(wù)，負(fù)載較高，性能要求較高，有高可用要求，對(duì)Failover不敏感高性能物理機(jī)+SAN存儲(chǔ)+高可用集群+讀寫分離關(guān)鍵業(yè)務(wù)，負(fù)載較高，性能要求較高，有高可用要求，對(duì)Failover敏感，對(duì)業(yè)務(wù)連續(xù)性要求很高高性能物理機(jī)+SAN存儲(chǔ)+高性能集群（例如RAC）整體而言，無論是設(shè)施設(shè)備選擇還是設(shè)施設(shè)備的搭配，無論是數(shù)據(jù)庫(kù)的選擇還是數(shù)據(jù)庫(kù)架構(gòu)的選擇，都建議根據(jù)實(shí)際需求出發(fā)進(jìn)行合適的選擇，保障業(yè)務(wù)的穩(wěn)定、高效運(yùn)行以及保證數(shù)據(jù)的安全。對(duì)服務(wù)器進(jìn)行選擇時(shí)需要結(jié)合性能場(chǎng)景選擇普通物理機(jī)或者高性能物理機(jī)，例如在對(duì)Failover敏感，對(duì)業(yè)務(wù)連續(xù)性要求很高場(chǎng)景下，或者高并發(fā)密集型OLAP的場(chǎng)景下，必須用到RAC集群