大話Oracle集群,分布式數(shù)據(jù)庫(kù)與區(qū)塊鏈

【何曉陽專欄】大話Oracle集群，分布式數(shù)據(jù)庫(kù)與區(qū)塊鏈原創(chuàng)47天前區(qū)塊鏈已經(jīng)從社會(huì)的邊緣產(chǎn)品，變得被越來越多的人所熟悉和接受，并逐漸成為一種新趨勢(shì)和未來。在這個(gè)過程中，區(qū)塊鏈技術(shù)也取得了日新月異的發(fā)展，智能合約、共識(shí)機(jī)制、分片以及跨鏈等新概念，正在不斷刷新著我們的認(rèn)知。作為一個(gè)在數(shù)據(jù)庫(kù)領(lǐng)域奮斗10余年的老兵來看，區(qū)塊鏈的本質(zhì)其實(shí)是一個(gè)多活的分布式數(shù)據(jù)庫(kù)，區(qū)塊鏈中的很多技術(shù)，在數(shù)據(jù)庫(kù)的漫長(zhǎng)演進(jìn)過程中也曾得到很多的應(yīng)用和實(shí)踐，為了能更好的理解區(qū)塊鏈，我概述了從2000年開始這十幾年主流系統(tǒng)架構(gòu)的演變。我們將分成3個(gè)階段來闡述：第一階段，Oracle集群時(shí)代在這個(gè)時(shí)代中，如果想去選擇一個(gè)可以支撐每秒幾萬筆業(yè)務(wù)的成熟數(shù)據(jù)庫(kù)方案。工程師一定會(huì)推薦Oracle。而這個(gè)時(shí)期系統(tǒng)的主要架構(gòu)如下：2001年，對(duì)Oracle公司來說是一個(gè)特殊的年份，在這一年Oracle發(fā)布了甲骨文數(shù)據(jù)庫(kù)產(chǎn)品的經(jīng)典版本Oracle9i。在這個(gè)版本的產(chǎn)品中，Oracle極大的增強(qiáng)了集群服務(wù)能力(RealApplicationCluster，RAC)，促使Oracle完成了在生產(chǎn)環(huán)境中，從一個(gè)單一主機(jī)節(jié)點(diǎn)向多節(jié)點(diǎn)的轉(zhuǎn)換的過程。RAC技術(shù)有效的解決了以往數(shù)據(jù)庫(kù)單節(jié)點(diǎn)運(yùn)行的瓶頸，提升了數(shù)據(jù)庫(kù)系統(tǒng)的并發(fā)負(fù)載能力和高可用性，滿足了企業(yè)發(fā)展過程中，管理指數(shù)級(jí)數(shù)據(jù)增長(zhǎng)的迫切需求。因此這個(gè)方案，被廣泛應(yīng)用到了政府、運(yùn)營(yíng)商、銀行、證券等各個(gè)領(lǐng)域，當(dāng)然也包括阿里巴巴和京東等互聯(lián)網(wǎng)巨頭企業(yè)。隨著版本的升級(jí)，Oracle10G的集群節(jié)點(diǎn)能力理論峰值擴(kuò)充到了100多個(gè)。但是因?yàn)椴渴鹪O(shè)備（小型機(jī)和存儲(chǔ)）昂貴等原因，不可能有企業(yè)可以完成這個(gè)量級(jí)的部署。從我所了解的數(shù)據(jù)來看，國(guó)內(nèi)一些企業(yè)在實(shí)際的業(yè)務(wù)中，應(yīng)用了6-8個(gè)節(jié)點(diǎn)的集群。盡管應(yīng)用廣泛，但是隨著國(guó)內(nèi)互聯(lián)網(wǎng)業(yè)務(wù)的進(jìn)一步發(fā)展，Oracle集群的一些問題也逐漸暴露出來，這也促使了后來國(guó)內(nèi)轟轟烈烈「去IOEJ運(yùn)動(dòng)的產(chǎn)生。第一個(gè)問題：架構(gòu)所需要的軟硬件（IOE）價(jià)格昂貴在圖1的架構(gòu)圖中可以看到，為了保證事務(wù)的一致性，Oracle采用的是在多節(jié)點(diǎn)間共享存儲(chǔ)的方式，也就是說最終的數(shù)據(jù)在磁盤上只存儲(chǔ)一份，數(shù)據(jù)可以被多個(gè)節(jié)點(diǎn)讀寫，Oracle利用行鎖等技術(shù)解決讀寫爭(zhēng)用問題，并保障每個(gè)交易請(qǐng)求提交或回滾的一致性。應(yīng)用層主機(jī)通過OracleNetServices路由到不同的數(shù)據(jù)庫(kù)節(jié)點(diǎn)中，提交數(shù)據(jù)庫(kù)交易請(qǐng)求后，數(shù)據(jù)庫(kù)節(jié)點(diǎn)會(huì)定時(shí)將交易數(shù)據(jù)寫入共享的磁盤陣列中。我們知道IO請(qǐng)求在計(jì)算機(jī)請(qǐng)求中是非常緩慢的，這樣的架構(gòu)設(shè)計(jì)，更加突出了IO讀寫的性能瓶頸。企業(yè)的應(yīng)對(duì)辦法則是購(gòu)買性能更好，更昂貴的磁盤陣列，提升IO性能，這也導(dǎo)致了IOE架構(gòu)在很長(zhǎng)一段時(shí)間內(nèi)占據(jù)著國(guó)內(nèi)IT采購(gòu)的主流地位。第二個(gè)問題：擴(kuò)展能力有限，增加節(jié)點(diǎn)的性能收益并非線性增強(qiáng)正如上面提到的，因?yàn)槭芟抻贗O請(qǐng)求的性能瓶頸。各個(gè)節(jié)點(diǎn)的交易數(shù)據(jù)發(fā)起IO請(qǐng)求將數(shù)據(jù)寫入磁盤會(huì)有一定的間隔。而這個(gè)過程中，實(shí)時(shí)交易信息則是由IPC協(xié)議在各個(gè)節(jié)點(diǎn)間傳輸內(nèi)存數(shù)據(jù)來同步的。這時(shí)我們需要一個(gè)高速的數(shù)據(jù)傳輸網(wǎng)絡(luò)，一般是由千兆網(wǎng)卡來完成。但是，隨著節(jié)點(diǎn)的不斷越多，需要同步的交易數(shù)據(jù)就會(huì)越多，網(wǎng)絡(luò)爭(zhēng)用和行鎖爭(zhēng)用也會(huì)變得越來越嚴(yán)重，從而導(dǎo)致擴(kuò)展節(jié)點(diǎn)的性能收益并非線性增強(qiáng)。第二個(gè)階段：分布式數(shù)據(jù)庫(kù)時(shí)代隨著淘寶業(yè)務(wù)的飛速發(fā)展，2010年時(shí)，淘寶已經(jīng)成為Oracle中國(guó)的頂級(jí)的客戶了。為了降低IT成本同時(shí)滿足業(yè)務(wù)的進(jìn)一步發(fā)展需求，也鑒于在開源社區(qū)長(zhǎng)期的技術(shù)積累驅(qū)動(dòng)。2010年時(shí)，由淘寶技術(shù)團(tuán)隊(duì)開啟了轟轟烈烈的「去IOE」運(yùn)動(dòng)，目標(biāo)是用分布式的開源數(shù)據(jù)庫(kù)架構(gòu)替代傳統(tǒng)的OracleDB架構(gòu)。淘寶「去IOE」的成功，有效的驗(yàn)證了分布式數(shù)據(jù)庫(kù)在大規(guī)模生產(chǎn)應(yīng)用中的負(fù)載能力，這也促使后續(xù)國(guó)內(nèi)IT架構(gòu)選型思路的轉(zhuǎn)變，以及分布式數(shù)據(jù)庫(kù)架構(gòu)的演進(jìn)。分布式的數(shù)據(jù)庫(kù)方案有非常多種，目前在各個(gè)互聯(lián)網(wǎng)公司應(yīng)用的也比較普遍，其本質(zhì)就是將數(shù)據(jù)拆分存儲(chǔ)到不同的節(jié)點(diǎn)上，從而緩解單節(jié)點(diǎn)讀寫的壓力，比如按奇偶拆分?jǐn)?shù)據(jù)就是一個(gè)簡(jiǎn)單的分布式系統(tǒng)，示意圖如下：

當(dāng)我們將數(shù)據(jù)拆分成分布式數(shù)據(jù)庫(kù)之后，就不得不考慮，分布式帶來的三個(gè)特性之間的權(quán)衡，正如CAP所描述的：CConystent，谷個(gè)節(jié)點(diǎn)數(shù)據(jù)始終備遂性AAvailable,在可容忍的時(shí)間內(nèi),交易請(qǐng)求有淄結(jié)果PPartitiontolerant,單個(gè)分區(qū)宕網(wǎng),系狗燃可使用系統(tǒng)架構(gòu)師需要根據(jù)業(yè)務(wù)，用各種變通的手法優(yōu)化CAP的三個(gè)特性，讓系統(tǒng)最終體現(xiàn)的效果可以與業(yè)務(wù)需求的預(yù)期一致。

目前看到的一些主流分布式方案，對(duì)這3個(gè)特性都有不同程度的選擇。我們?cè)谶\(yùn)營(yíng)上一個(gè)創(chuàng)業(yè)項(xiàng)目OneAPM時(shí)，為了解決處理用戶訪問軌跡而產(chǎn)生的海量數(shù)據(jù)的問題，曾綜合使用過Kafka、Zookeeper、Clickhouse等架構(gòu)來滿足業(yè)務(wù)需求，架構(gòu)圖如下：第三個(gè)階段：區(qū)塊鏈時(shí)代從數(shù)據(jù)庫(kù)技術(shù)的角度來看，區(qū)塊鏈的本質(zhì)是一個(gè)特定架構(gòu)的多活分布式數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)利用Paxos、RAFT等算法來保障數(shù)據(jù)庫(kù)多副本的強(qiáng)一致性，而區(qū)塊鏈?zhǔn)怯霉沧R(shí)算法來解決各個(gè)節(jié)點(diǎn)間數(shù)據(jù)一致性的問題。

POW、POS、DPOS等各類共識(shí)算法其本質(zhì)都是在競(jìng)爭(zhēng)將由哪個(gè)節(jié)點(diǎn)擁有寫入?yún)^(qū)塊（賬本數(shù)據(jù)）的權(quán)力。在區(qū)塊鏈的經(jīng)濟(jì)模型的設(shè)計(jì)中，對(duì)寫入?yún)^(qū)塊的行為進(jìn)行了經(jīng)濟(jì)激勵(lì)，極大的鼓舞了區(qū)塊鏈生態(tài)的發(fā)展。但也正是因?yàn)槊總€(gè)節(jié)點(diǎn)都有可能擁有寫入?yún)^(qū)塊的權(quán)力，為了保障系統(tǒng)數(shù)據(jù)一致性，必須與系統(tǒng)的響應(yīng)時(shí)間之間做出權(quán)衡。所以我們看到比特幣的TPS是每秒7比業(yè)務(wù)，以太坊的TPS也只有每秒幾十筆業(yè)務(wù)。分布式數(shù)據(jù)庫(kù)中的CAP問題，依然是區(qū)塊鏈需要挑戰(zhàn)的技術(shù)難題。當(dāng)然，目前隨著分片，閃電網(wǎng)絡(luò)等新技術(shù)的出現(xiàn)，交易性能的瓶頸再被不斷的優(yōu)化。此外，從產(chǎn)品的功能上來看，目前的區(qū)塊鏈技術(shù)主要提供的交易記賬的能力，并不能支撐數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)能力「增刪改查」，所以以功能而言，目前的區(qū)塊鏈本質(zhì)是數(shù)據(jù)庫(kù)技術(shù)棧的特殊子集。在區(qū)塊鏈上，擴(kuò)充對(duì)文件和數(shù)據(jù)增刪改查的能力是DAPP生態(tài)發(fā)展的關(guān)鍵能力?？v觀數(shù)據(jù)庫(kù)系統(tǒng)演進(jìn)的這3個(gè)時(shí)代，技術(shù)發(fā)展的浪潮無法阻擋，我們唯一可以做的只有學(xué)習(xí)和面對(duì)。正如分布式數(shù)據(jù)庫(kù)最終替代了傳統(tǒng)O