




版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 分布式數(shù)據(jù)庫(kù)在商業(yè)銀行設(shè)計(jì)與實(shí)踐相關(guān)的20個(gè)問(wèn)題 前不久我們邀請(qǐng)行業(yè)專(zhuān)家分享了分布式數(shù)據(jù)庫(kù) TiDB 在商業(yè)銀行的設(shè)計(jì)與實(shí)踐(點(diǎn)擊標(biāo)題可閱讀),并與會(huì)員共同探討了在商業(yè)銀行中,分布式數(shù)據(jù)庫(kù)應(yīng)用的相關(guān)問(wèn)題,獲得了廣泛關(guān)注,以下是嘉賓wanglaye根據(jù)活動(dòng)交流內(nèi)容總結(jié)出的重點(diǎn)問(wèn)題和典型問(wèn)題,有助于大家對(duì)分布式數(shù)據(jù)庫(kù)在商業(yè)銀行的應(yīng)用進(jìn)一步了解,以及弄清相關(guān)疑問(wèn)、難點(diǎn)。供大家參考。背景大數(shù)據(jù)時(shí)代,為應(yīng)對(duì)海量數(shù)據(jù)的井噴式增長(zhǎng)和用戶(hù)需求的不斷增加,分布式數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。分布式數(shù)據(jù)庫(kù)將位于不同地點(diǎn)的多個(gè)服務(wù)器通過(guò)網(wǎng)絡(luò)互相連接,共同組成一個(gè)完整的、全局的大型數(shù)據(jù)庫(kù),它在邏輯上集中、物理上分布。在數(shù)據(jù)存儲(chǔ)上
2、,分布式數(shù)據(jù)庫(kù)將數(shù)據(jù)打散存儲(chǔ)在不同服務(wù)器上,故而將數(shù)據(jù)庫(kù)壓力分散到不同服務(wù)器上。分布式數(shù)據(jù)庫(kù)具有以下顯著特點(diǎn):高可擴(kuò)展性、高并發(fā)性、高可用性。分布式數(shù)據(jù)庫(kù)在互聯(lián)網(wǎng)應(yīng)用場(chǎng)景下已經(jīng)積累了很多成熟的技術(shù),但相比互聯(lián)網(wǎng)企業(yè),金融行業(yè)對(duì)分布式數(shù)據(jù)庫(kù)的要求更高,除了上文提到的高可擴(kuò)展性、高并發(fā)性、高可用性之外,分布式數(shù)據(jù)庫(kù)還需要具備支持分布式事務(wù)、提供業(yè)務(wù)數(shù)據(jù)一致性、易于維護(hù)等特性,因此,金融行業(yè)需要更加完備的技術(shù)支持。面對(duì)互聯(lián)網(wǎng)業(yè)務(wù)的不斷深化以及業(yè)務(wù)量的爆發(fā)式增長(zhǎng),傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)能力有限、響應(yīng)時(shí)間長(zhǎng)、服務(wù)器壓力大、擴(kuò)容成本高等問(wèn)題逐漸凸顯。面對(duì)交易復(fù)雜度及交易量的大幅提升,某行信息系統(tǒng)采用的傳統(tǒng)數(shù)據(jù)庫(kù)一
3、體化解決方案,在應(yīng)對(duì)此類(lèi)場(chǎng)景時(shí)遇到了明顯的性能瓶頸。該行計(jì)劃搭建基于實(shí)時(shí)交易的分布式數(shù)據(jù)庫(kù)平臺(tái),響應(yīng)國(guó)家科技金融戰(zhàn)略,開(kāi)辟數(shù)據(jù)庫(kù)創(chuàng)新的新路徑;對(duì)IT系統(tǒng)而言,使用分布式數(shù)據(jù)庫(kù)可以提高性能、縮減成本、保障數(shù)據(jù)安全與高可用;對(duì)運(yùn)維人員而言,分布式數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)自動(dòng)資源調(diào)度,提高運(yùn)維效率。詳情可見(jiàn):分布式數(shù)據(jù)庫(kù) TiDB 在商業(yè)銀行的設(shè)計(jì)與實(shí)踐本次交流活動(dòng)針對(duì)分布式數(shù)據(jù)庫(kù)在商業(yè)銀行領(lǐng)域的設(shè)計(jì)與實(shí)踐,基于上述實(shí)踐分享,就分布式數(shù)據(jù)庫(kù)的特點(diǎn)、應(yīng)用場(chǎng)景、選型、性能、設(shè)計(jì)、實(shí)踐等方面提出了20個(gè)問(wèn)題,并做了較為深入的討論和詳細(xì)的解答。一、分布式數(shù)據(jù)庫(kù)的特點(diǎn)、應(yīng)用場(chǎng)景相關(guān)問(wèn)題【Q1】分布式數(shù)據(jù)庫(kù)適用場(chǎng)景有哪些
4、?和傳統(tǒng)的數(shù)據(jù)庫(kù)有哪些不同?匿名用戶(hù):分布式數(shù)據(jù)的使用場(chǎng)景,依賴(lài)于數(shù)據(jù)庫(kù)產(chǎn)品本身的特點(diǎn)來(lái)說(shuō)的。如果非要說(shuō)一些它的場(chǎng)景的話(huà),哪就是兩個(gè)量大(數(shù)量量大,請(qǐng)求量大)共存的業(yè)務(wù)。和傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別有幾點(diǎn):1.分布式。傳統(tǒng)數(shù)據(jù)庫(kù)基本上單機(jī)版。2.能支撐更大量的數(shù)據(jù),和請(qǐng)求量(或事務(wù)量)。3.因數(shù)據(jù)的分片方式不同,要結(jié)合應(yīng)用場(chǎng)景進(jìn)行選擇和應(yīng)用適配。傳統(tǒng)數(shù)據(jù)庫(kù)不需要mornsky 某銀行研發(fā)工程師:互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)量、并發(fā)量劇增,傳統(tǒng)單節(jié)點(diǎn)數(shù)據(jù)庫(kù)方式很難適應(yīng),這就是分布式數(shù)據(jù)庫(kù)的用武之地。今后,不管是互聯(lián)網(wǎng)企業(yè)還是金融業(yè)或傳統(tǒng)企業(yè),分布式數(shù)據(jù)庫(kù)是趨勢(shì),或者傳統(tǒng)數(shù)據(jù)庫(kù)也將走向分布式升級(jí)改造。wanglaye某
5、商業(yè)銀行技術(shù)經(jīng)理:分布式數(shù)據(jù)庫(kù)針對(duì)的是海量數(shù)據(jù)、高并發(fā)交易的應(yīng)用場(chǎng)景。傳統(tǒng)事務(wù)型業(yè)務(wù)場(chǎng)景在選擇數(shù)據(jù)庫(kù)時(shí),也要考慮分布式數(shù)據(jù)庫(kù)是否支持分布式事務(wù)。【Q2】TIDB 相對(duì)比一體機(jī)區(qū)別?tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:具體是那種一體機(jī)呢?大機(jī),AS/400,Teradata,Netezza,Exadata,HANA?TiDB 一般使用場(chǎng)景是數(shù)據(jù)量較大的 OLTP 系統(tǒng),也可以混合輕量 OLAP 運(yùn)算?!綫3】分布式數(shù)據(jù)庫(kù)有沒(méi)有安裝簡(jiǎn)易的簡(jiǎn)易學(xué)習(xí)版或者單機(jī)版,用于學(xué)習(xí)普及培訓(xùn)?gaolyang 某商業(yè)銀行 技術(shù)經(jīng)理:建議到pingcap官網(wǎng)上看看,上面有很詳細(xì)的學(xué)習(xí)文檔,/docs-cn/
6、。MrSylar 某金融公司 數(shù)據(jù)庫(kù)管理員:有木有建議學(xué)習(xí)版或者單機(jī)版,我不是很確認(rèn)。但個(gè)人感覺(jué),所有的數(shù)據(jù)庫(kù)安裝基本都不會(huì)是問(wèn)題,無(wú)非是個(gè)熟悉的過(guò)程,你更多需要的是個(gè)成功的安裝文檔,so 多加幾個(gè)相關(guān)的群,你會(huì)發(fā)現(xiàn)一大堆。冰玉 北京瑞尼爾 數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師:分布式是在多臺(tái)服務(wù)器的基礎(chǔ)上的,單機(jī)的可以是分布式的單個(gè)節(jié)點(diǎn)獨(dú)立運(yùn)行。他的難點(diǎn)就是多臺(tái)機(jī)器協(xié)作作業(yè),單機(jī)可以運(yùn)行但是沒(méi)有什么意義??梢院?jiǎn)單點(diǎn),在兩個(gè)虛擬機(jī)上安裝。分布式并不是很高深,內(nèi)部原理復(fù)雜,通常配置和使用并不是很麻煩。劉誠(chéng)杰 平安城科 數(shù)據(jù)庫(kù)管理員:mongodb的sharding,可以使用mtools工具快速安裝單機(jī)的學(xué)習(xí)版(測(cè)試
7、版)?!綫4】Db2 dpf數(shù)據(jù)庫(kù)屬于分布式數(shù)據(jù)庫(kù)嗎?有沒(méi)有正在使用的,性能、可靠性如何?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:Db2是傳統(tǒng)數(shù)據(jù)庫(kù),與分布式數(shù)據(jù)庫(kù)還存在很大區(qū)別。tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:shared nothing 的 MPP 在廣義上也屬于分布式架構(gòu),用于重型 OLAP 系統(tǒng),如經(jīng)營(yíng)分析,財(cái)務(wù)報(bào)表,反欺詐,決策支持等系統(tǒng)。在 MPP 數(shù)據(jù)庫(kù)中,一張表的數(shù)據(jù)分布在多個(gè)分區(qū)上,可靠性隨分區(qū)數(shù)量增加線(xiàn)性下降,可以通過(guò)對(duì)分區(qū)進(jìn)行多副本復(fù)制提高可用性。Join 性能是 MPP 的核心競(jìng)爭(zhēng)力,因此被大規(guī)模用于 OLAP 系統(tǒng)中,而 OLAP 對(duì)于可用性要求不太高的特點(diǎn)也
8、一定程度掩蓋了 MPP 的缺點(diǎn)。此種架構(gòu)不作 OLTP 系統(tǒng)數(shù)據(jù)庫(kù)使用。馮萬(wàn)里 IBM 數(shù)據(jù)庫(kù)架構(gòu)師:確切說(shuō)dpf是屬于閹割了高可用功能的分布式數(shù)據(jù)庫(kù)。因?yàn)閐pf雖然有多個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)又有多個(gè)分區(qū),但是宕掉任何一個(gè)節(jié)點(diǎn),數(shù)據(jù)庫(kù)功能都無(wú)法正常使用,和平常大眾所認(rèn)知的分布式數(shù)據(jù)庫(kù)還有一些差別?!綫5】HBASE分布式數(shù)據(jù)庫(kù)特點(diǎn)?yinxin 某集團(tuán)公司 項(xiàng)目經(jīng)理:Hbase的優(yōu)點(diǎn):1 列的可以動(dòng)態(tài)增加,并且列為空就不存儲(chǔ)數(shù)據(jù),節(jié)省存儲(chǔ)空間.2 Hbase自動(dòng)切分?jǐn)?shù)據(jù),使得數(shù)據(jù)存儲(chǔ)自動(dòng)具有水平scalability.3 Hbase可以提供高并發(fā)讀寫(xiě)操作的支持Hbase的缺點(diǎn):1 不能支持條件查詢(xún),
9、只支持按照Row key來(lái)查詢(xún).2 暫時(shí)不能支持Master server的故障切換,當(dāng)Master宕機(jī)后,整個(gè)存儲(chǔ)系統(tǒng)就會(huì)掛掉.其他:1.數(shù)據(jù)類(lèi)型,HBase只有簡(jiǎn)單的字符類(lèi)型,所有的類(lèi)型都是交由用戶(hù)自己處理,它只保存字符串。而關(guān)系數(shù)據(jù)庫(kù)有豐富的類(lèi)型和存儲(chǔ)方式;2.數(shù)據(jù)操作:HBase只有很簡(jiǎn)單的插入、查詢(xún)、刪除、清空等操作,表和表之間是分離的,沒(méi)有復(fù)雜的表和表之間的關(guān)系,而傳統(tǒng)數(shù)據(jù)庫(kù)通常有各式各樣的函數(shù)和連接操作;3.存儲(chǔ)模式:HBase是基于列存儲(chǔ)的,每個(gè)列族都由幾個(gè)文件保存,不同的列族的文件時(shí)分離的。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)是基于表格結(jié)構(gòu)和行模式保存的;4.數(shù)據(jù)維護(hù),HBase的更新操作不
10、應(yīng)該叫更新,它實(shí)際上是插入了新的數(shù)據(jù),而傳統(tǒng)數(shù)據(jù)庫(kù)是替換修改;5.可伸縮性,Hbase這類(lèi)分布式數(shù)據(jù)庫(kù)就是為了這個(gè)目的而開(kāi)發(fā)出來(lái)的,所以它能夠輕松增加或減少硬件的數(shù)量,并且對(duì)錯(cuò)誤的兼容性比較高。而傳統(tǒng)數(shù)據(jù)庫(kù)通常需要增加中間層才能實(shí)現(xiàn)類(lèi)似的功能。【Q6】mycat主要的應(yīng)用場(chǎng)景是什么呢?是不是主要和mysql進(jìn)行結(jié)合?喂小飽me9 chinapay 數(shù)據(jù)庫(kù)運(yùn)維工程師:mycat是基于mysql的,目前正好有測(cè)這個(gè),我的主要目的是為了方便將SQL語(yǔ)句翻譯成MONGODB語(yǔ)句,應(yīng)用程序通過(guò)連接mycat去查詢(xún)后端的MONGODB,mycat也可以作為一個(gè)庫(kù)集成工具,對(duì)于用戶(hù)來(lái)說(shuō),只要查詢(xún)mycat,
11、就可以查到mycat后端的多個(gè)庫(kù)。TonyWang 系統(tǒng)工程師:建議看官網(wǎng)介紹 http:/www.mycat.io/【Q7】MySQL分布式有什么成熟的方案(除了MyCAT)?TonyWang系統(tǒng)工程師:MyCat 是MySQL分布式的一種實(shí)現(xiàn)方式,以數(shù)據(jù)庫(kù)代理方式其他方式也可以考慮,下圖是京東的網(wǎng)址:http:/shardingsphere.io/document/current/cn/overview/二、分布式數(shù)據(jù)庫(kù)的選型相關(guān)問(wèn)題【Q1】主流的分布式數(shù)據(jù)庫(kù)有哪些?login 網(wǎng)絡(luò)架構(gòu)師:市面上的分布式數(shù)據(jù)庫(kù)有Tidb、巨杉、OB、TDSQL等。韓成亮 某金融 數(shù)據(jù)庫(kù)架構(gòu)師:補(bǔ)充下GPD
12、B/MariaDB ColumnStore/products/technology/columnstore【Q2】選擇分布式數(shù)據(jù)庫(kù)對(duì)于銀行自身的意義?有哪些好處?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:隨著國(guó)家對(duì)信息系統(tǒng)安全可控的要求不斷提高,銀行業(yè)對(duì)于自身的技術(shù)路線(xiàn)選擇也應(yīng)自主可控。近年來(lái),商業(yè)銀行紛紛加大對(duì)分布式數(shù)據(jù)庫(kù)的投入,大部分銀行仍處于探索階段,少數(shù)銀行將分布式數(shù)據(jù)庫(kù)技術(shù)應(yīng)用于非業(yè)務(wù)交易系統(tǒng)上。因此,我行計(jì)劃搭建基于實(shí)時(shí)交易的分布式數(shù)據(jù)庫(kù)平臺(tái),以開(kāi)辟數(shù)據(jù)庫(kù)創(chuàng)新的新路徑。此外,對(duì)IT系統(tǒng)而言,分布式數(shù)據(jù)庫(kù)可提高性能、縮減成本、保障數(shù)據(jù)安全與高可用。對(duì)運(yùn)維人員而言,分布式數(shù)據(jù)庫(kù)可以進(jìn)行一定程
13、度的自動(dòng)資源調(diào)度,提高運(yùn)維效率。韓成亮 某金融 數(shù)據(jù)庫(kù)架構(gòu)師:首先需要明確一件事情,銀行也是需要分布式數(shù)據(jù)庫(kù)的。目前的數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu),理論上當(dāng)然是沒(méi)問(wèn)題的,但是隨著未來(lái)業(yè)務(wù)場(chǎng)景的變化,會(huì)造成諸如業(yè)務(wù)量的急速上升,同時(shí)周邊產(chǎn)品的蝴蝶效應(yīng),還有一些互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展,不可避免的會(huì)造成高并發(fā),高數(shù)據(jù)量,高可用性的相關(guān)要求,自然而然,分布式數(shù)據(jù)庫(kù)的需求就應(yīng)用而生,當(dāng)然,這兩者是有一定的關(guān)聯(lián)性,并不是一蹴而就的,對(duì)于其他行業(yè)而言,也是一樣的道理。對(duì)于銀行而言,目前的架構(gòu)容災(zāi)無(wú)可厚非,由于銀行行業(yè)的特殊性,一般話(huà)而言會(huì)有多個(gè)災(zāi)備中心,在大部分的情況下,災(zāi)備中心的機(jī)器會(huì)存在一定程度的資源浪費(fèi),乃至可以說(shuō)是空置
14、,還需要經(jīng)常的進(jìn)行切換,保證災(zāi)備中心的可用性,還有就說(shuō)機(jī)器的規(guī)模,基本上會(huì)要求1:1 ,無(wú)論是從硬件成本還是人力成本都是很大的開(kāi)支。從某種角度上而言,銀行可能比其他任何行業(yè)都急需分布式數(shù)據(jù)庫(kù)的需求。分布式數(shù)據(jù)庫(kù)的好處,簡(jiǎn)單點(diǎn)說(shuō)就是 成本低,易維護(hù),易擴(kuò)展,可以有更多的成本投入到業(yè)務(wù)中去。tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:傳統(tǒng)架構(gòu)中的核心數(shù)據(jù)庫(kù)如大機(jī),AS/400,Power + Oracle Rac/DB2 PureScale 都已經(jīng)或?qū)⒚媾R一個(gè)非常核心的挑戰(zhàn) - OLTP 系統(tǒng)數(shù)據(jù)量超過(guò)了架構(gòu)所能承載的極限,離線(xiàn)部分如日終處理,季度結(jié)息等也耗時(shí)越來(lái)越久。分布式數(shù)據(jù)庫(kù)的計(jì)算+存儲(chǔ) s
15、cale-out 能力突破了現(xiàn)有架構(gòu)的容量限制。【Q3】當(dāng)前金融環(huán)境下分布數(shù)據(jù)庫(kù)選型?目前分布式數(shù)據(jù)庫(kù)各式各樣,要想選擇一個(gè)靠譜的分布式數(shù)據(jù)庫(kù)是特別的難。特別對(duì)于金融行業(yè),對(duì)數(shù)據(jù)的一致性、可用性要求這么高。p14159 數(shù)據(jù)庫(kù)管理員:目前很多金融公司都開(kāi)始使用多云的環(huán)境,對(duì)應(yīng)的數(shù)據(jù)庫(kù)也開(kāi)始向著分布式發(fā)展,OLTP OLAP的界限不再明顯。 市場(chǎng)上有很多類(lèi)似的產(chǎn)品,商業(yè)的如阿里的DRDS、亞馬遜的Aurora等,開(kāi)源的如CockroachDB 、TiDB 、 巨杉、 RadonDB 等。更多的選擇,更多的學(xué)習(xí)成本,給技術(shù)人員帶來(lái)了更多的挑戰(zhàn)。在分布式數(shù)據(jù)庫(kù)的選擇上,大家重點(diǎn)要考慮哪些因素?個(gè)人認(rèn)
16、為有如下幾點(diǎn):1 大廠(chǎng)/社區(qū)的支持2 龐大的用戶(hù)規(guī)模,豐富的生產(chǎn)使用案例3 開(kāi)發(fā)團(tuán)隊(duì)更重視用戶(hù)的聲音,能夠及時(shí)調(diào)整設(shè)計(jì)思路。4 對(duì)原生的SQL完全支持5 完整的生態(tài),如備份遷移工具,優(yōu)化分析報(bào)告、監(jiān)控與自動(dòng)化管理等gaolyang 某商業(yè)銀行技術(shù)經(jīng)理:還有一點(diǎn)很重要,公司的技術(shù)支持態(tài)度及能力。wuwenpin 軟件開(kāi)發(fā)工程師:自身的技術(shù)力量更重要。匿名用戶(hù):我個(gè)人覺(jué)得從幾個(gè)地方去看:1.產(chǎn)品成熟度。數(shù)據(jù)庫(kù)是個(gè)非常重要的系統(tǒng),對(duì)系統(tǒng)的穩(wěn)定性要求非常好,產(chǎn)品成熟度高代表著穩(wěn)定性會(huì)好一些。2.使用廣泛。使用廣泛也是為了穩(wěn)定性,同時(shí)遇到問(wèn)題,有響應(yīng)的社群交流。3.技術(shù)實(shí)力。公司是否具有很高的技術(shù)實(shí)力和
17、知名度。4.針對(duì)這些產(chǎn)品結(jié)合自己的金融場(chǎng)景來(lái)選擇,其實(shí)上面的不是都適合金融的OLTP場(chǎng)景。5.成本。這里包括購(gòu)買(mǎi)成本,以及維護(hù)成本,這個(gè)需要自己去測(cè)試一下?!綫4】選擇分布式數(shù)據(jù)庫(kù)所注重的數(shù)據(jù)庫(kù)特性有哪些?匿名用戶(hù):我個(gè)人覺(jué)得有幾點(diǎn)需要關(guān)注:1.是OLTP還是OLAP?2.在具體的場(chǎng)景下性能如何?3.數(shù)據(jù)分布的策略是什么?4.增刪節(jié)點(diǎn)是否比較容易?5.后續(xù)在使用過(guò)程中如果遇到問(wèn)題,它支持是否給力?【Q5】貴行對(duì)于分布式數(shù)據(jù)庫(kù)的技術(shù)評(píng)價(jià)項(xiàng)有哪些方面?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:主要有以下幾個(gè)關(guān)鍵評(píng)價(jià)指標(biāo):可靠性和高可用性,靈活擴(kuò)展能力,分布式查詢(xún)支持性,兼容性,基礎(chǔ)運(yùn)維友好性。三、分布式
18、數(shù)據(jù)庫(kù)設(shè)計(jì)、實(shí)踐、性能相關(guān)問(wèn)題【Q1】傳統(tǒng)數(shù)據(jù)庫(kù)如果要改造成分布式數(shù)據(jù)庫(kù),有哪些技術(shù)難點(diǎn)?韓成亮 某金融 數(shù)據(jù)庫(kù)架構(gòu)師:個(gè)人覺(jué)得主要是思維模式的轉(zhuǎn)變,畢竟分布式數(shù)據(jù)庫(kù)就目前而言,在事務(wù)而言,采用的分布式事務(wù),還有就是分布式數(shù)據(jù)庫(kù)主要有調(diào)度節(jié)點(diǎn),計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)構(gòu)成,這個(gè)跟傳統(tǒng)的其實(shí)是個(gè)很大的差別,對(duì)于問(wèn)題的排查可能需要更加準(zhǔn)確的認(rèn)知,還有一些分布式數(shù)據(jù)庫(kù)的特性,分布式數(shù)據(jù)庫(kù)的使用習(xí)慣,跟傳統(tǒng)的有很大差別,比方說(shuō)一件擴(kuò)容,彈性擴(kuò)展,在線(xiàn)遷移,還有就是高可用等,其次是傳統(tǒng)意義上的備份方式就不是很實(shí)用了。至于傳統(tǒng)數(shù)據(jù)庫(kù)的改造,說(shuō)到底就是業(yè)務(wù)的改變,簡(jiǎn)單點(diǎn)而言,無(wú)論是傳統(tǒng)數(shù)據(jù)庫(kù)還是分布式數(shù)據(jù)庫(kù)說(shuō)到底
19、的本質(zhì)上而言是存儲(chǔ)數(shù)據(jù),并進(jìn)行相應(yīng)的業(yè)務(wù)邏輯處理,存儲(chǔ)數(shù)據(jù)庫(kù)大體是一致的,對(duì)于業(yè)務(wù)的處理部分就會(huì)牽扯到事務(wù)了,乃至于性能響應(yīng)了,這部分的難點(diǎn)不言而喻,事務(wù)的一致性跟性能的可用性就是一個(gè)取舍,當(dāng)然也可以使用事務(wù)的最終一致性來(lái)解決,而這個(gè)也是常規(guī)的分布式數(shù)據(jù)庫(kù)所推薦的方案。gaolyang 某商業(yè)銀行技術(shù)經(jīng)理:首先從業(yè)務(wù)系統(tǒng)角度來(lái)說(shuō),該系統(tǒng)所使用的數(shù)據(jù)庫(kù)對(duì)象構(gòu)成方面,最好只有簡(jiǎn)單的SQL語(yǔ)句,而無(wú)存儲(chǔ)過(guò)程等傳統(tǒng)數(shù)據(jù)庫(kù)中的復(fù)雜對(duì)象,也就是數(shù)據(jù)遷移成本;其次,對(duì)于所創(chuàng)建的分布式數(shù)據(jù)庫(kù)集群,由于集群有一定的服務(wù)器規(guī)模,所以要平衡硬件成本問(wèn)題;最后我認(rèn)為,業(yè)務(wù)系統(tǒng)的類(lèi)型除了應(yīng)滿(mǎn)足高并發(fā)等OLTP數(shù)據(jù)庫(kù)的特
20、性之外,還有海量數(shù)據(jù)存儲(chǔ)的需要?!綫2】貴行做的分布式數(shù)據(jù)庫(kù)的多活如何保證網(wǎng)絡(luò)的延時(shí)?wanglaye 某商業(yè)銀行技術(shù)經(jīng)理:集群內(nèi)部使用萬(wàn)兆網(wǎng)絡(luò)通訊最佳,多數(shù)據(jù)中心之間使用裸光纖+波分設(shè)備是最佳選擇,如果是異地,在條件允許的情況下,用光纖最佳,但要考慮高昂的成本。最好是從架構(gòu)層面設(shè)計(jì)多活,從業(yè)務(wù)層面考慮異地網(wǎng)絡(luò)的延時(shí)。chrislay UBI系統(tǒng)架構(gòu)師:多數(shù)據(jù)庫(kù)中心,租用運(yùn)營(yíng)商的帶寬,一般是波分設(shè)備,有的是拉裸纖,成本就高了,還有就是業(yè)務(wù)架構(gòu)上的優(yōu)化?!綫3】單數(shù)據(jù)中心,多 TiKV 進(jìn)程終止、TiKV 服務(wù)器宕機(jī)、TiDB 服務(wù)器宕機(jī)、PD 服務(wù)器宕機(jī),集群是否仍然可以對(duì)外服務(wù)?匿名用戶(hù):?jiǎn)?/p>
21、數(shù)據(jù)中心下,出現(xiàn)一定程度(每個(gè)產(chǎn)品有一定的最大宕機(jī)數(shù))宕機(jī),集群是可以對(duì)外提供服務(wù)的。如果是多IDC下,目前很多分布式數(shù)據(jù)庫(kù)是做不到的,除非考慮IDC之間做專(zhuān)線(xiàn)。wanglaye 某商業(yè)銀行技術(shù)經(jīng)理:這個(gè)要考慮整個(gè)集群的架構(gòu)設(shè)計(jì)。TiKV 是一個(gè)集群,通過(guò) Raft 協(xié)議保持?jǐn)?shù)據(jù)一致性,并通過(guò) PD 做負(fù)載均衡調(diào)度。單個(gè)TiKV節(jié)點(diǎn)失效時(shí),會(huì)影響這個(gè)節(jié)點(diǎn)上存儲(chǔ)的所有Region。對(duì)于 Region 中的Leader 結(jié)點(diǎn),會(huì)中斷服務(wù),等待其他TiKV上的Region重新選舉Leader,待Leader選出了可繼續(xù)對(duì)外提供服務(wù),這個(gè)過(guò)程非常短;對(duì)于Region 中的Follower節(jié)點(diǎn),不會(huì)影響
22、服務(wù)。TiDB 是無(wú)狀態(tài)的,通過(guò)前端的F5對(duì)外提供服務(wù)。當(dāng)單個(gè)TiDB實(shí)例失效時(shí),僅僅會(huì)影響正在這個(gè)實(shí)例上進(jìn)行的會(huì)話(huà),從應(yīng)用的角度看,會(huì)出現(xiàn)單次請(qǐng)求失敗的情況,應(yīng)用重新連接至其他TiDB實(shí)例后即可繼續(xù)獲得服務(wù)。單個(gè)TiDB實(shí)例失效后,可以重啟這個(gè)實(shí)例或者部署一個(gè)新的實(shí)例。PD 是一個(gè)集群,通過(guò) Raft 協(xié)議保持?jǐn)?shù)據(jù)的一致性。單個(gè)實(shí)例失效時(shí),如果不是leader,那么服務(wù)完全不受影響;如果是leader,那么PD集群會(huì)重新選出新的leader,自動(dòng)恢復(fù)服務(wù)。在實(shí)際測(cè)試和應(yīng)用過(guò)程中,單數(shù)據(jù)中心,TiKV 服務(wù)不可用、TiKV 主機(jī)故障、TiDB 主機(jī)故障、PD 主機(jī)故障,數(shù)據(jù)庫(kù)均能正常提供服務(wù)。
23、【Q4】集群中單臺(tái)TiKV出現(xiàn)故障,如tikv進(jìn)程終止、TiKV 主機(jī)萬(wàn)兆網(wǎng)卡斷開(kāi)、TiKV 主機(jī)服務(wù)器宕機(jī),集群是否仍然可以對(duì)外服務(wù)?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:只要集群中剩余可用副本數(shù)仍占大多數(shù),集群就可以對(duì)外服務(wù)。TiKV 進(jìn)程終止,集群對(duì)外服務(wù)正常TiKV。進(jìn)程恢復(fù)后,數(shù)據(jù)同步正常,該TiKV 恢復(fù)正常狀態(tài)。單臺(tái) TiKV 網(wǎng)絡(luò)故障,數(shù)據(jù)庫(kù)正常提供服務(wù)。 網(wǎng)絡(luò)恢復(fù)后,數(shù)據(jù)同步正常,該 TiKV 恢復(fù)正常狀態(tài)。單臺(tái) TiKV 主機(jī)故障,數(shù)據(jù)庫(kù)正常提供服務(wù)。 主機(jī)恢復(fù)后,數(shù)據(jù)同步正常,該 TiKV 恢復(fù)正常狀態(tài)。tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:在部署集群的時(shí)候可以為集群
24、中的 tikv 添加 label 信息,PD 會(huì)根據(jù) label 信息進(jìn)行副本調(diào)度,根據(jù)所配置的 label 級(jí)別的不同,可以避免將同一個(gè) region 的兩個(gè) replica 調(diào)度到:同一臺(tái)服務(wù)器的兩個(gè) tikv 實(shí)例上同一個(gè)機(jī)架的幾個(gè) tikv 實(shí)例上同一個(gè)機(jī)房的幾個(gè) tikv 實(shí)例上據(jù)此可以實(shí)現(xiàn)服務(wù)器級(jí)/機(jī)架級(jí)/機(jī)房級(jí)的容災(zāi),因?yàn)榧褐羞€存活大多數(shù)的副本就有能力對(duì)外提供服務(wù)。詳情參考官方手冊(cè):/docs/op-guide/location-awareness/【Q5】OLTP型分布式數(shù)據(jù)庫(kù)跨節(jié)點(diǎn)事務(wù)性能問(wèn)題?金融銀行傳統(tǒng)業(yè)務(wù)采用分布式數(shù)據(jù)庫(kù)的話(huà),業(yè)務(wù)場(chǎng)景復(fù)雜,例如對(duì)賬戶(hù)表的拆分,轉(zhuǎn)賬交易
25、的話(huà)可能會(huì)導(dǎo)致大量的分布式事務(wù),影響整體數(shù)據(jù)庫(kù)性能,或者無(wú)法發(fā)揮分布式數(shù)據(jù)庫(kù)的優(yōu)勢(shì),針對(duì)這個(gè)問(wèn)題,有沒(méi)有比較理想的解決方案?劉誠(chéng)杰 平安城科數(shù)據(jù)庫(kù)管理員:CAP就占有技術(shù)本身就無(wú)法兼得,在銀行場(chǎng)景只能犧牲速度,保證事務(wù)執(zhí)行。除了核心的資金場(chǎng)景,少用事務(wù)可以更合理使用分布式數(shù)據(jù)庫(kù)。韓成亮 某金融數(shù)據(jù)庫(kù)架構(gòu)師:針對(duì)這個(gè)問(wèn)題,首先我們需要了解事務(wù)的一致性,分布式數(shù)據(jù)庫(kù)不可避免的或多或少存在這樣的問(wèn)題,簡(jiǎn)單點(diǎn)而言,我們有些時(shí)候并不需要保證單個(gè)事務(wù)的一致性,我們可能通過(guò)最終一致性來(lái)解決,而這個(gè)也是分布式數(shù)據(jù)庫(kù)設(shè)計(jì)的一個(gè)因素,因?yàn)橥行r(shí)候可用性和一致性很難平衡,這就有了保證最終一致性的各種措施比如消息隊(duì)列,全局事務(wù)表,二階段提交,三階段提交等?!綫6】分布式數(shù)據(jù)庫(kù)在運(yùn)維過(guò)程中的坑有哪些?陽(yáng)嗨超 某平臺(tái)架構(gòu)部高級(jí)技術(shù)經(jīng)理IT顧問(wèn):所謂的坑是需要看具體的某一個(gè)產(chǎn)品的。分布式數(shù)據(jù)庫(kù)運(yùn)維中,整體來(lái)說(shuō)有幾個(gè)地方的挑戰(zhàn):1. 是運(yùn)維的復(fù)雜度會(huì)提升不少。譬如:異常故障的處理等。 2.備份和恢復(fù)會(huì)復(fù)雜一些。這些的恢復(fù)是指產(chǎn)生邏輯
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 漢語(yǔ)拼音試卷測(cè)試題及答案
- cgyl幾何畫(huà)板試題及答案
- 系統(tǒng)性復(fù)習(xí)安排初級(jí)社會(huì)工作者試題及答案
- 焊工考考試試題及答案
- 中級(jí)社會(huì)工作者的實(shí)踐能力試題及答案證明
- 系統(tǒng)分析師考試傳授學(xué)習(xí)經(jīng)驗(yàn)試題及答案
- 數(shù)據(jù)庫(kù)面試題及答案
- 研究生mba考試試題及答案
- 建筑力學(xué)試題及答案甘肅
- 初級(jí)社會(huì)工作者對(duì)青少年支持試題及答案
- 2023年廣西高考?xì)v史真題(含答案)
- 四川建筑施工資料表格(施工單位用表)全套
- 工作作風(fēng)不嚴(yán)謹(jǐn)?shù)谋憩F(xiàn)及改進(jìn)措施范文(通用5篇)
- 過(guò)濾器檢驗(yàn)報(bào)告
- DB11-T 675-2014 清潔生產(chǎn)評(píng)價(jià)指標(biāo)體系 醫(yī)藥制造業(yè)
- 2023家具采購(gòu)合同范本專(zhuān)業(yè)版-1
- GB/T 29319-2012光伏發(fā)電系統(tǒng)接入配電網(wǎng)技術(shù)規(guī)定
- GB/T 11264-2012熱軋輕軌
- 國(guó)學(xué)導(dǎo)論·巴蜀文化課件
- 《事業(yè)單位人事管理?xiàng)l例》及其配套制度講義課件
- 試卷交接簽字單
評(píng)論
0/150
提交評(píng)論