SequoiaDB大型數(shù)據(jù)庫(kù)概述

1、SequoiaDB深度剖析AgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234我們開源啦！Then: Scale UpNow: Scale OutScale Up / Scale OutDocument-oriented DatabaseRDBMSSequoiaDB db.foo.cl.find()_id: $oid: 55220a6c6ccec0df0f000000,name: Alex Zhang,age: 40,address: city: Beijing,road: XiZhiMen

2、,unit: 31,contact: type: phone,id:type: Email,id: 樣例數(shù)據(jù)管理從數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)App Server協(xié)調(diào)節(jié)點(diǎn)App Server協(xié)調(diào)節(jié)點(diǎn)App Server協(xié)調(diào)節(jié)點(diǎn)SequoiaDB Architecture應(yīng)用程序編目節(jié)點(diǎn)編目節(jié)點(diǎn)編目節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)通過(guò)動(dòng)態(tài)增加復(fù)制組 數(shù)量達(dá)到水平擴(kuò)張的目的AgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234(S)數(shù)據(jù)節(jié)點(diǎn)

3、(S)高可用性 hello: “world” hello: “world” 協(xié)調(diào)節(jié)點(diǎn)選舉 hello: “world” 數(shù)據(jù)節(jié)點(diǎn)(P)數(shù)據(jù)節(jié)點(diǎn)(P)支持事務(wù)的提交和回滾集群使用二段提交模式當(dāng)前版本支持UR隔離級(jí)別集合級(jí)別可指定強(qiáng)一致性或最終一致性級(jí)別事務(wù)支持事務(wù)支持db.cs.cl.insert( key0: 0 )db.transBegin()db.cs.cl.insert( key0: 1 )db.cs.cl.insert( key0: 2 )db.cs.cl.update( key0: 1 , key1: 1 )db.transRollback()db.cs.cl.insert( key

4、1: 0 )db.transBegin()db.cs.cl.insert( key1: 1 )db.cs.cl.insert( key1: 2 )db.cs.cl.insert( key1: 3 )db.transCommit() key0: 0 key1: 0 key0: 1 key1: key1: key0: 1 key0: 2 key1: 2 key1: 3 1, 1 主節(jié)點(diǎn)備節(jié)點(diǎn)找不到？最終一致性寫入成功主節(jié)點(diǎn)備節(jié)點(diǎn)找到了強(qiáng)一致性寫入成功重新選舉時(shí)的一致性要素 在原主節(jié)點(diǎn)宕機(jī)，原備節(jié)點(diǎn)生主后，如何在其他備節(jié)點(diǎn)之間做到數(shù)據(jù)一致性？ 如果事務(wù)開啟，重新選舉機(jī)制會(huì)回滾未完成事務(wù)主備備ABAB

5、C我想當(dāng)主節(jié)點(diǎn)我想當(dāng)主節(jié)點(diǎn)我當(dāng)前任務(wù)號(hào)是2我當(dāng)前任務(wù)號(hào)是1主我當(dāng)主了，大家向我看齊同步請(qǐng)求B重新加入集群時(shí)的一致性要素 當(dāng)原主節(jié)點(diǎn)恢復(fù)，如何將該節(jié)點(diǎn)與當(dāng)前的主節(jié)點(diǎn)同步？主C備ABD同步請(qǐng)求我最新的版本號(hào)是1備AB我最新的版本號(hào)是21版本號(hào)最后的步驟為2主AB將2之后的操作回滾一提交我也ready了搞定分布式事務(wù)機(jī)制 二段提交 協(xié)調(diào)節(jié)點(diǎn)首先發(fā)起預(yù)提交 當(dāng)所有數(shù)據(jù)節(jié)點(diǎn)響CoordinatorWorkerWorker大家都ready了木有？okayWorker木有問(wèn)題，可以鳥那咱們一起提交應(yīng)成功后，進(jìn)行統(tǒng)俺搞定了搞定G1G2G3G4G5G6水平擴(kuò)展0-13641365-27302731-40950-

6、682683-13651366-20482048-273134143415-40962732-db.cs.cl.split(“G1”,”G4”,50)db.cs.cl.split(“G2”,”G5”,50)db.cs.cl.split(“G3”,”G6”,50)20140201My010120140101垂直擴(kuò)展db.cs.createCL(“My0101”)db.cs.MyHistory.attachCL(“cs.My0101”,UpBound:date:”20140201”,LowBound:date:”20140101”)20140301My02012014020120140401My0

7、3012014030120140501My04012014040120140601My050120140501db.cs.createCL(“My0201”)db.cs.MyHistory.attachCL(“cs.My0201”,UpBound:date:”20140301”,LowBound:date:”20140201”)MyHistorydb.cs.createCL(“My0301”)db.cs.MyHistory.attachCL(“cs.My0301”,UpBound:date:”20140401”,LowBound:date:”20140301”)編目數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)

8、中心A（主）編目數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)中心B（從）異地災(zāi)備讀寫只讀同時(shí)手工停止每個(gè)分區(qū)組中的任意節(jié)點(diǎn)對(duì)該節(jié)點(diǎn)所在的文件系統(tǒng)進(jìn)行備份同時(shí)啟動(dòng)每個(gè)分區(qū)組中被停止的節(jié)點(diǎn)不影響業(yè)務(wù)操作，業(yè)務(wù)不感知，無(wú)性能副作用備份過(guò)程當(dāng)中可能影響高可用備份恢復(fù) 離線備份 使用db.backupOffline命令 離線備份過(guò)程當(dāng)中數(shù)據(jù)庫(kù)為ReadOnly狀態(tài) 發(fā)送離線備份命令至每個(gè)分區(qū)組的主節(jié)點(diǎn)進(jìn)行備份操作 在線備份離線備份PSSPSSPSS協(xié)調(diào)節(jié)點(diǎn)db.backupOffline()備份備份備份在線備份PSSPSSPSS協(xié)調(diào)節(jié)點(diǎn)node.stop()備份備份備份node.stop()node.stop()nod

9、e.start()node.start()node.start()性能對(duì)比 命令行操作界面 Javascript語(yǔ)法 全圖形化界面部署 狀態(tài)監(jiān)控 數(shù)據(jù)操作操作界面AgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234導(dǎo)入導(dǎo)出 支持從JSON和CSV格式進(jìn)行導(dǎo)入和導(dǎo)出 sdbimprt sdbexprtOracleSequoiaDBsdbimprtsdbexprtCSVC/C+JavaPHP.NETPython驅(qū)動(dòng)對(duì)接原生SQL支持通過(guò)PostgreSQL支持通過(guò)SparkSQL支持通過(guò)Hive

10、支持SQL支持Hadoop支持SequoiaDBJDBC/API接口HiveHadoop分布式計(jì)算框架HDFS分布式存儲(chǔ)引擎Spark支持SequoiaDBApache Spark StandaloneSparkSQLSparkStreamMLlibGraphXAgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234 需要高性能的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 時(shí)間序日志存儲(chǔ) 應(yīng)用程序日志 傳感器狀態(tài)信息 用戶行為畫像分析 用戶行為統(tǒng)計(jì)分析 決策樹、樸素貝葉斯等數(shù)學(xué)分析手段 實(shí)時(shí)風(fēng)險(xiǎn)管理 基于流處理進(jìn)行實(shí)時(shí)任

11、務(wù)監(jiān)控適用場(chǎng)景大數(shù)據(jù)平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)總體架構(gòu) 邏輯功能視圖邏輯功能視圖數(shù)據(jù)集成數(shù)據(jù)集成抽取清洗轉(zhuǎn)換搜集實(shí)時(shí)流處理實(shí)時(shí)流處理事件流處理（Event Processing）引擎專家系統(tǒng)（Expert System）（實(shí)時(shí)決策引擎）元數(shù)據(jù)加載數(shù)據(jù)質(zhì)量管理任務(wù)調(diào)度與管理基礎(chǔ)設(shè)施（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）基礎(chǔ)設(shè)施（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）線上線上外部外部手機(jī)銀行網(wǎng)站社交網(wǎng)站搜索/位置交互數(shù)據(jù)交互數(shù)據(jù)線下線下數(shù)據(jù)源數(shù)據(jù)源BANCS/BOCSCCMSBOCNETGTSGLHR網(wǎng)上銀行數(shù)據(jù)服務(wù)門戶Ad-Hoc數(shù)據(jù)挖掘(SandBox)業(yè)務(wù)監(jiān)控精準(zhǔn)營(yíng)銷分析門戶欺詐控制實(shí)時(shí)授信資產(chǎn)負(fù)債管理風(fēng)險(xiǎn)管理客戶關(guān)系管理平衡計(jì)分卡報(bào)表與信息查詢搜索/探索數(shù)據(jù)目錄利潤(rùn)貢獻(xiàn)度分析復(fù)雜分析復(fù)雜分析簡(jiǎn)單分析簡(jiǎn)單分析訪問(wèn)與性能區(qū)訪問(wèn)與性能區(qū)數(shù)據(jù)挖掘區(qū)數(shù)據(jù)挖掘區(qū)文件匯總加工區(qū)匯總加工區(qū)數(shù)據(jù)預(yù)處理明細(xì)查詢明細(xì)查詢離線分布式分析明細(xì)查詢信息生命周期歷史查詢信息安全半結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)分布式存儲(chǔ)與管理 管理管理交易數(shù)據(jù)交易數(shù)據(jù)信息分析信息供應(yīng)Distributed File SystemsRelational文檔多媒體網(wǎng)絡(luò)和社交媒體機(jī)器生成數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)處理&發(fā)現(xiàn)海量非結(jié)構(gòu)化&結(jié)構(gòu)化數(shù)據(jù)訪問(wèn)，轉(zhuǎn)換和存儲(chǔ)數(shù)據(jù)存儲(chǔ)和管理數(shù)據(jù)源預(yù)測(cè)分析(In-Database)分析主題庫(kù)（數(shù)據(jù)集市）數(shù)據(jù)挖掘文本挖掘統(tǒng)計(jì)分析語(yǔ)義分析空間地理分析MapRed