分布式與MPP 完整版

分布式與MPP大數(shù)據(jù)主流技術(shù)新興的分布式計算平臺，使用基于內(nèi)存的計算框架以提升性能，適用于迭代計算場景。同時提供應(yīng)用工具降低使用復(fù)雜度。主流大數(shù)據(jù)技術(shù)Hadoop技術(shù)Spark技術(shù)MPP數(shù)據(jù)庫流處理內(nèi)存數(shù)據(jù)庫NoSQL技術(shù)數(shù)據(jù)采集技術(shù)基于PCServer集群部署的并行關(guān)系型數(shù)據(jù)庫，針對分析型使用場景提供了大量技術(shù)優(yōu)化，以充分發(fā)揮關(guān)系數(shù)據(jù)庫的數(shù)據(jù)關(guān)聯(lián)分析能力和MPP架構(gòu)的性能優(yōu)勢。七大技術(shù)一種實時計算框架，基于數(shù)據(jù)流的分發(fā)、處理模式及時、高效處理數(shù)據(jù)。通過將數(shù)據(jù)存儲在內(nèi)存中以提高數(shù)據(jù)庫性能，同時通過額外的數(shù)據(jù)保護機制保障內(nèi)存數(shù)據(jù)庫安全通常指非關(guān)系型數(shù)據(jù)存儲和查詢技術(shù)，通過削減傳統(tǒng)關(guān)系型數(shù)據(jù)庫的部分特性，來提升特定類型處理性能的設(shè)計泛指在不同平臺間傳遞不同類型、格式數(shù)據(jù)的技術(shù)主流的分布式計算平臺，基于PCServer集群部署，提供分布式數(shù)據(jù)存儲、分布式計算框架。同時整個生態(tài)圈提供了大量外圍組件滿足各類應(yīng)用場景需求。分布式存儲與分布式計算MapReduce：分布計算HDFS：分布存儲分布式的CAP理論C:一致性(Consistency)在分布式系統(tǒng)中的所有的數(shù)據(jù)拷貝在同一時刻相同A:可用性(Availability)在部分節(jié)點故障后是否還能響應(yīng)客戶端讀寫請求P:分區(qū)容忍(PartitionTolerance)系統(tǒng)可繼續(xù)工作（讀和寫），即使當(dāng)某些節(jié)點無法與其它節(jié)點通信時Brewer的CAP理論在分布式架構(gòu)設(shè)計中只能三選二通常P是必須的，所以一個分布式系統(tǒng)只能在C和A之間權(quán)衡MPP數(shù)據(jù)庫定義MPP即大規(guī)模并行處理（MassivelyParallelProcessor）。在數(shù)據(jù)庫非共享集群中，每個節(jié)點都有獨立的磁盤存儲系統(tǒng)和內(nèi)存系統(tǒng)，業(yè)務(wù)數(shù)據(jù)根據(jù)數(shù)據(jù)庫模型和應(yīng)用特點劃分到各個節(jié)點上，每臺數(shù)據(jù)節(jié)點通過專用網(wǎng)絡(luò)或者商業(yè)通用網(wǎng)絡(luò)互相連接，彼此協(xié)同計算，作為整體提供數(shù)據(jù)庫服務(wù)。非共享數(shù)據(jù)庫集群有完全的可伸縮性、高可用、高性能、優(yōu)秀的性價比、資源共享等優(yōu)勢。對外網(wǎng)絡(luò)私有網(wǎng)絡(luò)內(nèi)部磁盤內(nèi)部磁盤內(nèi)部磁盤Node1CPURAMNode2CPURAMNode3CPURAM大規(guī)模并行處理(MPP)架構(gòu)HPVertica/TeradataVertica無共享MPP的特點無特殊節(jié)點所有節(jié)點對等可通過任意節(jié)點查詢或加載數(shù)據(jù)實時加載與查詢同步進行DBServDBServDBServDBServ高速通信網(wǎng)絡(luò)磁盤磁盤磁盤磁盤MasterGreenplum

/NetezzaMaster-Slave架構(gòu)無共享架構(gòu)DBServDBServDBServDBServ高速通信網(wǎng)絡(luò)磁盤磁盤磁盤磁盤客戶機客戶機為什么選擇MPPPB級別的分析需求傳統(tǒng)數(shù)據(jù)庫無法支持大規(guī)模集群與PB級別數(shù)據(jù)量性能受限擴展性受限成本高昂軟硬件一體機成本高昂、擴展受限生產(chǎn)擴容、測試、開發(fā)、容災(zāi)都需新購?fù)吞栆惑w機（機柜）跨代兼容性問題In-memory技術(shù)太貴而且不成熟內(nèi)存成本高TB級別以下，不適合大數(shù)據(jù)量Hadoop技術(shù)的先天不足Hive等sql-on-hadoop性能太慢SQL兼容性與支持不足數(shù)據(jù)安全性無法保證分析數(shù)據(jù)庫的演變19701980200020102005200020031989SybaseIQ19782009SAPHANA201019791974IngresMichaelStonebraker19841982商用IngresSybase1990MSSQL1999200520061983DB2分析數(shù)據(jù)庫的演變1970198020002010200520002003198919782009SAPHANA201019791982商用Ingres1984Sybase1990MSSQLSybaseIQ19992005200620121983DB21974IngresMichaelStonebraker2011Hadoop大數(shù)據(jù)技術(shù)棧結(jié)構(gòu)化非結(jié)構(gòu)化擴展能力OldSQLNoSQLMPP/NewSQL半結(jié)構(gòu)化ACID易用性O(shè)ldSQLvsNoSQLvsNewSQLvsHadoop常見MPP數(shù)據(jù)庫HPVerticaPivotalGreenPlumGbase–南大通用TDAsterNetezzaParAccel……11VerticaMPP特點50x–1000x性能提升TBs~PBs高可擴展性與現(xiàn)有ETL和BI解決方案可輕松整合在工業(yè)標(biāo)準(zhǔn)x86服務(wù)器上具有超強性能快速靈活部署

內(nèi)嵌高可用標(biāo)準(zhǔn)SQL接口無共享MPP自動優(yōu)化設(shè)計高級主動壓縮純列式存儲大數(shù)據(jù)分析模型常見分布式并行處理架構(gòu)Real-TimeMessagingApacheKafka?Cluster

實時數(shù)據(jù)流

?機器學(xué)習(xí)

?

半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化非關(guān)系型化數(shù)據(jù)(Parquet/ORCfile)

結(jié)構(gòu)化關(guān)系型數(shù)據(jù)、匯總數(shù)據(jù)ResilientDistributedDatasets

ApacheSpark?Hadoop?Parquet?Cluster

???

RESTAPIOrLocalKafkaApplicati