H3C大數(shù)據(jù)產(chǎn)品技術(shù)白皮書

H3CFlexDataMPPCluster技術(shù)白皮書H3CFlexDataMPPCluster技術(shù)白皮書杭州華三通信技術(shù)有限公司杭州華三通信技術(shù)有限公司#-2DataEngineHDP核心技術(shù)DataEngineHDP基于X86服務(wù)器本地的計(jì)算與存儲(chǔ)資源提供了分布式并行計(jì)算和低成本存儲(chǔ)，提供低時(shí)延、高并發(fā)的查詢功能，集群可以擴(kuò)展到上千臺(tái)服務(wù)器。H3C通過對(duì)Hadoop開源組件的封裝和增強(qiáng)，對(duì)外提供數(shù)據(jù)分布式計(jì)算存儲(chǔ)、數(shù)據(jù)分析能力。資源管理YARN:改進(jìn)的YARN統(tǒng)一資源管理，在同一物理主機(jī)/虛擬主機(jī)和數(shù)據(jù)集上運(yùn)行多種計(jì)算框架,包括離線計(jì)算、內(nèi)存計(jì)算和實(shí)時(shí)計(jì)算。分布式文件系統(tǒng)HDFS:分布式文件系統(tǒng)，有較強(qiáng)的容錯(cuò)性，可在x86平臺(tái)上運(yùn)行，減少總體成本，可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用。數(shù)據(jù)庫(kù)HBase：HBase是一種構(gòu)建在HDFS（HadoopDistributedFileSystem）之上的分布式、面向列的存儲(chǔ)系統(tǒng)，它具有高可靠、高性能、面向列和可伸縮的特性。HBase適合于存儲(chǔ)大表數(shù)據(jù)（表的規(guī)?？梢赃_(dá)到數(shù)十億行以及數(shù)百萬列），并且對(duì)大表數(shù)據(jù)的讀、寫訪問可以達(dá)到實(shí)時(shí)級(jí)別。離線計(jì)算：MapReduce是一種離線計(jì)算框架，將一個(gè)算法抽象成Map和Reduce兩個(gè)階段進(jìn)行處理，適合數(shù)據(jù)密集型計(jì)算場(chǎng)景。內(nèi)存計(jì)算：Spark是一種內(nèi)存計(jì)算框架，它將數(shù)據(jù)盡可能放到內(nèi)存中以提高迭代應(yīng)用和交互式應(yīng)用的計(jì)算效率。實(shí)時(shí)計(jì)算：Storm擅長(zhǎng)流式計(jì)算、實(shí)時(shí)分析，比如廣告點(diǎn)擊計(jì)算、它在實(shí)時(shí)性要遠(yuǎn)遠(yuǎn)好于MapReduce計(jì)算框架。3DataEngineMPPCluster核心技術(shù)3.1MPP+SharedNothingDataEngineMPPCluster采用完全并行的MPP+SharedNothing的分布式扁平架構(gòu)，這種架構(gòu)中的每一個(gè)節(jié)點(diǎn)（node）都是獨(dú)立的、自給的、節(jié)點(diǎn)之間對(duì)等，而且整個(gè)系統(tǒng)中不存在單點(diǎn)瓶頸，具有非常強(qiáng)的擴(kuò)展性。InteiconnectiouNetworkUgh,RangeUgh,RangefRAnciomi..?圖3-1SharedNothing+MPP架構(gòu)示意圖3.2核心組件DataEngineMPPCluster產(chǎn)品總共包含三大核心組件，即GCluster、GCware和GNode。GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息，GCluster負(fù)責(zé)集群調(diào)度，每個(gè)GNode就是最基本的存儲(chǔ)和計(jì)算單元。GCluster：GCluster負(fù)責(zé)SQL的解析、SQL優(yōu)化、分布式執(zhí)行計(jì)劃生成、執(zhí)行調(diào)度。GCWare:GCWare用于各節(jié)點(diǎn)GCluster實(shí)例間共享信息（包括集群結(jié)構(gòu)，節(jié)點(diǎn)狀態(tài)，節(jié)點(diǎn)資源狀態(tài)等信息），以及控制多副本數(shù)據(jù)操作時(shí)，提供可操作節(jié)點(diǎn)，并在多副本操作中，控制各節(jié)點(diǎn)數(shù)據(jù)一致性狀態(tài)。GCWare對(duì)于集群的管理工作是以節(jié)點(diǎn)為基本單位的。GNode：GNode是GCluster中最基本的存儲(chǔ)和計(jì)算單元oGNode是由GCWare管理的一個(gè)8a實(shí)例，每個(gè)GCluster節(jié)點(diǎn)上有一個(gè)GNode實(shí)例運(yùn)行。GNode負(fù)責(zé)集群數(shù)據(jù)在節(jié)點(diǎn)上的實(shí)際存儲(chǔ)，并從GCluster接收和執(zhí)行經(jīng)分解的SQL執(zhí)行計(jì)劃，執(zhí)行結(jié)果返回給GCluster。數(shù)據(jù)加載時(shí),GNode直接從集群加載服務(wù)接收數(shù)據(jù)，寫入本地存儲(chǔ)空間。GCMonit：

GCMonit用于定期監(jiān)測(cè)DataEngineMPPCluster服務(wù)程序的運(yùn)行狀態(tài)，一旦發(fā)現(xiàn)某個(gè)服務(wù)程序的進(jìn)程狀態(tài)發(fā)生變化，就會(huì)根據(jù)配置文件中的內(nèi)容來執(zhí)行相應(yīng)的命令。GCMonit進(jìn)程監(jiān)控程序?yàn)榧褐械拿總€(gè)組件提供各自的啟停腳本，提供的總腳本可以一次性啟停所有模塊的服務(wù)。3.3咼可用DataEngineMPPCluster通過SafeGroup組內(nèi)冗余機(jī)制來保證集群的高可用特性:1）每個(gè)SafeGroup可提供1個(gè)或2個(gè)副本數(shù)據(jù)冗余；2）SafeGroup內(nèi)數(shù)據(jù)副本自動(dòng)同步；3）復(fù)制引擎自動(dòng)管理數(shù)據(jù)同步；rnodel?圖rnodel?圖3-2SafeGroup高可用性管理示意圖數(shù)據(jù)2個(gè)副本Replicator/復(fù)制引第3?4高性能擴(kuò)展能力DataEngineMPPCluster具備高性能擴(kuò)展能力：1）通過SafeGroup動(dòng)態(tài)擴(kuò)展集群節(jié)點(diǎn)；2）每個(gè)節(jié)點(diǎn)可以處理10TB有效數(shù)據(jù)，同時(shí)提供計(jì)算和存儲(chǔ)能力;3）GCware負(fù)責(zé)新節(jié)點(diǎn)的數(shù)據(jù)同步。

?通過Safegroup動(dòng)態(tài)擴(kuò)展集群節(jié)點(diǎn)?GCWare負(fù)売新節(jié)點(diǎn)的教據(jù)同步圖3-3DataEngineMPPCluster擴(kuò)展技術(shù)示意圖因?yàn)镈ataEngineMPPCluster采用高性能單節(jié)點(diǎn)的MPP扁平架構(gòu)，因此進(jìn)行集群擴(kuò)展時(shí)，可以保證平滑擴(kuò)展和性能的線性增長(zhǎng)特性。Scaleout(MPP)圖3-4DataEngineMPPCluster高性能高擴(kuò)展示意圖3.5高性能數(shù)據(jù)加載數(shù)據(jù)加載功能作為DataEngineMPPCluster的一部分而存在，目的是將用戶從其他數(shù)據(jù)源得到的原始數(shù)據(jù)文件，按照某種加載規(guī)則分發(fā)至集群節(jié)點(diǎn)，集群各節(jié)點(diǎn)接收數(shù)據(jù)入庫(kù)保存到本地磁盤。集群加載采用C/S架構(gòu)，包括數(shù)據(jù)分發(fā)服務(wù)器和數(shù)據(jù)分發(fā)客戶端兩個(gè)應(yīng)用程序。數(shù)據(jù)分發(fā)服務(wù)器接收到客戶端的數(shù)據(jù)加載請(qǐng)求后，服務(wù)器端負(fù)責(zé)原始數(shù)據(jù)文件切分和數(shù)據(jù)文件的下

發(fā)；各節(jié)點(diǎn)調(diào)用本地的集群加載服務(wù)接收數(shù)據(jù)入庫(kù)并保存到本地磁盤。1-datasources數(shù)據(jù)加戟服務(wù)罌數(shù)據(jù)片2-slicingdata4-數(shù)據(jù)加戟服務(wù)罌數(shù)據(jù)片2-slicingdata4-databulkloading(remotegbbadef)3.6OLAP函數(shù)DataEngineMPPCluster提供0LAP函數(shù)，用于支持復(fù)雜的分析操作，側(cè)重于對(duì)決策人員和高層管理人員的決策支持?？筛鶕?jù)分析人員的要求，快速靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，以便他們準(zhǔn)確掌握企業(yè)的經(jīng)營(yíng)狀況，了解被服務(wù)對(duì)象的需求，制定正確的方案。3?7行列混合存儲(chǔ)DataEngineMPPCluster采用的行列混合存儲(chǔ)的存儲(chǔ)結(jié)構(gòu)，