分布式集群系統(tǒng)的調(diào)研分析-Mesos

分布式集群系統(tǒng)——調(diào)研分析

By吳文泰分布式系統(tǒng)/平臺(tái)proActiveParallelSuiteClusterVirtualMachineforJava（cJVM)ParallelVirtualMachine(PVM)ApacheHadoop(這里不做介紹）ApacheMesos2ProActiveParallelSuite1ProActiveParallelSuite3ProActiveParallelSuiteBriefIntro:通過(guò)ProActive平臺(tái),用戶可以立刻對(duì)（企業(yè)級(jí)）應(yīng)用進(jìn)行業(yè)務(wù)優(yōu)化和加速，同時(shí)可以對(duì)企業(yè)云進(jìn)行管理。Keys:可并行、分布式、業(yè)務(wù)流程優(yōu)化加速、可以集成高效的云管理。平臺(tái)關(guān)鍵組成：3個(gè)：

Workflow&Parallelization---各種業(yè)務(wù)的并行化

Orchestration&Scheduling---多應(yīng)用、多接口支持

Clouds&GridsIaaS---設(shè)施上的異構(gòu)資源管理4ProActiveParallelSuiteWorkflow&Parallelization◎支持多種技術(shù)來(lái)優(yōu)化業(yè)務(wù)性能：方便應(yīng)用編程本地并行化：

支持消息傳遞接口（MPI），OpenMP編程，多線程技術(shù)等分布式+并行：

支持用于并行分布式編程的JavaAPI，REST，以及MapReduce等核心技術(shù)：JAVAActiveObjects,IC2D5ProActiveParallelSuiteOrchestration&Scheduling◎支持多種平臺(tái)上的應(yīng)用：作為調(diào)度者◎區(qū)別于Workflow&Parallelization：

Workflow&Parallelization為客戶端提供一系列接口

Orchestration&Scheduling為管理員管理不同業(yè)務(wù)提供特殊的服務(wù)器和工具支持核心：Orchestration&Scheduling

Server

6ProActiveParallelSuiteClouds&GridsIaaS◎管理異構(gòu)資源（基礎(chǔ)設(shè)施）核心：Clouds&GridsIaaSServer譬如：跑Linux的VM和Windows的VM7ProActiveParallelSuite可用狀況:Open-sourced組件：Studio1.4

JavaActiveObjects5.4

Scheduler3.4

SchedulerWebPortal1.4

ResourceManager3.4

Cloud&GridIaaSWebPortal1.4

MatlabConnector1.2

ScilabConnector1.2

8ProActiveParallelSuite組件下載：支持windows32+64,linux32+64以及MacOS注冊(cè)信息壓縮包包含項(xiàng)目文件和exe，是一個(gè)IDE，對(duì)應(yīng)Workflow&Parallelization對(duì)應(yīng)Orchestration&Schedulingserver對(duì)應(yīng)Clouds&GridsIaaS中的計(jì)算單元9支持的編程方法：在proActivestudio中，采用圖形化方式設(shè)計(jì)workflows來(lái)定義并行化調(diào)度。集群搭建的難易程度：一般，除了安裝IDE外，還要配置好另外兩個(gè)組件(server和agent)；但網(wǎng)站資料很完整。支持的語(yǔ)言：JAVA,REST,CLI(命令行）ProActiveParallelSuiteOrchestration&Scheduling和Cloud&GridIaas也可以在這一IDE中進(jìn)行管理10ClusterVirtualMachineforJava2ClusterVirtualMachineforJava(cJVM)11BriefIntro:通過(guò)對(duì)一個(gè)集群進(jìn)行虛擬化使得對(duì)應(yīng)用可見的僅是單個(gè)系統(tǒng)；而實(shí)際上對(duì)象和線程是存在和運(yùn)行于多臺(tái)虛擬機(jī)上的。優(yōu)點(diǎn)：應(yīng)用編程方便，高可擴(kuò)展性

Transparent對(duì)App透明ClusterVirtualMachineforJava12核心：JavaServerApplications(JSAs)ClusterVirtualMachineforJavaJSAs的運(yùn)行環(huán)境——ClusterVM(forjava)擴(kuò)展性："throwingmorehardwareattheproblem."

——要擴(kuò)展服務(wù)器上App的性能，就投入更多的硬件（VM）到中間這層13支持編程語(yǔ)言:Java可用情況：“NOTE:Thisprojectisnolongeractivesince2000!”……還沒有找到可用資源ClusterVirtualMachineforJava14ParallelVirtualMachine3ParallelVirtualMachine(PVM)15BriefIntro:使用網(wǎng)絡(luò)連接各種異構(gòu)系統(tǒng)（如Windows,Unix），使之看起來(lái)就像一個(gè)大型“并行計(jì)算機(jī)”。ParallelVirtualMachineKeys:模擬并行計(jì)算機(jī)，從而App可以使用并行編程技術(shù)SupportedLanguage:C,C++,Fortran16代碼示例：ParallelVirtualMachinePvm3.h庫(kù)并行編程的風(fēng)格17可用情況：Open-Sourced，提供lib還有PVM安裝程序，還有詳細(xì)安裝/配置的說(shuō)明文檔；ParallelVirtualMachine里面是exe文件Lib18ParallelVirtualMachine——安裝PVM最好先裝installshield（微軟開發(fā)的一個(gè)軟件），否則就要按如下步驟人工配置1999年編寫的文檔，所以只提到了WindowsNT和95/98系統(tǒng)；要試一下才知道是否支持2000以上的系統(tǒng)。。。（PVM項(xiàng)目到2011年都有更新）19支持語(yǔ)言：C,C++,Fortran算法接口:基本上是并行編程用到的基本算法，主要包含在pvm3.h中支持環(huán)境：Windows(onlyNT,95/98???)搭建難易程度：難，因?yàn)檎f(shuō)明文檔比較舊；使用方式：安裝installshield版本的PVM，使用源碼庫(kù)ParallelVirtualMachine20ApacheMesos4ApacheMesos21MesosMesos計(jì)算框架一個(gè)集群管理器，提供了有效的、跨分布式應(yīng)用或框架的資源隔離和共享，可以運(yùn)行Hadoop、MPI、Hypertable、Spark結(jié)構(gòu)：Master/Slave結(jié)構(gòu)資源申請(qǐng)，內(nèi)部調(diào)度單例，管理整個(gè)集群，負(fù)責(zé)資源分配+調(diào)度運(yùn)行于Slave服務(wù)器上，負(fù)責(zé)執(zhí)行tasks22可用性：開源（代碼也可在github上下載）

Mesos官方最新版本：0.19.023支持環(huán)境：Linux(64Bit)andMacOSX(64Bit)（可能因?yàn)槭且粋€(gè)很新的項(xiàng)目）配置難易程度：一般（官網(wǎng)配置介紹是以Ubuntu12.0464位為例，詳見：/gettingstarted/

支持語(yǔ)言：C++,Java,Python執(zhí)行task前要運(yùn)行對(duì)應(yīng)的框架：MesosC++JavaPython24總結(jié)25ComparisonproActivecJVMPVMHadoopMesos運(yùn)行環(huán)境Windows,linux,MacWindowsNTWindowsUnix(linux)Linux(64Bit)andMacOSX(64Bit)支持語(yǔ)言Java,REST,CLIJavaC,C++,FortranC++,C,JavaJava,Python,C++搭建難易一般N/A難一般一般并行調(diào)度算法/方法Map-Reduce等Pvm3.h中包含的算法Map