DCOS技術(shù)及方案研究

數(shù)據(jù)中心操作系統(tǒng)（DCOS）技術(shù)與方案研究中國(guó)移動(dòng)通信研究院-大數(shù)據(jù)與IT技術(shù)研究所二〇一五年九月提綱1數(shù)據(jù)中心操作系統(tǒng)架構(gòu)及特點(diǎn)IT基礎(chǔ)架構(gòu)發(fā)展趨勢(shì)架構(gòu)及服務(wù)特點(diǎn)2數(shù)據(jù)中心操作系統(tǒng)方案對(duì)比及行業(yè)現(xiàn)狀主流方案對(duì)比廠商動(dòng)態(tài)DCOS與IAAS云平臺(tái)關(guān)系分析3IT基礎(chǔ)架構(gòu)現(xiàn)狀及愿景打造以應(yīng)用為中心的高效云服務(wù)服務(wù)器操作系統(tǒng)應(yīng)用IT基礎(chǔ)架構(gòu)發(fā)展階段1：裸機(jī)時(shí)代基礎(chǔ)架構(gòu)利用率低每臺(tái)服務(wù)器上運(yùn)行一個(gè)應(yīng)用程序：避免一個(gè)應(yīng)用程序中的漏洞影響同一服務(wù)器上其他應(yīng)用程序典型的x86

服務(wù)器部署平均達(dá)到的利用率僅為總?cè)萘康?0%

到15%（美國(guó)國(guó)際數(shù)據(jù)集團(tuán)(International

Data

Corporation,

IDC)

報(bào)告）物理基礎(chǔ)架構(gòu)成本日益升高為支持不斷增長(zhǎng)的物理基礎(chǔ)架構(gòu)而需要的運(yùn)營(yíng)、維護(hù)成本穩(wěn)步攀升。大多數(shù)計(jì)算基礎(chǔ)架構(gòu)都必須時(shí)刻保持運(yùn)行，因此耗電量、制冷和設(shè)施成本不隨利用率水平而變化。管理成本不斷攀升服務(wù)器數(shù)量太多難以管理，新服務(wù)器和應(yīng)用的部署時(shí)間長(zhǎng)，硬件維護(hù)需要數(shù)天/周的變更管理準(zhǔn)備和數(shù)小時(shí)的維護(hù)窗口。

故障切換和災(zāi)備困難：兼容性差。系統(tǒng)和應(yīng)用遷移到新的硬件需要和舊系統(tǒng)兼容的硬件系統(tǒng)。服務(wù)器操作系統(tǒng)應(yīng)用操作系統(tǒng)虛擬機(jī)操作系統(tǒng)應(yīng)用虛擬機(jī)操作系統(tǒng)應(yīng)用虛擬機(jī)云平臺(tái)服務(wù)器操作系統(tǒng)IT基礎(chǔ)架構(gòu)發(fā)展階段2：虛擬化時(shí)代以虛擬化技術(shù)為基礎(chǔ)，以虛擬機(jī)為單位，將資源提供給用戶。提高資源利用率將一臺(tái)高性能的服務(wù)器虛擬成多個(gè)虛擬機(jī)，在物理上虛擬機(jī)共享宿主服務(wù)器的硬件資源，而邏輯上各自獨(dú)立，可在各虛擬出的服務(wù)器上運(yùn)行不同的應(yīng)用，各司其職，互不干擾。降低管理、運(yùn)維成本簡(jiǎn)化服務(wù)器的部署、管理和維護(hù)工作，降低管理費(fèi)用通過(guò)從物理基礎(chǔ)架構(gòu)抽象應(yīng)用使數(shù)據(jù)中心資源管理和調(diào)度更敏捷，是對(duì)傳統(tǒng)數(shù)據(jù)中心資源管理模式的變革核心技術(shù)計(jì)算虛擬化、SDS、SDN、OpenStack管理代表公司亞馬遜aws、VMware、微軟azure、阿里云、華為等服務(wù)器應(yīng)用操作系統(tǒng)應(yīng)用應(yīng)用服務(wù)器操作系統(tǒng)資源統(tǒng)一管理、調(diào)度IT基礎(chǔ)架構(gòu)發(fā)展階段3：以應(yīng)用為中心時(shí)代以分布式應(yīng)用為核心場(chǎng)景，主打應(yīng)用生命周期管理。保證應(yīng)用程序和服務(wù)易發(fā)布、易擴(kuò)展，始終能獲得所需要的資源。問(wèn)題虛擬機(jī)構(gòu)成的集群仍然難以運(yùn)維，對(duì)于每個(gè)虛擬機(jī)的維護(hù)也并非容易，用戶遇到的問(wèn)題和直接維護(hù)物理機(jī)集群基本相似用戶需求應(yīng)用能夠獲取資源，快速啟動(dòng)，服務(wù)可以無(wú)限擴(kuò)展（不在乎怎樣運(yùn)行及運(yùn)行在哪），服務(wù)失敗時(shí)能被自動(dòng)檢測(cè)并修復(fù)，應(yīng)用易于遷移。數(shù)據(jù)中心操作系統(tǒng)：Datacenter

Operating

System（DCOS）目標(biāo)整合數(shù)據(jù)中心資源，進(jìn)行虛擬池化，開(kāi)放諸如CPU、內(nèi)存和I/O這些基本資源而不是虛擬機(jī)。就像操作系統(tǒng)將PC的處理器和RAM放入資源池，使其可以為不同的進(jìn)程協(xié)調(diào)分配和釋放資源核心技術(shù)容器集群資源管理、容器代表公司：Google、Mesosphere、Facebook、Twitter等。yelp使用mesosphere大大提高了數(shù)據(jù)中心的性能；yelp每天運(yùn)行大約1700萬(wàn)獨(dú)立測(cè)試，啟動(dòng)100萬(wàn)個(gè)容器。DCOS架構(gòu)server硬件KernelserverserverserverDataCenter

Operating

SystemJava,PythonandC++APIs/SDKRestful

APIs接口應(yīng)用Spark，Hadoop，Storm，ElasticSearch，MPIRails，Kafka，Play！DatacenterAsaComputer支持多種計(jì)算框架支持多種計(jì)算框架的統(tǒng)一集群管理提供全局資源管理和調(diào)度資源隔離支持資源隔離。提供一種資源隔離機(jī)制避免多種框架不同任務(wù)之間由資源爭(zhēng)用導(dǎo)致效率下降。擴(kuò)展性更高效的管理系統(tǒng)，支持應(yīng)用的橫向擴(kuò)展容錯(cuò)性和自動(dòng)修復(fù)如果一臺(tái)服務(wù)器發(fā)生故障，它的工作負(fù)載可以自動(dòng)遷移到別的地方。高資源利用率將各種框架部署到同一集群中，統(tǒng)一管理調(diào)度，各種作業(yè)交錯(cuò)，作業(yè)提交頻率大幅度升高，增加資源利用率應(yīng)用快速部署，便于遷移利用容器封裝，實(shí)現(xiàn)多種框架任務(wù)之間的隔離保證應(yīng)用的快速啟動(dòng)（ms級(jí)別），一次打包，到處運(yùn)行，實(shí)現(xiàn)應(yīng)用的自由遷移。DCOS特點(diǎn)容器技術(shù)ServerHost

OSHypervisorGuestOSBins/

LibsMysqlGuestOSBins/

LibsMysqlGuestOSBins/

LibsAPPVirtual

MachinesServerHost

OSBins/

LibsMysqlMysqlContainersBins/

LibsAPPAPPContainersareisolated,butshareOSand,whereappropriate,bins/libraries容器并不包含一個(gè)單獨(dú)的操作系統(tǒng)，而是基于已有的基礎(chǔ)設(shè)施中操作系統(tǒng)提供的功能來(lái)運(yùn)行的。將應(yīng)用程序及所有程序的依賴環(huán)境打包到一個(gè)容器中，容器可以運(yùn)行在任何一種Linux服務(wù)器上。這大大地提高了程序運(yùn)行的靈活性和可移植性。虛擬機(jī)是操作系統(tǒng)級(jí)別的資源隔離，容器本質(zhì)上是進(jìn)程級(jí)的資源隔離容器技術(shù)實(shí)現(xiàn)發(fā)展最快和最有代表的是開(kāi)源Docker技術(shù)。Docker是PaaS提供商dotCloud（后改名為DockerInc）

開(kāi)源的一個(gè)基于LXC的高級(jí)容器引擎，源代碼托管在Github上,遵從Apache2.0協(xié)議開(kāi)源。Docker核心在于實(shí)現(xiàn)應(yīng)用與運(yùn)行環(huán)境整體打包以及打包格式統(tǒng)一Docker并不是容器技術(shù)的唯一選擇提綱1數(shù)據(jù)中心操作系統(tǒng)架構(gòu)及特點(diǎn)IT基礎(chǔ)架構(gòu)發(fā)展趨勢(shì)DCOS架構(gòu)及服務(wù)特點(diǎn)2方案對(duì)比及行業(yè)現(xiàn)狀主流方案對(duì)比廠商動(dòng)態(tài)DCOS與IAAS云平臺(tái)關(guān)系分析3IT基礎(chǔ)架構(gòu)現(xiàn)狀及愿景打造以應(yīng)用為中心的高效云服務(wù)Twitter/eBay:Mesos資源調(diào)度應(yīng)用框架加州大學(xué)伯克利分校的AMPLab首先開(kāi)發(fā)的開(kāi)源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm和Kafka等16種架構(gòu)，于2009年立項(xiàng)；Mesos0.20.0版本(2014.08發(fā)布)增加了對(duì)Docker的支持生態(tài)：2011年開(kāi)始在生產(chǎn)環(huán)境（Twitter/eBay/AirBNB/yelp）使用，生態(tài)系統(tǒng)成熟Mesosphere：一家圍繞Mesos開(kāi)展商業(yè)的創(chuàng)業(yè)公司，在mesos基礎(chǔ)上吸收了各種開(kāi)源工具，從而開(kāi)發(fā)出了一套基礎(chǔ)工具，形成針對(duì)數(shù)據(jù)中心的操作系統(tǒng)。系統(tǒng)的名字叫做MesosphereDataCenterOperatingSystem（DCOS）Google/Redhat：KubernetesGoogle主導(dǎo)的分布式容器的資源調(diào)度和業(yè)務(wù)編排系統(tǒng)生態(tài)：Docker出現(xiàn)后，2014年Google開(kāi)源了Kubernetes據(jù)說(shuō)，Google的搜索、地圖、郵箱等服務(wù)全部運(yùn)行在一個(gè)服務(wù)集群中，這都有賴于Google內(nèi)部代號(hào)為Borg的系統(tǒng)，以及其后繼者Omega，而Kubernetes正是其開(kāi)源版本。Redhat、IBM、HP、微軟、rackspace，Mesosphere、intel宣布支持Mesosphere、Coreos、Redhat的產(chǎn)品已經(jīng)將Kubernetes集成進(jìn)去Docker：Compose/SwarmSwarm/Compose:Docker主導(dǎo)的容器資源調(diào)度和業(yè)務(wù)編排中、小集群場(chǎng)景用戶“開(kāi)箱即用”，無(wú)需安裝額外調(diào)度系統(tǒng)生態(tài)：IBM、思科、微軟、HP、Vmware等宣布支持狀態(tài)：Swarm2015.02月剛剛發(fā)布0.1.0版本，只具備filter+strategy基本調(diào)度能力功能不完備，缺少容器狀態(tài)監(jiān)控、Autoscaling、HA/FT、錯(cuò)誤自愈能力Lattice：是由Vmware和Pivotal主導(dǎo)的CF的子項(xiàng)目，容器編排調(diào)度系統(tǒng)。Lattice=Diego（容器資源調(diào)度、編排能力很弱）+Loggregator（日志）+Gorouter（負(fù)載均衡）狀態(tài)：Pivotal計(jì)劃將Lattice推到CloudFoundry基金會(huì)，但進(jìn)展緩慢，預(yù)計(jì)2015年10月份推出。IBM/Pivotal/Vmware：LatticeDocker：Swarm/Compose

&

IBM/Pivotal/Vmware：Lattice廠商動(dòng)態(tài)——主要IT公司積極支持容器技術(shù)GoogleAWS微軟VMwareRedhat開(kāi)源Kubernetes，意圖成為容器編排調(diào)度的領(lǐng)導(dǎo)者。KubernetesTOP10貢獻(xiàn)者Google、Redhat、canonical、RackspaceGoogle與Mesosphere合作，Kubernetes現(xiàn)在被完全集成到Mesosphere中2014.11發(fā)布ECS（EC2ContainerService）服務(wù)。提供AWS集群管理調(diào)度模塊，也支持客戶自己的集群管理系統(tǒng)2014年7月，微軟與Google、Docker合作，在Auzre上docker和Kubernetes微軟發(fā)布AzureServiceFabricPaaS服務(wù)，后續(xù)將替換kubernete，支持公有云和私有云部署。2015停止對(duì)GoogleKubernetes貢獻(xiàn)，推出cloudfoundryLattice應(yīng)對(duì)Kubernetes和dockerSwarm，構(gòu)筑容器編排與管理能力；社區(qū)投入，重點(diǎn)圍繞Docker、Kubernetes項(xiàng)目，是社區(qū)中僅次于Docker、Google的貢獻(xiàn)者。以docker和Kubernetes項(xiàng)目為核心，構(gòu)建了混合云cloudforms和PaaS方案Openshift。Openstack社區(qū)集成容器路線跟隨社區(qū)。投資CoreOS，培育Docker競(jìng)爭(zhēng)對(duì)手CoreOS，推廣CoreOSAPPC,抑制Docker一家獨(dú)大2014.4AWS應(yīng)用開(kāi)發(fā)平臺(tái)Beanstalk支持Docker服務(wù)2015年4月，Microsoft發(fā)布全新的容器技術(shù)：Hyper-V容器和NanoServerVMwarevCloudAir、VMwarevCenter等現(xiàn)有產(chǎn)品上支持Docker，擁抱容器以安全隔離為理由，推Bonnevilla避免VM被弱化。允許開(kāi)發(fā)人員以DockerHub當(dāng)中的鏡像為基礎(chǔ)創(chuàng)建容器機(jī)制，而且每套容器皆擁有自己運(yùn)行所在的獨(dú)立虛擬機(jī)環(huán)境。自Docker發(fā)布以來(lái)，積極參與社區(qū)成為DBAG成員，并在OS發(fā)行版中支持Docker,

2013年11月，RHEL6.5版本就開(kāi)始支持Docker主要IT公司積極支持docker或推出自己的容器技術(shù)，并基于容器技術(shù)提供DCOS系統(tǒng)，構(gòu)建PaaS平臺(tái)方案。國(guó)內(nèi)互聯(lián)網(wǎng)公司動(dòng)態(tài)國(guó)內(nèi)的互聯(lián)網(wǎng)廠商紛紛已經(jīng)在自己的私有云中開(kāi)始使用容器技術(shù)，并且已經(jīng)開(kāi)始推出公有云服務(wù)，從使用趨勢(shì)上看，首先內(nèi)部私有云容器化，并基于私有云經(jīng)驗(yàn)，提供公有云服務(wù)。京東：彈性計(jì)算云應(yīng)用場(chǎng)景：私有云。今年618促銷時(shí)，生產(chǎn)環(huán)境11000+個(gè)docker實(shí)例,接入了1000+應(yīng)用。目前線上實(shí)例超2W到年底將再翻兩番,實(shí)現(xiàn)大部分應(yīng)用程序通過(guò)容器技術(shù)來(lái)發(fā)布。阿里巴巴：阿里百川應(yīng)用引擎應(yīng)用場(chǎng)景：淘寶應(yīng)用引擎TAE。2014年8月開(kāi)始規(guī)?；褂肈ocker的PaaS平臺(tái)，它最近推出了2.0版，作為阿里百川項(xiàng)目的一部分對(duì)外開(kāi)放。騰訊：騰訊游戲應(yīng)用場(chǎng)景：私有云2014.6開(kāi)始，接入1000+物理機(jī)、約4000個(gè)容器。數(shù)十個(gè)端游、手游、頁(yè)游百度：百度基礎(chǔ)平臺(tái)和開(kāi)放云應(yīng)用場(chǎng)景：私有云、百度開(kāi)放云平臺(tái)為了支撐百度上百個(gè)產(chǎn)品的各種需求，百度基礎(chǔ)架構(gòu)團(tuán)隊(duì)從2013年開(kāi)始構(gòu)建集群操作系統(tǒng)來(lái)實(shí)現(xiàn)資源的靈活調(diào)度和最大化利用，系統(tǒng)目前已經(jīng)覆蓋20萬(wàn)臺(tái)規(guī)模的服務(wù)器，形成統(tǒng)一的資源池。2014年開(kāi)始百度推出百度開(kāi)放云服務(wù)，容器技術(shù)同樣成為開(kāi)放云核心競(jìng)爭(zhēng)力之一。社區(qū)動(dòng)態(tài)CNCFOCIOpenStack2015年7月21日，谷歌與眾多行業(yè)合作伙伴宣布共同建立一個(gè)云計(jì)算基金會(huì)CloudNativeComputingFoundation目的：與開(kāi)源社區(qū)和合作伙伴一起共同把控Kubernetes未來(lái)的發(fā)展，開(kāi)發(fā)新的軟件以讓整個(gè)容器工具集更加健壯Linux基金會(huì)是其中的主要成員，華為也是CNCF成員2015DockerCon大會(huì)上，容器技術(shù)的Docker與基于Linux內(nèi)核的輕量級(jí)操作系統(tǒng)CoreOS聯(lián)合推出了開(kāi)放容器項(xiàng)目OpenContainerProject，后改名為OCI（Open

Container

Initiative）目標(biāo)：實(shí)現(xiàn)容器鏡像格式與運(yùn)行時(shí)的標(biāo)準(zhǔn)化。分工：Docker將為項(xiàng)目貢獻(xiàn)其容器格式、運(yùn)行時(shí)代碼并提供規(guī)范。而AmazonWebServices、Apcera、思科、CoreOS、Docker、EMC、富士通、高盛、Google、HP、華為、IBM、英特爾、Joyent、LinuxFoundation、Mesosphere、微軟、Pivotal、RancherLabs、RedHat以及VMware將圍繞著容器格式和運(yùn)行時(shí)建立標(biāo)準(zhǔn)目前OpenStack與容器相關(guān)的三個(gè)項(xiàng)目：Nova-DockerHeat插件Magnum項(xiàng)目：得到社區(qū)大力支持，實(shí)現(xiàn)了Openstack下容器集群自動(dòng)化部署和統(tǒng)一管理，可能是OpenStack與容器未來(lái)融合的方向。2015年7月，Google加入OpenStack，將確保Kubernetes融入OpenStack平臺(tái)。DCOS與IAAS云平臺(tái)互補(bǔ)，而非顛覆優(yōu)缺點(diǎn)互補(bǔ)IAAS在安全性、隔離性、存儲(chǔ)、網(wǎng)絡(luò)等方面已經(jīng)有比較成熟的解決方案，DCOS在這些方面仍有不足DCOS并未完全顛覆目前的IAAS服務(wù)，主流的DCO