容器大數(shù)據(jù)平臺(tái)方案

1、容器大數(shù)據(jù)平臺(tái)方案2目 錄一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實(shí)踐大數(shù)據(jù)平臺(tái)案例搭建一個(gè)非結(jié)構(gòu)數(shù)據(jù)庫(kù)需要多久？傳統(tǒng)方式一個(gè)熟練的運(yùn)維人員需要?數(shù)據(jù)庫(kù)版本,環(huán)境的兼容,部署腳本,環(huán)境6變量,啟動(dòng)調(diào)試.使用容器化技術(shù)你只需要?什么是docker？1容器現(xiàn)狀2Docker背后的力量3容器背景什么是docker？07測(cè)試05迭代開(kāi)發(fā)06版本部署08上線04準(zhǔn)備測(cè)試環(huán)境01需求&分析02界面原型03構(gòu)建基礎(chǔ)框架docker其實(shí)就是PAAS平臺(tái)相比paas系統(tǒng)docker更快捷，更簡(jiǎn)單，更輕便dotCloud與dockerCDEF2010 年一家美國(guó)的創(chuàng)業(yè)公

2、司dotCloud誕生Docker 和 Docker 開(kāi)源社區(qū)火熱發(fā)展容器技術(shù)進(jìn)行了簡(jiǎn)化和標(biāo)準(zhǔn)化，并命名為 Docker，效果甚微早期基于LXC技術(shù)的PaaS平臺(tái)2013年 10 月 29 日，dotCloud更名為 Docker2013年3月將Docker項(xiàng)目開(kāi)源，同時(shí)推出了開(kāi)放容器項(xiàng)目（OCP）ABLXC集大成者-docker提供跨底層IaaS 云、實(shí)現(xiàn)支持多種開(kāi)發(fā)語(yǔ)言的開(kāi)發(fā)云平臺(tái)第 7 頁(yè)國(guó)際趨勢(shì)-應(yīng)用全面docker化，DCOS化或?qū)⒊蔀槌绷魅萜骰内厔?shì) 容器化成為下一代云計(jì)算架構(gòu)商業(yè)化進(jìn)展日趨成熟谷歌、亞馬遜、IBM、VMWare各大巨頭爭(zhēng)相進(jìn)行容器商 業(yè)化實(shí)踐新技術(shù)發(fā)展驅(qū)動(dòng)市場(chǎng) 2

3、014年底，docker容器鏡像下載量高達(dá)1億，2017年初，超過(guò)了80億。容器技術(shù)現(xiàn)狀Docker背后的力量2015年6月2015年7月2015年8月容器標(biāo)準(zhǔn)之戰(zhàn)掌握容器標(biāo)準(zhǔn)主導(dǎo)權(quán)，把握未來(lái)kubernetes大殺器微服務(wù)架構(gòu)面向公有云市場(chǎng)入駐Openstack將k8s扶上位擴(kuò)大容器技術(shù)的影響力OCI旨在圍繞容器格式和運(yùn)行時(shí)指定一個(gè)開(kāi)放的工業(yè)化標(biāo)準(zhǔn)Image（鏡像）Docker Registry （鏡像倉(cāng)庫(kù)）Container （容器）Part1Part2Part3容器的核心概念I(lǐng)mage（鏡像）Image相當(dāng)于綠色版的二進(jìn)制程序包，無(wú)需編譯，無(wú)需安裝過(guò)程。所有底層以來(lái)的第三方軟件都包含在鏡

4、像文件里一個(gè)典型的能“獨(dú)立運(yùn)行”的程序包（Java應(yīng)用為例）User AppTomcatJDKLinux(外圍如Ubuntu、Centos)少量私有程序包大量可復(fù)用部分程序包User AppJDKCentosTomcat鏡像層級(jí)管理鏡像的json文件Docker Registry （鏡像倉(cāng)庫(kù)）Docker EngineDocker RegistryDocker HubPullPullDockerImageDockerImageDockerImageDockerImageDockerImageDockerImageDockerImageDockerImage鏡像副本私有的或是Docker官方的(

5、Docker hub)無(wú)法接入公網(wǎng)或者不方便接入公網(wǎng)的用戶離線部署容器鏡像的需求。Container （容器）沒(méi)有操作系統(tǒng)的概念獨(dú)立的沙盒式運(yùn)行環(huán)境宏觀又是一個(gè)整體基本的linux內(nèi)核減少了結(jié)構(gòu)的復(fù)雜性精簡(jiǎn)就精簡(jiǎn)的原則容器組件都有哪幾個(gè)?概述作用TEST容器技術(shù)組件包括三項(xiàng)，鏡像，倉(cāng)庫(kù)，容器。鏡像是將容器的程序?qū)訉影b，只保留私有的那份app程序包，而其他部分則相互共享。便于程序的迭代開(kāi)發(fā)。倉(cāng)庫(kù)則是提供了用戶離線管理鏡像的能力。容器則是容器技術(shù)的基本，在傳統(tǒng)虛擬化的基礎(chǔ)上，去掉了復(fù)雜的操作系統(tǒng)，只保留了linux的系統(tǒng)核心，以便快速部署答案15目 錄一容器docker介紹二容器調(diào)度kubern

6、ets介紹三框架調(diào)度mesos介紹四容器實(shí)踐大數(shù)據(jù)平臺(tái)案例一個(gè)能管多少docker？為什么要用Kubernetes為什么谷歌1個(gè)人管10w個(gè)docker我們一個(gè)運(yùn)維人員才管1000個(gè)？Kubernetes的背景谷歌的意志Kubernetes的生態(tài)圈Kubernetes背景與概述Kubernetes背景Google 2014年啟用該項(xiàng)目100%開(kāi)源資源調(diào)度、部署運(yùn)行、服務(wù)發(fā)現(xiàn)和擴(kuò)容縮容簡(jiǎn)寫為k8s，微軟、IBM、VMware、Docker加入社區(qū)黑科技borg：調(diào)試、啟動(dòng)、停止、重啟和監(jiān)控工作Borg最精華的部分提取出來(lái)跨多個(gè)數(shù)據(jù)中心的資源利用率最大化模塊性和可理解性公開(kāi)和定制化的產(chǎn)物谷歌的意志

7、PKKubernets讓各大IT巨頭爭(zhēng)相在原有版本上提出新的需求和完善性代碼針對(duì)亞馬遜成熟的公有云技術(shù)進(jìn)行硬拼，無(wú)異于以卵擊石Kubernetes的生態(tài)圈和影響力連競(jìng)爭(zhēng)對(duì)手都轉(zhuǎn)投kubernetsKubernets的核心組件PodPOD和容器什么關(guān)系？ReplicationController(RC)RC的用處？Service服務(wù)是統(tǒng)一的嘛？Label如何做服務(wù)發(fā)現(xiàn)？什么是PODpod是Kubernetes最基本的部署調(diào)度單元，可以包含多個(gè)container，多個(gè)容器統(tǒng)一部署web站點(diǎn)應(yīng)用的例子Pod應(yīng)該是短暫的而不是長(zhǎng)久的應(yīng)用，kubernets1.6自動(dòng)遷移的特性rc來(lái)負(fù)責(zé)Pods的創(chuàng)建，

8、復(fù)制，監(jiān)控和銷毀K8s核心資源之PodK8s核心資源之ReplicationController(RC)負(fù)責(zé)pod的數(shù)量控制為了達(dá)到高性能或高可用性的目的，進(jìn)行彈性伸縮在線Pod數(shù)量調(diào)整平衡，少了創(chuàng)建，多了銷毀主機(jī)健康檢查自動(dòng)在健康Node上重新創(chuàng)建Pod，類守護(hù)程序應(yīng)用故障自愈，滾動(dòng)升級(jí)IP地址也都不是持久的K8s核心資源之Service一組相同功能Pod的對(duì)外訪問(wèn)地址虛擬訪問(wèn)：IP地址+虛擬端口號(hào)（IP+Port）集合通過(guò)Label選擇器來(lái)完成關(guān)聯(lián)的三后端圖像前段無(wú)意識(shí)不關(guān)心變化K8s核心資源之Label流量計(jì)費(fèi)流量計(jì)費(fèi)流量計(jì)費(fèi)RCservicePodNservice和rc只是建立在pod

9、之上的抽象,label可用于搜索或關(guān)聯(lián)的一組key/value標(biāo)簽kubernets組件都有哪幾個(gè)?概述作用TEST1 pod是容器的集合，一個(gè)pod相當(dāng)于我們傳統(tǒng)系統(tǒng)的一個(gè)實(shí)例2 rc是用來(lái)控制pod的數(shù)量的，相當(dāng)于傳統(tǒng)系統(tǒng)的實(shí)例控制。無(wú)論rc中有幾個(gè)pod，對(duì)外圍來(lái)說(shuō)都是一個(gè)3 service，而區(qū)分這些service并且把service，rc，pod三者聯(lián)系起來(lái)的就是label標(biāo)簽。所以上下游服務(wù)的發(fā)現(xiàn)，呈現(xiàn)出一環(huán)扣一環(huán)的現(xiàn)象，也是通過(guò)這些標(biāo)簽抽象概念來(lái)完成的。答案28目 錄一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實(shí)踐大數(shù)據(jù)平臺(tái)案例MESOS的

10、大一統(tǒng)就沒(méi)有一個(gè)通用的資源調(diào)度解決方案了呢？B無(wú)狀態(tài)應(yīng)用臨時(shí)性應(yīng)用復(fù)雜的傳統(tǒng)應(yīng)用重應(yīng)用計(jì)費(fèi)系統(tǒng)耦合性極強(qiáng)業(yè)務(wù)復(fù)雜適合容器化改造Mesos 現(xiàn)狀A(yù)背景與概述MesosCMesos生態(tài)圈MesosBMesos商用情況MesosMesos 背景與概述分布式計(jì)算框架飛速發(fā)展，但沒(méi)有一種框架能優(yōu)化運(yùn)行所有類型的應(yīng)用強(qiáng)烈的需求：在一個(gè)集群中運(yùn)行多種框架，最大化集群資源利用率，在不同框架間可以共享數(shù)據(jù)mesos天生就是基于數(shù)據(jù)中心自身特點(diǎn)制作的操作系統(tǒng)，公，私，虛，物，都被統(tǒng)一管理。作為通用的資源共享層，不同框架都以Framework的形式運(yùn)行在Mesos上01020304Mesos商用情況技術(shù)更成熟，十分

11、廣泛的支持團(tuán)隊(duì)IBM已經(jīng)成為第二貢獻(xiàn)廠商穩(wěn)定性、可靠性 備受認(rèn)可2015 年 4 月蘋果Siri 100家公司，廣泛認(rèn)可Mesos生態(tài)圈公私云，虛擬，物理機(jī)兩級(jí)調(diào)度統(tǒng)一分配資源Mesos 核心組件010203Mesos AgentMesos MasterMesos FrameworkMesos Agent主要工作收資源集節(jié)點(diǎn)信息 上報(bào)給Mesos Master負(fù)責(zé)利用已有資源執(zhí)行框架下發(fā)的任務(wù)特點(diǎn)提供隔離機(jī)制保證任務(wù)獲得準(zhǔn)確的資源份額替master節(jié)點(diǎn)準(zhǔn)確的分配每個(gè)應(yīng)用應(yīng)有的資源Mesos Master一致性HA的需求按照策略制定收集和分配資源執(zhí)行任務(wù)消耗資源 Framework是雙層調(diào)度的上

12、一層 運(yùn)行在Mesos之上的分布式應(yīng)用，使用Mesos提供的資源 框架運(yùn)行很多任務(wù)，而任務(wù)是資源的最終消費(fèi)者 myriad，spark 他們使用mesos提供的資源 實(shí)際的資源使用量需求 任務(wù)才是資源的最終消費(fèi)者 生命周期；任務(wù)管理；框架API（提供調(diào)度器和執(zhí)行器的通信功能）2134756Mesos Framework框架A框架的組成B調(diào)度器&執(zhí)行器C生命周期管理框架調(diào)度器和任務(wù)執(zhí)行器調(diào)度器細(xì)分資源執(zhí)行器負(fù)責(zé)通過(guò)多種方式完成一個(gè)任務(wù)的執(zhí)行任務(wù)何時(shí)創(chuàng)建，何時(shí)銷毀，任務(wù)的數(shù)量與作業(yè)量的關(guān)系A(chǔ)PI（提供調(diào)度器和執(zhí)行器的通信功能）Mesos Framework框架mesos組件都有哪幾個(gè)?概述作用TE

13、STmesos主要組件有agent，master，fromwork。Master負(fù)責(zé)收集集群節(jié)點(diǎn)，框架和任務(wù)的信息，根據(jù)可插拔策略為框架分配資源。管理任務(wù)的生命，agent則負(fù)責(zé)監(jiān)控主機(jī)的資源情況并執(zhí)行資源分配fromwork則是資源的最終使用者答案目 錄41一容器docker介紹二容器調(diào)度kubernets介紹三框架調(diào)度mesos介紹四容器實(shí)踐大數(shù)據(jù)平臺(tái)案例01來(lái)自的案例CU-DCOS02CU-DCOS1.0技術(shù)架構(gòu)03CU-DCOS企業(yè)級(jí)平臺(tái)04UcloudPaas&CU-DCOS05CU-DCOS系統(tǒng)實(shí)踐心得容器實(shí)踐經(jīng)典案例來(lái)自的案例CU-DCOS完成IT資源的一體化調(diào)度；提供大數(shù)據(jù)微服

14、務(wù)化能力管理、調(diào)度和開(kāi)放化運(yùn)營(yíng)的管理框架；承載各IT域無(wú)狀態(tài)應(yīng)用的容器化微服務(wù)能力，開(kāi)展基于CU-DCOS能力平臺(tái)的應(yīng)用的DevOps。CU-DCOS1.0技術(shù)架構(gòu)MesosKubernetesMyriadMicro ServiceYarnDB service（mysql、redis、oracle）Hadoop已有框架Open-DCOSIaaS (O3)服務(wù)服務(wù)CU-DC/OS 管理 服務(wù)管理 應(yīng)用管理 監(jiān)控管理 統(tǒng)一服務(wù)路由接入層服務(wù)層框架調(diào)度層服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù) 資源管理租戶管理 統(tǒng)一運(yùn)營(yíng)門戶 統(tǒng)一運(yùn)維門戶IaaS管理門戶自開(kāi)發(fā)框架其他未容器化APPKafkasparkhive已

15、有框架stormHadoop接入層服務(wù)層框架調(diào)度層提供統(tǒng)一的服務(wù)接入能力；實(shí)現(xiàn)統(tǒng)一的服務(wù)路由能力；提供應(yīng)用負(fù)載均衡能力；提供自服務(wù)和后臺(tái)管理基于容器編排框架實(shí)現(xiàn)應(yīng)用的容器化封裝；實(shí)現(xiàn)大數(shù)據(jù)能力提供服務(wù)；實(shí)現(xiàn)Oracle、MPP等數(shù)據(jù)庫(kù)能力服務(wù)實(shí)現(xiàn)Kubernets框架在Mesos承載；實(shí)現(xiàn)Myriad在Mesos承載；利用已有框架和自主研發(fā)框架，實(shí)現(xiàn)storm、Kafka等在mesos承載CU-DCOS企業(yè)級(jí)平臺(tái)容器持久化DCOS能力平臺(tái)使用Ceph作為Kubernetes的持久化存儲(chǔ)方案，來(lái)解決解決應(yīng)用服務(wù)容器化后重啟或宕機(jī)數(shù)據(jù)不丟失的問(wèn)題。容器化的敏捷迭代開(kāi)發(fā)DCOS能力平臺(tái)可為開(kāi)發(fā)類用戶迅速搭建基于Jenkins 和主流代碼倉(cāng)庫(kù)Github（開(kāi)放倉(cāng)庫(kù)）、SVN（私有倉(cāng)庫(kù)）的持續(xù)集成環(huán)境，從而保障用戶的應(yīng)用服務(wù)實(shí)現(xiàn)快速迭代。46UcloudPaas集中運(yùn)維管理與CU-DCOS的融合峰值應(yīng)對(duì)標(biāo)準(zhǔn)化運(yùn)營(yíng)高彈性伸縮微服務(wù)能力化第 47 頁(yè)讓業(yè)務(wù)變得更輕，更快更智能解決粗/細(xì)顆粒度的資源精細(xì)化調(diào)度1 實(shí)現(xiàn)合理化的調(diào)度一切硬件資源2 解決大數(shù)據(jù)不同進(jìn)程CPU，內(nèi)存使用不均衡的問(wèn)題。不同的大數(shù)據(jù)作業(yè)和資源有效匹配