移動(dòng)DCOS平臺(tái)架構(gòu)介紹

1、移動(dòng)DCOS平臺(tái)架構(gòu)介紹技術(shù)創(chuàng)新，變革未來DCOS的理解DCOS技術(shù)方案實(shí)踐與效果未來展望2“DCOS技術(shù)實(shí)踐”相關(guān)交流內(nèi)容云計(jì)算驅(qū)動(dòng)企業(yè)IT架構(gòu)演進(jìn)“煙囪”式IT系統(tǒng)架構(gòu)打破豎井、應(yīng)用和平臺(tái)解耦 打破供應(yīng)商綁定加強(qiáng)企業(yè)自身核心能力掌控 敏捷建設(shè)、聚焦支撐業(yè)務(wù)統(tǒng)一管理建設(shè)運(yùn)營(yíng)，提升運(yùn)維效率、提升資源利用率，降低TCO企 業(yè) IT架構(gòu) 演 進(jìn)資源池化、云化IT架構(gòu)3典型的云計(jì)算平臺(tái)阿里云/亞馬遜AWS：以虛擬化為基 礎(chǔ)，提供IaaS、PaaS及跨服務(wù)功能 層和服務(wù)訪問工具。Google云計(jì)算平臺(tái)：基于操作系統(tǒng) 層面輕量級(jí)隔離技術(shù)的數(shù)據(jù)中心操作 系統(tǒng)（Borg/Omega），在萬臺(tái)級(jí)PC服務(wù)器規(guī)模

2、上進(jìn)行集中的資源分 配和調(diào)度。4CMCC云計(jì)算發(fā)展階段的自我定位降低風(fēng)險(xiǎn)降低資本支出提高敏捷性全面優(yōu)化簡(jiǎn)化降低運(yùn)營(yíng)支出 對(duì)數(shù)據(jù)中心內(nèi) 部整體目標(biāo)架 構(gòu)沒有統(tǒng)一的 規(guī)劃設(shè)計(jì)標(biāo)準(zhǔn)化的硬件和 軟件體系業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以月為單位 通過核心云構(gòu)件 實(shí)現(xiàn)進(jìn)程級(jí)資源 共享 業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以分鐘為單位 實(shí)現(xiàn)數(shù)據(jù)中心級(jí) 彈性伸縮傳統(tǒng)孤島標(biāo)準(zhǔn)化IaaS 資源池化PaaS和應(yīng)用 資源池化DCOS化虛擬化服務(wù)化智能化孤島X86化通過服務(wù)化實(shí)現(xiàn) 共享的平臺(tái)架構(gòu)業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以日為單位實(shí)現(xiàn)集群級(jí)彈性 伸縮通過虛擬化實(shí)現(xiàn) 共享的基礎(chǔ)架構(gòu)業(yè)務(wù)基礎(chǔ)架構(gòu)建 設(shè)以周為單位實(shí)現(xiàn)虛擬機(jī)級(jí)彈 性伸縮（ZMCC）（領(lǐng)先互聯(lián)網(wǎng)公司

3、） 靈活統(tǒng)一（運(yùn)營(yíng)商整體）高效5部署 效率應(yīng)用的快速部署開通受到極大制約：彈性 伸縮傳統(tǒng)虛擬化只能實(shí)現(xiàn)虛機(jī)級(jí)彈性伸縮，效果極其 有限：資源靜態(tài)部署，峰值申請(qǐng)?；贗aaS層的云化先天不足：靜態(tài)部署、只能大切小不能小聚大、不能維持應(yīng)用環(huán)境的自動(dòng)化封裝.6存在的問題利用現(xiàn)有資源利用率非常低： CPU平均利用率（10-20%）率明顯低于互聯(lián)網(wǎng)公司 （50%以上）。TCO高，投資效益低下異地大二層？混合云部署？在線灰度發(fā)布？.8PaaS 1.0 Google AppEngine、SAE等 早期的PaaS概念，提供軟件開發(fā) 平臺(tái)和運(yùn)行環(huán)境PaaS 2.0 Cloud Foundry、 OpenShift

4、等 允許用戶運(yùn)行自己 的PaaS，將平臺(tái) 進(jìn)行標(biāo)準(zhǔn)化、服務(wù) 化。PaaS 3.0 以分布式集群資源 調(diào)度（Mesos、 Yarn）為基礎(chǔ)，結(jié) 合容器（Docker） 技術(shù)構(gòu)建 支持多種計(jì)算框架，具備敏捷開發(fā)、 快速部署和彈性伸 縮特性第三代PaaS的核心是DCOS（DataCenter Operating System）DCOS中的集群資源調(diào)度，業(yè)界主要有Apache Mesos 和Apache Hadoop YARN 兩種技術(shù)方案，有著各自的生態(tài)環(huán)境數(shù)據(jù)中心操作系統(tǒng)-第三代PaaS核心數(shù)據(jù)中心操作系統(tǒng)DCOS數(shù)據(jù)中心操作系統(tǒng)（DataCenter Operating System，簡(jiǎn)稱DCO

5、S）是為整個(gè)數(shù)據(jù)中 心提供分布式調(diào)度與協(xié)調(diào)功能，實(shí)現(xiàn)數(shù)據(jù)中心級(jí)彈性伸縮能力的軟件堆棧，它將所有 數(shù)據(jù)中心的資源當(dāng)做一臺(tái)大型計(jì)算機(jī)來調(diào)度，可以視作這個(gè)大型主機(jī)的操作系統(tǒng)。（以Mesos為例）Linux OSDCOSResource ManagementLinux KernelMesosProcess ManagementLinux KernelDockerJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketActiveMQ、RabbitMQFile System8ext4HDFS, C

6、eph數(shù)據(jù)中心操作系統(tǒng)的特征數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個(gè)通用的標(biāo)準(zhǔn)化運(yùn)維系統(tǒng)高效率可靠安全地 管理數(shù)據(jù)中心，同時(shí)簡(jiǎn)化應(yīng)用程序的開發(fā)、部署難度，協(xié)調(diào)各類資源，確保各類資源 隨著應(yīng)用的需求動(dòng)態(tài)調(diào)度DCOS特征彈性伸縮根據(jù)應(yīng)用的負(fù)載和容量情況自動(dòng) 增加和刪除節(jié)點(diǎn)，支持細(xì)粒度資 源調(diào)度，多個(gè)計(jì)算框架或應(yīng)用程 序可共享資源和數(shù)據(jù)，高資源利 用率敏捷開發(fā)通過抽象，隱藏?cái)?shù)據(jù)中心硬件 和軟件運(yùn)行環(huán)境的復(fù)雜性，降 低應(yīng)用的開發(fā)難度快速部署傳統(tǒng)的部署模式為安裝(包管理工 具或者源碼包編譯)-配置-運(yùn) 行，DCOS支持將數(shù)據(jù)中心應(yīng)用 和它的依賴進(jìn)行封裝，實(shí)際部署 時(shí)只需復(fù)制-運(yùn)行9高可用根據(jù)某種負(fù)載策略把請(qǐng)求

7、分發(fā)到 集群中的每一個(gè)節(jié)點(diǎn)上，讓整個(gè)，集群來處理應(yīng)用的請(qǐng)求，自動(dòng)為 宕機(jī)服務(wù)器上運(yùn)行的節(jié)點(diǎn)重新分 配資源，保障業(yè)務(wù)不掉線DCOS解決方案10典型案例Google：Borg/OmegaTwitter、Apple、Netflix：Mesos解決方案Mesos ： Mesos由加州大學(xué)伯克利分校AMPLab開發(fā)，后在Twitter廣泛使用，成熟度 高。Mesosphere公司DCOS，以Mesos為核心，支持多領(lǐng)域的分布式集群調(diào)度框架：Marathon、Chronos和Hadoop、Spark等的集群調(diào)度框架，實(shí)現(xiàn)系統(tǒng)的資源彈性調(diào)度。 Apache Hadoop YARN：一種新的 Hadoop 資

8、源管理器，它是一個(gè)通用資源管理系統(tǒng)， 可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度 。 Kubernetes：是Google多年大規(guī)模容器管理技術(shù)的開源版本，面世以來就受到各大巨 頭及初創(chuàng)公司的青睞，社區(qū)活躍。Docker Machine + Compose + Swarm：Docker公司的容器編排工具。PaaS產(chǎn)品：CloudFoundry/OpenShift等PaaS解決方案。12前期已具備2015年已建建設(shè)成20后15續(xù)年建研設(shè)究云運(yùn)維和運(yùn)營(yíng)運(yùn)營(yíng)門戶 資源管理 服務(wù)目錄 流程管理 監(jiān)控告警 部署自動(dòng)化 容量管理 自助服務(wù) 安全管理 運(yùn)維自動(dòng)化業(yè)務(wù)支撐系統(tǒng)客戶服務(wù)系統(tǒng)經(jīng)營(yíng)分析系統(tǒng)管理信息系統(tǒng)業(yè)務(wù)

9、 系統(tǒng)Pa a S分布式塊存儲(chǔ)（DBS）分布式文件存儲(chǔ)（DFS）Ia a S強(qiáng)一致性分布式內(nèi)存數(shù)據(jù)庫(kù)（CDMD）分布式協(xié)調(diào)服務(wù)（DCS）容器虛擬化（CVS）網(wǎng)絡(luò)設(shè)備虛擬化（NFV）分布式對(duì)象存儲(chǔ)（DOS）物理資源（服務(wù)器、磁盤陣列、交換機(jī)、路由器）實(shí)體服務(wù)總線（ESB）分布式消息隊(duì)列（DMQ）分布式緩存（DMC）虛擬服務(wù)總線（VSB）流程引擎（BPE）技術(shù)平臺(tái)服務(wù)（MPaaS)應(yīng)用容器（AC）數(shù)據(jù)平臺(tái)服務(wù)（DPaaS)關(guān)系型數(shù)據(jù)庫(kù)（RD）彈性計(jì)算平臺(tái)服務(wù)（分E布P式a調(diào)a度S服)務(wù)/（DDCDSO） S計(jì)算服務(wù)（CIaaS)計(jì)算虛擬化（VCS）網(wǎng)絡(luò)服務(wù)（NIaaS)網(wǎng)絡(luò)虛擬化（NV）存儲(chǔ)服務(wù)（

10、SIaaS)弱一致性非關(guān)系型數(shù)據(jù)庫(kù)（WCN）大數(shù)據(jù)平臺(tái)服務(wù)（BDPaaS)批處理（BP）流計(jì)算（SP）交互式數(shù)據(jù)處理（IDP） 強(qiáng)一致性數(shù)據(jù)分析（CDA） 強(qiáng)一致性數(shù)據(jù)挖掘（CDM）數(shù)據(jù)交換（DE）分布式內(nèi)存數(shù)據(jù)庫(kù)（DMD）分布式數(shù)據(jù)訪問層（DDAL）負(fù)載均衡（LB）讓開發(fā)聚焦于實(shí)現(xiàn)業(yè)務(wù)！剩下的交給云平臺(tái)（狹義）公司企業(yè)級(jí)私有云平臺(tái)藍(lán)圖公司DCOS建設(shè)歷程公司與合作伙伴共同深入研究Docker技術(shù)，開發(fā)數(shù)據(jù)中心操作系統(tǒng)，為IT私有云 發(fā)展和IT轉(zhuǎn)型工作的奠定了堅(jiān)實(shí)的基礎(chǔ)開始關(guān)注Docker 容器化技術(shù)，并 啟動(dòng)Docker應(yīng)用 的技術(shù)驗(yàn)證將核心系統(tǒng)CRM的一個(gè)完 整集群組遷移到容器運(yùn)行，Doc

11、ker投入生產(chǎn)在李正茂總的關(guān)心下， 集團(tuán)技術(shù)部和浙江公 司提出數(shù)據(jù)中心操作 系統(tǒng)的設(shè)想，9月18 日集團(tuán)技術(shù)部組織計(jì) 劃部、蘇州研發(fā)中心 及相關(guān)省公司專家在杭州召開中國(guó)移動(dòng)數(shù)據(jù)中心操作系統(tǒng)測(cè) 試驗(yàn)證啟動(dòng)會(huì)移動(dòng)手機(jī)營(yíng)業(yè)廳 系統(tǒng)成功遷移至 DCOS平臺(tái)，用于重 點(diǎn)解決秒殺場(chǎng)景，浙 江公司乃至整個(gè)中國(guó) 移動(dòng)有了首個(gè)運(yùn)行在DCOS架構(gòu)下的生產(chǎn) 系統(tǒng)，也意味著浙江移動(dòng)信息技術(shù)部承建 的IT私有云正式具備 了向整個(gè)企業(yè)內(nèi)部的 IT應(yīng)用系統(tǒng)提供資源 集中動(dòng)態(tài)管理服務(wù)的 能力DCOS平臺(tái)順利通過 雙11手機(jī)營(yíng)業(yè)廳充 值1折秒殺活動(dòng)驗(yàn)證12014年3-8月22014年11月42015年8-9月52015年11月

12、4日62015年11月11日移動(dòng)提出 “云起浙里時(shí)， 新一代云平臺(tái) 建設(shè)”總體建 設(shè)規(guī)劃及可行 性技術(shù)論證32015年5月12技術(shù)架構(gòu)選型13MesosYarnKubernetesDocker M+C+SCF/OpenShift調(diào)度級(jí)別二級(jí)調(diào)度（Dominant ResourceFairness）二級(jí)調(diào)度（FIFO，Capacity Scheduler，F(xiàn)airScheduler）二級(jí)調(diào)度（基于Predicates和Priorities兩階段算法）一級(jí)調(diào)度 （提供 Strategy 和Filter 兩種調(diào)度策略）CF一級(jí)調(diào)度 （基于 Highest-scoring調(diào)度策略）/OpenShift

13、使用Kubernetes生態(tài)活躍活躍活躍非常活躍活躍一般適用場(chǎng)景通用性高，混合場(chǎng) 景大數(shù)據(jù)生態(tài)場(chǎng)景目前較單一較單一較單一成熟度高高中低中應(yīng)用與平 臺(tái)耦合度低中中低高應(yīng)用案例 分析Twitter、Apple、Airbnb、Yelp、 Netflix、ebay、VerizonHadoop生態(tài)圈應(yīng)用目前快速發(fā)展中， 生產(chǎn)環(huán)境應(yīng)用較 少很少較少，PaaS整體解 決方案，應(yīng)用與平 臺(tái)的耦合度較高根據(jù)對(duì)適合構(gòu)建DCOS的各種技術(shù)架構(gòu)的評(píng)估，選擇以Mesos為基礎(chǔ)的方案。優(yōu) 點(diǎn)是成熟度高、兩級(jí)調(diào)度框架、適合多種應(yīng)用場(chǎng)景、混合部署、應(yīng)用與平臺(tái)耦合度低。 同時(shí)跟蹤Kubernetes的發(fā)展，考慮Kubernet

14、es作為Mesos的調(diào)度框架。關(guān)鍵技術(shù)選型-應(yīng)用封裝serverHost OSserverDocker EngineappBin/libsBin/libsHypervisorGuest OSBin/libsGuest OSBin/libsappapp容器虛擬機(jī)14Docker Engine可以自動(dòng)化地部署應(yīng)用到可移植的的容器中， 這些容器獨(dú)立于硬件、語言、框架、打包系統(tǒng)。一個(gè)標(biāo)準(zhǔn)的Docker容器包含一個(gè)軟件組件及其所有的依賴，包括二進(jìn)制文件，庫(kù)，配置文件，腳本等， 實(shí)現(xiàn)持續(xù)集成與部署，快速 迭代應(yīng)用程序PaaS平臺(tái)作為云平臺(tái)的核心組成部分，為整個(gè)云平臺(tái)提供了服 務(wù)標(biāo)準(zhǔn)化和自動(dòng)彈性擴(kuò)展能力，D

15、ocker及相關(guān)生態(tài)圈系統(tǒng)天然具備服務(wù)發(fā)現(xiàn)和資源調(diào)度能力，為構(gòu)建具備彈性擴(kuò)展能力的PaaS平臺(tái)提供有效的解決方案Docker容器可以封裝任何有效負(fù)載，幾乎可以在任何服務(wù)器之 間進(jìn)行一致性運(yùn)行。開發(fā)者構(gòu)建的應(yīng)用只需一次構(gòu)建即可多平臺(tái)運(yùn)行。運(yùn)營(yíng)人員只需配置他們的服務(wù)，即可運(yùn)行所有應(yīng)用Docker為開源的應(yīng)用容器引擎，在標(biāo)準(zhǔn)的LXC之上融合AUFS分層鏡像管理機(jī)制，拋棄 傳統(tǒng)VM試圖模擬完整機(jī)器的思路，而是以應(yīng)用為單元進(jìn)行“集裝封箱”，是輕量級(jí)的 虛擬化技術(shù)Mesos Master負(fù)責(zé)將資源分配給各個(gè)框架，而各個(gè)框架的Scheduler進(jìn)一步將資源分配給 其內(nèi)部的各個(gè)應(yīng)用程序Mesos能和不同類型的

16、Framework或Application通信，每種Framework或Application由 相應(yīng)的應(yīng)用集群管理Mesos Slave的Executor具備調(diào)用Docker能力，也就是Executor接收到的Task時(shí)啟動(dòng)Docker容器時(shí)，其可以調(diào)用Docker去啟動(dòng)一個(gè)容器關(guān)鍵技術(shù)選型-資源調(diào)度15關(guān)鍵技術(shù)選型-任務(wù)調(diào)度Marathon是基于Mesos來做任務(wù)調(diào)度，Mesos僅負(fù)責(zé)布式集群資源分配， 不負(fù)責(zé)任務(wù)調(diào)度。 Mesos集群可以混合運(yùn)行來自Marathon的 不同類型的任務(wù) Marathon基于Mesos的任務(wù)調(diào)度為動(dòng)態(tài)調(diào) 度，即每個(gè)任務(wù)在執(zhí)行之前是不知道將在哪 一臺(tái)服務(wù)器上執(zhí)

17、行和綁定哪一個(gè)端口 9臺(tái)服務(wù)器（灰色）組成的Mesos集群上混 合運(yùn)行各種Marathon調(diào)度的任務(wù)，其中一 臺(tái)服務(wù)器壞掉以后，這臺(tái)服務(wù)器上的任務(wù)就 受影響，Marathon可把任務(wù)遷移到其他服 務(wù)器上，實(shí)現(xiàn)容錯(cuò)16關(guān)鍵技術(shù)選型-服務(wù)注冊(cè)與引流HAProxy提供高可用性、負(fù)載均衡的解決方案，Etcd是一個(gè)高可用的鍵值存儲(chǔ)系統(tǒng)， 主要用于共享配置和服務(wù)發(fā)現(xiàn)，提供了數(shù)據(jù)TTL失效、數(shù)據(jù)改變監(jiān)視、多值、目錄監(jiān)聽、 分布式鎖原子操作等功能，可以方便的跟蹤并管理集群節(jié)點(diǎn)的狀態(tài)。 Etcd與HAProxy 配合能夠?qū)崿F(xiàn)數(shù)據(jù)中心應(yīng)用的動(dòng)態(tài)引流Mesos通過Executor啟動(dòng)Docker容器進(jìn)行彈性擴(kuò)縮容，

18、 在Docker啟動(dòng)容器時(shí)通過在Docker run的啟動(dòng)腳本中 添加“Curl etcd set”命令通知Etcd服務(wù)。Etcd服務(wù)知道某一個(gè)容器啟動(dòng)，并將其信息注冊(cè)到Etcd鍵值庫(kù)中。Etcd通知Confd服務(wù)相關(guān)的服務(wù)變化，Confd就會(huì)根據(jù)變化的情況更新Haproxy的cfg配置文件并執(zhí)行重新 加載命令，使相關(guān)變化生效，同樣Etcd也會(huì)定時(shí)檢查 容器的運(yùn)行狀態(tài)，當(dāng)容器停止時(shí)也會(huì)觸發(fā)Haproxy更 新cfg配置文件并重新加載，達(dá)到動(dòng)態(tài)引流。17DCOS架構(gòu)圖結(jié)合行業(yè)主流技術(shù)方案，通過關(guān)鍵技術(shù)選型，確定浙江公司DCOS技術(shù)架構(gòu)，即以 容器為基礎(chǔ)封裝各類應(yīng)用和運(yùn)行環(huán)境，以Mesos為核心實(shí)

19、現(xiàn)容器資源的分布式調(diào)度 與協(xié)調(diào)第一期能力支持長(zhǎng)期運(yùn)行服務(wù)，采用Mesos+Marathon+Docker+HAProxy等18DCOS功能框架EtcdEtcdEtcd服務(wù)注冊(cè) 服務(wù)引流應(yīng)用容器化 (Docker封裝)應(yīng)用（Docker）應(yīng)用（Docker）HAproxyHAproxyHAproxyMESOSMARATHONzookeeper資源調(diào)度 任務(wù)調(diào)度DCOS管理平臺(tái)監(jiān)控管理模塊彈性擴(kuò)縮容調(diào)度模塊資源配置模塊統(tǒng)一日志中心鑒權(quán)模塊持續(xù)集成平臺(tái)Dashboard物理機(jī)或虛擬機(jī)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)19以開源技術(shù)Mesos 、Marathon 、Docker、HAProxy為引擎，在其上開發(fā)了DCO

20、S 控制臺(tái)、資源配置模塊、鑒權(quán)模塊、統(tǒng)一日志中心、彈性擴(kuò)縮容調(diào)度模塊、監(jiān)控管理 模塊、持續(xù)集成平臺(tái)DCOS物理架構(gòu)MESOS-slaveZookeeperLoadbalanceStatechangesStatechangesETCD、CONFDHaproxyreloadDCOS平臺(tái)采用93個(gè)主機(jī)節(jié)點(diǎn)，其中平臺(tái)部分由5個(gè)節(jié)點(diǎn)構(gòu)成Mesos MasterCluster，8個(gè)節(jié)點(diǎn)構(gòu)成Haproxy Cluster，80個(gè)計(jì)算節(jié)點(diǎn)可承載1050個(gè)DockerContainer，平臺(tái)和計(jì)算節(jié)點(diǎn)均跨機(jī)房部署，該平臺(tái)可在1分鐘內(nèi)輕松實(shí)現(xiàn)擴(kuò)展到1000 個(gè)以上Docker節(jié)點(diǎn)MESOS master、MARA

21、THON 、ZOOKEEPER 共采用5臺(tái) X86虛擬機(jī)分布式部署（單臺(tái)6vCPU/20GB內(nèi)存/80GB硬盤）HAproxy 、ETCD和CONFD共采用8臺(tái) X86虛擬機(jī)（單臺(tái)6vCPU/20GB內(nèi)存/80GB硬盤）Mesos slave節(jié)點(diǎn)采用80臺(tái)X86虛擬機(jī)（單臺(tái)6vCPU/20GB內(nèi)存/80GB硬盤）Docker封裝后 的應(yīng)用部署于 Mesos slave 節(jié)點(diǎn)21MarathonMESOS-mastertaskreloadreload22試點(diǎn)應(yīng)用的選擇面向互聯(lián)網(wǎng)訪問量集中，突發(fā)流量大業(yè)務(wù)活動(dòng)更新快選取符合DCOS的特征分布式無狀態(tài)應(yīng)用系統(tǒng)，驗(yàn)證DCOS在實(shí)際生產(chǎn)環(huán)境中 動(dòng)態(tài)提供和

22、管理工作負(fù)載和基礎(chǔ)設(shè)施的可行性DCOS能夠自動(dòng)化配置資源到可以最有效被利用的地方，實(shí)現(xiàn)資源彈性伸縮DCOS優(yōu)化開發(fā)、調(diào)測(cè)、部署操作，實(shí)現(xiàn)應(yīng)用程序敏捷開發(fā)，快速部署移動(dòng)手機(jī)營(yíng)業(yè)廳面向中國(guó)移動(dòng)客戶提供快速便捷的查詢、辦 理和交費(fèi)等自助服務(wù)的客戶端軟件及系統(tǒng)業(yè)務(wù)活動(dòng)突發(fā)流量大，目前手機(jī)營(yíng)業(yè)廳注冊(cè)用戶2500萬，日活躍用戶數(shù)300萬，日均PV 達(dá)到1.5億為應(yīng)對(duì)市場(chǎng)變化，活動(dòng)內(nèi)容更新快，后臺(tái)支撐能力需同步快速上線當(dāng)前WEB層及APP層采用分布式技術(shù)實(shí)現(xiàn)，DB層未實(shí)現(xiàn)分布式架構(gòu)，暫不考慮動(dòng)態(tài)調(diào)度在對(duì)DCOS平臺(tái)驗(yàn)證網(wǎng)充分測(cè)試驗(yàn)證后，移動(dòng)信息技術(shù)部和電子渠道中心合作， 將手機(jī)營(yíng)業(yè)廳系統(tǒng)容器化，遷移至DCO

23、S平臺(tái)DCOS的首次實(shí)踐-手機(jī)營(yíng)業(yè)廳充值秒殺2015年10月16日，明確了以DCOS架構(gòu)為核心進(jìn)行系 統(tǒng)能力擴(kuò)容的保障方案2015年11月4日23:08，手機(jī)營(yíng)業(yè)廳系統(tǒng)成功 遷移至DCOS平臺(tái)，用于重點(diǎn)解決秒殺場(chǎng)景2015年11月5日完成手廳數(shù)據(jù)庫(kù)向一體機(jī)遷移割接，數(shù) 據(jù)庫(kù)連接數(shù)單節(jié)點(diǎn)訪問能力提高10倍，極大緩解了大并 發(fā)情況下連接數(shù)不足的問題；完成中間件的ESB能力擴(kuò) 容，業(yè)務(wù)處理能力提升近3倍2015年11月8日完成手廳Memcache改造，將手廳用 戶在登錄、秒殺時(shí)常用的熱點(diǎn)數(shù)據(jù)放入分布式緩存中 用于高速查詢調(diào)用，具備每秒2萬次以上的熱點(diǎn)數(shù)據(jù) 訪問能力，有效降低數(shù)據(jù)庫(kù)接口的壓力2015年

24、11月11日20:00，手機(jī)營(yíng)業(yè)廳充值1 折秒殺活動(dòng)順利結(jié)束，DCOS平臺(tái)充分展現(xiàn)了其在應(yīng)對(duì) 業(yè)務(wù)高峰時(shí)的能力優(yōu)勢(shì)，順利通過雙11考驗(yàn)12月10日，營(yíng)業(yè)廳系統(tǒng)首個(gè)地市試點(diǎn)上線22DCOS的首次實(shí)踐-運(yùn)行情況下圖為DCOS控制臺(tái)，手機(jī)營(yíng)業(yè)廳WEB和APP兩個(gè)應(yīng)用模塊以容器的方式在DCOS資源 池中動(dòng)態(tài)調(diào)度，容器數(shù)量的變化顯示了兩個(gè)應(yīng)用模塊的彈性擴(kuò)縮容情況23DCOS的首次實(shí)踐-性能監(jiān)控24實(shí)施效果總結(jié)25 高性能高穩(wěn)定性雙十一期間，運(yùn)行在DCOS架構(gòu)的移動(dòng)手機(jī)營(yíng)業(yè)廳系統(tǒng)承受的并發(fā)數(shù)最高峰值接近6 萬次/秒，后臺(tái)服務(wù)調(diào)用成功率均在99.95%以上，成為移動(dòng)首個(gè)在單日實(shí)現(xiàn)10億級(jí) PV的業(yè)務(wù)系統(tǒng)。 高資源利用率DCOS相較于虛擬機(jī)有