多快好省運(yùn)營(yíng)大規(guī)模彈性云集群

多快好省運(yùn)營(yíng)大規(guī)模彈性云集群目錄彈性云v1.0線上運(yùn)營(yíng)情況1彈性云v1.0挑戰(zhàn)2彈性云v1.0架構(gòu)3彈性云v1.0大促備戰(zhàn)4彈性云v1.0容器性能提升5彈性云v2.0起航6彈性云v1.0線上運(yùn)營(yíng)情況618大促前統(tǒng)計(jì)15W+，JD全部業(yè)務(wù)均run在彈性云容器之上

挑戰(zhàn)選擇（2014/6/18）向前兼容第一個(gè)核心系統(tǒng)（單品頁(yè)）容器性能&穩(wěn)定性大規(guī)模運(yùn)維成本彈性云v1.0架構(gòu)OpenstackIcehouse+docker1.3+OVS2.1.3/2.3.2+Centos6.6DataCenterOperatingSystem(OpenStack)VMsPhysicalserversContainersJFSOVSDPDK彈性云v1.0架構(gòu)彈性云v1.0架構(gòu)OVS-VLAN網(wǎng)絡(luò)模式

彈性云v1.0業(yè)務(wù)方研發(fā)同事使用對(duì)接原有上線系統(tǒng)自助上線

彈性云v1.0運(yùn)維同事運(yùn)維系統(tǒng)物理資源管理集群管理異常消息追蹤每日巡檢

618備戰(zhàn)資源20倍壓測(cè)彈性scaleup&scaleout（不是銀彈）調(diào)優(yōu)內(nèi)存即存儲(chǔ)

區(qū)別業(yè)務(wù)特點(diǎn)細(xì)到塵埃的監(jiān)控系統(tǒng)高峰流量提前規(guī)劃資源+彈性scaleup堅(jiān)如磐石穩(wěn)定性性能硬件環(huán)境

服務(wù)器節(jié)能模式的“坑”容器實(shí)例密度對(duì)local機(jī)械磁盤(pán)的挑戰(zhàn)不同品牌網(wǎng)卡的困擾CPU:Memory=1:？計(jì)量性能的規(guī)則和手段不同cpu硬件性能帶給業(yè)務(wù)方困擾萬(wàn)兆NIC多CPU分?jǐn)偩W(wǎng)卡軟中斷（網(wǎng)卡隊(duì)列均衡以及中斷散列）OVS-VLAN，simpleflow，nooffload，性能與物理網(wǎng)卡相當(dāng)kernel2.6.32的網(wǎng)絡(luò)namespace對(duì)sync報(bào)文承受弱，kernel3.1fixed優(yōu)化OVS對(duì)內(nèi)核鎖的使用MonitormoreCgroup：CPUCFS（RR/FIFO）流量與CPU%成線性關(guān)系嗎某些容器Load影響其他容器性能嗎cpuset&cpushare&逃逸Cgroup：Memory%=RSS+Share/TotalOOMCacheSlabJD分散回收時(shí)機(jī)及回收閾值設(shè)定Swap&Swappiness

Monitormore，如swapCgroup：資源及隔離用戶隔離（uuid/線程數(shù)）文件句柄限制（file-max）虛擬內(nèi)存（線程數(shù)及overcommit）大集群

openstack單集群6K臺(tái)計(jì)算節(jié)點(diǎn)自研調(diào)度系統(tǒng)自研brooder服務(wù)，代替社區(qū)直連和目前的nova-conductor，不依賴(lài)MQ，帶redis緩存管理容器生命周期消息tracking，集群任何動(dòng)作均做tracking，告警Neutron-openvswitch-agentupdate平滑，確保容器不中斷，穩(wěn)定控制節(jié)點(diǎn)服務(wù)，計(jì)算節(jié)點(diǎn)服務(wù)，依賴(lài)DB，內(nèi)核日志均做服務(wù)進(jìn)程探活監(jiān)控避免使用ceilometer采集simple指標(biāo)走M(jìn)Q自研調(diào)度系統(tǒng)，依賴(lài)計(jì)算節(jié)點(diǎn)資源狀態(tài)信息存放在redis，確保無(wú)狀態(tài)調(diào)度進(jìn)程原子互斥調(diào)度根據(jù)應(yīng)用app-id，夸交換機(jī)/機(jī)架/物理機(jī)；根據(jù)業(yè)務(wù)系統(tǒng)級(jí)別，資源特性調(diào)度到不同的zone不同的隔離特點(diǎn)，調(diào)度到不同的networkzone某個(gè)容器失效，自動(dòng)觸發(fā)RC（保持IP不變“遷移”）應(yīng)用縮容/擴(kuò)容，自動(dòng)CRUD操作LB，DB授權(quán)，服務(wù)框架注冊(cè)細(xì)到塵埃的監(jiān)控平臺(tái)獲得技術(shù)尊重

硬件+OS容器平臺(tái)業(yè)務(wù)監(jiān)控資源監(jiān)控：CPU，負(fù)載，內(nèi)存，SWAP，網(wǎng)絡(luò)出入項(xiàng)流量、報(bào)文個(gè)數(shù)，網(wǎng)卡錯(cuò)誤統(tǒng)計(jì)，磁盤(pán)使用率、讀寫(xiě)流量、讀寫(xiě)iops、繁忙程度等。網(wǎng)絡(luò)協(xié)議監(jiān)控：tcp丟包、重傳、收發(fā)報(bào)文，鏈接數(shù)等。其他監(jiān)控：

內(nèi)存申請(qǐng)失敗，進(jìn)程/線程數(shù)，句柄數(shù)等。業(yè)務(wù)監(jiān)控：定制的部分業(yè)務(wù)監(jiān)控。服務(wù)器硬件監(jiān)控：功率，風(fēng)扇轉(zhuǎn)速，溫度等監(jiān)控。監(jiān)控未來(lái)彈性