基于Mesos和Docker構(gòu)建數(shù)據(jù)處理平臺(tái)課件

基于Mesos/Docker構(gòu)建數(shù)據(jù)處理平臺(tái)基于Mesos/Docker構(gòu)建數(shù)據(jù)處理平臺(tái)1內(nèi)容平臺(tái)概覽為什么選擇Docker/Mesos組件容器化與部署基于Marathon的Streaming調(diào)度ELKon

Mesos監(jiān)控與運(yùn)維內(nèi)容平臺(tái)概覽2平臺(tái)概覽平臺(tái)概覽3平臺(tái)架構(gòu)平臺(tái)架構(gòu)4平臺(tái)簡(jiǎn)介每天處理約340億/25TB的數(shù)據(jù)90%的數(shù)據(jù)在100ms內(nèi)完成處理最長(zhǎng)3h/24h的數(shù)據(jù)回放私有的Elasticsearch

Cloud自動(dòng)化監(jiān)控與報(bào)警平臺(tái)簡(jiǎn)介每天處理約340億/25TB的數(shù)據(jù)5為什么選擇Docker/Mesos為什么選擇Docker/Mesos6為什么選擇Docker打包runtime的一致性runtime的分發(fā)運(yùn)維資源限制不再關(guān)心依賴簡(jiǎn)單的清理機(jī)制為什么選擇Docker打包7Host

OSStreaming

jobsHost

OSStreaming

jobsDDiissttrriibbuutteeddccoommppuuttiinnggframeworksDependenciesRuntime-

JVMHostOSStreamingjobsHostOSSt8為什么選擇Mesos足夠簡(jiǎn)單穩(wěn)定大規(guī)模調(diào)度的成功案例豐富方便的定制化能力多種容器較成熟的調(diào)度框架MarathonChronos為什么選擇Mesos足夠簡(jiǎn)單穩(wěn)定9Mesos結(jié)構(gòu)Mesos結(jié)構(gòu)10目標(biāo)目標(biāo)11組件容器化與部署組件容器化與部署12JVM的容器化潛在創(chuàng)建文件的配置都要注意java.io.tmpdir-XX:HeapDumpPath-Xloggc時(shí)區(qū)與編碼--env

TZ=Asia/Shanghai--volume/etc/localtime:/etc/localtime:ro--envJAVA_TOOL_OPTIONS="-Dfile.encoding=UTF-8-Duser.timezone=PRCJVM的容器化潛在創(chuàng)建文件的配置都要注意13JVM的容器化主動(dòng)設(shè)置heap防止ergonomics亂算內(nèi)存CMS收集器要調(diào)整并行度-XX:ParallelGCThreads=cpus-XX:ConcGCThreads=cpus/2JVM的容器化主動(dòng)設(shè)置heap14Mesos容器化需要關(guān)注的配置參數(shù)MESOS_systemd_enable_supportMESOS_docker_mesos_imageMESOS_docker_socketGLOG_max_log_sizeGLOG_stop_logging_if_full_diskMesos容器化需要關(guān)注的配置參數(shù)15Mesos容器化需要關(guān)注的run參數(shù)--pid=host--privileged--net=host

(optional)rootuserMesos容器化需要關(guān)注的run參數(shù)16平臺(tái)部署平臺(tái)部署17基于Marathon的Streaming調(diào)度基于Marathon的Streaming調(diào)度18Marathon簡(jiǎn)介Marathon簡(jiǎn)介19Sparkon

Marathon運(yùn)維標(biāo)準(zhǔn)化&自動(dòng)化解決Mesos-Dispatcher的不足配置不能正確同步基于attributes的過濾功能缺失按role/principal接入Mesos不能re-registery不能動(dòng)態(tài)擴(kuò)容executorSparkonMarathon運(yùn)維標(biāo)準(zhǔn)化&自動(dòng)化20替代Spark

Mesos

Dispatcher替代SparkMesosDispatcher21替代Spark

Mesos

Dispatcher替代SparkMesosDispatcher22問題Checkpoint&

Block動(dòng)態(tài)預(yù)留

&

持久化卷setJars清理無效的卷臨時(shí)文件java.io.tmpdir=/mnt/mesos/sandboxspark.local.dir=/mnt/mesos/sandboxCoarse-Grained問題Checkpoint&Block23Stormon

MarathonStormonMarathon24Debug源生Web

Console隨機(jī)端口openresty配合泛域名Filebeat+Kafka+

ELK多版本追溯日常排錯(cuò)異常監(jiān)控MetricsDebug源生WebConsole25ELKon

MesosELKonMesos26Elasticsearch需求逐步增多目前托管了40+集群100TB+業(yè)務(wù)數(shù)據(jù)高峰期

1.2k

QPS約110個(gè)節(jié)點(diǎn)SSDvs

HDDElasticsearch需求逐步增多目前托管了40+集群27ELK

on

Mesos結(jié)構(gòu)ELKonMesos結(jié)構(gòu)28Haproxy自組集群Haproxy自組集群29DashboardDashboard30監(jiān)控與運(yùn)維監(jiān)控與運(yùn)維31Streaming監(jiān)控指標(biāo)與報(bào)警Streaming拓?fù)浔O(jiān)控業(yè)務(wù)監(jiān)控KafkaTopic

Lag處理延遲mean90/upper90Sparkschedulerdelay/process

delaySearchCount/Message

CountReject/ExceptionJVMStreaming監(jiān)控指標(biāo)與報(bào)警Streaming拓?fù)浔O(jiān)控32容器監(jiān)控指標(biāo)與報(bào)警Google

cAdvisor足夠有效mount

rootfs可能導(dǎo)致容器刪除失敗

#771--docker_only--docker_env_metadata_whitelistStatsd+

Watcher基于Graphite的千萬級(jí)指標(biāo)監(jiān)控平臺(tái)Nagios容器監(jiān)控指標(biāo)與報(bào)警GooglecAdvisor足夠有效33問題基礎(chǔ)監(jiān)控壓力數(shù)據(jù)膨脹垃圾指標(biāo)增多大量的通配符導(dǎo)致數(shù)據(jù)庫壓力較高單個(gè)任務(wù)的容器生命周期發(fā)布擴(kuò)容異常退出問題基礎(chǔ)監(jiān)控壓力34基礎(chǔ)監(jiān)控per-host=>

per-container易變多維度的聚合container

Acontainer

Bcontainer

C<prefix>.<hostname>.<task>.<container>.cpu_usage基礎(chǔ)監(jiān)控per-host=>per-containerc3