2019云棲大會一鍵

1、學(xué)習(xí)平臺的Kubernetes實(shí)踐DingpingYUAN新浪工程師01 微博WeiboContents 目錄02 機(jī)器學(xué)習(xí)平臺Machine Learning Platform03 深度學(xué)習(xí)Deep Learning04 在線學(xué)習(xí)Online LearningAI業(yè)務(wù)及趨勢Weibo AI business and trend01/用戶規(guī)模Weibo/DAU2.11億211M4.86億486M日活用戶DAU月活用戶MAU2019Q2財(cái)報(bào)2019Q2FinancialReports/業(yè)務(wù)Weibo/business eco關(guān)注/普通用戶優(yōu)質(zhì)用戶AI內(nèi)容理解內(nèi)容組織優(yōu)質(zhì)內(nèi)容微博/AI場景 多媒體

2、內(nèi)容理解Weibo/AI scene Multi-media Content Understand智能裁剪Smartcrop音頻分類Audioclassification圖片OCRImageOCR視頻盜鏈檢測Cheatinglinkdetection明星識別Starrecognition視頻LogoVideoLogo/AI場景 CTR任務(wù)Weibo/AI Scene CTR熱門推薦HotWeibo相關(guān)推薦Recommend關(guān)注排序Feed/AI發(fā)展趨勢Weibo/AI Trend平臺化Platform深度化Deep實(shí)時化lOnine 業(yè)務(wù)場景多,需求高度重復(fù)用戶短期不斷變化圖片與類內(nèi)容增長迅速

3、 業(yè)務(wù)迭代速度慢， Duplicatescene與成本有限模型迭代速度慢，不能擬合實(shí)時分布 Usershortinterestvariety特征工程成本比較高ImageandcontentistaerFaiontsirirFaenoltrwMothanrealueneeringtimedistribution學(xué)習(xí)平臺Machine Learning Platform學(xué)習(xí)工作流Machine learning workflow02/學(xué)習(xí)工作流Weibo/Machine Learning workflowK8S應(yīng)用環(huán)節(jié)模型數(shù)據(jù)傳輸模型部署模型訓(xùn)練樣本生成特征處理模型訓(xùn)練模型評估原始數(shù)據(jù)特征處理模型

4、業(yè)務(wù)評估微博/機(jī)器學(xué)習(xí)平臺Weibo/Machine Learning Platform一站式服務(wù)平臺，加快業(yè)務(wù)開發(fā)速度，縮減業(yè)務(wù)迭代周期irasnruoeitnptetoseinb，udepsOcesime 業(yè)務(wù)無須關(guān)注底層工程細(xì)節(jié)和資源分配，專注于算法和效果調(diào)優(yōu) Focusonalgorithmandbusinessresults在線學(xué)習(xí)數(shù)據(jù)倉庫集群實(shí)時計(jì)算集群阿里云計(jì)算集群高性能GPU集群深度學(xué)習(xí)KubernetesdockeryarnHDFS/ODPSPS/weipsspark/hadooptensorflow/caffestorm/flink基礎(chǔ)/IDE(WeiIDE)開發(fā)套件控制臺

5、控制中心算法/模型(WeiFlow)模型庫樣本庫模型服務(wù)推薦引擎模型訓(xùn)練/評估樣本生成數(shù)據(jù)/特征(WeiData)數(shù)據(jù)/特征生成數(shù)據(jù)/特征庫數(shù)據(jù)/特征服務(wù)機(jī)器學(xué)習(xí)平臺內(nèi)容生產(chǎn)圖像/視頻分類文本分類/檢測推薦流關(guān)注流業(yè)務(wù)應(yīng)用深度學(xué)習(xí)深度學(xué)習(xí)框架 weilearn vs arenaDeep LearningDeep learning framework weilearn vs arena03深度學(xué)習(xí)訓(xùn)練框架 - weilearnDeep learning framework - weilearn任務(wù)配置化，降低業(yè)務(wù)接入成本AljobconfigurizedResourcemanagementwit

6、heficiencyandrobust統(tǒng)一調(diào)度，提高任務(wù)效率與穩(wěn)定性，降低平臺管理成本樣本庫訓(xùn)練框架調(diào)度計(jì)算模型庫CTR業(yè)務(wù)樣本處理CTR配置超參數(shù)DNNCTR樣本Arena/K8SWide&DeepNLPDeepFM自然語言樣本SparkRNNDeep Cross Network與圖像樣本圖像業(yè)務(wù)YARN算法圖片NLP業(yè)務(wù)inceptionresnet語音業(yè)務(wù)LSTMGRUVGGYoloArena 基于k8s的分布式解決方案Arena tool for data scientist開源 kubeflow opreator for tensorflowuena基于Kubernetes用戶無需掌

7、握k8s領(lǐng)域知識提供數(shù)據(jù)科學(xué)家最熟悉的使用體驗(yàn)u 簡單 一分鐘內(nèi)啟動深度學(xué)習(xí)任務(wù)；CPUHDFSGPUKubernetes / NVidia Docker RuntimeKubeFlow / tfjobs/mpijobsarena clitensorflow/caffe/horvod/pytorch學(xué)習(xí)學(xué)習(xí)工作流Online learning Online learning workflow and pipeline04學(xué)習(xí)/實(shí)時化Online learning/Real time特征實(shí)時化：更及時反饋用戶行為，更細(xì)粒度刻畫用戶Realtimefeature：Getlatestuserbeha

8、vior模型實(shí)時化：根據(jù)線上樣本實(shí)時訓(xùn)練模型，及時地反映對象的線上變化Realtimem：Reflectlatestuserdistribution實(shí)時特征實(shí)時數(shù)據(jù)模型推理服務(wù)實(shí)時 模型訓(xùn)練實(shí)時 參數(shù)更新實(shí)時樣本weiflow -學(xué)習(xí)工作流weiflow Online learning workflow排序服務(wù)模型服務(wù)參數(shù)服務(wù)請求online實(shí)時特征特征工程模型訓(xùn)練：計(jì)算分散實(shí)時Real time實(shí)時樣本實(shí)時訓(xùn)練實(shí)時日志實(shí)時參數(shù)服務(wù)模型更新：小時級/分鐘級/秒級更新/Delta模型K8S應(yīng)用環(huán)節(jié)離線特征模型樣本：天級樣本延時模型訓(xùn)練：計(jì)算集中模型更新：天級更新/Base模型離線ofline離線

9、日志離線樣本離線訓(xùn)練離線參數(shù)服務(wù)模型樣本：小時級/分鐘級延時學(xué)習(xí)/實(shí)時樣本Online learning/real time sampleFlink/Storm行為日志KafkaK8S/yarnstatetimer閱讀行為日志HDFS樣本拼接周期生成點(diǎn)擊行為日志Kafka數(shù)據(jù)處理數(shù)據(jù)過濾互動行為日志樣本庫實(shí)時樣本拼接數(shù)據(jù)源學(xué)習(xí)/實(shí)時訓(xùn)練Online learning/real time train 模型選擇LR : 基礎(chǔ)模型，對特征工程依賴較強(qiáng)FM：大規(guī)模稀疏數(shù)據(jù)下的特征組合問題DeepFM:引入高階特征組合模型訓(xùn)練1. 支持回歸和分類2. 支持LR/FM/DeepFM等模型3. 支持SGD/

10、FTRL /Adagrad等優(yōu)化算法1.模型評估 優(yōu)化算法選擇2. 配置化3. UI展示SGD： 參數(shù)少，效率高，固定學(xué)習(xí)率Adagrad : 自適應(yīng)學(xué)習(xí)率，突出低頻特征，實(shí)現(xiàn)簡單FTRL：自適應(yīng)學(xué)習(xí)率，突出低頻特征，模型稀疏性 特征處理Hash：BKDRhash/CityHash,去ID編碼化動態(tài)特征刪減，動態(tài)調(diào)整模型規(guī)模增加ID類特征訓(xùn)練預(yù)處理樣本生成和特征處理1.配置化1.2.選擇UDF2. 多3. 支持樣本HASH3. 樣本過濾4. 特征過濾模型評估學(xué)習(xí)/Flink on ACKOnline learning/Flink on ACKK8sMasterConfig MapAPI Ser

11、ver, Controller, SchedulerK8sPodK8sDeploymentFlink TaskMana gerFlinkMasterFlink ClientK8s ServiceSelector：-app-compone tDispa tche rK8sRes MngrK8sPodJobMas terFlink TaskMana gerDocker RegistryC K8s nliet學(xué)習(xí)/參數(shù)服務(wù) weiPS on ACKOnline learning/Parameter server weiPS on ACK 參數(shù)規(guī)模支持百億特征維度，千億參數(shù) 模型版本多模型多版本：多組

12、實(shí)驗(yàn)并行執(zhí)行，提高實(shí)驗(yàn)迭代效率版本切換：基于ZK的版本感知機(jī)制，動態(tài)進(jìn)行版本切換，實(shí)現(xiàn)BASE模型的熱更新，實(shí)時訓(xùn)練與離線訓(xùn)練周期模型融合模型結(jié)構(gòu)訓(xùn)練與推理兼容：PS與離線PS模型結(jié)構(gòu)兼容，自動模型參數(shù)轉(zhuǎn)換 穩(wěn)定性優(yōu)化模型快照：基于ps-scheduler的周期模型版本探測與保存，模型稀疏化分片災(zāi)：基于checkpoint機(jī)制(Local模式&Remote模式)，實(shí)現(xiàn)參數(shù)服務(wù)的高可用，支持基于模型的異構(gòu)集群遷移，支持集群擴(kuò)縮容 性能優(yōu)化通信優(yōu)化：數(shù)據(jù)請求(PULL&PUSH)聚合，同模型多矩陣并發(fā)，鎖粒度優(yōu)化，性能提升5-10倍緩存優(yōu)化：使用堆外內(nèi)存與LRU過期機(jī)制，解決GC引起的性能損耗，性

13、能提升3-5倍分區(qū)優(yōu)化：支持多種分區(qū)策略（RANGE/HASH/MOD），解決數(shù)據(jù)傾斜導(dǎo)致的流量熱點(diǎn)瓶頸問題，性能提升2-5倍優(yōu)化：自定義90%方式(ByRow&ByKey)，基于row進(jìn)行矩陣壓縮，參數(shù)內(nèi)存占用減少學(xué)習(xí)/持續(xù)訓(xùn)練持續(xù)部署 - CTCDOnline learning/CTCD 模型部署 模型評估模型路由deploymentzookeeper服務(wù)發(fā)現(xiàn)模型部署分鐘級olsubmit一鍵部署自動端口分配AUC/準(zhǔn)確率/模型穩(wěn)定性一致性率驗(yàn)證多模型實(shí)驗(yàn)多版本切換Kubernetes/olsubmit服務(wù)模型路由模型部署模型評估模型庫模型訓(xùn)練離線/分布式模型推理框架 weiserving

14、 on ACKDistributing inference framework weiserving on ACK業(yè)務(wù)應(yīng)用排序模型服務(wù)多分析服務(wù)自然語言分析服務(wù)DNN/DeepFM/W&DLR/GBDT算法模型層數(shù)據(jù)處理Embedding特征模型服務(wù)框架統(tǒng)一版本管理/動態(tài)加載/批量化機(jī)制/多模型計(jì)算引擎架構(gòu)層RPC服務(wù)框架/服務(wù)發(fā)現(xiàn)/zookeeperkubernetes/ol-submit集群調(diào)度層異構(gòu)CPU集群異構(gòu)GPU集群K8S在微博機(jī)器學(xué)習(xí)平臺的應(yīng)用How kubernetes enhanced our platform總結(jié)微博機(jī)器學(xué)習(xí)平臺SummaryWeibo online learning plarform平臺化：為機(jī)器學(xué)習(xí)平臺提供統(tǒng)一可靠靈活的任務(wù)管理機(jī)制深度化：分布式深度學(xué)習(xí)訓(xùn)練，一鍵集群任務(wù)創(chuàng)建，提高訓(xùn)練與調(diào)度效率 深度化：分布式測服務(wù)，異構(gòu)混合調(diào)度提高資源利用率，服務(wù)保障高可用 實(shí)時化：做為在線學(xué)習(xí)系統(tǒng)的底層支撐，打通整個在線機(jī)器學(xué)習(xí)流程實(shí)時化：持續(xù)