Alluxio助力Kubernetes加速云端深度學(xué)習(xí)

1、Alluxio助力Kubernetes加速云端深度學(xué)習(xí)技術(shù)創(chuàng)新，變革未來目錄我們是誰問題背景Alluxio 助力云原生 AI 模型訓(xùn)練Alluxio 是誰Allluxio 與 Kubernetes 結(jié)合Alluxio 優(yōu)化實(shí)踐相關(guān)資料背景硬件軟件數(shù)據(jù)容器化的基礎(chǔ)架構(gòu)人工智能發(fā)展的驅(qū)動(dòng)力模擬數(shù)據(jù)訓(xùn)練速度311.67323.849993.633884.805000P100(1GPU)P100 (32GPU)V100 (8GPU)V100 (32GPU)RestNet50 模型訓(xùn)練速度（images/second）10000150002000025000300003500040000分布式訓(xùn)練/GP

2、U硬件升級(jí)加速明顯模擬數(shù)據(jù)訓(xùn)練時(shí)間10815.124.623.3910100120P100(1GPU)P100 (8GPU)P100 (32GPU)V100 (8GPU)V100 (32GPU)RestNet50 模型訓(xùn)練時(shí)間(hours)20406080V100 8卡 : 157.9元/小時(shí) x 4 = 631.6 元P100 1卡：12.78 元/小時(shí) x108 = 1380.24 元數(shù)據(jù)訪問的新挑戰(zhàn)ESSD云盤 PL2（images/31secon89.6d）9993.602000400060008000 10000 12000Synthetic強(qiáng)大的算力需要匹配的I/O吞吐計(jì)算存儲(chǔ)分離

3、導(dǎo)致I/O延遲單機(jī)緩存無法滿足海量數(shù)據(jù)加速RestNet50 模型訓(xùn)練速度云盤Alluxio - 分布式緩存的領(lǐng)導(dǎo)者開源項(xiàng)目由李浩源博士(Alluxio公司CEO)在加州大學(xué)Berkeley分校 AMPLab就讀期間創(chuàng)立20132015由硅谷著名投資公司Andreessen Horowitz投資，公司在2015年在 舊金山灣區(qū)成立，致力于推動(dòng)開源項(xiàng)目和社區(qū)以及商業(yè)化面向大數(shù)據(jù)和AI應(yīng)用的內(nèi)存級(jí)數(shù)據(jù)編排系統(tǒng)Java File APIHDFS InterfaceS3 InterfacePOSIX InterfaceREST API數(shù)據(jù)編排層(Data Orchestration)Alluxio是什

4、么HDFS DriverS3 DriverOSS DriverWeb DriverAlibaba Cloud OSSAlluxio 服務(wù)器Alluxio 服務(wù)器大數(shù)據(jù)查詢大數(shù)據(jù)ETL模型訓(xùn)練Alluxio核心功能一：分布式數(shù)據(jù)緩存Alluxio 服務(wù)器AB/path1/file1/path2/file2CABCAAlluxio 服務(wù)器Alluxio 服務(wù)器大數(shù)據(jù)ETL大數(shù)據(jù)查詢模型訓(xùn)練Alluxio核心功能二：靈活多樣的數(shù)據(jù)訪問APIAlluxio 服務(wù)器HDFS接口客戶端POSIX接口客戶端Alluxio 服務(wù)器Alluxio 服務(wù)器大數(shù)據(jù)查詢大數(shù)據(jù)ETL模型訓(xùn)練Alluxio核心功能三：統(tǒng)

5、一的文件系統(tǒng)抽象Alluxio 服務(wù)器Alluxio在云端AI訓(xùn)練場(chǎng)景的性能好處支持大規(guī)模的數(shù)據(jù)緩存本地內(nèi)存加速支持?jǐn)?shù)據(jù)預(yù)熱LRU緩存管理Worker (local)Worker (remote)MasterTraining PODTier0: 1-2GB/SShort Circuit: 1-6GB/SObject storage (Fuse)Network: 300M/SAlluxio在Kubernetes上的架構(gòu)K8S nodePodPodK8S nodeK8S nodeAlluxio WorkerPodRAM/SSD/HDDK8S nodeK8S nodePodRAM/SSD/HDDK8

6、S nodePodRAM/SSD/HDDTensorFlowTensorFlowPodPodMXNetMXNetPodPodCaffeCaffeoss 阿里云 對(duì)象存儲(chǔ)statefulsetdaemonset一鍵式部署Alluxio，中心化配置集群參數(shù)$ cat config.yamlfs.oss.accessKeyId: xxx fs.oss.accessKeySecret: yyyalluxio.master.mount.table.root.ufs: oss:/imagenet-huabei5/EOF$ helm install -f config.yaml alluxio-repo/a

7、lluxio -version 2.3.0-SNAPSHOTAlluxio支持AI模型訓(xùn)練場(chǎng)景的挑戰(zhàn)1252.52518.84981.6 9993.62221.923761.642875.2020004000600080001000012000ResNet50, V100（Image/Second） 1165.61248SyntheticAlluxio1.緩存元數(shù)據(jù)減少gRPC交互ClientMastergetStatus()open()read()()ClientMasterMeta CacheFirst AccessLRUlistStatus()2. Alluxio緩存行為控制參數(shù)取值含義

8、alluxio.user.ufs.block.read.location.policyLocalFirstAvoidEvictionPolicyAlluxio讀取的數(shù)據(jù)塊優(yōu)先保存到本地，但是當(dāng)本地空間不足時(shí)， 不會(huì)驅(qū)逐本地?cái)?shù)據(jù)塊而是將讀取數(shù)據(jù)緩存到鄰近節(jié)點(diǎn)alluxio.worker.tieredstore.level0.dirs.quota100GB緩存存儲(chǔ)的容量上限。alluxio.worker.tieredstore.level0.watermark.high.ratio0.99后臺(tái)驅(qū)逐任務(wù)啟動(dòng)條件，本例子中條件本地空間超過100 x 0.99=99GiB觸發(fā)驅(qū)逐alluxio.user

9、.block.avoid.eviction.policy.reserved.size.bytes1056MB當(dāng)本地節(jié)點(diǎn)的空間少于1056MB時(shí)，數(shù)據(jù)緩存的調(diào)度器不會(huì)選擇該 節(jié)點(diǎn)；轉(zhuǎn)而選擇其他節(jié)點(diǎn)。alluxio.user.file.passive.cache.enabledfalse當(dāng)從Alluxio遠(yuǎn)程worker讀文件時(shí)，是否緩存文件到Alluxio的本 地worker。alluxio.user.file.readtype.defaultCACHE默認(rèn)的CACHE_PROMOTE會(huì)帶來顯著的性能開銷策略：1.優(yōu)先本地加載緩存2.避免數(shù)據(jù)震蕩 3.避免數(shù)據(jù)冗余1233. Fuse性能調(diào)優(yōu)選擇更高版本的kernel設(shè)置max_read=131072定制libfuse2代碼，支持配置Libfuse線程池 延長(zhǎng)元數(shù)據(jù)緩存時(shí)間建議端到端的優(yōu)化方案9993.617441.631068.83266.83299.26409.613478.41274.5479