人工智能一體機(jī)加速深度學(xué)習(xí)訓(xùn)練

1、人工智能一體機(jī)加速深度學(xué)習(xí)訓(xùn)練基于AMD Milan的人工智能一體機(jī)解析AMD Milan人工智能一體機(jī)的軟硬件融合架構(gòu)利用人工智能一體機(jī)一鍵深度學(xué)習(xí)訓(xùn)練AMD Milan 人工智能一體機(jī)行業(yè)應(yīng)用及案例分析目 錄AMD EPYC（霄龍）處理器AMD Instinct GPUAMAX 產(chǎn)品AMD Milan人工智能一體機(jī)基于AMD Milan的人工智能一體機(jī)AMD EPYC（霄龍）處理器處理器組面向?qū)ο竺嫦驊?yīng)用單核心性能更高的頻率、 更大的每核緩存75F3（32核-280W） 74F3（24核-240W）73F3（16核-240W） 72F3（8核-180W）企業(yè)級(jí)高端產(chǎn)品高頻交易 證券交易 高

2、性能計(jì)算EDA VMware高核心密度領(lǐng)先的核心及線程數(shù)7763（64核-280W）7713（64核-225W） 7713P（64核-225W單路）7663（56核-240W） 7643（48核-225W）超算領(lǐng)域 互聯(lián)網(wǎng) 科研機(jī)構(gòu)高性能計(jì)算 云計(jì)算 虛擬化7543（32核-225W） 7543P（32核-225W單路）7513（32核-200W）市場(chǎng)主流應(yīng)用主流均衡優(yōu)化7453（28核-225W） 7443（24核-200W）企業(yè)級(jí)主流應(yīng)用科研機(jī)構(gòu)虛擬化數(shù)據(jù)庫(kù)性能及TCO7443P（24核-200W單路） 7413（24核-180W）通用型主流應(yīng)用編解碼7343（16核-190W） 7313

3、（16核-155W）存儲(chǔ)7343（16核-155W單路）4AMD EPYC（霄龍）處理器第二代和第三代 AMD EPYC（霄龍）處理器通過(guò) AMD Infinity Fabric 技術(shù)實(shí)現(xiàn)芯片間連接的全方位升級(jí)， 帶來(lái)全面優(yōu)化的多處理器性能和可擴(kuò)展性。高速小芯片互連超大內(nèi)存帶寬超大 I/O 帶寬5每個(gè)插槽 8 個(gè)內(nèi)存通道峰值 410 GB/s DRAM 帶寬全部 8 x16 鏈路 PCIe 4.0單路 128 條 PCIe 4.0 通道每條鏈路 64GB/s 雙向帶寬，每個(gè)插槽 512GB/sCPU+GPU的異構(gòu)計(jì)算純CPU挑戰(zhàn)：模型全部由CPU進(jìn)行處理，CPU線程不足導(dǎo)致處理時(shí)間緩慢CPU+

4、GPU混合計(jì)算：復(fù)雜的并行計(jì)算有GPU完成，CPU處理串行數(shù)據(jù)，消除計(jì)算瓶頸數(shù)據(jù)計(jì)算過(guò)程讀取視頻數(shù)據(jù)：OpenCV模型訓(xùn)練方法：Tensorflow / Pytorch6AMD Instinct GPUPCIe 4.0 x16AMD CDNA 架 構(gòu)120 個(gè)計(jì)算單元（7,680 個(gè)核心）高性能計(jì)算 GPU最高可達(dá) 11.5 TFLOPs 峰值 FP64 性能全新的 Matrix Core 技術(shù)可為高性能計(jì)算和人工智能工作負(fù)載提供 最高可達(dá) 46.1 TFLOPs FP32 矩陣峰值性能可為超快人工智能訓(xùn)練提供最高可達(dá)184.6 TFLOPs FP16 和 92.3 TFLOPs bFloat

5、16 的峰值性能32 GB 超快 HBM2 糾錯(cuò)碼 (ECC) 顯存， 可提供最高可達(dá) 1.2 TB/s 的顯存帶寬開(kāi)放且可移植的 AMD ROCm 生態(tài)系統(tǒng)第二代 Infinity 架構(gòu)，具有最高可達(dá) 340 GB/s 的總 P2P GPU I/O 帶寬7AMD Instinct GPU先進(jìn)的高性能計(jì)算 GPUAMD Instinct MI100 加速器可提供最高可達(dá) 11.5 TFLOPS 的雙精 度 (FP64) 理論峰值性能，為高性能計(jì)算應(yīng)用帶來(lái)卓越的性能，較上 一代 AMD 加速器有了大幅提升。 MI100 為高性能計(jì)算應(yīng)用帶來(lái)最 高可達(dá) 74% 的代際雙精度性能提升。8隨時(shí)隨地釋放

6、智能AMD Instinct MI100 加速器采用全新 Matrix Core 技術(shù)，與上一代 AMD 加速器相比，為人工智能應(yīng)用帶來(lái)近 7 倍的 FP16 性能提升。 MI100 還針對(duì)人工智能和機(jī)器學(xué)習(xí)工作負(fù)載大幅提升混合精度計(jì)算和 P2P GPU 連接性能。初級(jí)服務(wù)器產(chǎn)品優(yōu)勢(shì)搭載雙路AMD處理器+4張AMD Instinct GPU支持NVME陣列支持6x PCIe 4.0 x 16 slots FHFL型號(hào)G224-H3機(jī)箱2U機(jī)架式CPU雙路AMD EPYC 7003系列處理器，最高240WGPU搭載2-4片雙寬GPU內(nèi)存16x DDR4 DIMM，Up to 4TB 3DS EC

7、C DDR4 3200MHz RDIMM/LRDIMM硬盤(pán)8 x 3.5”/2.5”SATA/SAS/NVMe U.2熱插拔硬盤(pán)網(wǎng)絡(luò)2 x 10GbE RJ45I/O4 x USB 3.1接口；1 x VGA接口；1 x RJ45 Mgmt接口電源2200W（1+1）冗余電源尺寸438.4mm x 87mm x 831mm (W x H x D)擴(kuò)展槽4 x PCIe4.0 x16 slots (FHFL)+2 x PCIe4.0 x16 slots (HHHL)9專(zhuān)業(yè)級(jí)服務(wù)器產(chǎn)品優(yōu)勢(shì)搭載雙路AMD處理器+8張AMD Instinct GPU支持NVME陣列支持10 x PCIe 4.0 x

8、16 slots FHFL型號(hào)G428-H2機(jī)箱4U機(jī)架式CPU雙路AMD EPYC 7003系列處理器，最高64核280WGPU搭載8片雙寬GPU內(nèi)存32 x DDR4 DIMM，Up to 8TB 3DS ECC DDR4 3200MHz RDIMM/LRDIMM硬盤(pán)24 x 2.5” SATA/SAS熱插拔硬盤(pán)，其中支持4 x U.2 NVMe SSD6 x 3.5” SATA熱插拔硬盤(pán)網(wǎng)絡(luò)2 x 1GbE RJ45I/O2 x USB 3.0接口；1 x VGA接口；1 x RJ45 Mgmt接口；1 x COM串口電源2000W（2+2）冗余電源尺寸437mm x 178mm x 7

9、37mm（Wx H x D)擴(kuò)展槽10 x PCIe 4.0 x 16 slots FHFL或9 x PCIe 4.0 x 16 slots FHFL+1 x PCIe4.0 x 8 slot LP+1 x PCIe 4.0 x 8 slot（in x 16）FHFL10Why 人工智能一體機(jī)?11人工智能一體機(jī)人工智能一體機(jī)融合傳統(tǒng)硬件與深度學(xué)習(xí)軟件，以AI Max為統(tǒng)一人工智能平臺(tái)，融合以AMDEPYC+Instinct加速的深度學(xué)習(xí)計(jì)算體系，構(gòu)建一體化的深度學(xué)習(xí)平臺(tái)，具備細(xì)粒度的權(quán)限管控， 安全高效的數(shù)據(jù)管理，全面細(xì)致的監(jiān)控管理，為用戶最大化資源利用率。管理人工智能一體機(jī)的管理通過(guò)標(biāo)配的

10、管理平臺(tái)實(shí)現(xiàn)統(tǒng)一管理，能耗/溫度信息等統(tǒng)一檢測(cè)管理，遠(yuǎn)程 桌面統(tǒng)一管理、設(shè)備狀態(tài)管理、資源消耗管理等，可有效便捷改善能源效率，提升管理水平，節(jié)省 運(yùn)維成本。12AMD Milan人工智能一體機(jī)靈活硬件配置，適配各種業(yè)務(wù)支持多種硬件配置，滿足不同業(yè)務(wù)對(duì)計(jì)算、存儲(chǔ)和I/O的彈性要求。3節(jié)點(diǎn)即可搭建高可用平臺(tái)，適用于云計(jì)算、邊緣等應(yīng)用場(chǎng)景，是云數(shù)據(jù)中心IT基礎(chǔ)設(shè)施的理想選擇。統(tǒng)一管理，精簡(jiǎn)運(yùn)維物理機(jī)及虛擬(云)資源可通過(guò)統(tǒng)一圖形化操作界面進(jìn)行管理，多租戶體系，使IT資源需求方可通過(guò)圖形 化操作界面實(shí)現(xiàn)自服務(wù)，降低對(duì)IT管理人員的技能要求和運(yùn)維負(fù)擔(dān)。平臺(tái)自帶的操作日志、權(quán)限管控功能，可滿足企業(yè)IT安全

11、、審計(jì)等要求。分布式存儲(chǔ)引擎，解決性能瓶頸分布式存儲(chǔ)方案，數(shù)據(jù)采用多副本模式，分布于多臺(tái)內(nèi)置硬盤(pán)或SSD存儲(chǔ)中，不僅避免了單機(jī)性能瓶頸， 也降低了數(shù)據(jù)丟失的風(fēng)險(xiǎn)，其容量可以按需動(dòng)態(tài)擴(kuò)展，降低運(yùn)維、規(guī)劃存儲(chǔ)架構(gòu)的負(fù)擔(dān)。安全可靠，開(kāi)箱即用一體機(jī)在廠內(nèi)預(yù)裝，實(shí)現(xiàn)一站式交互，開(kāi)箱即用，運(yùn)維人員通過(guò)圖像化操作界面進(jìn)行部署，實(shí)現(xiàn)業(yè)務(wù) 快速上線，一體機(jī)具備多種數(shù)據(jù)安全機(jī)制（多副本、故障硬盤(pán)自動(dòng)隔離、快照備份等），支持虛擬機(jī) 熱遷移、熱補(bǔ)丁技術(shù)，內(nèi)置負(fù)載均衡，有效保障業(yè)務(wù)高可用。13人工智能一體機(jī)硬件架構(gòu)人工智能一體機(jī)軟件架構(gòu)解析AMD Milan人工智能一體機(jī)的軟硬件融合架 構(gòu)人工智能一體機(jī)硬件架構(gòu)管理節(jié)點(diǎn)

12、專(zhuān)業(yè)計(jì)算節(jié)點(diǎn)以太網(wǎng) 交換機(jī)存儲(chǔ)節(jié)點(diǎn)管理節(jié)點(diǎn)2U服務(wù)器，冗余電源，性能穩(wěn)定，配置文件高效管理，一體機(jī)健康狀態(tài)與網(wǎng)絡(luò) 流量監(jiān)控，任務(wù)提交與調(diào)度，高可用。存儲(chǔ)節(jié)點(diǎn)采用分布式存儲(chǔ)架構(gòu)，通過(guò)統(tǒng)一的平臺(tái)提供，為企業(yè)用戶提供穩(wěn)定、彈性擴(kuò)張、 高性能的分布式存儲(chǔ)服務(wù)。4U多GPU服務(wù)器，單節(jié)點(diǎn)可以支持8-10片GPU, 支持多種主流計(jì)算框架與分布式學(xué)習(xí)訓(xùn)練，利用容器技術(shù)實(shí)現(xiàn)秒級(jí)部署，支持超大容量AEP持久化內(nèi)存，大帶 寬。專(zhuān)業(yè) 計(jì)算節(jié)點(diǎn)IB交換機(jī)15IB交換機(jī)計(jì)算與存儲(chǔ)節(jié)點(diǎn)使用IB交換機(jī)互聯(lián)，可實(shí)現(xiàn)低延遲，高帶寬的專(zhuān)用網(wǎng)絡(luò)。以太網(wǎng) 交換機(jī)采用千兆網(wǎng)絡(luò)作為管理網(wǎng)絡(luò)及IPMI網(wǎng)絡(luò)。人工智能一體機(jī)軟件架構(gòu)AI Ma

13、x人工智能平臺(tái)是一款基于 Docker + Kubernetes 的人工智能容器云平臺(tái)；能夠?qū)崿F(xiàn)異構(gòu)資源的高效管理、調(diào)度和監(jiān)控，提供 了從模型開(kāi)發(fā)、訓(xùn)練到部署的完整流程和工具。廣泛適用于教育、 科研、金融、醫(yī)療、能源各個(gè)行業(yè)；能極大降低人工智能進(jìn)入門(mén)檻， 提高人工智能創(chuàng)新和研發(fā)的效率。AI Max人工智能平臺(tái)16人工智能一體機(jī)軟件架構(gòu)云 支 撐 服 務(wù)物理服務(wù)器網(wǎng)絡(luò)設(shè)備存儲(chǔ)設(shè)備Web門(mén)戶/命令行/API資源管理任務(wù)監(jiān)控任務(wù)調(diào)度模型訓(xùn)練超參調(diào)優(yōu)數(shù)據(jù)管理資源抽象資源調(diào)度集群管理資源監(jiān)控鏡像管理容器管理存儲(chǔ)管理多租戶可視化部署推理17資源調(diào)度鏡像訂制模型開(kāi)發(fā)調(diào)試分布式存儲(chǔ)系統(tǒng)利用人工智能一體機(jī)一鍵深

14、度學(xué)習(xí)訓(xùn)練資源調(diào)度19鏡像訂制20模型開(kāi)發(fā)調(diào)試21分布式訓(xùn)練22分布式存儲(chǔ)系統(tǒng)采用全對(duì)稱分布式架構(gòu)，解決存儲(chǔ)系統(tǒng)的靈活擴(kuò)展、高性能（IOPS+吞吐）支撐，兼容塊、對(duì)象、文件存儲(chǔ)，高效應(yīng)對(duì)數(shù)據(jù)管理、訪問(wèn)問(wèn)題， 為用戶提供可靠穩(wěn)定的存儲(chǔ)服務(wù)，支持百億級(jí)文件存儲(chǔ)，優(yōu)化小文件存 儲(chǔ)性能及具備多種數(shù)據(jù)安全策略，通過(guò)極簡(jiǎn)的運(yùn)維管理為用戶提供高性 能的分布式存儲(chǔ)方案。23AMD Milan 人工智能一體機(jī)行業(yè)應(yīng)用案例分析AMD Milan 人工智能一體機(jī)行業(yè)應(yīng)用及案例分析應(yīng)用領(lǐng)域人工智能一體機(jī)內(nèi)置多種深度學(xué)習(xí)框架，利用容器技術(shù)封裝大量底層操作，降低深度學(xué)習(xí)從業(yè)人員技術(shù)門(mén)檻、最 小化計(jì)算資源，助力輕量級(jí)AI業(yè)

15、務(wù)快速上線。制造業(yè)-異常檢測(cè)隨著物聯(lián)網(wǎng)的發(fā)展，制造企業(yè)從產(chǎn)線收 集的大量生產(chǎn)數(shù)據(jù)通過(guò)深度學(xué)習(xí)，從復(fù) 雜系統(tǒng)提取眾多參數(shù)，通過(guò)一體機(jī)進(jìn)行 細(xì)致化的分析、計(jì)算、建模、訓(xùn)練等， 可快速應(yīng)用于異常檢測(cè)等場(chǎng)景。醫(yī)療-癌癥檢測(cè)人工智能對(duì)于疾病診斷，尤其是圖像識(shí) 別對(duì)于癌癥識(shí)別、檢測(cè)已取得較大進(jìn)步。 針對(duì)需要圖像識(shí)別輔助診斷的領(lǐng)域，借 助一體機(jī)，極大提高人工智能診斷的準(zhǔn) 確率及時(shí)效性。教育-教學(xué)實(shí)踐針對(duì)教學(xué)領(lǐng)域的人工智能熱潮，一體機(jī) 直面計(jì)算環(huán)境部署困難的問(wèn)題，利用容 器技術(shù)封裝大量底層操作，實(shí)現(xiàn)開(kāi)箱即 用，降低人工智能教學(xué)門(mén)檻，適用于各 類(lèi)教育實(shí)踐環(huán)節(jié)。25行業(yè)應(yīng)用:計(jì)算機(jī)輔助診斷-病灶檢測(cè)病灶檢測(cè)，對(duì)可

16、疑病灶進(jìn)行識(shí)別和勾畫(huà)病灶量化診斷，幫助醫(yī)生鑒別疾病良惡性、分形分期等治療決策，通過(guò)相關(guān)性分析，支持臨床醫(yī)生進(jìn)行科學(xué)合理 的治療決策26案例分享廣州中康資訊股份有限公司項(xiàng)目人工智能一體化解決方案“中康資訊股份有限公司運(yùn)建立圍繞醫(yī)、藥、患各環(huán)節(jié)多場(chǎng)景衍生的數(shù)據(jù)庫(kù)，運(yùn) 用先進(jìn)技術(shù)開(kāi)發(fā)智能化系統(tǒng)對(duì)大數(shù)據(jù)進(jìn)行管理、分析與挖掘，更立足產(chǎn)業(yè)高度， 拓展數(shù)據(jù)在健康領(lǐng)域各種商業(yè)應(yīng)用。AMAX根據(jù)用戶需求，提供人工智能一體機(jī)解決方案，為用戶搭建深度學(xué)習(xí)私 有云環(huán)境，通過(guò)一鍵式人工智能平臺(tái)與分布式存儲(chǔ)系統(tǒng)，降低用戶AI使用門(mén)檻 的同時(shí)為用戶提供安全高效的數(shù)據(jù)存儲(chǔ)方案?？蛻魞r(jià)值低成本、高性能，快速為用戶構(gòu)建一個(gè)易用、高效、穩(wěn)定的深度學(xué)習(xí)環(huán)境，降低用戶AI業(yè)務(wù) 開(kāi)發(fā)門(mén)檻，加速AI產(chǎn)品研發(fā)與落地，提升市場(chǎng)競(jìng)爭(zhēng)力?！胺植际酱鎯?chǔ)私有云搭建一體化部署27案例分享蘇州大學(xué)項(xiàng)目加速AI科研，簡(jiǎn)化AI教學(xué)“蘇州大學(xué)積極響應(yīng)國(guó)家對(duì)人工智能人才需求的號(hào)召，以培養(yǎng)學(xué)生自主開(kāi)發(fā)實(shí)操 能力