多模態(tài)大模型加速算法與開發(fā)實踐-華為+ZOMI醬

通明湖人工智能開發(fā)與應(yīng)用大會多模態(tài)大模型加速算法與ZOMI醬華為昇騰生態(tài)-技術(shù)首席多模態(tài)大模型趨勢與挑戰(zhàn)多模態(tài)大模型趨勢與挑戰(zhàn)1.2多模態(tài)算法結(jié)構(gòu)業(yè)界主要的視頻生成模型：視頻生成大模型催生新應(yīng)用及新需求：勢以MovieGen30B的模型為例，數(shù)據(jù)量：100M視頻文本對和1B級圖片以MovieGen30B的模型為例，數(shù)據(jù)量：100M視頻文本對和1B級圖片文本對，集群規(guī)模：6144H100技術(shù)趨于成熟模態(tài)理解模型技術(shù)趨于成熟多模態(tài)生成理解原生訓(xùn)練統(tǒng)一模型例如：EMU3、Janus技術(shù)尚不成熟解原生訓(xùn)練統(tǒng)一模型例如：例如：JanusFlow、Transfusion技術(shù)尚不成熟覆蓋圖文音視頻的全模態(tài)模型技術(shù)尚不成熟已支持的技術(shù)??1F1B?分布式優(yōu)化器(ZeRO-1)?ZeRO-2/ZeRO-3在研技術(shù)2.1MindSpeed-MM架構(gòu)設(shè)計2.2MindSpeed-MM模型開發(fā)2.3MindSpeed-MM加速方法典型典型LLM模型通信優(yōu)化昇騰系列硬件昇騰系列硬件軟件架構(gòu)統(tǒng)一的多模態(tài)大模型套件體架構(gòu)強耦合，可快速支持圖像生成能力。預(yù)置模型預(yù)置模型原生適配功能任務(wù)預(yù)訓(xùn)練預(yù)訓(xùn)練全參微調(diào)低參微調(diào)在線推理評估AEModel公共模塊公共模塊數(shù)據(jù)工程通信優(yōu)化通信優(yōu)化實例化模型InternVL2MindSpeed-MM/modelsmodel.json實例化模型InternVL2VisionModelVisionModelMLPMLP實例化選擇/開發(fā)原子模型開發(fā)配置實例化選擇/開發(fā)原子模型開發(fā)配置ProjectorInternLMGPTModelInternLMGPTModel組合并實例化模組合并實例化模型選擇原子模型設(shè)計模型結(jié)構(gòu)編寫模型配置OpenSoraPlanMindSpeed-MM/models選擇/開發(fā)開發(fā)配置text_encod選擇/開發(fā)開發(fā)配置text_encod原子模型VideoDiTpredictorVideoDiTpredictorDDPMdiffusionDDPMdiffusionmodel.json實例化模型實例化實例化組合并實例化模組合并實例化模型選擇原子模型設(shè)計模型結(jié)構(gòu)編寫模型配置PP：切分模型權(quán)重，降低內(nèi)存異構(gòu)PP：靈活切分模型，提高負載均衡跨節(jié)點RingP2PZeRO1:節(jié)點間通信ZeRO3:節(jié)點內(nèi)通信TP通信：2次all-reduce，前向?qū)斎隺ll-reduce，反向?qū)μ荻萢llTP-SP:對Sequence進行切分，作用于layernorm和dropout，將計算和激活切分到多個deviceTP-SP通信:2次all-gather，2次reduce-scatterDiTs（PTD并行）模型，采用與LLM相同的并行策略，流水線并行空泡大。DP采用相同的BatchSize，計算負載差距大，由于動LLMEncoderLLMEncoder預(yù)處理計算單元1計算單元2計算單元3?獨立并行：針對不同結(jié)構(gòu)的模型，獨立設(shè)置多維并行利用數(shù)據(jù)、模型參數(shù)等特性，設(shè)置最優(yōu)性能的資源?分離部署：根據(jù)最優(yōu)性能配置，將異構(gòu)模型Encoder、1111 0113.1TOP客戶商業(yè)案例3.2原生支持案例1：北大OpenSoraPlan3.2原生支持案例2：360qihooT2X客戶類型一（深度使用&聯(lián)創(chuàng)）客戶類型二（開箱即用&POC&特性參考）展參數(shù)到15B~30B，需支持720P200幀及1080P200幀，基于MindSpeed-MM合?D/E客戶：某互聯(lián)網(wǎng)大廠使用FLUX進行百?D客戶：某大模型廠商POC任務(wù)，使3.3昇騰