華為+AI大模型開(kāi)源生態(tài)及大模型平臺(tái)實(shí)踐

智源研究院Al大模型開(kāi)源生態(tài)及演講人：華為昇思MindSpore開(kāi)源生態(tài)總監(jiān)胡曉曼昇思3AAIMindSpore智源研究院02●模型底座：華為AI大模型全景架構(gòu)及應(yīng)用案例03●平臺(tái)架構(gòu)：大模型平臺(tái)技術(shù)架構(gòu)及技術(shù)分析3AAI昇思智源研究院MindSporeAl大模型開(kāi)源生態(tài)發(fā)展洞察分析合成數(shù)據(jù)創(chuàng)造結(jié)果新產(chǎn)業(yè)合成數(shù)據(jù)創(chuàng)造結(jié)果新產(chǎn)業(yè)分析數(shù)據(jù)給出建議產(chǎn)業(yè)輔助“三疊浪” 文章重點(diǎn)考察了小樣本提示任務(wù)中各種模型的涌現(xiàn)能力 蠟大模型根本方法；(1)模型結(jié)構(gòu)需要基于先驗(yàn)設(shè)計(jì)；(2)結(jié)構(gòu)與參數(shù)需要復(fù)雜設(shè)計(jì)過(guò)程：(3)參數(shù)提升，工程訓(xùn)練難空施之提升；高高能與模型解械；(1)增加數(shù)據(jù)是昂貴的行為；(2)數(shù)據(jù)來(lái)源無(wú)法保證多樣性和均一性；中中充分利用模型容量：低低增加模型參數(shù)是當(dāng)前曾大模型容量的最可行方法增加模型參數(shù)是當(dāng)前曾大模型容量的最可行方法為什么近年模型容量提升速度卻在放緩?GPT-12018年6月GPT-12018年6月2019年2月人工標(biāo)注數(shù)據(jù)&強(qiáng)化學(xué)習(xí)人工標(biāo)注數(shù)據(jù)&強(qiáng)化學(xué)習(xí)ChatGPT2022年12月參數(shù)：1750億量人工標(biāo)注數(shù)據(jù)ChatGPT生成文本5萬(wàn)條越高質(zhì)量人工標(biāo)注數(shù)據(jù)RM對(duì)生成文本內(nèi)容評(píng)價(jià)好壞元萬(wàn)美元高素質(zhì)領(lǐng)域?qū)＜覅⑴c數(shù)據(jù)標(biāo)注和增強(qiáng)工作5年探索研究GPT-3:從45TB原始文本語(yǔ)料篩選出570+GB高質(zhì)量數(shù)據(jù)(約3000億單詞)GPT-3.5:訓(xùn)練數(shù)據(jù)包含5400萬(wàn)個(gè)代碼庫(kù)，僅Python語(yǔ)言就有159GB治理與倫理高速旋轉(zhuǎn)的數(shù)據(jù)飛輪、大算力驅(qū)動(dòng)模型更快的進(jìn)化般<100天”;人 RLHFReinforcementLearn即，人類反饋的強(qiáng)化學(xué)習(xí)：增強(qiáng)了人對(duì)模型輸出結(jié)果的調(diào)節(jié)，并且對(duì)結(jié)果進(jìn)行了更具理解性的排序?！つ琴Y產(chǎn)負(fù)債率多少合適?·不能過(guò)高也不能過(guò)低?業(yè)界先進(jìn)企業(yè)一般<100天基于人類反饋的強(qiáng)化學(xué)習(xí) 學(xué)生刷題：OpenAl招募了40位專家，標(biāo)注了5萬(wàn)條高質(zhì)量數(shù)據(jù)，有監(jiān)督微調(diào)訓(xùn)練模型，通過(guò)樣例學(xué)習(xí)教會(huì)機(jī)器理解人類prompt包含的意圖，并a老師閱卷：通過(guò)OpenAl開(kāi)放的若干API收集數(shù)據(jù)(模型對(duì)同一問(wèn)題的不同回答),收集人類的評(píng)分并排序，以此數(shù)據(jù)訓(xùn)練獎(jiǎng)勤模型，告訴機(jī)器人類的喜60分：95第三步：通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出策略模型第三步：通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出策略模型使用獎(jiǎng)勵(lì)模型考察策略模型的輸出，類似模擬考提升策略模型的效果。 全國(guó)邦第二位.672億人民節(jié)；算力費(fèi)用高達(dá)2000萬(wàn)美元(OpenAI萬(wàn)卡V100/A100持續(xù)迭代3年);·全棧技術(shù)難：ChatGPT大模型+大數(shù)據(jù)持續(xù)學(xué)習(xí)、基于人類反饋強(qiáng)化學(xué)習(xí)和微調(diào)、多機(jī)多卡/單卡推理等全棧全流程技術(shù)要求；·行業(yè)結(jié)合難：優(yōu)質(zhì)模型+專業(yè)知識(shí)投入+廠商AI技術(shù)支撐，是大模型可以產(chǎn)業(yè)落地的關(guān)鍵Megatron-530B模型名算力硬件硬件算法開(kāi)發(fā)1)使用注釋數(shù)據(jù)開(kāi)發(fā)和訓(xùn)練AL2)在垂直細(xì)分領(lǐng)域進(jìn)行模型的二內(nèi)容生產(chǎn)廠商內(nèi)容創(chuàng)作應(yīng)用服務(wù)商內(nèi)容分發(fā)平臺(tái)1)協(xié)助用戶使用模型和算法生成內(nèi)2)將生成的丙容分發(fā)到各種渠道，如社交媒體、娛樂(lè)平臺(tái)、新聞媒體等。生成)Bard(聊天機(jī)器人)DeepMind|Gopher(語(yǔ)言理解、1生成)統(tǒng))生成)(圖像生成)生成)App制作上游中游下游上游中游下游以ChatGPT為代表的AIGC行業(yè)，上游主中游主要包括文字、圖像、音頻、視頻等數(shù)字內(nèi)容的處理加工方，下游主要是各類數(shù)字內(nèi)容分發(fā)平臺(tái)、消費(fèi)方及相關(guān)服務(wù)機(jī)構(gòu)等。數(shù)據(jù)供給方數(shù)據(jù)分析標(biāo)注生物資產(chǎn)、內(nèi)容素材、音視頻等多模態(tài)內(nèi)容消費(fèi)品智源研究院華為Al大模型全景架構(gòu)及應(yīng)用案例預(yù)訓(xùn)預(yù)訓(xùn)練檢測(cè)AI框架大模型開(kāi)發(fā)套件大模型微調(diào)組件大模型部署組件大模型開(kāi)發(fā)套件大模型微調(diào)組件BETT5Tools分調(diào)切詞分調(diào)切詞E2E極簡(jiǎn)、開(kāi)箱即用·微調(diào)組件：5%參數(shù)微調(diào)即實(shí)現(xiàn)全參精度調(diào)優(yōu)鏈，多維混合壓縮20X壓縮比，精度損失<0.5%·千卡規(guī)模集群線性度55%→80%巡檢推薦搜索基因研究藥物研發(fā)城市治理防災(zāi)減災(zāi)變化監(jiān)測(cè)地物分類智能客服流體仿真盤古CV城為云已發(fā)布 ·facebook.飛槳：26%具思：8%其他：7%+算思：11%飛槳：11%其他：14%+醫(yī)療：32(6%)交通：7(2%)2023年Q1排名界思：7%(243repos)AI框架持續(xù)迭代和升級(jí)，大模型、AI4S、動(dòng)靜統(tǒng)一是主流技術(shù)趨勢(shì)047性能優(yōu)先靜態(tài)圖為主靈活性優(yōu)先動(dòng)態(tài)圖為主一、超大模型，高效能訓(xùn)練和推理至今動(dòng)靜態(tài)圖能力兼顧大規(guī)模分布式MindSpore90%遷移成本API完備度大幅提升，文檔及工具進(jìn)一步完善電磁仿真套件400+600+會(huì)文開(kāi)發(fā)者遍及全球開(kāi)發(fā)者遍及全球綜合排名TOP1綜合排名TOP1生態(tài)足跡走進(jìn)國(guó)內(nèi)大中城市人工計(jì)算中心·大模型合作·論文基金項(xiàng)目合作·眾智項(xiàng)目合作·行業(yè)方案合作數(shù)據(jù)越止至2023.04月編澤時(shí)間·靜態(tài)圖語(yǔ)法完備提升(60%->90%)編澤時(shí)間升網(wǎng)絡(luò)表達(dá)類高模塊化，開(kāi)箱即用預(yù)制預(yù)訓(xùn)練模型預(yù)制下游任務(wù)預(yù)制預(yù)訓(xùn)練模型預(yù)制下游任務(wù)1.支持TB級(jí)推薦模型低參微調(diào)，降低內(nèi)存多種低參微調(diào)算法基于盤古alpha實(shí)驗(yàn)無(wú)lowrank-adapter內(nèi)存18665M高性能部署多種優(yōu)化特性自動(dòng)并行自動(dòng)并行11科學(xué)智能創(chuàng)新場(chǎng)景應(yīng)用AIAI4S框架套件200+,Pandas接口100+;支持微分方程表達(dá)yolov3/v5/v7/.wavegrad/deepspeechtdnndbnet/crnn/svtr/.預(yù)訓(xùn)練模型CV基礎(chǔ)骨干模型(訓(xùn)練)Imagenetikacctopl(倍數(shù))業(yè)界SOTAToolkit1業(yè)界SOTAToolkit2Toolkit1Toolkit2resnt733175.117415+0.84-0.9649.16densenetgcogLeNetnceptionV31mobilenetv3imallhmet226.46126.49repvggcomnetsmallblOCR文字檢測(cè)/識(shí)別(訓(xùn)練)(信數(shù))業(yè)界SOTA實(shí)裁+A100dbnetResnet5082.38Resnet34OCR文字檢測(cè)/識(shí)別(推理)(倍數(shù))工具組件/..前端API表達(dá)兼容各類開(kāi)發(fā)接口，降低90%遷移成本MSAdapter工具：<15%代碼，全流程實(shí)現(xiàn)模型遷移◆基于昇騰昇思的紫東太初2.0-3.8B模型，開(kāi)源圖像-文本多模態(tài)部分◆相比紫東太初1.0,支持更細(xì)粒度的圖像識(shí)別、更具知識(shí)的視覺(jué)問(wèn)答、更豐富的圖像描述首個(gè)面向新冠病毒RBD區(qū)域變異的全環(huán)節(jié)模擬流程異思：大規(guī)模集群分布式計(jì)算的極致性能RBO序列突變概率4億蛋白質(zhì)序列高通量第選算法MinaSpore該研究入圍戈登貝爾新冠特別獎(jiǎng)RmingAbuadofRmingAbuadof通過(guò)6.3*1022次運(yùn)算為本項(xiàng)目提供：4096卡/1000P算力模型與算法研究超級(jí)應(yīng)用實(shí)驗(yàn)驗(yàn)證實(shí)驗(yàn)驗(yàn)證超級(jí)應(yīng)用實(shí)驗(yàn)驗(yàn)證實(shí)驗(yàn)驗(yàn)證速度慢成本高相比傳統(tǒng)方法提升15倍原始序列強(qiáng)活性強(qiáng)活性強(qiáng)活性實(shí)現(xiàn)全自動(dòng)解析，性能指數(shù)級(jí)提升，實(shí)驗(yàn)驗(yàn)證精度持平約束數(shù)目約束信息92.1%吞吐率提升5倍加入昇思生態(tài)，社區(qū)全年200+場(chǎng)活動(dòng)期待您的參與員節(jié)、CCF各類會(huì)議啟智校園行(6場(chǎng))&HPDC高校分論壇(10+場(chǎng))、HC高校分論壇(20+場(chǎng))、智能基座具思高校行(16場(chǎng))社區(qū)治理類(技術(shù)/專家委員會(huì)，4+場(chǎng))MindCon極客周(6/12月各15+場(chǎng))海外直播(12+場(chǎng))基礎(chǔ)模型之夏、新版本集訓(xùn)營(yíng)(4+場(chǎng))實(shí)戰(zhàn)課程(4+場(chǎng))、社區(qū)SIG/WG會(huì)議(40+場(chǎng))、開(kāi)源實(shí)習(xí)MindSpor大模型平臺(tái)技術(shù)架構(gòu)及成都海南sn能力提供通信網(wǎng)絡(luò)、數(shù)據(jù)中心、數(shù)據(jù)堆棧、分布式系統(tǒng)、區(qū)塊鏈芯片+模塊+操作系統(tǒng)：服務(wù)器、交換機(jī)、數(shù)據(jù)中心，衛(wèi)呈載荷/呈座大模型為先的新一代基礎(chǔ)設(shè)施和工具大模型為先的新一代基礎(chǔ)設(shè)施和工具數(shù)字化發(fā)展基礎(chǔ)基于硅的(芯片)量子(電子、光子、離子、原子)基于碳的(生物計(jì)算)④Web-2邊緣計(jì)算資料來(lái)源：20230423-陸奇博士-ChatGPT新機(jī)遇分享——新范式新時(shí)代新機(jī)會(huì)網(wǎng)絡(luò)、數(shù)據(jù)中心、數(shù)據(jù)堆棧、分布式系統(tǒng)、區(qū)塊鏈新平臺(tái)：基于大模型的模型可延申能力，自然語(yǔ)言全交互界面完整：開(kāi)箱即用，有足夠的使用價(jià)值 商業(yè)模式：為開(kāi)發(fā)者和合作伙伴創(chuàng)造價(jià)值數(shù)字化發(fā)展，業(yè)基于硅的(芯片)基于碳的(生歲激烈競(jìng)爭(zhēng)開(kāi)始：OpenAI、微軟、谷歌、創(chuàng)業(yè)公司、中國(guó)企數(shù)字化平臺(tái)的解剖結(jié)構(gòu)空間、世界、人類(化嘀機(jī)接口可植入設(shè)備、機(jī)器人、汽車、地點(diǎn)、設(shè)務(wù)(生物醫(yī)學(xué)于)殺手級(jí)應(yīng)用程序：垂直擴(kuò)展，獲取實(shí)質(zhì)性的價(jià)值錨點(diǎn)：潛在的擴(kuò)展——工具鏈、基礎(chǔ)設(shè)施、硅堆棧①個(gè)人電腦/②PC客戶端⑥元宇由⑧腦機(jī)接口磁盤操作系統(tǒng)服務(wù)器個(gè)人電腦互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)/云計(jì)算邊練計(jì)算⑦⑨⑩量子生物基資料來(lái)源：20230423-陸奇博士-ChatGPT新機(jī)遇分享——新范式新時(shí)代新機(jī)會(huì)⑤ 活動(dòng) ⑤ 活動(dòng) 型在線體驗(yàn)為一體的AI學(xué)習(xí)與實(shí)踐社區(qū)模型/代碼等在線托管大模型可視化在線體驗(yàn)活動(dòng)、比賽、課程、產(chǎn)業(yè)保姆級(jí)文檔開(kāi)發(fā)者課程任務(wù)組件模塊組件特性組件多維混合并行多維存儲(chǔ)優(yōu)化數(shù)據(jù)并行內(nèi)存復(fù)用Jupyter+任務(wù)組件模塊組件特性組件多維混合并行