海外TMT行業(yè)英偉達(dá)GTC2024大會(huì)點(diǎn)評(píng)：Blackwell平臺(tái)實(shí)現(xiàn)AI性能躍升軟硬協(xié)同助力英偉達(dá)轉(zhuǎn)型AI全鏈條平臺(tái)

目 錄1、硬件：“AI核彈”Blackwell新架構(gòu)發(fā)布，硬件設(shè)備全面升級(jí) 3、Blackwell新構(gòu)單性能整算集性提升顯 3、B200GPU：于Blackwell架構(gòu)實(shí)算增、存升和絡(luò)輸快 4、通信聯(lián)：NVLink+NVLinkSwitch+X800列機(jī)，強(qiáng)模AI算絡(luò)傳速度 5、單芯和聯(lián)品助造大模AI算力群現(xiàn)性躍和耗低 62、軟件：NIM幫助英偉達(dá)轉(zhuǎn)型軟硬件平臺(tái)商，積極拓展AI+機(jī)器人等應(yīng)用領(lǐng)域 7、工具：NIM打通硬、降客軟開難，NeMo幫企業(yè)用用數(shù)開定大型 7、NVIDIANIM：成生式AI微服，軟硬生閉環(huán) 7、NVIDIANeMoRetriever：挖掘企“據(jù)礦”值幫客開制專大型 8、NIM提供化理微務(wù)已多領(lǐng)應(yīng)用地 9、拓展AI應(yīng)用展向極在器和動(dòng)駛領(lǐng)域展作 9、偉發(fā)機(jī)基礎(chǔ)模，力助AI+機(jī)人域現(xiàn)破 9、動(dòng)駛片用Blackwell新架，達(dá)在動(dòng)駛域續(xù)強(qiáng)同企作 103、投資建議 114、風(fēng)險(xiǎn)提示 11圖目錄圖1：Blackwell和Hopper架構(gòu)GPU對(duì)，為Blackwell架構(gòu)的B2004圖2：英達(dá)代構(gòu)力對(duì)，Blackwell提顯 4圖3：最新NVLinkSwitch芯片 6圖4：GB200級(jí)片能參數(shù) 7圖5：DGX版GB200NVL72級(jí)算性提顯 7圖6：英達(dá)布NVIDIANIM 8圖7：NeMo服的架構(gòu) 9圖8：英達(dá)GTC2024會(huì)展了士的orange和green機(jī)人 10表目錄表1：B200H100和H200性比較 5表2：英達(dá)代NVLink主要數(shù)比 5表3：英偉達(dá)代NVLinkSwitch主參對(duì)比 6表4：英達(dá)NIM推理服務(wù)用況進(jìn)展 9表5：英達(dá)在AI+器領(lǐng)域新出品總 101IBlackwellBlackwellGPU、互聯(lián)通信、超級(jí)芯片到大型算力集群的全面性能提升。英偉達(dá)CEO黃仁勛將Blackwell架構(gòu)稱為“推動(dòng)新一輪工業(yè)革GPU、網(wǎng)絡(luò)通信產(chǎn)品、AI類“蘋果”的平臺(tái)之路。、Blackwell能提升明顯多芯片封裝、TransformerBlackwellBlackwell于上一代operBlackwell架構(gòu)的芯片和相關(guān)硬件設(shè)備以提升單AIAI型的加速效果。此次Blackwell架構(gòu)有以下6個(gè)方面的技術(shù)突破：制程優(yōu)化，首次采用雙芯片設(shè)計(jì)：reticle4NP（4N工藝的改進(jìn)版本多芯片封裝GPUC2C10TB/sCUDAGPU，從而大幅度提高了處理能力。TransformerEngineTransformer第二代TransformerEngine使用BlackwellTensorTensrRT-LLM和NeMoegarn框架Blackwell具備在F4精度的I2Transformer5NVLinkNVLinkSwitch第五代NVLink將GU卡間連接速率提升到1.8TB/S，NVLinkSwith支持與多個(gè)NVLink576GPUAI規(guī)模訓(xùn)練提供有力的AI算力支持。內(nèi)嵌加密協(xié)議，保障數(shù)據(jù)安全：Blackwel芯片引入的原生界面加密協(xié)議包含NVDAAIBlackwell配900GB/s查詢和分析，實(shí)現(xiàn)資料分析與資料科學(xué)的最高效能。內(nèi)嵌RSAIBlackwel架構(gòu)的芯片內(nèi)嵌的RASAI圖1：Blackwell和Hopper架構(gòu)GPU對(duì)比，左為Blackwell架構(gòu)的B200芯片資料來(lái)源：英偉達(dá)官網(wǎng)、B200BlackwellB200作為NVDABlackwellB2004NP2080Hopper架構(gòu)的H100800億（未采用雙芯片設(shè)計(jì)）。B2002024Transformer2.5定制的BlackwellTensorF4FP6精度計(jì)算加速GCLLMFP4AI20PFLOPsH1004PFLOPs的2.5倍；8HBM3e（HopperH2006），內(nèi)存容量達(dá)到192GB；NVLink1.8TB/sHopper10圖2：英偉達(dá)歷代架構(gòu)算力對(duì)比，Blackwell提升明顯資料來(lái)源：英偉達(dá)官網(wǎng)表1：B200、H100和H200性能比較名稱B200H100H200架構(gòu)lakellHopperHopper發(fā)布時(shí)間2024年3月2022年3月2023年11月制程TSMC4NPTSMC4NTSMC4N晶體管數(shù)量2080億800億800億市場(chǎng)定位訓(xùn)練/推理訓(xùn)練/推理訓(xùn)練/推理算力FP810PFLOPS4PFLOPS4PFLOPSFP6（10PFLOPS————FP4（20PFLOPS————內(nèi)存GPU192GB80GB141GB內(nèi)存類型HBM3eHBM3eHBM3e內(nèi)存帶寬8TB/s3.35TB/s4.8TB/s最大功耗（TDP）——700W700W互聯(lián)技術(shù)Lk5.：.T/sNVLink4.0：900GB/sNVLink4.0：900GB/s資料來(lái)源：英偉達(dá)官網(wǎng)、通信互聯(lián)：NVLink+NVLinkSwitch+X800系列交換機(jī)，增強(qiáng)大規(guī)模AINVLink1.8TB/sNVLinkCPUGPU2016PascalGP100P100H100NVLink900GB/sB200NVLink1.8TB/s。表2：英偉達(dá)歷代NVLink主要參數(shù)對(duì)比版本第二代第三代第四代第五代架構(gòu)VoltaAmpereHopperlakell最大鏈路6121218帶寬300GB/s600GB/s900GB/s1800GB/s資料來(lái)源：英偉達(dá)官網(wǎng)最新NVLinkSwitch芯片支持6顆GUNVLinkSwith支持NVLinkNVLinkGUNVLinkSwith（臺(tái)積電nm500億個(gè)晶體管）576GPU256GPU。表3：英偉達(dá)歷代NVLinkSwitch主要參數(shù)對(duì)比版本第一代第二代第三代NVLinkSwitch架構(gòu)VoltaAmpereHopperlakellNVLink域內(nèi)直接的GPU數(shù)量最多8顆最多8顆最多8顆高達(dá)576顆SwtchPU到GPU帶寬300GB/s600GB/s900GB/s1800GB/s總聚合帶寬2.4TB/s4.8TB/s7.2TB/s130TB/s資料來(lái)源：英偉達(dá)官網(wǎng)圖3：最新NVLinkSwitch芯片資料來(lái)源：英偉達(dá)官網(wǎng)X800800Gb/s英偉達(dá)還新發(fā)布了搭載64個(gè)800G/s端口、配備RCE自適應(yīng)路由的NVDIAQanum-X800InfiniBand144個(gè)800/s性能達(dá)到14.TFLOs的Secrm-X800交換機(jī)。X800系列新交換機(jī)成為全800Gb/s提高了5倍，網(wǎng)絡(luò)計(jì)算能力則憑借NVIDIASRv4技術(shù)提高9倍。Qanum-X800InfiniBand交換機(jī)和Secrm-X800交換機(jī)面對(duì)客戶群體略有差異：Qanum-X800nfiniBandNviiaQantmQ3400交換機(jī)和NviiaconnectX-8SuperNlc，適用于追求超大規(guī)模、高性能的客戶；Sectrum-X800SecrmSN560080GB/S交換機(jī)和NviiaBleFiel-3SuerNCAIX0系列交換機(jī)的首批采用者包括icrsftAure、OraleClodnfrastructre（OC）和Creweave等，預(yù)計(jì)將于明年上市。AI英偉達(dá)從售賣單芯片轉(zhuǎn)向售賣算力硬件系統(tǒng)，推出超級(jí)芯片GB200（2GPU+1CPU）、超級(jí)計(jì)算機(jī)GB200NVL72（72GPU+36CPU）和DGXSuperPOD一站式AI超算解決方案（576GPU+288CPU）。GB200：新精度下算力大幅提升。GB200900GB/snk芯片間互連，將2顆BlackwellGU+4個(gè)ie+1顆RMGraeCU16TB/sHBM3.6TB/sFP440PFLOPsAIH200FP85圖4：GB200超級(jí)芯片性能數(shù) 圖5：DGX版GB200NVL72超級(jí)計(jì)算機(jī)性能提升明顯資料來(lái)源：英偉達(dá)官網(wǎng) 資料來(lái)源：英偉達(dá)官網(wǎng)超級(jí)計(jì)算機(jī)GB200NVL72：訓(xùn)練和推理性能躍升，能耗成本大幅下降。英偉達(dá)在會(huì)上發(fā)布了通過(guò)第五代NVL互連的2顆BlackwellGU、6顆GraeCU以及BleFiel-3DU組合而成的服務(wù)器GB200NVL72F4精度下推理算力高達(dá)440FLOs，F(xiàn)8精度的訓(xùn)練算力高達(dá)720fls，傳輸量最大達(dá)到260TB/s，幾乎相當(dāng)于一個(gè)超級(jí)計(jì)算機(jī)集群。GB200NVL72在訓(xùn)練和推理方面相比上一代均實(shí)現(xiàn)大幅提升：GH10042000GPUGB200NVL720天內(nèi)消耗4兆瓦電力訓(xùn)練8萬(wàn)億參數(shù)的GT-e8000顆GUGH1001590GH1003025（72）H100相比，GB200NVL72LLM3025AIDGXSuperPODAIGB200DGXSuperPodAI8DGXGB200系統(tǒng)，即288顆GraeCPU和6顆Blackwell200GU，內(nèi)存達(dá)到240TB，F(xiàn)P411.5ELOPs（11.5），相比上一代產(chǎn)品的3042、軟件：NIM幫助英偉達(dá)轉(zhuǎn)型軟硬件平臺(tái)商，積極拓展AI+機(jī)器人等應(yīng)用領(lǐng)域英偉達(dá)CEO黃仁勛表示，Blackwell不僅是芯片架構(gòu)，也是平臺(tái)名稱。英偉達(dá)GTC2024NIMNeMo、IMNeMoNVIDIANIM：集成生成式AI微服務(wù)，構(gòu)建軟硬件生態(tài)閉環(huán)NIMAIAI黃仁勛認(rèn)為NIs（Nviiainferencemicoservie）是未來(lái)開發(fā)軟件的新形式，通過(guò)與AI聊天的形式調(diào)動(dòng)NSNIM中包括數(shù)十項(xiàng)AI制應(yīng)用，同時(shí)保留對(duì)知識(shí)產(chǎn)權(quán)的完整所有權(quán)和控制權(quán)。圖6：英偉達(dá)發(fā)布NVIDIANIM資料來(lái)源：InfoQNIMCUDANIMGPU術(shù)，讓構(gòu)成GenAI應(yīng)用程序可以完成直達(dá)NVDIAGPU的全鏈路優(yōu)化：預(yù)訓(xùn)練模型支持：NIM的INVDI21GgleHggingFac、ea、icsft、isralAI和SabilityAI的開放模型。延遲和吞吐量；其他I軟件包：行業(yè)標(biāo)準(zhǔn)P、CUDA庫(kù)、加速檢索增強(qiáng)生成（R）等。NIMCUDAGPUAINIMAIAINIMGPUAIAINIMGPU的地方。NVIDIANeMoRetrieverNvidiaNeMoRetrieverNIM成到NIM中以部署定制Cpilot通過(guò)使用NviiaNeoRetrieer技術(shù)，公司的專有數(shù)據(jù)都可以被集成到這個(gè)微服務(wù)里以供使用，最終得到的專有Cilt，能通過(guò)對(duì)話機(jī)器人的形式發(fā)布檢索公司數(shù)據(jù)等指令，獲得相關(guān)領(lǐng)域的GPTStore，行業(yè)公司可以使用其他公司或英偉達(dá)提供的行業(yè)基礎(chǔ)NeMo添加自己的數(shù)據(jù)即可獲得專有大模型。圖7：NeMo微服務(wù)的整體架構(gòu)資料來(lái)源：騰訊科技NIM目前推理微服務(wù)已經(jīng)在半導(dǎo)體、醫(yī)藥等領(lǐng)域等多個(gè)落地應(yīng)用。1）半導(dǎo)體領(lǐng)域，cuLitho產(chǎn)，cuLithoAI40-60及更先進(jìn)制程開發(fā)加速。2）25arabriksONNeMRivaeroplis現(xiàn)已通CUDA-X工作流程。表4：英偉達(dá)NIM推理微服務(wù)應(yīng)用情況與進(jìn)展應(yīng)用領(lǐng)域應(yīng)用應(yīng)用進(jìn)展電信A6G研究云AI和Ovee半導(dǎo)體ctoA正與TMC和SyoyscLo氣象預(yù)告A可實(shí)現(xiàn)交互式高分辨率模擬，以加速氣候和天氣預(yù)報(bào)醫(yī)療生物成像系統(tǒng)、基因測(cè)序儀器與領(lǐng)先的手術(shù)機(jī)器人公司達(dá)成合作資料來(lái)源：英偉達(dá)，、拓展AI等領(lǐng)域開展合作AIAIAI算力的長(zhǎng)期需求。GTC2024CEOAI+AIAI實(shí)現(xiàn)突破英偉達(dá)發(fā)布ProjectGR00T用突破。NvidiaProjectGR00TProjectGR00TIsaacJetsonThorThor8800teraflopsAI表5：英偉達(dá)在AI+機(jī)器人領(lǐng)域的新推出產(chǎn)品匯總發(fā)布發(fā)布容 介紹ProjectGR00T礎(chǔ)型 人形器設(shè)通基模型JetonTor算機(jī) 用于形器的型算，于AThr系級(jí)片IsaacPerceptor件發(fā)具包具有先的攝頭覺(jué)程、3D重和用圖以及深度感知功能aacapaor庫(kù) 機(jī)械感、徑劃運(yùn)學(xué)庫(kù)資料來(lái)源：英偉達(dá)，人公司開發(fā)一個(gè)綜合的IXgilityRooicsAprnikFigreAISanctaryAIorangegreenAIJetson。圖8：英偉達(dá)GTC2024大會(huì)展示了迪士尼的orange和green機(jī)器人資料來(lái)源：智東西Blackwell比亞迪未來(lái)電動(dòng)汽車將搭載英偉達(dá)采用Blackwell架構(gòu)新一代自動(dòng)駕駛汽車（V）處理器DRVETr，并且DRVETor預(yù)計(jì)最早將于明年開始量產(chǎn)，性能高達(dá)1000TFLOS。此外，多家頭部電動(dòng)汽車制造商在GTC上展示了其搭載DRVETr的下一代AI車型，包括中國(guó)車企比亞迪、小鵬汽車、廣汽埃安、理想汽車和極氪，也包括了文遠(yuǎn)知行等自