中國科技行業(yè)戰(zhàn)略：英偉達GTC+2024從硬件到軟件的AI全鏈條服務(wù)

本研究報告由海通國際分銷，海通國際是由海通國際研究有限公司，海通證券印度私人有限公司，海通國際株式會社和海通國際證券集團其他各成員單位的證券研究團隊所組成的全球品牌，海通國際證券集團各成員分別在其許可的司法管轄區(qū)內(nèi)從事證研究報告ResearchReport21Mar2024中國科技戰(zhàn)略ChinaTechnolog姚書橋BarneyYaobarney.sq.yao@k.wang@■熱點速評FlashAnalysis(PleaseseeAPPENDIX1forEnglishsummary)事件2024年3月19日，英偉達CEO黃仁勛在2024GTC人工智能大會上發(fā)表“見證AI的變革時刻”主題演講。本次大會中，英偉達推出了新一代GPU架構(gòu)Blackwell，并發(fā)布了一系列基于該架構(gòu)的新一代硬件產(chǎn)品，同時介紹了其軟件生態(tài)進展。點評新一代GPU架構(gòu)Blackwell：高帶寬+第二代Transformer引擎，更大更高效。Blackwell架構(gòu)旨在降低AI計算的成本和能耗，實現(xiàn)更大模型的訓(xùn)練和計算能力的擴展。BlackwellGPU采用了臺積電定制的4NP工藝制造，由兩顆芯片通過NV-HBI（高達10TB/s的芯片到芯片帶寬）連接行程一個邏輯芯片，從而集成2080億個晶體管（H100為800億個AI性能是上一代Hopper架構(gòu)H100芯片的5倍；采用第二代Transformer引擎，可支持支持雙倍的計算和模型大??；搭載第五代NVLink技術(shù)（第四代NVLinkSwitch芯片為每個GPU提供1.8TB/s的雙向吞吐量，以支持多達576個GPU域內(nèi)直連為10萬億參數(shù)級別和基于混合專家模型（MoE）的LLM提供高速通信；配備RAS引擎提供芯片級別的防性維護功能；配備安全AI，能夠高效保護AI模型和客戶數(shù)據(jù)，并支持新的本機接口加密協(xié)議；全新解壓縮引擎支持最新的格式，可加速數(shù)據(jù)庫查詢以提供提供最高性能的數(shù)據(jù)分析和數(shù)據(jù)科學(xué)領(lǐng)域應(yīng)用。AI計算業(yè)務(wù)線產(chǎn)品全面更新，超算拓展性大大提高?；贐lackwell芯片，英偉達更新了AI計算業(yè)務(wù)線多款產(chǎn)品，包括新一代HGX加速服務(wù)器平臺HGXB100/B200以取代上一代HGXH100/H200，新一代DGXAI計算平臺DGXB200；基于NVLink-C2C技術(shù)組合2*B200GPU+1*GraceCPU的新一代GB200Grace-Blackwell超級芯片；基于36個GB200超級芯片（18個GB200服務(wù)器節(jié)點）的AI服務(wù)器機架式解決方案DGXGB200NVL72，搭載一體式液冷散熱和5,000條獨立線纜，相比基于前一代H100的同等規(guī)模計算平臺，其LLM訓(xùn)練性能提高4倍、推理性能提高30倍，能源消耗降低25倍；在GB200NVL72基礎(chǔ)上，通過NVIDIAQuantum-X800InfiniBand網(wǎng)絡(luò)或NVIDIASpectrum?-X800以太網(wǎng)絡(luò)組網(wǎng)連接，可拓展成支持數(shù)萬個GB200的DGXSuperPOD超級計算機系統(tǒng)。軟件生態(tài)快速成長。1）微服務(wù)（Microservices）簡化企業(yè)生成式AI部署。英偉達面向企業(yè)推出了一系列生成式AI微服務(wù)，旨在幫助企業(yè)在自己的平臺上開發(fā)和部署定制應(yīng)用程序，提高AI應(yīng)用的安全性和可控性。例如NIM推理微服務(wù)通過提供AI容器、推理優(yōu)化和行業(yè)標準API，大幅提高生成式AI應(yīng)用程序的部署時間；CUDA-X微服務(wù)針對數(shù)據(jù)準備、定制和訓(xùn)練提供端到端的開發(fā)模塊，加速各領(lǐng)域的AI應(yīng)用開發(fā)，包括可定制的語音和翻譯AI的NVIDIARiva、用于路徑優(yōu)化的NVIDIAcuOpt?用于戶高分辨率氣候和天氣模擬的NVIDIAEarth-2，還包括例如RAG、數(shù)據(jù)微調(diào)等面相數(shù)據(jù)處理的一系列NeMo微服務(wù)。2）全新OmniverseCloudAPI發(fā)布。英偉達對其計算機圖形與仿真模擬平臺Omniverse推出了包括USDRender、USDWrite、USDQuery、USDNotify和OmniverseChannel共5款A(yù)PI，使開發(fā)者可以更加便捷地訪問其服務(wù)并將其整合到數(shù)字孿生設(shè)計、機器人和自動駕駛測試等領(lǐng)域。全鏈條服務(wù)加速機器人開發(fā)。機器人領(lǐng)域，英偉達推出了專用計算平臺JetsonThor以提供充足算力支持機器人完成復(fù)雜任務(wù)并與人和機器進行安全、自然的交互，該平臺采用模塊化架構(gòu)，搭載下一代BlackwellGPU，可提供800TFLOPS@INT8的AI算力。軟件層面，除了Omniverse仿真模擬平臺以外，英偉達還發(fā)布了多模態(tài)人形機器人通用基礎(chǔ)模型ProjectGR00T（GeneralistRobot00Technology），并推出Isaac機器人平臺的最新進展，例如針對機械臂的模型和GPU加速庫IsaacManipulator、針對AMR的視覺AI模型IsaacPerceptor以及用于大規(guī)模訓(xùn)練人形機器人模型的模擬軟件IsaacLab，同時推出全新云原生工作流編排平臺OSMO用于調(diào)度和管理自主機器人工作負載。中國科技戰(zhàn)略ChinaTechnologyStrategy21Mar20242AI賦能汽車智能化，多家中國車企定點下一代車載計算平臺DriveThor。汽車領(lǐng)域，英偉達宣布其下一代車規(guī)級計算平臺DriveThor既理想、極氪定點之后已獲比亞迪、廣汽埃安昊鉑和小鵬汽車定點，文遠知行、Nuro、Plus（智加科技）、Waabi等自動駕駛公司也計劃采用DriveThor平臺開發(fā)L4級別自動駕駛解決方案。該平臺于英偉達在GTC2022大會中首次發(fā)布，基于Blackwell架構(gòu)打造，設(shè)計為ASIL-D功能安全，專為Transformer、LLM和生成式AI工作負載設(shè)計，單芯片算力可達2000TOPS，計劃2025年量產(chǎn)。智駕之外，比亞迪也在AI基建方面與英偉達合作，利用Isaac和Omniverse等機器人和仿真技術(shù)提升工廠運營和零售效率。我們認為，智能化升級背景下汽車行業(yè)仍是AI落地的關(guān)鍵領(lǐng)域之一，從DriveThor主要合作車企來看，國內(nèi)自主品牌在汽車智能化進程中顯示出了引領(lǐng)趨勢和較強積極性，有望借力AI產(chǎn)業(yè)爆發(fā)加速實現(xiàn)從產(chǎn)品開發(fā)到生產(chǎn)銷售全方位的智能化升級。風(fēng)險對華芯片出口管制收緊；機器人和自動駕駛技術(shù)發(fā)展不及預(yù)期；居民消費意愿下滑等。中國科技戰(zhàn)略ChinaTechnologyStrategy21Mar20243圖表1英偉達Blackwell架構(gòu)芯片參數(shù)GBGB200超級芯片384GBHBM3e（2*8*24）72ArmNeoverseV2cores2700W72ArmNeoverseV2cores1000WBlackwell192GBHBM3eBlackwell192GBHBM3e4.5PFLOPS40TFLOPS最大內(nèi)存內(nèi)存帶寬FP16/BF16FP64(稠密)通道數(shù)雙向互聯(lián)帶寬– – GH200超級芯片144GBHBM3eH200Hopper141GBHBM3eH100Hopper80GBHBM33.35TB/sCPU核心數(shù)最大功耗– 1000W– 700W– 700W– 700WNVLinkSwitchGPU內(nèi)存性能架構(gòu)––圖表2英偉達HGX加速服務(wù)器平臺參數(shù)HGXH100(8卡版本)HGXH200(8卡版本)架構(gòu)8*H100GPU8*H100GPU8*B100GPU8*B200GPUGPU內(nèi)存最大內(nèi)存640GBHBM31.5TBHBM3e1.5TBHBM3e內(nèi)存帶寬7.2TB/s7.2TB/s性能 112PFLOPS144PFLOPS––56PFLOPS72PFLOPS32PFLOPS32PFLOPS56PFLOPS72PFLOPSFP16/BF1628PFLOPS36PFLOPSTF32FP64(稠密)535TFLOPS535TFLOPS240TFLOPS320TFLOPSNVLinkSwitch通道數(shù)雙向互聯(lián)帶寬（聚合）7.2TB/s7.2TB/s14.4TB/s14.4TB/s最大功耗5600W5600W5600W8000W圖表3英偉達DGXAI計算平臺參數(shù)DGXH100DGXB200DGXGB200NVL72架構(gòu)8*H100GPU+2*IntelXeon8*B200GPU+2*IntelXeon72*B200GPU+36*GraceCPUGPU內(nèi)存最大內(nèi)存640GBHBM31.5TBHBM3e13.5TBHBM3e內(nèi)存帶寬7.2TB/s64TB/s576TB/s性能–144PFLOPS1440PFLOPS–72PFLOPS720PFLOPS32PFLOPS72PFLOPS720PFLOPS32POPS72POPS720POPSFP16/BF1616PFLOPS36PFLOPS360PFLOPSTF328PFLOPS18PFLOPS180PFLOPSFP64(稠密)535TFTFLOPS320TFLOPS3240TFLOPSNVLinkSwitch通道數(shù)NVLink4*18NVLink5*18雙向互聯(lián)帶寬8*0.9=7.2TB/s14.4TB/s36*3.6=130TB/sCPU型號2*Intel?Xeon?Platinum8480CProcessors2*Intel?Xeon?Platinum8570ProcessorsGraceCPU核心112Cores112Cores2592ArmNeoverseV2cores系統(tǒng)最大內(nèi)存2TB4TB17TB最大功耗10.2kW14.3kW未知21Mar20244圖表5英偉達DGXGB200NVL72計算服務(wù)器圖表6英偉達DGXGB200NVL72性能表現(xiàn)較上代產(chǎn)品大幅提高21Mar20245圖表7英偉達HGX加速服務(wù)器平臺參數(shù)圖表8英偉達AI軟硬件賦能比亞迪整車技術(shù)開發(fā)和生產(chǎn)運營中國科技戰(zhàn)略ChinaTechnologyStrategy21Mar20246APPENDIX1SummaryOnMarch19,NVIDIACEOJensenHuangdeliveredakeynotespeechtitled"WitnessingtheTransformativeMomentofAI"atthe2024GTCAIConference.Duringtheconference,NVIDIAintroduceditsnewGPUarchitecture,Blackwell,alongwithaseriesofnext-generationhardwareproductsbasedonthisarchitectureanddiscussedtheprogressofitssoftwareecosystem.CommentsNewGPUarchitectureBlackwell:highbandwidth+2nd-gentransformerengine,biggerandmoreefficient.TheBlackwellarchitectureisdesignedtoreducethecostandenergyconsumptionofAIcomputing,enablingthetrainingandcomputationalcapabilitiesoflargermodels.BlackwellGPUhasthefollowingattributes:1)208billiontransistorsintegratedby2diethroughNV-HBI;2)2nd-gentransformerengine;3)5th-genNVLinktechnology;4)RASengines;5)SecureAI;6)newdecompressionengine.ComprehensiveupdateofAIcomputingproductlines,significantlyimprovedscalabilityofsupercomputing.BasedontheBlackwellchip,NVIDIAupdatedseveralproductsinitsAIcomputinglineup,includingthenext-generationHGXacceleratedserverplatformsHGXB100/B200andDGXAIcomputingplatformDGXB200;theGB200Grace-Blackwellsuperchip;theAIserverracksolutionDGXGB200NVL72;andDGXSuperPODsupercomputersystembasedtensofthousandsofGB200s.Rapidgrowthinsoftwareecosystem.1)MicroservicessimplifythedeploymentofgenerativeAIforenterprises.NVIDIAlaunchedaseriesofgenerativeAImicroservicesforenterprisestohelpthemdevelopanddeploycustomapplicationsontheirplatforms,enhancingthesecurityandcontrollabilityofAIapplicationsincludingNIMinferencemicroservices,CUDA-XmicroservicesandNeMomicroservices.2)NewOmniverseCloudAPIswerereleased,makingiteasierfordeveloperstoaccessitsservicesandintegratethemintoareassuchasdigitaltwindesign,robotics,andautonomousdrivingtesting.Full-chainservicesacceleraterobotdevelopment.Inthefieldofrobotics,NVIDIAlaunchedthededicatedcomputingplatformJetsonThorbasedonBlackwellGPUtoprovideamplecomputingpowerforrobotstoperformcomplextasksandinteractsafelyandnaturallywithhumansandmachines.Onthesoftwarelevel,inadditiontotheOmniversesimulationplatform,NVIDIAalsoreleasedthemultimodalhumanoidrobotgeneralbasemodelProjectGR00T,andintroducedtheupdatesintheIsaacrobotplatform,suchasIsaacManipulator,IsaacPerceptorforAMRs,IsaacLabandOSMO.AIempowersautomotiveintelligence,multipleChineseOEMplannedtodevelopfuturemodelsbasedonnext-genonboardcomputingplatformDriveThor.Intheautomotivesector,NVIDIAannouncedthatitsnext-genautomotive-gradecomputingplatform,DriveThor,hasbeendesignatedbyBYD,GACAionHyper,andXPengMotorsfollowedbyLiAutoandZEEKR.AutonomousdrivingcompaniessuchasWeRide,Nuro,Plus,andWaabialsoplantousetheDriveThorplatformtodevelopL4autonomousdrivingsolutions.Beyondsmartdriving,BYDisalsocooperatingwithNVIDIAinAIinfrastructure,utilizingroboticsandsimulationtechnologieslikeIsaacandOmniversetoimprovefactoryoperationsandretailefficiency.Webelievethatunderthebackdropofintelligentupgrading,theautomotiveindustryremainsoneofthekeyareasforAIimplementation.LookingatthemainautomakerscollaboratingwithDriveThor,domesticbrandsshowaleadingtrendandstrongenthusiasmintheprocessofautomotiveintelligence,expectedtoleveragetheexplosionoftheAIindustrytoacceleratetheintelligentupgradingfromproductdevelopmenttoproductionandsalescomprehensively.TighteningofchipexportcontrolstoChina;underperformanceinthedevelopmentofroboticsandautonomousdrivingtechnologies;declineinconsumerwillingnesstospend.7i下下 8