2024年人工智能行業(yè)專題：網絡之辯-英偉達Blackwell背后的光電演繹

2024年人工智能行業(yè)專題：網絡之辯_英偉達Blackwell背后的光電演繹1.Blackwell：英偉達新架構，變與不變（一）性能躍升：內存、帶寬、算力“三大件”。TSMC4NP工藝，2dies，20PFLOPS@FP8(Hopper2.5倍)。HBM3e192GB內存@8TBps帶寬（二）NVLink5th，拓展72GPU集群，C2C互聯(lián)。單GPU18xNVLink，帶寬1800GBps（此前H100一代900GBps）。最新NVLinkSwitch交換芯片，可576GPU互聯(lián)（目前實際應用72GPU互聯(lián)，此前僅8GPU）。Chiptochip，真正意義上實現(xiàn)跨“服務器”互聯(lián)，達機柜級（盡管此前H100也有嘗試）（三）算力呈現(xiàn)方式：板卡-服務器-機柜系統(tǒng)。GB200NVL72系統(tǒng)，算力的“最小單元”從GPU擴大為機柜，以應對海量參數(shù)訓推。（四）網絡場景：c2c，b2b，m2m，交換機網卡。光、電混合，成本與性能平衡，200GSerDes，集群帶寬首次應用1.6Tbps光網絡。（五）液冷：高密度，高功率。GB200功率可達2700W，NVL72單機柜總功率190kW+，全液冷必備。2.高速網絡：量化測算，迭代提速高速網絡：AI競賽揭開序幕，技術迭代明確加速2024-2025年開始訓練+推理密集的產業(yè)需求，市場對算力網絡的路徑與需求有分歧/預期差。預計高速網絡需求的持續(xù)性強！英偉達GB200NVL72系統(tǒng)，組網推演此外，英偉達GTC2024發(fā)布Quantum-XInfiniBand800交換機，1.6T時代來臨！其中NVIDIAQuantum-X800Q3400-RA4U交換機：首個200GSerDes交換機；144個800Gb端口，整合72個OSFP口（每個1.6T帶寬，后續(xù)升級ConnectX-8800Gbps）；2層fat-tree架構下，支持10368個NIC擴容&同時LD版本為液冷系統(tǒng)。NVLink和InfiniBand雙體系，訓推一體GB200NVL72系統(tǒng)對網絡的需求測算，4機柜72GPUs——1）NVLink交換機需求量：9x4=36臺（各自機柜內的L1交換機）。2）InfiniBand交換機需求量：L14臺+L22臺=6臺（X8001.6T交換機）。每臺交換機144個端口，無收斂網絡下，L1交換機上下行端口等分，即上行72+下行72；第1臺交換機的72個端口，分別連接4個機柜中18個ComputeNode（共72個Node）中的第1張CX-8（800Gb），以此類推，由于每個ComputeNode中均有4個CX-8，這樣L1層的4臺交換機，下行的72個端口可插滿；繼續(xù)，對于4臺L1交換機剩余的上行72個端口，總計4x72=288個連接，L2交換機僅需288÷144=2臺，即可實現(xiàn)端口的全互聯(lián)。3）光模塊的需求量（對應4x72=288GPUs）：GPU側，4x72=288個800G光模塊（GPU比=1:1）。交換機側，6x72=432個1.6T光模塊（GPU比=1:1.5）。以上的2層fat-tree網絡，最大可支持10368卡擴容。即144x72；當集群大于10368卡時，L1交換機將大于144臺；由于該L2交換機單臺端口數(shù)最大144，則L1和L2之間無法充分互聯(lián)，需要增加一層L3交換機。此時會增加1.6T光模塊的GPU比，至1:2.5。3.光通信：NVLink啟示，硅光未來“光電混合”與“光進銅退”破局市場較多討論英偉達GB200NVL系統(tǒng)的通信需求，光與銅“孰輕孰重”；我們認為光電混合是當前重要架構，未來更高速的光網絡和芯片層面的光互聯(lián)是長期方向。整體看，單一介質網絡連接的性能，最大傳輸距離與最高帶寬成反比，且綜合考慮成本。伴隨帶寬增長，無源銅纜傳輸?shù)膫鬏敯霃娇s水（光進銅退的核心原因），預計有源銅纜和LPO在短距高速場景下有需求市場。而800G以上，高速模塊的中長距離互聯(lián)、單模光模塊下沉至IDC內部成為可能；同時預計硅光滲透加速。在傳統(tǒng)云計算場景，距離和帶寬幾乎是正相關的。尤其是100-200G網絡下：DAC（銅纜）解決服務器->ToR交換機、ToR->ToR之間的連接（距離相對固定，低速、短距）；AOC解決ToR交換機-L1交換機/L2交換機之間的連接（距離相對固定，易維護，中速、中距）；光模塊解決集群內部、外部互聯(lián)（架構靈活，高速、中長距離）。AGI集群的網絡中，銅連接（DAC等）最大優(yōu)勢是成本與功耗，痛點則是距離。參考英偉達官方配置的800G無源銅纜：最大傳輸距離3m；但優(yōu)勢是功耗極低，幾乎沒有額外耗電；以及相較于有源電纜更低的成本（沒有驅動芯片）。有源銅纜可以以1.5w的功耗將距離擴展至最大5m；預計1.6T網絡下，該距離縮短。硅光路徑：硬件大廠“必下”的一步“棋子”高速光通信的下一產業(yè)節(jié)點是硅光，爆發(fā)臨近：AI需求與技術演進的交叉點。三場景共進（而非互斥）——chiptochip（芯片間的光學IO），boardtoboard（板卡間的光學模組），machinetomachine（光模塊/CPO）。硅光進展：各顯神通，劍指通信電子新成長——英偉達我們認為，NVLink是英偉達在網絡領域布局的重要一環(huán)，預計未來將延伸至光路徑。NVLink：在IB/以太網等基礎上，專門用于點對點高速互聯(lián)，多個GPU之間或GPU與其他設備（如CPU、內存等）之間的通信。相比傳統(tǒng)PCIe，傳輸速度更高且延遲更低。第五代NVLink總帶寬達1.8TB/s，為PCIeGen5帶寬的14倍，且升級速度遠高快于傳統(tǒng)接口。目前英偉達NVLink和GPU直連，主要基于電通道傳輸。此前英偉達設計DGXH100服務器，曾在GPU板卡側引入18個光通信接口，配合NVSwitch交換芯片進行對外連接；當前GB200NVL72系統(tǒng)亦是代表。對比之下，光電共封裝的方案在相當?shù)某杀舅较?，功耗低于線纜；密度高于PCB、長度與AOC等相當；可靠性后續(xù)驗證。未來光學路徑的NVLink，以及光學chiptochip連接，是英偉達算力系統(tǒng)的發(fā)展方向。4.液冷：技術奇點，算力同行芯片技術的演進是散熱需求的最核心驅動。從技術角度看，散熱技術大致經歷了風冷到液冷再到風冷的階段，當前進一步向液冷演進，驅動力在于半導體技術變化和功率密度提升。階段一：雙極型晶體管主導，第一輪風冷到液冷的演進。上世紀80年代前芯片發(fā)熱量增長較平緩，風冷可以滿足絕大多數(shù)場景的散熱需求；此后發(fā)熱量指數(shù)級增長，液冷發(fā)展深入到芯片級。階段二：CMOS技術迭代下風冷重回主流。90年代后仙童實驗室CMOS流行，芯片功耗與發(fā)熱量下跌，散熱技術重新回到了風冷階段，液冷技術被擱置。階段三：當前的算力與AIDC。異構、HPC、AI等需求，散熱需求復雜化，液冷重回舞臺。盡管英偉達液冷產業(yè)鏈以海外為主，但我們需重視本土算力對液冷滲透的剛需。以華為為例，其全液冷方案，（據(jù)官網數(shù)據(jù)）在密閉式液冷機柜中可以將散熱功耗下降96%，能源利用效率（PUE）由采用風冷方案的2.2降低至1.1。在50千瓦柜功率設備上，每年可節(jié)省約50萬度散熱能耗。華為Atlas900AI訓練集群即采用全液冷方案，支撐＞95%液冷占比（滲透率提高），單機柜50kW散熱功耗（高功率即價值量提升）；同時與傳統(tǒng)8kW風冷機柜相比，節(jié)省機房空間79%（高密度）。若假設冷板式液冷每kW價值量在數(shù)千元數(shù)量級，則單柜50kW功耗下，Atlas900的液冷單柜價值量在十萬元數(shù)量級以上，預計后續(xù)芯片迭代后TDP提升、機柜功率密度提升，液冷價值量提升空間巨大。結合我國存量IDC“老舊小散”的改造需求，以及AI智算中心的新建需求，我們認為液冷產業(yè)鏈正迎來需求爆發(fā)的黃金時期。5.結論AI底層硬件向“大系統(tǒng)”演進。市場較多討論英偉達GB200NVL系統(tǒng)的通信需求，光與銅“孰輕孰重”；我們認為光電混合是當前重要架構，未來更高速的光網絡和芯片層面的光互聯(lián)是長期方向?；谠茝S商視角，我們預計GB200NVL系統(tǒng)是AI訓練+推理在云端的較佳選擇。而在英偉達B系列芯片更新的節(jié)點上，我們預計后續(xù)AI芯片迭代出貨，對應的800G/1.6T光模塊/光器件需求增長，硅光、液冷產業(yè)鏈投資機會也隨之增加，看好海外大廠的高速網絡需求的持續(xù)性。原因及邏輯：1）英偉達的GB200NVL72方案將72GPU高密度配置在一個機柜中，用于大模型訓推，其中柜內組網以電氣信號背板和銅線的NVLink網絡為主，而機柜外擴容組網尤其千至萬卡互聯(lián)則需要2-3層交換機網絡和光通信方案。前者是芯片互聯(lián)增量，后者架構延續(xù)但整體升級。2）整體看，單一介質網絡連接的性能，最大傳輸距離