2024年人工智能行業(yè)專題：網(wǎng)絡(luò)之辯-英偉達(dá)Blackwell背后的光電演繹

2024年人工智能行業(yè)專題：網(wǎng)絡(luò)之辯_英偉達(dá)Blackwell背后的光電演繹1.Blackwell：英偉達(dá)新架構(gòu)，變與不變（一）性能躍升：內(nèi)存、帶寬、算力“三大件”。TSMC4NP工藝，2dies，20PFLOPS@FP8(Hopper2.5倍)。HBM3e192GB內(nèi)存@8TBps帶寬（二）NVLink5th，拓展72GPU集群，C2C互聯(lián)。單GPU18xNVLink，帶寬1800GBps（此前H100一代900GBps）。最新NVLinkSwitch交換芯片，可576GPU互聯(lián)（目前實(shí)際應(yīng)用72GPU互聯(lián)，此前僅8GPU）。Chiptochip，真正意義上實(shí)現(xiàn)跨“服務(wù)器”互聯(lián)，達(dá)機(jī)柜級（盡管此前H100也有嘗試）（三）算力呈現(xiàn)方式：板卡-服務(wù)器-機(jī)柜系統(tǒng)。GB200NVL72系統(tǒng)，算力的“最小單元”從GPU擴(kuò)大為機(jī)柜，以應(yīng)對海量參數(shù)訓(xùn)推。（四）網(wǎng)絡(luò)場景：c2c，b2b，m2m，交換機(jī)網(wǎng)卡。光、電混合，成本與性能平衡，200GSerDes，集群帶寬首次應(yīng)用1.6Tbps光網(wǎng)絡(luò)。（五）液冷：高密度，高功率。GB200功率可達(dá)2700W，NVL72單機(jī)柜總功率190kW+，全液冷必備。2.高速網(wǎng)絡(luò)：量化測算，迭代提速高速網(wǎng)絡(luò)：AI競賽揭開序幕，技術(shù)迭代明確加速2024-2025年開始訓(xùn)練+推理密集的產(chǎn)業(yè)需求，市場對算力網(wǎng)絡(luò)的路徑與需求有分歧/預(yù)期差。預(yù)計高速網(wǎng)絡(luò)需求的持續(xù)性強(qiáng)！英偉達(dá)GB200NVL72系統(tǒng)，組網(wǎng)推演此外，英偉達(dá)GTC2024發(fā)布Quantum-XInfiniBand800交換機(jī)，1.6T時代來臨！其中NVIDIAQuantum-X800Q3400-RA4U交換機(jī)：首個200GSerDes交換機(jī)；144個800Gb端口，整合72個OSFP口（每個1.6T帶寬，后續(xù)升級ConnectX-8800Gbps）；2層fat-tree架構(gòu)下，支持10368個NIC擴(kuò)容&同時LD版本為液冷系統(tǒng)。NVLink和InfiniBand雙體系，訓(xùn)推一體GB200NVL72系統(tǒng)對網(wǎng)絡(luò)的需求測算，4機(jī)柜72GPUs——1）NVLink交換機(jī)需求量：9x4=36臺（各自機(jī)柜內(nèi)的L1交換機(jī)）。2）InfiniBand交換機(jī)需求量：L14臺+L22臺=6臺（X8001.6T交換機(jī)）。每臺交換機(jī)144個端口，無收斂網(wǎng)絡(luò)下，L1交換機(jī)上下行端口等分，即上行72+下行72；第1臺交換機(jī)的72個端口，分別連接4個機(jī)柜中18個ComputeNode（共72個Node）中的第1張CX-8（800Gb），以此類推，由于每個ComputeNode中均有4個CX-8，這樣L1層的4臺交換機(jī)，下行的72個端口可插滿；繼續(xù)，對于4臺L1交換機(jī)剩余的上行72個端口，總計4x72=288個連接，L2交換機(jī)僅需288÷144=2臺，即可實(shí)現(xiàn)端口的全互聯(lián)。3）光模塊的需求量（對應(yīng)4x72=288GPUs）：GPU側(cè)，4x72=288個800G光模塊（GPU比=1:1）。交換機(jī)側(cè)，6x72=432個1.6T光模塊（GPU比=1:1.5）。以上的2層fat-tree網(wǎng)絡(luò)，最大可支持10368卡擴(kuò)容。即144x72；當(dāng)集群大于10368卡時，L1交換機(jī)將大于144臺；由于該L2交換機(jī)單臺端口數(shù)最大144，則L1和L2之間無法充分互聯(lián)，需要增加一層L3交換機(jī)。此時會增加1.6T光模塊的GPU比，至1:2.5。3.光通信：NVLink啟示，硅光未來“光電混合”與“光進(jìn)銅退”破局市場較多討論英偉達(dá)GB200NVL系統(tǒng)的通信需求，光與銅“孰輕孰重”；我們認(rèn)為光電混合是當(dāng)前重要架構(gòu)，未來更高速的光網(wǎng)絡(luò)和芯片層面的光互聯(lián)是長期方向。整體看，單一介質(zhì)網(wǎng)絡(luò)連接的性能，最大傳輸距離與最高帶寬成反比，且綜合考慮成本。伴隨帶寬增長，無源銅纜傳輸?shù)膫鬏敯霃娇s水（光進(jìn)銅退的核心原因），預(yù)計有源銅纜和LPO在短距高速場景下有需求市場。而800G以上，高速模塊的中長距離互聯(lián)、單模光模塊下沉至IDC內(nèi)部成為可能；同時預(yù)計硅光滲透加速。在傳統(tǒng)云計算場景，距離和帶寬幾乎是正相關(guān)的。尤其是100-200G網(wǎng)絡(luò)下：DAC（銅纜）解決服務(wù)器->ToR交換機(jī)、ToR->ToR之間的連接（距離相對固定，低速、短距）；AOC解決ToR交換機(jī)-L1交換機(jī)/L2交換機(jī)之間的連接（距離相對固定，易維護(hù)，中速、中距）；光模塊解決集群內(nèi)部、外部互聯(lián)（架構(gòu)靈活，高速、中長距離）。AGI集群的網(wǎng)絡(luò)中，銅連接（DAC等）最大優(yōu)勢是成本與功耗，痛點(diǎn)則是距離。參考英偉達(dá)官方配置的800G無源銅纜：最大傳輸距離3m；但優(yōu)勢是功耗極低，幾乎沒有額外耗電；以及相較于有源電纜更低的成本（沒有驅(qū)動芯片）。有源銅纜可以以1.5w的功耗將距離擴(kuò)展至最大5m；預(yù)計1.6T網(wǎng)絡(luò)下，該距離縮短。硅光路徑：硬件大廠“必下”的一步“棋子”高速光通信的下一產(chǎn)業(yè)節(jié)點(diǎn)是硅光，爆發(fā)臨近：AI需求與技術(shù)演進(jìn)的交叉點(diǎn)。三場景共進(jìn)（而非互斥）——chiptochip（芯片間的光學(xué)IO），boardtoboard（板卡間的光學(xué)模組），machinetomachine（光模塊/CPO）。硅光進(jìn)展：各顯神通，劍指通信電子新成長——英偉達(dá)我們認(rèn)為，NVLink是英偉達(dá)在網(wǎng)絡(luò)領(lǐng)域布局的重要一環(huán)，預(yù)計未來將延伸至光路徑。NVLink：在IB/以太網(wǎng)等基礎(chǔ)上，專門用于點(diǎn)對點(diǎn)高速互聯(lián)，多個GPU之間或GPU與其他設(shè)備（如CPU、內(nèi)存等）之間的通信。相比傳統(tǒng)PCIe，傳輸速度更高且延遲更低。第五代NVLink總帶寬達(dá)1.8TB/s，為PCIeGen5帶寬的14倍，且升級速度遠(yuǎn)高快于傳統(tǒng)接口。目前英偉達(dá)NVLink和GPU直連，主要基于電通道傳輸。此前英偉達(dá)設(shè)計DGXH100服務(wù)器，曾在GPU板卡側(cè)引入18個光通信接口，配合NVSwitch交換芯片進(jìn)行對外連接；當(dāng)前GB200NVL72系統(tǒng)亦是代表。對比之下，光電共封裝的方案在相當(dāng)?shù)某杀舅较?，功耗低于線纜；密度高于PCB、長度與AOC等相當(dāng)；可靠性后續(xù)驗(yàn)證。未來光學(xué)路徑的NVLink，以及光學(xué)chiptochip連接，是英偉達(dá)算力系統(tǒng)的發(fā)展方向。4.液冷：技術(shù)奇點(diǎn)，算力同行芯片技術(shù)的演進(jìn)是散熱需求的最核心驅(qū)動。從技術(shù)角度看，散熱技術(shù)大致經(jīng)歷了風(fēng)冷到液冷再到風(fēng)冷的階段，當(dāng)前進(jìn)一步向液冷演進(jìn)，驅(qū)動力在于半導(dǎo)體技術(shù)變化和功率密度提升。階段一：雙極型晶體管主導(dǎo)，第一輪風(fēng)冷到液冷的演進(jìn)。上世紀(jì)80年代前芯片發(fā)熱量增長較平緩，風(fēng)冷可以滿足絕大多數(shù)場景的散熱需求；此后發(fā)熱量指數(shù)級增長，液冷發(fā)展深入到芯片級。階段二：CMOS技術(shù)迭代下風(fēng)冷重回主流。90年代后仙童實(shí)驗(yàn)室CMOS流行，芯片功耗與發(fā)熱量下跌，散熱技術(shù)重新回到了風(fēng)冷階段，液冷技術(shù)被擱置。階段三：當(dāng)前的算力與AIDC。異構(gòu)、HPC、AI等需求，散熱需求復(fù)雜化，液冷重回舞臺。盡管英偉達(dá)液冷產(chǎn)業(yè)鏈以海外為主，但我們需重視本土算力對液冷滲透的剛需。以華為為例，其全液冷方案，（據(jù)官網(wǎng)數(shù)據(jù)）在密閉式液冷機(jī)柜中可以將散熱功耗下降96%，能源利用效率（PUE）由采用風(fēng)冷方案的2.2降低至1.1。在50千瓦柜功率設(shè)備上，每年可節(jié)省約50萬度散熱能耗。華為Atlas900AI訓(xùn)練集群即采用全液冷方案，支撐＞95%液冷占比（滲透率提高），單機(jī)柜50kW散熱功耗（高功率即價值量提升）；同時與傳統(tǒng)8kW風(fēng)冷機(jī)柜相比，節(jié)省機(jī)房空間79%（高密度）。若假設(shè)冷板式液冷每kW價值量在數(shù)千元數(shù)量級，則單柜50kW功耗下，Atlas900的液冷單柜價值量在十萬元數(shù)量級以上，預(yù)計后續(xù)芯片迭代后TDP提升、機(jī)柜功率密度提升，液冷價值量提升空間巨大。結(jié)合我國存量IDC“老舊小散”的改造需求，以及AI智算中心的新建需求，我們認(rèn)為液冷產(chǎn)業(yè)鏈正迎來需求爆發(fā)的黃金時期。5.結(jié)論AI底層硬件向“大系統(tǒng)”演進(jìn)。市場較多討論英偉達(dá)GB200NVL系統(tǒng)的通信需求，光與銅“孰輕孰重”；我們認(rèn)為光電混合是當(dāng)前重要架構(gòu)，未來更高速的光網(wǎng)絡(luò)和芯片層面的光互聯(lián)是長期方向?；谠茝S商視角，我們預(yù)計GB200NVL系統(tǒng)是AI訓(xùn)練+推理在云端的較佳選擇。而在英偉達(dá)B系列芯片更新的節(jié)點(diǎn)上，我們預(yù)計后續(xù)AI芯片迭代出貨，對應(yīng)的800G/1.6T光模塊/光器件需求增長，硅光、液冷產(chǎn)業(yè)鏈投資機(jī)會也隨之增加，看好海外大廠的高速網(wǎng)絡(luò)需求的持續(xù)性。原因及邏輯：1）英偉達(dá)的GB200NVL72方案將72GPU高密度配置在一個機(jī)柜中，用于大模型訓(xùn)推，其中柜內(nèi)組網(wǎng)以電氣信號背板和銅線的NVLink網(wǎng)絡(luò)為主，而機(jī)柜外擴(kuò)容組網(wǎng)尤其千至萬卡互聯(lián)則需要2-3層交換機(jī)網(wǎng)絡(luò)和光通信方案。前者是芯片互聯(lián)增量，后者架構(gòu)延續(xù)但整體升級。2）整體看，單一介質(zhì)網(wǎng)絡(luò)連接的性能，最大傳輸距離