半導(dǎo)體行業(yè)深度：AI加速器協(xié)同高速通信技術(shù)加速AI創(chuàng)新發(fā)展

正文目錄AI礎(chǔ)施設(shè)速定AI展的礎(chǔ) 3AI模發(fā)：練理的鏈解析 4訓(xùn)練計(jì)集滲穩(wěn)步升，AI計(jì)加需求行 5網(wǎng)絡(luò)化升算性能，Infiniband與RoCE方案及 8RoCE網(wǎng)方普，或動(dòng)DPU12以太升，動(dòng)性能太交機(jī)求行 14NVMe術(shù)進(jìn)儲(chǔ)性革推數(shù)中升級(jí) 18投資議 19風(fēng)險(xiǎn)示 20圖表目錄圖1工能-訓(xùn)端 4圖2工能-推端 4圖3類能礎(chǔ)施系視圖 5圖4全大型數(shù)化趨勢(shì) 6圖5大型練要數(shù)估公式 7圖6算計(jì)模型 8圖7AI務(wù)內(nèi)結(jié)華為Atlas800） 9圖8工能務(wù)集群 9圖9Meta-太網(wǎng)Roce決方案 圖10Meta-NvidiaInfiniBand網(wǎng)解方案 圖11球InfiniBand規(guī)模 12圖12InfiniBand市主參與及品 12圖13DPU在據(jù)心算側(cè)分式儲(chǔ)域應(yīng)用 13圖14球DPU市規(guī)模 13圖15國(guó)DPU市規(guī)（億） 13圖16換三網(wǎng)設(shè)圖示 14圖17球太交機(jī)場(chǎng)規(guī)模 15圖18AI端絡(luò)高以太交機(jī)透上行 15圖19中以網(wǎng)換備市規(guī)及速 16圖202023年球太交換市競(jìng)格局 16圖212023YQ1國(guó)以交換市競(jìng)格局 16圖22球太交芯市場(chǎng)模 17圖23球用VS用比 17圖24國(guó)用太交芯片 18圖25國(guó)用太各用場(chǎng)市規(guī)占比 18圖26內(nèi)用太交芯片爭(zhēng)局 18圖27NVME場(chǎng)模美元） 19圖28NVME動(dòng)PCIE口出上行 19表1AI型礎(chǔ)施及簡(jiǎn)介 4表2中加計(jì)市品構(gòu)成 8表3AI務(wù)集中信分及介 10表4三種RDMA絡(luò)比 表5換簡(jiǎn)介 14表6高度400GE利用戶化絡(luò)提效率 15表7以網(wǎng)換片占比算 17AIAI發(fā)展的基礎(chǔ)2024年3+2024年第一次工業(yè)革命以蒸汽機(jī)的發(fā)明和應(yīng)用為標(biāo)志，開啟了人類大機(jī)第二次工業(yè)革命以電力的發(fā)明和應(yīng)用為標(biāo)志，開啟了電氣時(shí)代。第三次工業(yè)革命以信息技術(shù)的興起為標(biāo)志，開啟了信息時(shí)代?；?023ChatGPT著AIAIChatGPTAIAIAIAIAI類別定位簡(jiǎn)介信息基礎(chǔ)設(shè)施類別定位簡(jiǎn)介信息基礎(chǔ)設(shè)施新型基礎(chǔ)設(shè)施的核心包含通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施、新技術(shù)基礎(chǔ)設(shè)施、算力基礎(chǔ)設(shè)施。融合基礎(chǔ)設(shè)施傳統(tǒng)基礎(chǔ)設(shè)施轉(zhuǎn)型升級(jí)的重要支撐新一代信息基礎(chǔ)設(shè)施在各行業(yè)深度融合的產(chǎn)物。創(chuàng)新基礎(chǔ)設(shè)施支撐科學(xué)研究、技術(shù)開發(fā)、產(chǎn)品研制等具有公共屬性的基礎(chǔ)設(shè)施重大科技基礎(chǔ)設(shè)施、科教基礎(chǔ)設(shè)施、產(chǎn)業(yè)技術(shù)創(chuàng)新基礎(chǔ)設(shè)施等。資料來源：中國(guó)信通院、華為，AI業(yè)界通常根據(jù)AI/(Inference)圖1人智-訓(xùn)端 圖2人智-推端 資料來源：NEURALSERVERS、 資料來源：NEURALSERVERS、數(shù)據(jù)準(zhǔn)備：收集和訓(xùn)練所需的數(shù)據(jù)，包括圖像、文本、語音等多種類型。模型構(gòu)建：選擇合適的模型架構(gòu)和算法，并設(shè)置模型參數(shù)。AIAIAI我們根據(jù)人工智能技術(shù)發(fā)展中的兩個(gè)重要環(huán)節(jié)結(jié)合中國(guó)信通院發(fā)布的《星河AIAI圖3資料來源：中國(guó)信通院、上行訓(xùn)練端，AI大模型的參數(shù)將持續(xù)增多，預(yù)計(jì)AI算力平臺(tái)將會(huì)從過去依賴單一計(jì)算機(jī)的算力逐漸演變?yōu)橐蕾囉?jì)算集群，目前OpenAI、Meta、字節(jié)跳動(dòng)等多家AI大模型廠商都在建設(shè)大規(guī)模的GPU卡集群。圖4全球大模型參數(shù)量變化趨勢(shì)資料來源：iResearch、根據(jù)NvidiaGPUGPUGPU為17503000GPUGPU50%GPU卡數(shù)為1038卡；根據(jù)NvidiaGTC1.88000個(gè)HopperGPU工作約3Gemini1.5Pro1.5pro多個(gè)數(shù)據(jù)中心的4096個(gè)TPUv42023AI450預(yù)計(jì)2027AI400072.7%。圖5大模型訓(xùn)練需要的卡數(shù)估算公式大模型訓(xùn)練需要的卡數(shù)=

8×模型參數(shù)量×樣本數(shù)預(yù)期的訓(xùn)練時(shí)長(zhǎng)×GPU卡的峰值算力×GPU卡的利用率資料來源：華為&中國(guó)信通院、GU只是IAI、ASICNPUGPUASICGPUGPU智AIGU80；IDC20257262個(gè)GPU，未來18GPU、ASIC和FPGAGPU90%左右，IDC顯示2021年至2023H1GPU和非GPUIDC預(yù)計(jì)20239182027年將達(dá)到3421.％。假設(shè)2023GPU的市場(chǎng)份額為90%，則2023GPU表2中國(guó)加速計(jì)算市場(chǎng)產(chǎn)品構(gòu)成2021年2022年2023H12023E2027E中國(guó)加速器市場(chǎng)規(guī)模(億美元）53.9673191134GPU加速器市場(chǎng)份額占比88.40%89%92%90%-GPU加速器市場(chǎng)規(guī)模年同比增速72.54%25%-37.3%-非GPU加速器市場(chǎng)份額占比11.60%11%8%10%-非GPU加速器市場(chǎng)規(guī)模年同比增速43.80%17.9%8%23.5%-資料來源：IDC、與RoCE方案普及GPU集群中GPU（圖6算力計(jì)算模型算力=f（通用算力，高性能算力，存儲(chǔ)能力，網(wǎng)絡(luò)能力）資料來源：華為&中國(guó)信通院、AIGPUGPU每個(gè)GPU負(fù)責(zé)處理模型的一部分，并將其傳遞給下一階段的GPUGPUAIAI、PaLM等。數(shù)據(jù)并行、流水線并行和混合并行都需要通過跨服務(wù)器通信來進(jìn)行信息傳輸，降低信息傳輸?shù)臅r(shí)間及損耗是業(yè)界關(guān)注的重點(diǎn)。根據(jù)中國(guó)移動(dòng)披露的數(shù)據(jù)顯示大模型訓(xùn)練需要在不同的GPUGPU如內(nèi)CPUGPUPCIE5.0/6.0NVLINKHCCSRDMARDMAInfiniband（Nvidia）、RoCE(RDMAoverConvergedEthernet)、。圖7AI服務(wù)內(nèi)結(jié)構(gòu)華為Atlas800） 圖8人智服務(wù)集群 資料來源：OFEEK、 資料來源：華為官網(wǎng)、機(jī)器內(nèi)通信名稱簡(jiǎn)介QPI/UPI鏈路機(jī)器內(nèi)通信名稱簡(jiǎn)介QPI/UPI鏈路Intel,例如多核CPUCPUPCIE用于CPU與GPU之間的通信，以及其他設(shè)備與CPUNVLINKNVLink提供了直接的點(diǎn)對(duì)點(diǎn)連接，具有比傳統(tǒng)的PCIe總線更高的傳輸速度和更低的延遲。主要用于連接多個(gè)GPU之間或連接GPU與其他設(shè)備（如CPU、內(nèi)存等）之間的通信DMA(DirectMemoryAccess)允許設(shè)備直接訪問內(nèi)存，無需CPU參與。提供在外設(shè)和存儲(chǔ)器之間或者存儲(chǔ)器和存儲(chǔ)器之間的高速數(shù)據(jù)傳輸。MPI并行計(jì)算的應(yīng)用程序接口（API），常在超級(jí)計(jì)算機(jī)、電腦集群等非共享內(nèi)存環(huán)境程序設(shè)計(jì)。HCCS華為研發(fā)的Cache一致性總線HCCS，可以實(shí)現(xiàn)CPU和CPU之間的高速互聯(lián)，通信速率高達(dá)每秒30GT，是業(yè)界主流CPU互聯(lián)速率的2倍多。機(jī)器間通信（跨服務(wù)器通信）TCP/IPTCP/IP提供了點(diǎn)對(duì)點(diǎn)鏈接的機(jī)制，將資料應(yīng)該如何封裝、尋址、傳輸、路由以及在目的地如何接收，都加以標(biāo)準(zhǔn)化RDMARDMACPURDMA適配器將數(shù)據(jù)直接傳輸?shù)较到y(tǒng)緩沖區(qū)來使用零復(fù)制網(wǎng)絡(luò)。-InfiniBand一種高性能網(wǎng)絡(luò)技術(shù)，專為低延遲和高帶寬數(shù)據(jù)通信而設(shè)計(jì)。它通常用于數(shù)據(jù)中心和高性能計(jì)算(HPC)環(huán)境，特別是需要在服務(wù)器之間進(jìn)行快速可靠通信的應(yīng)用程序，如機(jī)器學(xué)習(xí)訓(xùn)練、高性能計(jì)算、云計(jì)算。一種高性能網(wǎng)絡(luò)技術(shù)，專為低延遲和高帶寬數(shù)據(jù)通信而設(shè)計(jì)。它通常用于數(shù)據(jù)中心和高性能計(jì)算(HPC)環(huán)境，特別是需要在服務(wù)器之間進(jìn)行快速可靠通信的應(yīng)用程序。-iWARP基于TCP的RDMA網(wǎng)絡(luò)，通過標(biāo)準(zhǔn)TCP/IP基礎(chǔ)設(shè)施實(shí)現(xiàn)類似RDMA的數(shù)據(jù)傳輸性能，從而減少延遲并提高效率。具備較好的兼容性，但性能不及InfiniBand。-Roce可通過標(biāo)準(zhǔn)以太網(wǎng)實(shí)現(xiàn)RDMA（遠(yuǎn)程直接內(nèi)存訪問）功能。它本質(zhì)上將RDMA“封裝”在以太網(wǎng)之上，允許應(yīng)用程序利用RDMA的優(yōu)勢(shì)來實(shí)現(xiàn)更快的數(shù)據(jù)傳輸，而無需像Infiniband這樣的專用硬件。與傳統(tǒng)的TCP/IP相比，RoCE降低了數(shù)據(jù)傳輸延遲，適合需要快速通信的應(yīng)用，例如大規(guī)模機(jī)器學(xué)習(xí)訓(xùn)練。資料來源：維基百科、CDSN、華為，GPUInifiniBandRoCEMetaGPUAristaArista7800RoCENvidia的Quantum2InfiniBandInfinibandInfiniBand網(wǎng)卡、InfiniBandInfiniBandInfiniBandtoEthernetDellInfinibandNVIDIAQuantum-2QM97004RoCERoCEIDC2022年AI75%的收入，目前IB圖9Meta-以太網(wǎng)Roce決方案 圖10Meta-NvidiaInfiniBand網(wǎng)絡(luò)決案 資料來源：Meta、 資料來源：Meta、表4三種RDMA網(wǎng)絡(luò)對(duì)比InfiniBandiWARPRoCE性能最好稍差（受TCP影響）與InfiniBand相當(dāng)成本高中低穩(wěn)定性好差較好交換機(jī)IB交換機(jī)以太網(wǎng)交換機(jī)以太網(wǎng)交換機(jī)資料來源：華為、Nvidia目前是infinibandInfiniBandInfiniBandInfiniband2024QuantumInfiniBand5MaximizeMarketResearch統(tǒng)2021年全球InfiniBand66.62029年增長(zhǎng)至983.740%。公司產(chǎn)品簡(jiǎn)介Nvidia是InfiniBand技術(shù)的主要供應(yīng)商之一，提供各種InfiniBand適配器、交換機(jī)和其他相關(guān)產(chǎn)品Intel提供各種InfiniBand網(wǎng)絡(luò)產(chǎn)品和解決方案思科知名的網(wǎng)絡(luò)設(shè)備制造商，也提供InfiniBand交換機(jī)和其他相關(guān)產(chǎn)品HewlettPackardEnterprise一家大型IT公司，提供各種InfiniBand公司產(chǎn)品簡(jiǎn)介Nvidia是InfiniBand技術(shù)的主要供應(yīng)商之一，提供各種InfiniBand適配器、交換機(jī)和其他相關(guān)產(chǎn)品Intel提供各種InfiniBand網(wǎng)絡(luò)產(chǎn)品和解決方案思科知名的網(wǎng)絡(luò)設(shè)備制造商，也提供InfiniBand交換機(jī)和其他相關(guān)產(chǎn)品HewlettPackardEnterprise一家大型IT公司，提供各種InfiniBand網(wǎng)絡(luò)解決方案和產(chǎn)品，包括適配器、交換機(jī)和服務(wù)器等。40%40%02021Y 2029E資料來源：MAXIMIZMarketResearch、 資料來源：百度、2.2.1RoCE網(wǎng)絡(luò)方案普及，或帶動(dòng)DPU崛起RoCERDMARoCE有RoCEv1和RoCEv2RoCEv2IP解決了RoCEv1RoCEv2IBRoCEv2網(wǎng)絡(luò)具有硬件無關(guān)性，即其可以在不同廠商的以太網(wǎng)適配器和交換機(jī)上實(shí)現(xiàn)網(wǎng)RoCEv2RoCEv2的InfiniBandNvidiaIntelBroadcom速率最高已達(dá)400Gbps；目前25Gbps和100GbpsDPU在RDMA是DPUCPUDPUCPU算DPU--在網(wǎng)絡(luò)側(cè)為存儲(chǔ)系統(tǒng)提供高效擁塞控制機(jī)制和增強(qiáng)的負(fù)載均衡能力，降低長(zhǎng)DPU10圖13DPU在數(shù)據(jù)中心計(jì)算側(cè)和分布式存儲(chǔ)領(lǐng)域的應(yīng)用資料來源：中興通訊、DPUCPU和GPUDell’OroSmartNIC623%20261638.67%DPU2020DPU3.92025565.9億元，年均復(fù)合增速約為170%。圖14全球DPU市規(guī)模 圖15中國(guó)DPU市規(guī)（億） 6000

市場(chǎng)規(guī)模（億美元）2020Y 2021E 2022E 2023E 2024E 2025E

0

2020Y 2021E 2022E 2023E 2024E 2025E資料來源：賽迪顧問、 資料來源：賽迪顧問、DPUASICFPGA或SoCAlliedMarketresearch的和SOCDPUIntelAMDMarvell、BroadcomAmazonMicrosoft在DPU、以太網(wǎng)升級(jí)，帶動(dòng)高性能以太網(wǎng)交換機(jī)需求上行RoCEv2RDMARoCERDMA名稱簡(jiǎn)介接入層交換機(jī)主要包括40G、100G機(jī)需要具備較高的性能以及豐富的接口形態(tài)；匯聚層交換機(jī)匯聚層交換機(jī)是多臺(tái)接入層交換機(jī)的匯聚點(diǎn)，作用是將接入節(jié)點(diǎn)統(tǒng)一出口，同時(shí)也進(jìn)行轉(zhuǎn)發(fā)及選路。匯聚層交換機(jī)需處理來自接入層設(shè)備的所有通信量，并提供到核心層的上行鏈路，因此需要具備高轉(zhuǎn)發(fā)性。核心層交換機(jī)圖16名稱簡(jiǎn)介接入層交換機(jī)主要包括40G、100G機(jī)需要具備較高的性能以及豐富的接口形態(tài)；匯聚層交換機(jī)匯聚層交換機(jī)是多臺(tái)接入層交換機(jī)的匯聚點(diǎn)，作用是將接入節(jié)點(diǎn)統(tǒng)一出口，同時(shí)也進(jìn)行轉(zhuǎn)發(fā)及選路。匯聚層交換機(jī)需處理來自接入層設(shè)備的所有通信量，并提供到核心層的上行鏈路，因此需要具備高轉(zhuǎn)發(fā)性。核心層交換機(jī)資料來源：騰訊云開發(fā)者社區(qū)、 資料來源：賽迪顧問、5G10G網(wǎng)絡(luò)架構(gòu)的數(shù)據(jù)中心面臨著來自應(yīng)用和數(shù)據(jù)的巨大網(wǎng)絡(luò)壓力，傳統(tǒng)數(shù)據(jù)中心亟需解決（1）數(shù)據(jù)中心之間海量數(shù)據(jù)高速遷移（2）數(shù)據(jù)中心間帶寬瓶頸10G/40G向25G/100G速率為25G/100G100T400GE機(jī)需要5K100GE技術(shù)減少75%100GE技術(shù)，則需要20K個(gè)接口，相對(duì)于25GE技術(shù)減少75%；同樣服務(wù)器與接入層交換機(jī)互聯(lián)的端口速率若采用100GE技術(shù)，則相對(duì)于25GE技術(shù)減少75%。表6高密度400GE有利于用戶簡(jiǎn)化網(wǎng)絡(luò)，提升效率服務(wù)器與TOR（接入層）互聯(lián)Tor與匯聚交換機(jī)互聯(lián)匯聚交換機(jī)與核心交換機(jī)互聯(lián)端口速率端口數(shù)端口速率端口數(shù)端口速率端口數(shù)10G200K10G200K40G50K25G80K25G80K100G20K100G20K100G20K400G5K資料來源：華為、IDC202320.1%，達(dá)到442約3175）200/400GbE2023入的AIDell'Oro預(yù)測(cè)2024800GbE400GbE2027年，400Gbps/800Gbps40%2025數(shù)交換機(jī)端口將達(dá)到800Gbps，到2027年將達(dá)到1600Gbps。圖17全以太交機(jī)場(chǎng)規(guī)模 圖18AI端絡(luò)中以太交換滲率上行 資料來源：IDC、 資料來源：Dell'Oro、中國(guó)市場(chǎng)的以太網(wǎng)交換設(shè)備市場(chǎng)規(guī)模處于快速增長(zhǎng)中。根據(jù)華經(jīng)產(chǎn)業(yè)研究院的統(tǒng)計(jì)數(shù)據(jù)顯示，2022年我國(guó)以太網(wǎng)交換設(shè)備的市場(chǎng)規(guī)模約為449.3億元，同比增長(zhǎng)12.97%；預(yù)計(jì)2025年我國(guó)以太網(wǎng)交換設(shè)備的市場(chǎng)規(guī)模將達(dá)到574.2億元，2020-2025年年均復(fù)合增長(zhǎng)率為10.8%。圖19中國(guó)以太網(wǎng)交換設(shè)備市場(chǎng)規(guī)模及增速0

市場(chǎng)規(guī)模（億元） 同比增

20%15%10%5%0%資料來源：華經(jīng)產(chǎn)業(yè)研究院、盛科通信招股說明書、IDC2023計(jì)為77.8%202343.7%22.2%AristaNetworks20232023，其中，91.4%9.4%10.6%HPE的9.40237.6H6.3%202341.5%圖202023年球以交換市場(chǎng)爭(zhēng)局 圖212023YQ1國(guó)內(nèi)網(wǎng)交機(jī)市競(jìng)格局中興通訊3.50%思科7%銳捷網(wǎng)絡(luò),14.90%

其他,9.20%

H3C,34.50%華為,30.90%資料來源：IDC、 資料來源：IDC、太網(wǎng)交換芯片也是決定以太網(wǎng)交換機(jī)性能的核心部件之一。根據(jù)盛科通信的招股說明書信息分析可知，以太網(wǎng)交換芯片占以太網(wǎng)交換機(jī)的成本比例為4%左右。表7以太網(wǎng)交換芯片成本占比估算以太網(wǎng)交換芯片單價(jià)（元/顆）以太網(wǎng)交換機(jī)單價(jià)（元/臺(tái)）占比2020Y763.5412485.546.12%2021Y354.210436.073.39%2022Y386.639873.543.92%資料來源：盛科通信招股說明書、2016年為318.5億元，到2020年達(dá)到368.03.6%。預(yù)計(jì)到2025年，全球以太網(wǎng)交換芯片市場(chǎng)規(guī)模將達(dá)到434.0億元，年均復(fù)合增長(zhǎng)率為3.4%。商用市場(chǎng)占比逐年提升。圖22全以太交芯市場(chǎng)模 圖23全商用VS用比 80%60%40%20%商用占比 自用占比資料來源：盛科通信招股說明書、灼識(shí)咨詢、 資料來源：盛科通信招股說明書、灼識(shí)咨詢、中國(guó)市場(chǎng)云計(jì)算的快速滲透、AI和機(jī)器學(xué)習(xí)的興起、5G商用、6等通信技術(shù)的升級(jí)以及企業(yè)信息化建設(shè)的深入推動(dòng)著國(guó)內(nèi)以太網(wǎng)交換芯片市2016年為54.1202090.013.6%2025171.4513.8%。02020518%9.8%。圖24中商用太交芯片