華為算力分析研究

華為算力分析研究2024年國產(chǎn)AI服務(wù)器總規(guī)模有望達(dá)到400億我國關(guān)鍵芯片行業(yè)已從幕后逐步走向臺(tái)前復(fù)盤我國超算、普通云計(jì)算算力發(fā)展史可以發(fā)現(xiàn)，從8年前開始，我國的關(guān)鍵芯片行業(yè)已從幕后到臺(tái)前：1）超算領(lǐng)域，2015年4月美國商務(wù)部就開始拒絕Intel、AMD等主要廠商向中國出口CPU芯片，此后我國的《“十三五”國家科技創(chuàng)新規(guī)劃》明確提出要突破超級(jí)計(jì)算機(jī)中央處理器(CPU)架構(gòu)設(shè)計(jì)技術(shù)，根據(jù)前瞻經(jīng)濟(jì)學(xué)人，2022年中國TOP100高性能計(jì)算機(jī)中自主研發(fā)的集群占95%，至今我國超算行業(yè)已進(jìn)入互聯(lián)互通及使用率提升階段；2）云計(jì)算領(lǐng)域，2019年開始，我國黨政信創(chuàng)大規(guī)模啟動(dòng)，以PC為載體的國產(chǎn)算力經(jīng)歷了“可用”到“好用”的政策驅(qū)動(dòng)+產(chǎn)品磨合迭代期，目前已進(jìn)入八大行業(yè)信創(chuàng)客戶“主動(dòng)用”的半政策半市場(chǎng)驅(qū)動(dòng)+性價(jià)比提升期。2024年國產(chǎn)AI服務(wù)器市場(chǎng)規(guī)模有望達(dá)到400億根據(jù)我們的《算力框架報(bào)告》測(cè)算，考慮到我國國產(chǎn)AI芯片供應(yīng)商的產(chǎn)能供應(yīng)、生態(tài)適配、綜合性價(jià)比等情況，國內(nèi)AI芯片與英偉達(dá)H100芯片相比仍有一定差距，因此我們認(rèn)為政策性客戶有望逐步全面轉(zhuǎn)向國產(chǎn)AI芯片，商用客戶如互聯(lián)網(wǎng)有望將百億參數(shù)模型的部分訓(xùn)練和推理需求轉(zhuǎn)向國產(chǎn)AI芯片，2024年我國國產(chǎn)芯片主要需求將包括：政府智算中心、運(yùn)營商、金融、第三方大模型廠商、互聯(lián)網(wǎng)廠商，我們預(yù)計(jì)2024年國產(chǎn)AI芯片出貨量為30.7萬張，潛在市場(chǎng)規(guī)模約為307億，折合AI服務(wù)器3.84萬臺(tái)，潛在市場(chǎng)規(guī)模為409.33億。華為昇騰——世界AI算力新星生態(tài)：英偉達(dá)基于CUDA構(gòu)筑堅(jiān)固生態(tài)護(hù)城河CUDA（ComputeUnifiedDeviceArchitecture）生態(tài)為從CUDA編程框架發(fā)展出的一系列軟硬件及擴(kuò)展體系。底層硬件包括主要負(fù)責(zé)向量運(yùn)算的CUDACore（FP32/FP64）以及主要負(fù)責(zé)低精度浮點(diǎn)運(yùn)算的TensorCore（FP16、INT8），軟件則包括中層API接口、驅(qū)動(dòng)、編譯器以及上層CUDA-X系列算法庫（包括cuDNN、cuML、TensorRT、cuDF、cuGraph及其他13個(gè)以及超過13個(gè)的其他庫），基于CUDA軟件棧進(jìn)行第三方應(yīng)用及工具擴(kuò)展就形成了廣義的CUDA生態(tài)體系；生態(tài)優(yōu)勢(shì)凸顯。自2006年推出至今，CUDA已擁有超400萬開發(fā)人員，下載量累計(jì)4000萬，在超過3000個(gè)應(yīng)用程序中被廣泛部署，目前已經(jīng)成為全球領(lǐng)先的AI加速計(jì)算生態(tài)。生態(tài)：對(duì)標(biāo)英偉達(dá)，華為昇騰為世界提供AI算力的第二選擇昇騰計(jì)算產(chǎn)業(yè)：基于昇騰系列（HUAWEIAscend）處理器和基礎(chǔ)軟件構(gòu)建的全棧AI計(jì)算基礎(chǔ)設(shè)施、行業(yè)應(yīng)用及服務(wù)，包括昇騰系列處理器、系列硬件、CANN（ComputeArchitectureforNeuralNetworks，異構(gòu)計(jì)算架構(gòu)）、AI計(jì)算框架、應(yīng)用使能、開發(fā)工具鏈、管理運(yùn)維工具、行業(yè)應(yīng)用及服務(wù)等全產(chǎn)業(yè)鏈。華為昇騰AI產(chǎn)業(yè)生態(tài)包括昇騰AI基礎(chǔ)軟硬件平臺(tái)，即Atlas系列硬件、異構(gòu)計(jì)算架構(gòu)CANN、全場(chǎng)景AI框架昇思MindSpore、昇騰應(yīng)用使能MindX以及一站式開發(fā)平臺(tái)ModelArts等?；跁N騰910系列板卡，華為推出了AI訓(xùn)練集群Atlas900、AI訓(xùn)練服務(wù)器Atlas800、智能小站Atlas500、AI推理與訓(xùn)練卡Atlas300和AI加速模塊Atlas200，完成了Atlas全系列產(chǎn)品布局，支持萬億參數(shù)大模型訓(xùn)練，同時(shí)覆蓋云、邊、端全場(chǎng)景。華為提出了具備分層開放、體系協(xié)同、敏捷高效、安全可信等特征的，全行業(yè)通用的行業(yè)智能化參考架構(gòu)。其中智能底座提供大規(guī)模AI算力、海量存儲(chǔ)及并行計(jì)算框架，支撐大模型訓(xùn)練，提升訓(xùn)練效率，提供高性能的存算網(wǎng)協(xié)同。根據(jù)場(chǎng)景需求不同，提供系列化的算力能力。適應(yīng)不同場(chǎng)景，提供系列化、分層、友好的開放能力。另外，智能底座層還包含品類多樣的邊緣計(jì)算設(shè)備，支撐邊緣推理和數(shù)據(jù)分析等業(yè)務(wù)場(chǎng)景。處理器：神經(jīng)網(wǎng)絡(luò)擬合過程需要芯片具備大規(guī)模簡(jiǎn)單計(jì)算能力類GPU芯片更強(qiáng)調(diào)并行計(jì)算能力，適用于大規(guī)模簡(jiǎn)單計(jì)算場(chǎng)景。CPU為順序執(zhí)行指令，重點(diǎn)是減少指令執(zhí)行延遲，將大量芯片面積專門用于可減少指令延遲的功能，例如大緩存、更少的ALU和更多的控制單元；GPU專為大規(guī)模并行性和高吞吐量而設(shè)計(jì)，使用大量SM（流式多處理器）來最大化其計(jì)算能力和吞吐量，它們使用非常少量的芯片區(qū)域作為緩存和控制單元，使得其具有很高的延遲；神經(jīng)網(wǎng)絡(luò)的擬合過程涉及海量的函數(shù)運(yùn)算、對(duì)計(jì)算資源的要求非常高，類GPU芯片為目前性價(jià)比首選。在AI運(yùn)算中，像素、字符等經(jīng)常會(huì)被轉(zhuǎn)化成為矢量數(shù)據(jù)進(jìn)行處理，處理方式主要是MAC（乘積累加）運(yùn)算，即先做乘法然后再把結(jié)果相加循環(huán)往復(fù)，如在圖像識(shí)別中每個(gè)像素都有一個(gè)向量值，這個(gè)值要跟權(quán)重信息不斷相乘相加最終提取出圖像特征；GPU由于運(yùn)算核心為CPU的上百倍，因而更適用于AI運(yùn)算，如Intel2023年初推出的最新的數(shù)據(jù)中心處理器第四代至強(qiáng)可擴(kuò)展處理器（代號(hào)SapphireRapids）最多支持60核，而NvidiaH100GPU則有132個(gè)SM，每個(gè)SM有64個(gè)Core，總共有8448個(gè)Core；處理器：華為基于自研達(dá)芬奇微架構(gòu)形成面向AI計(jì)算的NPU芯片昇騰AI處理器為華為以面向AI計(jì)算為設(shè)計(jì)理念的自研達(dá)芬奇微架構(gòu)NPU芯片。與基于存儲(chǔ)和處理分離的經(jīng)典馮·諾伊曼結(jié)構(gòu)GPU（如英偉達(dá)A100）不同，華為昇騰芯片將存儲(chǔ)和處理一體化，用電路模擬人類的神經(jīng)元和突觸結(jié)構(gòu)，將每個(gè)神經(jīng)元抽象為一個(gè)激勵(lì)函數(shù)，該函數(shù)的輸入由與其相連的神經(jīng)元的輸出以及連接神經(jīng)元的突觸共同決定，使用者通常需要（通過某些特定的算法）調(diào)整人工神經(jīng)網(wǎng)絡(luò)中突觸的取值、網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)等，該過程稱為“學(xué)習(xí)”；因而昇騰AI系列芯片既是NPU（神經(jīng)網(wǎng)絡(luò)處理器），也是一個(gè)集成了CPU、DVPP以及任務(wù)管理器的Soc（高度集成的片上系統(tǒng)），基于該設(shè)計(jì)理念，單顆昇騰910可以獨(dú)立完成整個(gè)AI的訓(xùn)練流程，最小化與Host的交互，從而充分發(fā)揮其算力。昇騰處理器的AICore計(jì)算單元專門為AI而生。主要包含矩陣計(jì)算單元、向量計(jì)算單元、標(biāo)量計(jì)算單元和累加器，分別負(fù)責(zé)完成張量、向量和標(biāo)量運(yùn)算：1）矩陣計(jì)算單元特意對(duì)矩陣計(jì)算進(jìn)行了深度的優(yōu)化并定制了相應(yīng)的矩陣計(jì)算單元來支持高吞吐量的矩陣處理，可以用一條指令完成兩個(gè)16*16矩陣的相乘運(yùn)算，即16^3=4096個(gè)乘加運(yùn)算（因而也稱為達(dá)芬奇3DCube技術(shù)），并且可以實(shí)現(xiàn)FP16的運(yùn)算精度；2）向量計(jì)算單元能夠?qū)崿F(xiàn)向量和標(biāo)量，或雙向量之間的計(jì)算，功能覆蓋各種基本和多種定制的計(jì)算類型，主要包括FP32、FP16、INT32和INT8等數(shù)據(jù)類型，全面完善了AICore對(duì)非矩陣類型數(shù)據(jù)計(jì)算的能力；3）標(biāo)量計(jì)算單元?jiǎng)t相當(dāng)于一個(gè)微型CPU，控制整個(gè)AICore的運(yùn)行，可以對(duì)程序中的循環(huán)進(jìn)行控制，可以實(shí)現(xiàn)分支判斷，其結(jié)果可以通過在事件同步模塊中插入同步符的方式來控制AICore中其它功能性單元的執(zhí)行流水。計(jì)算架構(gòu)：英偉達(dá)基于CUDA編程架構(gòu)構(gòu)筑深厚護(hù)城河狹義的CUDA是NVIDIA以“軟件定義硬件”的思路，專為圖形處理單元(GPU)上的通用計(jì)算開發(fā)的并行計(jì)算平臺(tái)和編程模型，包含有一個(gè)指令集架構(gòu)和相應(yīng)的硬件引擎，不同領(lǐng)域的開發(fā)者可以通過API接口訪問GPU的計(jì)算資源；CUDA的優(yōu)勢(shì)在于其低門檻及高易用性。CUDA具備易部署（用戶開箱即用）、開發(fā)接口層次靈活（OpenCL、OpenGL類似的一種API）、滿足不同領(lǐng)域開發(fā)者編程語言（C、C++、Fortran、Python、MATLAB）、品類齊全的工具集（GDB、Nsight、Memcheck等）、眾多第三方工具和軟件庫，大大減少了開發(fā)者的編程難度、提升了軟硬件計(jì)算效率。框架：加入Pytorch社區(qū)，加速構(gòu)建開源生態(tài)目前國際主流AI框架為Google-TensorFlow和Meta-PyTorch，產(chǎn)業(yè)界以TensorFlow為主，學(xué)術(shù)界以PyTorch為主，呈現(xiàn)雙寡頭格局，國產(chǎn)框架MindSpore緊隨其后。根據(jù)Omdia，開發(fā)者選擇人工智能框架最重要的因素是易用性、其次是性能，同時(shí)在超大規(guī)模模型訓(xùn)練能力上，TensorFlow、PyTorch、MindSpore、PaddlePaddle表現(xiàn)較為優(yōu)秀，均超過其他框架；MindSpore社區(qū)生態(tài)國內(nèi)領(lǐng)先。過去三年，昇思社區(qū)幫助業(yè)界完成了紫東太初、鵬程系列等百億、千億級(jí)大模型，根據(jù)《中國人工智能大模型地圖研究報(bào)告》中的數(shù)據(jù)，基于昇思孵化的產(chǎn)業(yè)落地大模型，占到國內(nèi)總數(shù)的40%，昇思的開源生態(tài)匯集了超過1.3萬貢獻(xiàn)者，基于MindSpore的頂會(huì)論文如今已超過900篇，據(jù)PaperswithCode統(tǒng)計(jì)，2022年使用MindSpore的頂級(jí)會(huì)議論文在國內(nèi)AI框架中排名第一，全球范圍內(nèi)僅次于PyTorch，位列第二；支持國際主流框架，加速生態(tài)優(yōu)勢(shì)。昇騰CANN具備AI框架適配器FrameworkAdaptor，可支持TensorFlow、PyTorch等國際主流AI框架；此外，10月18日，華為還作為Premier最高級(jí)別會(huì)員正式加入全球AI開源框架PyTorch社區(qū)，目前PyTorch2.1版本已同步支持昇騰NPU，開發(fā)者可直接在PyTorch2.1上基于昇騰進(jìn)行模型開發(fā)，基于PyTorch，昇騰已經(jīng)適配了BLOOM、GPT-3、LLaMA等業(yè)界主流大模型，深度優(yōu)化后性能可持平業(yè)界；一體機(jī)：聯(lián)合訊飛發(fā)布星火一體機(jī)，實(shí)現(xiàn)業(yè)務(wù)場(chǎng)景開箱即用一體機(jī)的本質(zhì)為將IT基礎(chǔ)軟硬件高度集成于一套完整的硬件設(shè)備上的解決方案，與其他方案相比，類似直接購買裝好系統(tǒng)的筆記本電腦與自行購買軟硬件攢機(jī)之間的區(qū)別?？蛻粼谶M(jìn)行AI訓(xùn)練推理基礎(chǔ)設(shè)施搭建時(shí)，需要采購訓(xùn)練推理服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等硬件系統(tǒng)以及操作系統(tǒng)、AI框架、數(shù)據(jù)庫、模型訓(xùn)練和部署工具等軟件系統(tǒng)，由于采購規(guī)模相對(duì)較小，因而在進(jìn)行單品類采購時(shí)的議價(jià)能力相對(duì)較弱因而整體成本較高，并且不同軟硬件系統(tǒng)之間的銜接與調(diào)優(yōu)要求隨系統(tǒng)復(fù)雜程度提升因而技術(shù)門檻較高；一體機(jī)將大量軟硬件系統(tǒng)進(jìn)行了高度集成，可以很大程度上降低軟硬件投資成本以及安裝維護(hù)技術(shù)門檻，并且從物理層面上解決了數(shù)據(jù)安全問題，因而我們認(rèn)為未來政府端的私有化部署將成為首先放量的需求，具備G端真實(shí)場(chǎng)景積累的標(biāo)的有望獲益。訊飛星火和華為昇騰聯(lián)合發(fā)布了星火一體機(jī)，基于華為鯤鵬CPU+昇騰GPU，具備2.5PFP16智能算力，支持訓(xùn)練和推理，該設(shè)備可提供對(duì)話開發(fā)、任務(wù)編排、插件執(zhí)行、知識(shí)接入、提示工程等5種定制優(yōu)化模式，以及辦公、代碼、客服、運(yùn)維、營銷、采購等10種以上即開即用的豐富場(chǎng)景包，目前訊飛正和華為一道打造面向超大規(guī)模大模型的訓(xùn)練國產(chǎn)算力的集群。華為鯤鵬——信創(chuàng)服務(wù)器王者鯤鵬生態(tài)：硬件開放、軟件開源、使能伙伴、發(fā)展人才華為作為鯤鵬計(jì)算產(chǎn)業(yè)的成員，基于“硬件開放、軟件開源、使能伙伴、發(fā)展人才”的策略推動(dòng)鯤鵬計(jì)算產(chǎn)業(yè)的發(fā)展：硬件開放：華為利用自己的硬件能力，對(duì)外提供鯤鵬主板、SSD、網(wǎng)卡、模組和板卡，優(yōu)先支持合作伙伴發(fā)展服務(wù)器和PC等計(jì)算產(chǎn)品；軟件開源：華為通過軟件開源的方式，共享在基礎(chǔ)軟件領(lǐng)域的多年積累，使能伙伴發(fā)行openEuler和openGauss商業(yè)版，繁榮基礎(chǔ)軟件產(chǎn)業(yè)生態(tài)；使能伙伴：華為提供鯤鵬開發(fā)套件與應(yīng)用使能套件，幫助開發(fā)者加速原生應(yīng)用開發(fā)，使能應(yīng)用極致性能，構(gòu)建競(jìng)爭(zhēng)力領(lǐng)先的行業(yè)解決方案；發(fā)展人才：華為提供產(chǎn)教融合服務(wù)，支持高?；邛H鵬、歐拉、高斯等計(jì)算產(chǎn)業(yè)根技術(shù)開展教學(xué)改革，建立人才培養(yǎng)新模式，孕育新一代產(chǎn)業(yè)亟需人才；鯤鵬處理器：ARM屬于精簡(jiǎn)指令集，具備低功耗優(yōu)勢(shì)CPU的本質(zhì)是超大規(guī)模集成電路，用于解釋計(jì)算機(jī)指令和處理計(jì)算機(jī)軟件中的數(shù)據(jù)，并負(fù)責(zé)控制、調(diào)配計(jì)算機(jī)的所有軟硬件資源。CPU承擔(dān)耦合系統(tǒng)軟硬件資源的中樞作用：1）計(jì)算機(jī)系統(tǒng)中所有軟件層的操作，最終都將通過指令系統(tǒng)映射為CPU的操作；2）CPU控制、調(diào)配所有硬件資源（如存儲(chǔ)器、輸入輸出單元），由控制單元實(shí)現(xiàn)指令讀取、指令譯碼，并通過運(yùn)算單元執(zhí)行數(shù)據(jù)加載、計(jì)算和回存任務(wù)；指令系統(tǒng)是生態(tài)底層邏輯，可分為復(fù)雜指令集（CISC）和精簡(jiǎn)指令集（RISC）。復(fù)雜指令集架構(gòu)與精簡(jiǎn)指令集架構(gòu)是基于兩種不同的指令集思路進(jìn)行設(shè)計(jì)，這兩種架構(gòu)有著各自不同的特點(diǎn)：復(fù)雜指令集指令豐富、尋址方式靈活，以微程序控制器為核心，指令長度可變，功能強(qiáng)大，復(fù)雜程序執(zhí)行效率高，主要為Intel推出的X86架構(gòu)；精簡(jiǎn)指令集指令結(jié)構(gòu)簡(jiǎn)單、易于設(shè)計(jì)，具有較高的執(zhí)行能效比，包括ARM、MIPS、RISC-V、LoongArch等架構(gòu)。BoostKit應(yīng)用套件：90%主流開源軟件支持鯤鵬開箱即用鯤鵬BoostKit主要面向伙伴和客戶的開發(fā)者，提供高性能開源組件、基礎(chǔ)加速軟件包、應(yīng)用加速軟件包，使能應(yīng)用極致性能