AIGC算力全景與趨勢(shì)報(bào)告

AIGC算力全景與趨勢(shì)報(bào)

告序 言2023年無疑是AIGC元年，ChatGPT引發(fā)的各類大模型競(jìng)賽中，行業(yè)內(nèi)繞不開的一個(gè)話題便是算力從何而來。算力目前已經(jīng)在AIGC產(chǎn)業(yè)內(nèi)形成新共識(shí)——算力成為AIGC發(fā)展的關(guān)鍵基石。隨著英偉達(dá)今年一系列不斷推陳出新的產(chǎn)品動(dòng)作，可以看到國(guó)際上最先進(jìn)的算力廠商如今已邁向由超級(jí)芯片組成的算力集群階段。此外，算力廠商也無疑成為AIGC產(chǎn)業(yè)下的率先受益方。然而，隨著大模型參數(shù)的不斷增長(zhǎng)，OpenAI近期表明算力成為其發(fā)展的挑戰(zhàn)之一。在AIGC產(chǎn)業(yè)繁榮的當(dāng)下，可以預(yù)見的是未來對(duì)算力的需求會(huì)越來越大。那么，在這場(chǎng)AIGC盛宴中，應(yīng)該如何應(yīng)對(duì)當(dāng)下面臨的「算力危機(jī)」呢？在《AIGC算力全景與趨勢(shì)報(bào)告》中，量子位智庫將從我國(guó)算力產(chǎn)業(yè)現(xiàn)狀、算力產(chǎn)業(yè)變革、趨勢(shì)預(yù)判等角度出發(fā)，通過廣泛調(diào)研與深度分析，全面立體描繪我國(guó)當(dāng)前AIGC算力產(chǎn)業(yè)全景與趨勢(shì)。我們期待，能夠與眾多投入、關(guān)注、期待中國(guó)AIGC算力產(chǎn)業(yè)的伙伴一起，共同見證并打造中國(guó)AIGC算力產(chǎn)業(yè)的蓬勃未來。020304目 錄01

AIGC驅(qū)動(dòng)，算力產(chǎn)業(yè)機(jī)遇空前AIGC算力產(chǎn)業(yè)全景05AIGC算力產(chǎn)業(yè)「五新」趨勢(shì)AIGC算力產(chǎn)業(yè)周期預(yù)測(cè)AIGC算力產(chǎn)業(yè)代表案例AIGC驅(qū)動(dòng)，算力產(chǎn)業(yè)機(jī)遇空前01AIGC潮起，算力產(chǎn)業(yè)挑戰(zhàn)巨大，機(jī)遇空前游戲規(guī)則被改寫，MaaS能力成為競(jìng)爭(zhēng)的關(guān)鍵變量云計(jì)算廠商智算中心服務(wù)器廠商在算力需求暴漲、數(shù)據(jù)和模型資源稀缺、AI技術(shù)廣泛落地背景下，智算中心成為地區(qū)AI新基建大模型訓(xùn)練驅(qū)動(dòng)AI服務(wù)器需求暴漲，并且正在催生新物種：AI模型一體機(jī)GPU為核心的AI訓(xùn)練芯片供不應(yīng)求，是AIGC算力產(chǎn)業(yè)最大挑戰(zhàn)和最大機(jī)遇芯片OpenAI發(fā)布ChatGPT屬于GPT系列中的聊天機(jī)器人模型。GPT系列中，GPT3是由1750億參數(shù)組成的語言模型，而GPT4的參數(shù)更是達(dá)萬億級(jí)別。國(guó)內(nèi)目前公布的大模型參數(shù)規(guī)模也普遍在百億至千億級(jí)別。如此龐大的參數(shù)規(guī)模，對(duì)于芯片提供商、云服務(wù)廠商以及服務(wù)器廠商都產(chǎn)生了新需求。全球范圍內(nèi)，GPT具備從底層改變各行業(yè)規(guī)則的能力，作為AIGC產(chǎn)業(yè)的基建，算力產(chǎn)業(yè)在未來有望成為一項(xiàng)公共服務(wù)滲透入各行各業(yè)。基于此，智算中心作為公共算力基礎(chǔ)設(shè)施，成為AIGC基建中的關(guān)鍵環(huán)節(jié)。大模型參數(shù)量變化來源：Information

is

Beautiful芯片：大模型訓(xùn)練需求暴漲，GPU供不應(yīng)求需求當(dāng)前大模型參數(shù)量在百億至千億參數(shù)規(guī)模，在訓(xùn)練階段，對(duì)芯片的需求從CPU+加速器轉(zhuǎn)變?yōu)橐訥PU主導(dǎo)的大規(guī)模并行計(jì)算。未來，當(dāng)多數(shù)大模型參數(shù)規(guī)模到達(dá)萬億級(jí)別，將產(chǎn)生更大的算力需求。在單芯片性能之上，智算中心能夠通過算力的生產(chǎn)-調(diào)度-聚合-釋放，支持AI產(chǎn)業(yè)化發(fā)展。缺口目前市場(chǎng)對(duì)于英偉達(dá)芯片的需求遠(yuǎn)大于供給。經(jīng)測(cè)算，一萬枚英偉達(dá)A100芯片是做好AI大模型的算力門檻。國(guó)內(nèi)具備此量級(jí)的公司最多只有1家，而GPU芯片持有量超過一萬枚的企業(yè)不超過5家。推理階段（日常運(yùn)營(yíng)）ChatGPT

2023年2月官網(wǎng)總訪問量

11億次；用戶每次與ChatGPT互動(dòng)的云計(jì)算成本成為約0.01美元；訓(xùn)練階段（單次成本）單次GPT-3

Small(1.25億）計(jì)算量

2.6PFlops/天單次

GPT-3XL

計(jì)算量為

27.5

PFlops/天單次GPT-3(175B)計(jì)算量

3640

PFLops/天GPT3(175B)

3640

PFLops：35000塊

A100/1微調(diào)階段算力需求芯片需求預(yù)13計(jì)50算.4力PFlops/天芯片需求天

或

1024塊

A100

跑

1個(gè)月成本單次訓(xùn)練成本：>1200萬美元13000塊

A100/1天

或

433

塊

A100

跑

1個(gè)月成本成本：920萬/月保守預(yù)估，假設(shè)用戶每次訪問網(wǎng)站只進(jìn)行一次互動(dòng)芯片需求采用A100或V100設(shè)備成本運(yùn)營(yíng)的算力成本：~1100萬美元/月來源：阿里公開資料，量子位智庫整理服務(wù)器：業(yè)務(wù)增長(zhǎng)顯著，高端芯片AI服務(wù)器火爆現(xiàn)狀A(yù)IGC產(chǎn)業(yè)的發(fā)展將加劇AI服務(wù)器行業(yè)的增長(zhǎng)速度，國(guó)產(chǎn)服務(wù)器廠商普遍業(yè)務(wù)增量在30%以上；國(guó)內(nèi)市場(chǎng)中，服務(wù)器重新進(jìn)入洗牌期。需求趨勢(shì)由于AIGC對(duì)于高性能計(jì)算的需求，云廠商在服務(wù)器的選擇上以AI服務(wù)器為主。據(jù)IDC數(shù)據(jù)，2025年全球AI服務(wù)器市場(chǎng)規(guī)模將達(dá)317.9億美元，年復(fù)合增長(zhǎng)率為19%。英偉達(dá)GPU短期內(nèi)面臨產(chǎn)能不足問題，或?qū)⒁欢ǔ潭壬舷拗艫I服務(wù)器生產(chǎn)，從而影響出貨量。010020030040050060080070020212025E2021-2025中國(guó)AI服務(wù)器市場(chǎng)規(guī)模預(yù)測(cè)市場(chǎng)規(guī)模（億元）數(shù)據(jù)來源：IDC，量子位智庫整理28.10%17.20%6.10%4.90%5.10%5.30%6.20%17.00%2022年中國(guó)服務(wù)器市場(chǎng)份額占比10.10%浪潮信息 新華三 超聚變 寧暢 中興通訊 戴爾 聯(lián)想 ODM

Direct 其他50%云計(jì)算廠商：服務(wù)范式變革，MaaS帶來新商業(yè)路徑工具與平臺(tái)文心大模型EasyDL-大模型零門檻AI開發(fā)平臺(tái)BML-大模型全功能AI開發(fā)平臺(tái)大模型API大模型套件數(shù)據(jù)標(biāo)注與處理大模型精調(diào)大模型輕量化大模型部署國(guó)網(wǎng)-百能度源?文心浦發(fā)-百度?文心金融行業(yè)大模型NLP大模型 CV大模型文檔圖像表征學(xué)習(xí) 商品圖文搜索表征學(xué)習(xí)VIMER-StrucTexT VIMER-UMS多任務(wù)視覺表征學(xué)習(xí)醫(yī)療

ERNIE-Health金融

ERNIE-Finance對(duì)話

PLATO搜索

ERNIE-Search信息抽取

ERNIE-IE圖網(wǎng)絡(luò)

ERNIE-Sage跨語言ERNIE-MERNIE

3.0 語言理解與生成 ERNIE3.0

Zeus鵬城-百度?文心(百億級(jí)) (千億級(jí)) (任務(wù)知識(shí)增強(qiáng)千億級(jí))VIMER-UFO自監(jiān)督視覺表征學(xué)習(xí)VIMER-CAE圖文生成ERNIE-ViLG跨模態(tài)大模型文檔分析ERNIE-Layout視覺-語言ERNIE-ViL語言-語言ERNIE-SAT地理-語言ERNIE-GeoL化合物表征LIX-GEHE學(xué)習(xí)

M蛋白質(zhì)結(jié)構(gòu)分析HELIX-Fold旸谷大型創(chuàng)意生物計(jì)算大模型 與探索社區(qū)范式轉(zhuǎn)變MaaS成為云計(jì)算服務(wù)的新范式，云計(jì)算判別標(biāo)準(zhǔn)從算力能力轉(zhuǎn)向「云智一體」的AI產(chǎn)品能力。成本自研芯片：根據(jù)

IDC

2018年服務(wù)器成本結(jié)構(gòu)數(shù)據(jù)顯示，高性能服務(wù)器中，芯片成本占比高達(dá)

50%～83%；全球頭部云廠商（谷歌、微軟、騰訊等）為擺脫過于依賴芯片廠商的局面，均加大芯片自研力度。MaaS

產(chǎn)業(yè)結(jié)構(gòu)圖——以百度文心為例企業(yè)方公共基建《智能計(jì)算中心創(chuàng)新發(fā)展指南》指出，在智算中心實(shí)現(xiàn)80%應(yīng)用水平的情況下，城市/地區(qū)對(duì)智算中心的投資可帶動(dòng)人工智能核心產(chǎn)業(yè)增長(zhǎng)約2.9-3.4倍，帶動(dòng)相關(guān)產(chǎn)業(yè)增長(zhǎng)約36-42倍；未來80%的場(chǎng)景都將基于人工智能，所占據(jù)的算力資源主要由智算中心提供，智算中心將成為經(jīng)濟(jì)增長(zhǎng)的新動(dòng)力引擎。智算中心：基建級(jí)AI算力供應(yīng)，打造地區(qū)經(jīng)濟(jì)增長(zhǎng)新引擎阿里云張北超級(jí)智算中心、烏蘭察布智算中心商湯科技人工智能計(jì)算中心百度智能云-昆侖芯（鹽城）智算中心百度智能云（濟(jì)南）智算中心騰訊長(zhǎng)三角（上海）人工智能先進(jìn)計(jì)算中心騰訊智慧產(chǎn)業(yè)長(zhǎng)三角（合肥）智算中心曙光5A級(jí)智算中心克拉瑪依浪潮智算中心中國(guó)電信京津冀大數(shù)據(jù)智能算力中心中國(guó)聯(lián)通廣東

AI

智算中心……全國(guó)超30座城市落地智算中心：北京、天津、河北、南京、無錫、寧波、杭州、武漢、沈陽、成都、哈爾濱、許昌、廣州、宿州、烏鎮(zhèn)、昆山、甘肅、長(zhǎng)沙……31.775 155.2268427640.7922.81271.4500010002019

2020

2021

2022

2023

2024

2025

2026來源：國(guó)家信息中心《智能計(jì)算中心創(chuàng)新發(fā)展指南》，IDC，量子位智庫整理中國(guó)智能算力發(fā)展情況及預(yù)測(cè)百億億次浮點(diǎn)運(yùn)算/秒（EFLOPS）1500AIGC算力產(chǎn)業(yè)全景02AIGC算力現(xiàn)狀鏈路：芯片—服務(wù)器—云平臺(tái)—模型應(yīng)用以微軟為例芯片資源外部：Azure云服務(wù)為ChatGPT構(gòu)建了超過1萬枚英偉達(dá)A100

GPU芯片的AI計(jì)算集群內(nèi)部：微軟正在自研AI芯片——雅典娜（Athena），將由臺(tái)積電代工，采用5nm制程首個(gè)目標(biāo)：為OpenAI提供算力引擎，以替代英偉達(dá)A100/H100云基礎(chǔ)設(shè)施平臺(tái)Azure微軟是OpenAI唯一云服務(wù)提供商，為GPT訓(xùn)練提供計(jì)算資源、存儲(chǔ)資源、自動(dòng)化部署和管理等支持模型即應(yīng)用（MaaS）1）Azure

OpenAI

服務(wù)：企業(yè)級(jí)解決方案：借助

Azure

OpenAI，用戶可以匯總文本、獲取代碼建議、為網(wǎng)站生成圖像等2）Microsoft365Copilot：使用了GPT-4作為其核心的LLM，將用戶的自然語言輸入轉(zhuǎn)化為高效的生產(chǎn)力工具，集成在Word、Excel、PowerPoint、Outlook、Teams等多個(gè)應(yīng)用中專用芯片路線

(Applicciarctuioitn)-specific

integrated通用芯片路線(Graphics

processing

unit

)AI芯片目前有兩大路線，一種是英偉達(dá)代表的GPU路線，更適合當(dāng)前AIGC產(chǎn)業(yè)對(duì)大算力的需求，與AIGC大模型的訓(xùn)練及推理適配度極高。另一種路線則是以國(guó)內(nèi)華為（主力產(chǎn)品）、寒武紀(jì)廠商為代表的專用AI芯片路線，此路線下的芯片更適用于垂類小模型，為其提供能效比更高的芯片。此外互聯(lián)網(wǎng)云廠商的自研芯片也是專用路線，芯片主要服務(wù)于自家產(chǎn)品，為自身產(chǎn)品打造性能更優(yōu)的算力底座。芯片層現(xiàn)狀：AIGC算力2大路線，GPU通用路線和AISC專用路線專用場(chǎng)景中能夠做到更優(yōu)的能效比跳出當(dāng)前的已有生態(tài)，長(zhǎng)期來看有可能實(shí)現(xiàn)真正超越優(yōu)勢(shì)用來執(zhí)行專門/定制化任務(wù)局限研發(fā)周期長(zhǎng)、商業(yè)風(fēng)險(xiǎn)較大，產(chǎn)品易受市場(chǎng)變化影響不易擴(kuò)展，難以滿足后續(xù)增加功能的需求能夠完成多樣化算力任務(wù)優(yōu)勢(shì)局限擅長(zhǎng)大規(guī)模并行計(jì)算兼容英偉達(dá)生態(tài)，是最快也是最適用于當(dāng)下的解決方案在廠商被迫「重復(fù)造輪子」的前提下，追趕上英偉達(dá)的難度極高芯片總體功耗高服務(wù)器作為算力的載體，是AIGC基礎(chǔ)設(shè)施的核心硬件。由于AIGC對(duì)于高性能計(jì)算的需求，云廠商在服務(wù)器的選擇上以AI服務(wù)器為主。據(jù)IDC數(shù)據(jù)，2025年全球AI服務(wù)器市場(chǎng)規(guī)模將達(dá)317.9億美元，年復(fù)合增長(zhǎng)率為19%。AIGC產(chǎn)業(yè)的發(fā)展將加劇AI服務(wù)器行業(yè)的增長(zhǎng)速度，國(guó)產(chǎn)服務(wù)器廠商普遍業(yè)務(wù)增量在30%以上；TrendForce日前發(fā)布預(yù)測(cè)，指出隨著AI服務(wù)器與AI芯片需求同步看漲，預(yù)計(jì)2023年AI服務(wù)器（包含搭載GPU、FPGA、ASIC等主芯片）出貨量將接近120萬臺(tái)，年增38.4%，并將2022-2026年AI服務(wù)器出貨量年復(fù)合增長(zhǎng)率上調(diào)至22%。2022年，國(guó)內(nèi)互聯(lián)網(wǎng)大廠成為AI服務(wù)器的最大買家；2023年，隨著AIGC的爆發(fā)，根據(jù)業(yè)內(nèi)消息，互聯(lián)網(wǎng)廠商依舊是AI服務(wù)器的最大買方。服務(wù)器層現(xiàn)狀：AI服務(wù)器成主要增長(zhǎng)點(diǎn)，采購(gòu)占比互聯(lián)網(wǎng)客戶為主15.51514.51413.51312.512202220232023AI服務(wù)器出貨量預(yù)測(cè)13%19%17%16%14%6.00%1.50%1.50%2%22.70%2022年AI服務(wù)器采購(gòu)量占比微軟 谷歌 Meta

AWS 字節(jié)跳動(dòng) 騰訊 阿里巴巴 百度 其他數(shù)據(jù)來源：TrendForce，量子位智庫整理大模型成為MaaS的基座，MaaS所打造的商業(yè)模式也是大模型廠商的主要變現(xiàn)模式——基于大模型產(chǎn)生有實(shí)際應(yīng)用價(jià)值的產(chǎn)品。MaaS模式最早由阿里提出，隨后互聯(lián)網(wǎng)大廠、人工智能企業(yè)（如商湯）均已引入MaaS模式。此外，互聯(lián)網(wǎng)大廠、華為等企業(yè)已經(jīng)將自研芯片用于MaaS底座構(gòu)建中。云廠商是MaaS的提出者，也是主要參與方。MaaS模式基于大模型，能夠最大限度消除大型企業(yè)數(shù)字化過程中規(guī)模化、標(biāo)準(zhǔn)化壁壘，降低企業(yè)部署難度；對(duì)于C端用戶來講，MaaS可在不同層級(jí)里產(chǎn)生價(jià)值，有望為云計(jì)算廠商帶來新增長(zhǎng)曲線。云計(jì)算現(xiàn)狀：MaaS重塑服務(wù)模式，新老玩家重構(gòu)競(jìng)爭(zhēng)力基礎(chǔ)大模型行業(yè)模型垂直領(lǐng)域模型L0L1L2API或模型壓縮行業(yè)數(shù)據(jù)大模型訓(xùn)練和

微調(diào)成本高，下游用戶開發(fā)難度高通過MaaS賦能AI滲透率較低的行業(yè)云計(jì)算廠商承擔(dān)訓(xùn)練和微調(diào)成本，提供MaaS服務(wù)MaaS服務(wù)提供商分時(shí)分次計(jì)費(fèi)，按照用戶的需求量核算投入產(chǎn)出從計(jì)算設(shè)備分布來看智算中心是對(duì)原有數(shù)據(jù)中心的升級(jí)，其提供的首要是AI算力。具體來講，智算中心提供包括算力、框架、模型，以及支持應(yīng)用場(chǎng)景具體的基礎(chǔ)設(shè)施，將不同層級(jí)進(jìn)行打包，通過本地化部署完成智算中心建設(shè)。相比于數(shù)據(jù)中心，智算中心更貼近應(yīng)用和產(chǎn)業(yè)方。智算中心現(xiàn)狀：地域發(fā)展差異明顯，「東數(shù)西算」成算力調(diào)度關(guān)鍵北京、廣東、浙江、上海、江蘇在服務(wù)器和AI服務(wù)器市場(chǎng)中居前五，市場(chǎng)份額總計(jì)分別達(dá)到75%和90%（2021年數(shù)據(jù)）。從供給角度來看AIGC算力需求主要來源為京津冀地區(qū)、長(zhǎng)三角及大灣區(qū)。目前智算中心多分布在東部和中部省份，而AIGC業(yè)務(wù)需要處理海量數(shù)據(jù)導(dǎo)致東部算力資源成本過高。將大模型訓(xùn)練等對(duì)計(jì)算要求高的任務(wù)移至西部地區(qū)，形成“東數(shù)西訓(xùn)”，能夠有效降低成本，實(shí)現(xiàn)算網(wǎng)資源具體來講，針對(duì)算力需求供需不平衡等問題，需要通過算力調(diào)度將東部的算力和數(shù)據(jù)處理需求轉(zhuǎn)移至成本較低的西部地區(qū)。其中，優(yōu)化東西部之間互聯(lián)網(wǎng)絡(luò)和樞紐節(jié)點(diǎn)間直連網(wǎng)絡(luò)是提升算力調(diào)度水平的關(guān)鍵。從需求角度看內(nèi)蒙古樞紐寧夏樞紐甘肅樞紐成渝樞紐貴州樞紐粵港澳樞紐慶陽集群天府集群重慶集群和林格爾集群蕪湖集群韶關(guān)集群貴安集群中衛(wèi)集群京津冀樞紐張家口集群長(zhǎng)三角樞紐

長(zhǎng)三角綠 綜合成本最優(yōu)。生態(tài)色一體化發(fā)展示范區(qū)集群東數(shù)西算整體規(guī)劃AIGC算力產(chǎn)業(yè)全景圖MaaS層云計(jì)算平臺(tái)服務(wù)器廠商計(jì)算類芯片通用芯片 專用芯片GPUCPUASICFPGA存儲(chǔ)類芯片DRAMNANDNor

FlashEEPROM3D

NAND通義千問文心盤古日日新從容火山方舟言犀混元DSAAIGC算力產(chǎn)業(yè)「五新」趨勢(shì)03機(jī)遇挑戰(zhàn)芯片在AIGC算力產(chǎn)業(yè)中是最底層也是最關(guān)鍵的硬件產(chǎn)品。AIGC爆發(fā)，既是芯片廠商的一個(gè)重要分水嶺，也將芯片廠商的目標(biāo)重新聚焦于大算力方向。芯片作為算力直接來源，其發(fā)展邏輯是從應(yīng)用端的需求出發(fā)，根據(jù)應(yīng)用端所需要的算力特點(diǎn)提供相應(yīng)的算力服務(wù)。在ChatGPT相關(guān)大模型爆發(fā)之前，國(guó)內(nèi)芯片廠商一方面在做GPU布局，另一方面更多在滿足垂直行業(yè)中的特定需求，且后者在國(guó)內(nèi)市場(chǎng)更常見。此外，國(guó)產(chǎn)GPU廠商的設(shè)計(jì)初衷也多是按照推理芯片設(shè)計(jì)。在AIGC爆發(fā)后，對(duì)芯片的需求集中在訓(xùn)練側(cè)，并且對(duì)于訓(xùn)練芯片的算力要求極高，目前只有英偉達(dá)能夠滿足。然而，OpenAI

表示目前英偉達(dá)的產(chǎn)能已無法滿足其更高的算力需求。未來，隨著大模型參數(shù)量不斷攀升，以及芯片制程走到盡頭等問題，對(duì)于算力的定義將從單芯片性能逐漸轉(zhuǎn)向超算/智算集群的計(jì)算能力。背景：算力供給趨于復(fù)雜，大規(guī)模運(yùn)算需要系統(tǒng)級(jí)工程支撐國(guó)產(chǎn)處理器廠商的挑戰(zhàn)與機(jī)遇目前在高端AI芯片中，英偉達(dá)占據(jù)絕對(duì)優(yōu)勢(shì)，而英偉達(dá)的高端系列在中國(guó)只有存量沒有增量。在芯片代工層面，目前優(yōu)于7nm制程工藝沒有對(duì)應(yīng)的國(guó)產(chǎn)代工廠可以承接。硬件軟件市場(chǎng)將給予國(guó)產(chǎn)GPU廠商更多機(jī)會(huì)。國(guó)產(chǎn)GPU廠商可選擇成熟制程+先進(jìn)封裝的方案來達(dá)到與英偉達(dá)近似的性能指標(biāo)。在服務(wù)器集群層面，通過高速互聯(lián)技術(shù)實(shí)現(xiàn)高性能計(jì)算。目前國(guó)產(chǎn)芯片廠商采用兩種路徑：1）兼容CUDA生態(tài)；2）構(gòu)建自身生態(tài)業(yè)內(nèi)普遍認(rèn)為國(guó)產(chǎn)芯片在10年內(nèi)很難突破英偉達(dá)的CUDA生態(tài)。

短期來看，兼容CUDA生態(tài)的廠商更適合為通用大模型提供算力。對(duì)于構(gòu)建自身生態(tài)的廠商來說，其產(chǎn)品更適用于垂類小模型。趨勢(shì)01——新機(jī)遇：芯片競(jìng)逐高性能大算力，引入新計(jì)算架構(gòu)大模型不同階段對(duì)應(yīng)不同的芯片需求需求方變化對(duì)回芯歸片到最原始的需求模型需要大算力支持突破芯片算力性能硬件層面

億鑄科技、后摩智能、知存科技等海光信息、燧原科技軟件/算法層面AI芯片廠商GPU廠商AI芯片廠商高性能網(wǎng)絡(luò)通過減少/消除數(shù)據(jù)搬運(yùn)，降低功耗實(shí)現(xiàn)大規(guī)模并行計(jì)算通過減少計(jì)算量，降低成本高帶寬接入，提升通信性能，縮短訓(xùn)練時(shí)長(zhǎng)等墨芯人工智能騰訊云星脈網(wǎng)絡(luò)大模型訓(xùn)練階段芯片類型：GPU為主芯片需求：執(zhí)行大量矩陣運(yùn)算和計(jì)算密集任務(wù)GPU優(yōu)勢(shì)：高并發(fā)和浮點(diǎn)計(jì)算能力，可大幅提升訓(xùn)練速度GPU劣勢(shì)：功耗高、成本高大模型推理階段芯片類型：ASIC/FPGA/NPU與GPU均可芯片需求：低延遲、低功耗（專用芯片更符合）專用芯片優(yōu)勢(shì)：更高的能源效率和計(jì)算密度專用芯片劣勢(shì)：缺乏通用性供給方變化技術(shù)趨勢(shì)存算一體架構(gòu)GPU+片間互聯(lián)稀疏計(jì)算RDMA互聯(lián)AI大模型對(duì)算力需求呈指數(shù)級(jí)增長(zhǎng)，使得具有更高配置的AI服務(wù)器成為AIGC算力的主要載體。相比于傳統(tǒng)服務(wù)器，AI服務(wù)器的計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)傳輸能力能達(dá)到更高的水平。例如，NVIDIA

DGX

A100服務(wù)器

8

個(gè)

GPU+2

個(gè)

CPU

的配置遠(yuǎn)高于傳統(tǒng)服務(wù)器

1~2

個(gè)

CPU

的配置。智算中心作為提供算力資源的公共基礎(chǔ)設(shè)施平臺(tái)，其算力機(jī)組以AI訓(xùn)練服務(wù)器和AI推理服務(wù)器為主。隨著大模型訓(xùn)練階段完成，未來AI服務(wù)器的主要需求將向推理側(cè)轉(zhuǎn)移。根據(jù)IDC的預(yù)測(cè)，到2026年，AIGC的算力62.2%將作用于模型推理。趨勢(shì)02——新增長(zhǎng)曲線：AI服務(wù)器異軍突起，紅利曲線先訓(xùn)練后推理51.5%57.6%58.5%59.5%60.7%61.8%62.2%100%80%60%40%20%0%20202021202420252026中國(guó)AI服務(wù)器工作負(fù)載預(yù)測(cè)2022 2023訓(xùn)練 推理數(shù)據(jù)來源：IDC，量子位智庫整理268427640.7922.81271.4140012001000800600400200031.72019752020155.2202120222023202420252026中國(guó)智能算力規(guī)模及預(yù)測(cè)單位：百億億次浮點(diǎn)運(yùn)算/秒(EFLOPS)MaaS（模型即服務(wù)）：在算力、算法和應(yīng)用層中嵌入大模型，以智能底座集成應(yīng)用并統(tǒng)一對(duì)外輸出。MaaS的本質(zhì)是將行業(yè)內(nèi)通用的基礎(chǔ)技術(shù)提煉整合成服務(wù)，滿足各類應(yīng)用場(chǎng)景需求；云計(jì)算服務(wù)能力的判別式從算力水平轉(zhuǎn)向「云智一體」能力，在算力基礎(chǔ)設(shè)施之外，核心競(jìng)爭(zhēng)力變?yōu)榘阉懔?、模型和?chǎng)景應(yīng)用打造成標(biāo)準(zhǔn)化產(chǎn)品的能力。趨勢(shì)03——新游戲規(guī)則：MaaS重塑云服務(wù)范式，AIGC商業(yè)模式閉環(huán)付費(fèi)使用接口，直接調(diào)用基礎(chǔ)模型，基于不通過行業(yè)的數(shù)據(jù)進(jìn)行fine-tune，形成垂直大模型，更多面向B端市場(chǎng)多樣化應(yīng)用開發(fā)，更多面向C端市場(chǎng)C端市場(chǎng)商業(yè)模式：軟件訂閱B端市場(chǎng)盈利模式：按需計(jì)費(fèi)，根據(jù)實(shí)際計(jì)算量收費(fèi)商業(yè)化路徑

數(shù)據(jù)倉庫 模型倉庫 算力平臺(tái)

模型使用模型體驗(yàn)?zāi)Ｐ投ㄖ圃贫四Ｐ筒渴?/p>

AI

開發(fā)者AI

研究者AI

使用者AI

愛好者

……

大模型基礎(chǔ)能力趨勢(shì)04——新物種：AI模型一體機(jī)呼之欲出，傳統(tǒng)產(chǎn)業(yè)「開箱即用」傳統(tǒng)行業(yè)構(gòu)建AIGC產(chǎn)品的痛點(diǎn)數(shù)據(jù)模型算力內(nèi)外部數(shù)據(jù)流通中難以確權(quán)構(gòu)建自身模型難度大算力資源緊缺

AI模型一體機(jī)云服務(wù)廠商在硬件和軟件層面完成系統(tǒng)級(jí)工程、調(diào)試測(cè)試環(huán)節(jié)，最后在用戶側(cè)可以直接使用的AI模型一體機(jī)。模型一體機(jī)，完成模型+服務(wù)器的一體確保算法模型部署到服務(wù)器上并能高效運(yùn)行 對(duì)于數(shù)據(jù)安全性敏感的行業(yè)，通過AI

用戶開箱即用硬件類（服務(wù)器）云廠商互聯(lián)網(wǎng)云廠商主要參與方優(yōu)勢(shì)具備通用大模型能力劣勢(shì)硬件能力優(yōu)勢(shì)硬件部署能力，如何讓模型在服務(wù)器上運(yùn)行效率達(dá)到最高劣勢(shì)軟件算法能力以及大模型研發(fā)能力框架與平臺(tái)基礎(chǔ)系統(tǒng)服務(wù)器算力支撐CentOs麒麟Loongnix中科方德統(tǒng)信 普華國(guó)內(nèi)外主流操作系統(tǒng)飛騰鯤鵬兆芯海光龍芯申威國(guó)內(nèi)外主流 英特爾CPU芯片英偉達(dá)昆侖寒武紀(jì)比特大陸昇騰國(guó)內(nèi)外主流AI加速芯片海光飛騰版通用版2U機(jī)型飛騰版通用版4U機(jī)型模型加密代碼加固可信授權(quán)主機(jī)防護(hù)安全能力化部署，能夠保證數(shù)據(jù)的安全。百度智能云

飛槳一體機(jī)-產(chǎn)品架構(gòu)飛槳深度學(xué)習(xí)平臺(tái)生產(chǎn)算力聚合算力調(diào)度算力釋放算力趨勢(shì)05——新基建：智算中心護(hù)航AIGC運(yùn)營(yíng)，算力租賃模式成新解大模型訓(xùn)練推理過程消耗大量算力資源，成本高昂中小企業(yè)有模型研發(fā)需求，但無法承擔(dān)高昂的算力成本算力平臺(tái)向B端用戶直接銷售算力國(guó)內(nèi)：在建及投入使用的智算中心云廠商單獨(dú)租賃算力租賃模式可以有效降低大模型研發(fā)門檻，對(duì)于研發(fā)垂類行業(yè)的小模型企業(yè)來說，沒有購(gòu)買足夠AI服務(wù)器的實(shí)力，公共算力基礎(chǔ)平臺(tái)將幫助中小型企業(yè)搭建其自身所需模型。企業(yè)無需購(gòu)買服務(wù)器，通過瀏覽器便可訪問算力中心，并使用算力服務(wù)。對(duì)于中小企業(yè)來講，無需依賴云廠商所構(gòu)建的大模型底座進(jìn)行二次開發(fā)，而是通過租用公有算力平臺(tái)的算力資源，研發(fā)垂類行業(yè)小模型。國(guó)外：以英偉達(dá)為代表的超級(jí)計(jì)算機(jī)，目前已建成5座AI工廠GraceCPUHopperGPUsuperchip國(guó)內(nèi)：智算中心完成系統(tǒng)級(jí)工程AI算力一體化交付流程算力供需失衡的前提下，算力租賃有望成為行業(yè)內(nèi)供給側(cè)的最優(yōu)解國(guó)外：英偉達(dá)DGX

Cloud模式NV9L0i0nGkB-C/s2CDGXCloud8個(gè)Ampere

A100或Hopper

H100旗艦

算力租賃平臺(tái)H點(diǎn)P共C加有速64器0G，B顯每存?zhèn)€節(jié)每月3.7萬美元AIGC算力產(chǎn)業(yè)周期預(yù)測(cè)04一個(gè)周期三個(gè)階段：基建期、開發(fā)期，商業(yè)期AIGC基建期0-2年AIGC開發(fā)期3-5年AIGC商業(yè)期5年以上自研芯片能力集成創(chuàng)新能力率先受益方：算力基礎(chǔ)服務(wù)提供方大模型持續(xù)迭代的能力算法、算力、數(shù)據(jù)、知識(shí)更具競(jìng)爭(zhēng)力的企業(yè)具備兩項(xiàng)能力服務(wù)器廠商大模型廠商「制勝點(diǎn)」技術(shù)創(chuàng)新型公司迎來紅利存算一體光子芯片類腦芯片功耗計(jì)算效率優(yōu)勢(shì)成本國(guó)內(nèi)國(guó)外GPU廠商競(jìng)爭(zhēng)素高性能芯片數(shù)量要 ?

計(jì)算集群建設(shè)能力算力大小帶寬大小AIGC基建期：2023年~2025年在初期階段，高性能GPU廠商將成為最大收益方；同時(shí)，AI服務(wù)器廠商是此階段的強(qiáng)勢(shì)供給方。目前，AI服務(wù)器領(lǐng)域已經(jīng)出現(xiàn)供不應(yīng)求的局面全球范圍內(nèi)，OpenAI的GPT初步實(shí)現(xiàn)智能涌現(xiàn)，其背后的算力支撐是英偉達(dá)高性能GPU。在追趕GPT的過程中，需要大模型企業(yè)在短時(shí)間內(nèi)完成模型的訓(xùn)練過程。因此，在AIGC初期階段，大模型研發(fā)企業(yè)不會(huì)考慮除英偉達(dá)之外的芯片作為訓(xùn)練階段的芯片。核心點(diǎn)英偉達(dá)掌握行業(yè)絕對(duì)話語權(quán)英偉達(dá)拉動(dòng)下游代工廠業(yè)務(wù)，二者成為AIGC基建期的關(guān)鍵奠基者AI服務(wù)器需求保持持續(xù)、穩(wěn)定增長(zhǎng)，國(guó)內(nèi)服務(wù)器廠商率先受益算力網(wǎng)絡(luò)建設(shè)是智算中心運(yùn)營(yíng)的關(guān)鍵，算網(wǎng)運(yùn)營(yíng)商在算力網(wǎng)絡(luò)建設(shè)中為主導(dǎo)方需求端供給端訓(xùn)練速度

為王智算中心

加快建設(shè)英偉達(dá)芯片高性能計(jì)算集群充足短缺算力網(wǎng)絡(luò)氣泡大小代表規(guī)模AIGC開發(fā)期：2026年~2028年在中期階段（5年內(nèi)），推理芯片將成為主要需求方。相比于GPU的高算力高功耗以及對(duì)應(yīng)的算力浪費(fèi)，推理芯片更注重芯片的算效比，對(duì)于功耗和成本有更優(yōu)的把控。此外，這個(gè)階段也會(huì)是創(chuàng)新型芯片的機(jī)會(huì)。分析師預(yù)計(jì)存算一體芯片、類腦芯片、硅光芯片將有更多市場(chǎng)機(jī)會(huì)。中期階段AIGC市場(chǎng)將呈現(xiàn)收斂趨勢(shì)，從百花齊放到逐步淘汰，此階段主要是模型層公司之間的淘汰戰(zhàn)。在此階段，AI服務(wù)器廠商的紅利期逐漸見頂，智算中心與超算中心走向融合；芯片也從GPU轉(zhuǎn)向NPU/ASIC/FPGA/CPU等多種形式并存。創(chuàng)新型芯片路線中，看好存算一體架構(gòu)的發(fā)展。核心點(diǎn)推理類芯片占比上升，

芯片需求趨于多元化智算超算中心融合，

滿足多樣需求大模型由訓(xùn)練階段過渡到推理階段，企業(yè)更加注重降低算力成本，對(duì)于功耗高的GPU集群，企業(yè)趨向?qū)で筇娲桨改苄П雀叩男酒瑢⒂瓉頇C(jī)會(huì)點(diǎn)智算中心在滿足人工智能業(yè)務(wù)的基礎(chǔ)上，為了覆蓋更多業(yè)務(wù)需求，將逐步與超算中心走向融合需求成熟度技術(shù)成熟度存算一體芯片類腦芯片硅光芯片稀疏計(jì)算氣泡大小代表規(guī)模中期階段，具備底層創(chuàng)新能力的芯片廠商有望成為最大獲益方AIGC商業(yè)期：2028年后后期階段（10年內(nèi)）將在應(yīng)用端呈現(xiàn)出百花齊放的趨勢(shì)；屆時(shí)，AIGC應(yīng)用將呈現(xiàn)出類app模式，出現(xiàn)各類細(xì)分領(lǐng)域的應(yīng)用程序，通過模型層提供的API接口來發(fā)展各自的應(yīng)用程序。此階段，大眾層面幾乎不會(huì)感知到算力問題。核心點(diǎn)AIGC應(yīng)用爆發(fā)，算力感知弱化，

AIGC算力成為公共資源需求成熟度商業(yè)模式成熟度算力租賃模型一體機(jī)MaaS氣泡大小代表規(guī)模AIGC算力層的新商業(yè)模式趨于成熟，業(yè)務(wù)量與下游應(yīng)用需求成正比垂類模型使得算力租賃和MaaS具備更優(yōu)的商業(yè)前景后期階段，算力租賃有望成為算力平臺(tái)最具規(guī)模的盈利模式AIGC算力行業(yè)案例集05阿里巴巴模型社區(qū)模型開發(fā)平臺(tái)模型服務(wù)國(guó)內(nèi)最活躍的模型社區(qū)，提供豐富的預(yù)訓(xùn)練SOTA模型、多元數(shù)據(jù)集和模型知識(shí)庫開源Python

package，統(tǒng)一模型接入接口交互式建模與可視化建模支持萬億參數(shù)級(jí)模型訓(xùn)練單任務(wù)集群規(guī)?？蛇_(dá)萬卡GPUPAI

機(jī)器學(xué)習(xí)平臺(tái)提供靈活、易用的模型API接口與SDK自適應(yīng)推理優(yōu)化與高效微調(diào)訓(xùn)練基于云底座的多區(qū)域彈性伸縮能力依托于云，提供高效可靠的服務(wù)提供模型不同階段需要的平臺(tái)服務(wù)阿里云底座以模型為中心，打造MaaS平臺(tái)服務(wù)2022年，阿里云在國(guó)內(nèi)首倡MaaS（Model

as

a

Service，模型即服務(wù)）理念，提出以AI模型為核心的開發(fā)范式，并搭建了一套以AI模型為核心的云計(jì)算技術(shù)和服務(wù)架構(gòu)，積累了豐富的大模型研發(fā)經(jīng)驗(yàn)、工具和平臺(tái)，這套能力將全部向大模型初創(chuàng)企業(yè)和開發(fā)者開放，提供包括模型訓(xùn)練、推理、部署、精調(diào)、測(cè)評(píng)、產(chǎn)品化落地等的全方位服務(wù)。百度飛槳昆侖芯GPU虛擬化 AI作業(yè)調(diào)度 彈性訓(xùn)練 加速套件 ……基礎(chǔ)云高速互聯(lián)

AI服務(wù)器……能源 金融文心大航模天

型媒體 ……數(shù)據(jù)標(biāo)注 部署運(yùn)行 模型開發(fā)

模型管理

知識(shí)生產(chǎn) 知識(shí)管理國(guó)內(nèi)首個(gè)全棧自研的AI基礎(chǔ)設(shè)施：百度智能云跨越芯片層、框架層、模型層、應(yīng)用層四層，實(shí)現(xiàn)端到端的「云智一體」全棧AI設(shè)施，其中包含自研AI芯片昆侖，自研的深度學(xué)習(xí)框架和平臺(tái)，自研的AI大底座，自研的大模型和深入千行百業(yè)的垂直行業(yè)應(yīng)用。端到端優(yōu)化帶來實(shí)際效果的顯著提升：「云智一體」四層結(jié)構(gòu)互相反饋和相互適配，全棧且深度融合帶來的端到端優(yōu)化，在大模型的訓(xùn)練和推理上均帶來了更多的效果提升，具有顯著優(yōu)勢(shì)。行業(yè)與應(yīng)用AI大底座沉淀增強(qiáng)支撐提效90%+100%+70%+千卡加速比資源利用率開發(fā)效率提升智慧能源 智能制造

智慧金融 智慧城市 智慧交通AI數(shù)字人 AI質(zhì)檢智能客服 網(wǎng)盤騰訊客戶專屬大模型行業(yè)大模型精調(diào)解決方案智能應(yīng)用數(shù)智人細(xì)分領(lǐng)域模型訓(xùn)練平臺(tái)TI-OCR訓(xùn)練平臺(tái)TI-AOI訓(xùn)練平臺(tái)應(yīng)用平臺(tái)媒體AI中臺(tái)智能視頻分析平臺(tái)AI語音助手（車載/家居）TI平臺(tái)TI-DataTruth

數(shù)據(jù)標(biāo)平臺(tái)平臺(tái)&工具TI-ONE

訓(xùn)練平臺(tái)TI-Matrix

應(yīng)用平臺(tái)太極Angel加速組件技術(shù)底座金融大模型政務(wù)大模型文旅大模型行業(yè)大模型傳媒大模型教育大模型基礎(chǔ)設(shè)施高性能計(jì)算集群HCC高性能網(wǎng)絡(luò)：自研星脈計(jì)算網(wǎng)絡(luò)架構(gòu)……向量數(shù)據(jù)庫騰訊云MaaS全景圖高性能計(jì)算集群（Tencent

High-PerformanceComputing

Cluster，THCC）以高性能云服務(wù)器為節(jié)點(diǎn)，通過RDMA（RemoteDirectMemoryAccess）互聯(lián)，提供了高帶寬和極低延遲的網(wǎng)絡(luò)服務(wù)，大幅提升網(wǎng)絡(luò)性能，能滿足大規(guī)模高性能計(jì)算、人工智能、大數(shù)據(jù)推薦騰訊云新一代HCC（High-PerformanceComputingCluster）高性能計(jì)算集群，采用騰訊云星海自研服務(wù)器，搭載英偉達(dá)最新代次H800

GPU，服務(wù)器之間采用業(yè)界最高的3.2T超高互聯(lián)帶寬，為大模型訓(xùn)練、自動(dòng)駕駛、科學(xué)計(jì)算等提供高性能、高帶寬和低延遲的集群算力。騰訊高性能計(jì)算集群為MaaS提供充沛算力。高性能計(jì)算集群等應(yīng)用的并行計(jì)算需求。應(yīng)用場(chǎng)景大規(guī)模AI訓(xùn)練工業(yè)仿真生命科學(xué)科研教育華為CANN異構(gòu)計(jì)算架構(gòu)Ascend

C

編程語言

|

1400+高性能算子

|

6大算子庫

|

基礎(chǔ)加速庫

|

…MindX

昇騰應(yīng)用使能深度學(xué)習(xí)使能

|

智能邊緣使能

|

優(yōu)選模型庫

|

行業(yè)SDKAI框架深度學(xué)習(xí)平臺(tái)訊飛火石平臺(tái)招行AI平臺(tái)星河AI平臺(tái) 聯(lián)通AI平臺(tái) ……昇騰訓(xùn)練解決方案 昇騰推理解決方案框架適配能力支持PyTorch、TensorFlow、飛槳等業(yè)界框架插件化Adapter動(dòng)態(tài)Shape能力消除算子編譯時(shí)間性能滿足場(chǎng)景需求二進(jìn)制算子庫算子開發(fā)能力C/C++編程規(guī)范結(jié)構(gòu)化核函數(shù)編程方式Ascend

C編程語言AI基礎(chǔ)硬件昇騰AI系列硬件演進(jìn)版本快速適配3個(gè)月 1個(gè)月動(dòng)態(tài)Shape算子滿足度70% 95%提升整網(wǎng)性能，并在CV、NLP等典型場(chǎng)景性能領(lǐng)先2人月算子開發(fā)周期2人周已支持運(yùn)營(yíng)商、互聯(lián)網(wǎng)等客戶多個(gè)自定義大Kernel開發(fā)昇騰聚焦AI基礎(chǔ)軟硬件，分層開放，促進(jìn)行業(yè)智能升級(jí)算力是訓(xùn)練大模型的基礎(chǔ)。華為在最底層構(gòu)建了以鯤鵬和昇騰為基礎(chǔ)的AI算力云平臺(tái)，以及異構(gòu)計(jì)算架構(gòu)CANN、全場(chǎng)景AI框架昇思MindSpore，AI開發(fā)生產(chǎn)線ModelArts等，為大模型開發(fā)和運(yùn)行提供分布式并行加速、算子和編譯優(yōu)化、集群級(jí)通信優(yōu)化等關(guān)鍵能力?；谌A為的AI根技術(shù)，大模型訓(xùn)練效能可以調(diào)優(yōu)到業(yè)界主流GPU的1.1倍。昇騰AI云服務(wù)除了支持華為全場(chǎng)景AI框架昇思MindSpore外，還支持Pytorch、TensorFlow等主流AI框架。行業(yè)解決方案中科曙光……人工智能算力基礎(chǔ)設(shè)施互聯(lián)網(wǎng)交通媒體能源通信醫(yī)療行業(yè)大模型多模態(tài)大模型金融…計(jì)算機(jī)視覺圖文搜索多任務(wù)視覺表征學(xué)習(xí)自監(jiān)督視覺表征學(xué)習(xí)……AIfor

Science化合物表征學(xué)習(xí)

蛋白質(zhì)結(jié)構(gòu)分析……自然語言處理對(duì)話

搜索

信息抽取跨語言

圖網(wǎng)絡(luò)……跨模態(tài)圖文生成文檔分析……通用CPU + 通用GPU +AI算力集群算力服務(wù)平臺(tái)NPU5A級(jí)智算中心目前已完成 包含 GPT系列LLaMA系列GLM系列ERNIE系列……同等條件下大模型訓(xùn)練效率及訓(xùn)練穩(wěn)定性顯著提升國(guó)內(nèi)3外主0流+大模型適配及孵化深度優(yōu)化服務(wù)硬件級(jí)優(yōu)化運(yùn)行級(jí)優(yōu)化編譯級(jí)優(yōu)化代碼級(jí)優(yōu)化算法級(jí)優(yōu)化全精度算力供給數(shù)值模擬AI訓(xùn)練

AI推理生態(tài)開放包容兼容主流軟件生態(tài)兼容國(guó)內(nèi)外各類芯片全國(guó)算力服務(wù)跨區(qū)域調(diào)度多任務(wù)調(diào)度計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源 軟件資源應(yīng)用資源……

產(chǎn)業(yè)資源中科曙光基于在智能計(jì)算領(lǐng)域的深耕，構(gòu)建了完備的異構(gòu)智能算力技術(shù)體系，實(shí)現(xiàn)了包含核心部件、整機(jī)、計(jì)算系統(tǒng)在內(nèi)的諸多突破，打造了開放通用的算力底座。此外，還積極協(xié)同產(chǎn)學(xué)研用，孵化場(chǎng)景化解決方案，推動(dòng)AI技術(shù)的實(shí)際應(yīng)用和落地。Network

SparseSparse

OPTSOLA

RuntimeContakinterSparseRTVirTtuoaollibzaotxionCodecSOLATool

iSEAL(KMD&UMD）OptimizationSDKDriverAntoum?芯片AI計(jì)算卡系列S4S10S30主流框架操作系統(tǒng)服務(wù)器平臺(tái)……支持Ubuntu

CentOS等主流版本;歐拉、龍蜥、麒麟等國(guó)產(chǎn)操作系統(tǒng)適配浪湖、新華三等主流服務(wù)器廠商X86

服務(wù)器平臺(tái)，飛騰為代表的Arm服務(wù)器平臺(tái)支持模型200+ 視覺多模態(tài)ResNet-50,YOLOv3,

YOLOv5...FastS語pe音ech,

Conformer...

自然語言處理BLOOM,BERT,T5,

GPT....CLIP...支持算子100+

算子涵蓋大部分常見模型，并支持客戶定制算子互聯(lián)網(wǎng)運(yùn)營(yíng)商 生命科學(xué) 自動(dòng)駕駛 金融制造物聯(lián)網(wǎng) 智慧城市文本生成音頻生成圖像生成視頻生成跨模態(tài)生成加速AIGC應(yīng)用支撐大模型行業(yè)落地適用于各類型AI任務(wù)與模型全方位生態(tài)兼容軟硬協(xié)同AI計(jì)算平臺(tái)墨芯人工智能隨著AI大模型參數(shù)的日益攀升，稀疏計(jì)算已成為公認(rèn)的AI發(fā)展必然趨勢(shì)，從根本上解決大模型發(fā)展與算力的矛盾。墨芯人工智能通過核心的稀疏計(jì)算技術(shù)建立起深厚優(yōu)勢(shì)，成為AIGC時(shí)代具有代表性的算力企業(yè)：率先基于原創(chuàng)的雙稀疏算法，推出新一代AI計(jì)算平臺(tái)，在算力、功耗、能效比等方面實(shí)現(xiàn)大幅優(yōu)化，緩解大模型的高算力需求、高功耗、高費(fèi)用等痛點(diǎn)，帶來“多贏”的效果；并且在大模型算力的相關(guān)技術(shù)、產(chǎn)品、商業(yè)落地等方面，均已取得積極進(jìn)展。技術(shù)：獨(dú)創(chuàng)雙稀疏算法，并率先將稀疏化算法與硬件結(jié)合落地推出全球首顆高倍率稀疏芯片Antoum?，支持高達(dá)32倍稀疏:將此前的業(yè)界紀(jì)錄提升16倍。產(chǎn)品：屢獲MLPerf冠軍，性能位居行業(yè)領(lǐng)先基于Antoum?芯片的墨芯AI計(jì)算卡產(chǎn)品，在國(guó)際權(quán)威基準(zhǔn)測(cè)評(píng)MLPerf中連續(xù)兩屆獲得冠軍，并在MLPerf

3.0中獲得雙料冠軍。應(yīng)用：支持千億參數(shù)大模型，實(shí)現(xiàn)高吞吐、低延時(shí)，表現(xiàn)優(yōu)異在1300億參數(shù)的GLM-130B大模型上，僅用8張墨芯S30計(jì)算卡，吞吐達(dá)432token/s，為AIGC大幅加速。應(yīng)用范圍廣：支持

BLOOM、OPT、GPT-X、LLaMA、StableDiffusion等主流大模型。高算力，低功耗，助力降本增效：有效緩解AI企業(yè)的算力基礎(chǔ)設(shè)施與運(yùn)營(yíng)成本高昂等難題，為企業(yè)拓展AIGC應(yīng)用和業(yè)務(wù)提供強(qiáng)大算力支持。商業(yè)落地：實(shí)現(xiàn)量產(chǎn)，多領(lǐng)域落地產(chǎn)品已在互聯(lián)網(wǎng)、交通、生命科學(xué)領(lǐng)域成單落地：同時(shí)適用于運(yùn)營(yíng)商、金融、制造、醫(yī)療、能源、自動(dòng)駕駛等眾多行業(yè)與場(chǎng)景，獲得市場(chǎng)認(rèn)可。全面賦能大模型行業(yè)落地與AIGC等應(yīng)用……代碼生成……墨芯人工智能——稀疏計(jì)算引領(lǐng)者天數(shù)智芯AI|深度學(xué)習(xí) FFT|高性能 數(shù)字孿生IGIE推理性能分析設(shè)備管理DNN

FFTK8S

OpenStackiXStream國(guó)產(chǎn)架構(gòu)BLAS指令集優(yōu)化加速 支持多種開發(fā)語言UserMode

DriverX86KernelMode

DriverARM應(yīng)用層池化層流融合框架層加速庫編譯器驅(qū)動(dòng)層處理器生態(tài)兼容云平臺(tái)算法框架OS服務(wù)器CPU芯片靈雀云、DAOClooud、聯(lián)想云計(jì)算、iStation、天翼云、時(shí)速云、觀測(cè)云PyTorch、TensorFlow、飛槳、計(jì)圖、ONNXCentOS、ubuntu、銀河麒麟、統(tǒng)信、OpenEuler、OpenAnolis市場(chǎng)主流服務(wù)器市場(chǎng)主流CPU天數(shù)智芯是中國(guó)領(lǐng)先的通用GPU高端芯片及超級(jí)算力系統(tǒng)提供商。作為國(guó)內(nèi)擁有云邊協(xié)同、訓(xùn)推組合的完整通用算力系統(tǒng)全方案提供商，其系統(tǒng)架構(gòu)、指令集、核心算子、軟件棧均為自主研發(fā)，可獨(dú)立發(fā)展演進(jìn)。天數(shù)智芯已與國(guó)內(nèi)重要行業(yè)合作伙伴攜手，從源頭對(duì)設(shè)計(jì)進(jìn)行定義，率先實(shí)現(xiàn)大規(guī)模商業(yè)化量產(chǎn)，產(chǎn)品開發(fā)和商業(yè)應(yīng)用進(jìn)度領(lǐng)先國(guó)內(nèi)同行。天數(shù)智芯軟件棧通用GPU訓(xùn)練產(chǎn)品——天垓泛性能可預(yù)期遷移通用GPU推理產(chǎn)品——智鎧計(jì)算性能高應(yīng)用覆蓋廣使用成本低與市場(chǎng)主流產(chǎn)品相比，實(shí)現(xiàn)2-3倍實(shí)際使用性能提升支持200余種

應(yīng)用廣人工智能模型基于通用

GPU架構(gòu)開發(fā)易

適配主流CPU/服務(wù)器廠商全定棧制可

本地團(tuán)隊(duì)根據(jù)客戶需求提供定制化服務(wù)摩爾線程摩爾線程是一家以全功能GPU芯片設(shè)計(jì)為主的國(guó)家高新技術(shù)企業(yè)，能夠?yàn)榭萍忌鷳B(tài)合作伙伴提供強(qiáng)大的計(jì)算加速能力，致力于打造為下一代互聯(lián)網(wǎng)提供多元算力的元計(jì)算平臺(tái)。摩爾線程基于圖形計(jì)算、人工智能計(jì)算，打造了第一款A(yù)IGC內(nèi)容生成平臺(tái)摩筆馬良——支持中英雙語，以及支持在簡(jiǎn)筆畫、照片、真實(shí)畫作、AI畫作等多種模式輸入下的圖文生成、圖文編輯，為用戶提供零門檻的創(chuàng)作平臺(tái)，促進(jìn)用戶自由創(chuàng)新表達(dá)。豐富功能基于AI+Graphics的智能內(nèi)容創(chuàng)作（AIGC）平臺(tái)簡(jiǎn)單易用軟硬一體中英文圖文生成、圖文編輯、圖像超分、簡(jiǎn)筆畫創(chuàng)作、視頻生成等零創(chuàng)作門檻和MUSA架構(gòu)深度集成優(yōu)化畫作賞析視拓云視拓云團(tuán)隊(duì)的前身是中科院計(jì)算所山世光老師創(chuàng)建的中科視拓

SeeTaaS

部門，從2017年開始專注

C

端云計(jì)算市場(chǎng)和算法社區(qū)的研發(fā)和運(yùn)營(yíng)，面向“大

AI

圈”內(nèi)的科研工作者和科技企業(yè)，運(yùn)營(yíng)

AI

算力服務(wù)平臺(tái)

AutoDL.com

和算法社區(qū)

CodeW