2024年AI大算力芯片技術(shù)發(fā)展與產(chǎn)業(yè)趨勢-亞太芯谷科技研究院

AI大算力芯片技術(shù)發(fā)展與產(chǎn)業(yè)趨勢2024.07.12.AAI時代財富密碼2024全球半導(dǎo)體與數(shù)字經(jīng)濟總量（預(yù)估）資料來源：亞太芯谷科技研究院u1、2024年全球半導(dǎo)體產(chǎn)業(yè)鏈產(chǎn)值占全球經(jīng)濟總量約1%，但其資本市場市值占全球比近10%。u2024年AI芯片（GPU）產(chǎn)業(yè)營收占全球半導(dǎo)體市場20%。u2024年AI芯片產(chǎn)業(yè)兩大核心企業(yè)NT聯(lián)盟（英偉達與臺積電）營收合計占半導(dǎo)體全產(chǎn)業(yè)鏈營收約21%，凈利潤約占50%，市值約占半導(dǎo)體總市值50%，占全球資本市場約5%。2臺積電技術(shù)路線規(guī)劃20303資料來源：TSMC英偉達英偉達GPU產(chǎn)品規(guī)劃2027資料來源：英偉達2024年6月2日，英偉達CEO黃仁勛在臺灣大學(xué)發(fā)表主題為“開啟產(chǎn)業(yè)革命的全新時代”的現(xiàn)場演講，演講中梳理并介紹了英偉達的最新產(chǎn)品和成果，以及對未來產(chǎn)品的規(guī)劃。黃仁勛宣布Blackwell芯片已經(jīng)BlackwellUltraAI芯片，2026年推出下一代AI平臺“Rubin”，2027年推出ubinUltra，更新節(jié)奏將變?yōu)椤耙荒暌淮巍?。黃仁勛稱，8年內(nèi)，英偉達GPU產(chǎn)品運算能力增長了1000倍，幾乎超越了摩爾定律在最佳時期的增長。4全球數(shù)據(jù)量與全球數(shù)據(jù)量與GPU市場規(guī)模根據(jù)IDC和華為GIV團隊預(yù)測，全球每年新產(chǎn)生的數(shù)據(jù)總量隨著數(shù)字化的發(fā)展快速增長，從2020年每年產(chǎn)生2ZB到2025年每年產(chǎn)生1752024年全球服務(wù)器用GPU（包括存儲芯片在內(nèi)的板卡與子系統(tǒng)）產(chǎn)值將首次突破1000億美元，達1219億美元。其中，高端服務(wù)器GPU產(chǎn)5資料來源：“數(shù)據(jù)存儲2030”白皮書，中國算力發(fā)展指數(shù)白皮書（2022DIGITIMES研究中心，亞太芯谷科技研究院AAI芯片算力提升的“三駕馬車”算力GPU/算力GPU/算力GPU算力：1000倍邏輯芯片算力：40~60倍③②① CoWoS(HI③②①MOSFET(MOSFET(摩爾定律)光刻機光刻機資料來源：英偉達，臺積電，亞太芯谷科技研究院7大綱大綱二．CoWoS/HBM技術(shù)與發(fā)展三．AI大算力芯片產(chǎn)業(yè)市場與投資四．AI大算力芯片產(chǎn)業(yè)發(fā)展趨勢全球半導(dǎo)體技術(shù)發(fā)展關(guān)鍵節(jié)點全球半導(dǎo)體技術(shù)發(fā)展關(guān)鍵節(jié)點電晶體-點接觸形式的雙極性晶體管結(jié)型構(gòu)造雙極型晶體管-BJT金屬—氧化物半導(dǎo)體場效應(yīng)晶體管-MOSFETCoWoS8資料來源：亞太芯谷科技研究院AAI：CoWoS(HI)崛起之路全球半導(dǎo)體市場規(guī)模，單位：10億美元全球半導(dǎo)體市場規(guī)模，單位：10億美元0.6CoWoS(HI)2020~MOSFET1970~20201950~1970CoWoS(HI)2020~MOSFET1970~20201950~1970BJTMOSFETC\數(shù)據(jù)/封測驅(qū)動CoWoS700信息/功能驅(qū)動信息/制程驅(qū)動700信息/功能驅(qū)動信息/制程驅(qū)動500Ge/2D封裝Si/2D封裝JSi0一——一400HomostructureHomostructure/20019702001970年市場規(guī)模//100約100億美元cc-s2001200320052007200920112013201520172019202120232001200320052007200920112013201520172019202120239資料來源：亞太芯谷科技研究院CoWoSCoWoS本質(zhì)上是一種異質(zhì)異構(gòu)集成技術(shù)藝、不同功能、不同制造商制造的組件進行封裝異構(gòu)集成資料來源：亞太芯谷科技研究院英特爾的英特爾的EMIB與三星的I-Cube英特爾也于2017年推出EMIB（EmbeddedMulti-DieInterconnectBridge）先進封裝技術(shù)，即“嵌入式多芯片互連橋接”，該技術(shù)使用傳統(tǒng)三星于2021年發(fā)布2.5D封裝技術(shù)Interposer-Cube4(I-Cube4)，I-CubeTM是一種異構(gòu)集成技術(shù)，在一個硅中介層上水平放置一個或多個邏資料來源：英特爾，三星大綱大綱一．AI芯片：從MOSFET到CoWoS（HI）二．CoWoS/HBM技術(shù)與發(fā)展三．AI大算力芯片產(chǎn)業(yè)市場與投資四．AI大算力芯片產(chǎn)業(yè)發(fā)展趨勢CoWoSCoWoS架構(gòu)AI芯片資料來源：TSMC資料來源：TSMC，亞太芯谷科技研究院CoWoSCoWoS關(guān)鍵底層技術(shù)BumpingBumpingTSVTSV底層技術(shù)RDLRDLDTCDTC資料來源：亞太芯谷科技研究院CoWoSCoWoS技術(shù)的技術(shù)難點Al算力芯片體積小、集成度高、速度快，導(dǎo)致熱量集TSV是先進封裝的關(guān)鍵結(jié)構(gòu)單元。在TSV轉(zhuǎn)接板上，由于銅和硅的熱膨脹系數(shù)差別較大，這種熱不匹配所產(chǎn)生的熱應(yīng)力會造成接口的脫層或材料的開裂而直接影目前用于TSV是先進封裝的關(guān)鍵結(jié)構(gòu)單元。在TSV轉(zhuǎn)接板上，由于銅和硅的熱膨脹系數(shù)差別較大，這種熱不匹配所產(chǎn)生的熱應(yīng)力會造成接口的脫層或材料的開裂而直接影資料來源：芯灃科技，亞太芯谷科技研究院CoWoSCoWoS技術(shù)發(fā)展趨勢目前CoWos-S可支持的最大尺寸約為2500平方毫米即三倍掩膜版尺寸，也就是BlackwellGPU上的兩顆die+8xHBM的設(shè)計，再想增大面積恐臺積電系統(tǒng)級晶圓技術(shù)將迎來大突破，采用CoWoS技術(shù)的芯片堆棧版本，預(yù)計于2027年準(zhǔn)備就緒，即CoWoS技術(shù)整合SoIC、HCoWos-L將成為主要封裝類型資料來源：TSMCHBMHBM應(yīng)用的關(guān)鍵：AI芯片存儲墻u模型體量的增速遠大于算力卡存儲容量的增速。隨著Transformer模型的大規(guī)模發(fā)展和應(yīng)用，模型大小每兩年平均增長了240倍，而單個GPU內(nèi)存容量僅以2年2倍的速度擴大。為了擺脫單一算力芯片內(nèi)存有限的問題，可以將模型部署于多顆GPU上運行，但在算力芯片之間移算力的增速遠超存儲與互連帶寬的增速大模型體積的增速遠高于算力芯片存儲容量的增速資料來源：riselabHBMHBM基本涵義HBM（HighBandwidthMemory，高帶寬存儲）是一種新型的CPU/GPU內(nèi)存芯片。從結(jié)構(gòu)上看其TSV互連：HBM由多顆DRAMdie堆疊成3D結(jié)構(gòu)，使用TSV技術(shù)實現(xiàn)信號的共享與分配2）高I/O數(shù)量帶來高位寬：HBM的每顆DRAMDie包含多個通道，可獨立訪問。每個通道又包含多個I/資料來源：《高帶寬存儲器的技術(shù)演進和測試挑戰(zhàn)》（陳煜海等人華金證券研究所HBMHBM與其他存儲芯片參數(shù)對比更多的I/O數(shù)量使總帶寬遠高于GDDR5；例如HBM2帶寬可以達到307G不同類型的存儲芯片帶寬與單引腳最大I/O速度對比HBM2與傳統(tǒng)DDR存儲器的單20資料來源：華金證券研究所HBMHBM采用的主要封裝技術(shù)HBM結(jié)構(gòu)及相關(guān)技術(shù)圖示21資料來源：SK海力士HBMHBM技術(shù)將追求更高帶寬資料來源：Yole，Techspace各公司官網(wǎng)1、堆疊層數(shù)：HBM4在堆疊層數(shù)上，除了現(xiàn)有的8/12層外，將再往16層發(fā)展，更高層數(shù)也將帶動新堆疊方式Hybridbonding的需求。HBM412層將于2、邏輯die：受到GPU/HBM規(guī)格更往高速發(fā)展帶動，Trendforce預(yù)計HBM最底層的Logicdie（Basedie）將采用12nm制程，該部分將由晶圓代工廠提供，使得單顆HBM需要結(jié)合晶圓代工廠與存儲器廠3、客制化：根據(jù)韓國中央日報報道，SK海力士正在招募CPU、GPU等邏輯芯片的設(shè)計人員，目標(biāo)是將未來的HBM4以3D堆疊的形式堆疊在英偉達、AMD等公司的邏輯芯片上，預(yù)計該HBM4內(nèi)存堆棧2223大綱大綱二．CoWoS/HBM技術(shù)與發(fā)展四．AI大算力芯片產(chǎn)業(yè)發(fā)展趨勢全球全球GPU市場規(guī)模預(yù)估2023-2027年CAGR：54%40003300330022507002023(E)2024(E)2025(E資料來源：亞太芯谷科技研究院根據(jù)亞太芯谷科技研究院分析預(yù)測，2023年，全球GPU市場規(guī)模為700億美元，隨著人工智能科技的發(fā)展，全球GPU市場需求不斷增長，預(yù)計20球GPU市場規(guī)模將達到4000億美元，2023-2027年復(fù)合增長率54%，2032年達到5500億美元，2023-2032年復(fù)合增長率為25.7%。全球GPU市場為三足鼎立的寡頭競爭格局在獨顯領(lǐng)域一家獨大，市場份額占80%以上，AMD中國大陸廠商華為正快速崛起，市場需求量呈現(xiàn)出爆發(fā)式增長。根據(jù)華為內(nèi)部和采購方渠道透露的信息，2023年華為算力GPU出貨量約十萬片，而2024年產(chǎn)能增加到幾十萬片，下單需求已經(jīng)達到上百萬片。24全球全球CoWoS產(chǎn)能預(yù)估20300單位：萬片20232023~2030年CoWoS總產(chǎn)能年復(fù)合增長率CAGR：46%6050485038363825242584084020232024(E)2025(E)2026(F)0單位：萬片2024年5月預(yù)估2102023~2030年CoWoS總產(chǎn)能年復(fù)合增長率修正為CAGR：90906060603630403630660020232024(E)2025(E)2026(F)25備注：圖中數(shù)量為CoWoS的12吋Wafer數(shù)量，平均每片12吋Wafer可以切出25個Interposer，每個Interposer對應(yīng)一個GPU。資料來源：亞太芯谷科技研究院25HBMHBM市場規(guī)模預(yù)估2026由于更強的生成式人工智能（GenAI）需求推動了更高的AI服務(wù)器出貨量和每個GPU中更高的高帶寬內(nèi)存（HBM）密度，亞太芯谷科技研究院預(yù)計HBM市場規(guī)模將從2022年到2026年前增長15.64倍（4年復(fù)合年增長率77%從2022年的23億美元增長至2026年的230億2022-2026全球HBM市場規(guī)模預(yù)估（單位：億美元）36030028026資料來源：SK海力士，亞太芯谷科技研究院2024：2024：AI芯片NT聯(lián)盟的三個千億里程碑公司名稱2024Q1營收2024Q1凈利潤2024（預(yù)估）營收同比2023營收增長2024（預(yù)估）凈利潤同比2023凈利潤增長市值臺積電188.51億美元71.72億美元1000億美元44.2%450億美元67.29%0.90萬億美元英偉達260.44億美元148.81億美元1000億美元64.15%550億美元84.81%3.04萬億美元合計448.95億美元220.53億美元2000億美元1000億美元76.49%3.94萬億美元27資料來源：WInd，亞太芯谷科技研究院NTNT聯(lián)盟市值合計超過4萬億美元2024年7月9日，英偉達市值達到3.23萬億美元。半導(dǎo)體指數(shù)總市值的57%。備注：英偉達、臺積電均為前復(fù)權(quán)后的周K線走勢圖。資料來源：東方財富，Wind2024年7月9日，臺積電盤中市值首次超過萬億美元，收盤回落至9570億美元。2829大綱大綱二．CoWoS/HBM技術(shù)與發(fā)展三．AI大算力芯片產(chǎn)業(yè)市場與投資英偉達英偉達AI服務(wù)器成本分析GPU板組：8*GPU+4*NVSwitch一30資料來源：semianalysis;AlServerCostAnalysis2023.05.29，萬和證券研究所31AAI大算力芯片產(chǎn)業(yè)發(fā)展趨勢3232資料來源：亞太芯谷科技研究院產(chǎn)業(yè)發(fā)展趨勢01：新架構(gòu)產(chǎn)業(yè)發(fā)展趨勢01：新架構(gòu)GPU33資料來源：清微智能產(chǎn)業(yè)發(fā)展趨勢02：產(chǎn)業(yè)發(fā)展趨勢02：FOPLP技術(shù)扇出型板級封裝FOPLP，所謂的扇出（fan-out）是相對于扇入（fan-in）來說的，其封裝的RDL線路和引腳不僅在芯片所處的投影面積之近日，有消息