從美國科技巨頭布局看大模型演進方向

2一、美股科技巨頭、軟件企業(yè)在AI領域的布局3資料來源：各公司官網(wǎng)，中信證券研究部美股科技巨頭近期在AI領域的動作公司時間事件2022.11.2推出AI寫作工具LaMDA

Wordcraft2023.1.2推出基于文本生成圖像的AI模型“Muse”2023.1.28發(fā)布生成式AI音樂模型MusicLM2023.1.30向人工智能初創(chuàng)公司Anthropic

AI投資約3億美元2023.2.3“未來幾周或幾個月”推出類似ChatGPT的基于人工智能的大型語言模型2023.2.6谷歌宣布將推出一款聊天機器人—Bard2023.2.9谷歌表示將推出由人工智能驅動的新搜索和地圖功能2023.3.8谷歌發(fā)布五千億參數(shù)語言大模型PaLM，并微調出跨模態(tài)模型PaLM-E2023.1.23開啟對OpenAI的第三輪投資2023.2.2宣布將OpenAI相關產品導入旗下云計算、Office、Bing、Viva

Sales等產品中2023.2.7正式推出由ChatGPT支持的最新版本Bing（必應）搜索引擎和Edge瀏覽器微軟2023.2.22宣布為iPhone和Android發(fā)布新的必應和Edge預覽版應用程序，其中包括語音搜索和訪問其AI聊天機器人等新功能2023.3.8微軟宣布將發(fā)布集成ChatGPT能力的Office，并已經(jīng)開始在Azure公有云服務中提供OpenAI模型2023.3.14OpenAI公開發(fā)布大型多模態(tài)模型GPT-4，與ChatGPT所用的模型相比，GPT-4不僅能夠處理圖像內容，且回復的準確性有所提高2023.3.16微軟公司宣布將通過Microsoft

365

Copilot將下一代AI的強大功能引入其工作場所生產力工具1.1

美股科技巨頭近期在AI領域的動作谷歌41.1

美股科技巨頭近期在AI領域的動作OpenAI官網(wǎng)，微軟官網(wǎng)，中信證券研究部微軟三次投資OpenAI，推進公司人工智能水平。微軟于2023年1月23日宣布將向OpenAI開展“多年、百億級美元”的投資，此前在2019年微軟已經(jīng)投資10億美元，并在2021年再次投資。此次合作后，微軟將增加對超級計算系統(tǒng)的投資，在Azure中部署OpenAI程序，包括GPT、DALLE、Codex，同時微軟將作為OpenAI的獨家云提供商，Azure將為OpenAI提供所有的工作負載。旗下產品與ChatGPT深度融合，未來有望加速AI產業(yè)化落地。此次合作中，微軟宣布將把OpenAI的相關產品介入到旗下云及其他產品中，我們認為此舉對微軟云計算以及其他業(yè)務的發(fā)展具備重要意義：1）強化Azure在AI領域的能力，豐富微軟在語義等領域的實力。2）與旗下Office產品達成更強的協(xié)同，以ChatGPT為代表的相關產品對文字補寫、代碼輔助編輯等具備特殊優(yōu)勢。3）引入bing搜索，優(yōu)化體驗。微軟將其引入搜索后，將對搜索結果的匹配以及體驗帶來改善。微軟投資OpenAI歷史微軟戰(zhàn)略布局AI的意義201920212023微軟宣布投資OpenAI10億美元，此時OpenAI更新GPT2模型，將參數(shù)從1.24億提升至7.74億。微軟對OpenAI追加第二輪投資，OpenAI發(fā)布基于GPT3的能夠連接圖像與穩(wěn)步的神經(jīng)網(wǎng)絡CLIP，發(fā)布從文標題創(chuàng)建圖像的模型DALL·E。微軟宣布將向OpenAI開展“多年、百億級美元”的投資。云OfficeBing搜索強化Azure在AI領域的能力，豐富微軟在語義等領域的實力。與旗下Office產品達成更強的協(xié)同，以ChatGPT為代表的相關產品對文字補寫、代碼輔助編輯等具備特殊優(yōu)勢。引入Bing搜索，優(yōu)化體驗。微軟將其引入搜索后，將對搜索結果的匹配以及體驗帶來改善。OpenAI官網(wǎng)，微軟官網(wǎng)51.1

美股科技巨頭近期在AI領域的動作資料來源：智東西，谷歌TPU網(wǎng)站，中信證券研究部谷歌一直致力于AI技術的研發(fā)與實踐，是該領域的領先者。2016年3月，谷歌DeepMind研發(fā)的AlphaGo在圍棋人機大賽中戰(zhàn)勝韓國職業(yè)九段棋手李世石，成為AI領域發(fā)展的標志性事件之一。從論文數(shù)量看，2021年谷歌有177篇論文被NeurlPS（目前人工智能算法的最高期刊）接收并發(fā)表，數(shù)量遙遙領先。TPU

+

Tensorflow軟硬一體，構筑AI護城河。谷歌基于早期技術，在DistBelief基礎上創(chuàng)造了Tensorflow的AI框架；同時，公司研發(fā)出專屬Tensorflow的運算芯片TPU，以軟件+硬件的形式，實現(xiàn)獨特的AI技術能力。在神經(jīng)網(wǎng)絡算法方面，2017年谷歌推出的Transformer也逐漸成為了主流，為大模型的訓練提供技術支持。谷歌TPU技術能力 全球商用AI框架市場份額結構（2021）AIwatch芯片名稱發(fā)布日期性能 應用TPU 2016 28nm制程，主頻700MHz 深度學習推理TPUv22017180TFLOPs浮點運算，64GB

HBM機器學習訓練與推理，可以在Google

computer

engine運行TPUv32018420TFLOPs浮點運算，128GB

HBM更廣泛的深度學習訓練和推理EdgeTPU2018高吞吐量串流資料企業(yè)級機器學習任務，主要為AI推理TPUv2Pod每秒11.5千萬億次浮點運算、2019 4TB

HBM、二維環(huán)面網(wǎng)狀 深度學習推理網(wǎng)絡2019TPUv3Pod 32TB

HBM超過100千萬億次浮點運算、

深度學習推理0.0%5.0%10.0%15.0%20.0%25.0%30.0%35.0%40.0%TensorflowOpenCVPyTorchKerasOthers6資料來源：各公司官網(wǎng)，中信證券研究部主流軟件企業(yè)廣泛布局AI領域1.2

主流軟件企業(yè)廣泛布局AI領域子領域 公司 應用NLP（自然語言處理）Five9在其云聯(lián)絡中心利用人工智能作為虛擬客服，實時傳遞客戶請求。RingCentral對話式人工智能AI

SmartAssist分析客戶需求并幫助客戶更快地獲得響應。Zoom發(fā)布虛擬客服，建立全渠道聯(lián)絡中心，幫助客戶將其人力用于更復雜的疑問。ZoomInfo使用對話智能技術來幫助企業(yè)達成交易并改善他們的銷售流程。Qualtrics利用文本情感分析，通過其管理平臺和應用程序，根據(jù)用戶生成的數(shù)據(jù)創(chuàng)建報告。Sprinklr其客戶體驗管理(CXM)平臺對來自多個渠道的非結構化數(shù)據(jù)利用人工智能進行文本情感分析，以了解客戶是如何看待一個品牌的。計算機視覺Appian利用計算機視覺進行圖像處理和信息&數(shù)據(jù)提取，打通工作流程自動化的全流程AdobeSensei將計算機視覺進一步擴展到設計空間，作為Adobe

Experience和Creative

Cloud平臺中的AI應用層ServiceNow通過其自動化引擎(包括RPA

Hub和文檔智能應用程序)

，允許用戶實現(xiàn)人工智能驅動的計算機視覺任務監(jiān)控和工作流自動化。7資料來源：各公司官網(wǎng)，中信證券研究部主流軟件企業(yè)廣泛布局AI領域1.2

主流軟件企業(yè)廣泛布局AI領域子領域公司應用預測模型Zeta在Zeta數(shù)據(jù)云上構建預測建模應用程序，允許用戶全面收集客戶信息，并全面分析留存行為等。Salesforce利用其人工智能產品Einstein，通過銷售云平臺為銷售團隊提供了廣泛的預測建模用例。異常檢測Datadog其Watchdog引擎自動檢測關鍵運行狀況性能異常，通過自動化分析解決代碼問題并確定問題依賴關系，還可以修復工作流問題并發(fā)現(xiàn)延遲異常值。Splunk自動關聯(lián)事件以縮短其平均解決時間；提供異常檢測以在問題影響性能之前預測和預防問題；其機器學習工具包為用戶提供了監(jiān)控和生成警報的能力。Elastic使用AI/ML分析最終用戶、基礎設施和應用程序監(jiān)控數(shù)據(jù)來檢測異常，并加速問題解決。PaloAlto

Networks在安全方面使用異常檢測技術，為云提供防火墻和保護產品。CrowdStrike利用AI/ML進行異常檢測，以實現(xiàn)網(wǎng)絡安全解決方案。81.3

AI產業(yè)結構資料來源：海外獨角獸微信公眾號，中信證券研究部AI產業(yè)結構硬件云服務大語言模型自然語言：NLP開發(fā)、文案生成（電商/新聞/法律）、對話機器人（銷售客服/情感陪伴）、筆記機器語言：代碼生成（關注版權問題）、RPA交互生成多模態(tài)模型圖片：圖片生成、圖片識別、3D建模生成音視頻：音頻識別、音視頻剪輯、音視頻生成、Avatar生成算法應用基建層GPT-3CodexDALL-E

2AlphaZeroAlphaFoldGatoBERTViTDreamFusionResNetOPT-175BMake-A-VideoConstitutional

AI工作流模型獲取數(shù)據(jù)準備模型訓練模型評估模型部署模型監(jiān)控智能控制：機器人、自動駕駛、邊緣計算&聯(lián)邦學習AL

for

science：醫(yī)學、物理、化學、材料科學AI安全：模型安全、可控生成、AI可解釋性91.3

AI產業(yè)結構資料來源：海外獨角獸微信公眾號，中信證券研究部機器學習工作流拆解查詢工具:Hive,Presto數(shù)據(jù)科學工具:Spark,Numpy,Pandas數(shù)據(jù)科學平臺Jupyter,Databricks,Sagemaker,Colab工作流管理：Prefect,Airflow數(shù)據(jù)標注（y）Sacle,Snorkeloutput:矩陣(X，y)role:數(shù)據(jù)工程師output:模型f(X，y)role:數(shù)據(jù)科學家output:f(X_hat)

→y_hatrole:算法工程師output:產品生產環(huán)境role:后端工程師數(shù)據(jù)準備模型訓練模型部署產品整合特征倉庫（X）Tecton,Feast模型庫Hugging

FaceML框架：Scikit-learn,XGBoostDL框架：Tensorflow,PyTorchRL框架：Gym,Dopamine分布式計算：Ray(Anyscale),Dask實驗管理（模型性能）WeightandBias,

Neptune模型監(jiān)控（模型可用性與解釋性）Arise,Fiddler,Arthur,WhyLab模型部署和serving(使用性能）BentoML,OctoML,Tensorflow/Pytorch/Ray

ServingML

APIsOpenAI,Cohere,AWS,Azure產品向量搜索數(shù)據(jù)庫PineconeData

OpsData

InfraETLBI

Tools10二、科技巨頭大模型比較及格局推演11OpenAIChatGPT發(fā)展歷程2.1

ChatGPT：加入人類反饋學習，優(yōu)化問題、答案之間匹配精準度2018.6 2019.1 2020.5

2022.1

2022.11

2023.3GPT-1 GPT-2GPT-3InstructGPTChatGPTGPT-4參數(shù)量1.17億 15億1750億13億未公布未公布模型更新在大規(guī)模數(shù)據(jù)上對Transformer

模型進行無監(jiān)督預訓練，再在小規(guī)模有監(jiān)督數(shù)據(jù)集

解決零次學習問題上精細調節(jié)。

（zero-shot），使得該模型在測試常識推 模型更具通用性。理和閱讀理解的數(shù)據(jù)集上獲得了最先進的結果數(shù)據(jù)量指數(shù)級增加，可利用少量樣本學習，引入RLHF，微調后能更好地遵循用戶意圖，泛化能力極大提升。在數(shù)據(jù)收集設置上優(yōu)化連接大量真實語料庫，能夠支持多輪對話、結果修正，人機交互效果更好、更快、更高效。模型處理復雜問題的能力進一步提升，同時解決了部分對于辦公軟件最重要的多模態(tài)輸入問題。貼近人腦學習模式。此外，基于GPT-3模型微調在其他領域包括代碼生成、圖像生成、數(shù)學算數(shù)等產生了應用。12ChatGPT的技術邏輯：RLHF的主要改變在于人工監(jiān)督數(shù)據(jù)與調整后的獎勵模型2.1

ChatGPT：加入人類反饋學習，優(yōu)化問題、答案之間匹配精準度OpenAI13OpenAI，中信證券研究部

注：縱軸為與真實答案的最大相似度RealToxicity數(shù)據(jù)集likehoodOpenAI，中信證券研究部

注：縱軸為與真實答案的最大相似度Hallucination數(shù)據(jù)集likehoodOpenAI，中信證券研究部

注：縱軸為與真實答案的最大相似度TruthfulQA

數(shù)據(jù)集likehoodOpenAI，中信證券研究部

注：縱軸為與真實答案的最大相似度Customer

Assistant

Appropriate數(shù)據(jù)集likehood2.1

ChatGPT：加入人類反饋學習，優(yōu)化問題、答案之間匹配精準度0.240.230.220.210.20.190.180.17GPT有監(jiān)督微調InstructGPT0.450.40.350.30.250.20.150.10.050GPT有監(jiān)督微調InstructGPT0.450.40.350.30.250.20.150.10.050GPT有監(jiān)督微調InstructGPT0.920.90.880.860.840.820.80.780.76GPT有監(jiān)督微調InstructGPT14資料來源：本頁所有圖片均來自OpenAI2.1

GPT-4：增強求解能力、多模態(tài)、安全性GPT-4相比于3.5在大多數(shù)AP考試科目上都取得了顯著進步加入了更多人類生成數(shù)據(jù)以及專家數(shù)據(jù)多模態(tài)能力成為GPT-4加入的新亮點安全性提升與編造內容的減少152.2

微軟的商業(yè)化途徑：云計算層面微軟AI在自身的商業(yè)化資料來源：微軟官網(wǎng)微軟提供OpenAI

Service服務，提供OpenAI系列Model的Fine

Tuning、部署、推理、監(jiān)控等全方位服務，而Azure與AI相關的機器學習平臺、數(shù)據(jù)湖倉等工具亦將配合產生作用。我們認為，與OpenAI的全面合作將有助于快速提升公司在AI

PaaS領域的市場份額，推動相關收入和整體利潤率提升。162.2

微軟的商業(yè)化途徑：軟件層面軟件：AI滲透率每提升10%預計對應百億美元收入增長1、產品功能付費用戶數(shù)（億）用戶AI能力訂閱費用/月（美元）Github代碼托管&編寫0.9510office

365文檔編輯410Teams視頻會議2.810powerapps流程自動化等110合計8.752、敏感性測試:用戶AI訂閱率微軟年新增收入（億美元）1%112%215%5310%10515%15820%210資料來源：微軟公司財報，中信證券研究部測算會議產品-Teams

premium：Teams

Premium定價為10美元/User，在2023年7月前提供30%的折扣。相較于基礎版本產品，Teams

Premium最大的亮點就是Chat

GPT能力的融入。代碼托管&編寫-GitHub：GitHub

Copilot由OpenAI

Codex模型進行賦能，伴隨GPT模型的持續(xù)更新，Copilot底層的模型能力亦將快速迭代升級，一方面將加速Copilot功能的滲透；另一方面將有利于Devops流程向GitHub平臺的遷移，使微軟在Devops環(huán)節(jié)獲得更大份額。文檔編輯-Office：OpenAI

GPT模型和Office

Word、Outlook和PowerPoint等套件的整合將加速客戶向E3/E5版本的遷移進程，進而加速Office

365客戶ARPU的提升。每10%

Office

365

E3席位向E5席位的轉化將帶來50億美元以上的業(yè)績增厚。ERP&CRM產品-Dynamics

365：Viva

sales定價為40

USD/用戶/月。集成ChatGPT能力后，Viva

sales能夠為各類場景自動生成建議的郵件回復內容，這種集成將助力Viva

sales的推廣，進而提升微軟在CRM市場的整體競爭力。17Bing微軟上線新版Bing搜索引入GPT能力2.2

微軟的商業(yè)化途徑：在線搜索層面資料來源：七麥數(shù)據(jù)瀏覽器Edge下載量爆發(fā)式增長，Bing份額提升值得期待搜索廣告份額每提升1pcts，則對應收入增長20億美元。2022年，全球整個數(shù)字廣告市場超過5萬億美元，微軟最大的兩個數(shù)字

廣

告

業(yè)

務

是

搜

索

和

新

聞

廣

告

以

及LinkedIn。根據(jù)emarketer數(shù)據(jù)，全球在線搜索&新聞廣告市場規(guī)模在2000億美元以上，未來若Bing在在線搜索市場份額每提升1pct，預計對應增厚公司廣告收入約20億美元，與當前公司在全球搜索市場大約3%的市占率相比，遠期空間值得期待。18Google谷歌大型語言模型總結2.3

谷歌：大模型儲備豐富，有待商業(yè)化落地LLM描述主要用途BERT基于Transformer的雙向編碼器表示；2019年首次推出，并整合到谷歌搜索。改進的自然語言處理，以回答更復雜的搜索查詢LaMDA對話應用語言模型；建立在Transformer上的神經(jīng)語言模型，基于對話的文本進行訓練，能夠進行更多開放式對話；在谷歌

I/O

2021首次亮相，LaMDA

2在一年后(谷歌

I/O

2022)亮相?；陂_放式對話的文本生成PaLM基于谷歌提出的下一代

AI架構Pathways訓練，支持泛化任務的處理；單一模型能夠很好的支持語言理解和生成、推理、模式識別、翻譯、代碼生成等不同功能。使單個模型具備領域泛化和任務泛化能力Sparrow在互聯(lián)網(wǎng)文本數(shù)據(jù)上進行訓練并針對對話進行優(yōu)化；利用RLHF來改善其行為并出現(xiàn)降低不正確答案的風險。與用戶交談并回答問題，同時實時使用谷歌搜索出相關的信息來支持它的答案19OpenAI與Google大型語言模型研發(fā)歷程2.3

微軟vs谷歌2018年6月OpenAI發(fā)布基于TransformerDeconder的GPT-1，1.1億參數(shù)2019年2月 2020年5月OpenAI發(fā)布GPT-

OpenAI發(fā)布GPT-2，15億參數(shù) 3，1750億參數(shù)2022年3月OpenAI發(fā)布InstructGPT，用到Instruction

Tuning和RLHF2022年12月OpenAI發(fā)布ChatGPT2017年6月Google發(fā)布Transformer，成為后來所有LLM的基礎架構；DeepMind提出RLHF方法Google，OpenAI2018年10月Google發(fā)布編碼器的BERT（最大3.5億參數(shù)），用于微調下游任務2019年10月Google發(fā)布基于TransformerDecoder的T5，兼容BERT和GPT的下游任務2021年10月Google發(fā)布FLAN，轉向2021年11月DeepMind發(fā)表decoder-only，

參數(shù)），加LLM提出Instruction

大戰(zhàn)Tuning2022年1月Google再發(fā)LaMDA其具有“意識”2022年4月 2022年9月Google發(fā)布PaLM

DeepMind發(fā)布Gopher（2800億

（1370億參數(shù)），稱

（5400億參數(shù)， Sparrow，加入decoder-only），

RLHF和Retrival提出神奇的思維鏈

（Google

Search）OpenAI與Google部分大型語言模型對比LaMDASparrowChatGPT/

InstructGPT組織GoogleDeepMindOpenAI能否公開訪問否否有限參數(shù)量1370億700億1700億/13億預訓練語料庫大?。ㄔ~數(shù)）2.81T1.4T未知模型是否可以訪問網(wǎng)絡是是否有監(jiān)督微調有有有RLHF無有有人為制定的安全規(guī)則有有無Google，OpenAI202.3

微軟vs谷歌21為什么不是谷歌2.3

微軟vs谷歌關鍵因素技術路徑OpenAI 谷歌同一路線，資源聚焦：明星眾多，內部賽馬，資源分散：從

18

年

起

一

直

沿

著

GPT

路線持續(xù)發(fā)力

，

通過

采用賽馬制，多個模型的團隊，方向分散GPT1/2/3/3.5，InstructGPT的不斷技術探索?？蒲兴季S以產品為導向，形成數(shù)據(jù)飛輪：積極推出產品，迅速獲取用戶，獲取用戶反饋數(shù)據(jù)訓練出更好的模型，實現(xiàn)良性循環(huán)。OpenAI發(fā)布GPT-3后迅速開放商用API服務，獲取真實用戶數(shù)據(jù)。ChatGPT的訓練過程：采用GPT-3API獲取的真實用戶請求微調基礎模型引入RLHF訓練機制，采用人工標注的數(shù)據(jù)，通過人類的反饋，針對性地進行模型優(yōu)化。注重發(fā)論文，成果未做產品化：在研發(fā)過程中未引入真實用戶數(shù)據(jù)，而是科研人員自己編寫的指令。模型路線選擇：發(fā)布了很多模型：語言模型PaLM、GLaM、對話模型LaMDA、LaMDA2等，但都未產品化。DeepMind以前重點關注AI4S，2021年才重視大模型方向，研發(fā)的基礎語言模型Gogher、Chinchilla和對話模型Sparrow均未產品化。資料來源：智源研究院，中信證券研究部222.4

產業(yè)影響：向傳統(tǒng)搜索引擎為主+大語言模型為輔演變Google將ChatGpt以側欄模式作為對傳統(tǒng)搜索引擎的補充目前ChatGPT的技術路徑難以在較短時間內解決搜索成本的問題，因此從分場景限制用量的思路出發(fā)，中短期內ChatGPT可以通過部分技術改進輔助傳統(tǒng)搜索引擎實現(xiàn)用戶體驗大幅提升。ChatGPT的成功不會給搜索產業(yè)帶來顛覆性的新入局者，但會推動谷歌等搜索巨頭加快迭代大語言模型輔助傳統(tǒng)搜索引擎的新格局。Deepmind將答案產生來源的引用注明給用戶，使其快速檢驗回答的可靠性232.4

產業(yè)影響：使AI算法模型邁向新階段資料來源：中信證券研究部繪制AI算法模型發(fā)展歷史及對應表現(xiàn)ChatGPT的成功一改往日大模型依靠堆積數(shù)據(jù)量的訓練方式，RLHF（人類反饋強化學習）和Reward

model（獎勵模型）是其核心訓練邏輯。ChatGPT的成功推動AI算法模型展現(xiàn)出更加明晰的發(fā)展脈絡，使行業(yè)邁向了兼顧經(jīng)濟性與可使用性的新發(fā)展階段，展望未來，模型開放+快速優(yōu)化迭代或將成為AI實現(xiàn)大規(guī)模應用落地的終極發(fā)展形態(tài)。24OpenAIOpenAI商業(yè)模式：目前以API調用、出售Token等為主2.4

產業(yè)影響：有望加快AI產業(yè)商業(yè)化落地進程GPT-4ModelPromptComletion8K

context＄0.03/1K

tokens＄0.06/1K

tokens32K

context＄0.06/1K

tokens＄0.12/1K

tokensChatModelUsagegpt-3.5-turbo＄0.002/1K

tokensInstructGPTAda(Fastest)＄0.0004/1K

tokensBabbage＄0.0005/1K

tokensCurie＄0.0020/1K

tokensDavinci(Most

powerful)＄0.0200/1K

tokensFine-tuning

modelsModelTrainingUsageAda＄0.0004/1K

tokens＄0.0016/1K

tokensBabbage＄0.0006/1K

tokens＄0.0024/1K

tokensCurie＄0.0030/1K

tokens＄0.0120/1K

tokensDavinci＄0.0300/1K

tokens＄0.1200/1K

tokensEmbedding

modelsModelUsageAda＄0.0004/1K

tokens25開源社區(qū)追趕LLM模型時間線2.5、格局演變：技術資本積累豐厚，科技巨頭有望占據(jù)主導地位資料來源：海外獨角獸微信公眾號，中信證券研究部2021年9月FLAN（137B）2022年3月Chinchilla（70B）2022年5月OPT（175B）2022年8月GLM（130B）2020年6月GPT-3（175B）2022年1月LaMDA（280B）2022年4月GPT-NeoX（20B）2022年6月BLOOM（176B）閉源模型 開源模型開源vs閉源：由于具有資本、研發(fā)、用戶等多個維度的領導地位，科技巨頭一般引領基礎大模型的發(fā)展，一般情況下科技巨頭會選擇將落后一個版本的模型開源（比如GPT-2開源，GPT-3則為閉源）；此外其他一些創(chuàng)業(yè)團隊或者科研組織也有可能會貢獻開源模型，在Hugging

Face這類開源社區(qū)供開發(fā)者調用。整體上來說，由科技巨頭主導的閉源模型在技術上更為領先，而開源模型由于能夠靈活調整、自行優(yōu)化也會有對應的需求（比如國內多數(shù)互聯(lián)網(wǎng)廠商基于BERT進行開發(fā)）?？萍季揞^vs創(chuàng)業(yè)公司：由于能夠在模型、算法層面實現(xiàn)引領，同時在基礎設施等層面優(yōu)勢巨大，科技巨頭將主導AI產業(yè)的發(fā)展。而創(chuàng)業(yè)公司有望憑借下游細分場景下獨特的數(shù)據(jù)優(yōu)勢實現(xiàn)差異化的應用創(chuàng)新，比如基于生物醫(yī)藥的數(shù)據(jù)輔助進行醫(yī)療類文檔的生成等等。262.5、格局演變：技術資本積累豐厚，科技巨頭有望占據(jù)主導地位a16z，中信證券研究部大模型生態(tài)ChatGPT產業(yè)結構End-to-End

Apps具有專有模型的面向最終用戶的應用程序如:Midjourney,

RunwayApps沒有專有模型的面向最終用戶的B2B和B2C應用程序如:

Jasper,

Github

Copilot閉源基礎模型通過API公開的大規(guī)模預訓練模型如:

GPT-3

(OpenAl)模型中心共享與托管模型如:

Hugging

Face,

Replicate開源基礎模型如:

Stable

Diffusion

(Stability)云計算平臺在云部署模型中向開發(fā)人員公開的計算硬件如:

AWS,

GCP,Azure,

Coreweave計算硬件針對模型訓練和推理工作負載優(yōu)化的加速器芯片如:

GPUs(Nvidia),

TPUs

(Google)下游應用算法模型算力基礎算法模型算力基礎下游應用27附錄：美股科技公司財報中AI相關表述28資料來源：微軟2022Q4財報業(yè)績發(fā)布會，中信證券研究部微軟財報中相關表述美股科技巨頭財報表述：微軟戰(zhàn)略：我們正在見證基礎模型能力的非線性改進，我們正在將其作為平臺能力提供。隨著客戶選擇他們的云供應商并投資于新的工作負載，我們完全有能力抓住成為AI領導者的機會。我們在云端擁有最強大的人工智能超算基礎設施，OpenAI等客戶和合作伙伴正在使用它來訓練最先進的模型和服務，包括ChatGPT。平臺：就在上周，我們宣布了Azure

OpenAI服務的公開可用，已經(jīng)有超過兩百多個客戶開始使用，我們將很快添加對于ChatGPT的支持。合作：我們宣布完成了與OpenAI的下一階段協(xié)議，很高興成為他們的獨家云供應商。隨著公司繼續(xù)推動人工智能最先進的技術，公司將在消費者和企業(yè)產品中部署OpenAI的模型。應用：GitHub

Copilot是為這一時代構建的第一個大規(guī)模AI產品，從根本上改變了開發(fā)人員的生產力。到目前為止，已有100多萬人使用了Copilot。本季度，我們將Copilot引入企業(yè)，我們看到了Duolingo、Lemonade和大眾汽車等公司的強烈興趣和早期采用。應用：我們在RPA方面處于領先地位，Power

Automate擁有45000多名客戶（同比增長超過50%），我們正在讓所有人都更容易實現(xiàn)重復任務的簡化，引入新的人工智能功能，將自然語言提示轉化為復雜的工作流程?；A設施：我們從根本上相信，下一波大的浪潮將是人工智能主導；我們還認為，只要能夠抓住這些浪潮，然后讓這些浪潮影響我們技術堆棧的每個部分，并創(chuàng)造新的解決方案和新機會，就能創(chuàng)造更多企業(yè)價值。在過去3-4年，我們一直在非常努力的構建訓練基礎設施，現(xiàn)在也在構建推理基礎設施。因為一旦你在應用程序中使用AI，它就從繁重的訓練任務變成了推理任務。因此，Core

Azure本身正在為核心基礎設施業(yè)務的演進而進行轉型。29資料來源：谷歌2022Q4財報業(yè)績發(fā)布會，中信證券研究部谷歌財報中相關表述美股科技巨頭財報表述：谷歌領先地位：人工智能是我們今天正在研究的最深刻的技術。隨著人工智能達到拐點，我們才華橫溢的研究人員、基礎設施和技術使我們處于非常有利的位置。6年多前，我第一次談到谷歌是一家AI-first

company。事實上，我們2017年提出并發(fā)布的Transformer，以及我們在擴散模型方面的開創(chuàng)性工作，是許多生成式人工智能應用的基礎。近期動作：將這些技術飛躍轉化為幫助數(shù)十億人的產品，是我們公司一直在努力的目標。我們將在符合原則和標準的前提下大膽地開展這項工作，在接下來的幾個月里，您將看到我們在三大領域的巨大機遇：1）大模型，我們此前已經(jīng)發(fā)布了LaMDA和PaLM的研究成果，其中PaLM是業(yè)界最大、最復雜的模型。在接下來的幾個月內，我們將從LaMDA開始陸續(xù)提供這些語言模型，人們從而能夠直接參與其中。這樣就能夠幫助我們持續(xù)獲得真實世界的反饋、測試并安全地改進模型。在搜索方面，BERT和MUM等語言模型已經(jīng)改進了4年的搜索能力，包括顯著優(yōu)化了搜索排名及融入Google

Lens等多模態(tài)搜索。很快，人們將能夠與我們最新、最強大的語言模型直接交互，以實驗和創(chuàng)新的方式作為搜索伴侶。2）開發(fā)工具，公司將為開發(fā)人員、創(chuàng)作者、合作伙伴提供全新的工具和API。這將使得他們能夠創(chuàng)新和構造自己的應用程序，并在我們的語言、多模態(tài)和其他人工智能模型之上發(fā)現(xiàn)人工智能新的可能性。3）其他方面，谷歌云正在通過Cloud

AI平臺向客戶提供領先的技術輸出，包括基礎設施和Vertex

AI等為開發(fā)者和數(shù)據(jù)科學家提供的工具。我們還為制造業(yè)、生命科學和零售業(yè)等行業(yè)提供特定的AI解決方案。Workspace用戶也將受益于AI驅動的功能，比如用于協(xié)作的Smart

Canvas和用于創(chuàng)作的Smart

Compose。我們正在努力將大模型融入Gmail和Docs，我們還將提供從編碼到設計等其他有用的生成功能。DeepMind：谷歌人工智能和DeepMind將是“AI-first

future”不可或缺的組成部分。為了反映DeepMind與谷歌服務、谷歌云和Other

Bets合作的日益加強。從Q1開始，DeepMind將不在Other

Bets中報告，而將作為Alphabet公司成本的一部分報告。搜索集成：在搜索方面，現(xiàn)在我們可以在搜索中集成更多直接的LLM用例。我認為這是一個重新思考和重新想象的機會，并推動搜索為用戶解決更多、更好的用例。所以在早期，你會看到我們很大膽的發(fā)布，得到反饋、不斷迭代，讓事情變得更好。是30資料來源：Meta2022Q4財報業(yè)績發(fā)布會，中信證券研究部Meta財報中相關表述美股科技巨頭財報表述：MetaAI

discovery

engine：Facebook和Instagram的推薦內容正在從僅圍繞你關注的人和賬戶，轉向越來越多地展示我們的人工智能系統(tǒng)推薦的相關內容。生成式AI：生成式AI是一個令人興奮的新領域，有很多不同的應用。我對Meta的目標之一是在我們研究的基礎上，除了我們在推薦AI方面的領先工作外，也能成為生成式AI的領導者。我們有很多貫穿各類產品的業(yè)務流程都在使用新技術，特別是LLM大語言模型和用于生成圖像、視頻、3D資產等的擴散模型，致力于能夠真正增強創(chuàng)作者在應用中的生產力和創(chuàng)作力的事情。我知道這里存在著一些令人非常興奮的東西，但我想強調的是不要太過超前于它的發(fā)展。所以我想今年大家會看到我們會推出一些不同的東西，我們會談論他們并分享他們的最新進展。我確實預計這個領域將能夠迅速發(fā)展，我想我們會學到很多關于什么是有效的、什么是無效的。在生成式AI領域很多東西都很昂貴，比如生成圖像、視頻或聊天互動。所以一個巨大的、有趣的挑戰(zhàn)是我們將如何擴大規(guī)模，使這項工作更有效率，從而我們可以將它帶到更大的用戶群中。但我認為，只要我們能夠走到，就會有許多令人興奮的用例產生。我們將在未來幾個月分享更多的細節(jié)。資本投入：我們仍在計劃大幅提高AI能力，目前資本開支的激增實際上是由于人工智能基礎設施的建設。我們會衡量這些AI開支的投資回報率并為未來的開支提供信息。我們的意圖仍然是降低資本開支占收入的比例，但最近的時間內，這實際上將部分取決于收入前景和我們?yōu)橥顿Y未來而進一步建設AI能力的需求。31資料來源：英偉達2022Q4財報業(yè)績發(fā)布會，中信證券研究部美股科技巨頭財報表述：英偉達英偉達財報中相關表述H100：僅在第二季度，H-100的營收就遠高于A100，而A100的營收則連續(xù)下滑。這證明了H-100的卓越性能，在訓練方面比A100快9倍，在基于transformer的大型語言模型推理方面快30倍。H-100將服務于大型語言模型推理的開發(fā)和規(guī)?；Ｈ斯ぶ悄埽喝斯ぶ悄艿膽谜幱谝粋€轉折點。Open

AI

的

ChatGPT

已經(jīng)引起了全世界的興趣，這些新型的神經(jīng)網(wǎng)絡模型可以在廣泛的任務中提高生產率，無論是生成文本(如營銷文案)、匯總文檔、為廣告或視頻游戲創(chuàng)建圖像，還是回答客戶問題，創(chuàng)成式人工智能應用將幫助幾乎每一個行業(yè)做得更快。具有超過1000

億個參數(shù)的生成性大型語言模型是當今世界上最先進的神經(jīng)網(wǎng)絡。英偉達的專業(yè)知識涵蓋人工智能超級計算機、算法、數(shù)據(jù)處理和培訓方法，能夠將這些能力帶到企業(yè)中。我們期待著幫助客戶創(chuàng)造人工智能機會。