計算機行業(yè)市場前景及投資研究報告：大模型范式變革、開源閉源

%%%%01

大模型驅動AI研發(fā)范式變革02

大模型會完全取代小模型嗎？目

錄03

如何看待開源與閉源之爭？%%3%%%%%01大模型驅動AI研發(fā)范式變革4%%%%AI研發(fā)范式發(fā)展的核心目的是通過標準化解決成本困境01

復盤AI研發(fā)范式發(fā)展，其主要經歷三大階段：（1）第一階段范式：從頭開始訓練模型——AI應用企業(yè)做大需要=海量數據（各行各業(yè)）+大算力基礎+AI人才團隊，無法產生規(guī)模效應（2）第二階段范式：預訓練+微調訓練的遷移學習——從相似性出發(fā)，尋找部分領域共性，遷移學習實現基座部分領域重復利用，AI應用企業(yè)做大需要=海量數據（部分行業(yè)）+一定算力基礎+AI人才團隊（3）第三階段范式：基礎大模型+提示學習——基座模型能力得到絕對突破，走向AGI，通過應用提示實現差別，AI應用企業(yè)做大只需了解產業(yè)專屬promptAI研發(fā)范式的改變主要于新技術的突破，核心目的是實現基座模型標準化和泛化后的降本，從而實現商業(yè)化落地資料：北京智源%%5%%%%%01

新范式下AI公司有望迎來商業(yè)模式及競爭格局雙突破

大模型驅動AI范式進入新一輪變革，有望迎來商業(yè)模式躍升及產業(yè)格局變化從AI研發(fā)范式來看，產業(yè)的話語權逐漸由應用端走向研發(fā)端，即改變了之前完全由客戶定奪市場（項目制考慮單一任務投入人力、算力、周期計算項目金額）轉向由技術定義市場（MAAS，客戶無法估測基礎模型攤薄成本，基座模型大力投入限制參與玩家，話語權降低）AI商業(yè)模式有望從項目制主打應用落地走向訂閱制MAAS主打基礎模型技術支持，產業(yè)話語權提升的帶來產業(yè)鏈核心價值的聚集另一方面，由于基座模型需要大量基礎資源（數據+算力+人才）的消耗，提升了進入門檻，模型能力成為核心判定指標，行業(yè)格局有望從分散走向集中商業(yè)模式及競爭格局有望實現雙突破互聯網互聯網教育教育金融政務等金融政務等各行各業(yè)*各種場景（無法泛化）=N個專屬模型各行各業(yè)*各種場景（大模型泛化）=基座模型+微調新產業(yè)分工出現：AI研發(fā)底層基座技術提供方+AI應用落地企業(yè)（企業(yè)本各細分領域的AI應用解決方案廠商，缺少規(guī)模效應導致玩家數量眾多身或者落地服務提供商）應用落地服基座模型提供商21務提供商玩家6玩家3玩家1玩家5基座模型提……玩家走向集中玩家2供商1應用落地服務提供商n基座模型提供商3玩家4玩家N….資料：長江證券研究所。6%%%%02大模型會完全取代小模型嗎？%%7%%%%%02

“垂類中小模型+遷移學習”、“大模型+”將長期共存

原因一：模型能力尚存局限性——目前靠“大模型+提示學習”在產業(yè)中落地仍困難重重，技術天花板尚未達到突破期

現階段大模型產業(yè)落地范式=基礎模型預訓練+微調+指令微調，該范式本質是運用了模型涌現的思維鏈能力

目前ChatGPT使用效果為當前國內外模型應用的天花板，尚未達到可以通過提示學習進入各行各業(yè)，效果受限于模型規(guī)模及數據質量ChatGPT是在GPT-3的基礎上多輪微調+指令調參指得到，尚不具備專業(yè)能力Prompt實施仍局限性：整體效果劣于微調，模型規(guī)模小時更加明顯GPT-3解決align問題基于人類反饋指令微調2020GPT-3系列SFT+RLHFCodexInstructGPT2021-2022初代Codex基于120億參數GPT-3模型在Github代碼數據上微調2022二代CodexCode-davinci-002

增加代碼數據做預訓練有監(jiān)督指令微調側重于代碼能力2022.04-2022.07在二代Codex基礎上做有監(jiān)督指令微調側重于文本能力GPT-3.5系列Text-davinci-0022022.05-2022.06Text-davinci-003ChatGPT2022.112022.11經過RLHF訓練的InstructGPT公開NLP任務效果更好使用對話數據進行強化學習指令微調建模對話歷史的能力顯著提升資料：notion，《The

Power

ofScale

for

Parameter-Efficient

Prompt

Tuning》Brian

Lester等著，長江證券研究所。8%%%%02

“垂類中小模型+遷移學習”、“大模型+”將長期共存

原因二：大模型應用成本較高，可用場景需要擁有較大規(guī)模高質量數據集，算力、基礎設施、數據規(guī)模三大核心要素影響模型選擇

大模型成本包括：訓練數據的準備、訓練過程、測試評測三大部分。每一部分包括在該部分所需要的人力成本、計算成本等；不包括：可以分攤到多個大模型訓練的成本項，例如工具的開發(fā)、新算法的研發(fā)等，模型的開發(fā)成本十分高昂。中文高質量數據集仍十分稀缺（100萬條Common

Crawl網頁數據站源IP數量分布及占比）LLM模型開發(fā)成本估算，數據+訓練+評測成本都很高昂國家或地區(qū)美國數量106465892452215781184482占比41.20%22.80%17.50%6.11%日本中國大陸中國香港南非4.58%中國臺灣新加坡其他1.87%1460.56%1392258425.39%合計100.00%智源Aquila天鷹語言模型與訓練數據集分布：百億通用模型需要的數據量已經巨大資料：2023年北京智源大會，長江證券研究所。%%9%%%%%02

“垂類中小模型+遷移學習”、“大模型+”將長期共存

原因三：模型精確度仍有提升空間，對于真值更加重要的場景，可解釋性及準確性為首要核心考量LLM模型發(fā)展仍具有很多挑戰(zhàn)GPT-4的幻覺現象資料：《Challenges

and

Applications

of

Large

Language

Models》Jean

Kaddourα等著，長江證券研究所。10%%%%02

“垂類中小模型+遷移學習”、“大模型+”將長期共存

“垂類中小模型+遷移學習”“大模型+”將長期共存，根本是場景匹配度與成本

“大模型+”將更多聚焦提升通用能力水平，有望質變改變用戶體驗，適合通用+泛化性強的場景，例如個人生活助手、流量入口等現階段，小模型與大模型結合使用將具備更好效果小模型

+

遷移學習+

提示/指令微調大模型低

參數+低通用性大參數

高通用性+目標領域的知識在基礎大模型中，提示/指令微調僅僅是對“告知”模型該如何完成一種任務

——

Superficial

Alignment

Hypothesis目標領域的知識主要通過遷移學習過程中的微調訓練獲得。所以，需要確保遷移學習過程中的微調數據足以覆蓋所有知識/認知場景。高精度+限定場景通用

泛化性強+適合對精度要求高，但對泛化能力要求低的窄域場景（如工業(yè)質檢、醫(yī)療影像分析）適合對泛化、通用能力要求高的廣域場景，但精度要求不高。低成本+低時延成本與時延不敏感適合成本要求低、時延要求高的場景（如自動駕駛、工業(yè)智能控制）適合成本要求不敏感、時延要求不敏感的場景大模型可以作為教師模型加快模如何選擇模型尺寸、把大模型資料：北京智源人工智能研究院，文匯報社，長江證券研究所。%%11%%%%%02

關注具備模型構建能力+垂類場景數據掌控能力的優(yōu)勢廠商

大模型范式的出現本質上是降低了AI應用的進入壁壘，并且對于所有廠商有益

現存基座模型的能力尚未發(fā)生繼GPT-3.5問世后的新一輪質變，原有AI公司長期積累的渠道及賽道優(yōu)勢仍存，其中憑借賽道優(yōu)勢能夠掌握垂類場景數據的廠商值得關注

盡管AI應用廠商可以憑借接入第三方大模型降低落地壁壘，但同時能力迭代及原有技術優(yōu)勢將會受限，因此具備模型構建能力的廠商有望搶先卡位，獲得先發(fā)帶來的品牌優(yōu)勢及用戶粘性AI研發(fā)范式的改變降低了AI應用進入的壁壘，數據的稀缺性和模型構建能力成為核心競爭要素資料：北京智源人工智能研究院，文匯報社，長江證券研究所。12%%%%03如何看待開源與閉源之爭？%%13%%%%%03

開源模型和閉源模型之爭可以轉換為場景之爭OpenAI-GPT-4AI21-Jurassic-2Anthropic-Claude清華大學-Chat

GLMGoogle-Flan

UL2Google-BardMeta-LLaMA開源閉源2023Meta-OPT-IMLAnthropic-LM

v4-s3Meta-Galactica清華大學-GLMOpenAI-ChatGPTHuggingFace-BLOOMZGoogle-FlanPaLMGoogle-Flan

T5Yandex-YaLMEleutherAI-SparrowHuggingFace-BLOOMGoogle-MinervaAI21百度微軟2Google-UL2HuggingFace-Tk1111333開源閉源Meta-OPTGoogle-PaLMEleutherAI-GPT-NeoXDeepmindDeepmind-ChinchillaGoogle-LaMDAOpenAI-InstructGPTAnthropicEleutherAIGoogle-ST-Moe百度-ERNIE

3.02022

HuggingFaceOpenAI5Deepmind-GopherAnthropic-LM25OpenAI-CodeXGoogle-GLaMMeta7微軟-MT-NLGGoogle87EleutherAI-GPT-JAI21-Jurassic-1EleutherAI-GPT-NeoGoogle-Switch2021HuggingFace-T0OpenAI-GPT-3微軟-DeBERTaGoogle-mT5Standford-ELECTRA2020Meta-ALBERTHuggingFace-DistillBERTGoogle-T5Meta-BARTGoogle-XLNeTOpenAI-GPT-2Meta-RoBERTa百度-ERNIE20192018Google-BertOpenAI-GPT-1Encode

DecoderAllen

AI

-

ELMoFastTextGLoVeWord2Vec資料：《Harnessing

thePower

of

LLMs

inPractice:

ASurvey

on

ChatGPT

andBeyond》,

Yangetal.，長江證券研究所。14%%%%03

閉源模型聚焦提升模型能力天花板的突破，在通用+泛用性的場景中更具優(yōu)勢

閉源模型核心是追逐能力的里程碑，模型體驗感佳，迭代速度更快，在面向公眾，通用+泛用性強的場景中更具優(yōu)勢

目前閉源模型主力廠商為OpenAI及Google，雙方均聚焦模型能力的邊界持續(xù)探索，成為行業(yè)應用落地的標桿。其中OpenAI率先實現C端落地的商業(yè)模式，并且率先解決了模型架構設計、調參方式及多模態(tài)的探索。Google緊隨其后奮起直追，多聚焦于具身智能的多模態(tài)模型，有望爭取新一輪里程碑機遇。對于閉源廠商來說，就如同手機行業(yè)的蘋果，其閉源屬性助力其在模型工程化落地過程中形成的經驗壁壘及技術壁壘的構建，有望率先享受技術進步帶來的紅利。OpenAI持續(xù)推進模型能力及應用方式的探索Google繼Palm-E后推出RT-2架構，可實現直接控制機器人資料：GPT-4

Technical

Report，OpenAI，《RT-2:

Vision-Language-Action

Models

Transfer

WebKnowledge

toRobotic

Control》Anthony

Brohan等著，