2023 AI行業(yè)深度報(bào)告：ChatGPT,AI模型框架研究

ChatGPT：

AI模型框架研究——AI行業(yè)深度報(bào)告一、

AI框架重要性日益突顯，框架技術(shù)發(fā)展進(jìn)入繁榮期，國內(nèi)AI框架技術(shù)加速發(fā)展：1、AI框架作為銜接數(shù)據(jù)和模型的重要橋梁，發(fā)展進(jìn)入繁榮期，國內(nèi)外框架功能及性能加速迭代；2、Pytorch、Tensorflow占據(jù)AI框架市場(chǎng)主導(dǎo)地位，國內(nèi)大廠加速布局AI框架技術(shù)；3、AI框架技術(shù)從工具逐步走向社區(qū)，生態(tài)加速形成，未來圍繞安全可信、場(chǎng)景落等維度呈現(xiàn)顯著發(fā)展趨勢(shì)；二、

GPT開啟AI大模型時(shí)代，國內(nèi)外大廠發(fā)力布局，

商業(yè)化空間加速打開：1、數(shù)據(jù)、算法、模型三輪驅(qū)動(dòng)AI發(fā)展，大模型優(yōu)勢(shì)顯著，成為AI主流方向；2、GPT開啟千億參數(shù)級(jí)AI大模型時(shí)代，語言、視覺、科學(xué)計(jì)算等大模型快速發(fā)展；3、微軟加速AI商用化進(jìn)程，國內(nèi)大廠發(fā)力布局，看好在細(xì)分場(chǎng)景下的應(yīng)用落地；三、建議關(guān)注標(biāo)的：1、基礎(chǔ)層：AI算力：中科曙光；大模型：360，科大訊飛2、應(yīng)用層：AI+工具：金山辦公；AI+建筑：廣聯(lián)達(dá)；AI+法律：通達(dá)海；AI+醫(yī)療：創(chuàng)業(yè)慧康，久遠(yuǎn)銀海；AI+教育：科大訊飛；AI+網(wǎng)安：安恒信息、奇安信；AI+金融：同花順；

AI+交通：佳都科技風(fēng)險(xiǎn)提示：

1、AI技術(shù)發(fā)展不及預(yù)期；2、版權(quán)、倫理和監(jiān)管風(fēng)險(xiǎn)；摘要2AI框架3人工智能基礎(chǔ)設(shè)施物理資源調(diào)度、I/O設(shè)備管理

數(shù)據(jù)準(zhǔn)備環(huán)境安裝算法實(shí)現(xiàn)模型訓(xùn)練模型驗(yàn)證

數(shù)據(jù)準(zhǔn)備

環(huán)境安裝 算法實(shí)現(xiàn) 模型訓(xùn)練深度學(xué)習(xí)框架人工智能開發(fā)

鏈條長且復(fù)雜深度學(xué)習(xí)框架：人工智能時(shí)代的操作系統(tǒng)分布式硬件資源數(shù)據(jù)

支持AI領(lǐng)域的快速變化

開發(fā)者使用簡(jiǎn)單

推理訓(xùn)練模型支持計(jì)算機(jī)視覺應(yīng)用使用主流編程語言GPU加速拓展包通用模型架構(gòu)使用深度學(xué)習(xí)框

架工具進(jìn)行開發(fā)使用深度學(xué)習(xí)框

架工具進(jìn)行開發(fā)資料來源：北京日?qǐng)?bào)，認(rèn)知計(jì)算與云安全公眾號(hào)，華為云，45資料來源：中國信息通信研究院《2022年AI框架技術(shù)白皮書》，

算子優(yōu)化統(tǒng)一標(biāo)準(zhǔn)端云一體大模型大任務(wù)全場(chǎng)景

隱私與公平……人工智能框架技術(shù)發(fā)展進(jìn)入繁榮期生態(tài)友好分布式支持效率優(yōu)化可拓展編譯層優(yōu)化多場(chǎng)景任務(wù)支持豐富套件支持使用簡(jiǎn)單多GPU支持復(fù)雜網(wǎng)絡(luò)支撐API復(fù)雜無GPU支持手動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)2000年~萌芽階段2019-2020年~深化階段2015-2018年穩(wěn)定階段2012年~成長階段未來01指令式聲明式PythonLua，

Python(new)C++PythonC++Lua，Python(new)PythonC++、CUDA、Python√√√√√√√√靜態(tài)靜態(tài)動(dòng)態(tài)動(dòng)靜兼容靜態(tài)基于源碼轉(zhuǎn)換自動(dòng)微

分，不依賴計(jì)算圖動(dòng)靜合一√√√√√速度快、使用方便、社區(qū)好性能高、適合

做語音任務(wù)高效靈活、易用容易上手簡(jiǎn)單清晰移動(dòng)端高性能、

通用輕便高效靈活、易用靈活高效2013201420152016201720202020202x國內(nèi)外深度學(xué)習(xí)框架國際主流深度學(xué)習(xí)框架：互聯(lián)網(wǎng)巨頭主導(dǎo)開發(fā)01資料來源：機(jī)器之心，CSDN，是否是分布式框架深度學(xué)習(xí)框架特點(diǎn)/優(yōu)點(diǎn)發(fā)布時(shí)間是否開源開發(fā)公司計(jì)算圖語言67資料來源：Papers

with

Code，Omedia，TensorFlow+Pytorch占據(jù)市場(chǎng)主導(dǎo)地位2018-2022年全球論文發(fā)表數(shù)量(按使用框架分)2022年中國開發(fā)者人工智能框架使用率01TensorFlowPytorch適用人群廣泛深度學(xué)習(xí)初學(xué)者：快速實(shí)現(xiàn)模型算法，加深深度學(xué)習(xí)概念認(rèn)識(shí)；機(jī)器學(xué)習(xí)愛好者：快速實(shí)現(xiàn)人臉識(shí)別、目標(biāo)檢測(cè)、圖像生成等AI功能及實(shí)驗(yàn)；算法研究員：最新arXiv論文算法快速復(fù)現(xiàn)及開發(fā)；

01

Pytorch：

Meta開源的主流學(xué)習(xí)框架Pytorch版本平均每3~4個(gè)月更新一次，功能服務(wù)持續(xù)擴(kuò)充2017年，

Pytorch2019年5月，1.1版2020年1月，1.4版2020年11月，

1.7版2022年11月，2.0版正式發(fā)布支持TensorBoard，支持分布式模型支持Windows上的分布式Transformer模型增強(qiáng)可視化并行訓(xùn)練訓(xùn)練，提供更多API訓(xùn)練速度提升1.5-2.0倍多維優(yōu)勢(shì)支持Pytorch實(shí)現(xiàn)對(duì)TensorFlow的反超2018年4月，0.4版2019年10月，1.3版2020年4月，1.5版2021年3月，1.8版支持Windows，支持移動(dòng)設(shè)備部署，與Amazon合作，提升支持AMD

GPU并入caffe2更多功能工具開發(fā)者模型部署效率大廠支撐Meta維護(hù)開發(fā)門檻低只需要Numpy和基本深度學(xué)習(xí)概念代碼簡(jiǎn)潔靈活基于動(dòng)態(tài)圖機(jī)制，網(wǎng)絡(luò)搭建更方便資源豐富arXiv新算法大多基于

Pytorch實(shí)現(xiàn)開發(fā)者多Github上貢獻(xiàn)者1100+文檔規(guī)范官方社區(qū)可查看各版本文檔資料來源：CSDN，8?簡(jiǎn)單易懂：

PyTorch

具有用戶友好的

API；?便于調(diào)試：

對(duì)

Python

生態(tài)的良好支持；?強(qiáng)大高效：

Pytorch提供了非常豐富的模型組件。9資料來源：OpenAI官網(wǎng)，Pytroch成為統(tǒng)一的深度學(xué)習(xí)框架極大縮短研究周期

2015年

2020年

Open

AI：從多種框架的使用到專注于Pytroch深度模型框架轉(zhuǎn)變?cè)蛱厥馇闆r使用

Theano大多數(shù)情況使用

TensorFlow01方便優(yōu)化模型的

自動(dòng)微分機(jī)制支持GPU加速

的張量計(jì)算核心

功能Tensorflow從0.1到2.0的發(fā)展歷程運(yùn)用更簡(jiǎn)單的模型進(jìn)行構(gòu)建、簡(jiǎn)化

PITensorflow2.0發(fā)布Tensorflow：谷歌開源的向更加易用發(fā)展的主流學(xué)習(xí)框架優(yōu)點(diǎn)：簡(jiǎn)化的模型開發(fā)流程、強(qiáng)大

的跨平臺(tái)能力、強(qiáng)大的研究發(fā)現(xiàn)缺乏調(diào)度能力，需手動(dòng)配置Tensorflow2.3發(fā)布添加兩種新機(jī)制，解決輸入管

道瓶頸并節(jié)約資源缺點(diǎn)：調(diào)試?yán)щy、

API混

亂、入門困難優(yōu)點(diǎn)：更快、更靈活、

隨時(shí)就緒引入更高級(jí)的API，可在

移動(dòng)設(shè)備上運(yùn)行Tensorflow1.0.0發(fā)布，

穩(wěn)定版誕生使得神經(jīng)網(wǎng)絡(luò)能夠

有效計(jì)算采用CPU+GPU計(jì)

算模型開源Tensorflow

0.1版本改進(jìn)之處發(fā)布版本缺點(diǎn)優(yōu)點(diǎn)資料來源：騰訊云，CSDN，helloword，城市經(jīng)濟(jì)網(wǎng)，2019年202x年2015年2017年0110基礎(chǔ)層編程開發(fā)分布式并行編譯優(yōu)化硬件使能組件層并行及優(yōu)化組件科學(xué)計(jì)算組件安全可信組件工具組件生態(tài)層套件-模型庫(CV、NLP…)AI+科學(xué)計(jì)算(電磁仿真、視頻生成…)文檔AI框架技術(shù)呈現(xiàn)三層次結(jié)構(gòu)，從工具走向社區(qū)生態(tài)AI領(lǐng)域擴(kuò)展庫(GAN、強(qiáng)化學(xué)習(xí)…)計(jì)算圖中間表示編程接口API計(jì)算算子社區(qū)編碼語言通信算子資料來源：中國信息通信研究院《2022年AI框架技術(shù)白皮書》，

科學(xué)計(jì)算(數(shù)值方法)科學(xué)計(jì)算(AI方法)算子生成圖算融合內(nèi)存優(yōu)化模型可解釋數(shù)據(jù)-模型安全自動(dòng)并行高階優(yōu)化器訓(xùn)練可視化調(diào)試器…………AI框模型輕量化推理

部署訓(xùn)練

開發(fā)動(dòng)靜轉(zhuǎn)換自動(dòng)微分架11飛槳產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開源開放平臺(tái)工具與

組件自動(dòng)化深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)聯(lián)邦學(xué)習(xí)圖學(xué)習(xí)科學(xué)計(jì)算量子機(jī)器學(xué)習(xí)生物計(jì)算學(xué)習(xí)與實(shí)訓(xùn)社區(qū)端到端開發(fā)套件基礎(chǔ)模型庫核心框架語義理解自然語言處理圖像生成大模型訓(xùn)推一體時(shí)間序列文心大模型開發(fā)訓(xùn)練模型

壓縮推理部署飛槳企業(yè)版零門檻AI開發(fā)平臺(tái)全功能AI開發(fā)平臺(tái)百度PaddlePaddle飛槳平臺(tái)計(jì)算機(jī)視覺邊緣與移動(dòng)端推理引擎前端

推理引擎推薦服務(wù)化部署全場(chǎng)景統(tǒng)一部署語音文字識(shí)別資源管理與調(diào)度工具預(yù)訓(xùn)練模型應(yīng)用工具目標(biāo)檢測(cè)圖像分類云上部署編排工具低代碼開發(fā)工具可視化分析工具安全與隱私工具大規(guī)模分布式訓(xùn)練01資料來源：CSDN、中國日?qǐng)?bào)中文網(wǎng)、產(chǎn)業(yè)級(jí)數(shù)據(jù)處理服務(wù)器

推理引擎靜態(tài)圖動(dòng)態(tài)圖圖像分割12多種開發(fā)語言無縫銜接動(dòng)靜圖轉(zhuǎn)換能力提升

后端運(yùn)行效率AI框架與硬件平臺(tái)解耦，通過標(biāo)準(zhǔn)接口實(shí)現(xiàn)跨設(shè)備平臺(tái)快速部署突破五堵墻：內(nèi)存墻+算力墻+通信墻+調(diào)優(yōu)墻+部署墻未來AI框架技術(shù)將呈現(xiàn)六大發(fā)展趨勢(shì)發(fā)展趨勢(shì)提供豐富的AI

魯棒性檢測(cè)工具AI

模型的壓縮和端側(cè)推理框架的輕量化全場(chǎng)景標(biāo)準(zhǔn)化互通內(nèi)置專業(yè)領(lǐng)域科學(xué)計(jì)算套件豐富編程接口后端高效化分布式處理泛開發(fā)全場(chǎng)景超大規(guī)模工程化安全可信科學(xué)計(jì)算模型可解釋框架精細(xì)化統(tǒng)一加速引擎前端便捷化混合并行模型自適應(yīng)魯棒性檢測(cè)自動(dòng)微分資料來源：中國信息通信研究院《2022年AI框架技術(shù)白皮書》、01前景展望泛開發(fā)13AI大模型1415資料來源：CSDN、騰訊網(wǎng)、新浪網(wǎng)、算法迭代

1958年1965年1989年，CNN算法

1997年2006年神經(jīng)網(wǎng)絡(luò)提出專家系統(tǒng)誕生應(yīng)用于圖像識(shí)別網(wǎng)頁評(píng)級(jí)算法深度學(xué)習(xí)興起算力+數(shù)據(jù)支撐AI大模型加速發(fā)展1965年摩爾定律計(jì)算和存儲(chǔ)能力增長1997年，IBM

2002年戰(zhàn)勝卡斯帕羅夫云存儲(chǔ)、云計(jì)算誕生2016年谷歌推出TPU加速機(jī)器學(xué)習(xí)過程2012年深度學(xué)習(xí)算法在圖像分類任務(wù)2021年Alphafold實(shí)現(xiàn)蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)2005年全球互聯(lián)網(wǎng)用戶超10億2009年引入Spark算法處理大數(shù)據(jù)2005年1G磁盤存儲(chǔ)成本降至2美元2010年開始使用GPU訓(xùn)練AI模型2010年全球智能手機(jī)銷量超3億部022013年谷歌AI學(xué)會(huì)策略類游戲2022年

ChatGPT2006年Hadoop技術(shù)2007年iPhone發(fā)布2018年GPT大模型2004年分布式技術(shù)1991年萬維網(wǎng)開放2017年AlphaZero數(shù)據(jù)爆炸取得突破資料來源：IDC《2022中國大模型發(fā)展白皮書》、大模型為基底，

AI大模型發(fā)展為場(chǎng)景應(yīng)用奠定重要基礎(chǔ)泛化性+通用性AI應(yīng)用通用化AI開發(fā)工程化項(xiàng)目建設(shè)集約

化開發(fā)門檻低AI大模型優(yōu)勢(shì)大模型意義0216高效率完成再現(xiàn)、預(yù)測(cè)和

發(fā)現(xiàn)客觀世界運(yùn)動(dòng)規(guī)律及

演化特征的全過程“AI+科學(xué)計(jì)算”(科學(xué)智能)引發(fā)科研方式的大變革，如

生物制藥、氣象預(yù)報(bào)、地震探測(cè)等科研領(lǐng)域逐漸成熟科學(xué)計(jì)算大模型對(duì)開發(fā)者專業(yè)知識(shí)要求嚴(yán)苛，高質(zhì)量訓(xùn)練數(shù)據(jù)的獲取成本高，導(dǎo)致模型整體研發(fā)成本昂貴科技大廠與科研院校加強(qiáng)

合作利用計(jì)算機(jī)模擬、延伸及

拓展人類語言能力在語言理解與生成、智能創(chuàng)作、機(jī)器翻譯、智能對(duì)話、知識(shí)圖譜和定制化語言解決方案落地應(yīng)用發(fā)展順利語言的歧義、文化差異及

多樣化、情感分析困難以多個(gè)數(shù)據(jù)信息維度約束

來驗(yàn)證情感分析及文本分

析的準(zhǔn)確性計(jì)算機(jī)模擬生物視覺，理

解數(shù)字圖像和視頻，并提

取目標(biāo)信息2D數(shù)據(jù)工業(yè)質(zhì)檢、智慧城市落地完善，應(yīng)用場(chǎng)景多；人臉、OCR識(shí)別發(fā)展較為成熟3D/4D數(shù)據(jù)識(shí)別面臨變形、光照、遮擋等問題；數(shù)字人、數(shù)字孿生的數(shù)據(jù)獲取困難，算法處理復(fù)雜打通數(shù)據(jù)融合以突破3D/4D獲取瓶頸17資料來源：IDC《2022中國大模型發(fā)展白皮書》、定義現(xiàn)狀挑戰(zhàn)未來發(fā)展按照目標(biāo)不同，

AI大模型可分為四類，多模態(tài)為未來方向理解能力應(yīng)用場(chǎng)景多模態(tài)大模型科學(xué)計(jì)算大模型02NLP大模型融合CV大模型計(jì)算性能GPT-4GPT-3GPT-2GPT-102推出年份2018201920202023Transformer

層數(shù)124896-參數(shù)量1.2億15.8億1750億-預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB-AI邁入大模型時(shí)代，參數(shù)量過千億資料來源：電子工程世界、微軟官網(wǎng)、OpenAI官網(wǎng)、Github、Meta

AI官網(wǎng)，，單位：億EleutherAI

GPT-NeoX(200)微軟和英偉達(dá)

Megatron-

Turing

NLG

(5300)Naver

Corp

HyperCLOVA

(2040)20202018202220212019Micrasoft

Truning-NLG

(172)Google

ELECTRA

(1.02)Facebook

M2m-100

(150)OpenAi

GPT-3

(1758)Google

BigBird

(1750)百度

ERINE3.0

(100)百度

ERNIE

3.0

Titan

(2600)Google

Gopher

(2800)Google

LaMDA

(2800)Google

ALBERT

(0.31)NIVIDIA

Megatron-LM

(83)Google

T5

(110)OpenAi

GPT-2

(15.8)Google

FLAN

(1370)GLM

(1300)Eleuther

AI

GPT-j

(60)Facebook

XLMFacebook

BARTFacebook

RobertTa

(3.35)百度

ERINE1.0百度

ERINE2.0Google

BERT-Large

(3.4)Google

PaLM

(5400)BigScience

BLOOM

(1760)Meta

AI

OPT

(1750)OpenAi

InstructGBT

(13)Google

BERT-base

(1.1)OpenAi

GPT-1

(1.2)18InstructGPT/GPT3.5Transformer時(shí)間提出者模型名稱功能意義2021年1月OpenAICLIP-DALL

·E以文搜圖，按照文字描述生成對(duì)應(yīng)圖片CLIP的zero-shot

learning技術(shù)在各種數(shù)據(jù)集上的

表現(xiàn)都很好2021年5月GoogleMUM多功能統(tǒng)一模型可從

75

種不同語言中挖掘出的上下文信息對(duì)用戶搜

索結(jié)果進(jìn)行優(yōu)先排序2021年9月百度DocVQA跨模態(tài)文檔理解登頂DocVQA榜首2021年11月NVIDAGauGAN2ChatGPT可用文字和圖畫混合創(chuàng)造逼真的藝術(shù)2021年11月Microsoft

&

北大NvWa女媧實(shí)現(xiàn)文本/草圖轉(zhuǎn)圖像、圖像補(bǔ)全、文字指示修改圖像視

頻、文字/草圖轉(zhuǎn)視頻、視頻預(yù)測(cè)等在8種圖像和視頻處理的視覺任務(wù)上具有出色的合成

效果2021年12月NVIDAPoE

GAN-可以在單模態(tài)、多模態(tài)輸入甚至無輸入時(shí)生成圖片。2022年1月百度ERNIE-ViLGGPT-3刷新文本生成圖像、圖像描述等多個(gè)跨模態(tài)生成任

務(wù)最好效果2022年1月MetaAu-HuBERT在嘈雜的環(huán)境下，通過讀唇可以將語言識(shí)別的準(zhǔn)確

性最高提升6倍。2022年7月MetaMake-a-Scene文本生成圖像，并允許文本輸入進(jìn)行有針對(duì)性創(chuàng)作用戶獲得更豐富的個(gè)人理念定制，從而生成更加具

有針對(duì)性的畫作2022年9月OpenAIWhisper語音生成文本，

支持語音轉(zhuǎn)錄和翻譯兩項(xiàng)功能并接受各種

語音格式多模態(tài)AI模型有望進(jìn)入商用時(shí)代2022年9月MetaMake-a-Video文本、圖片生成短視頻，根據(jù)輸入的自然語言文本生成一

段5秒鐘左右的短視頻。AIGC進(jìn)入視頻創(chuàng)作領(lǐng)域2022年11月NVIDAMagic3D根據(jù)文字描述生成

3D

模型，可將低分辨率生成的粗略模

型優(yōu)化為高分辨率的精細(xì)模型3D建模效率更高，且成本更低國內(nèi)外大廠相繼布局各模態(tài)AI模型文字描述、圖像分割、草圖都可以轉(zhuǎn)化為圖片，還可同時(shí)

接受以上幾種輸入模態(tài)的任意兩種組合根據(jù)輸入的文本/簡(jiǎn)筆畫生成對(duì)應(yīng)逼真的風(fēng)景圖、輸入圖

像并編輯部分內(nèi)容資料來源：澎湃網(wǎng)、CSDN、百度、OpenAI官網(wǎng)、Meta，通過輸入語音音頻和唇語視頻內(nèi)容，輸出對(duì)應(yīng)文本02圖文雙向生成1902

OpenAI以GPT為基石，深度布局各模態(tài)AI及各類應(yīng)用

Whisper

語音-文本模型

DALL-E2

文本-圖像模型

ChatGPTGPT-3Transformer類別名稱參數(shù)量基礎(chǔ)版本Davinci1750億Curie67億Babbage10億代碼生成Code-Cushman-001120億關(guān)聯(lián)分析Text-similarity-davinci-0011750億Text-similarity-curie-00160億GPT-1GPT-2GPT-3InstructGPT論文年份2018201920202022Transformer層數(shù)124896—參數(shù)量1.2億15.8億1750億13億預(yù)訓(xùn)練數(shù)據(jù)量5GB40GB45TB—多樣的模型調(diào)用接口來源：CSDN，電子工程世界，騰訊網(wǎng)，GPT模型迭代2021資料來源：CSDN、機(jī)器學(xué)習(xí)算法與自然語言處理、電子工程世界等、微軟云AzureTransformerPyTorchChatGPTInstructGPT/GPT-3.5深度學(xué)習(xí)框架易于使用

API

迭代更穩(wěn)定02

ChatGPT實(shí)現(xiàn)路徑：算力與框架支持，應(yīng)用百花齊放算力資源OpenAI的獨(dú)家云提供商Transfomer的Decoder

分支1750

億個(gè)參數(shù)

小樣本學(xué)習(xí)能力對(duì)話類搜索引擎對(duì)話AI模型語音工作助手人工監(jiān)督微調(diào)無代碼

編程大模型小說生成語音陪伴機(jī)器翻譯人工智能客服對(duì)話虛擬人模型模型人類反饋強(qiáng)化學(xué)習(xí)RLHFAttention機(jī)制人類反饋強(qiáng)化學(xué)習(xí)RLHF承認(rèn)自身錯(cuò)誤承認(rèn)自身的無知連續(xù)多輪對(duì)話質(zhì)疑不正確的問題參數(shù)少速度快效果好GPT-3GPT-3資料來源：CSDN、電子工程世界、新智元、02

基于InstructGPT形成ChatGPT對(duì)話系統(tǒng)

代碼訓(xùn)練

指令微調(diào)

(instruction

tuning)

基于人類反饋的強(qiáng)化學(xué)習(xí)

(RLHF)InstructGPT

參數(shù)數(shù)量降低了100倍(1750億-

>13億)

增加Chat屬性

網(wǎng)頁公眾測(cè)試入口ChatGPT

略微降低參數(shù)量22新增聊天窗口通過將人工智能模型應(yīng)用于核心搜索算法，改進(jìn)了核心搜索指數(shù)，使得搜索結(jié)果相關(guān)性實(shí)現(xiàn)飛躍Bing在OpenAI的下一代LLM模型

上運(yùn)行，該模型專門為搜索定制，

比ChatGPT更強(qiáng)大普羅米修斯(Prometheus)模

型：可以提高搜索結(jié)果相關(guān)性，并對(duì)答案進(jìn)行注釋能動(dòng)的提供解決方案：創(chuàng)建菜譜、制定旅行

計(jì)劃、詩歌創(chuàng)作等搜索引擎Bing集成ChatGPT，即時(shí)生成個(gè)性化規(guī)劃與建議搜索與聊天相結(jié)合，除了傳統(tǒng)的搜索結(jié)果外，還提供了聊天界面將ChatGPT整合進(jìn)Bing和Edge

新版Bing搜索引擎

四大技術(shù)突破

傳統(tǒng)信息搜索框新版Bing功能展示搜索模型搜索性能用戶體驗(yàn)答案相關(guān)02

資料來源：微軟、The

Verge，23Copilot工作原理?自動(dòng)匯集個(gè)人已有的數(shù)據(jù)和資料生成內(nèi)容，上傳到Microsoft

Graph?Copilot成為智能個(gè)人數(shù)字助

理

&實(shí)用的內(nèi)容生成工具?Copilot旨在協(xié)助用戶生成文檔、電子郵件、演示文稿和更多內(nèi)容?Copilot主要由OpenAI的GPT-4驅(qū)動(dòng)，會(huì)與微軟365應(yīng)用程序一起，作為聊天機(jī)器人的模式，出現(xiàn)在側(cè)邊欄?Copilot嵌入到人們每天使用的Microsoft365應(yīng)用中?商務(wù)聊天

Business

Chat。

Business

Chat

將匯總電子郵件、

文件、文檔、會(huì)議、聊天記錄、日歷等資料，并歸納總結(jié)微軟發(fā)布Microsoft

365

Copilot，引領(lǐng)下一代AI大模型02數(shù)據(jù)來源：微軟官網(wǎng)，Microsoft

365

CopilotCopilot工作方式24?Copilot可以跨應(yīng)用程序生成內(nèi)

容。例如，根據(jù)Word文檔，可

以生成一個(gè)10張幻燈片的PPT?

提升演講效果，增加字體大小和間距，在演講稿中添加演講提醒?一鍵壓縮冗長的演示文稿，調(diào)整

布局、重新格式化文本和完美的時(shí)間動(dòng)畫。?

在短時(shí)間內(nèi)識(shí)別趨勢(shì)或創(chuàng)建

數(shù)據(jù)可視化?數(shù)據(jù)歸納處理，

分析或格式化Excel數(shù)據(jù)，生成直觀圖像?Excel用戶可以通過Copilot即時(shí)創(chuàng)建SWOT分析或基于數(shù)據(jù)的PivotTable?

在對(duì)話上下文中提供實(shí)

時(shí)摘要和操作項(xiàng)，進(jìn)行會(huì)議內(nèi)容總結(jié)，提醒可能錯(cuò)過的東西?

如果參加會(huì)議時(shí)間較晚，copilot會(huì)提供一份錯(cuò)

過的內(nèi)容摘要，從而提高會(huì)議效率?Copilot可以根據(jù)需求

創(chuàng)建初稿?對(duì)文本內(nèi)容進(jìn)行提煉、

改寫、簡(jiǎn)化，查漏補(bǔ)缺?

用戶還可以根據(jù)需求調(diào)

整AI的語氣，包括嚴(yán)肅、熱情、感謝等Copilot

AI

功能的應(yīng)用場(chǎng)景，大幅提高辦公效率Copilot

in

PowerPointCopilot

in

ExcelCopilot

in

WordCopilot

in

Teams02數(shù)據(jù)來源：微軟官網(wǎng)，應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景25Phenaki

文本-視頻

GPT-3ChatGPT類別模型功能計(jì)算機(jī)視覺Pix2Seq用于對(duì)象檢測(cè)的語言建模框架多模式模型DeViSE視覺語義嵌入LiT將語義理解添加到圖像模型PaLI多語種語言圖像學(xué)習(xí)FindIt基于自然語言的通用對(duì)象定位VDTTS視覺驅(qū)動(dòng)的文本到語音音頻生成AudioLM基于語言建模的音頻生成26來源：CSDN，新浪，Google

Parti，Parti

文本-圖像官方開源多個(gè)多模態(tài)模型Google在各模態(tài)領(lǐng)域布局AI模型，并提供多項(xiàng)功能服務(wù)模塊LOLNerf

2D圖像-3D圖像Flamingo

圖像-文本02

(1)大廠獨(dú)立完成(2)機(jī)構(gòu)+高校(3)大廠+高校(4)大廠+機(jī)構(gòu)+高校。大廠通過資金優(yōu)勢(shì)、數(shù)據(jù)優(yōu)勢(shì)往往可以獨(dú)立完成或主導(dǎo)合作。機(jī)構(gòu)憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)和政府的資金支持，可以主導(dǎo)合作。而高校憑借行業(yè)領(lǐng)袖的團(tuán)隊(duì)提供科

研能力支持。

過去來看，由于大廠受到商業(yè)任務(wù)限制，資金和數(shù)據(jù)優(yōu)勢(shì)未能充分發(fā)揮。而未來，在ChatGPT之后，

經(jīng)過驗(yàn)證的模式鋪平商業(yè)決策之路，將逐步成為未來大模型的主導(dǎo)力量。02

國內(nèi)AI大模型，大廠+高校將主導(dǎo)未來1大模型的主要玩家有科技大廠、高校和新型研發(fā)機(jī)構(gòu)，形成了四種合作模式資金優(yōu)勢(shì)：算力、數(shù)據(jù)數(shù)據(jù)優(yōu)勢(shì)：數(shù)據(jù)科研能力：模型資金優(yōu)勢(shì)

數(shù)據(jù)優(yōu)勢(shì)科研能力優(yōu)勢(shì)

無商業(yè)任務(wù)資金優(yōu)勢(shì)科研能力優(yōu)勢(shì)無商業(yè)任務(wù)數(shù)據(jù)來源：CSDN、電子工程世界、新智元，新型研發(fā)機(jī)構(gòu)大廠高校27坐擁大模型+訓(xùn)練框架+數(shù)據(jù)+社區(qū)多重優(yōu)勢(shì)，百度有望成為AIGC領(lǐng)域率先實(shí)現(xiàn)商業(yè)化的領(lǐng)頭羊。

自2019年發(fā)布ERNIE1.0，百度持續(xù)投入大模型的技術(shù)創(chuàng)新與產(chǎn)業(yè)應(yīng)用，布局了NLP、CV、跨模態(tài)等大模型，率先提出行業(yè)大模型，成了支撐大模型產(chǎn)業(yè)落地的關(guān)鍵路徑，構(gòu)建文心大模型層、工具平臺(tái)層、產(chǎn)品與社區(qū)三層體系。

根據(jù)IDC的大模型評(píng)分，在產(chǎn)品能力、生態(tài)能力和應(yīng)用能力三個(gè)維度上百度均位于第一梯隊(duì)，且在生態(tài)維度遠(yuǎn)高于平均水平，這得益于百度的大模型框架“飛槳”、旸谷社區(qū)。

百度于2023年3月發(fā)布“文心一言”，成為首款中文生成式對(duì)話大模型產(chǎn)品。添加標(biāo)題EasyDL-大模型大模型API零門檻AI開發(fā)平臺(tái)大模型套件數(shù)據(jù)標(biāo)注與處理文心一格AI藝術(shù)和創(chuàng)意輔助平臺(tái)文心大模型與產(chǎn)品框架文心大模型評(píng)分百度：文心大模型02數(shù)據(jù)來源：文心官網(wǎng)，IDC

，。語音-語言ERNIE-ViL視覺-語言ERNIE-ViL地理-語言ERNIE-GeoL人民網(wǎng)-百度

·文心TCL-百度·文心國網(wǎng)-百度

·文心深燃-百度·文心冰城-百度·文心辭海-百度·文心航天-百度·文心泰康-百度

·文心浦發(fā)-百度·文心吉利-百度·文心化合物表征學(xué)習(xí)HelixGEM自監(jiān)督視覺表征學(xué)習(xí)VIMER-CAE視覺處理多任務(wù)學(xué)習(xí)VIMER-TCIR文心百中大模型驅(qū)動(dòng)的產(chǎn)業(yè)級(jí)搜索系統(tǒng)OCR圖像表征學(xué)習(xí)VIMER-StrucText多任務(wù)視覺表征學(xué)習(xí)VIMER-UFO商品圖文搜索表征學(xué)習(xí)VIMER-UMS旸谷社區(qū)大模型創(chuàng)意與探索社區(qū)鵬城-百度·文心ERNIE3.0

Zeus金融ERNIE-FinanceBML-大模型全功能AI開發(fā)平臺(tái)單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)HelixFold-Single醫(yī)療ERNIE-Health電影頻道-百度·文心對(duì)話PLATO信息抽取ERNIE-UIE搜索ERNIE-Search蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)HelixFold代碼ERNIE-Code跨語言ERNIE-M圖網(wǎng)絡(luò)ERNIE-SageERNIE3.0

Tiny文檔智能ERNIE-Layout文圖生成ERNIE-ViLGERNIE3.0工具與平臺(tái)語言理解與生成生物計(jì)算大模型行業(yè)大模型行業(yè)大模型行業(yè)大模型行業(yè)大模型大模型精調(diào)大模型壓縮場(chǎng)景化工具高性能部署文心大模型產(chǎn)品與社區(qū)28ERNIE版本1.02.03.03.0

TITAN推出年份2019202020212022參數(shù)量參考bert

base(1.1億)參考bert

base(1.1億)，

bert

large

(3.4億)100億2608億預(yù)訓(xùn)練數(shù)據(jù)量Wiki，

baike，news，

tiebawiki，

news，

dialogue，

IR，

discourse

relation4TB-ERNIE

1.0架構(gòu)：改進(jìn)了MLM任務(wù)

ERNIE

2.0：

+持續(xù)學(xué)習(xí)框架

ERNIE

3.0、3.0TITAN：

+參數(shù)量基于BERT衍生百度文心大模型，料將推出對(duì)話系統(tǒng)文心一言注：ERNIE

(Enhanced

language