生成式AI加速創(chuàng)新行業(yè)迎歷史性機(jī)遇

生生成式AI加速創(chuàng)新，行業(yè)迎歷史性機(jī)——證券研究報(bào) 分析師：耿軍郵箱SAC執(zhí)業(yè)資格證書編聯(lián)系人：王郵箱 1.1發(fā)展歷程：算法模型持續(xù)迭代，1.1發(fā)展歷程：算法模型持續(xù)迭代，AI

官網(wǎng)，1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI441基礎(chǔ)的生成算法模型是驅(qū)動AI12014年，伊恩·古德費(fèi)洛(lanGoodfellow)提出的生成對抗網(wǎng)絡(luò)(GenerativeAdversarialNetworkGAN)成為早期最為著名的生成模型。(Flow-basedmodels)、擴(kuò)散模型(DiffusionModel)等深度學(xué)習(xí)的生成算法相繼涌現(xiàn)。圖：AIGC技術(shù)累積融1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI551基礎(chǔ)的生成算法模型是驅(qū)動AI12014基于變分下界約束得到的Encoder-Decoder模型對生成對抗網(wǎng)絡(luò)2014基于對抗的Generator-Discriminator模型對基于流的生成模型(Flow-based2015學(xué)習(xí)一個非線性雙射轉(zhuǎn)換(bijectivetransformation)，其將訓(xùn)練數(shù)據(jù)映射到另一個空間，在該擴(kuò)散模型(Diffusion20152017神經(jīng)輻射場(NeuralRadianceField2020提出了一種從一組輸入圖像中優(yōu)化連續(xù)5神經(jīng)輻射場的表示（任何連續(xù)位置的體積密度和視角相關(guān)顏色）2021使用已經(jīng)標(biāo)記好的“文字圖像”訓(xùn)練數(shù)據(jù)。一方面對文字進(jìn)行模型訓(xùn)練，一方面對圖像像特征值確認(rèn)匹配。2023用for替換了傳統(tǒng)的t主干，在潛在空間中對圖像進(jìn)行建模，并通過rnsfomer的注意力機(jī)制學(xué)習(xí)圖像的全局依賴關(guān)系，具有良好的可擴(kuò)展性，可以訓(xùn)練到更高的分辨率和更大的模型容量。1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1基礎(chǔ)的生成算法模型是驅(qū)動AI1通過梳理全球主流大語言模型(LLM)的發(fā)展脈絡(luò)，2018年以來的GPT系列、LLaMA系列、BERT系列、Claude系列等多款大模型均發(fā)源于Transformer架

1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI772預(yù)訓(xùn)練模型引發(fā)了AI2圖：預(yù)訓(xùn)練相當(dāng)于“通識教育 圖：Transformer模型結(jié)1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI2預(yù)訓(xùn)練模型引發(fā)了AI2Gemini122800481041454001750110CLIP&DALL-1202001206.41705300OPT-1750TuringM2M-100種語言互150Stable70-650LLaMA70-700Claude10Claude88

資料來源：騰訊研究院《AIGC發(fā)展趨勢報(bào)告》，智東西公眾號，澎湃新聞網(wǎng)，Llamafamily官網(wǎng)，百度云智能官網(wǎng)，Datalearner官網(wǎng)，1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI3預(yù)訓(xùn)練數(shù)據(jù)直接決定AI3ScalingLaws：模型容量、數(shù)據(jù)量、訓(xùn)練成本共同構(gòu)成了大模型訓(xùn)練的不可能三角。大模型訓(xùn)練的目標(biāo)是最大化模型性能，模型訓(xùn)練3預(yù)訓(xùn)練數(shù)據(jù)直接影響AI3用來訓(xùn)練數(shù)據(jù)的數(shù)據(jù)規(guī)模和質(zhì)量卻有很大的提升，進(jìn)而引發(fā)模型性能的飛躍。以吳恩達(dá)(AndrewNg)為代表的學(xué)者觀點(diǎn)認(rèn)為，人工智來源多數(shù)據(jù)規(guī)來源多數(shù)據(jù)規(guī)數(shù)據(jù)質(zhì)針對大模型需求制定不同場景/領(lǐng)域的數(shù)據(jù)具有不同的語言特征，對模型能力提升的點(diǎn)也不同。如:書籍語料占比提升,可以提升上下文理足夠規(guī)模的高質(zhì)量語據(jù)來訓(xùn)練。只有參數(shù)規(guī)模突破了100億高質(zhì)量訓(xùn)練集能提高模型精度,會損害模型性能。如:訓(xùn)練語料有重復(fù)，1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI3預(yù)訓(xùn)練數(shù)據(jù)直接影響AI3為了追求更好的模型性能，模型參數(shù)規(guī)模也與訓(xùn)練數(shù)據(jù)量同步快速增長，模型參數(shù)量大約每8個月時(shí)間就會增長0倍。例如16年t022年的-15億，02年的P1.1發(fā)展歷程：算法模型持續(xù)迭代，AI1.1發(fā)展歷程：算法模型持續(xù)迭代，AI44圖：中國人工智能市場規(guī)模及預(yù)測（單位：億元人民幣 圖：全球人工智能市場規(guī)模及預(yù)測（單位：億美元0

0

1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI邁向資料來源：資料來源：ShengqiongWu等《NExT-GPTAny-to-AnyMultimodalLLM11合多種模態(tài)、對齊不同模態(tài)之間的關(guān)系，使信息在模態(tài)之間傳遞。2023年以來，OpenAI發(fā)布的GPT-4V、Google發(fā)布的Gemini、Anthropic發(fā)布的Claude3均為多模態(tài)模型，展現(xiàn)出了出色的多模態(tài)理解及生成能力。未來，多模態(tài)有望實(shí)現(xiàn)anytoany模態(tài)的輸入和圖：多模態(tài)模型實(shí)現(xiàn)anytoany1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI邁向LanguageLanguageModels:ASurvey11多模態(tài)大型語言模型(MLLMs)的通用架構(gòu)，由1)視覺編碼器(VisualEncoder)、2)語言模型(LanguageModel)和3)適配器模塊(AdapterModule)組成。1)負(fù)責(zé)處理和理解輸入的視覺信息，通常使用預(yù)訓(xùn)練的視覺模型，如VisionTransformer(ViT)或其他卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)，來提取圖像特征；2負(fù)責(zé)處理文本輸入，理解和生成自然語言，語言模型基于Transformer架構(gòu)，如BERT或GPT)圖：多模態(tài)模型GPT-4V的問答展

資料來源：DavideCaffagni等《TheEvolutionofMultimodal1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI邁向資料來源：資料來源：XiaoyuLi等《Advancesin3DGenerationASurvey23D生成：AI2流技術(shù)路徑大致可分為：1)text-to-2D，再通過NeRF或Diffusion模型完成2D-to-3D，或直接通過2D素材完成3D建模；2)直接text-to-圖：3D生成技術(shù)的方法、數(shù)據(jù)集和應(yīng)1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI邁向33當(dāng)大模型遷移到機(jī)器人身上，大模型的智能和泛化能力有望點(diǎn)亮通用機(jī)器人的曙光。2023年7月，谷歌推出機(jī)器人模型RoboticsTransformer2(RT-2)，這是一個全新的視覺-語言-動作(VLA)模型，從網(wǎng)絡(luò)和機(jī)器人數(shù)據(jù)中學(xué)習(xí)，并將這些知識轉(zhuǎn)化為機(jī)器人控制的通用指令。2024年3月，機(jī)器人初創(chuàng)企業(yè)Figure展示了基于OpenAI模型的全尺寸人形機(jī)器人Figure01，機(jī)器人動作流暢，所有行為都圖：Figure01

圖：RT-2的技術(shù)原

44(AflGeneralIt,I)提出了一個（）狹義（明確范圍的任務(wù)或任務(wù)集廣義（廣泛的非體力任務(wù)，包括元認(rèn)知能力，如學(xué)習(xí)新技能0級：NoNarrowNon-AI（計(jì)算機(jī)軟件、翻狹義（明確范圍的任務(wù)或任務(wù)集廣義（廣泛的非體力任務(wù)，包括元認(rèn)知能力，如學(xué)習(xí)新技能0級：NoNarrowNon-AI（計(jì)算機(jī)軟件、翻譯器EmergingNarrowAI(GOFAI4:簡單基于規(guī)則的系統(tǒng)，例如SHRDLU(Winograd,1971))2級：Competent（至少50百分位的熟手CompetentNarrow(Jigsaw,Siri,Alexa,GoogleAssistant,Competent3級：Expert（至少90百ExpertNarrowAI（4級：Virtuoso（至少99(DeepBlue(Campbellet5Superhuman（SuperhumanNarrowAIArtificial資料來源：DeepMind《LevelsofAGI:OperationalizingProgressonthePathtoAGI1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI1.2趨勢展望：從單一模態(tài)到多模態(tài)，從AI邁向44年AG“A。圖：對AGI時(shí)間線的預(yù)測變得更樂

圖：DeepMind關(guān)于AGI論資料來源：DeepMind《LevelsofAGI:OperationalizingProgressonthePath第一部分：生成式AI2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指1OpenAI創(chuàng)立：以實(shí)現(xiàn)安全的AGI1OpenAI由SamAltman、ElonMusk等在2015年創(chuàng)辦，主旨是努力在安全的前提下創(chuàng)建通用人工智能(AGI)并讓全人類共同受益；圖：OpenAI發(fā)展歷OpenAI宣布成立；公司定位為非盈利組織”，主旨是努力在安全的前提下創(chuàng)建通用人工智（AGI）并讓全人類共同受

OpenAI于6發(fā)布GPT-3型，9月微軟OpenAI于11月發(fā)布聊天機(jī)器人模型OpenAI于3月 OpenAI于2月發(fā)布AI成模型OpenAI于6發(fā)布GPT-3型，9月微軟OpenAI于11月發(fā)布聊天機(jī)器人模型OpenAI于3月 OpenAI于2月發(fā)布AI成模型獲得該模型獨(dú)ChatGPT2023ARR夠與人類進(jìn)行收入已達(dá)16多輪連續(xù)的各種對話，給出年增長56較為合理的回答，引發(fā)全球1000億美元。2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2GPT2圖：GPT模型經(jīng)歷多輪迭 2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2GPT發(fā)展回顧：GPT3.52ChatGPT/GPT-3.5：2022年11月30日發(fā)布，在GPT-3的基礎(chǔ)上進(jìn)行有監(jiān)督微調(diào)(SupervisedFine-Tuning)、獎勵模型訓(xùn)練(RewardModeling)和來自人類反饋的強(qiáng)化學(xué)習(xí)(ReinforcementLearningfromHumanFeedback,RLHF)。ChatGPT具有以下特征：主動承 2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指222023年3月14日，OpenAI宣布推出大型的多模態(tài)模型GPT-4，可以接收圖像和文本輸入。OpenAI稱，GPT-4測試，包括美國律師資格考試UniformBarExam、法學(xué)院入學(xué)考試LSAT、“美國高考”ST數(shù)學(xué)部分和證據(jù)性閱讀與寫作部分的圖：GPT-4在各類學(xué)術(shù)水平測試中的成

圖：GPT-4根據(jù)圖片生成網(wǎng)2GPT發(fā)展回顧：更快更強(qiáng)更便宜的GPT-422023年11月7日，OpenAI在開發(fā)者大會披露新版本具備：1)更長的上下文長度：支持128K上下文窗口，相當(dāng)于300頁文本；2)更便宜：新模型的價(jià)格是每千輸入token1美分，而每千輸出token3美分，輸入和輸出費(fèi)用分別降至GPT-4(8K)的1/3和1/2，總體使用上降價(jià)約2.75倍；3)更聰明：內(nèi)部知識庫更新至2023年4月，并支持上傳外部數(shù)據(jù)庫或文件；4)視聽多模態(tài)：支持文生圖模型DALL·E3、文本轉(zhuǎn)語音模型TTS，未來還將支持自動語音識別模型Whisperv3；5更快的速度：用戶每分鐘的Token速率限制將會 0

GPT4輸 輸2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指33根據(jù)OpenAI首席執(zhí)行官SamAltman的披露，GPT-5將具備三大升級點(diǎn)：1)多模態(tài)：支持文本、語音、圖像、代碼和視頻輸入；2)個性化：理解個人偏好的能力，如整合用戶信息、電子郵件、日歷、約會偏好，并與外部數(shù)據(jù)源建立聯(lián)系；3)推理能力和準(zhǔn)確性：圖：GPT-5商標(biāo)申

2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指4圖片生成模型：OpenAI發(fā)布DALL.E42023年9月，OpenAI發(fā)布DALL.E3DALL.E3的技術(shù)架構(gòu)主要分為圖像描述生成和圖像生成兩大模塊。圖像描述生成模塊使用了CLIP圖像編碼器和GPT語言模型T5Transformer將文本編碼為向量，并通過GroupNorm層將其注入diffusion模型，指導(dǎo)圖像生成方向。圖：DALL.E35視頻生成模型：OpenAI發(fā)布“物理世界模擬器”5204年2月6日，I發(fā)布I生成視頻模型a，其卓越之處在于能夠生成跨越不同持續(xù)時(shí)間、縱橫比和分辨率的視頻和圖像，“””sGPOpenAI在Sora技術(shù)報(bào)告中寫道:”O(jiān)urresultssuggestthatscalingvideogenerationmodelsisapromisingpathtowardsgeneralpurposesimulatorsofthephysical圖：Sora生成1分鐘的連貫高清視

圖：Sora官方簡5視頻生成模型：OpenAI發(fā)布“物理世界模擬器”5a不僅接受文字輸入，還可根據(jù)圖像和視頻輸入來生成視頻。a能夠執(zhí)行各種圖像和視頻編輯任務(wù)創(chuàng)建完美循環(huán)的視頻、圖：Sora根據(jù)圖片輸入生成視5視頻生成模型：OpenAI發(fā)布“物理世界模擬器”5模型尺度擴(kuò)展帶來驚人的涌現(xiàn)能力(emergingsimulationcapabilities)。1)3D一致性：在3D一致性方面，Sora能夠生成帶有動態(tài)攝像頭運(yùn)動的視頻。隨著攝像頭的移動和旋轉(zhuǎn)，人物和場景元素在三維空間中始終保持一致的運(yùn)動規(guī)律。2)較長視頻的連貫性和對象持久性：這是視頻生成領(lǐng)域面對的一個重要挑戰(zhàn)，而Sora能有效為短期和長期物體間的依賴關(guān)系建模，人和物被遮擋或離開畫面后，仍能被準(zhǔn)確地保存和呈現(xiàn)。3)與世界互動：Sora能以簡單的方式模擬影響世界狀態(tài)的行為，例如畫家可以在畫布上留下新的筆觸。4)模擬數(shù)字世界：Sora能夠模擬人工過程，比如視頻游戲。圖：Sora生成的視頻具備3D一致

圖：Sora生成《我的世界》游戲視2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指請務(wù)必閱讀正文之后的免責(zé)條款部分請務(wù)必閱讀正文之后的免責(zé)條款部分5視頻生成模型：OpenAI發(fā)布“物理世界模擬器”5Sora的本質(zhì)是一種Diffusiontransformer模型。Diffusiontransformer(DiT)架構(gòu)由WilliamPeebles和SainingXie在2023年提出，使AI生成視頻的技術(shù)路線主要經(jīng)歷了四個階段：循環(huán)網(wǎng)絡(luò)(RNN)、生成對抗網(wǎng)絡(luò)(GAN)、自回歸模型(autoregressivetransformers)、擴(kuò)散模型(diffusionmodels)。目前領(lǐng)先的視頻模型大多數(shù)是擴(kuò)散模型，比如Runway、Pika等。自回歸模型由于更好的多模態(tài)能力圖：Diffusiontransformer模型架2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指5視頻生成模型：OpenAI發(fā)布“物理世界模擬器”5Soa模型訓(xùn)練范式：統(tǒng)一原始視覺數(shù)據(jù)。I提出了一種用tc作為視頻數(shù)據(jù)來訓(xùn)練視頻模型的方式，c是將圖像或視頻幀分割成的一系列小塊區(qū)域，是模型處理和理解原始數(shù)據(jù)的基本單元，這是從大語言模型的n汲取的靈感。kn統(tǒng)一了文本的多種模式代碼、數(shù)學(xué)和各種自然語言，而c則統(tǒng)一了圖像與視頻。過去的圖像和視頻生成方法通常會將視頻調(diào)整大小、裁剪或修剪為標(biāo)準(zhǔn)尺寸，而這損耗了視頻生成的質(zhì)量，將圖片與視頻數(shù)據(jù)t化之后，無需對數(shù)據(jù)進(jìn)行壓縮，就能夠?qū)Σ煌瑘D：OpenAI將視頻轉(zhuǎn)換為patch來統(tǒng)一視覺數(shù)據(jù)輸 2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指2.1OpenAI引領(lǐng)大模型技術(shù)，終極目標(biāo)劍指5視頻生成模型：OpenAI發(fā)布“物理世界模擬器”5圖：提示詞“一個玩具機(jī)器人穿著綠色的連衣裙和太陽帽在美麗的日落期間在南極洲愉快地漫步2.2Meta2.2Meta1大語言模型：開源LLaMA12023年7月，Meta發(fā)布了開源大語言模型——LLaMA2。LLaMA2是在LLaMA1基礎(chǔ)之上構(gòu)建而成，訓(xùn)練數(shù)據(jù)比上一版本多出40%，圖：LLaMA2

圖：LLaMA22視覺大模型：開源圖片分割基礎(chǔ)模型220年月，aSttgl(SA)并開源。集上進(jìn)行了訓(xùn)練，具有超強(qiáng)的自動識別、切割功能。SM能感知超出數(shù)據(jù)訓(xùn)練的對象和圖像，就算圖片不在SM訓(xùn)練范圍內(nèi)，它也能識別。這意味著，用戶無需再收集自己的細(xì)分?jǐn)?shù)據(jù)，并為用例模型進(jìn)行微調(diào)。M可以集成在任何希望識別、切割對象的應(yīng)圖：SAM模型識別能力極

圖：SAM可用于醫(yī)療領(lǐng)3多模態(tài)大模型：開源ImageBind3203年5月，a開源了多模態(tài)大模型d，可跨越圖像、視頻、音頻、深度、熱量和空間運(yùn)動種模態(tài)進(jìn)行檢索。例如，輸入鴿子的圖片，外加一個摩托音頻，模型能夠檢索出一張摩托和鴿子的圖片。模型把不同模態(tài)數(shù)據(jù)串聯(lián)在一個嵌入空間(EgSpac)I 2.3Google2.3Google11

InstructionTuning

GoogleBrain和DeepMind成立GoogleDeepMind

2.3Google2.3Google2大語言模型：PaLM22PaLM2性能升級，部分測試結(jié)果超過GPT-4，輕量版可運(yùn)行在移動設(shè)備上：2023年5月，谷歌發(fā)布PaLM2，對于具有思維鏈谷歌將PaLM2融入辦公軟件、搜索引擎等產(chǎn)品：AI聊天機(jī)器人Bard被整合到谷歌的辦公軟件“全家桶”中，為Gmail、GoogleDocs、Sheets以及Slides創(chuàng)造了名為”DuetAI”的辦公助手；Bard還被整合到谷歌搜索優(yōu)化搜索答案。圖：PaLM2技術(shù)報(bào) 圖：PaLM2包含四種尺寸的模 3多模態(tài)模型：最新發(fā)布Gemini1.532024年2月，谷歌發(fā)布最新一代MoE多模態(tài)模型Gemini1.5。MoE(MixtureofExperts)是一種混合模型，由多個子模型（即專家）支持超長的上下文窗口，信息處理能力進(jìn)一步增強(qiáng)。谷歌增加了Gemini1.5Pro的上下文窗口容量，并實(shí)現(xiàn)在生產(chǎn)中運(yùn)行高達(dá)萬個Token，遠(yuǎn)超32k的Gemini1.0、128k的GPT-4Turbo、200k的Claude2.1，這意味著Gemini1.5Pro可以一次性處理大量信圖：Gemini1.5

圖：Gemini1.5Pro與Gemini1.04圖像生成模型：Imagen242023年12月，Google發(fā)布最新的圖像模型Imagen2，在數(shù)據(jù)集和模型方面改善了文本到圖像工具經(jīng)常遇到的許多問題，包括渲染Imagen2圖：Imagen2

圖：Imagen25視頻生成模型：Genie52024年2月26日，谷歌發(fā)布Genie(GenerativeInteractiveEnvironments)，它是一個110億參數(shù)的基礎(chǔ)世界模型，可通過單張圖像提示生成可玩的交互式環(huán)境。谷歌認(rèn)為Genie是實(shí)現(xiàn)通用智能體的基石之作，未來的AI智能體可以在新生成世界的無休止的Genie包含三個關(guān)鍵組件：1)潛在動作模型(LatentActionModel,LAM)，用于推理每對幀之間的潛在動作??；2)視頻分詞器)圖：Genie模型訓(xùn)練過2.4Anthropic與2.4Anthropic與OpenAI一脈相承，發(fā)布Claude1AI獨(dú)角獸1Anthropic是一家人工智能創(chuàng)業(yè)公司，由OpenAI前研究副總裁達(dá)里奧·阿莫迪(DarioAmodei)、大語言模型GPT-3論文的第一作者湯姆·布朗(TomBrown)等人在2021年創(chuàng)立。2023年2月，獲得Google投資3億美元，Google持股10%；2023年3月，發(fā)布類似ChatGPT的大語言模型Claude；2023年7月，發(fā)布新一代Claude2模型；2024年3月，發(fā)布Claude3模型。圖：Anthropic官網(wǎng)簡2.4Anthropic與2.4Anthropic與OpenAI一脈相承，發(fā)布Claude2多模態(tài)模型：Claude322024年3月，A