信息技術(shù)行業(yè)大模型技術(shù)進(jìn)化論系列二：性能進(jìn)階的GPT2與GPT3

分析師及聯(lián)系人SACS0030004后評級說明和重要聲明OpenAI于2019年推出了GPT-2，于2020年推出了GPT-3。GPT-2與GPT-3沿襲了初代力上升，所以省略了調(diào)參步驟；3)小樣本學(xué)習(xí)(fewshotlearning)能力迅速提高。帶來性能提升在自然語言處理任務(wù)上的性能相對于初代GPT有了明顯提升，可以較好的實現(xiàn)文本生成、文GPT-3在大多數(shù)任務(wù)中的表現(xiàn)超過了絕大多數(shù)的當(dāng)時存在的經(jīng)過小樣本學(xué)習(xí)的最先進(jìn)的模型 GPTGPT化能力，在提高訓(xùn)練數(shù)據(jù)T本學(xué)習(xí)的性能與樣本幾乎成正比；當(dāng)樣本數(shù)超過10時，性能增長的邊際變化下降，逐漸趨于GPTGPT以商業(yè)化落地的階段，業(yè)界OpenAIGPT如今浪潮之巔的ChatGPT。后評級說明和重要聲明-20投資評級看好丨維持 術(shù)滬深300指數(shù)%%2022/42022/82022/122023/4研究?《商湯推出日日新，大算力+大裝置共筑繁華未?《阿里通義千問邀測，風(fēng)好正是揚帆時》2023-04-?《Meta發(fā)布SAM，CV領(lǐng)域迎來GPT時刻》2023-04-10行業(yè)研究|專題報告3/3/14 圖1：Attention機制給不同的詞賦予不同的權(quán)重 4 T GPT 6圖7：GPT-2(1542M)在9個任務(wù)上的表現(xiàn)都超越了初代GPT(117M) 7圖8：GPT-2模型文本總結(jié)任務(wù)的性能在參數(shù)量提升后稍有下滑 7圖9：初代GPT與BERT通過無監(jiān)督預(yù)訓(xùn)練+調(diào)參來得到最終模型 8 圖13：如果將大模型的調(diào)參和小樣本學(xué)習(xí)類比成考試 9GPT-3性能會隨著可學(xué)樣本數(shù)量提高而提高 10 圖17：GPT-2的性能稍弱于BERT 11圖18：當(dāng)任務(wù)數(shù)據(jù)規(guī)模提高后，GPT-2的性能可以追上BERT 11BERTRoERTaGPT-2與GPT-3 11BERTGPT式的影響 12T 4/4/14GPTGPT-3有哪些技術(shù)突破？《大模型技術(shù)演進(jìn)系列一》報告，我們比較了初代GPT與BERT兩類大模型的技術(shù)路線，得出了初代GPT采用的Decoder架構(gòu)+自回歸的訓(xùn)練模式更有發(fā)展前景的習(xí)方法進(jìn)行。任意兩個位置之間的距離縮小為一個常量，并且在處理序列數(shù)據(jù)時對相關(guān)部分進(jìn)下文關(guān)注。Attention資料來源：Github，長江證券研究所資料來源：Github，長江證券研究所?Decoder架構(gòu)與自回歸訓(xùn)練模式：此外，GPT-2與GPT-3同樣采用了大模型kedselfAttention5/5/14無標(biāo)注數(shù)據(jù) (7000本書)無標(biāo)注數(shù)據(jù) (40GBReddit網(wǎng)站資料)練無標(biāo)注數(shù)據(jù) (45TB多種來源數(shù)據(jù))搭建初代GPT模型12層Decoder512Token長度搭建GPT-3模型9無標(biāo)注數(shù)據(jù) (7000本書)無標(biāo)注數(shù)據(jù) (40GBReddit網(wǎng)站資料)練無標(biāo)注數(shù)據(jù) (45TB多種來源數(shù)據(jù))搭建初代GPT模型12層Decoder512Token長度搭建GPT-3模型96層Decoder2048Token長度無目的性預(yù)訓(xùn)練無目的性預(yù)訓(xùn)練得到1.17億參數(shù)的GPT-1性能弱、泛化能力弱得到1750億參數(shù)的GPT-3性能強、泛化能力強監(jiān)督數(shù)據(jù)調(diào)參泛化能力強，所以省略了調(diào)參步驟出現(xiàn)AI任務(wù)出現(xiàn)AI任務(wù)將大模用于N型直接LP任務(wù)通過小樣本學(xué)習(xí)提升性能習(xí)勉強完成任務(wù)基本完成任務(wù)較好完成任務(wù)tionMaskedselfAttention資料來源：Github，長江證券研究所升；3)小樣本學(xué)習(xí)(fewshotlearning)能力T搭搭建GPT-2模型48層Decoder1024Token長度無無目的性預(yù)訓(xùn)練得到15.4億參數(shù)的GPT-2性能中等、泛化能力中等泛化能力以省略了調(diào)參步驟出現(xiàn)AI任務(wù)將大模用于N直接LP任務(wù)資料來源：機器之心，Sigmoid，lambdalab，長江證券研究所6/6/14升RedditGPT的10TBGPT系列大模型技術(shù)突破參數(shù)(億)大小類型本學(xué)習(xí)能力Corpus低低層DecoderGBeddit中低DecoderTBooksWikipedia高高資料來源：機器之心，Sigmoid，lambdalab，長江證券研究所GPT-2與GPT-3的Token長度從初代GPT的512上漲到1024和2048。大模型的Token長度與每次可輸入的文本長短有直接聯(lián)系，長度升級使得GPT大模型處理長文1400詞(1Token≈0.7單詞)。GPTGPT不斷提升。在訓(xùn)練資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所T資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所7/7/14語言任務(wù)上，結(jié)果證明GPT-2在8項任務(wù)上的表現(xiàn)遠(yuǎn)超當(dāng)時最先進(jìn)的自然語言處理模得它在自然語言處理任務(wù)上的性能相對于初代GPT有了明顯提升，可以較好的實現(xiàn)文圖7：GPT-2(1542M)在9個任務(wù)上的表現(xiàn)都超越了初代GPT(117M)資料來源：《LanguageModelsareUnsupervisedMultitaskLearners》OpenAI，長江證券研究所SOTAGPT多復(fù)雜的NLPSOTA卷問答、模式解析、機器翻譯等。當(dāng)GPT-2的參數(shù)量從7.62億上升到15.4億，模型性能反而略微下滑。出現(xiàn)這一結(jié)果資料來源：《LanguageModelsareUnsupervisedMultitaskLearners》OpenAI，長江證券研究所GPTBERTNLP務(wù)中比較主流的模式是預(yù)訓(xùn)練+調(diào)參。這種模式。GPTBERT模型預(yù)訓(xùn)練+調(diào)參=目標(biāo)模型大規(guī)模無標(biāo)注數(shù)據(jù)模型預(yù)訓(xùn)練 (Pre-training)泛用性增強任務(wù)特定訓(xùn)練數(shù)據(jù)模型微調(diào) (Fine-tuning)根據(jù)場景調(diào)整數(shù)據(jù)最終模型得到特定所需資料來源：清華NLP團隊，openBMB，長江證券研究所高泛化能力允許oqT-S與oqT-t大模型都省略了調(diào)參步驟。GPT-2論文標(biāo)題為reUnsupervisedMultitaskLearnersGPTTGPTGPT-3拋棄調(diào)資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所oqTSGPT之后雖然在大部分任務(wù)中已經(jīng)有oqT-t通過小樣本學(xué)習(xí)提高模型泛化能力。GPT-3大模型不再去追求極致的不需要任個任務(wù)。9/9/14小樣本學(xué)習(xí)不復(fù)習(xí)，簡單瀏覽考題流程簡單但性能不如調(diào)參小樣本學(xué)習(xí)不復(fù)習(xí)，簡單瀏覽考題流程簡單但性能不如調(diào)參資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所資料來源：斯坦福AI實驗室，長江證券研究所調(diào)參調(diào)參考考前認(rèn)真復(fù)習(xí)性性能較高但流程復(fù)雜資料來源：長江證券研究所GPTGPT的結(jié)果來看，對于1750億的10/10/14資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所T-13億之間，模型無樣本學(xué)習(xí)的表現(xiàn)反而高于小樣本學(xué)習(xí)。通俗來講：小參數(shù)量的大模資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所資料來源：《LanguageModelsareFew-ShotLearners》OpenAI，長江證券研究所性能提升，但市場表現(xiàn)不及預(yù)期GPTGPT。11/11/14資料來源：《iReason:MultimodalCommonsenseReasoningusingVideosandNaturalLanguagewithInterpretability》Chadhaetal.，長江證券研究所RT資料來源：《AStudyonPrompt-basedFew-ShotLearningMethodsforBeliefStateTrackinginTask-orientedDialogSystems》Sahaetal.，長江證券研究所為了解決GPT-3性能不足的問題，OpenAI在2023年推出了根據(jù)GPT-3調(diào)參的ChatGPT了Decoder架構(gòu)與訓(xùn)練模式帶來的問題，越過了文本推理與文本資料來源：Paperwithcode，長江證券研究所12/12/14資料來源：長江證券研究所13/13/14風(fēng)險提示AI型創(chuàng)新伴隨參數(shù)量及模態(tài)的增速能力天花板尚未達(dá)到，但模型效果本身仍存瓶頸及問題，倘若AI技術(shù)發(fā)展不及預(yù)期，投入廠商仍然存在2、下游應(yīng)用需求不及預(yù)期，人工智能本質(zhì)是通過供給創(chuàng)新催生需求擴容，目前大模型行業(yè)研究|專題報告14/14/142個月內(nèi)行業(yè)股票指數(shù)的漲跌幅相對同期相關(guān)證券市場代表性指數(shù)的漲跌幅為基準(zhǔn)，投資建議的評平公司評級報告發(fā)布日后的12個月內(nèi)公司的漲跌幅相對同期相關(guān)證券市場代表性指數(shù)的漲跌幅為基準(zhǔn)，投資建議的評級標(biāo)準(zhǔn)為：相關(guān)證券市場代表性指數(shù)說明：A股市場以滬深300指數(shù)為基準(zhǔn)；新三板市場以三板成指(針對協(xié)議轉(zhuǎn)讓標(biāo)的)或三板做市指數(shù) (針對做市轉(zhuǎn)讓標(biāo)的)為基準(zhǔn)；香港市場以恒生指數(shù)為基準(zhǔn)。AddAdd區(qū)淮海路88號長江證券大廈37樓P.C/(430015)Add/深圳市福田區(qū)中心四路1號嘉里建設(shè)廣場3期36樓P.C/(518048)Add/浦東新區(qū)世紀(jì)大道1198號世紀(jì)匯廣場一座29層P.C/(200122)Add/西城區(qū)金融街33號通泰大廈15層P.C/(100032)作者具有中國證券業(yè)協(xié)會授予的證券投資咨詢執(zhí)業(yè)資格并注冊為證券分析師，以勤勉的職業(yè)態(tài)度，獨立、客觀地出具本報告。分析邏輯基于作者的職業(yè)理解，本報告清晰準(zhǔn)確地反映了作者的研究觀點。作者所得報酬的任何部分不曾與，不與，也不將與本報告中的具體推薦意見或觀點而有直接或間接聯(lián)系，特此聲明。長江證券股份有限公司具有證券投資咨詢業(yè)務(wù)資格，經(jīng)營證券業(yè)務(wù)許可證編號：10060000。本報告僅限中國大陸地區(qū)發(fā)行，僅供長江證券股份有限公司(以下簡稱：本公司)的客戶使用。本公司不會因接收人收到本報告而視其為客戶。本報告的信息均來源于公開資料，本公司