AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期：一份ChatGPT調(diào)研報告

AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期：一份ChatGPT調(diào)研報告一、AIGC行業(yè)介紹及發(fā)展趨勢1.AIGC產(chǎn)業(yè)生態(tài)迎來爆發(fā)期AIGC（AI-GeneratedContent，人工智能生產(chǎn)內(nèi)容）最基本的能力是生成內(nèi)容，包括文本、圖像、視頻、代碼、3D內(nèi)容或者幾種媒介類型轉(zhuǎn)換組合，形成的“多模態(tài)內(nèi)容”。生成算法、預(yù)訓(xùn)練模型、多模態(tài)等AI技術(shù)累積融合，以及深度模型方面的技術(shù)創(chuàng)新，共同催生了AIGC的大爆發(fā)。AIGC是相對于過去的PGC、UGC、AIUGC而提出的。過去的傳統(tǒng)AI偏向于分析能力，基于已有內(nèi)容；現(xiàn)在的AI基于訓(xùn)練數(shù)據(jù)和生成算法模型，可以自主生成各種形式的內(nèi)容和數(shù)據(jù)。2022年，AIGC（AI-GeneratedContent，人工智能生成內(nèi)容）爆火出圈。2022年10月，StableDiffusion、DALL-E2、Midjourney等可以生成圖片的AIGC模型風(fēng)行一時。2022年12月，OpenAI發(fā)布能夠回答問題、生成代碼、構(gòu)思劇本和小說的聊天機器人模型ChatGPT，將人機對話推向新高度。目前，從提供預(yù)訓(xùn)練模型的基礎(chǔ)設(shè)施層公司到專注打造AIGC產(chǎn)品和應(yīng)用工具的應(yīng)用層公司，圍繞AIGC生長出繁榮的生態(tài)，技術(shù)創(chuàng)新引發(fā)的應(yīng)用創(chuàng)新浪潮迭起，中國有望憑借領(lǐng)先的AIGC技術(shù)賦能各行各業(yè)。2.AIGC市場規(guī)模到2025有望達500億元在傳統(tǒng)PGC和UGC模式下，內(nèi)容生成領(lǐng)域存在產(chǎn)能約束和質(zhì)量約束，PGC受制于人力資源的供給側(cè)限制，UGC雖然降低了PGC的生產(chǎn)門檻，但因用戶創(chuàng)作能力和工具功能的局限存在質(zhì)量約束。AIGC突破內(nèi)容生成產(chǎn)能和質(zhì)量約束，應(yīng)用廣泛，市場規(guī)模將會大幅擴大。根據(jù)《中國AI數(shù)字商業(yè)產(chǎn)業(yè)展望2021-2025》報告預(yù)測AI數(shù)字商業(yè)內(nèi)容的市場規(guī)模將從2020年的40億元，增加到2025年的495億元。3.AIGC產(chǎn)業(yè)生態(tài)體系呈現(xiàn)上中下三層架構(gòu)目前AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn)，呈現(xiàn)上中下三層架構(gòu)，第一層為上游基礎(chǔ)層，是由預(yù)訓(xùn)練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。第二層為中間層，即垂直化、場景化、個性化的模型和應(yīng)用工具。在預(yù)訓(xùn)練的大模型基礎(chǔ)上快速抽取生成場景化、定制化、個性化的小模型，實現(xiàn)在不同行業(yè)、垂直領(lǐng)域、功能場景的工業(yè)流水線式部署。第三層為應(yīng)用層，即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務(wù)。4.AIGC落地場景：AI繪畫、AI建模、聊天機器人ChatGPT等2022年被稱為AIGC元年，多個AI領(lǐng)域迅速發(fā)展，繪畫、音樂、新聞創(chuàng)作、主播等諸多行業(yè)被重新定義。目前AIGC正在從簡單的降本增效（以生成金融/體育新聞為代表）向創(chuàng)造額外價值（以提供繪畫創(chuàng)作素材為代表）轉(zhuǎn)移，文本-圖像-視頻的跨模態(tài)/多模態(tài)內(nèi)容生成正在進展中。已有的落地場景包括AI繪畫、AI建模、聊天機器人ChatGPT等。二、ChatGPT介紹及發(fā)展趨勢1.文本生成式AI：聊天機器人ChatGPTOpenAI：由馬斯克、美國創(chuàng)業(yè)孵化器YCombinator總裁阿爾特曼、全球在線支付平臺PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨于2015年12月創(chuàng)立，主要用于制造“通用”機器人和使用自然語言的聊天機器。2020年5月，OpenAI發(fā)布了以Transformer為基礎(chǔ)的NLP（自然語言生成）預(yù)訓(xùn)練模型GPT-3，此前已經(jīng)歷過GPT-1、GPT-2。2022年11月30日，OpenAI公司發(fā)布聊天機器人模型ChatGPT，ChatGPT對GPT-3模型進行微調(diào)，并引入RLHF（基于人類反饋的強化學(xué)習(xí)）方法。只需向ChatGPT文字提出需求，即可讓其完成回答問題、書寫代碼、創(chuàng)作文本等指令，發(fā)布一周內(nèi)用戶量超過百萬。ChatGPT的連續(xù)對話能力、強大的理解力、回答的準確度和創(chuàng)造性使其迅速走紅。WorldOfEngineering數(shù)據(jù)顯示，ChatGPT發(fā)布短短兩個月時間，用戶數(shù)便突破1億。具體而言，ChatGPT能理解并生成文字，屬于AIGC（AI-GeneratedContent，人工智能生產(chǎn)內(nèi)容）技術(shù)應(yīng)用中的文本生成模態(tài)應(yīng)用模型。2.ChatGPT可能改變搜索引擎使用方式ChatGPT屬于AIGC的范疇，能夠回答連續(xù)性的問題、質(zhì)疑不正確的假設(shè)，甚至拒絕不合理的要求，大幅提高了AI在人機對話時的準確度和可控性，將有望改變?nèi)祟愂褂盟阉饕娴姆绞?。OpenAI的CEO稱AIGC的最終目標是做一個類似于新時代的搜索引擎。目前ChatGPT展示出來的內(nèi)容輸出質(zhì)量和內(nèi)容覆蓋維度，已經(jīng)可以直面“搜索引擎”與“問答社區(qū)”。外媒TheInformation報道顯示，微軟可能在2023年3月之前將ChatGPT引入自家的搜索引擎Bing，用人工智能來回答一些搜索查詢，此舉或?qū)⒏淖兯阉饕娴倪\行模式，革新性地提升搜索引擎效率。StatCounter數(shù)據(jù)2020-2022谷歌全球市場份額超90%，ChatGPT出現(xiàn)將挑戰(zhàn)谷歌搜索引擎的霸主地位。3.ChatGPT已能覆蓋較多能力域由于ChatGPT包含了更多主題的數(shù)據(jù)，能夠處理更多小眾主題。ChatGPT能力范圍可以覆蓋回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務(wù)。4.ChatGPT具備諸多先進性特征chatGPT嵌入了人類反饋強化學(xué)習(xí)以及人工監(jiān)督微調(diào)，因而具備了理解上下文、連貫性等諸多先進特征，解鎖了海量應(yīng)用場景。當(dāng)前，ChatGPT所利用的數(shù)據(jù)集只截止到2021年。在對話中，ChatGPT會主動記憶先前的對話內(nèi)容信息(上下文理解)，用來輔助假設(shè)性的問題的回復(fù)，因而ChatGPT也可實現(xiàn)連續(xù)對話，提升了交互模式下的用戶體驗。同時，ChatGPT也會屏蔽敏感信息，對于不能回答的內(nèi)容也能給予相關(guān)建議。5.ChatGPT商業(yè)化進程加快微軟近日考慮宣布將向OpenAI進行近百億美元的投資，此前微軟分別于2019年和2021年對OpenAI進行投資，若此次投資完成微軟將擁有OpenAI49%的股權(quán)。微軟對單個100GPU的收費是3美元/時，按照ChatGPT加載模型和文本的速度，生成一個單詞的費用約為0.0003美元；而ChatGPT的回復(fù)通常至少有30個單詞，因此ChatGPT每回復(fù)一次，至少花OpenAI1美分。微軟既能提供錢，又能提供算力。2023年1月，ChatGPT的活躍用戶數(shù)或已達1億，可能是史上增長最快的消費者應(yīng)用。因訪問量過大，OpenAI對ChatGPT進行了大規(guī)模限流，包括限制每小時的提問數(shù)量，以及高峰時段排隊等舉措。OpenAI于2023年2月正式推出ChatGPTPlus版本(率先對美國地區(qū)用戶開放)，收費20美元/月，Plus版ChatGPT全天可用，無需排隊。6.國內(nèi)外科技巨頭積極布局生成式AI，部分公司已有成型產(chǎn)品在ChatGPT發(fā)布后，谷歌CEO在公司內(nèi)部發(fā)布了“紅色警報”(CodeRed)，敦促團隊解決ChatGPT對公司搜索引擎業(yè)務(wù)構(gòu)成的威脅，同時批準了在谷歌搜索引擎中加入AI聊天機器人的計劃。2月4日，谷歌注資3億美元投資ChatGPT競品——Anthropic，谷歌將獲得約10%的股份，Anthropic計劃將次輪資金用于購買谷歌云計算部門的計算資源；Anthropic開發(fā)了一款名為Claude的智能聊天機器人，據(jù)稱可與ChatGPT相媲美（仍未發(fā)布）Anthropic和OpenAI淵源頗深，其聯(lián)合創(chuàng)始人曾擔(dān)任OpenAI研究副總裁。微軟將ChatGPT視為新一代技術(shù)革命，將ChatGPT整合進Bing搜索引擎、Office全家桶、Azure云服務(wù)、Teams程序等產(chǎn)品中，微軟近期宣布推出視頻會議及遠程協(xié)作平臺的高級付費版MicrosoftTeamsPremium，訂閱者可享用OpenAIGPT提供支持的大型語言模型技術(shù)，用AI自動生成會議筆記，此舉或?qū)oom、谷歌會議等平臺形成巨大沖擊。百度：1月10日，百度宣布將升級百度搜索的“生成式搜索”能力，智能解答用戶的搜索提問；2月7日，百度宣布將在3月份完成其ChatGPT產(chǎn)品的內(nèi)測，面向公眾開放，該項目名字為文心一言（ERNIEBot），百度指出，生成式AI和搜索引擎是互補關(guān)系而不是替代；據(jù)路透社報道，百度計劃于

3月將類似ChatGPT的AI對話服務(wù)作為獨立應(yīng)用推出，之后再逐步將其合并到搜索引擎中。騰訊：2月3日，騰訊公布一項人機對話專利，能夠?qū)崿F(xiàn)機器與用戶之間自然且順暢的溝通，廣告為主，支持廣告智能制作，以AIGC技術(shù)生成廣告文案和視頻，降低了制作成本，目前市場規(guī)?？焖僭鲩L，未來5年內(nèi)AIGC產(chǎn)生的圖片的占比預(yù)計會達到10-30%前期可作為UGC和PGC的輔助，幫助廣告主設(shè)計文案，到后期就是AI技術(shù)整體的發(fā)展，后期可能是有望代替人工的工作。字節(jié)：已經(jīng)開始布局，主要是AI+內(nèi)容，比如自動生成投稿和輔助寫作，在今日頭條上利用AIGC生產(chǎn)內(nèi)容，目前AIGC整體的生成質(zhì)量的內(nèi)容還是較好的，要好于普通的UGC，但和PGC相比還有所欠缺。抖音方面也有應(yīng)用，通過AI的模式來生成短視頻。阿里、京東等電商類平臺：在智能客服領(lǐng)域有布局，其次是AI+營銷，例如阿里巴巴，可以結(jié)合商品，自動生成高質(zhì)量文案描述商品，提高營銷效率。三、ChatGPT商業(yè)化1.ChatGPT試點訂閱計劃2023年2月2日，OpenAI發(fā)布ChatGPT試點訂閱計劃——ChatGPTPlus，每月20美元ChatGPTPlus訂閱者可獲得比免費版本更穩(wěn)定、更快的服務(wù)，及嘗試新功能和優(yōu)化的優(yōu)先權(quán)。2.類人聊天機器人類人聊天機器是一種旨在模擬與用戶進行類人對話的電腦程序。它們已被應(yīng)用于多個行業(yè)，包括客戶服務(wù)、電子商務(wù)和娛樂等。ChatGPT帶來的變革：此前的聊天機器人只能根據(jù)設(shè)定問題回復(fù)固定內(nèi)容，同chatGPT融合之后，將文本生成、圖像生成、多模態(tài)轉(zhuǎn)換技術(shù)融合起來，環(huán)境感知、理解能力在大幅增強，實現(xiàn)和人的形似到神似?；贑hatGPT的類人聊天機器人可以提供客戶服務(wù)、虛擬代理、內(nèi)容創(chuàng)意和文本生成、以及信息知識提供等服務(wù)。1）國外重點企業(yè)openAI：公司核心宗旨在于“實現(xiàn)安全的通用人工智能(AGI)”，目前推出的“ChatGPT類人聊天機器人”火爆全球，其公司在圖片生成和視頻生成的應(yīng)用上也有很深的造詣。Google：公司在AIGC領(lǐng)域布局很久，目前也有“bard”類人聊天機器人的誕生試用，在AIGC的多種技術(shù)領(lǐng)域也處于前列。2）國內(nèi)重點企業(yè)百度：是國內(nèi)布局AI賽道最早的公司之一，目前已宣布“文心一言”類人聊天機器人將很快進入公測環(huán)節(jié)，圖片生成方面也有突破。小冰：從微軟獨立拆分出來的人工智能公司，推出的“小冰”機器人是目前全球范圍內(nèi)承載交互量最大的人工智能系統(tǒng)。3月9日消息，在批準通過BlueMail應(yīng)用程序之后，蘋果近日再次批準了一款適用于AppleWatch的ChatGPT應(yīng)用程序

watchGPT，用戶可以在AppleWatch上和ChatGPT聊天了。3.ChatGPT+傳媒：實現(xiàn)智能新聞寫作，提升新聞的時效性ChatGPT可以幫助新聞媒體工作者智能生成報道，將部分勞動性的采編工作自動化，更快、更準、更智能地生成內(nèi)容。2014年3月，美國洛杉磯時報網(wǎng)站的機器人記者Quakebot，在洛杉磯地震后僅3分鐘，就寫出相關(guān)信息并進行發(fā)布；美聯(lián)社使用的智能寫稿平臺Wordsmith可以每秒寫出2000篇報道；中國地震網(wǎng)的寫稿機器人在九寨溝地震發(fā)生后7秒內(nèi)就完成了相關(guān)信息的編發(fā)；第一財經(jīng)“DT稿王”一分鐘可寫出1680字。4.ChatGPT+影視：拓寬創(chuàng)作素材，提升作品質(zhì)量ChatGPT可以根據(jù)大眾的興趣身定制影視內(nèi)容，從而更有可能吸引大眾的注意力，獲得更好的收視率、票房和口碑。ChatGPT可以為劇本創(chuàng)作提供新思路，創(chuàng)作者可根據(jù)ChatGPT的生成內(nèi)容再進行篩選和二次加工，從而激發(fā)創(chuàng)作者的靈感，開拓創(chuàng)作思路，縮短創(chuàng)作周期。ChatGPT有著降本增效的優(yōu)勢，可以有效幫助影視制作團隊降低在內(nèi)容創(chuàng)作上的成本，提高內(nèi)容創(chuàng)作的效率，在更短的時間內(nèi)制作出更高質(zhì)量的影視內(nèi)容：2016年，紐約大學(xué)利用人工智能編寫劇本《Sunspring》，經(jīng)拍攝制作后入圍倫敦科幻電影48小時前十強；2020年，美國查普曼大學(xué)的學(xué)生利用OpenAI的GPT-3模型創(chuàng)作劇本并制作短片《律師》；國內(nèi)海馬輕帆科技公司推出的“小說轉(zhuǎn)劇本”智能寫作功能，服務(wù)了包括《你好，李煥英》《流浪地球》等爆款作品在內(nèi)的劇集劇本30000多集、電影/網(wǎng)絡(luò)電影劇本8000多部、網(wǎng)絡(luò)小說超過500萬部。5.ChatGPT+營銷：打造虛擬客服，賦能產(chǎn)品銷售ChatGPT虛擬客服為客戶提供24小時不間斷的產(chǎn)品推薦介紹以及在線服務(wù)能力，同時降低了商戶的營銷成本，促進營銷業(yè)績快速增長。ChatGPT虛擬客服能快速了解客戶需求和痛點，拉近商戶與消費人群的距離，塑造跟隨科技潮流、年輕化的品牌形象。ChatGPT虛擬客服比人工客服更穩(wěn)定可靠，在人工客服有限并且素質(zhì)不齊的情況下，虛擬客服展現(xiàn)的品牌形象和服務(wù)態(tài)度等由商戶掌控，比人工客服的可控性、安全性更強。2月10日，京東云宣布將推出產(chǎn)業(yè)版ChatGPT：ChatJD、ChatJD智能人機對話平臺，預(yù)計參數(shù)量達千億級，將率先落地在零售、金融等兩個領(lǐng)域。6.ChatGPT+娛樂：人機互動加強，激發(fā)用戶參與熱情ChatGPT可以成為線上的實時聊天對象，增加互動的趣味性和娛樂性。2月8日，悅商集團也宣布將推出類ChatGPT技術(shù)的DEMO產(chǎn)品，在微信，支付寶，百度等小程序里應(yīng)用，進一步完善用戶交互體驗。并且依托支付寶、微信、百度等多平臺生態(tài)服務(wù)商的身份，悅商集團可快速融合多家互聯(lián)網(wǎng)巨頭推出的類ChatGPT產(chǎn)品進一步完善YCloud系統(tǒng)，為客戶打造最前端的技術(shù)服務(wù)。YCloud主要面向全球微商行業(yè)，致力于為高速增長的靈活就業(yè)人員提供數(shù)字化服務(wù)工具?？梢赃M一步幫助客戶縮減人員成本，降本增效，實現(xiàn)用科技助力個體、實體經(jīng)濟發(fā)展的目標。游戲：國內(nèi)《逆水寒》宣布首個游戲版ChatGPT，玩法加持，為游戲行業(yè)普及打下技術(shù)基礎(chǔ)。據(jù)國信證券研報梳理，目前完美世界、昆侖萬維、騰訊、網(wǎng)易、世紀華通、三七互娛、天娛數(shù)科、湯姆貓、愷英網(wǎng)絡(luò)、凱撒文化等公司均已布局游戲AI業(yè)務(wù)。7.ChatGPT+教育：賦予教育教材新活力，讓教育方式更個性化、更智能ChatGPT給教育工作者提供全新的教學(xué)工具，學(xué)生可以通過自主提問的方式快速查缺補漏，讓每個學(xué)生得到更個性化、更智能的教育。8.ChatGPT+金融：幫助金融機構(gòu)降本增效，讓金融服務(wù)更有溫度金融機構(gòu)可以通過ChatGPT實現(xiàn)金融資訊、金融產(chǎn)品介紹內(nèi)容的自動化生產(chǎn)，提升金融機構(gòu)內(nèi)容生產(chǎn)的效率。通過ChatGPT塑造虛擬理財顧問，讓金融服務(wù)更有溫度。9.ChatGPT+醫(yī)療：賦能醫(yī)療機構(gòu)診療全過程ChatGPT賦能優(yōu)化問診、治療、康復(fù)等多環(huán)節(jié)，快速了解患者的病情并給出較合理的及時反饋，通過人性化的方式第一時間撫慰患者，從而舒緩患者的情緒，加速其康復(fù)；同時，讓醫(yī)者有更多的時間和精力集中在關(guān)鍵患者的關(guān)鍵治療環(huán)節(jié)。2021年11月開始，九峰醫(yī)療在江西省11個地市上百個縣城的鄉(xiāng)鎮(zhèn)衛(wèi)生院部署了上千家AI工作站。該系統(tǒng)的AI培訓(xùn)模塊為基層放射科醫(yī)生提供教學(xué)數(shù)據(jù)（影像片、標注、影像學(xué)征象、診斷建議）。10.ChatGPT+辦公：大幅提升辦公效率ChatPDF：上傳PDF文件然后通過問答形式讓它幫你檢索信息，相當(dāng)于AI幫你讀完了整個PDF文件，你想知道什么直接問它就行，中英文都能支持目前的免費版最大可傳200頁的PDF，超過了就要用自己的OpenAIAPI了。平替版有Humata（humata.ai），功能相同，頁數(shù)上限是60，2款同時用可以交叉對比，避免錯漏。ChatExcel：北大團隊做的，和上面相似，只不過上傳的是Excel，然后可以通過自然語言下命令，對表格進行任意調(diào)整，調(diào)用的是OpenAI專為表格處理做的API服務(wù)OpenAITabulate。美中不足的是這還只是一個demo，只支持1MB以內(nèi)、不超過10列的excel文件，也沒有收費選項，局限性很大。Chat思維導(dǎo)圖：boardmixAI助手/s/A0verAqqSXDcd83Gt0xU_g/rain/a/20230224A06UPN00代碼開發(fā)：利用ChatGPT輔助開發(fā)代碼，提高開發(fā)效率，包括代碼補全、自然語言指令生成代碼、代碼翻譯、bug修復(fù)等。四、ChatGPT相關(guān)核心算法1.基于Transformer的預(yù)訓(xùn)練語言模型ChatGPT強大的基礎(chǔ)模型采用Transformer架構(gòu)，Transformer是一種基于自注意力機制的深度神經(jīng)網(wǎng)絡(luò)模型，可以高效并行地處理序列數(shù)據(jù)。原始的Transformer模型包含兩個關(guān)鍵組件：編碼器和解碼器。編碼器用于將輸入序列映射到一組中間表示，解碼器則將中間表示轉(zhuǎn)換為目標序列。編碼器和解碼器都由多層的注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊組成。其中自注意力模塊可以學(xué)習(xí)序列中不同位置之間的依賴關(guān)系，即在處理每個位置的信息時，模型會考慮序列中其他所有位置上的信息，這種機制使得Transformer模型能夠有效地處理長距離依賴關(guān)系。在原始Transformer模型基礎(chǔ)上，相繼衍生出了三類預(yù)訓(xùn)練語言模型：編碼預(yù)訓(xùn)練語言模型、解碼預(yù)訓(xùn)練語言模型和編解碼預(yù)訓(xùn)練語言模型。2.編碼預(yù)訓(xùn)練語言模型這類模型在預(yù)訓(xùn)練過程中只利用原始Transformer模型中的編碼器。相應(yīng)的預(yù)訓(xùn)練任務(wù)通常選用掩碼語言建模任務(wù)（MaskedLanguageModeling），即掩碼住（用特殊字符[MASK]替換）輸入句子中一定比例的單詞后，要求模型根據(jù)上下文信息去預(yù)測被遮掩的單詞。其中有有代表性的工作包括BERT，ALBERT，RoBERTa等。BERT模型是最經(jīng)典的編碼預(yù)訓(xùn)練語言模型，其通過掩碼語言建模和下一句預(yù)測任務(wù)，對Transformer模型的參數(shù)進行預(yù)訓(xùn)練。ALBERT是一個輕量化的BERT模型，作者通過分解詞向量矩陣和共享Transformer層參數(shù)來減少模型參數(shù)個數(shù)。RoBERTa相較于BERT模型，RoBERTa在預(yù)訓(xùn)練階段，采用了更多的語料以及動態(tài)掩碼機制（不同輪次同一樣本掩碼不同的單詞），去掉了下一句預(yù)測任務(wù)，同時采用了更大的批大小。3.解碼預(yù)訓(xùn)練語言模型GPT(GenerativePre-trainedTransformer)是由OpenAI提出的只有解碼器的預(yù)訓(xùn)練模型。相較于之前的模型，不再需要對于每個任務(wù)采取不同的模型架構(gòu)，而是用一個取得了優(yōu)異泛化能力的模型，去針對性地對下游任務(wù)進行微調(diào)。包括GPT-1、GPT-2和GPT-3，上圖列舉了GPT若干模型的信息。GPT-1在文章“ImprovingLanguageUnderstandingbyGenerativePreTraining”中被提出。在GPT被提出之前，大多數(shù)深度學(xué)習(xí)方法都需要大量人工標注的高質(zhì)量數(shù)據(jù)，但是標注數(shù)據(jù)的代價是巨大的，這極大程度上限制了模型在各項任務(wù)性能的上限。如何利用容易獲取的大規(guī)模無標注數(shù)據(jù)來為模型的訓(xùn)練提供指導(dǎo)成為GPT-1中需要解決的第一個問題。另外自然語言處理領(lǐng)域中有許多任務(wù)依賴于自然語言在隱含空間中的表征，不同任務(wù)對應(yīng)的表征很可能是不同的，這使得根據(jù)一種任務(wù)數(shù)據(jù)學(xué)習(xí)到的模型很難泛化到其他任務(wù)上。因此如何將從大規(guī)模無標注數(shù)據(jù)上學(xué)習(xí)到的表征應(yīng)用到不同的下游任務(wù)成為GPT-1需要解決的第二個問題。GPT-1的結(jié)構(gòu)很簡單，由12層TransformerBlock（自注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊）疊加而成。針對第一個問題，GPT-1中使用了自左到右生成式的目標函數(shù)對模型進行預(yù)訓(xùn)練。這個目標函數(shù)可以簡單理解為給定前i?1個token，對第i個token進行預(yù)測?；谶@樣的目標函數(shù)，GPT-1就可以利用無標注的自然語言數(shù)據(jù)進行訓(xùn)練，學(xué)習(xí)到更深層次的語法信息與語義信息。針對第二個問題，在完成了無監(jiān)督的預(yù)訓(xùn)練之后，GPT-1接著使用了有標注的數(shù)據(jù)進行有監(jiān)督的微調(diào)使得模型能夠更好地適應(yīng)下游任務(wù)。給定輸入token序列x1,x2,…,xm與標簽y的數(shù)據(jù)集，對模型的參數(shù)進行再次訓(xùn)練調(diào)整，用到的優(yōu)化模型是在給定輸入序列時預(yù)測的標簽最接近真實值。具體來說，GPT-1在大規(guī)模無標注語料庫上預(yù)訓(xùn)練之后，再利用有標注數(shù)據(jù)在特定的目標任務(wù)上對模型參數(shù)進行微調(diào)，實現(xiàn)了將預(yù)訓(xùn)練中獲得的知識遷移到下游任務(wù)。在GPT-1提出之前，自然語言處理領(lǐng)域常用的預(yù)訓(xùn)練方法是Word2Vec在此之后，GPT-1提出的兩步走的訓(xùn)練方法成為許多大型語言模型的訓(xùn)練范式。從這個角度來看，GPT-1和Word2Vec在具體下游任務(wù)中發(fā)揮的作用是類似的，通過無監(jiān)督的方法獲取自然語言的隱含表示，再將其遷移至其他目標任務(wù)。但是從更高的層面來看，GPT-1與以往的詞向量表示方法是不同的，其數(shù)據(jù)量與數(shù)據(jù)規(guī)模的增大使得模型能夠?qū)W習(xí)到不同場景下的自然語言表示。圖2.1是GPT-1原文中的總覽圖，左側(cè)是GPT-1的架構(gòu)以及訓(xùn)練時的目標函數(shù)；右側(cè)是對于不同任務(wù)上進行微調(diào)時模型輸入與輸出的改變。與GPT-1中的通過預(yù)訓(xùn)練-微調(diào)范式來解決多個下游任務(wù)不同，GPT-2更加側(cè)重于Zero-shot設(shè)定下語言模型的能力。Zero-shot是指模型在下游任務(wù)中不進行任何訓(xùn)練或微調(diào)，即模型不再根據(jù)下游任務(wù)的數(shù)據(jù)進行參數(shù)上的優(yōu)化，而是根據(jù)給定的指令自行理解并完成任務(wù)。簡單來講，GPT-2并沒有對GPT-1的模型架構(gòu)進行創(chuàng)新，而是在GPT-1的基礎(chǔ)上引入任務(wù)相關(guān)信息作為輸出預(yù)測的條件，將GPT-1中的條件概率p(output|input)變?yōu)閜(output|input;task)；并繼續(xù)增大訓(xùn)練的數(shù)據(jù)規(guī)模以及模型本身的參數(shù)量，最終在Zero-shot的設(shè)置下對多個任務(wù)都展示了巨大的潛力。雖然GPT-2并沒有模型架構(gòu)上的改變，但是其將任務(wù)作為輸出預(yù)測的條件引入模型從而在Zero-shot的設(shè)置下實現(xiàn)多個任務(wù)的想法一直延續(xù)至今。這樣的思想事實上是在傳達只要模型足夠大，學(xué)到的知識足夠多，任何有監(jiān)督任務(wù)都可以通過無監(jiān)督的方式來完成，即任何任務(wù)都可以視作生成任務(wù)。GPT-3使用了與GPT-2相同的模型和架構(gòu)。文中為了探索模型規(guī)模對于性能的影響，一共訓(xùn)練了8個不同大小的模型，并將最大的具有1750億參數(shù)的模型稱為GPT-3。上圖綜合統(tǒng)計了GPT-1、GPT-2和GPT-3的參數(shù)量，模型架構(gòu)以及預(yù)訓(xùn)練的數(shù)據(jù)集，方便讀者直觀上理解GPT的迭代趨勢。GPT-3最顯著的特點就是大。大體現(xiàn)在兩方面，一方面是模型本身規(guī)模大，參數(shù)量眾多，具有96層TransformerDecoderLayer，每一層有96個128維的注意力頭，單詞嵌入的維度也達到了12,288；另一方面是訓(xùn)練過程中使用到的數(shù)據(jù)集規(guī)模大，達到了45TB。在這樣的模型規(guī)模與數(shù)據(jù)量的情況下，GPT-3在多個任務(wù)上均展現(xiàn)出了非常優(yōu)異的性能，延續(xù)GPT-2將無監(jiān)督模型應(yīng)用到有監(jiān)督任務(wù)的思想，GPT-3在Few-shot，One-shot和Zero-shot等設(shè)置下的任務(wù)表現(xiàn)都得到了顯著的提升。雖然GPT-3取得了令人驚喜的效果，但是也存在許多限制，例如天然的從左到右生成式學(xué)習(xí)使得其理解能力有待提高；對于一些簡單的數(shù)學(xué)題目仍不能夠很好完成，以及模型性能強大所帶來的社會倫理問題等。同時由于GPT系列模型并沒有對模型的架構(gòu)進行改變，而是不斷通過增大訓(xùn)練數(shù)據(jù)量以及模型參數(shù)量來增強模型效果，訓(xùn)練代價巨大，這使得普通機構(gòu)和個人無法承擔(dān)大型語言模型訓(xùn)練甚至推理的代價，極大提高了模型推廣的門檻。今年1月24日，即ChatGPT發(fā)布第二個月，微軟宣布數(shù)十億美元投資OpenAI，并且計劃在算力、商業(yè)化以及AI技術(shù)方面進行長期合作。據(jù)報道，本輪融資后OpenAI公司估值高達290