ChatGPT浪潮下看大語言模型產(chǎn)業(yè)發(fā)展

ChatGPT浪潮下，看大語言模型產(chǎn)業(yè)發(fā)展?2023.4iResearchInc.前言ChatGPT的橫空出世拉開了大語言模型產(chǎn)業(yè)和生成式AI產(chǎn)業(yè)蓬勃發(fā)展的序幕。艾瑞將撰寫AIGC系列報告，包括此篇《ChatGPT浪潮下，看大研究報告》、《AIGC系列-生成式AI應(yīng)用層行業(yè)研究報告此篇專題將著重分析“OpenAIChatGPT的成功之路”、“類ChatGPT產(chǎn)業(yè)發(fā)展趨勢”、“ChatGPT應(yīng)用場景與生態(tài)建設(shè)”、“ChatGPT浪潮下的‘?！c‘機’”四個問題。聚焦國內(nèi)市場，辨析自研通用基礎(chǔ)大語言模型的重要意義、分析大語言模型產(chǎn)業(yè)參與角色分化路徑及原因、梳理呈現(xiàn)——艾瑞咨詢研究院OpenAIChatGPT的成功之路OpenAIChatGPT的成功之路1ChatGPT——生成式AI里程碑極為關(guān)鍵的發(fā)展節(jié)點。作為一款生成式預(yù)訓(xùn)練大語言模型，“Chat”指向它的功能，“Generative”代表它屬于生成式傳統(tǒng)RNN模型的問題，生成式AI才開始在預(yù)訓(xùn)練的Transformer架構(gòu)之上煥發(fā)生機，NLP、CV甚至多模態(tài)領(lǐng)域通用基礎(chǔ)大模型飛速演進(jìn)。在模型參數(shù)量幾何級數(shù)增長以及多種訓(xùn)練方式的探索之中，ChatGPT橫空出世，也標(biāo)志著通用基礎(chǔ)大模型將突破NLP領(lǐng)域以小模型為主導(dǎo)的傳統(tǒng)發(fā)以小模型為主導(dǎo)的分析型算法是AI以小模型為主導(dǎo)的分析型算法是AI領(lǐng)域主流，生成式模型受制于RNN的順序計算效率低、長序列處理能力不足等問題，無法的遷移能力使預(yù)訓(xùn)練的transformer迅速取代Transformer的遷移能力使預(yù)訓(xùn)練的transformer迅速取代（以ChatGPT所用自回歸算法為例）提升計算效率：避免了RNN中的長序列處理能力：Transformer相（以ChatGPT所用自回歸算法為例）提升計算效率：避免了RNN中的長序列處理能力：Transformer相制和多頭注意力機制可以有效地學(xué)請告訴我“舉頭望明月”的下一句：低121：抽樣出在概率上與上文相關(guān)度最高的2：將每個新生成的字與上文所有內(nèi)容合低…答交互）?2023.4iResearchInc.?2023.4iResearchInc.RHLF指令精調(diào)+能力涌現(xiàn)，讓大模型說好“人話”放，同時大大提升了模型應(yīng)對從未見過的新指令的能力。此外，ChatGPT在邏輯推理、上下文理解等方面的能力，是模已具備所已具備所有…………共128層128層網(wǎng)絡(luò)和1750億參數(shù)組成，并使用45TB數(shù)據(jù)進(jìn)行訓(xùn)練。此時大模型已經(jīng)具備2模型微調(diào)：以說人話為目標(biāo)進(jìn)行規(guī)訓(xùn)2模型微調(diào)：以說人話為目標(biāo)進(jìn)行規(guī)訓(xùn)能夠按照人類偏好、習(xí)慣和普世價值取向，并保指令精調(diào)根本目的是希望模型能夠生成符合人類需求和指令精調(diào)根本目的是希望模型能夠生成符合人類需求和偏好，并且具有較高安全性和正確性的回答。在這一階讓GPT能夠脫離人工指引，自動通過不斷地“考試”，由于模型參數(shù)足夠大帶來的“彩蛋”，進(jìn)一步充大模型具有的部分能力是在模型參數(shù)量達(dá)到一定規(guī)模后突這項能力在LaMDA、GPT和PaLM三個模型上的演變過程。?2023.4iResearchInc.成功背后：秉承初心+巨量資源不僅是多種關(guān)鍵要素的聚合，更突顯方向與路徑確指向商業(yè)化的產(chǎn)品則顯然受到OpenAI從非營利向半營利轉(zhuǎn)型的發(fā)展訓(xùn)練ChatGPT成本可分為數(shù)據(jù)、模型訓(xùn)練、模型運訓(xùn)練ChatGPT成本可分為數(shù)據(jù)、模型訓(xùn)練、模型運營和人工等部分，從ChatGPT誕生，總花費微軟Azure為GPT-3準(zhǔn)備的訓(xùn)練研發(fā)平臺在2020年時共部署英偉達(dá)V100超過所需GPU算力約為3000-5000塊英偉達(dá)A100。據(jù)國盛證券測算，在不考慮算法優(yōu)化的情況下，需要3萬塊A100芯片才能支 ,在考慮算法優(yōu)化后保守估計在1萬片左右。畢業(yè)院校以斯坦福、伯克利、麻省理工為主，2023年度“AI2000OpenAI的幾位創(chuàng)始人以造福全人類為放心使用的高水平AI技術(shù)。在這一初心的指引下，OpenAI創(chuàng)始人兼CTO不斷GPT-3訓(xùn)練當(dāng)于閱讀了數(shù)千萬本文資金投入與發(fā)展策略為ChatGPT成功帶來至基于GPT-3的視基于GPT-3的視的對話模型發(fā)布AI工具包和模型訓(xùn)練平4.6G競品分析：技術(shù)能否趕超ChatGPT？Text-Text-濃厚學(xué)術(shù)精神，創(chuàng)新能力強，同時探索多條路徑BERTALBERTELECTRAtransformerGopher架構(gòu)LaMDA （對標(biāo)BERT）（對標(biāo)BERT） GPT-3GPT-3LaMDALaMDA衡列衡列影響大語言模型應(yīng)用效果的公認(rèn)可見因素主要是訓(xùn)練數(shù)據(jù)、模型規(guī)定論。當(dāng)前這些世界一流水平模型之間并未在技術(shù)水平上拉開明?2023.4iResearchInc.競品分析：企業(yè)商業(yè)化路徑戶數(shù)據(jù)積累、產(chǎn)品布局和生態(tài)建設(shè)層面充分領(lǐng)先；Google雖有意追趕，但由于聊天機器人這樣的產(chǎn)品其當(dāng)前市占率較低的云服務(wù)業(yè)務(wù)的市場空間。作為國內(nèi)大模型的標(biāo)桿企業(yè)，百度的選擇與Google更為類似，“文心千帆” T變現(xiàn)主要依靠C端，在微軟加持下形成強有 TEQ\*jc3\*hps15\o\al(\s\up5(Of),B)EQ\*jc3\*hps15\o\al(\s\up5(c),g)EQ\*jc3\*hps15\o\al(\s\up5(存),增)EQ\*jc3\*hps15\o\al(\s\up5(量),量)EQ\*jc3\*hps15\o\al(\s\up5(鞏),拓)EQ\*jc3\*hps15\o\al(\s\up5(固),展)0.02$/1000tokenu在C端生態(tài)上，ChatGPT一方面通過“用能力，打造superAPP吸納用戶；另一方面“走出去”，通過革新軟企業(yè)級云服務(wù)市場增量拓展企業(yè)級云服務(wù)市場增量拓展 搜索界面引入chat功能?2023.4iResearchInc.OpenAIChatGPT的成功之路OpenAIChatGPT的成功之路1自研通用基礎(chǔ)LLMs的重要意義成熟度、支持用戶并發(fā)等維度距ChatGPT還有不足，但也是在這新一輪“科技軍備競賽”中的勇于嘗試與發(fā)聲，目卡點：卡點：s價值：?2023.4iResearchInc.LLMs產(chǎn)業(yè)廠商類型與定位邏輯此輪基于ChatGPT的大模型浪潮興起伊始，結(jié)合我國AI產(chǎn)業(yè)鏈與競爭格局現(xiàn)狀，一種判斷是：基于大模型的通用和泛化能優(yōu)化，建立“數(shù)據(jù)飛輪”壁壘。在下游豐富的基于大語言模型、AIGC應(yīng)用開發(fā)需求的影響下，還將分?大模型改變了AI?大模型改變了AI產(chǎn)業(yè)的技術(shù)流通路徑和生產(chǎn)方式。在促進(jìn)AI工業(yè)化進(jìn)程的同時，優(yōu)化了應(yīng)用的產(chǎn)品功能、拓寬了應(yīng)用AIGC產(chǎn)業(yè)發(fā)通用基礎(chǔ)大模型廠商通過海量數(shù)據(jù)自研大模型過垂直領(lǐng)域數(shù)據(jù)調(diào)優(yōu)、縮小模型量級首先服務(wù)于自身業(yè)務(wù)，達(dá)到降本增效、提高營收等效果。后開放服務(wù)，賦能B端或C?通用基礎(chǔ)大模型在高商業(yè)價值的內(nèi)容輸出?在數(shù)據(jù)開放度低的行業(yè)領(lǐng)域，如能源、政?在落地實施層面上，不具備調(diào)優(yōu)與二次開產(chǎn)生類OpenAI企業(yè)?2023.4iResearchInc.大語言模型產(chǎn)業(yè)價值鏈在參數(shù)量級、通用性上存在差異垂直基礎(chǔ)大模型廠商可直接開發(fā)應(yīng)用產(chǎn)品國外GPT模型LaMDA模型LLaMA模型在參數(shù)量級、通用性上存在差異垂直基礎(chǔ)大模型廠商可直接開發(fā)應(yīng)用產(chǎn)品國外GPT模型LaMDA模型LLaMA模型OMeta各類開源模型通用搜索引擎通用搜索引擎對話式AI輔助編程類消費級硬件辦公軟件等）垂直領(lǐng)域產(chǎn)品金融政務(wù)能源電力教育等密集型領(lǐng)域通用基礎(chǔ)大模型廠商可直接賦能應(yīng)用層廠商或開發(fā)應(yīng)用產(chǎn)品應(yīng)用型公司依托LLMs將落地場景中的真實數(shù)據(jù)發(fā)揮更大價值通用基礎(chǔ)大模型廠商可直接賦能應(yīng)用層廠商或開發(fā)應(yīng)用產(chǎn)品芯片芯片立百度雪能云數(shù)據(jù)眾包?2023.4iResearchInc.OpenAIChatGPT的成功之路OpenAIChatGPT的成功之路1?2023.4iResearchInc.大語言模型落地應(yīng)用對數(shù)字產(chǎn)業(yè)影響影響將從搜索引擎等知識信息平臺拓展到一切人機交互型應(yīng)用。友好度和功能性的顯著提升將激活軟件服務(wù)的增量用戶市新的流量入口。大語言模型將改變數(shù)字產(chǎn)業(yè)生態(tài)集成多功能，集成多功能，圍用ChatGPT引領(lǐng)AI應(yīng)用熱潮與應(yīng)用革命ChatGPT被稱為AI的“iPhone時刻”，以ChatGPT為代表的生成式AI讓每個人命令計算機解決問題成為了可能?？蓪ιa(chǎn)工具、對話引擎、個人助理等各類應(yīng)用，起到協(xié)助人、服務(wù)人甚至超越人的角色。憑借此革命性突破，ChatGPT在搜索引擎與各類工具軟件中率先掀起應(yīng)用熱潮，引起了廣大用戶對ChatGPT相關(guān)技術(shù)的關(guān)注與學(xué)習(xí)。海量下游應(yīng)用也因此捕捉到新的技術(shù)與產(chǎn)業(yè)機會，希望通過各類大模型與工程化能力，將類ChatGPT產(chǎn)品能力輸送到原有的應(yīng)用中，關(guān)于應(yīng)應(yīng)用價值鏈服務(wù)價值 應(yīng)用價值鏈服務(wù)價值 人 應(yīng)用舉例：生成指令：生成指令：請根據(jù)準(zhǔn)備好的用戶數(shù)據(jù)與材料起草可以結(jié)合數(shù)據(jù)做可覆蓋應(yīng)用舉例：模型：OpenAIGPT-4模型：OpenAIGPT-4&GPT-3.5已滲透部分應(yīng)用?2023.4iResearchInc.?2023.4iResearchInc.通用搜索引擎新布局流量。與此同時，谷歌與百度雖均發(fā)布了與ChatGPT對標(biāo)產(chǎn)品，但并未直接嵌入搜索引擎中，不過谷歌正在測試幾款集搶占用戶流量。搜索引擎與大語言模型結(jié)合情況 擎造成兩點改變：一是搜索方式從關(guān)鍵詞式變成對話式，二是搜索結(jié)果從簡單的摘要排列式變成篇章閱?憑借新功能吸引用戶，爭奪市場：盡管微軟基于GPT-4與Edge瀏覽器數(shù)據(jù)升級的NewBing存在數(shù)據(jù)準(zhǔn)確性錯誤、鏈接排版錯誤等不足，但憑借個性化交互、內(nèi)容生成等優(yōu)勢與用戶獵奇心理收獲了大量用戶流量，爭奪搜索引擎市場。接入ChatGPT一個月后，微軟公布其進(jìn)展數(shù)百萬活躍用戶中，大約三分之一是Bing的新用戶。這對于Google來說造成了技術(shù)與市場的雙重威脅，?谷歌Bard與谷歌搜索引擎?谷歌Bard與谷歌搜索引擎分開運行，僅支持英語生成答案，訪問權(quán)限有限。每次提問給出三種版本回答，支持一鍵返回搜索界面。?谷歌沒有明確表明要在搜索引擎中集成Bard，但谷歌正在測試幾款新搜索產(chǎn)品，將類ChatGPT對ChatGPT的產(chǎn)品，可實現(xiàn)跨模態(tài)功能，服務(wù)于文學(xué)與文案創(chuàng)作、?目前百度文心一言尚未接入搜索引擎，但這可能只是時間問題。一旦接入，百度搜索引擎有望迎360?360基于大語言模型在C端推基于搜索場景推出人工智能個?360大模型戰(zhàn)略也將在ToC、ToSME、ToG&B方面進(jìn)行商?2023.4iResearchInc.共生模式下待解決的發(fā)展問題存在機器信任風(fēng)險、運營成本過高、沖擊原ChatGPT與搜索引擎不是非黑即白、此消彼長的替代關(guān)系，而是相互結(jié)合促進(jìn)的共生關(guān)系，ChatGPT會升級與豐富搜索ChatGPT回答的可信度存疑，存在機器信任風(fēng)險。以及為避免數(shù)據(jù)時效缺陷而頻繁引入新數(shù)據(jù)與知識、進(jìn)行模型精調(diào)會?采用ChatGPT搜索直接得到對應(yīng)?采用ChatGPT搜索直接得到對應(yīng)收益，有一種方案設(shè)想是在ChatGPT中嵌入廣告鏈接，將廣顯破壞了ChatGPT直接回應(yīng)問題除了檢索準(zhǔn)確度外，這也是Google落后OpenAI進(jìn)行嘗試的?ChatGPT產(chǎn)出內(nèi)容準(zhǔn)確性的不可控，會讓用戶陷入信任與否的兩難局面。目前，ChatGPT已經(jīng)成為很多用戶獲取信息的手段，但用戶如果沒有分辨能力，可能會被?為避免回復(fù)的數(shù)據(jù)時效性問題，若對ChatGPT頻繁微調(diào)，新數(shù)據(jù)與知識在模型內(nèi)的權(quán)重過高可能會對原有知識造ChatGPT每一次生成答案的成本?ChatGPT的訓(xùn)練成本與在線推理成本過高。如果完全開放，面向搜索引擎的數(shù)以億計的用戶請求，但目前算力仍然制約其用戶數(shù)量?2023.4iResearchInc.基礎(chǔ)辦公軟件革新 微軟365Copilot與谷歌Workspace金山辦公產(chǎn)品對標(biāo)：基于Word、Onenote等草稿直接生成幻燈片；通過自然語研發(fā)展望：根據(jù)2022年金山辦公財報顯示，金山辦公圍繞AIGC與LLMs領(lǐng)域進(jìn)行研發(fā)投入，優(yōu)化文檔數(shù)據(jù)搜索功能，并在智能輔助寫作與排版、表格數(shù)據(jù)智能分析、PPT一鍵生成與美化等場景進(jìn)基于Office所有應(yīng)用數(shù)據(jù)，實現(xiàn)全局信息視角下的交互式問Chat）。盡管沒在生成式AI功能上基本上可以實現(xiàn)與微軟365Copilot 應(yīng)用落地思考買單意愿?基于辦公基礎(chǔ)軟件包之上增加增值包，微軟與谷買單意愿?基于辦公基礎(chǔ)軟件包之上增加增值包，微軟與谷?算力、人力等資源投入高昂，如何將費用合理平收費模式上也強調(diào)Copilot會和其他AI內(nèi)容生成器一樣出現(xiàn)事實錯誤，?如果因為產(chǎn)品錯誤與成本問題影響用戶的消來是否會在“嘗鮮”消費之后繼續(xù)購買Copilot仍舊對話式AI接入“高知、高情商大腦”在ChatGPT出現(xiàn)以前，文本機器人、語音機器人、多模態(tài)數(shù)字人等對話式AI產(chǎn)品普遍存在知識結(jié)構(gòu)不完善、只能做簡單產(chǎn)品新賣點。大語言模型與對話式AI結(jié)合戶個性化或?qū)I(yè)化問題問答停留在一問一答、命令式的交互狀態(tài)，產(chǎn)品僅能針對個別問題和指令做簡單回答，交互體驗感達(dá)不到預(yù)期，被用戶稱為“人工智障”彌補傳統(tǒng)交互方式體驗不足的痛點，提升語音機器人的反饋豐富度與準(zhǔn)確性，進(jìn)行更高效、更擬人化的交流，為用高級開發(fā)人員通過ChatGPT，結(jié)合Si能的語音助手；開發(fā)者將ChatGPT人形機器人Ameca接入例1：智能客服功能，客戶服務(wù)軟件公司Intercom基于GPT-4和例1：智能客服功能，客戶服務(wù)軟件公司Intercom基于GPT-4和應(yīng)用舉例?2023.4iResearchInc.企業(yè)服務(wù)與垂直領(lǐng)域應(yīng)用產(chǎn)具有重要意義。大語言模型應(yīng)用于企業(yè)服務(wù)及垂直領(lǐng)域 摩根士丹利通過GPT-4對研報內(nèi)容進(jìn)行搜索，解鎖財管將協(xié)助改進(jìn)現(xiàn)有的金融NLP任務(wù)，如情感分析、命名實體識別、新聞分類和問答等。此外將為彭博終端上的大量基于企業(yè)內(nèi)部知識庫與過往案例，為客服提供查詢基于企業(yè)內(nèi)部知識庫與過往案例，為客服提供查詢話內(nèi)容自動生成臨床筆記草互聯(lián)網(wǎng)醫(yī)療知識問答、患者病例診斷分析、輔助診療方案出具、醫(yī)護(hù)陪伴服務(wù)、醫(yī)根據(jù)天氣、財務(wù)、地理環(huán)境等信息，發(fā)出供應(yīng)鏈流ShopifyShopify通過接入ChatGPTAPI開發(fā)的導(dǎo)購機器人可分析買家需求、進(jìn)行商品推薦、分析評論數(shù)據(jù)、撰寫營銷文森宇宙CeMeta結(jié)合文心一言提升數(shù)字化營銷產(chǎn)品能力，促進(jìn)多模態(tài)數(shù)字人研發(fā)，落布的EinsteinGPT可自動完成電子郵件撰寫、智能?2023.4iResearchInc.ChatGPTPlugins觸發(fā)生態(tài)建設(shè)開關(guān)件的ChatGPT相當(dāng)于微信或支付寶等應(yīng)用，眾多插件相當(dāng)于小程序匯聚其中，ChatGPT通過這些小程序進(jìn)入第三方應(yīng)用界面，與第三方應(yīng)用的數(shù)據(jù)與功能實現(xiàn)互補?；谀壳耙延械?1款第三方插件與2款Ope運行或直接調(diào)用第三方API服務(wù)。Plugins開放可率先讓更多數(shù)據(jù)、行業(yè)知識、第三方應(yīng)用、開發(fā)者加入到ChatGPT能力建設(shè)中，原有的計算機軟件生態(tài)與數(shù)據(jù)庫成為了ChatGPT的天然“外掛”，賦予了ChatGPT聯(lián)網(wǎng)、對接實時信息、使用工具等新能力，ChatGPT從單點式工具升級為多元化工具，并滲透進(jìn)原有行業(yè)3434生態(tài)圈壯大生態(tài)圈壯大55GPT-4能力輸送GPT-4（能力基座）GPT-4（能力基座）使用使用Browsing插件訪問互聯(lián)網(wǎng)后，回答奧斯卡相關(guān)代碼編寫解決定性或定量結(jié)合用戶需求制定用餐計?2023.4iResearchInc.OpenAIChatGPT的成功之路OpenAIChatGPT的成功之路1?2023.4iResearchInc.AIGC的“達(dá)摩克里斯之劍”疑問2022年底至2023年3月，全球科技界都在為此業(yè)或布局追趕或投身下游應(yīng)用開發(fā)與生態(tài)集合；企業(yè)也積極布局類ChatGPT、類Midjourney產(chǎn)品開發(fā)，國內(nèi)巨吁“所有AI實驗室立即暫停訓(xùn)練比GPT-4更強大的AI系統(tǒng)至少6個月”將反對聲推向高潮。大模型開發(fā)與應(yīng)用企業(yè)也已認(rèn)識到治理的重要性，例如通過RLAIF（減少人類反饋信息）、去除危險內(nèi)容生成、監(jiān)管框架等手段解決模型偏見、濫用等風(fēng)險問題。OpenAI也于4月6日發(fā)布《OurapproachtoAIsafety》，應(yīng)對安全和倫理質(zhì)疑。作為突圍性產(chǎn)品，ChatGPT的革新價值已被充分印證。雖然其誘發(fā)的風(fēng)險不容忽視，但少數(shù)人的“叫?！辈⒉荒軠p緩商業(yè)巨頭和產(chǎn)業(yè)生態(tài)持續(xù)發(fā)展。大規(guī)模預(yù)訓(xùn)練模型引發(fā)風(fēng)險的討論（部分）?主要指用戶對AIGC產(chǎn)品產(chǎn)生結(jié)果的不當(dāng)使?主要指用戶對AIGC產(chǎn)品產(chǎn)生結(jié)果的不當(dāng)使用，例如學(xué)生在作業(yè)或考試中直接使用生成結(jié)果作弊、不法分子使用生成圖像或文字內(nèi)容，進(jìn)行造謠或勒索等，且存在知識?濫用風(fēng)險的形式將更多樣化，但對生成內(nèi)?大語言模型是基于現(xiàn)實世界的語言數(shù)據(jù)預(yù)訓(xùn)?通過基于人類反饋的強化學(xué)習(xí)使模型生成結(jié)果更符合人類預(yù)期，存在基于標(biāo)注人員導(dǎo)致?在醫(yī)學(xué)、法律等敏感領(lǐng)域，生成的錯誤信息路徑討論持續(xù)存在，OpenAI也經(jīng)歷了從非?AIGC產(chǎn)品目前多為公有云部署形式，且私密信息存在被推導(dǎo)出的可能。用戶使用過程圍繞新興科技生產(chǎn)力的國家博弈國家層面對于目前世界上最優(yōu)秀（從用戶生態(tài)到商業(yè)落地層面評估）的AIGC公司——OpenAI和其核心產(chǎn)品ChatGPT的態(tài)度也比較慎重。比如，意大利宣布封禁ChatGPT并限制OpenAI處理意大利用戶信息；我國A股多家企業(yè)露“公司未與OpenAI開展合作，ChatGPT的產(chǎn)品和服務(wù)未給公司帶來業(yè)務(wù)收入”。同時，ChatGPT平臺也封禁大量趨勢初現(xiàn)端倪。從我國所處的追趕者角色看，類ChatGPT產(chǎn)品及其下游應(yīng)用產(chǎn)業(yè)對于國家數(shù)字經(jīng)濟發(fā)展的戰(zhàn)略意義不容AI算法和底層框架等層面也存在代際差距