從ChatGPT看生成式人工智能AIGC產(chǎn)業(yè)機(jī)遇與落地場(chǎng)景

▍報(bào)告緣起Chat-GT自推出以來(lái)表現(xiàn)優(yōu)異展現(xiàn)出了相比于前代更好的對(duì)話(huà)能力與上下文的邏輯一致性。OI團(tuán)隊(duì)最新公布的語(yǔ)言模型Cha-GT于2年1月0日向社區(qū)發(fā)布測(cè)試，并立即收到了良好的反饋。從測(cè)試反饋的結(jié)果看，相比于前一代的G-3，C-GT以對(duì)話(huà)為載體，可以回答多種多樣的日常問(wèn)題，對(duì)于多輪對(duì)話(huà)歷史的記憶能力和篇幅增強(qiáng)與G-3等大模型相比Cha-GT回答更全面可以多角度全方位進(jìn)行回答和闡述相較以往的大模型知識(shí)被挖掘得更充分此外ChaGT增加了過(guò)濾處理制以解決I倫理問(wèn)題，針對(duì)不適當(dāng)?shù)奶釂?wèn)和請(qǐng)求，它可以做出拒絕和“圓滑”的回復(fù)。圖：tPT相比于代回更加靈，更近人反應(yīng)tGT圖：面對(duì)有人類(lèi)理的題tGPT會(huì)進(jìn)拒絕tGTChat-GT的強(qiáng)勢(shì)出圈成為了對(duì)人工智能中短期內(nèi)的產(chǎn)業(yè)化方向一系列探索的催化劑。從對(duì)Cha-GT的測(cè)試結(jié)果來(lái)看，Cha-GT開(kāi)始能在大范圍、細(xì)粒度問(wèn)題上給出普遍穩(wěn)妥的答案并根據(jù)上下文形成有一定的邏輯性的創(chuàng)造性回答。它降低了人類(lèi)學(xué)習(xí)成本和節(jié)省時(shí)間成本，可以滿(mǎn)足人類(lèi)大部分日常需求，比如快速為人類(lèi)改寫(xiě)確定目標(biāo)的文字、大篇幅續(xù)寫(xiě)和生成小說(shuō)快速定位代碼的g等這些小功能在中短期內(nèi)有望快速被初公司產(chǎn)業(yè)化以極低的成本表現(xiàn)出比此前更優(yōu)越的性能本篇報(bào)告就將從Cha-GT背后的技術(shù)邏輯出發(fā)，分析本輪人工智能浪潮可能的產(chǎn)業(yè)化方向。圖：各時(shí)間點(diǎn)所應(yīng)的I能以及所產(chǎn)生應(yīng)用品 資料來(lái)：紅投資▍技術(shù)邏輯：基于人類(lèi)反饋學(xué)習(xí)進(jìn)行額外訓(xùn)練，給出ransformer未來(lái)的發(fā)展方向Chat-GT繼承了InstuctGT基于G-3之上的創(chuàng)新，即人類(lèi)反饋強(qiáng)化學(xué)習(xí)與獎(jiǎng)勵(lì)模型取得了良好的效果。OpnAI團(tuán)隊(duì)從G-5系列中的一個(gè)模型進(jìn)行微調(diào)，使用與InstructGT相同的方法人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）訓(xùn)練該模型并對(duì)數(shù)據(jù)收集設(shè)相對(duì)做了優(yōu)化。從此前公布的兄弟模型Instruct-GT的論文來(lái)看，Cha-GT的模型構(gòu)建主要分為三部分：使用有監(jiān)督學(xué)習(xí)方式基于GT3.5微調(diào)訓(xùn)練一個(gè)初始模型訓(xùn)練數(shù)據(jù)約為2w~3w量級(jí)（根據(jù)兄弟模型InstructGT的訓(xùn)練數(shù)據(jù)量級(jí)估算。OpI請(qǐng)來(lái)了約0人的標(biāo)注師團(tuán)隊(duì)，由標(biāo)注師分別扮演用戶(hù)和聊天機(jī)器人產(chǎn)生人工精標(biāo)的多輪對(duì)話(huà)數(shù)據(jù)這種標(biāo)注的訓(xùn)練數(shù)據(jù)雖然數(shù)據(jù)量不大，但質(zhì)量和多樣性非常高，且都是來(lái)自真實(shí)世界數(shù)據(jù)。隨后模型隨機(jī)抽取一大批rompt，使用第一階段微調(diào)模型，產(chǎn)生多個(gè)不同回答。標(biāo)注人員對(duì)這些個(gè)結(jié)果排序并按照個(gè)人的對(duì)回答完成度的偏好形成訓(xùn)練數(shù)據(jù)對(duì)之后使用prwseloss來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型可以預(yù)測(cè)出標(biāo)注者更喜歡哪個(gè)輸出在不斷比較中給出相對(duì)精確的獎(jiǎng)勵(lì)值這一步使得Cha-GT從命令驅(qū)動(dòng)轉(zhuǎn)向了意圖驅(qū)動(dòng)。在這個(gè)過(guò)程中訓(xùn)練數(shù)據(jù)不需過(guò)多維持在萬(wàn)量級(jí)即可因?yàn)樗恍枰F盡所有的問(wèn)題，只要告訴模型人類(lèi)的喜好，強(qiáng)化模型意圖驅(qū)動(dòng)的能力就行。使用O強(qiáng)化學(xué)習(xí)策略來(lái)微調(diào)第一階段的模型。隨機(jī)抽取新的rmp，用第階段的ReardModel給產(chǎn)生的回答打分。這個(gè)分?jǐn)?shù)即回答的整體reard，進(jìn)而將此reward回傳，由此產(chǎn)生的策略梯度可以更新O模型參數(shù)。整個(gè)過(guò)程迭代數(shù)次直到模收斂O模型可以在多個(gè)訓(xùn)練步驟實(shí)現(xiàn)小批量的更新其實(shí)現(xiàn)簡(jiǎn)單易于理解性能穩(wěn)定、能同時(shí)處理離散連續(xù)動(dòng)作空間問(wèn)題、利于大規(guī)模訓(xùn)練。圖：IstctT的技術(shù)邏：F的主要改變于人監(jiān)督與調(diào)整的獎(jiǎng)模型 OChat-GT成功使用小訓(xùn)練樣本完成了與G-3相當(dāng)甚至更好的效果突顯數(shù)據(jù)質(zhì)量的重要性Cha-GT的兄弟模型InstructGT僅僅使用了精選的3億參（對(duì)比G-3的千億級(jí)別參數(shù)就完成了與G-3結(jié)果相當(dāng)甚至更好的回復(fù)質(zhì)量從論文給出的四個(gè)數(shù)據(jù)集測(cè)試可以看出在其中兩個(gè)數(shù)據(jù)集InstructGT就完成了明顯超越G-3回復(fù)質(zhì)量的結(jié)果。因此，我們推測(cè)InstuctGT的兄弟模型C-GT也使用了小量級(jí)的數(shù)據(jù)樣本取得了如此出色的結(jié)（Cha-GT不同于InstructGT建立于G-5系列的一個(gè)模型上，數(shù)據(jù)量應(yīng)大于InstructGT但仍小于G-處于百億級(jí)別Cha-GT的成功向我們展現(xiàn)了目前我們所看到的rasfomer模型們的潛力尚未被完全開(kāi)發(fā)，如何更好的精選優(yōu)數(shù)據(jù)將成為下一步的課題之一。圖：RlToxcty數(shù)據(jù)集keod 圖：TrutfuQA數(shù)據(jù)集keod .4.3.2.1.2.9.8.7

GT 有監(jiān)督微調(diào) IttGT

.5.4.5.3.5.2.5.1.50

GT 有監(jiān)督微調(diào) IttGTOI 注縱軸為與真實(shí)答案的最大相似度

OI 注縱軸為與真實(shí)答案的最大相似度圖：Haucnation數(shù)據(jù)集keod 圖：Custmerssstatpropriate數(shù)據(jù)集keood.5.4.5.3.5.2.5.1.50

GT 有監(jiān)督微調(diào) IttGT

.2.9.8.6.4.2.8.8.6

GT 有監(jiān)督微調(diào) IttGTOI 注縱軸為與真實(shí)答案的最大相似度

OpI 注縱軸為與真實(shí)答案的最大相似度Chat-GT的成功是在前期大量堅(jiān)實(shí)的工作基礎(chǔ)上實(shí)現(xiàn)的不是橫空出世的技跨越這些進(jìn)步主要來(lái)自于數(shù)學(xué)層面上的優(yōu)化帶來(lái)的結(jié)果匹配精準(zhǔn)度提高而并非算法真為I帶來(lái)了創(chuàng)造性與完整的邏輯性也不是能夠從訓(xùn)練的數(shù)據(jù)中學(xué)習(xí)到新的知識(shí)它“鎖（uock）和挖掘GT3學(xué)到的海量數(shù)據(jù)中的知識(shí)和能力，但這些僅通過(guò)快速的-cotext的方式較難獲得InstuctGT找到了一種面向主觀任務(wù)來(lái)挖掘GT3強(qiáng)大語(yǔ)言能力的方式。因此從這樣的底層技術(shù)邏輯出發(fā)，我們能迅速找到中短期內(nèi)適合的產(chǎn)業(yè)化方向：一個(gè)真正全方位的智能內(nèi)容生成助手。圖：tPT的代碼成 tGT▍產(chǎn)業(yè)影響：成本下降高質(zhì)量數(shù)據(jù)加速底層應(yīng)用落地回顧過(guò)去近十年間I產(chǎn)業(yè)鏈的發(fā)展史，我們可以簡(jiǎn)單分為以下幾個(gè)階段：.小模型（5年前）I擅長(zhǎng)特定領(lǐng)域的分析任務(wù)（如語(yǔ)義理解等，但通用型任務(wù)的完成情況很差。硬算力不夠?qū)е轮匦掠?xùn)練成本過(guò)高數(shù)據(jù)來(lái)源過(guò)于稀少難以提升到更高精確度整體表達(dá)力與人類(lèi)相差較遠(yuǎn)。.大模型（-2022年）rafomer模型的出現(xiàn)，使得文字、語(yǔ)音、圖像識(shí)別、語(yǔ)言理解等領(lǐng)域達(dá)到了超越人類(lèi)的水平但同時(shí)也極大得增加了模型的體積只有擁有強(qiáng)大算力支撐的科技巨頭才能力訓(xùn)練rafomer模型。圖：52年間深度學(xué)模型體不斷大 tfdAII兼顧經(jīng)濟(jì)性與可使用性（22-2024年）Chat-GT的成功證明了兩點(diǎn)單純擴(kuò)大模型參數(shù)并非唯一出路讓模型在早期開(kāi)放給大眾測(cè)試并收集人類(lèi)反饋數(shù)據(jù)更有利于模型迭代之前兩個(gè)階段人工智能的展更多體現(xiàn)在基于規(guī)模的技術(shù)突破如-0年用于模型訓(xùn)練的計(jì)算量增長(zhǎng)了6個(gè)數(shù)量級(jí)同時(shí)隨著規(guī)模的增大輸出結(jié)果的質(zhì)量亦迎來(lái)質(zhì)變，在語(yǔ)言文字書(shū)寫(xiě)圖像識(shí)別等領(lǐng)域皆表現(xiàn)出超越人類(lèi)的水平。但在實(shí)用層面由于所需要的算力巨大，往往需要特殊的GU配置，同時(shí)訓(xùn)練過(guò)程相對(duì)封閉，大多數(shù)人并無(wú)法使用，因此技術(shù)無(wú)法被多數(shù)人觸達(dá)。而人工智能的第三個(gè)階段，隨著更新的技術(shù)更優(yōu)的算法更大的模型出現(xiàn)，算力的成本越來(lái)越低使得模型訓(xùn)練與運(yùn)行所需成本持續(xù)下降而算法從封閉測(cè)試到開(kāi)放測(cè)試開(kāi)源的逐漸普及，亦降低了使用門(mén)檻。由此人工智能無(wú)論在經(jīng)濟(jì)性與可獲得性上都達(dá)到了支持普及的水平。圖：加入了人反饋驟后大模型代速將遠(yuǎn)以往模型開(kāi)放、快速迭代（4以后）得益于IGC基礎(chǔ)設(shè)施可獲得性的逐步提高平臺(tái)層變得更加穩(wěn)固算力成本持續(xù)下探，模型逐漸趨于開(kāi)源與免費(fèi)，應(yīng)用層爆發(fā)式發(fā)展的節(jié)點(diǎn)正在靠近。正如GS技術(shù)的及打開(kāi)了導(dǎo)航市場(chǎng)，我們認(rèn)為IGC整體產(chǎn)業(yè)鏈從底層硬件到中層技術(shù)再到產(chǎn)品思維的熟正在催生新的殺手級(jí)應(yīng)用。圖：未來(lái)可能現(xiàn)的手級(jí)用及其應(yīng)的前模型資料來(lái)：紅投資▍應(yīng)用場(chǎng)景：實(shí)現(xiàn)GC到IGC的助推器Chat-GT的出現(xiàn)所帶來(lái)的內(nèi)容生成能力將會(huì)為當(dāng)今從用戶(hù)創(chuàng)作（G）到I創(chuàng)作（IGC的轉(zhuǎn)型提供關(guān)鍵的輔助支持目前我們正經(jīng)歷從Wb.0開(kāi)始向We30轉(zhuǎn)型的啟航階段在過(guò)去五年我們已經(jīng)看到內(nèi)容創(chuàng)造從專(zhuān)業(yè)創(chuàng)（FC轉(zhuǎn)型為了用戶(hù)創(chuàng)（UGC在UGC階段，隨著消費(fèi)者定制化需求越來(lái)越高，消費(fèi)者本身亦參與內(nèi)容的生產(chǎn)，并伴隨著互聯(lián)網(wǎng)的興起智能手機(jī)的普及ouFacebook等平臺(tái)涌現(xiàn)UGC成為了內(nèi)容生產(chǎn)的主流模式而在不遠(yuǎn)的將來(lái)I協(xié)助內(nèi)容生（IUGC與I創(chuàng)（IGC將為我們提供更低的創(chuàng)作門(mén)檻以及更豐富的創(chuàng)作思路在這兩個(gè)階段中內(nèi)容生產(chǎn)主體從人類(lèi)本身開(kāi)始向人工智能遷移主要區(qū)別體現(xiàn)在內(nèi)容的生產(chǎn)效率知識(shí)圖譜的多樣性以及提供更加動(dòng)態(tài)且可交互的內(nèi)容上人腦只能基于自己的知識(shí)圖譜進(jìn)行少數(shù)方向的信息處理，而I能從更龐大的知識(shí)體系中進(jìn)行多個(gè)方向的處理，進(jìn)而提供更多的創(chuàng)作思路。Garnr預(yù)計(jì)，到5年，生成式人工智能將占所有生成數(shù)據(jù)的%。圖：內(nèi)容生成四個(gè)段 資料來(lái)：虎網(wǎng)結(jié)合Cha-GT的底層技術(shù)邏輯我們認(rèn)為Cha-GT中短期內(nèi)產(chǎn)業(yè)化的方向主要分為四大板塊：Chat-GT對(duì)于文字模態(tài)的IGC應(yīng)用具有重要意義，在歸納性的文字類(lèi)工作中展現(xiàn)出了極其優(yōu)異的表現(xiàn)其中在Cha-GT的幫助下傳統(tǒng)的文字類(lèi)工作中的一些方向會(huì)涉及到交互的全面改革，比如機(jī)器翻譯不再是傳統(tǒng)的文本輸入-實(shí)時(shí)翻譯，而是隨時(shí)以助手問(wèn)答的形式出現(xiàn)。甚至給出一個(gè)大概籠統(tǒng)的中文意思讓機(jī)器給出對(duì)應(yīng)英文中短期內(nèi)Cha-GT能在辦公輔助類(lèi)工具中迅速落地，例如會(huì)議總結(jié)、文件翻譯、例行報(bào)告等提升辦公效率并節(jié)省人力成本。目前已有的初創(chuàng)公司如Jasp，主打文字生成相關(guān)服務(wù)于2年0月9日宣布完成5億美元的A輪融資估值達(dá)到5億美元該公司針對(duì)不同應(yīng)用場(chǎng)景提供不同類(lèi)型的服務(wù)如社交媒體、廣告文章、郵件等不同類(lèi)型的文生成。圖：Jsr采用SS模式檔位定價(jià) sr官網(wǎng)代碼開(kāi)發(fā)相關(guān)的工作更加規(guī)整也非常適合I輔助生成。1年中與Gthb、微軟合作上線(xiàn)的Coplot是目前最成熟的I代碼補(bǔ)全工具，根據(jù)Gthb數(shù)據(jù)，測(cè)試一年來(lái)已有0萬(wàn)用戶(hù)這些用戶(hù)編寫(xiě)的代碼中%是由Coplot自動(dòng)生成而截至2年月，Copot已經(jīng)融資0萬(wàn)美元。Cha-GT在目前測(cè)試中表現(xiàn)出的代碼生成能力相比于Copot更加靈活，可以獨(dú)立完成一些小功能的編寫(xiě)，但綜合看目前版本的Ca-GT自代碼生成中欠缺一些底層的穩(wěn)定性。在進(jìn)行針對(duì)性的優(yōu)化后基于新GT模型的I碼輔助工具也有望在中短期內(nèi)落地。圖：ilt目前主要開(kāi)發(fā)提供糾與修建議ilt圖像生成領(lǐng)域成為了2年下半年一級(jí)市場(chǎng)公司布局的熱點(diǎn)，隨著Dall2的熱度，在商稿方面用I取代人類(lèi)畫(huà)手的思路基本明確。1年OpenI推出的初代圖像生成Dae模型就是基于GT之上，而Dae2則轉(zhuǎn)向投入了擴(kuò)散模型的懷抱并取得了更的效果。GT模型在圖像生成領(lǐng)域目前效果略遜于擴(kuò)散模型，但擴(kuò)散模型可以利用Cha-GT生成較佳的romp對(duì)于IGC內(nèi)容和日趨火熱的藝術(shù)創(chuàng)作提供強(qiáng)大的文字形態(tài)的動(dòng)力。表：國(guó)內(nèi)流I繪畫(huà)軟件產(chǎn)品名稱(chēng) 所屬公司文心一格 百度集團(tuán)萬(wàn)興I繪畫(huà) 萬(wàn)興科技n 毛線(xiàn)球技清墨社區(qū) 映刻科技無(wú)界版圖 超節(jié)點(diǎn)息科技ZO.AI 感知階數(shù)字技TIAT 退格數(shù)科技盜夢(mèng)師 西湖心科技各司官，Chat-GT將在智能客服類(lèi)工作中找到適合自己的位置根據(jù)模型現(xiàn)有的完成度，在垂直行業(yè)針對(duì)性的做人工反饋訓(xùn)練，Cha-GT就可以落地為智能客服產(chǎn)品，在C場(chǎng)景中率先應(yīng)用。對(duì)比現(xiàn)有的智能客服，Cha-GT支撐的客服將在靈活性與人性化服務(wù)方面有顯著的進(jìn)步根據(jù)GrndiewResearch的報(bào)告全球I市場(chǎng)在2年達(dá)到了億美元該機(jī)構(gòu)預(yù)計(jì)到0年將達(dá)到8億美元對(duì)應(yīng)2年-0年CGR為%。而根據(jù)CanmReserch1年的調(diào)查數(shù)據(jù)顯示，美國(guó)%的客戶(hù)聯(lián)絡(luò)中心在未來(lái)三年內(nèi)部署人工智能，%的客戶(hù)服務(wù)互動(dòng)已經(jīng)實(shí)現(xiàn)自動(dòng)化，該機(jī)構(gòu)預(yù)計(jì)到3年將增長(zhǎng)至%。圖：全球I客服市空間速（十美元） 市場(chǎng)規(guī)模 oY8765432102 E E E E E E E

GViewsc（含預(yù)測(cè)）近兩年國(guó)內(nèi)一級(jí)市場(chǎng)中也涌現(xiàn)了大量智能客服公司基于模型之上做針對(duì)性的產(chǎn)業(yè)優(yōu)化將節(jié)省大量成本。據(jù)市場(chǎng)研究機(jī)構(gòu)沙利文發(fā)布的《1年中國(guó)智能客服市場(chǎng)報(bào)告》顯示，0年中國(guó)智能客服行業(yè)投融資事件有3件，投資總金額為4億元，同比增長(zhǎng)%另外1年上半年中國(guó)智能客服投融資事件有3件投資金額達(dá)4億元，C輪至D輪融資事件占比高達(dá)%從投融資輪次來(lái)看1年上半年C輪至D輪投融資事件最為活躍可見(jiàn)各細(xì)分賽道企業(yè)漸趨成熟其中智齒科技來(lái)也科技樂(lè)言科技、Udesk、曉多科技、小能科技等智能客服廠商，頗受資本市場(chǎng)青睞。▍風(fēng)險(xiǎn)因素I核心技術(shù)發(fā)展不及預(yù)期風(fēng)險(xiǎn)科技領(lǐng)域政策監(jiān)管持續(xù)收緊風(fēng)險(xiǎn)全球宏觀經(jīng)濟(jì)復(fù)不及預(yù)期風(fēng)險(xiǎn)宏觀經(jīng)濟(jì)波動(dòng)導(dǎo)致歐美企業(yè)T支出不及預(yù)期風(fēng)險(xiǎn)全球云計(jì)算市場(chǎng)發(fā)展及預(yù)期風(fēng)險(xiǎn)；企業(yè)數(shù)據(jù)泄露、信息安全風(fēng)險(xiǎn)；行業(yè)競(jìng)爭(zhēng)持續(xù)加劇風(fēng)險(xiǎn)等。▍投資建議Cha-GT模型的亮眼表現(xiàn)的背后是研究者在rafomer模型前進(jìn)的道路上發(fā)現(xiàn)