2023微軟人工智能ChatGPT到通用智能應(yīng)用

微軟ChatGPT到通用智能應(yīng)用目錄TOC\o"1-2"\h\u1452摘要 315932正文 42810從2012年的深度學(xué)習(xí)元年開(kāi)始，上一輪紅利已經(jīng)持續(xù)10年 423076圖表1：AI從引起業(yè)界廣泛關(guān)注到目前不足10年 517000圖表2：目前AI模型的神經(jīng)元總量與人類差距較大 526247圖表3：大規(guī)模預(yù)訓(xùn)練模型對(duì)于算力需求呈指數(shù)增長(zhǎng) 62264圖表4：模型的參數(shù)大小在不斷提升，性能也在與時(shí)俱進(jìn) 717797圖表6：蒸餾技術(shù)是類似于老師-學(xué)生傳遞知識(shí)的過(guò)程 930097圖表7：GPT-3衍生出DALL·E與CLIP模型 10103圖表8：Diffusion模型原理示意圖 1026467圖表9：StableDiffusion模型原理示意圖 1121158圖表10：ChatGPT擁有智能問(wèn)答、多輪對(duì)話的能力 1219498SFT 136629商業(yè)篇：以O(shè)penAI投資方向?yàn)轱L(fēng)向標(biāo)，落地仍在探索期，跨模態(tài)打開(kāi)場(chǎng)景空間 1732076圖表14：AIGC應(yīng)用全景圖一覽 1715105圖表15：DALL·E2通過(guò)文字添加圖片元素 19847017AIGC 2019560圖表18：國(guó)內(nèi)AIGC應(yīng)用層企業(yè)梳理 2016432ChatGPT應(yīng)用場(chǎng)景廣泛，海外已有龍頭落地成功案例 216222圖表19：BuzzFeed利用ChatGPT個(gè)性化Quizzes推送內(nèi)容 2130590圖表20：Descript操作界面：使用腳本編輯錄音，添加場(chǎng)景來(lái)排列視覺(jué)效果 2312829圖表22：Mem操作界面：利用人工智能技術(shù)實(shí)時(shí)整理筆記 2611255圖表24：Speak：提供真正的交互式口語(yǔ)學(xué)習(xí)體驗(yàn)產(chǎn)品 2829810圖表26：AI在執(zhí)行環(huán)節(jié)、低級(jí)別決策環(huán)節(jié)具備替代人工的潛力 2925112圖表27：ARK測(cè)算：2030年，AI軟硬件公司年收入總和有望達(dá)15.7萬(wàn)億美元 3018515算法邊際成本是AI競(jìng)爭(zhēng)核心焦點(diǎn)，碎片化需求使得成本居高不下 3115053圖表28：弱人工智能階段長(zhǎng)尾場(chǎng)景種類繁多導(dǎo)致項(xiàng)目碎片化 317123圖表29：AutoML在數(shù)據(jù)、模型和優(yōu)化三個(gè)環(huán)節(jié)減少對(duì)深度學(xué)習(xí)專家的依賴 336036圖表30：Midjourney生成圖像用戶反饋界面 3412103圖表32：我們預(yù)測(cè)的未來(lái)格局 3720729圖表34：HuggingFace商業(yè)模式 3821616圖表35：商湯建立了包括底層基礎(chǔ)設(shè)施、AI軟件平臺(tái)及應(yīng)用層平臺(tái)的AI生態(tài)系統(tǒng) 39摘要技術(shù)層面，ChatGPTAIGC的持續(xù)升溫依托于大模型的技術(shù)紅利。2012邊際成本的核心，2017年大模型（Transformer）路線逐漸成為學(xué)術(shù)界與國(guó)內(nèi)ChatGPTGPT-3.5商業(yè)層面，以O(shè)penAI投資方向?yàn)轱L(fēng)向標(biāo)，落地仍在探索期，跨模態(tài)打開(kāi)場(chǎng)景空間。對(duì)于AIGC領(lǐng)域，AI作畫(huà)等跨模態(tài)應(yīng)用是未來(lái)的發(fā)展趨勢(shì)，全球范圍內(nèi)AIGC獨(dú)角獸已初步具備B端為主的變現(xiàn)能力，海外落地節(jié)奏顯著快于國(guó)內(nèi)。ChatGPTBuzzFeedAmazonOpenAI錨，我們認(rèn)為文本到圖片/視頻的跨模態(tài)生成、垂直領(lǐng)域AI寫(xiě)作、智能筆記、AI的潛在方向。我們認(rèn)為，ChatGPT為代表的模式背后，成本、算力、場(chǎng)景、數(shù)HuggingFaceModel-as-a-ServiceAI正文技術(shù)篇：ChatGPTAIGCAIGCAIChatGPTGPT-3.5訓(xùn)練的語(yǔ)言ChatGPT行業(yè)的格局加以展望。從2012年的深度學(xué)習(xí)元年開(kāi)始，上一輪紅利已經(jīng)持續(xù)10年2012HintonImageNet大賽中引入深度學(xué)習(xí)HintonImageNetAlexNet10.8pcts，以大幅超越第二名的成績(jī)奪冠，證明了深度學(xué)習(xí)的發(fā)展?jié)摿Γ_(kāi)始被業(yè)界和資本關(guān)注。圖表1：AI從引起業(yè)界廣泛關(guān)注到目前不足10年的模型精度，減少對(duì)算力的需求，但行業(yè)落地實(shí)踐證明其短板明顯：精妙模型路線導(dǎo)致重復(fù)研發(fā)，無(wú)法讓AIAI新場(chǎng)景時(shí)，對(duì)每個(gè)場(chǎng)景都重復(fù)研發(fā)大大增加了邊際成本。AIAI套解決方案買(mǎi)單的意愿。圖表2：目前AI模型的神經(jīng)元總量與人類差距較大AI水平的AI，還有很長(zhǎng)一段路要走。但近幾年在長(zhǎng)尾場(chǎng)景等問(wèn)題導(dǎo)致了對(duì)更通用動(dòng)下，通用的語(yǔ)言模型、視覺(jué)模型甚至多模態(tài)模型也開(kāi)始逐漸取得突破。2020OpenAI1750GPT-3AIGC、ChatGPT圖表3：大規(guī)模預(yù)訓(xùn)練模型對(duì)于算力需求呈指數(shù)增長(zhǎng)大模型將AI從感知提升到理解的維度計(jì)算機(jī)視覺(jué)）感知問(wèn)題。CNN（卷積神經(jīng)網(wǎng)絡(luò)）已經(jīng)能夠較好的解決常規(guī)的人臉識(shí)別、物體識(shí)別問(wèn)題，但在NLP（自然語(yǔ)言處理）領(lǐng)域，對(duì)于物體、概念的抽象理解、語(yǔ)Transformer（大模型路線NLPNLP解乃至推理不斷發(fā)展。圖表4：模型的參數(shù)大小在不斷提升，性能也在與時(shí)俱進(jìn)圖表5：AI的能力也在從感知向理解、推理、生成攀爬如何簡(jiǎn)單的理解大模型（大規(guī)模預(yù)訓(xùn)練模型）大模型蒸餾出的小模型具有更強(qiáng)的泛化能力，邊際成本大幅降低。AI落地邊際成本。由于避免了“手工作坊”AI能夠覆蓋各種長(zhǎng)尾場(chǎng)景，大大降低了復(fù)制成本。因此我們認(rèn)為，大模型是未來(lái)AI圖表6：蒸餾技術(shù)是類似于老師-學(xué)生傳遞知識(shí)的過(guò)程免費(fèi)入群每日獲取資料：請(qǐng)?zhí)砑樱簑eini99922020GPT-3DALL·ECLIPGPT-3字和圖像的CLIPDALL·E模型。20224DALL·ECLIPDiffusion4圖表7：GPT-3衍生出DALL·E與CLIP模型StableDiffusionStabilityAI20227AIGCStableDiffusionLatentDiffusionModel(LDM)方式，在模型復(fù)StableDiffusion使用門(mén)檻。圖表8：Diffusion模型原理示意圖資料來(lái)源：Stability.AI，中金公司研究部圖表9：StableDiffusion模型原理示意圖ChatGPT：基于GPT-3.5版本的InstructGPT，開(kāi)放接口，風(fēng)靡全球20221130戶進(jìn)行自然交互，核心方法是基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)，能夠?qū)崿F(xiàn)“回答后續(xù)問(wèn)題、承認(rèn)錯(cuò)誤、質(zhì)疑不正確的前提和拒絕不適當(dāng)?shù)恼?qǐng)求”的能力。圖表10：ChatGPT擁有智能問(wèn)答、多輪對(duì)話的能力圖表11：InstructGPT公開(kāi)API后用戶的使用功能和頻率ChatGPTIntructGPTGPT-3.5ChatGPTInstructGPTGPT-3的訓(xùn)練集基于文本和代碼，新增代碼理解和生成的能力。目前，OpenAIChatGPTInstructGPTInstructGPT展開(kāi)技術(shù)路徑：SFT即大量的提示文本訓(xùn)練方式的數(shù)據(jù)40SFT（ChatGPTGPT-3.5GPT-3）GPT-3SFTNPPOSFTrewardPPOSFT大模型不僅對(duì)應(yīng)于ChatGPT，更是整個(gè)AIGC領(lǐng)域的技術(shù)基礎(chǔ)圖表13：AIGC關(guān)鍵技術(shù)突破時(shí)間軸所示，GAN帶來(lái)生成模型雛形，GPT等NLP大模型是通用智能的技術(shù)基礎(chǔ)GAN不斷演進(jìn)，助力AIAIGC始思路。GAN(GenerativeAdversarialNetworks，生成對(duì)抗網(wǎng)絡(luò))于2014生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)GAN，計(jì)算機(jī)可以根據(jù)輸入的文字描述、圖像分肉眼幾乎無(wú)法分辨真假。AI能夠?qū)⑤斎氲暮?jiǎn)易指令轉(zhuǎn)化為圖像等復(fù)雜生成結(jié)果，具備支撐AIGC的技術(shù)條件。GANAIGCAIGCAIGCTransformer大模型的計(jì)算并行性奠定了網(wǎng)絡(luò)規(guī)模數(shù)據(jù)集訓(xùn)練的模型中的最高2017TransformerTransformer2018GPT模型，能夠在無(wú)監(jiān)督的情況下進(jìn)行訓(xùn)練，在大語(yǔ)料場(chǎng)景下能夠顯著NLP（自然語(yǔ)言處理）帶入預(yù)訓(xùn)練時(shí)代。CLIP（ContrastiveLauguage-imagePre-training）OpenAI2021AIGCCLIPAIGC和視頻奠定多模態(tài)應(yīng)用基礎(chǔ)。Diffusion2022AIGC2015ICMLDeepUnsupervisedLearningusingNonequilibriumThermodynamics》被提出，2020JonathanHo等人DenoisingDiffusionProbabilisticModelsDDPM步添加高斯噪聲-隨機(jī)噪聲、去噪聲的過(guò)程，相較GAN模型在數(shù)據(jù)量需求上更GANDALL·EDALL·E2CLIPDiffusion大模型開(kāi)發(fā)，AI作畫(huà)領(lǐng)域落地進(jìn)入快車(chē)道。DALL·E系統(tǒng)由OpenAI20211202242，CLIPDiffusion根據(jù)文本提示202272AIGCStableDiffusion202272022AIGC2022CLIPLAIONDiffusionDiffusion20227NovelAIStableDiffusionAIGCAIGC2012AI驅(qū)動(dòng)虛擬人可以利用現(xiàn)實(shí)人臉及聲音等多維度數(shù)據(jù)生成Diffusion技術(shù)已呈現(xiàn)出能穩(wěn)定支持內(nèi)容生產(chǎn)的發(fā)展趨勢(shì)，未來(lái)有望突破“小作AI商業(yè)篇：以O(shè)penAI投資方向?yàn)轱L(fēng)向標(biāo)，落地仍在探索期，跨模態(tài)打開(kāi)場(chǎng)景空間AIGC：跨模態(tài)應(yīng)用是未來(lái)發(fā)展趨勢(shì)，落地尚在早期AIGC音頻生成、圖像生成等領(lǐng)域推廣。AI水嶺，大模型進(jìn)一步將應(yīng)用接近認(rèn)知智能。2014年起，AIGC在文本理解、結(jié)2018NLPBERT、GPT系列大模型出現(xiàn)后，非結(jié)構(gòu)化協(xié)作等高自由度創(chuàng)作具備落地空間。此外，AIGC成和視頻-視頻生成創(chuàng)作等領(lǐng)域跨越落地門(mén)檻，在單模態(tài)發(fā)展中呈現(xiàn)多點(diǎn)開(kāi)花局面。圖表14：AIGC應(yīng)用全景圖一覽資料來(lái)源：量子位智庫(kù)，中國(guó)信通院，TomMason，OpenAI官網(wǎng)，中金公司研究部DALL·E2OpenAI以文2或選擇給定墊圖，AI便會(huì)根據(jù)輸入生成結(jié)果。用戶可以隨意輸入想要表達(dá)的內(nèi)容和所希望的藝術(shù)風(fēng)格，DALL·E2模仿許多知名藝術(shù)家的風(fēng)格，并準(zhǔn)確地描繪動(dòng)物和人物，并表達(dá)他們之間的關(guān)系（例如打架或聊天）。DALL·E2OpenBeta50免費(fèi)入群每日獲取資料：請(qǐng)?zhí)砑樱簑eini99921515115DALL·E化的權(quán)利。圖表15：DALL·E2通過(guò)文字添加圖片元素圖表16：DALL·E2通過(guò)文字輸入生成圖片結(jié)果示例資料來(lái)源：DALL·E2官網(wǎng)，中金公司研究部AIGCB+CAIGCAIGCJasper、GrammarlyA17AIGC2023129AIGC具備變現(xiàn)能力。圖表18：國(guó)內(nèi)AIGC應(yīng)用層企業(yè)梳理注：統(tǒng)計(jì)時(shí)間截至2023年1月29日ChatGPT應(yīng)用場(chǎng)景廣泛，海外已有龍頭落地成功案例ChatGPTChatGPT將在未來(lái)投入商業(yè)化領(lǐng)域，通過(guò)強(qiáng)化的上下文理解能力，優(yōu)化銀行、務(wù)質(zhì)量。目前，ChatGPTBuzzFeedAmazon203年1Bued官宣將依托penIQuizzesChatGPT提問(wèn)，再根據(jù)個(gè)人的回答產(chǎn)生用戶獨(dú)有的、可分享的文章。不久前，MetaBuzzFeedMeta圖表19：BuzzFeed利用ChatGPT個(gè)性化Quizzes推送內(nèi)容納德拉（SatyaNadella）在接受《華爾街日?qǐng)?bào)》采訪上時(shí)表示：微軟將擴(kuò)大對(duì)OpenAI技術(shù)的訪問(wèn)并把ChatGPTBingOffice、Outlook，ChatGPT將在搜索引擎、日常辦公、收發(fā)郵件中發(fā)揮其智能的語(yǔ)言理解和問(wèn)題解答能力，使生產(chǎn)效率更上一層樓。OpenAI通過(guò)戰(zhàn)略投資，產(chǎn)業(yè)賦能，加速ChatGPT在實(shí)際應(yīng)用中落地。作為IpenITAIAIOpenAI2022年的四大投資風(fēng)向標(biāo)。Descript：AI驅(qū)動(dòng)多媒體創(chuàng)新，重新定義音視頻剪輯軟件音視頻轉(zhuǎn)文字，把繁瑣的剪輯工作變得像編輯文檔。Descript是一個(gè)像文檔一戳對(duì)應(yīng)，允許用戶通過(guò)編輯這個(gè)轉(zhuǎn)錄的文本信息來(lái)編輯原始音視頻。Descript主要功能如下：費(fèi)，目前支持22屏幕錄制：ZoomDescript。音視頻編輯：1）刪除：當(dāng)用戶刪除詞句，音頻中對(duì)應(yīng)的詞也會(huì)被刪除；2）LyrebirdOverdub等大量重復(fù)使用的單詞。圖表20：Descript操作界面：使用腳本編輯錄音，添加場(chǎng)景來(lái)排列視覺(jué)效果圖表21：Overdub：創(chuàng)建文本到語(yǔ)音的轉(zhuǎn)換模型，或選擇超逼真的庫(kù)存語(yǔ)音Descript定位于協(xié)同編輯工具，根據(jù)團(tuán)隊(duì)用戶數(shù)和每月轉(zhuǎn)錄時(shí)長(zhǎng)進(jìn)行收費(fèi)。免費(fèi)版每月有1小時(shí)的轉(zhuǎn)錄時(shí)長(zhǎng)；Creator版本每月10小時(shí)轉(zhuǎn)錄時(shí)長(zhǎng)，定價(jià)12美元；Pro3024Descript41202211OpenAIC5,0005.5Harvey：AI協(xié)助律師撰寫(xiě)文件，提升法律工作流程效率Harvey有望作為法律的自然語(yǔ)言接口，大幅減少簡(jiǎn)單重復(fù)的法律流程工作。HarveyAI（主要為GPT-3）的能力，可以在律師使律師能夠?qū)⒏鄷r(shí)間花在工作中高價(jià)值部分。HarveyOpenAI20221veyI獲得penI的50oogleI負(fù)責(zé)人Jeffen、MierbsEldilavy將正式向律師客戶群體推出服務(wù)。Harvey背靠OpenAI和微軟，享受更多資源領(lǐng)先競(jìng)爭(zhēng)對(duì)手。市場(chǎng)格局中，Casetext同樣利用人工智能技術(shù)進(jìn)行案例搜索，進(jìn)行法律研究、摘要起草等工OpenAIOpenAIOpenAIAzureMem：AI學(xué)習(xí)用戶工作、習(xí)慣，提供智能化筆記MmMem戶、添加定期提醒等。目前，MemTwitterMemItAI生成的內(nèi)容摘要，并看到類似推文的建議。MemMemX化文本。MemFreemium（免費(fèi)增值）的定價(jià)模式，從個(gè)人用戶向團(tuán)隊(duì)和企業(yè)版進(jìn)行拓展。MemX10/AI15/OpenAI11OpenAIA2,3501.1億美元，累計(jì)融資總額達(dá)2,900萬(wàn)美元。從AI個(gè)性化角度出發(fā)，Mem與市場(chǎng)中常見(jiàn)的工作管理軟件形成差異化競(jìng)爭(zhēng)格局。工作協(xié)助平臺(tái)Glean202251C輪融資，為SaaS企業(yè)提供一致的搜索體驗(yàn)，市值估值達(dá)10億美元；Atlassian類似維基的協(xié)作工作ConfluenceMem圖表22：Mem操作界面：利用人工智能技術(shù)實(shí)時(shí)整理筆記圖表23：Mem主要功能：九大核心功能打造自動(dòng)組織的筆記Speak：AI驅(qū)動(dòng)語(yǔ)言學(xué)習(xí)，向?qū)W習(xí)者提供實(shí)時(shí)反饋SpeakSpeakAIAIAI語(yǔ)法、詞匯等。Speak主要通過(guò)提供自動(dòng)續(xù)訂的月度和年度訂閱的模式盈利。Speak在韓國(guó)有10，20221,500ARR100/22/月。pk2021penIB輪2,700萬(wàn)美元融資。下一步，公司計(jì)劃拓展新的語(yǔ)種與市場(chǎng)（例如日本）并投資于利用文本生成模型的功能（例如GPT-3），加速開(kāi)發(fā)新的對(duì)話語(yǔ)言體驗(yàn)。語(yǔ)言學(xué)習(xí)平臺(tái)，Duolingo404,000萬(wàn)，付費(fèi)用戶190萬(wàn)，ARR達(dá)3.6億美元。圖表24：Speak：提供真正的交互式口語(yǔ)學(xué)習(xí)體驗(yàn)產(chǎn)品圖表25：最先進(jìn)的AI語(yǔ)音技術(shù)：0.1s延遲，95%準(zhǔn)確率，100%實(shí)時(shí)AI還將不斷增強(qiáng)人類，在更多低腦力領(lǐng)域?qū)崿F(xiàn)效率倍增AI將人類從簡(jiǎn)單重復(fù)的任務(wù)中解放出來(lái)，專注于高價(jià)值、創(chuàng)新型的工作。通過(guò)解決密集型勞動(dòng)、重復(fù)性勞動(dòng)的痛點(diǎn)，AI正在逐步取代部分人工工作，給社會(huì)帶來(lái)降本增效的價(jià)值。在未來(lái)，隨著AI技術(shù)的不斷提高，它將在更多的低腦力領(lǐng)域提供支持，從而幫助人們實(shí)現(xiàn)更高效的工作。除了消除重復(fù)性任務(wù)，AI同樣起到簡(jiǎn)化決策與提供新洞察等作用，提升決策的Gartner20231/3前更快、更容易，而且成本更低。例如，在醫(yī)療領(lǐng)域，AI技術(shù)已經(jīng)成為支持臨床診斷、疾病預(yù)測(cè)、個(gè)體化治療等的重要工具；在金融領(lǐng)域，AI技術(shù)支持了金融機(jī)構(gòu)快速、高效的風(fēng)險(xiǎn)評(píng)估、客戶服務(wù)等。圖表26：AI在執(zhí)行環(huán)節(jié)、低級(jí)別決策環(huán)節(jié)具備替代人工的潛力資料來(lái)源：ARK，中金公司研究部圖表27：ARK測(cè)算：2030年，AI軟硬件公司年收入總和有望達(dá)15.7萬(wàn)億美元演進(jìn)的潛在方向算法邊際成本是AI競(jìng)爭(zhēng)核心焦點(diǎn)，碎片化需求使得成本居高不下低邊際成本是大模型的優(yōu)勢(shì)，碎片化的需求成為降低成本難的關(guān)鍵因素。目前國(guó)內(nèi)大部分AI工作是以項(xiàng)目制的形式進(jìn)行的，落地還停留在“手工作坊”階段，存在重復(fù)造輪子情況，邊際成本高。而且目前大部分場(chǎng)景數(shù)據(jù)規(guī)范性差、長(zhǎng)尾，且采集方法落后，導(dǎo)致工作量較大，嚴(yán)重影響AI大模型進(jìn)展。碎片化的本質(zhì)原因在于現(xiàn)階段AI。邊際成本很高。需求端：全社會(huì)的數(shù)字化是人工智能的重要目標(biāo)，同時(shí)也意味著大量的建模需求。隨著數(shù)字信息世界、物理世界融合，產(chǎn)生的數(shù)據(jù)量是以前的成千上萬(wàn)倍，AIAI供給端：AI10AI外，技術(shù)快速發(fā)展，技術(shù)人員和訓(xùn)練數(shù)據(jù)集也需要不斷學(xué)習(xí)更新。圖表28：弱人工智能階段長(zhǎng)尾場(chǎng)景種類繁多導(dǎo)致項(xiàng)目碎片化AI行業(yè)不會(huì)向碎片化的方向發(fā)展，而是強(qiáng)者愈強(qiáng)，用大模型結(jié)合底層全棧自研來(lái)解決邊際成本問(wèn)題。在大模型路線下，AI模型的邊際成本還會(huì)受益于三個(gè)因素的影響大幅降低：AIAIAI盡可能的減少重復(fù)研發(fā)。AI業(yè)化生產(chǎn)方式下，AI公司可以生產(chǎn)大量的、覆蓋不同場(chǎng)景的模型。這樣，在遇針對(duì)新場(chǎng)景再次定制化生產(chǎn)。研發(fā)流程自動(dòng)化（AutoML），開(kāi)發(fā)門(mén)檻降低，人員成本降低。AutoMLAIAI求量，且由于機(jī)器學(xué)習(xí)門(mén)檻的降低，不再需要招聘深度理解AI工程的專家，使得開(kāi)發(fā)人員的成本降低。圖表29：AutoML在數(shù)據(jù)、模型和優(yōu)化三個(gè)環(huán)節(jié)減少對(duì)深度學(xué)習(xí)專家的依賴復(fù)刻ChatGPT為代表的模式較難，多維度需求鑄就高門(mén)檻ChatGPTGPT-3.5微調(diào)而來(lái)，該超大泛化模型對(duì)成本、組織力、工程壁團(tuán)隊(duì)有相當(dāng)高的技術(shù)水平和工程能力。對(duì)于GPT-38400小規(guī)模團(tuán)隊(duì)的試驗(yàn)探索來(lái)創(chuàng)新不再可能。標(biāo)注數(shù)據(jù)：