Sequoia Capital-生成 AI 的行為 o1：一個(gè)創(chuàng)造性的新世界(英譯中)

理時(shí)代開(kāi)始入思考”——即推理時(shí)進(jìn)行推理轉(zhuǎn)變。這一演變正在解在我們的論文發(fā)表兩周年之際“生成的AI：一個(gè)創(chuàng)造性的新世界“人工智能生態(tài)系統(tǒng)看起來(lái)非常不同，我們對(duì)即將發(fā)生的事情有一些預(yù)測(cè)。生成式AI市場(chǎng)的底層正在在一個(gè)關(guān)鍵的規(guī)?；婕液吐?lián)盟組成的平衡狀態(tài)中穩(wěn)定下來(lái)，包能夠獲取巨額資本的規(guī)模化玩家仍在競(jìng)爭(zhēng)之中。盡管這場(chǎng)戰(zhàn)斗遠(yuǎn)未結(jié)束（并且仍在不斷升級(jí)），但目前的格局已經(jīng)形成。博弈論時(shí)尚)，市場(chǎng)的結(jié)構(gòu)本身正在鞏固，越來(lái)越清楚的是，我們將擁有越來(lái)越便宜且充足的下一類預(yù)測(cè)。隨著LLM市場(chǎng)結(jié)構(gòu)趨于穩(wěn)定，下一個(gè)前沿領(lǐng)域正在逐漸顯現(xiàn)。注意力轉(zhuǎn)向了推理層的發(fā)展與擴(kuò)展，其中“系統(tǒng)2”思維占據(jù)主導(dǎo)地位。受到AlphaGo等模系統(tǒng)在推理時(shí)進(jìn)行深思熟慮的推理、問(wèn)題解決和認(rèn)知操作的能力，而不僅僅是快速模式匹配。同時(shí)，新的認(rèn)知架構(gòu)和用戶界面正在塑造這些推理能力向用戶交付及交互的方式。這一切對(duì)AI市場(chǎng)中的創(chuàng)始人意味著什么？這對(duì)現(xiàn)有的軟件公司意味著什么？而在我們作為投資者看來(lái)，生成式AI棧中哪個(gè)層面最具前景？在我們最新的關(guān)于生成式AI市場(chǎng)狀態(tài)的文章中，我們將探討基礎(chǔ)的大語(yǔ)言模型層的整合如何為擴(kuò)展這些高層次的推理能力和自主能力奠定了基礎(chǔ)，并討論新一代具有新穎認(rèn)知架構(gòu)The2024最核心的模型更新由OpenAI推出，該模型最初名為o1，曾用名Q*或Strawberry。這不僅重新確立了OpenAI在模型質(zhì)量排行榜上的領(lǐng)先地位，還標(biāo)志著架構(gòu)上的顯著改進(jìn)。更具體地說(shuō)，這是首個(gè)具備真正通用推理能力的模型，OpenAI通過(guò)推理時(shí)的計(jì)算實(shí)現(xiàn)了這一突破。這表示什么？預(yù)訓(xùn)練模型在大量數(shù)據(jù)上進(jìn)行下一個(gè)詞預(yù)測(cè)。它們依賴于“訓(xùn)練時(shí)計(jì)算”。隨著規(guī)模的擴(kuò)大，一個(gè)emergent屬性是基本的推理能力，但這種推理能力非常有限。如果你能教模型進(jìn)行更直接的推理會(huì)怎樣？這正是Strawberry所做的事情。當(dāng)我們提到“推理時(shí)計(jì)算”，我們指的是讓模型在給出響應(yīng)之前停下來(lái)思考，這需要在推理時(shí)進(jìn)行更多的計(jì)算那么，當(dāng)模型停下來(lái)思考時(shí)，它在做什么呢？讓我們先brief地回到2016年3月的首爾。深度學(xué)習(xí)歷史上一個(gè)最具里程碑意義的時(shí)刻就發(fā)生在這里：AlphaGo與傳奇圍棋大師李世石之間的對(duì)決。這不僅僅是一場(chǎng)人機(jī)對(duì)抗的比賽——這是世界看到人工智能不僅僅能夠模仿模式的時(shí)刻。思考.AlphaGo與之前的棋類AI系統(tǒng)（如DeepBlue）有何不同？與大規(guī)模語(yǔ)言模型（LLMs）類似，AlphaGo首先通過(guò)一個(gè)包含約3000萬(wàn)步棋的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，以模仿人類專家的水平，并通過(guò)自我對(duì)弈獲取更多的數(shù)據(jù)。然而，與直接從預(yù)訓(xùn)練模型中產(chǎn)生即時(shí)反應(yīng)不同，AlphaGo會(huì)花時(shí)間思考。在推理時(shí)，模型會(huì)在多種潛在未來(lái)場(chǎng)景中進(jìn)行搜索或模擬，評(píng)估這些場(chǎng)景的價(jià)值，并根據(jù)預(yù)期價(jià)值最高的場(chǎng)景（或答案）做出回應(yīng)。給予AlphaGo更多的時(shí)間，其表現(xiàn)會(huì)更好。在沒(méi)有推理時(shí)計(jì)算資源的情況下，模型無(wú)法超越頂級(jí)的人類玩家。但隨著推理時(shí)間的增加，AlphaGo的表現(xiàn)會(huì)越來(lái)越好——直到超越最頂尖的人類玩家。讓我們回到LLM的世界。在這里復(fù)制AlphaGo的最大挑戰(zhàn)在于構(gòu)建價(jià)值函數(shù)，即用于評(píng)估響應(yīng)得分的函數(shù)。如果是在下圍棋，這個(gè)過(guò)程相對(duì)直接：可以模擬整個(gè)游戲直到結(jié)束，確定勝者，然后計(jì)算下一步的預(yù)期值。如果是在編程，這個(gè)過(guò)程也相對(duì)直接：可以測(cè)試代碼并驗(yàn)證其是否有效。但是，如何評(píng)分一篇草稿的文章？或者一個(gè)旅行計(jì)劃？或者一份長(zhǎng)文檔中關(guān)鍵術(shù)語(yǔ)的總結(jié)？這正是當(dāng)前方法在推理方面遇到困難的原因，這也是為什么Strawberry在接近邏輯的領(lǐng)域（如編程、數(shù)學(xué)和科學(xué)）表現(xiàn)較強(qiáng)，而在更加開(kāi)放和無(wú)結(jié)構(gòu)的領(lǐng)域（如寫(xiě)作）表現(xiàn)較弱的原因。雖然草莓的實(shí)際實(shí)施細(xì)節(jié)嚴(yán)格保密，但關(guān)鍵思想涉及圍繞模型生成的思維鏈進(jìn)行強(qiáng)化學(xué)習(xí)。審查模型的思維鏈表明，正在發(fā)生一些根本且令人興奮的變化，這些變化實(shí)際上類似于人類的思考和推理方式。例如，o1展示了當(dāng)遇到困難時(shí)回溯的能力，這是擴(kuò)展推理時(shí)間的一個(gè)emergent屬性。此外，它還展示了像人類一樣思考問(wèn)題的能力（例如，通過(guò)可視化球面上的點(diǎn)來(lái)解決幾何問(wèn)題），以及以新的方式思考問(wèn)題的能力（例如，在編程競(jìng)賽中以不同于人類的方式解決問(wèn)題）。并且研究人員正在探索許多新的想法以推動(dòng)推理時(shí)計(jì)算的發(fā)展（例如，新的獎(jiǎng)勵(lì)函數(shù)計(jì)算方法、新的縮小生成器/驗(yàn)證器差距的方法），以期提高模型的推理能力。換句話說(shuō)，深度強(qiáng)化學(xué)習(xí)領(lǐng)域仍然充滿創(chuàng)新潛力。再次涼爽，它正在啟用一個(gè)全新的推理層。是AI領(lǐng)域的下一個(gè)前沿。模型不僅要知道事情，還需要能夠在實(shí)時(shí)情況下暫停、評(píng)估并推理決策。將預(yù)訓(xùn)練視為系統(tǒng)1層。無(wú)論模型是基于數(shù)百萬(wàn)圍棋走法進(jìn)行預(yù)訓(xùn)練（如AlphaGo）還是基于互聯(lián)網(wǎng)規(guī)模的數(shù)千萬(wàn)兆字節(jié)文本進(jìn)行預(yù)訓(xùn)練（如大規(guī)模語(yǔ)言模型），其任務(wù)都是模仿模式——無(wú)論是人類棋局還是語(yǔ)言。但模仿再?gòu)?qiáng)大，也并非真正的推理。它無(wú)法正確地通過(guò)復(fù)雜的新情況進(jìn)行思考，尤其是那些未包含在訓(xùn)練數(shù)據(jù)中的情況。這里就需要運(yùn)用系統(tǒng)2思維，而這正是最新一波AI研究的重點(diǎn)。當(dāng)一個(gè)模型“停下來(lái)思考”,它不僅僅是在生成已學(xué)習(xí)的模式或根據(jù)過(guò)往數(shù)據(jù)進(jìn)行預(yù)測(cè)。它是在生成一系列的可能性,考慮潛在的結(jié)果，并基于推理做出決策。對(duì)于許多任務(wù)，System1綽綽有余。正如NoamBrown在我們最新的一集中指出的那樣訓(xùn)練數(shù)據(jù)思考不丹的首都是不需要花太多時(shí)間的——你either知道它或者不知道它。這里快速、基于模式的回憶效果最佳。但在面對(duì)更復(fù)雜的問(wèn)題——如數(shù)學(xué)或生物學(xué)的重大突破時(shí)，快速且直覺(jué)的反應(yīng)已經(jīng)不夠。這些進(jìn)展需要深入的思考、創(chuàng)新性的問(wèn)題解決能力——最重要的是——時(shí)間。同樣的道理也適用于人工智能。為了應(yīng)對(duì)最具挑戰(zhàn)性和意義的問(wèn)題，人工智能需要超越僅僅在樣本內(nèi)快速響應(yīng)，并花費(fèi)時(shí)間來(lái)產(chǎn)生那種定義人類進(jìn)步的深思熟慮的推理。最重要的見(jiàn)解來(lái)自o1紙鎮(zhèn)上有一個(gè)新的縮放法。培訓(xùn)前LLM遵循一個(gè)很好理解的標(biāo)度律：您在預(yù)訓(xùn)練模型上花費(fèi)的計(jì)算和數(shù)據(jù)越多該研究論文為擴(kuò)展計(jì)算能力開(kāi)辟了全新的維度：模型在推理階段（或“測(cè)試時(shí)間”）獲得的計(jì)算資源越多，其推理能力就越強(qiáng)。當(dāng)模型能夠思考數(shù)小時(shí)、數(shù)天甚至數(shù)十年時(shí)會(huì)發(fā)生什么？我們將解決黎曼猜想嗎？我們將回答阿西莫夫的最后一個(gè)問(wèn)題嗎？這種轉(zhuǎn)變將使我們從一個(gè)龐大的培訓(xùn)前集群世界轉(zhuǎn)向推理云-可以根據(jù)任務(wù)的復(fù)雜性動(dòng)態(tài)擴(kuò)展計(jì)算的環(huán)境。當(dāng)OpenAI、Anthropic、谷歌和Meta擴(kuò)大其推理層并開(kāi)發(fā)越來(lái)越強(qiáng)大的推理機(jī)器時(shí)會(huì)發(fā)生什么？我們將擁有一個(gè)統(tǒng)領(lǐng)一切的模型嗎？生成式AI市場(chǎng)初期的一個(gè)假設(shè)是，一家模型公司會(huì)變得如此強(qiáng)大和全面，以至于它會(huì)吞并所有其他應(yīng)用。這一預(yù)測(cè)到目前為止在兩個(gè)方面是錯(cuò)誤的。首先，在模型層存在大量競(jìng)爭(zhēng)，SOTA能力不斷躍升。可能有人可能會(huì)通過(guò)廣泛的領(lǐng)域自玩來(lái)實(shí)現(xiàn)持續(xù)的自我改進(jìn)并取得突破，但目前我們還沒(méi)有看到任何證據(jù)表明這一點(diǎn)。相反，模型層的競(jìng)爭(zhēng)非常激烈，自上次開(kāi)發(fā)者日以來(lái)，GPT-4每個(gè)令牌的價(jià)格下降了98其次，這些模型大多未能成為突破性的應(yīng)用產(chǎn)品，僅有的例外是ChatGPT?，F(xiàn)實(shí)世界是復(fù)雜的。優(yōu)秀的研究人員并沒(méi)有興趣全面理解每一個(gè)可能的功能在每個(gè)垂直領(lǐng)域的端到端工作流程。對(duì)他們來(lái)說(shuō)，在API層面停止探索并讓開(kāi)發(fā)者社區(qū)處理現(xiàn)實(shí)世界的復(fù)雜性既是合乎邏輯的選擇，也是經(jīng)濟(jì)上的理性決策。這對(duì)于應(yīng)用層來(lái)說(shuō)是個(gè)好消息。您作為科學(xué)家規(guī)劃和執(zhí)行行動(dòng)以達(dá)成目標(biāo)的方式與您作為軟件工程師的工作方式大不相同。而且，即使是不同的軟件工程公司，這種差異也依然存在。隨著研究實(shí)驗(yàn)室進(jìn)一步拓展橫跨領(lǐng)域的通用推理邊界，我們?nèi)匀恍枰獞?yīng)用或領(lǐng)域特定的推理來(lái)交付實(shí)用的人工智能代理?；靵y的現(xiàn)實(shí)世界需要大量的領(lǐng)域和應(yīng)用特定的推理能力，這些能力無(wú)法有效地編碼到通用模型中。輸入認(rèn)知架構(gòu)，或者如何理解您的系統(tǒng)：代碼和模型交互的流程，該流程接收用戶輸入并執(zhí)行操作或生成響應(yīng)。例如，在Factory工廠中，每款“仿生人”產(chǎn)品都有一個(gè)定制的認(rèn)知架構(gòu)，這種架構(gòu)模仿人類思考方式來(lái)解決特定任務(wù)，比如審查拉取請(qǐng)求或編寫(xiě)并執(zhí)行遷移計(jì)劃以更新服務(wù)的后端。Factory的仿生人會(huì)分解所有依賴關(guān)系，提出相關(guān)的代碼更改建議，添加單元測(cè)試，并邀請(qǐng)人類進(jìn)行審核。在獲得批準(zhǔn)后，將在開(kāi)發(fā)環(huán)境中運(yùn)行這些變更，并在所有文件通過(guò)測(cè)試時(shí)合并代碼。這與人類的操作類似——通過(guò)一系列離散的任務(wù)而非一個(gè)通用的黑箱答案來(lái)想象一下你想在人工智能領(lǐng)域創(chuàng)業(yè)。你打算瞄準(zhǔn)堆棧的哪一層？你想在基礎(chǔ)設(shè)施層面競(jìng)爭(zhēng)嗎？祝你好運(yùn)，能擊敗NVIDIA和超大規(guī)模云服務(wù)商。你想在模型層面競(jìng)爭(zhēng)嗎？祝你好運(yùn) ,能擊敗OpenAI和馬克·扎克伯格。你想在應(yīng)用層面競(jìng)爭(zhēng)嗎？祝你好運(yùn)，能擊敗企業(yè)級(jí)IT和全球系統(tǒng)集成商。哦。等等。這其實(shí)聽(tīng)起來(lái)還挺可行的！基礎(chǔ)模型既神奇又混亂。主流企業(yè)無(wú)法處理黑箱、幻覺(jué)和笨拙的工作流程。消費(fèi)者面對(duì)空白提示，不知道該問(wèn)什么。這些是應(yīng)用層的機(jī)會(huì)。兩年前，許多應(yīng)用層公司被視為“僅僅是GPT-3之上的一個(gè)包裝”。如今，這些包裝被證明應(yīng)用層AI公司不僅僅是基礎(chǔ)模型之上的用戶界面。恰恰相反，它們擁有復(fù)雜的認(rèn)知架構(gòu) ,通常包括多個(gè)基礎(chǔ)模型以及某種路由機(jī)制，用于檢索和生成答案（RAG），包含確保合規(guī)性的護(hù)欄，以及模擬人類在處理工作流程時(shí)推理邏輯的應(yīng)用邏輯。云轉(zhuǎn)型是軟件即服務(wù)（SaaS）。軟件公司轉(zhuǎn)變?yōu)樵品?wù)提供商。這帶來(lái)了3500億美元的多虧了人工智能推理，人工智能的過(guò)渡是服務(wù)即軟件.軟件公司把勞動(dòng)轉(zhuǎn)化為軟件。這意味著可address的市場(chǎng)不是軟件市場(chǎng)，而是以服務(wù)市場(chǎng)的名義衡量的服務(wù)市場(chǎng)。萬(wàn)什么是銷售工作？西erras就是一個(gè)很好的例子。B2C公司會(huì)在其網(wǎng)站上使用西erras與客戶進(jìn)行交流。待完成的任務(wù)是解決客戶的問(wèn)題。西erras按解決問(wèn)題的數(shù)量收費(fèi)。不存在“座位”這種概念，只有待完成的任務(wù)。西erras負(fù)責(zé)完成這些任務(wù)，并根據(jù)完成情況獲得相應(yīng)的報(bào)酬。這是許多AI公司的發(fā)展方向。賽里瑪（Sierra）得益于其優(yōu)雅失敗模式（即升級(jí)至人工代p）部署，并利用這些代表來(lái)贏得作為自動(dòng)駕駛（nohumanintheloop）的機(jī)會(huì)。GitHubCopilot是這一模式的良好例證。隨著生成AI的萌芽推理能力，一類新的代理應(yīng)用程序開(kāi)始出現(xiàn)。這些應(yīng)用程序?qū)庸镜男螒B(tài)是什么樣的？有趣的是，這些公司的形態(tài)與它們的云服務(wù)predecessor有所不同：云公司瞄準(zhǔn)了軟件利潤(rùn)池，而人工智能公司則瞄準(zhǔn)了服務(wù)利潤(rùn)池。云公司按每座席（$/seat）銷售軟件，而人工智能公司按成果收費(fèi)（$/outcome）。云公司傾向于自下而上的銷售模式，實(shí)現(xiàn)無(wú)縫分銷。人工智能公司則越來(lái)越多地采取自上而下的銷售模式，并采用高接觸、高信任度的交付模型。我們正在看到這些代理型應(yīng)用在知識(shí)經(jīng)濟(jì)的所有領(lǐng)域中出現(xiàn)新的群體。以下是一些例子。哈維：AI律師Glean工廠：AI軟件工程師Abridge西耶拉：AI客戶支持代理XBOW：AI滲透測(cè)試員通過(guò)將這些服務(wù)的邊際成本降至與推理成本急劇下降相一致的水平，這些代理應(yīng)用正在擴(kuò)大并創(chuàng)造新的市場(chǎng)。est）是一種模擬網(wǎng)絡(luò)攻擊的方法，公司通過(guò)這種方式來(lái)評(píng)估自己的安全系統(tǒng)。在生成式AI出現(xiàn)之前，公司只有在特定情況下才會(huì)聘請(qǐng)滲透測(cè)試人員（例如為了合規(guī)要求），因?yàn)槿斯B透測(cè)試成本高昂：這是一項(xiàng)由高技能人力完成的手工任務(wù)。然而，XBOW正現(xiàn)在演示自動(dòng)化滲透測(cè)試基于最新的推理大規(guī)模語(yǔ)言模型（LLMs），其性能與最頂尖的人類滲透測(cè)試專家相當(dāng)。這將擴(kuò)大滲透測(cè)試市場(chǎng)，并為各種規(guī)模的企業(yè)開(kāi)啟持續(xù)滲透測(cè)試的可能性。這對(duì)SaaS世界意味著什么？今年早些時(shí)候，我們與有限合伙人進(jìn)行了會(huì)面。他們提出的主要問(wèn)題是：“AI轉(zhuǎn)型是否會(huì)破壞你們現(xiàn)有的云公司？”立渠道與incumbents建立產(chǎn)品之間的競(jìng)賽。年輕的擁有創(chuàng)新產(chǎn)品的公司能否在incumbents掌控客戶之前，先吸引到一批客戶？鑒于許多人工智能的魔力源自于基礎(chǔ)模型，我們的默認(rèn)假設(shè)是incumbents能夠很好地應(yīng)對(duì)這一挑戰(zhàn)，因?yàn)檫@些基礎(chǔ)模型對(duì)他們來(lái)說(shuō)同樣易于獲取，并且他們還擁有現(xiàn)有的數(shù)據(jù)和渠道優(yōu)勢(shì)。初創(chuàng)企業(yè)的主要機(jī)會(huì)不是取代incumbent的軟件公司，而是去爭(zhēng)奪可自動(dòng)化的工作池。那就是說(shuō)，我們現(xiàn)在已經(jīng)不再那么確定了。關(guān)于認(rèn)知架構(gòu)的部分，請(qǐng)參見(jiàn)上面的內(nèi)容。將模型的原始能力轉(zhuǎn)化為一個(gè)令人信服且可靠的端到端商業(yè)解決方案需要巨大的工程努力。二十年前，本地軟件公司對(duì)SaaS的概念嗤之以鼻?！坝惺裁创蟛涣说?？我們也可以自己運(yùn)行服務(wù)器并通過(guò)互聯(lián)網(wǎng)交付這些服務(wù)！”盡管概念上很簡(jiǎn)單，但隨之而來(lái)的是業(yè)務(wù)的全面重塑。EPD從瀑布開(kāi)發(fā)和產(chǎn)品需求文檔（PRD）轉(zhuǎn)變?yōu)槊艚蓍_(kāi)發(fā)和A/B測(cè)試。市場(chǎng)拓展(GTM）從自上而下的企業(yè)銷售和牛排晚餐轉(zhuǎn)變?yōu)樽韵露系钠脚_(tái)即服務(wù)（PLG）和產(chǎn)品分析。商業(yè)模式從高年度服務(wù)費(fèi)（ASP）和維護(hù)收入流轉(zhuǎn)變?yōu)楦邇鬌ollar-BasedNetDollarRetention（NDR）和基于使用的定價(jià)。很少有本地軟件公司成功完成了這一轉(zhuǎn)型。如果AI是一個(gè)類似的轉(zhuǎn)變呢？AI的機(jī)會(huì)是both銷售工作and更換軟件?借助Day.ai，我們窺見(jiàn)了未來(lái)的影子。Day是一款原生AI客戶關(guān)系管理（CRM）系統(tǒng)。系統(tǒng)集成商通過(guò)配置Salesforce來(lái)滿足您的需求，可以賺取數(shù)十億美元。僅憑對(duì)您郵箱和日歷的訪問(wèn)權(quán)限以及填寫(xiě)一份一頁(yè)的問(wèn)卷，Day就能自動(dòng)生成一個(gè)完全符合您業(yè)務(wù)需求的CRM系統(tǒng)。雖然它目前還不具備所有高級(jí)功能（暫且如此），但無(wú)需任何人工干預(yù)即可保持新鮮感的自動(dòng)化CRM系統(tǒng)的魔力已經(jīng)促使人們開(kāi)始轉(zhuǎn)向使用。作為投資者，我們?cè)谀睦锒冗^(guò)周期？資金部署在哪里？這是我們的快速選擇?；A(chǔ)設(shè)施這是超大規(guī)模提供商的領(lǐng)域。它是由博弈論行為驅(qū)動(dòng)的，而不是微觀經(jīng)濟(jì)學(xué)。對(duì)風(fēng)險(xiǎn)資本家來(lái)說(shuō)，這是一個(gè)糟糕的領(lǐng)域。模型這是超大規(guī)模提供商和金融投資者的領(lǐng)域。超大規(guī)模提供商用資產(chǎn)負(fù)債表?yè)Q取損益表，將資金投資于計(jì)算收入等形式的云業(yè)務(wù)，這些資金最終會(huì)回到他們的云業(yè)務(wù)中。金融投資者則受到“驚嘆于科學(xué)”的偏見(jiàn)影響。這些模型非?？犰?，這些團(tuán)隊(duì)也極其出色。微觀經(jīng)濟(jì)學(xué)在這里可以忽略不計(jì)！開(kāi)發(fā)人員