【量子位智庫】2024年度AI十大趨勢報(bào)告

在過往三年連續(xù)圍繞整個(gè)前沿科技來提供年站在新進(jìn)展新信息的最前沿，站在產(chǎn)學(xué)研交匯地帶，把正在總之，希望這份年度趨勢報(bào)告，能夠?qū)δ阍跉q末科技合作伙伴2024年度??AI趨勢趨勢??模型創(chuàng)新：架構(gòu)優(yōu)化加速涌現(xiàn)，融合迭代?勢所趨/02趨勢?ScalingLaw泛化：推理能?成皇冠明珠，倒逼計(jì)算和數(shù)據(jù)變?/10趨勢四AI應(yīng)?格局：第?輪洗牌結(jié)束，聚焦20賽道5?場趨勢五AI應(yīng)?競爭：多領(lǐng)域競速運(yùn)營?于技術(shù)，AI助?兵家必爭/35趨勢六AI應(yīng)?增?：AI+X賦能類產(chǎn)品??快上，原?AI爆款難求/45趨勢?AI智變千?百業(yè)：左?變??產(chǎn)?，右?重塑?業(yè)?態(tài)趨勢九AI?業(yè)滲透率：數(shù)據(jù)基礎(chǔ)決定初速度，??需求成為加速度/75趨勢?AI創(chuàng)投：投融資?太效應(yīng)明顯，國家隊(duì)出?頻率提升/78千?百業(yè)AI優(yōu)秀落地?案推薦/8700趨勢一大模型創(chuàng)新:架構(gòu)優(yōu)化加速涌?,融合迭代大勢所趨1.架構(gòu)層創(chuàng)新助?解決算?瓶頸現(xiàn)實(shí)問題/022.創(chuàng)新混合架構(gòu)挑戰(zhàn)Transformer壟斷/02技術(shù)原理——1.路徑?：循環(huán)神經(jīng)?絡(luò)及其變種（以RWKV為代表）/032.路徑?：狀態(tài)空間模型（以Mamba為代表）/053.路徑三：層次化卷積模型（以UniRepLKNet為代表）/064.路徑四：多尺度保持機(jī)制模型（以RetNet為代表）/075.路徑五：液體神經(jīng)?絡(luò)模型（以LFM為代表）/08趨勢二ScalingLaw泛化:推理能力成皇冠明珠,倒逼計(jì)算和數(shù)據(jù)變革技術(shù)原理——1.AI模型的性能強(qiáng)烈依賴于規(guī)模/102.全新的ScalingLaw/13趨勢三AGI探索:視頻生成點(diǎn)燃世界模型,空間智能統(tǒng)虛擬和技術(shù)原理——1.視頻?成：從擴(kuò)散模型出發(fā)/162.世界模型：從?動(dòng)駕駛領(lǐng)域到整個(gè)世界/193.具?智能：回到現(xiàn)實(shí)世界，回到產(chǎn)業(yè)鏈/204.空間智能：連結(jié)具?智能與空間計(jì)算/22一、大模型創(chuàng)新:架構(gòu)優(yōu)化加速涌?,融合迭代大勢所趨Transformer架構(gòu)是?前應(yīng)?最?泛的主流?模型架構(gòu)，??注意?機(jī)制（Self-Attention,SA）則是Transformer架構(gòu)的核?——它允許模型進(jìn)?并?計(jì)算，在序列中?線性地直接捕捉任意兩個(gè)位置之間的關(guān)聯(lián)權(quán)重，?幅提?模型能?上限。但另???，這也使模型的算?需求、計(jì)算復(fù)雜性和消耗資源成本都隨參數(shù)增加呈指數(shù)級(jí)增?，在?規(guī)模任務(wù)中快速觸達(dá)天花板。2024年以來，隨著?模型參數(shù)量的?速規(guī)?；约坝?xùn)練與部署的深?落地，Transformer架構(gòu)的上述弊端愈發(fā)顯著，成為助推全球性算?緊缺的重要因素，也為?模型的端側(cè) 落地提出了挑戰(zhàn)。為尋求突破，對?模型架構(gòu)的創(chuàng)新性探 索逐漸成為不容忽視的趨勢。若能突破Transformer在算?和數(shù)據(jù)需求??的限制，新架構(gòu)有望在?然語?處理和計(jì)算機(jī)視覺領(lǐng)域引發(fā)新?輪技術(shù)?新。——明勢創(chuàng)投2.創(chuàng)新混合架構(gòu)挑戰(zhàn)Transformer壟斷?2017年AttentionIsAllYouNeed出世提出Transformer架構(gòu)以來，7年已過。AI?業(yè)對Transformer的路徑依賴引發(fā)了越來越多的“過時(shí)”爭論，體現(xiàn)出?漸迫切的架構(gòu)創(chuàng)新需求。2023年以來，RWKV和Mamba引起熱議，多種新架構(gòu)加速圖：Transformer模型架構(gòu)，?歌、多倫多?學(xué)涌現(xiàn)，世界范圍內(nèi)的學(xué)者從多個(gè)?向努?，試圖在保留Transformer架構(gòu)優(yōu)勢的基礎(chǔ)上創(chuàng)新性引?其他架構(gòu)特點(diǎn)，解決算?開銷問題，Transformer的絕對統(tǒng)治地位得到挑戰(zhàn)，兼采眾家之?的混合模型（Hybrid）已成未來趨勢。Transformer架構(gòu)、Next-TokenPrediction和ScalingLaw是當(dāng)前?模型的算法基?，但這些領(lǐng)域也越來越需要新的突破，以構(gòu)建強(qiáng)?且?效的新?代基礎(chǔ)?模型。強(qiáng)?意味著卓越的性能、泛化能?和抵抗幻覺能?；?效則指低成本、?效率和低能耗。只有具備這兩?特質(zhì)，??智能才能真正成為?和電?樣的基礎(chǔ)設(shè)施。——微軟亞洲研究院02HyenaHierarchyRetNetTimeMixerMamba-2FalconMamba2023.042023.052023.072024.042024.052024.052024.082024.09MichaelPoli,StefanoMassaroli,EricNguyen,DanielY.Fu,TriDao,StephenBaccus,YoshuaBengio,StefanoErmon,ChristopherRéBoPeng,EricAlcaide,QuentinAnthony等YutaoSun,LiDong,ShaohanHuang,ShumingMa,YuqingXia,JilongXue,JianyongWang,FuruWeiZimingLiu,YixuanWang,SachinVaidya,FabianRuehle,JamesHalverson,MarinSoljacˇic,ThomasY.Hou,MaxTegmarkShiyuWang,HaixuWu,XiaomingShi,TenggeHu,HuakunLuo,LintaoMa,JamesY.Zhang,JunZhouAlbertGu,TriDaoJingweiZuo,MaksimVelikanov,Rhaiem,IlyasChahed,YounesBelkada,GuillaumeKunschRaminHasani,MathiasLechner,AlexanderAmini,DanielaRusStanfordUniversity,MilaandUniversitédeMontréal微軟亞洲研究院MIT,Caltech,NortheasternUniversity,螞蟻集團(tuán),清華?學(xué)普林斯頓、卡內(nèi)基梅隆?學(xué)阿布扎?Technology InnovationInstitute(TII)LiquidAI這些新興?模型架構(gòu)不僅在性能上可以與Transformer模型競爭，還在內(nèi)存效率和可擴(kuò)展性上展現(xiàn)出優(yōu)勢。梅花創(chuàng)投楊顏媛表?，部分新架構(gòu)更易于進(jìn)?并?計(jì)算，能夠充分利?現(xiàn)代硬件的并?計(jì)算能?，提?訓(xùn)練和推理的速度。它們的出現(xiàn)，為AI領(lǐng)域帶來了新的活?，也為未來的研究和應(yīng)?開辟了新的可能性。隨著這些模型的不斷發(fā)展和優(yōu)化，我們有理由相信，?模型創(chuàng)新架構(gòu)將在AI未來發(fā)展中扮演越來越重要的??。技術(shù)原理循環(huán)神經(jīng)?絡(luò)（RNN）通過循環(huán)?式處理序列數(shù)據(jù)，能夠?qū)^去的輸?保留記憶，但存在難以并?化的問題，Transformer架構(gòu)的誕?最早就是為彌補(bǔ)這?缺陷。但仍有很多學(xué)者認(rèn)為，RNN的潛?還遠(yuǎn)未達(dá)到天花板，在Transformer架構(gòu)越來越受到詬病的今天，RNN憑借其獨(dú)特優(yōu)勢再度獲得了越來越多學(xué)者的探索創(chuàng)新。?前這?路徑的架構(gòu)創(chuàng)新主要使?循環(huán)神經(jīng)?絡(luò)（RNN）替代?注意?機(jī)制，通過循環(huán)?式處理序列數(shù)據(jù)，使模型對過去的輸?保留記憶。03元始智能區(qū)別于Transformer的Query-Key-Value參數(shù)，RWKV架構(gòu)由四個(gè)重要參數(shù)組成：R、W、K、V，除了可訓(xùn)練的權(quán)重參數(shù)w（Weight），RWKV還使?r（Receptance）參數(shù)來控制對信息的接受程度。RWKV與Transformer架構(gòu)的本質(zhì)區(qū)別在于背后的記憶機(jī)制，與Transofrmer的內(nèi)存尋址機(jī)制相?，RWKV更像是?種聯(lián)想記憶?法。Transformer=AddressingMemory尋址記憶：RWKV=AssociativeMemory聯(lián)想記憶：我相信RNN是正確的，但現(xiàn)在的RNN遠(yuǎn)遠(yuǎn)沒有做到它真正的?平，它的上限其實(shí)是?常?的，現(xiàn)在我們還遠(yuǎn)遠(yuǎn)沒有到那個(gè)地步，還有很多空間。因?yàn)镽NN更接近?腦和宇宙的運(yùn)作?式。例如，在物理上，宇宙的下?狀態(tài)只與上?狀態(tài)有關(guān)，這是所謂的locality和causality，量?場論遵循這?原則。RWKV（RecurrentWeightedKey-Value）模型核?思想是將RNN的循環(huán)結(jié)構(gòu)與Transformer的并?計(jì)算能?相結(jié)合，在實(shí)現(xiàn)?效推理、節(jié)省存儲(chǔ)開銷的同時(shí)保持模型的?性能。這使得RWKV可以“像Transformer?樣”進(jìn)?并?訓(xùn)練，同時(shí)在推理階段可以以遞歸形式進(jìn)?解碼，“像RNN?樣”推理。??TokenShift：tokenshift在時(shí)間混合計(jì)算中，通過對當(dāng)前和前?輸?的線性組合進(jìn)?線性投影，?成?于時(shí)間混合的向量；在通道混合計(jì)算中，也采?類似的?法?成通道混合輸?向量WKV運(yùn)算符：WKV運(yùn)算符利?時(shí)間衰減因?對權(quán)重進(jìn)?更新，使得每個(gè)時(shí)間步的輸出依賴于之前所有時(shí)間步的信息，從?保留了RNN的記憶能?，這種設(shè)計(jì)使得RWKV模型在保持較低計(jì)算復(fù)雜度的同時(shí)，能有效捕捉序列數(shù)據(jù)中的?期依賴關(guān)系04?輸出?控：RWKV通過在時(shí)間混合和通道混合塊中使?sigmoid函數(shù)對接收向量進(jìn)??控，控制信息的流動(dòng)和記憶更新，確保在每個(gè)時(shí)間步只傳遞和處理相關(guān)信息，從?減少梯度消失和爆炸問題，增強(qiáng)了模型的穩(wěn)定性和訓(xùn)練效率RWKV?提出以來已經(jīng)經(jīng)歷了多次版本迭代，最新版本RWKV-7預(yù)覽版已在今年9?正式發(fā)布。2.路徑?：狀態(tài)空間模型（以Mamba狀態(tài)空間模型可以看作是循環(huán)神經(jīng)?絡(luò)（RNN）和卷積神經(jīng)?絡(luò)（CNN）的融合，由其發(fā)展?來的結(jié)構(gòu)化的狀態(tài)空間序列模型（SSM）是另?頗具潛?的?模型創(chuàng)新架構(gòu)代表。這類模型利?狀態(tài)空間處理?序列問題，通過循環(huán)或卷積運(yùn)算實(shí)現(xiàn)?效計(jì)算，使得計(jì)算開銷與序列?度呈線性或近線性關(guān)系，從?顯著降低計(jì)算成本。（1）Mamba?次提出2023年12?，Mamba架構(gòu)?次被提出，引?了選擇性狀態(tài)空間模型，實(shí)現(xiàn)了對輸?數(shù)據(jù)的有選擇性處理。這種選擇機(jī)制使得模型能夠根據(jù)當(dāng)前輸?的token決定哪些信息是重要的，忽略不相關(guān)的信息，提升模型處理?序列的能?和推理吞吐量，達(dá)到Transformer模型的五倍。（2）Mamba核?思想Mamba的核?在于其硬件感知算法，利?現(xiàn)代硬件（如GPU）的內(nèi)存層次結(jié)構(gòu)，通過掃描??卷積計(jì)算模型，減少不同級(jí)別GPU內(nèi)存間的IO訪問，提?計(jì)算效率。此外，Mamba簡化了深度序列模型設(shè)計(jì)，?需注意?機(jī)制或多層感知器（MLP）塊，使模型更加簡潔。圖：選擇性狀態(tài)空間模型（SelectiveStateSpaceModel），卡內(nèi)基梅隆、普林斯頓?學(xué)05（3）Mamba-2核?思想今年5?，Mamba-2發(fā)布，提出了狀態(tài)空間對偶（SSD）框架，揭?了狀態(tài)空間模型與結(jié)構(gòu)化掩碼注意?之間的聯(lián)系。Mamba-2的核?層通過引?新的SSD算法，在訓(xùn)練效率上提升了2-8倍，同時(shí)保持了與Transformer在語?建模??的相似?平競爭?。（4）Mamba-2創(chuàng)新點(diǎn)?硬件友好設(shè)計(jì)：Mamba-2的另?個(gè)重要貢獻(xiàn)是其對硬件友好的設(shè)計(jì)，允許使?更?的狀態(tài)維度，提?訓(xùn)練速度。在處理需要更?狀態(tài)容量的任務(wù)，如多查詢關(guān)聯(lián)回憶（MQAR）任務(wù)時(shí)，Mamba-2顯?出?Mamba-1顯著的性能提升?混合模型的探索：Mamba-2還探索了將注意?層與SSM層結(jié)合的混合模型，發(fā)現(xiàn)適量的注意?層可以進(jìn)?步提升模型性能圖結(jié)構(gòu)化狀態(tài)空間對偶性）?結(jié)構(gòu)化矩陣闡明狀態(tài)空3.路徑三：層次化卷積模型（以UniRepLKNet為代表）層次化卷積模型，以UniRepLKNet為代表，是?種?卷積架構(gòu)，其核?在于使?與輸?序列?度相當(dāng)或接近的濾波器（核）來捕捉序列數(shù)據(jù)中的?距離依賴關(guān)系。這種設(shè)計(jì)使得模型在處理輸?時(shí)能夠考慮到更遠(yuǎn)的歷史信息，有效處理?序列問題。（1）UniRepLKNet創(chuàng)新點(diǎn)UniRepLKNet采??核CNN，能夠處理多種模態(tài)數(shù)據(jù)，如圖像、?頻、時(shí)序預(yù)測等。該模型提出了 “局部結(jié)構(gòu)設(shè)計(jì)、重參數(shù)化、核??選擇和隨深度拓展添加?核”四條指導(dǎo)原則來設(shè)計(jì)?核CNN架構(gòu)，并采?硬件感知的并?算法，在圖像識(shí)別任務(wù)中實(shí)現(xiàn)領(lǐng)先性能，并在?頻、視頻、點(diǎn)云和時(shí)間序列等多模態(tài)任務(wù)中也取得了顯著的結(jié)果。UniRepLKNet的優(yōu)勢在于充分利??核卷積神經(jīng)?絡(luò)的特點(diǎn)，通過創(chuàng)新的架構(gòu)設(shè)計(jì)，有效地解決了感受野、特征抽象層次以及模型深度表?能?等核?問題。圖：UniRepLKNet的架構(gòu)設(shè)計(jì)，騰訊AILab06本報(bào)告來源于三個(gè)皮匠報(bào)告站（）,由用戶Id:349461下載,文檔Id:184502,下載日期:2024?核卷積的獨(dú)特優(yōu)勢在于不依賴深度堆疊即可獲得?感受野，避免了深度增加帶來的邊際遞減問題。UniRepLKNet提出了?種膨脹重參數(shù)塊（DilatedReparamBlock），即通過使?多個(gè)膨脹?核卷積層來增強(qiáng)?個(gè)?核卷積層，從?在不增加推理成本的情況下提?性能，該塊的公式如下：膨脹重參數(shù)塊使?膨脹的?核卷積層來增強(qiáng)?膨脹的?核層。這樣的膨脹層相當(dāng)于具有更?稀疏核的?膨脹卷積層，因此整個(gè)塊可以等效地轉(zhuǎn)換為單個(gè)?核卷積。4.路徑四：多尺度保持機(jī)制模型（以RetNet為代表）多尺度保持機(jī)制模型（RetentiveNetwork,Retnet）由微軟亞洲研究院提出，克服傳統(tǒng)Transformer架構(gòu)在效率和性能上的局限性。RetNet的設(shè)計(jì)突破了所謂的“不可能三?”，在保持訓(xùn)練并?性的同時(shí)，實(shí)現(xiàn)了低成本部署以及良好性能。作為全新的神經(jīng)?絡(luò)架構(gòu)，RetNet同時(shí)實(shí)現(xiàn)了良好的擴(kuò)展結(jié)果、并?訓(xùn)練、低成本部署和?效推理。這些特性將使RetNet有可能成為繼Transformer之后?語?模型基礎(chǔ)?絡(luò)架構(gòu)的有?繼承者?！?福如，微軟亞洲研究院全球研究合伙?（1）RetNet創(chuàng)新點(diǎn)RetNet作為全新的神經(jīng)?絡(luò)架構(gòu)，使?多尺度保持（Retention）機(jī)制替代了標(biāo)準(zhǔn)的?注意?機(jī)制。與標(biāo)準(zhǔn)?注意?機(jī)制相?，保持機(jī)制有以下特點(diǎn)：??引?位置相關(guān)的指數(shù)衰減項(xiàng)取代softmax：這?改進(jìn)簡化了計(jì)算過程，并使得前步信息以衰減的形式得以保留，從?在降低計(jì)算復(fù)雜度的同時(shí)，保留了序列中的重要信息引?復(fù)數(shù)空間表達(dá)位置信息：這??法取代了傳統(tǒng)的絕對或相對位置編碼，使得模型更容易轉(zhuǎn)換為遞歸形式，增強(qiáng)了模型對序列中元素之間相對位置的感知能?07??使?多尺度的衰減率：保持機(jī)制采?了多尺度的衰減率，使RetNet能夠更靈活地處理不同?度的序列，提升了模型對序列數(shù)據(jù)的適應(yīng)性和表達(dá)能?利?GroupNorm的縮放不變性提?Retention層的數(shù)值精度：這?特性使得在GroupNorm中乘以?個(gè)標(biāo)量值不會(huì)影響輸出和反向梯度，從?在保持模型性能的同時(shí)，提?了計(jì)算的穩(wěn)定性和效率???并?：并?表?使RetNet可以像Transformer?樣?效地利?GPU進(jìn)?并?訓(xùn)練遞歸：遞歸表征實(shí)現(xiàn)了O(1)1的推理復(fù)雜度，降低了內(nèi)存占?和延遲分塊遞歸：即并?表?和遞歸表?的混合形式，將輸?序列劃分為塊，在塊內(nèi)按照并?表?進(jìn)?計(jì)算，在塊間遵循遞歸表?。分塊遞歸表征則能夠?效處理?序列數(shù)據(jù)RetNet的實(shí)驗(yàn)結(jié)果表明，它在語?建模任務(wù)上達(dá)到了與Transformer相當(dāng)?shù)男阅?，同時(shí)在推理速度和內(nèi)存占???顯著優(yōu)于Transformer。液體神經(jīng)?絡(luò)模型LFM，由MIT系初創(chuàng)公司LiquidAI團(tuán)隊(duì)發(fā)布，是基于液體神經(jīng)?絡(luò)（LiquidNeuralNetworks,LNN）架構(gòu)的新型神經(jīng)?絡(luò)設(shè)計(jì)。受?物神經(jīng)系統(tǒng)啟發(fā)，LNN通過使?更少的神經(jīng)元和創(chuàng)新的數(shù)學(xué)公式，實(shí)現(xiàn)了與傳統(tǒng)深度學(xué)習(xí)模型相?相同甚?更優(yōu)的性能。????效內(nèi)存使?：LFM的核?優(yōu)勢在于其?效的內(nèi)存使?和強(qiáng)?的推理能?，這使得它在處理?量順序數(shù)據(jù)時(shí)表現(xiàn)出?。與傳統(tǒng)的基于Transformer的模型相?，LFM在處理?輸?時(shí)內(nèi)存使?量顯著減少，這是因?yàn)長FM能夠更有效地利?上下??度，KV緩存不隨序列?度增加?線性增?多模態(tài)能?：LFM模型能夠處理包括視頻、?頻、?本、時(shí)間序列和信號(hào)在內(nèi)的多種類型的數(shù)據(jù)?適應(yīng)能?：LFM還具有?適應(yīng)能?，可以根據(jù)特定的硬件平臺(tái)或參數(shù)要求進(jìn)??動(dòng)優(yōu)化08?結(jié)構(gòu)化操作單元：這些單元是模型的基本組成部分，屬于?個(gè)全新的設(shè)計(jì)空間。LFM的設(shè)計(jì)允許模型在擴(kuò)展、推理、對?和模型分析??進(jìn)?優(yōu)化。圖：LFM在MMLU-pro的測試集成這些加速涌現(xiàn)的創(chuàng)新架構(gòu)多是在不同程度保留Transformer架構(gòu)優(yōu)勢基礎(chǔ)上，結(jié)合循環(huán)神經(jīng)?絡(luò)（RNN）、狀態(tài)空間序列模型（SSM）、卷積模型（CNN)以及液體神經(jīng)?絡(luò)（LNN）等思想所做出的創(chuàng)新發(fā)展，這使得不同架構(gòu)之間的界限越來越模糊，呈現(xiàn)出?益明顯的混合（Hybrid）趨勢，更多性能領(lǐng)先的創(chuàng)新架構(gòu)具備“博采眾家之?”的特點(diǎn)。同時(shí)，?前?多數(shù)創(chuàng)新架構(gòu)雖然能夠在?些?規(guī)模性能測試中實(shí)現(xiàn)與傳統(tǒng)Tranformer架構(gòu)同等甚?更優(yōu)越的性能，但在實(shí)際應(yīng)?層?，仍然有待?業(yè)界通過多個(gè)超?參數(shù)模型作進(jìn)?步驗(yàn)證。0902ScalingLaw泛化二、二、ScalingLaw泛化:推理能力成皇冠明珠,倒逼計(jì)算和數(shù)據(jù)變革2020年，伴隨著GPT-3問世，第?代ScalingLaw指引我們在參數(shù)量、數(shù)據(jù)集和計(jì)算量之間尋找模型性能的最優(yōu)解；2024年，擁有強(qiáng)?推理能?的o1讓我們對?模型的要求從迅速?成與訓(xùn)練結(jié)果，轉(zhuǎn)向在推理過程中進(jìn)?更深度的思考。最初，我們對Scalinglaw的關(guān)注局限于對參數(shù)量的思考，甚?引發(fā)了對其失效的擔(dān)憂；但全新的scalinglaw從狹窄具體的指代衍?到寬泛的概念，并引發(fā)了我們對萬卡集群、合成數(shù)據(jù)和計(jì)算資源最優(yōu)分配的多重關(guān)注。我們對ScalingLaw及其泛化在當(dāng)前AI時(shí)代下的關(guān)注可被歸納為以下?點(diǎn)：???參數(shù)量與計(jì)算量膨脹下，帶動(dòng)萬卡集群以及?性能?絡(luò)的建設(shè)和發(fā)展。數(shù)據(jù)耗盡危機(jī)中，合理善?合成數(shù)據(jù)成為較優(yōu)選擇。新時(shí)代的ScalingLaw出現(xiàn)，?模型的發(fā)展將追求更?的推理能?，資源向Post-training和推理算?傾斜。技術(shù)原理我們將從影響兩個(gè)模型時(shí)代的兩條ScalingLaw出發(fā)來探討這個(gè)問題：關(guān)AI模型領(lǐng)域的ScalingLaw正式被提出要追溯到2020年，OpenAI在論?ScalingLawsforNeuralLanguageModels中總結(jié)到，他們發(fā)現(xiàn)損失函數(shù)（loss）隨著模型??、數(shù)據(jù)集??和訓(xùn)練使?的計(jì)算量?呈冪律變化。?模型的性能在?定范圍內(nèi)受其他超參數(shù)（如depth、width）的影響很少。在Transformer模型中，ScalingLaw的數(shù)學(xué)表?通常為：Performance：模型性能（誤差率、準(zhǔn)確率等）N：模型規(guī)模（參數(shù)量、數(shù)據(jù)量等）α：標(biāo)度指標(biāo)（性能隨規(guī)模變化的表現(xiàn)）（1）Parameters&Compute：萬卡集群及?性能?絡(luò)建設(shè)的必要性2020年驚艷亮相的GPT-3是?個(gè)175B參數(shù)的?模型，?今天我們討論的模型參數(shù)量已經(jīng)是萬億級(jí)別。EPOCHAI維護(hù)02ScalingLaw泛化著?個(gè)從20世紀(jì)50年代就開始監(jiān)測AI和機(jī)器學(xué)習(xí)模型的數(shù)據(jù)庫，他們發(fā)現(xiàn)從2010年到2024年5?，?于訓(xùn)練模型的計(jì)算量每年增?4-5倍，?過去10年間語?模型的性能提升中約有三分之?是由于模型規(guī)模的增加。橫軸：Publicationdata縱軸：Trainingcompute(FLOP）例如GPT-4需要使?2.5萬張英偉達(dá)A100GPU，并?訓(xùn)練100天的左右時(shí)間，在此期間要處理13萬億個(gè)token，并且涉及?約1.76萬億個(gè)參數(shù)。可以預(yù)?的是為了追求更極致的性能和解決更多問題，在參數(shù)量的增加和計(jì)算需求的增?下，萬卡集群及?性能?絡(luò)的建設(shè)是必要的。??萬卡集群：由?萬張及以上的加速卡（如GPU、TPU或其他專?AI加速芯?）組成的?性能計(jì)算系統(tǒng)?性能?絡(luò)：?絡(luò)需要?持?帶寬、低延遲的數(shù)據(jù)傳輸，確保集群中的計(jì)算節(jié)點(diǎn)能夠?效地通信和協(xié)作中國聯(lián)通研究院夏璠表?，?性能?絡(luò)基礎(chǔ)設(shè)施對于?持?規(guī)模AI應(yīng)??關(guān)重要。隨著數(shù)據(jù)量的增加和AI應(yīng)?的擴(kuò)展，對?絡(luò)帶寬和延遲的要求也越來越?。這種集群將充分整合?性能GPU計(jì)算、?性能RDMA?絡(luò)、?性能并??件存儲(chǔ)、智算平臺(tái)等關(guān)鍵技術(shù)，將底層基礎(chǔ)設(shè)施整合成為?臺(tái)超級(jí)計(jì)算機(jī)，以千億級(jí)甚?萬億級(jí)參數(shù)規(guī)模的?模型訓(xùn)練。全球數(shù)據(jù)中??絡(luò)市場預(yù)計(jì)將在未來五年內(nèi)以約10%的年復(fù)合增?率增??！鲃輨?chuàng)投運(yùn)營商企業(yè)中國電信中國移動(dòng)中國聯(lián)通騰訊字節(jié)跳動(dòng)百度阿?巴巴商湯螞蟻集團(tuán)天翼云上海臨港國產(chǎn)萬卡算?池呼和浩特萬卡智算中?上海臨港國際云數(shù)據(jù)中?算?集群HCC、?性能?絡(luò)星脈12288卡Ampere架構(gòu)訓(xùn)練集群萬卡AI集群阿?云10萬卡量級(jí)集群SenseCore商湯?裝置萬卡異構(gòu)算?集群02ScalingLaw泛化華為科?訊?昇騰AI萬卡集群「?星?號(hào)」超萬卡集群算?平臺(tái)盡管萬卡集群必然會(huì)強(qiáng)調(diào)對加速卡的需求，我們在技術(shù)上關(guān)注的卻應(yīng)該是集群的互聯(lián)。從千卡到萬卡，單卡性能下降8%左右，?前全球范圍內(nèi)已經(jīng)有企業(yè)開始追求「10萬卡」以上的集群規(guī)模，在萬卡到10萬卡的難關(guān)中，如何能保持集群的線性度、穩(wěn)定性，同時(shí)保證調(diào)度的效率，是下?步所有AI玩家將持續(xù)關(guān)注的重點(diǎn)。同樣，在ScalingLaw中數(shù)據(jù)集的規(guī)模和表現(xiàn)也會(huì)改變模型的性能?，F(xiàn)有的開源?模型在?法、架構(gòu)層?開源的同時(shí)，?乎很少涉及到訓(xùn)練數(shù)據(jù)集的公開。我們必須要意識(shí)到?個(gè)問題，也許有?天我們會(huì)耗盡現(xiàn)有的數(shù)據(jù)。有估計(jì)稱現(xiàn)有?類公開?本存量約為300萬億個(gè)token。按照預(yù)測，?語?模型有可能在2026年-2032年之間耗盡這?存量。如果過度訓(xùn)練，這?時(shí)間點(diǎn)將會(huì)再度提前。還值得我們關(guān)注的?個(gè)問題是，數(shù)據(jù)的質(zhì)量也許?數(shù)量更為重要。例如Apple在研發(fā)模型時(shí)采?了?常規(guī)的3階段預(yù)訓(xùn)練?法，在核?預(yù)訓(xùn)練后降低?絡(luò)爬取的低質(zhì)量數(shù)據(jù)權(quán)重。國內(nèi)在意識(shí)到?質(zhì)量數(shù)據(jù)集的重要性后，多次發(fā)布對建設(shè)?有?質(zhì)量數(shù)據(jù)集的指導(dǎo)意?。合成數(shù)據(jù)（Syntheticdata）則是我們從AI1.0時(shí)代就開始尋找的破解之道，在具?智能和?動(dòng)駕駛等前沿領(lǐng)域得到過部分運(yùn)?，如今已被?泛引??模型的訓(xùn)練之中。合成數(shù)據(jù)是指通過算法或模型?成的?為數(shù)據(jù)，模擬真實(shí)數(shù)據(jù)的統(tǒng)計(jì)特性和分布，但不包含任何真實(shí)信息。實(shí)際訓(xùn)練中，我們通常會(huì)選擇部分或全部地使?合成數(shù)據(jù)。明勢創(chuàng)投表?，合成數(shù)據(jù)的應(yīng)?突破了傳統(tǒng)的數(shù)據(jù)獲取和使??式，為解決數(shù)據(jù)匱乏和隱私問題提供了創(chuàng)新思路，具有較?的創(chuàng)新性和顛覆性。圖：合成數(shù)據(jù)?成?法，Amazon02ScalingLaw泛化???統(tǒng)計(jì)分布：分析真實(shí)數(shù)據(jù)以確定其潛在的統(tǒng)計(jì)分布，例如正態(tài)分布、指數(shù)分布或卡?分布。然后從這些已識(shí)別分布中?成合成樣本，以創(chuàng)建在統(tǒng)計(jì)學(xué)上與原始數(shù)據(jù)集相似的數(shù)據(jù)集基于模型：訓(xùn)練機(jī)器學(xué)習(xí)模型以理解和復(fù)制真實(shí)數(shù)據(jù)的特征深度學(xué)習(xí)：使?深度學(xué)習(xí)的?式?成?質(zhì)量的合成數(shù)據(jù)集。這些?法通常?于更復(fù)雜的數(shù)據(jù)類型，例如圖像或時(shí)間序列數(shù)據(jù)但合成數(shù)據(jù)是否是應(yīng)對數(shù)據(jù)危機(jī)的最佳解藥仍值得商榷。?先，真實(shí)數(shù)據(jù)永遠(yuǎn)存在相當(dāng)多的離群值和異常值，合成數(shù)據(jù)?成算法很少能重現(xiàn)它們。其次，合成數(shù)據(jù)的引?可能導(dǎo)致模型在訓(xùn)練過程中出現(xiàn)過擬合，從?影響其在現(xiàn)實(shí)世界中的表現(xiàn)。2024年發(fā)表在Nature上的?篇研究AImodelscollapsewhentrainedonrecursivelygenerateddata提到他們所完成的?次實(shí)驗(yàn)，使?合成數(shù)據(jù)9次迭代后就會(huì)讓模型原地「崩潰」。更吸引?眼球的結(jié)果來?Dohmatob,Elvis等的實(shí)驗(yàn)結(jié)果StrongModelCollapse，他們發(fā)現(xiàn)即使合成數(shù)據(jù)僅僅占到總數(shù)據(jù)集的最?部分，甚?是1%的?例，仍然可能導(dǎo)致模型崩潰。?前?成和使?合成數(shù)據(jù)的?法在不同模型中都處在探索階段，我們將持續(xù)關(guān)注這?議題的最終結(jié)果。來到2024年，OpenAI有關(guān)o1模型的論?OnThePlanningAbilitiesofOpenAI'so1Models:Feasibility,Optimality,andGeneralizability提出了?條全新的ScalingLaw：你賦予模型的推理時(shí)間越多，模型的推理能?就越強(qiáng)。盡管沒有披露具體的訓(xùn)練?法，但其原理是基于強(qiáng)化學(xué)習(xí)的內(nèi)化思維鏈學(xué)習(xí)，通過思維鏈?zhǔn)降膯栴}拆解，使得模型可以不斷驗(yàn)證和糾錯(cuò)。當(dāng)AI擁有更強(qiáng)?的推理能?，不僅意味著在編碼、搜索等任務(wù)上能夠幫助??解決更多問題，也會(huì)在數(shù)學(xué)、?物、化學(xué)等基礎(chǔ)科學(xué)領(lǐng)域，幫助實(shí)現(xiàn)突破性的發(fā)現(xiàn)?！?榕創(chuàng)投圖：o1在新ScalingLaw下的推理表現(xiàn)，OpenAI這?年，我們確實(shí)觀測到規(guī)模的增加帶來了基本的推理能?，但這種推理的效果是相對有限的，?o1所完成的，是讓模型在作答前進(jìn)?“停下來思考”，這?過程需要更多的計(jì)算資源，因此被稱為“推理時(shí)計(jì)算”。停下來思考這?狀態(tài)的實(shí)現(xiàn)，正是我們?直想教會(huì)模型的模式，即更直接地進(jìn)?推理。02ScalingLaw泛化o1?幅度增強(qiáng)了?模型的邏輯推理能?，使?模型從系統(tǒng)1提升到系統(tǒng)2，?幅度加速AIAgent落地可能性?！蹶?，英諾天使基?合伙?以o1為代表的Inferencescalinglaw使得模型推理能??幅提升，在GPQA這樣的?類專家benchmark上已經(jīng)超過?類PhD?平。推理能??幅提升可以顯著減少幻覺，提?Agent類?物的能??！?森，真格基?管理合伙??語?模型的推理能?通常涉及到?種不同的技術(shù)或概念，包括思維鏈（ChainofThought，CoT）、思維樹（TreeofThought，ToT）和思維圖（MapofThought，MoT）。???思維鏈（ChainofThought，CoT）：模仿了?類解決問題時(shí)的思維過程，即先分析問題，然后逐步推理，最后得出結(jié)論思維樹（TreeofThought，ToT）：更為結(jié)構(gòu)化的推理?法，它將問題分解為多個(gè)分?，每個(gè)分?代表?個(gè)可能的推理路徑或假設(shè)思維圖（MapofThought，MoT）：視覺化?具，?來表?不同概念、事實(shí)和推理步驟之間的聯(lián)系（2）后訓(xùn)練（Post-training）的轉(zhuǎn)變從前的預(yù)訓(xùn)練遵循?個(gè)已經(jīng)被深刻理解的法則：你在預(yù)訓(xùn)練模型上投?的計(jì)算資源和數(shù)據(jù)越多，它的表現(xiàn)就越好。但新的ScalingLaw—Post-trainingScalingLaw的出現(xiàn)已經(jīng)引發(fā)?業(yè)對于算?分配、后訓(xùn)練能?的重新思考。后訓(xùn)練通常包括微調(diào)（Fine-tuning）和對?（Alignment）。新的模型想要提升能?，除了在預(yù)訓(xùn)練階段，還可以在后訓(xùn)練階段，通過提升強(qiáng)化學(xué)習(xí)（ReinforcementLearning）訓(xùn)練的探索時(shí)間和增加模型推理的思考時(shí)間來實(shí)現(xiàn)性能的提升。o1激發(fā)了當(dāng)前時(shí)代的?模型開發(fā)者對提升?模型數(shù)學(xué)和推理能?的興趣，這很?程度上就意味著擴(kuò)?后訓(xùn)練的規(guī)模。tPreprocessiPre-???本階段Long-contextstage??繼續(xù)預(yù)訓(xùn)練Continuedpre-training?質(zhì)量階段High-qualitystage???知識(shí)蒸餾Knowledgedistillation??????Post-Optimizati監(jiān)督微調(diào)Supervisedfinetuning(SFT)withhumanfeedback(RLHF)直接偏好優(yōu)化Directpreferenceoptimization(DPO)在線/離線（處理）Online/offline知識(shí)蒸餾Knowledgedistillation最近的研究使?了不同的?法把結(jié)果的獎(jiǎng)勵(lì)信號(hào)傳遞到?模型的各個(gè)推理過程中：02ScalingLaw泛化AppleIntelligenceFoundationGemma2Llama3.1Qwen2Post-training:SFT+RLHFPost-training:SFT+RLHF其中，其中他們?于RLHF的模型??標(biāo)模型??倍，使?WARP(WeightAveragingforRewardPrediction)對?標(biāo)模型進(jìn)?平均Post-training:SFT+拒絕采樣+DPOQwen2的Alignment也分為2部分：DPO（離線）+拒絕采樣（在線）拒絕采樣似乎已成為后訓(xùn)練階段的常?做法，但現(xiàn)階段并沒有在選擇DPO或RLHF??達(dá)成共識(shí)。然?強(qiáng)化學(xué)習(xí)的思路貫穿始終，Meta仍為Llama的后訓(xùn)練開發(fā)了獎(jiǎng)勵(lì)模型。模仿學(xué)習(xí)+強(qiáng)化學(xué)習(xí)成為典型AI模型發(fā)展路徑范式。本質(zhì)上是數(shù)據(jù)的稀缺與否及質(zhì)量?低的問題，數(shù)據(jù)多就優(yōu)先模仿學(xué)習(xí)，數(shù)據(jù)少就優(yōu)先強(qiáng)化學(xué)習(xí)（可?我產(chǎn)?數(shù)據(jù)），最終是綜合兩種類型的算法技術(shù)以產(chǎn)?更強(qiáng)?的能??！?，峰瑞資本合伙?如今，我們意識(shí)到RLHF起的作?遠(yuǎn)超已經(jīng)IFT(InstructionFine-Tuning)，需要將更多的預(yù)算放在后訓(xùn)練階段上。隨著我們對?模型推理能?的更?追求，和對后訓(xùn)練階段的更多投?，未來有可能推理端的算?將會(huì)超過訓(xùn)練端。盡管當(dāng)前推理算?還沒有超過訓(xùn)練算?，但推理成本已經(jīng)超過了訓(xùn)練成本。畢竟訓(xùn)練成本是?次性成本，?推理需求將隨著模型復(fù)雜度、??數(shù)量和每??查詢次數(shù)的增加?繼續(xù)增?。明勢創(chuàng)投表?，在?規(guī)模部署AI服務(wù)的背景下，推理成本成為主要開?來源，市場對降低推理成本的需求強(qiáng)烈。值得?提的是，ScalingLaw并?是嚴(yán)格的?然法則，?是?類基于經(jīng)驗(yàn)觀察得出的趨勢性規(guī)律，它的價(jià)值往往在對未來提供?向性的指導(dǎo)。新舊ScalingLaw的應(yīng)?和泛化將調(diào)整我們對資源配置和技術(shù)重?的看法，并創(chuàng)新出更為強(qiáng)?的新?代AI和模型。三、AGI探索:視頻生成點(diǎn)燃世界模型,空間智能統(tǒng)三、AGI探索:視頻生成點(diǎn)燃世界模型,空間智能統(tǒng)虛擬和現(xiàn)實(shí)Sora的?熱激發(fā)了國內(nèi)外許多模型在視頻?成領(lǐng)域的應(yīng)?，產(chǎn)出了在影視、營銷等?業(yè)具有可落地商業(yè)價(jià)值的AI應(yīng)?； “?個(gè)視頻模型”之爭也引發(fā)了?動(dòng)駕駛領(lǐng)域基于??優(yōu)勢，對世界模型的研究和探索；?能夠帶來更好的?動(dòng)駕駛體驗(yàn)的世界模型，事實(shí)上也能夠作?于機(jī)器?領(lǐng)域；引發(fā)諸多討論的空間智能概念，與我們?直探索的空間計(jì)算、具?智能密不可分……在AI改變我們的?活、真正觸摸復(fù)雜世界的過程中，?類也從未停?對AGI的探索。技術(shù)原理擴(kuò)散模型?前已經(jīng)在圖像?成、圖像超分辨率和圖像編輯等任務(wù)中取得了顯著成果，并逐漸取代了基于?成對抗?絡(luò)（GAN）和變分?編碼器（VAE）的?法，在視頻合成任務(wù)中展現(xiàn)出巨?潛?，成為?前視頻?成的主流技術(shù)路徑。擴(kuò)散模型（DiffussionModel）是?類概率?成模型，主要通過學(xué)習(xí)逆向過程來?成數(shù)據(jù)。圖：ASurveyonVideoDiffusionModels，上海市智能視覺計(jì)算協(xié)同創(chuàng)新中?本輪視頻?成熱潮中，最受矚?的是將Transformer架構(gòu)引?到擴(kuò)散模型中的DiT（DiffusionTransformer）模型，極強(qiáng)地提?了圖像?成的質(zhì)量。DiT的核?思想是利?Transformer的強(qiáng)?建模能?，替換傳統(tǒng)擴(kuò)散模型中常?的U-Net結(jié)構(gòu)，從?在潛在空間上操作，?成?質(zhì)量的圖像。其圖像?成流程是基于?種混合的?法，使?卷積VAEs和基于Transformer的DDPM(Denoising DiffusionProbabilisticModels)，重點(diǎn)是訓(xùn)練圖像的DDPM，特別是圖像的空間表?。圖：ScalableDiffusionModelswithTransformers，UCBerkeley、NewYorkUniversityDiT的技術(shù)原理基于以下?個(gè)關(guān)鍵點(diǎn)：擴(kuò)散模型Transformer架構(gòu)潛在補(bǔ)丁條件?成可擴(kuò)展性訓(xùn)練效率DiT建?在擴(kuò)散模型的基礎(chǔ)上，這是?種?成模型，通過模擬?個(gè)逆向過程來?成數(shù)據(jù)。在DiT中，這個(gè)逆向過程由Transformer來實(shí)現(xiàn)Transformer以其?注意?機(jī)制?聞名，能夠捕捉序列數(shù)據(jù)中的?距離依賴關(guān)系。在DiT中，圖像被分割成多個(gè)patches，這些補(bǔ)丁被嵌?到?個(gè)序列中，然后通過Transformer塊進(jìn)?處理DiT不是直接在像素空間上操作，?是在來實(shí)現(xiàn)的，這個(gè)表?被分割成多個(gè)補(bǔ)丁，每個(gè)補(bǔ)丁作為?個(gè)序列元素輸?到Transformer中DiT?持條件?成，這意味著它可以在?成過程中使?額外的信Transformer的輸?序列中，以引導(dǎo)?成過程DiT的設(shè)計(jì)允許其通過增加模型的深度、寬度或輸?補(bǔ)丁的數(shù)量來擴(kuò)展。DiT在訓(xùn)練過程中表現(xiàn)出了?效率。由于Transformer的并?化能?，DiT可以利?現(xiàn)代DiT的提出，不僅推動(dòng)了?成模型技術(shù)的發(fā)展，也為未來的研究提供了新的?向。隨著研究的深?，DiT或其變體已經(jīng)被應(yīng)?于視頻?成，以及藝術(shù)創(chuàng)作、游戲開發(fā)和虛擬現(xiàn)實(shí)等領(lǐng)域。隨著模型規(guī)模的增加和訓(xùn)練技術(shù)的改進(jìn)，DiT有望在未來實(shí)現(xiàn)更加驚?的?成效果。在視頻?成領(lǐng)域，除了DiT之外，還有其他?種混合架構(gòu)取得了顯著的進(jìn)展。這些架構(gòu)結(jié)合了不同的模型特性，以提?視頻?成的質(zhì)量和效率。Transformer+3D卷積?絡(luò)?回歸模型+TransformerVAE+擴(kuò)散模型GAN+擴(kuò)散模型TimeSformer交叉注意?機(jī)制?些研究?作探索了將Transformer與3D卷積?絡(luò)結(jié)合的架構(gòu)。3D卷積?絡(luò)擅?捕捉視頻的時(shí)?Transformer能夠處理?距離依賴關(guān)系。這種混合架構(gòu)能夠同時(shí)利?兩者的優(yōu)勢，提?視頻?成的連?回歸模型如PixelRNN或PixelCNN在像素級(jí)別上?成數(shù)據(jù)，?Transformer則能夠處理序列數(shù)據(jù)。將兩者結(jié)合可以?成?質(zhì)量的視頻內(nèi)容，同時(shí)保持對?在DiT的基礎(chǔ)上，學(xué)者們進(jìn)?步探索了將變分TimeSformer是?種專?為視頻理解任務(wù)設(shè)計(jì)的Transformer架構(gòu)，它通過將時(shí)間維度融?到標(biāo)準(zhǔn)的Transformer架構(gòu)中，有效地處理視頻數(shù)據(jù)。這種架構(gòu)可以?于視頻?成任務(wù)，?成具有時(shí)空?致性的在Transformer架構(gòu)中引?交叉注意?機(jī)制，可以使模型在?成視頻時(shí)更好地利?額外的上下?信息，如?本描述或?qū)ο髽?biāo)簽，從??成與這些上下?這些混合架構(gòu)的共同?標(biāo)是在保持視頻?成質(zhì)量的同時(shí)，提?模型的計(jì)算效率和靈活性。隨著研究的不斷深?，我們可以預(yù)?未來將會(huì)出現(xiàn)更多創(chuàng)新的混合架構(gòu)。我們再次回到引爆「視頻?成」熱潮的模型Sora。OpenAI在介紹中稱Sora是“WorldSimulator”，?在Sora上線的第?時(shí)間埃隆·?斯克即表?，Tesla?約在?年前即能?成符合物理學(xué)的有關(guān)真實(shí)世界的模型（Real-worldvideogenerationwithaccuratephysics），這?討論?將世界模型（WorldModel）的概念引??眾視線。OpenAISora通過結(jié)合擴(kuò)散模型與Transformer模型，能夠模擬真實(shí)世界中的?、動(dòng)物和環(huán)境。這種能?使其在?本到視頻（T2V）領(lǐng)域中獨(dú)樹?幟，能夠根據(jù)?本提??成逼真的視頻內(nèi)容。時(shí)間?度與時(shí)序?致性：Sora能夠?成?達(dá)60秒的視頻，且在維持視頻內(nèi)容的時(shí)間連續(xù)性和邏輯?致性??表現(xiàn)出?，這在以往的??視頻模型中是難以實(shí)現(xiàn)的。真實(shí)世界物理狀態(tài)模擬：Sora展?了?系列引?注?的涌現(xiàn)能?，這些?為不是預(yù)設(shè)的規(guī)則，?是模型通過學(xué)習(xí)?量數(shù)據(jù)后?然涌現(xiàn)的能?。AI在現(xiàn)實(shí)世界的應(yīng)?正在從虛擬世界逐漸擴(kuò)散?物理世界。2024年談到世界模型更多是在智能駕駛領(lǐng)域，本年度國內(nèi)領(lǐng)先的量產(chǎn)智能駕駛玩家蔚來、理想等都提出了有關(guān)世界模型的設(shè)想和布局。（1）世界模型（WorldModel）論?RecurrentWorldModelsFacilitatePolicyEvolution(DavidHa,JirgenSchmidhuber,2018)可以幫助我們理解什么是世界模型：圖中的VisionModel(V)將?維觀測轉(zhuǎn)為低維向量，MemoryRNN(M)是序列預(yù)測下?個(gè)時(shí)刻的表征，在這樣基本的序列預(yù)測中增加?個(gè)輸?action，讓數(shù)據(jù)分布?由變化。事實(shí)上，世界模型反映了?久以來許多AI研究?員對model-basedRL?作的?奈和期待：模型不夠準(zhǔn)確，那么完全在模型?訓(xùn)練的強(qiáng)化學(xué)習(xí)效果就不好；如果能獲得準(zhǔn)確的世界模型，就能在世界模型中反復(fù)試錯(cuò)，找到現(xiàn)實(shí)的最優(yōu)決策。由此，我們可以從需求出發(fā)來定義世界模型：完全地理解這個(gè)世界就是世界模型要?的事。——任少卿，蔚來智能駕駛副總裁正如為何特斯拉會(huì)在?年前就開始布局有關(guān)真實(shí)世界模型的相關(guān)?作，「?對數(shù)據(jù)中沒有?過的決策，使?世界模型推理出決策成果」這?要點(diǎn)，和?動(dòng)駕駛領(lǐng)域?qū)崿F(xiàn)L5的?標(biāo)息息相關(guān)。當(dāng)前，世界模型?向上的?作正?泛地采??動(dòng)駕駛領(lǐng)域的數(shù)據(jù)和場景進(jìn)?實(shí)驗(yàn)。RenderWorldDriveOccWorldBEVWorldOccLLaMADriveDreamer-2WorldDreamer僅?持視覺的端到端?動(dòng)駕駛框架，它使?基于?監(jiān)督?斯的Img2Occ模塊?成3D占?標(biāo)簽，然后通過AM-VAE對標(biāo)簽進(jìn)?編碼，并使?世界模型進(jìn)?預(yù)測和規(guī)劃使?LAtentWorldmodel，根據(jù)預(yù)測的???為和當(dāng)前框架的潛在特征來預(yù)測未來的潛在特征它基于前作（DriveDreamer）的框架，結(jié)合了?個(gè)?型語?模型來?成??定義的駕駛視頻培養(yǎng)對?般世界物理和運(yùn)動(dòng)的全?理解，從?顯著增強(qiáng)視頻?成的能?；WorldDreamer從?型語?模型的成功中汲取靈感，將世界建模定義為?監(jiān)督的早期的世界模型很多出現(xiàn)在機(jī)器?領(lǐng)域，任少卿提到“?動(dòng)駕駛是泛機(jī)器?領(lǐng)域/世界模型的框架也能做機(jī)器?”。具?智能是指?種基于物理?體進(jìn)?感知和?動(dòng)的智能系統(tǒng)，其通過智能體與環(huán)境的交互獲取信息、理解問題、做出決策并實(shí)現(xiàn)?動(dòng)，從?產(chǎn)?智能?為和適應(yīng)性。Sim2Real(simulationtoreality)和在真實(shí)世界中采集具?交互的數(shù)據(jù)并學(xué)習(xí)是研究具?智能的兩條思路。清華智能產(chǎn)業(yè)研究院（AIR）表?：將真實(shí)環(huán)境數(shù)字化和仿真器模擬的?為學(xué)習(xí)結(jié)合起來，形成Real2Sim2Real(RSR)的閉環(huán)連接，能更有效地利?交互數(shù)據(jù)和真實(shí)環(huán)境的反饋，加速智能系統(tǒng)的實(shí)際部署與落地。與去年相?，許多具?智能玩家在2024年都推出了??的?款?形機(jī)器?，但更多玩家開始關(guān)注機(jī)器?在具體產(chǎn)業(yè)鏈20上能有什么樣的位置和發(fā)展空間。這不僅意味著與過去?年相?，?形機(jī)器?的概念變得?分可觸及，同時(shí)也表明具?智能這?領(lǐng)域，正在轉(zhuǎn)向?qū)Ξ?dāng)前?類來說更有價(jià)值的落地和應(yīng)?。?項(xiàng)明顯特征是，在完成了??、避障等基本功能后，具?智能玩家紛紛開始研發(fā)靈巧?，逐個(gè)攻克具?智能難題：騰訊RoboticsX實(shí)驗(yàn)室星動(dòng)紀(jì)元XHand靈巧?具有12個(gè)主動(dòng)?由度，采?全驅(qū)動(dòng)?案，能夠?qū)崿F(xiàn)多?向的運(yùn)動(dòng)，從?模仿?類?部的靈?巧?LinkerHand銀河通?傲意科技帕西尼感知科技智元機(jī)器?1XTechnologies，2014年于挪威成?，專注于開發(fā)和?產(chǎn)能夠模仿?類?為的機(jī)器?，以增加全球的?類勞動(dòng)?。NEO：專為家庭使??設(shè)計(jì)的雙??形機(jī)器?，1X基于視頻?成和?動(dòng)駕駛世界模型領(lǐng)域的進(jìn)展，訓(xùn)練出了?個(gè)世界模型，作為其機(jī)器?的虛擬模擬器。模型可以理解接觸到的物理世界并?成?保真視頻，使機(jī)器?可以在??的神經(jīng)空間中執(zhí)?規(guī)劃、評(píng)估和模擬操作。EVE：輪式機(jī)器?，2020年即取得商業(yè)化進(jìn)展，為美國商業(yè)場所提供安保服務(wù)。1X強(qiáng)調(diào)其機(jī)器?集群協(xié)作，展?了?個(gè)?通過簡單的語?命令指揮多個(gè)機(jī)器?執(zhí)??系列動(dòng)作的能?。21在經(jīng)歷了?整年有關(guān)具?智能概念、投融資的熱潮后，與其相關(guān)?不完全相似的空間智能概念?被李??提起?？臻g智能是指機(jī)器在三維空間和時(shí)間中感知、推理和?動(dòng)的能?，幫助它理解事物在三維空間中的位置及交互?式?！??在徹底理解空間智能之前，我們可以回顧在2023年度報(bào)告中提及的重要科技趨勢空間計(jì)算：空間計(jì)算是?項(xiàng)將物理世界與數(shù)字內(nèi)容融合的技術(shù)體系，根據(jù)其涉及的不同層次，可以分為基礎(chǔ)設(shè)施層、數(shù)據(jù)層和交互層：基建層：?持空間計(jì)算的硬件和?絡(luò)基礎(chǔ)??設(shè)備：蘋果的VisionPro提供了?性能的AR顯?、光學(xué)傳感器以及精準(zhǔn)的跟蹤功能，配備先進(jìn)攝像頭和處理器?絡(luò)：?速度、低延遲的5G和Wi-Fi6E?絡(luò)正加速實(shí)時(shí)交互的實(shí)現(xiàn)，尤其適?于移動(dòng)設(shè)備和協(xié)作應(yīng)?；?歌云等云服務(wù)商正在開發(fā)“邊緣AI”基礎(chǔ)設(shè)施，將AI模型更貼近??，從?減少延遲、提升空間計(jì)算應(yīng)?的實(shí)時(shí)能?AppleVisionPro作為蘋果公司推出的?款空間計(jì)算設(shè)備，實(shí)現(xiàn)了數(shù)字內(nèi)容?縫融?現(xiàn)實(shí)世界，通過其?命性的產(chǎn)品設(shè)計(jì)和技術(shù)創(chuàng)新，開啟了空間計(jì)算的新時(shí)代。?然輸??式：VisionPro采?了?種稱為“?然輸?”的交互模型，這種模型使?眼睛和?的組合進(jìn)?輸?，??只需看著?標(biāo)并點(diǎn)擊?指即可進(jìn)?交互?？臻g操作系統(tǒng)visionOS：VisionPro搭載了蘋果?款為空間計(jì)算所打造的操作系統(tǒng)visionOS，它包括了全新的實(shí)時(shí)執(zhí)?引擎、動(dòng)態(tài)注視點(diǎn)渲染管線以及對原?空間體驗(yàn)的?持。22數(shù)據(jù)層：負(fù)責(zé)空間數(shù)據(jù)的收集、處理和管理?空間映射和計(jì)算機(jī)視覺：實(shí)時(shí)映射和物理環(huán)境的解讀，使應(yīng)?程序能夠?qū)⑻摂M物體置于物理空間中?數(shù)字孿?：通過集成物理模型、傳感器更新、運(yùn)?歷史等數(shù)據(jù)，在虛擬空間中完成映射交互層：??直觀地與虛擬和物理世界互動(dòng)?沉浸技術(shù)（XR）：主要包括增強(qiáng)現(xiàn)實(shí)（AR）、虛擬現(xiàn)實(shí)（VR）和混合現(xiàn)實(shí)（MR)，他們?前仍是空間計(jì)算概念落地的核?技術(shù)，AR將數(shù)字元素疊加在現(xiàn)實(shí)世界中，VR創(chuàng)建完全虛擬的空間，MR則是兩者的混合；?前具體相關(guān)產(chǎn)品存在視頻透視（VST）和光學(xué)透視（OST）兩種技術(shù)路徑?觸覺反饋和感官界?：設(shè)備的觸覺反饋增加了沉浸感，混合現(xiàn)實(shí)頭戴設(shè)備和觸感?套能在虛擬環(huán)境中創(chuàng)造?度真實(shí)的互動(dòng)??語?和?勢識(shí)別：得益于AI的?持，這些技術(shù)允許???需動(dòng)?即可控制數(shù)字元素?Rokid2024年11?18?，Rokid聯(lián)名暴?眼鏡推出消費(fèi)級(jí)AI+AR眼鏡RokidGlasses。AI+AR全新交互?式：RokidGlasses基于衍射光波導(dǎo)成像技術(shù)實(shí)現(xiàn)AR效果，同時(shí)深度整合阿?巴巴旗下通義千問?模型AI能?，融合AI+AR技術(shù)，可以通過語?和視覺交互實(shí)現(xiàn)物體識(shí)別、實(shí)時(shí)翻譯、定位導(dǎo)航、購物?付多種任務(wù)，?縫融合現(xiàn)實(shí)世界。硬件“減負(fù)滿配”：RokidGlasses將主板、電池等核?組件集成于框架之中，重量僅49g，提升舒適度及便攜性。同時(shí)配備?顆1200萬像素專業(yè)級(jí)攝像頭，搭載了第?代驍??AR1平臺(tái)，配合2GBRAM+32GBR蘋果發(fā)布的VisionPro就是?個(gè)典型的空間計(jì)算設(shè)備。李??認(rèn)為，與其不同的是，空間智能將成為增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的操作系統(tǒng)。通過?成完整可交互的三維世界，真正解鎖機(jī)器在三維世界中的智能能?。同時(shí)，具備三維感知、推理和?動(dòng)能?的機(jī)器?能徹底改變我們與世界的交互?式。毫?疑問，空間智能的野?正在于將空間計(jì)算操控虛擬世界的本領(lǐng)和具?智能觸達(dá)現(xiàn)實(shí)世界的能?結(jié)合起來，這將涉及到?量的數(shù)據(jù)處理、模型訓(xùn)練以及如何在現(xiàn)實(shí)場景有效地部署這些技術(shù)。最終，從視頻?成到世界模型、從具?智能到空間智能，我們始終都在追尋?個(gè)問題——AGI，極致的AI，極致的通?，虛擬與真實(shí)世界的合?為?。23AI205（?）20+細(xì)分賽道/25（?）五?使?場景/32AIAI（?）APP端數(shù)據(jù)分析/35（?）Web端數(shù)據(jù)分析/39（三）量?位智庫AI100/421.綜合AI100/432.原?AI100/44AIAI+X???????AI????（?）辦公軟件類AI+X產(chǎn)品/46?AI?????Agent???????????（?）?AI?????Agent???????????（?）多模態(tài)/50（?）Agent化/51（三）?度個(gè)性化/52國國AI趨勢一大博思?板boardmixNotionAIMonicaAI訊?智?WPSAI360AI瀏覽器簡單AI靈辦AI?悟空萬知?畫桌魔搭社區(qū)騰訊AI開放Dify?包Kimi智能助?百?應(yīng)躍問創(chuàng)腦百度AI助?Sensechat360魔搭社區(qū)騰訊AI開放Dify開搭QAnything華為開搭QAnything華為CoLingo暢問AIAI?聚天書AI萬能?in??道Luca靈?助?曉象CoLingoAI新媒體?章光速寫作新華妙筆公?寫作5118SEO寫作copydone??果寫作??AI寫作夸克CueMe?字游俠媒幫派偽原創(chuàng)蛙蛙寫作訊?iMuse.aiMotiff妙多暗殼AI阿??班千圖設(shè)計(jì)室萬相營造千?設(shè)計(jì)助???包裝設(shè)計(jì)造物云AI奇LibLibAIFotorViduPixverse萬興喵影HiDream.aiBoolvideo模?視頻FusionX引擎度加創(chuàng)作?具閃剪AI??視頻快?可靈VegaAI智譜清影SkyReelsP??剪輯EtnaClipfly?幀妙創(chuàng)尋光藝映AI炫變換臉巨?祿騰訊智影AI應(yīng)用格局:第輪洗牌結(jié)束,聚焦20賽道5大場景基于對全國現(xiàn)有AI產(chǎn)品（包含Web端和APP端）的梳理總結(jié)，我們在國內(nèi)共統(tǒng)計(jì)到了千余款產(chǎn)品。為了更好地從數(shù)據(jù)維度觀察國內(nèi)產(chǎn)品的現(xiàn)狀，我們結(jié)合產(chǎn)品具體功能、使?體驗(yàn)、運(yùn)營狀況和??數(shù)據(jù)等因素，從中選取了四百余款具有代表意義的產(chǎn)品進(jìn)?進(jìn)?步統(tǒng)計(jì)研究。這400款產(chǎn)品全?覆蓋了20余個(gè)細(xì)分賽道和五?場景，全?滲透個(gè)??產(chǎn)?、休閑娛樂和?常?活等多維度。(一)20+細(xì)分賽道具體包含AI智能助?、AI陪伴、AI相機(jī)、AI寫作、綜合類套件、AI修圖、AI視頻、AI教育、AI?樂/?效、AI設(shè)計(jì)、AI?圖、AI搜索、AI圖?、AI總結(jié)和AI翻譯共計(jì)20個(gè)賽道。根據(jù)產(chǎn)品數(shù)量可以分為三?梯隊(duì)。第?梯隊(duì)第?梯隊(duì)第三梯隊(duì)AI搜索（19款）、AI相機(jī)（19款）、AI?樂/?效（17AIAgent（12款）、AI教育（10款）國由于Web端和APP端適?于不同場景，在兩種使?形態(tài)下的產(chǎn)品賽道數(shù)量分布有所差異。在APP端的166款產(chǎn)品中，產(chǎn)品數(shù)量最多的賽道依次為AI智能助?、AI陪伴、AI相機(jī)、AI寫作和綜合類套件。?在Web端的230款產(chǎn)品中，產(chǎn)品數(shù)量最多的賽道則依次為AI智能助?、AI寫作、AI視頻和綜合類套件。國AI搜索4%AI?圖4%AI設(shè)計(jì)4%AI?樂/?效6%AI教育6%AI視頻6%AI修圖8%共23款A(yù)I陪伴12%共19款A(yù)I相機(jī)10%共16款A(yù)I寫作9%共14款綜合類套件9%共13款注：量?位智庫出品并保有最終解釋權(quán)。產(chǎn)品統(tǒng)25國國AI?樂/?效4%…AIAgent5%12款A(yù)I開發(fā)平臺(tái)AI陪伴AI翻譯共25款綜合類套件8%共19款A(yù)I設(shè)計(jì)10%共22款A(yù)I?圖13%共29款A(yù)I搜索7%16款A(yù)I寫作11%共25款A(yù)I視頻10%共23款注：量?位智庫出品并保有最終解釋權(quán)。產(chǎn)品統(tǒng)以下是對各代表賽道的詳細(xì)分析：AI智能助?是?前表現(xiàn)最突出的AI原?類產(chǎn)品，也是國內(nèi)?模型?研?商技術(shù)實(shí)?最直觀的體現(xiàn)。?前各產(chǎn)品間的功能差異較?，普遍包含對話交互、AI搜索、AI寫作、數(shù)據(jù)分析等功能。?在收費(fèi)??，尚未形成明確的收費(fèi)模式和付費(fèi)意愿。僅有????明確進(jìn)?會(huì)員收費(fèi)，?Kimi智能助?則是打賞式收費(fèi)，智譜清?和天?AI分別針對視頻及?樂?成功能進(jìn)?收費(fèi)。從APP端來看，2024年5?成為關(guān)鍵分?嶺，各家?模型?商的AI智能助?登場完畢，產(chǎn)品間開始明顯分化，形成了 “1+1+6”的格局。第?名?包在規(guī)模、增?、活躍、留存等各項(xiàng)數(shù)據(jù)上均斷層式領(lǐng)先，?今仍保持著全?加速增?，也在9?成為國內(nèi)?個(gè)總下載過億的原?AI產(chǎn)品。24年10?，?包累計(jì)下載量超1.4億，當(dāng)?新增下載量超2000萬。Kimi智能助?雖然位居次席，但市場領(lǐng)導(dǎo)地位同樣明顯。第三梯隊(duì)的6則指：???、智譜清?、訊?星?、天?AI、阿?通義、騰訊元寶和海螺AI。?在Web端，頭部產(chǎn)品為Kimi智能助?和????，?訪問量均超過2000萬。?包和阿?通義?訪問量則超過1000萬。從2024年5-10?的??規(guī)模數(shù)據(jù)來看，AI智能助?在Web端已經(jīng)出現(xiàn)了明顯的梯隊(duì)劃分：快速增?平穩(wěn)增?基本持平Kimi智能助??包海螺AI躍問26圖：Kimi智能助?（左）和?包（右）的Web端界?總體來看，我國的AI智能助?與海外仍有相當(dāng)距離，對標(biāo)產(chǎn)品ChatGPT在Web端的?訪問量超36億，Gemini?訪問量超2億，Claude數(shù)據(jù)超8000萬，差距超過5倍。國內(nèi)頭部產(chǎn)品為秘塔AI搜索和知乎直答，?總訪問量分別超過600萬和300萬，均推出了簡潔、深?、研究、專業(yè)等多種搜索模式，并?持??通過上傳?件構(gòu)造個(gè)性化搜索引擎。此外，天?AI等AI智能助?也普遍提供AI搜索功能。國外典型對標(biāo)產(chǎn)品Yandex?訪問量過億，Perplexity訪問量超9000萬。27從具體產(chǎn)品定位上可以分為AI加強(qiáng)搜索、原?類AI搜索和業(yè)務(wù)類AI搜索。AI加強(qiáng)搜索原?AI搜索業(yè)務(wù)AI搜索以AI搜索為產(chǎn)品核?的AI原?產(chǎn)品。代表包括：秘塔AI搜索、ThinkAny、GenSparMetaLaw、Devv.ai和C知道等針對特定領(lǐng)域的垂直AI搜索在內(nèi)容平臺(tái)類原有業(yè)務(wù)上，疊加AI搜索功能的產(chǎn)品。代表包括：知乎直答、bilibliAI搜索助?、?紅書的達(dá)芬奇/搜搜薯等。這種結(jié)合不僅增強(qiáng)了平臺(tái)作為搜索引擎的功能性，也提升了??在特定內(nèi)容平臺(tái)的使?體驗(yàn)從功能來看，量?位智庫按照使?者和AI智能體的交互強(qiáng)度，將AI陪伴產(chǎn)品分為輕交互、中交互和強(qiáng)交互產(chǎn)品。所有產(chǎn)品基本均有??扮演的成分。輕交互產(chǎn)品中交互產(chǎn)品強(qiáng)交互產(chǎn)品對較少，AI智能體的回應(yīng)不會(huì)出現(xiàn)過多“驚喜”AI陪伴也是眾多公司布局AI原?應(yīng)?的重要選擇。包含?冰科技、?線球科技、Minimax、階躍星?、有零科技在內(nèi)的20家AIGC公司共推出了21款產(chǎn)品。由于AI陪伴產(chǎn)品在功能上和??扮演游戲、?劇、??、社交，乃??理咨詢等業(yè)務(wù)深度重合，許多垂直賽道玩家，例如順?科技、曉悟智能、閱?集團(tuán)、Soul、?紀(jì)源等也紛紛進(jìn)?這?領(lǐng)域。28國內(nèi)產(chǎn)品在新增速度和??活躍等數(shù)據(jù)上普遍下滑。?全球范圍內(nèi)，CharacterAI、JanitorAI、Crushon、Talkie的熱度持續(xù)已超過?年。其中，CharacterAI??端MAU可上億，APP端MAU則超過兩千萬，國內(nèi)MAU最?的星野在APP端數(shù)據(jù)僅約為其?分之?，這?數(shù)據(jù)表現(xiàn)在國外勉強(qiáng)進(jìn)?前?。經(jīng)過和海外產(chǎn)品的深?對?，量?位智庫認(rèn)為關(guān)鍵在于國內(nèi)產(chǎn)品缺乏對深度情感鏈接的探索。CharacterAI、Replika等海外產(chǎn)品更注重個(gè)性化和深度情感交流，追求具有獨(dú)??格和復(fù)雜情感反應(yīng)的AI形象。?國內(nèi)市場則更傾向于短期的趣味性互動(dòng)或娛樂化的陪伴功能，產(chǎn)品滿?的需求過于淺層，同類產(chǎn)品間可替代性強(qiáng)，難以讓??深?探索。在功能上，AI寫作?多提供“?鍵式成?+深度AI編輯”的綜合?式。在?鍵成?時(shí)，使?者提供主題或關(guān)鍵信息后，AI可以根據(jù)模板直接產(chǎn)出整段?字。?深度AI編輯功能則更類似Copilot，能夠在成?過程中提供?本潤?、續(xù)寫擴(kuò)寫、校閱勘誤、?格轉(zhuǎn)化、靈感激發(fā)、降重偽原創(chuàng)等輔助功能。?前，AI寫作已經(jīng)成為?產(chǎn)?類?具的標(biāo)配AI功能。百度?庫、WPSAI、博思Boardmix等綜合類?具均將AI寫作結(jié)合????作流。此外，AI助?類?具也均能滿?輕量級(jí)的常?寫作場景，例如撰寫周報(bào)、起草發(fā)?稿等。許多垂直賽道的產(chǎn)品，例如游戲+AI、營銷+AI，甚?特定賽道的綜合性?商，也會(huì)基于業(yè)務(wù)特?和數(shù)據(jù)中臺(tái)，提供相關(guān)的AI寫作服務(wù)。AI+圖像可以具體分為AI?圖、AI設(shè)計(jì)、AI相機(jī)、AI修圖四個(gè)細(xì)分領(lǐng)域，?前在B、C兩端普遍得到明確的需求驗(yàn)證。在Web端，AI視覺設(shè)計(jì)成為最受歡迎的細(xì)分賽道，AI繪畫和AI修圖緊隨其后。?在APP端，AI相機(jī)的數(shù)據(jù)?壓AI陪伴，成為2CAIGC產(chǎn)品中的?熱?類。AI視覺設(shè)計(jì)類產(chǎn)品分為兩類，?類為平?設(shè)計(jì)相關(guān)，具體包含海報(bào)、設(shè)計(jì)概念圖等，代表產(chǎn)品包括稿定AI、美圖設(shè)計(jì)室和圖怪獸。另?類則是進(jìn)?步功能細(xì)分的產(chǎn)品，包括主打圖?排版設(shè)計(jì)的135AI排版助?和主打UI設(shè)計(jì)的即時(shí)AI。Logo設(shè)計(jì)表現(xiàn)突出，?選產(chǎn)品包括標(biāo)?智logo、標(biāo)智客AILogo和U鈣?。29AI?圖產(chǎn)品?多結(jié)合了AI摳圖、清晰度提升等AI修圖功能，?站式提供可?素材，?前2D?平?圖/多視?圖和3D?成模型領(lǐng)域均有代表產(chǎn)品出現(xiàn)。代表產(chǎn)品包括LiblibAI、Meshy、即夢AI、?限畫、???格、神采PromeAI、WHEE和奇域AI等。AI修圖在Web端可分為素材處理和批量修圖兩類。利?AI進(jìn)?摳圖、提?分辨率，進(jìn)?快速預(yù)處理素材已經(jīng)成為業(yè)內(nèi)技巧，代表產(chǎn)品有佐糖、Fotor和AI改圖。?批量修圖在會(huì)議跟拍和?像攝影中基本成為?業(yè)標(biāo)配。代表產(chǎn)品有像素蛋糕、百度?盤AI修圖、美圖云秀。?在APP端，畫質(zhì)提升和智能摳圖成為主流功能。美圖秀秀、醒圖、Wink等頭部修圖產(chǎn)品均已?規(guī)模深度植?AI修圖功能。AI相機(jī)在Web端和APP端呈現(xiàn)出了明顯差異。Web端主要為電商2B的AI商拍，具體包括虛擬模特和虛擬商品圖。使?者可以將?底商品圖或?臺(tái)圖進(jìn)?上傳，產(chǎn)品會(huì)根據(jù)所需的模特姿勢、背景氛圍等?成可直接使?的商品詳情圖。代表產(chǎn)品包括美間AI創(chuàng)意商拍、Weshop唯象妙境、繪蛙等。APP端以「妙鴨相機(jī)」類2C娛樂向的?像攝影產(chǎn)品為代