AI時代的3D內(nèi)容生產(chǎn)工具

3DAINPC等功能；MeshyAI3D圖形速度快；Unity6預計帶來高性WebGPU圖形后端。風險因素：宏觀經(jīng)濟波動風險、MR設(shè)備市場銷量不及預期風險目錄一、短期AI+3D產(chǎn)業(yè)催化匯總 4二、DUSt3R 4三、谷歌：DreamFusion 5四、英偉達：GET3D和Magic3D 6五、OpenAI：Shap-E 7六、阿里巴巴：ObjectDrawer 8七、商湯科技：格物、瓊宇 9八、普利斯頓大學：InfinigenAI 10九、Adobe：DMV3D 十、EpicGames：MetaHuman 8十一、Unity：Muse、SentisMeshy（插件）和Unity6 13十二、風險因素 16圖目錄圖1：英偉達GTC發(fā)布會上Omniverse適配VisionPro展示 4圖2：Sora的效果展示 4圖3：TripoSR的效果展示 5圖4：DUSt3R的效果展示 5圖5：DUSt3R的算法結(jié)構(gòu) 6圖6：DreamFusion的效果展示 7圖7：DreamFusion算法架構(gòu) 7圖8：GET3D的效果展示 8圖9：GET3D的算法結(jié)構(gòu) 8圖10：Magic3D的效果展示 9圖11：Magic3D的算法結(jié)構(gòu) 9圖12：Shap-E的效果展示 10圖13：ObjectDrawer的效果展示 圖14：NeRF技術(shù)原理示意 圖15：瓊宇的效果展示 12圖16：瓊宇的技術(shù)儲備 12圖17：InfinigenAI的效果展示 13圖18：InfinigenAI的技術(shù)特點 14圖19：DMV3D的效果展示 14圖20：DMV3D的算法結(jié)構(gòu) 15圖21：MetaHuman的效果展示 16圖22：UnityMuse的效果展和特點 17圖23：UnitySentis的效果展示和特點 18圖24：Meshy的效果展示 18圖25：Unity6官方預熱 19一、短期AI+3D產(chǎn)業(yè)催化匯總CEONVIDIA3DOmniverseCloudVisionPro。在英偉達的GTCAICEONVIDIA3DOmniverseCloudVisionPro3DAppleVisionOmniverseCloudsAPIGraphicsDeliveryNetwork（GDN）圖1：英偉達GTC發(fā)布會上Omniverse適配VisionPro展示資料來源：英偉達官網(wǎng)，3DSoraOpenAI2SoraSora3DSoraTransformer3D圖2：Sora的效果展示資料來源：OpenAI官網(wǎng)，SiiyAIAI生成DRSiiyAI與ioAIiR，3DGPUMITStabilityAI和AI3D3D圖3：TripoSR的效果展示資料來源：StabilityAI官網(wǎng)，二、DUSt3RDUSt3R（DenseandUnconstrainedStereo3DReconstruction）Naver3D圖4：DUSt3R的效果展示資料來源：naverlabs官網(wǎng)，ShuzheWang等《DUSt3R:Geometric3DVisionMadeEasy》，DUSt3RAI3DDUSt3R2D3D3D3DDSR還采用了tPT和a同款的sorer網(wǎng)絡(luò)架構(gòu)。基于標準的TransformerDUSt3R3DDUSt3R圖5：DUSt3R的算法結(jié)構(gòu)資料來源：naverlabs官網(wǎng)，ShuzheWang等《DUSt3R:Geometric3DVisionMadeEasy》，DUSt3RDUSt3R3D3DDUSt3RAI3D三、谷歌：DreamFusion2021DreamFusionUCBerkeleyAIImagen（NeRF）3D圖6：DreamFusion的效果展示資料來源：DreamFusion官網(wǎng)，DreamFusionSDSNeRF3DDreamFusion方法和NeRFSDSDreamFusion（DreamFusion3D圖7：DreamFusion算法架構(gòu)資料來源：DreamFusion官網(wǎng)，DreamFusion生成的3D模型幾何表現(xiàn)優(yōu)異，但在分辨率和紋理表現(xiàn)上尚具有進步空間。DreamFusion生成的度觀看，并且能夠在不同照明條件下重新點亮，甚至可以被合成到其他三維環(huán)境中。這一系列特點標志著DreamFusionDreamFusion3D3DMip-NeRF360的場景渲染模型的可擴展性不佳。四、英偉達：GET3D和Magic3D20229GET3D3D3D2DGET3D3D3D圖8：GET3D的效果展示資料來源：英偉達官網(wǎng)，GET3D3D從SDF3DGET3D2DRGB2DRGBGET3DGPUGET3D3D3D3D圖9：GET3D的算法結(jié)構(gòu)202323DMagic3DMagic3D403D網(wǎng)3D為游3D圖10：Magic3D的效果展示資料來源：英偉達官網(wǎng)，Magic3D3D3DMagic3D2D圖像，并優(yōu)化為NeRF圖11：Magic3D的算法結(jié)構(gòu)Magic3D對比谷歌的DreamFusion，Magic3D速度提升了兩倍。除了速度優(yōu)勢外，Magic3D還能根據(jù)提示詞編輯已創(chuàng)建的3D模型，用戶可以通過修改基礎(chǔ)提示詞和低分辨率的3D模型來改變生成的模型。五、OpenAI：Shap-E202356OpenAI3DShap-EGithub3D（texturedmeshes）（NeRF）3D3DShap-EShap-E功能圖12：Shap-E的效果展示資料來源：HeewooJun,AlexNicho《Shap-E:GeneratingConditional3DImplicitFunctions》，Shap-E3D3D（Shap-E3DShap-E3D3DShap-E3D模型，支持在CPUGPU上運行，并且易于通過JupyterNotebook3D3DShap-E3DShap-E六、阿里巴巴：ObjectDrawer2021ObjectDrawerAPPObjectDrawer3D3D（NeRF10000倍（20MB3D圖13：ObjectDrawer的效果展示資料來源：阿里云，ObjectDrawerNeRFNeRFObjectDrawerObjectDrawer3D3D粗模亦可導入CAD圖14：NeRF技術(shù)原理示意資料來源：阿里云，ObjectDrawer3DObjectDrawer七、商湯科技：格物、瓊宇20237720233DSenseSpace（NeRF），3D圖15：瓊宇的效果展示資料來源：商湯科技，3D3D3D3D圖16：瓊宇的技術(shù)儲備資料來源：商湯科技，3D3DSenseNovaAI3DAI八、普利斯頓大學：InfinigenAIInfinigenAICVPRBlenderInfinigenAI圖17：InfinigenAI的效果展示資料來源：Infinigen官網(wǎng)，AIInfinigenInfinigenInfinigenInfinigen3D/Infinigen3DInfinigenAI3DInfinigenAIInfinigen圖18：InfinigenAI的技術(shù)特點資料來源：Infinigen官網(wǎng)，九、Adobe：DMV3DAdobe研究院與澳大利亞國立大學和斯坦福大學的研究人員合作，共同開發(fā)了DMV3D（DiffusionModelfortransformer3DA100GPU30圖像。這DMV3D3DVRAR圖19：DMV3D的效果展示資料來源：DMV3D、YinghaoXu等《DMV3D:DenoisingMulti-ViewDiffusionusing3DLargeReconstructionModel》，DMV3D的技術(shù)核心在于它是一個單階段的擴散模型，將3DNeRF重建和渲染集成到其降噪器中，以端到端的方式進行訓練，無需直接3D監(jiān)督。這種方法避免了單獨訓練用于潛在空間擴散的3DNeRF編碼器和繁瑣的對DMV3D3D圖3DNeRF3D圖20：DMV3D的算法結(jié)構(gòu)資料來源：DMV3D、YinghaoXu等《DMV3D:DenoisingMulti-ViewDiffusionusing3DLargeReconstructionModel》，盡管Adobe-DMV3D在高效率生成高保真3D圖像方面表現(xiàn)出色，為3D視覺和圖形領(lǐng)域帶來了新的視角和可能性，它也面臨一些挑戰(zhàn)，特別是在數(shù)據(jù)集規(guī)模小、維數(shù)高、非結(jié)構(gòu)化等條件下。截至目前，DMV3D的實際應用潛力和性能優(yōu)化仍然是研究和開發(fā)的關(guān)鍵方向。十、EpicGames：MetaHumanEpicGamesMetaHumanAI3D3D3DMetaHumanCreator3D3DUnrealEngine圖21：MetaHuman的效果展示資料來源：MetaHuman官網(wǎng)，MetaHumanCreator是一個基于云的MetaHumanIdentityMetaHumanDNA5LOD（LevelofDetail）MetaHumanCreator3D3DGames十一、Unity：Muse、Sentis、Meshy（插件）和Unity6Unity3DAI3D了積極的探索和創(chuàng)新。它推出了多款與AI3D。這些工具包括UnityMuse、UnitySentis、Meshy以及即將到來的Unity6版本，展現(xiàn)了UnityAI技3DUnityMuseUnityAI（NLP）生成3D2D和3DMuse3D圖22：UnityMuse的效果展示和特點資料來源：Unity官網(wǎng)，UnitySentis是UnityONNXAI模型接入UnityRuntime，從而AINPCSentis為游戲AI圖23：UnitySentis的效果展示和特點資料來源：Unity官網(wǎng)，Meshy是可以在Unity中使用的AI插件，它提供了多種AI功能，如AITexturing（Beta）、Textto3D（Beta）和Imageto3D（Alpha）2D3DMeshyPBRUnityUnity些AIMeshy3D圖24：Meshy的效果展示資料來源：Meshy官網(wǎng)，Unit