智能科技 跨界相變-2024 數(shù)字科技前沿應(yīng)用趨勢

—2024數(shù)字科技前沿應(yīng)用趨勢@封面圖片由騰訊混元AI生成過去一年，我們見證了數(shù)字科技的加速度。每個(gè)人都身處變革巨浪之中，既對大模型的突破進(jìn)展無比興奮，也對未來充新年伊始，眺望未來2-3年的科技趨勢。我們正駛向一個(gè)由連接衍生交互、由計(jì)算催生智能的時(shí)代。高性能計(jì)算、量子計(jì)算、云計(jì)算和邊緣計(jì)算這"四大計(jì)算“融匯貫通，正催生全新的計(jì)算范式。通用人工智能漸行漸近，大型模型走向多模態(tài)，AI智能體可能成為下一代平臺(tái)，"AI科學(xué)家"有望加速問世。全球已達(dá)共識(shí)，AI治理將引領(lǐng)我們踏上更智慧、更安全的未來。機(jī)器人演進(jìn)加速，靈巧手讓人形機(jī)器人更敏捷、更像人。AI與生命科學(xué)的交融，將幫助我們洞察更多的生命奧秘。我們會(huì)進(jìn)入一個(gè)3D、全真在場的新世界。腦機(jī)接口不僅在醫(yī)療實(shí)現(xiàn)突破，正拓展至更多的互動(dòng)場景?；蛟S不久的將來，我們將親自見證意識(shí)上載從科幻成為現(xiàn)實(shí)。手機(jī)衛(wèi)星電話、垂直起降飛機(jī)將改變我們的應(yīng)急方式和出行模式。交通網(wǎng)、信息網(wǎng)、能源網(wǎng)的融合，將推動(dòng)智能、綠色未來已來，一個(gè)充滿韌性和重塑的全新時(shí)代即將揭開序幕。讓我們擁抱變革，共同譜寫人類與科技和諧共生的新篇章！在這個(gè)日新月異的變革時(shí)代，我們有幸見證并參與了數(shù)字科技的創(chuàng)新突破。特別是近年來，以大模型為代表的AI技術(shù)，讓我們看到了通用人工智能的曙光，有望大幅加速技術(shù)演進(jìn)的步伐。騰訊的2024數(shù)字科技趨勢，從連接、交互、計(jì)算和智能四個(gè)維度，對100多項(xiàng)未來技術(shù)和重點(diǎn)方向給出了趨勢性判斷。從星地直連的衛(wèi)星互聯(lián)網(wǎng)，到垂直起降飛機(jī)的未來交通網(wǎng)，再到能源、信息和交通的多網(wǎng)協(xié)同，未來網(wǎng)絡(luò)連接的廣度和深度都迎來無限可能。交互方式正在發(fā)生變革，數(shù)字交互引擎不僅讓虛擬世界更真實(shí)，也讓真實(shí)世界更豐富，未來的全新3D視界呼之欲出，腦機(jī)接口的新進(jìn)展也帶來了更大的想象空間。計(jì)算無疑是各類智能的底層基礎(chǔ)支撐，也成為當(dāng)前競爭的焦點(diǎn)領(lǐng)域。而智能的升級，不僅會(huì)給機(jī)器人注入具身智能，還給微觀世界的基因計(jì)算帶預(yù)測未來的最好方式，就是創(chuàng)造未來。相信在行業(yè)各界的共同努力下，這些前瞻洞見會(huì)更快到來，從趨勢變成丁漢中國科學(xué)院院士去年以來，以生成式AI為代表的人工智能技術(shù)發(fā)展激蕩人心，正在引發(fā)智能的元革命。可以遇見的未來，智力將會(huì)成為一種基礎(chǔ)設(shè)施服務(wù)，新的IaaS呼之欲出。類比摩爾定律，未來可能會(huì)出現(xiàn)新的智能定律，對信息世界、物理世界和生命世界帶來全方位的影響。未來十年，AI會(huì)無所不在。首先，現(xiàn)有的各類應(yīng)用可以用AI重新做一遍，新的交互變革、體驗(yàn)創(chuàng)新將會(huì)帶來更新的智能硬件、更多的智能服務(wù)，孕育出比歷次工業(yè)革命都巨大的產(chǎn)業(yè)機(jī)會(huì)。其次，AI會(huì)成為各領(lǐng)域的底層操作系統(tǒng)，AI+機(jī)器人的具身智能，AI+生命科學(xué)的基因計(jì)算，AI+未來出行的自動(dòng)駕駛汽車和垂直起降飛機(jī)，甚至AI+腦機(jī)接口的硅基和碳基結(jié)合的新生命體，都會(huì)一步步成為現(xiàn)實(shí)。最后，AI能力的提升也伴隨著風(fēng)險(xiǎn)的擴(kuò)大，我們要充分發(fā)揮技術(shù)發(fā)明的智慧和把握應(yīng)用方向的智慧，讓AI科技更善良、更有創(chuàng)意，朝著強(qiáng)化人、成就人的方向可持續(xù)發(fā)展。張亞勤中國工程院院士、清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）院長高性能計(jì)算的“四算聚變”多模態(tài)智能體加速AGI進(jìn)程AI加速人形機(jī)器人“手、腦”進(jìn)化AI+基因計(jì)算解讀生命密碼數(shù)字交互引擎激發(fā)超級數(shù)字場景腦機(jī)接口從醫(yī)療突破邁向交互革命沉浸式媒體催生3D在場星地直連通信推動(dòng)泛在網(wǎng)絡(luò)覆蓋eVTOL加速空中出行奔赴新時(shí)代多能流實(shí)時(shí)協(xié)同重塑虛擬電廠高性能計(jì)算的"四算聚變"今年，全球各地高性能計(jì)算集群迎來向2.0架構(gòu)（CPU+GPU）的升級潮，高性能計(jì)算集群、量子計(jì)算、云計(jì)算和邊緣計(jì)算的“四算融合”也成未來幾年，高性能算力應(yīng)用將爆發(fā)，以人工智能和科學(xué)計(jì)算模擬為代表的應(yīng)用算法、軟件、以原生和邊緣高性能，形成并行與分布式一體的計(jì)算架構(gòu)。處理器、存儲(chǔ)和網(wǎng)絡(luò)等關(guān)鍵硬件技術(shù)，正在不斷進(jìn)化、重02破墻而出是革新，處理器、存儲(chǔ)和網(wǎng)絡(luò)等關(guān)鍵硬件技術(shù)，正在不斷進(jìn)化、重趨勢要點(diǎn) 趨勢要點(diǎn)可持續(xù)計(jì)算可持續(xù)計(jì)算2023大事記2023大事記22月，GoogleQuantumAI團(tuán)隊(duì)在《自然》雜志上發(fā)表明將多個(gè)量子比特分組合成為一個(gè)邏輯量子比特的糾錯(cuò)方法可以提供更低的容錯(cuò)率，進(jìn)而證明量子糾錯(cuò)達(dá)到“盈虧平衡點(diǎn)”，量子計(jì)算機(jī)將“越糾越對”。這是量子計(jì)算發(fā)展的重要里糾錯(cuò)量子技術(shù)實(shí)現(xiàn)“盈虧平衡點(diǎn)”行了對比。報(bào)告顯示，盤古氣象模型在一系列精度指標(biāo)上展現(xiàn)出優(yōu)勢，在處理氣象學(xué)家關(guān)心的極端天氣預(yù)報(bào)方面表現(xiàn)出色。盤古氣象模型投入能服務(wù)器集群交付包括歐洲自研CPURhea、英偉達(dá)GH200、技術(shù)熱點(diǎn)高性能計(jì)算傳CAGR將維持在8%，而高算云服務(wù)的18%。合并市場總量預(yù)計(jì)將到592億美元。技術(shù)熱點(diǎn)高性能計(jì)算傳CAGR將維持在8%，而高算云服務(wù)的18%。合并市場總量預(yù)計(jì)將到592億美元。2-3年以上0-1年以上0影響力中等影響力大影響力極大Market-Update-Introduction_Hyperion-Research-SC2關(guān)鍵學(xué)科市市場趨勢未來5年，容錯(cuò)量子計(jì)算機(jī)熱議熱議問題馮諾依曼架構(gòu)下，限制高性能算力擴(kuò)展的“內(nèi)/riselab/ai-and-m并通過LUMI超級計(jì)算機(jī)進(jìn)行訪問并通過LUMI超級計(jì)算機(jī)進(jìn)行訪問造了中國首個(gè)“量超融合”先進(jìn)計(jì)算平臺(tái)?傳統(tǒng)高性能計(jì)算與量子計(jì)算的融合，成為未來高性能算力躍升的高潛路徑，世界各大研究機(jī)構(gòu)紛紛開展試驗(yàn)；?量子計(jì)算系統(tǒng)的擴(kuò)展引入了集群的思路，量子云平臺(tái)將成為量子計(jì)算軟件開發(fā)和應(yīng)用探索的重要基礎(chǔ)設(shè)?高性能、低功耗的芯片技術(shù)正在培育高性能邊緣計(jì)算的基礎(chǔ)，云邊協(xié)同的分布式架構(gòu)將成為高性能計(jì)算未來的典型架構(gòu)之一。高性能算力的充分利用，云計(jì)算技術(shù)的引入是必要選擇?，F(xiàn)有高算集群云原生化腳另一方面云計(jì)算平臺(tái)對于并行+分布式的高性能計(jì)算方案實(shí)踐，也展現(xiàn)了進(jìn)一步釋放現(xiàn)有算力價(jià)值的可能。比如谷歌云提出量超融合成為行業(yè)共識(shí)：通過將計(jì)算任務(wù)在量子計(jì)算機(jī)和高性能集群之間進(jìn)行分解和調(diào)優(yōu)勢。預(yù)計(jì)連接兩者的量子測控系統(tǒng)將成為量子計(jì)算集群出現(xiàn)：IBM公布可擴(kuò)展量量超融合成為行業(yè)共識(shí)：通過將計(jì)算任務(wù)在量子計(jì)算機(jī)和高性能集群之間進(jìn)行分解和調(diào)優(yōu)勢。預(yù)計(jì)連接兩者的量子測控系統(tǒng)將成為量子云服務(wù)普及：這有助于上層軟件和應(yīng)用的高效研發(fā)。全球已有超過20家機(jī)構(gòu)推出該服務(wù)，機(jī)構(gòu)從整機(jī)公司（如IBM發(fā)展到云服務(wù)商（如AWS再到科研院所（如北京量子院）。高性能邊緣計(jì)算（HPEC）成長中：目前HPEC單點(diǎn)算力可達(dá)千萬億次每秒，自動(dòng)駕駛和機(jī)器人是典型應(yīng)用場景。除傳統(tǒng)計(jì)算平臺(tái)外，神經(jīng)形態(tài)芯片、光電計(jì)算芯片等新技可以運(yùn)行文生圖大任務(wù)中，比同用途常規(guī)芯片快三千余倍，能效提升云邊協(xié)同：為獲得實(shí)時(shí)計(jì)算決策以及更高的信息安全環(huán)境，將部分?jǐn)?shù)據(jù)處理、模型訓(xùn)練以及推理等工作，從數(shù)據(jù)中心/云平臺(tái)遷移趨勢要點(diǎn)2:高性能芯片多元發(fā)展QPU發(fā)展由數(shù)量轉(zhuǎn)向質(zhì)量?量子比特制備的各條技術(shù)路線均有進(jìn)展，競爭更加激烈；而芯片互聯(lián)、邏輯量子比特制備等突破，顯示量子計(jì)算芯片發(fā)展開始追求質(zhì)量和實(shí)用。微軟的ARM架構(gòu)位于葡萄牙的高性能ARM架構(gòu)高性能芯片A64FX。算能科技日前向山東大學(xué)交付國內(nèi)首臺(tái)RISC-V服務(wù)器集群，存算一體，突破“內(nèi)存墻”存算一體，突破“內(nèi)存墻”英偉達(dá)、Intel、AMD等紛紛采用HBM和LPDDR等內(nèi)存技術(shù)實(shí)現(xiàn)近存計(jì)算，內(nèi)存帶寬是“后馮諾依曼時(shí)代”突破“內(nèi)存墻”的重要計(jì)算技術(shù)路徑。受人類大腦原理的啟發(fā)，神經(jīng)形態(tài)計(jì)算芯片通過存內(nèi)計(jì)算（Compute超低功耗。目前該類芯片尚處研發(fā)早期，Intel，IBM，中科院和清華等發(fā)布階段成果。量子比特制備路徑之爭將更激烈多條技術(shù)路徑并進(jìn)：超導(dǎo)、離子阱、光量子、九章三號首次突破255個(gè)可控GHZ狀態(tài)的新一代H2離子阱量九章三號首次突破255個(gè)可控Falls、含有12個(gè)硅自旋片，提出“主動(dòng)+被動(dòng)”糾錯(cuò)方案，Computing將在24年推出全球首臺(tái)超過1000量子比特的中性原子量子計(jì)算機(jī)。芯片互聯(lián)出現(xiàn)：IBM發(fā)布133比特具備互聯(lián)結(jié)構(gòu)的Heron處理器。這是國際首次完成芯片互聯(lián)的結(jié)構(gòu)，模塊化量子計(jì)算機(jī)時(shí)代即將到來。邏輯量子比特制備突破：哈佛大學(xué)、QuEra、MIT和NIST/馬里蘭大學(xué)聯(lián)合實(shí)現(xiàn)在48個(gè)邏輯量子位上執(zhí)行復(fù)雜糾錯(cuò)量子算法。產(chǎn)力將迅速提高，科學(xué)研究將迎來快速進(jìn)步的新形勢。云平臺(tái)容器服務(wù)將加快對高性能計(jì)算服務(wù)的支持，并進(jìn)一步兼容CUDA等并行計(jì)算平臺(tái)，為用戶提供高度自動(dòng)化的EC2UltraCLuster英偉達(dá)云ACK化使各地高性能算力更易訪問；此外，許多傳統(tǒng)模擬數(shù)值算法經(jīng)量子電路模擬核聚變模擬血流和癌細(xì)胞模擬飛機(jī)材料腐蝕模擬氣象模擬與預(yù)測大渦模擬地理空間模擬暗物質(zhì)模擬氣象模擬與預(yù)測大渦模擬更多高算集群嘗試更多高算集群嘗試LLM訓(xùn)練?美國阿貢國家實(shí)驗(yàn)室開始基于AuroraAurora高算集群于今年完成安裝，理論峰值算力達(dá)2E。趨勢要點(diǎn)4:業(yè)界將加大可持續(xù)高性能計(jì)算的踐行力度?環(huán)境可持續(xù)的同時(shí)，計(jì)算能效將成為評估高性能計(jì)算技術(shù)先進(jìn)性的重要指標(biāo)，存算架構(gòu)、冷卻技術(shù)、計(jì)算軟硬件和供需匹配3條路徑將并行展開探索；據(jù)統(tǒng)計(jì)，數(shù)據(jù)中心的耗電量約占全球耗電然當(dāng)前尚無準(zhǔn)確的數(shù)據(jù)中心能耗預(yù)測，但急劇增加的人工智能大模型訓(xùn)練等高耗能可持續(xù)計(jì)算，通常指在設(shè)計(jì)、建造和使用計(jì)算機(jī)技術(shù)（包括硬件、系統(tǒng)、軟件）的過程中，力求實(shí)現(xiàn)最大的能源效率和對環(huán)世界經(jīng)濟(jì)論壇發(fā)布《2023十大新興技術(shù)》報(bào)告，“可持續(xù)計(jì)算”位列其中。Intel、IBM、英偉達(dá)等先進(jìn)計(jì)算企業(yè)也在不構(gòu)與企業(yè)，均采用“浮點(diǎn)運(yùn)算次數(shù)/每瓦特（Flops/Watt）”作為能源的是位于美國的Henri高算集群，追求“量子效用”追求“量子效用”典計(jì)算方法的規(guī)模執(zhí)行可靠的計(jì)算，從而為計(jì)算問題提供精確的解決方案時(shí)，即能獲得量子效用”。同時(shí)建議基于100多個(gè)量子位傳統(tǒng)風(fēng)冷所需能耗可占數(shù)據(jù)中心總能耗耗相比風(fēng)冷低30%以上。同時(shí)，利用環(huán)英特爾將24臺(tái)裝有至強(qiáng)處理器的服務(wù)器，置于一個(gè)充滿合成且非導(dǎo)電油的槽中冷卻。超低功耗計(jì)算單元：神經(jīng)形態(tài)計(jì)算具有超低清華大學(xué)研發(fā)出全球首枚憶阻清華大學(xué)研發(fā)出全球首枚憶阻器存算一體芯片，能耗僅為同器存算一體芯片，能耗僅為同AI+科學(xué)模擬：深勢科技團(tuán)隊(duì)將機(jī)器學(xué)習(xí)技術(shù)與科學(xué)模擬相結(jié)合，復(fù)現(xiàn)了今年戈登貝爾獎(jiǎng)獲獎(jiǎng)實(shí)驗(yàn)，而相比獲獎(jiǎng)方案，復(fù)現(xiàn)實(shí)驗(yàn)所需資源多模態(tài)智能體加速進(jìn)程生成式AI推動(dòng)技術(shù)邁入了通用AI的門檻，從理解到生成，從感知到?jīng)Q策，人工智能的能力進(jìn)一步提升。加上多模態(tài)、從文本到圖像、音視頻等更多維度，多模態(tài)將推動(dòng)AI應(yīng)用的廣度；從文本到圖像、音視頻等更多維度，多模態(tài)將推動(dòng)AI應(yīng)用的廣度；Agent為AI帶來“手和腳”，大幅拓展應(yīng)用深度。端側(cè)大模型成為各多模態(tài)、Agent和端側(cè)趨勢要點(diǎn)趨勢要點(diǎn)弱人工智能強(qiáng)人工智能通用人工智能強(qiáng)人工智能GPT4邁進(jìn)了GPT4邁進(jìn)了AGI的門檻具有可泛化的任務(wù)執(zhí)行能力?？赏ㄟ^圖靈測試，讓人類誤以為是人類，或通過大學(xué)考試。明顯比人更有智慧，或解決問題能力明顯超越人類，幫助解決危害人類的問題。關(guān)鍵關(guān)鍵學(xué)科MathMathGartner：生成式AI是當(dāng)前炒作頂點(diǎn).影響力中等.影響力極大2023大事記因果因果AI.行業(yè)大模型.代碼生成關(guān)鍵技術(shù)點(diǎn)可解釋AI向量數(shù)據(jù)庫.Agent蛋白質(zhì)生成負(fù)責(zé)任的AI端側(cè)大模型.多模態(tài).MaaS合成數(shù)據(jù)文生視頻文生圖分子模擬文本生成AGI3月3月，在ChatGPT發(fā)布4個(gè)月后，GPT4正式發(fā)布，帶來新的多模態(tài)識(shí)圖能力演示，回答的準(zhǔn)確性相比GPT3.5大幅提升了40%。。其人類考試的成績較GPT3.5大幅提升，達(dá)到Top10%水平。11月6日，OpenAI開發(fā)者日發(fā)布GPT-4Turbo，允許用戶上傳資料，生成自定義的智能助理。同時(shí)開放應(yīng)用商店，打造類似APPStore的應(yīng)用生態(tài)。8月31日起，12家大模型陸續(xù)通過《生成式人工智能服務(wù)管理暫行辦法》備案。北京5家8月31日起，12家大模型陸續(xù)通過《生成式人工智能服務(wù)管理暫行辦法》備案。北京5家，百度“文心一言”、百川智能“百川”大模型、抖音“云雀”、中科院“紫東太初”、智譜“智譜清言”；上海3家，商湯“商量SenseChat”、MiniMax“ABAB大模型”、上海人工智能實(shí)驗(yàn)室“書生通用大模型”；安徽1家，訊飛“星火”；浙江1家，阿里“通義千問”5）天津1家，360智腦；（6）廣東1家，騰訊“混元”。11月，第二批大模型備案通過11家。至此，國內(nèi)已形成一批初見水平的AI創(chuàng)業(yè)企業(yè)，如minimax、智譜、百川、月之暗面（moonshot）。11月1日11月1日，由英國倡議發(fā)起的首屆“全球AI安全峰會(huì)”在倫敦布萊切利園開幕，布萊切利莊園是二戰(zhàn)期間盟軍破譯密碼的主要地點(diǎn)。會(huì)議首日，美國、中國、歐盟和大約20個(gè)國家共同簽署了《布萊切利宣言》，重點(diǎn)在于識(shí)別人工智能產(chǎn)生的共同關(guān)注風(fēng)險(xiǎn)，建立對風(fēng)險(xiǎn)的科學(xué)認(rèn)知，并制定跨國風(fēng)險(xiǎn)緩解政策。全球高度關(guān)注AI治理原子等各類模態(tài)，而且具備跨模態(tài)遷移的特性。通過設(shè)計(jì)Pika、Runway、混元、文心一言、是一個(gè)更完善的任務(wù)求解器，可以從專業(yè)單反到“傻瓜相機(jī)從專業(yè)單反到“傻瓜相機(jī)”多模態(tài)大模型可以實(shí)現(xiàn)對圖像和視頻多模態(tài)大模型可以實(shí)現(xiàn)對圖像和視頻圖像中隱含的信息（如搞笑圖、醫(yī)學(xué)診斷等）。合，讓用戶可以不必再學(xué)習(xí)復(fù)雜的Promot技巧，直接用日常語言提示，即可生成專業(yè)級的圖片。這種方式，巧妙地利用了LLM的理解能力，進(jìn)一超級“變形金剛”超級“變形金剛”北大聯(lián)合騰訊提出LanguageBind的多模態(tài)預(yù)訓(xùn)練框架。用語言作為與其它模態(tài)之間的能實(shí)驗(yàn)室OpenGVLab聯(lián)合開發(fā)的Meta-Transformer可以應(yīng)用于許多應(yīng)用領(lǐng)趨勢要點(diǎn)2:從大腦到Hgentcopilot人工智能之父、圖靈獎(jiǎng)得主馬文?明斯基（MarvinMinsky）在1986年出版了一本里程碑式的著作《思維比爾蓋茨撰文，表示AIAgent將是下一個(gè)平臺(tái)，人工智能即將徹底改變?nèi)藗兪褂糜?jì)算機(jī)的方式并顛覆軟件行業(yè)。在不久的將來，任Agent是主動(dòng)釋放LLM潛能的關(guān)鍵，讓大模型從“有腦”到“有手有腳”在大模型的加持下，根據(jù)會(huì)話在大模型的加持下，根據(jù)會(huì)話自動(dòng)調(diào)用相關(guān)的插件以自然語言的方式完成插件、各類應(yīng)用的開發(fā)和部署每個(gè)人將能擁有由AI驅(qū)動(dòng)的個(gè)人助手，無需再根據(jù)需求下載不同的APP，把需求告知代理即可AI時(shí)代的新入口開發(fā)門檻更低調(diào)用更便捷微軟AutoGen發(fā)布短短兩周內(nèi)，星標(biāo)量AutoGen框架允許多個(gè)LLM智能體通過聊天來解決任務(wù)。LLM智能體可以扮演各種角色，如程序員、設(shè)計(jì)師，或者是各種角色的組合，對話過程就把任務(wù)高通驍龍8Gen3支持終端側(cè)運(yùn)行100億參數(shù)的模型端側(cè)大模型應(yīng)用的三種可能1）端側(cè)原生集成AI模型，類似siri，幫助用戶調(diào)用其他軟件，從而可能成為硬件新入口（2）將大模型作為獨(dú)立app，例如MIT一位教授將開源模型集成在手機(jī)端做一個(gè)獨(dú)立app3）將大模型接入即時(shí)通訊軟件作為chatbot，例如What‘sApp已經(jīng)集成了MetaAI。VIVO），4.開啟更多交互新方式、新體驗(yàn)后，正在發(fā)生一場充滿潛力和挑戰(zhàn)的科技革命。對現(xiàn)象和數(shù)據(jù)觀察提出某種猜想；對既有文獻(xiàn)的梳理，在此基礎(chǔ)上提出新的研AI可以通過大量數(shù)據(jù)和復(fù)雜的數(shù)據(jù)分析，幫助提取有用信息和填補(bǔ)數(shù)據(jù)缺失，從而提高數(shù)據(jù)質(zhì)量和利用效率。AlphaFold已預(yù)測出超過100萬個(gè)物種的2.14億個(gè)蛋白質(zhì)結(jié)構(gòu)，幾乎涵蓋了地球上式AI被用于預(yù)測基因序列、發(fā)現(xiàn)新的藥一篇用GPT證明數(shù)學(xué)定理的論文DARWIN，是一個(gè)為物理、化學(xué)和材料科學(xué)應(yīng)用而精心設(shè)計(jì)的專業(yè)化大語言模型（LLM在多個(gè)科學(xué)任務(wù)中取得了最先進(jìn)的結(jié)果，旨在通過人工智能驅(qū)動(dòng)的自動(dòng)習(xí)、迭代過程等幾個(gè)步驟，其核心思路是要求人類訓(xùn)練員對模型輸出內(nèi)容的適當(dāng)性進(jìn)行評估，并基于習(xí)、迭代過程等幾個(gè)步驟，其核心思路是要求人類訓(xùn)練員對模型輸出內(nèi)容的適當(dāng)性進(jìn)行評估，并基于可解釋、可理解的大模型們需要理解人工智能如何例如OpenAI利用GPT-4來針對其大語言模型GPT-2的神經(jīng)網(wǎng)絡(luò)行為自動(dòng)化地有研究人員則從機(jī)制解釋性（mechanistic來應(yīng)對AI對齊問題。紅隊(duì)測試基于檢索或外部工具的對齊輔助回復(fù)的生成，以確保??隨著大模型，尤其是LLM成為人機(jī)交互的新界面，并涌現(xiàn)出強(qiáng)大的推理和內(nèi)容生成能力，大模型的價(jià)值?業(yè)界和研究人員已在探索實(shí)現(xiàn)大模型價(jià)值對齊的技術(shù)和治理措施，諸如人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）、憲法AI（Const訓(xùn)練數(shù)據(jù)干預(yù)識(shí)別是否存在代表性或多樣化不足的問題。消除有害偏見。?鼓勵(lì)開放研究，支持關(guān)于AI安全性、公平性、可解釋性、價(jià)值對齊和其他倫理議題的研究，并鼓勵(lì)研究者公開其研究結(jié)果，促進(jìn)全球社區(qū)協(xié)作。人類自己對前沿AI模型的有效監(jiān)督將變得越來越困難。因此，為確保AI安全，需要使我們監(jiān)控、理解、設(shè)計(jì)AI模型的能力與模型本身的復(fù)雜性同HI加速人形機(jī)器人"手、腦"進(jìn)化?AI加速人形機(jī)器人“手、腦”進(jìn)化根據(jù)工信部印發(fā)《人形機(jī)器人創(chuàng)新發(fā)展指導(dǎo)意見》，人形機(jī)器人集成人工智能、高端制造、新材料等先進(jìn)技術(shù)，有望成為繼計(jì)算機(jī)、智能手機(jī)、新能源汽車后的顛覆性產(chǎn)品，將變革人類生產(chǎn)生活方式，重塑全球產(chǎn)業(yè)發(fā)展格局。特別是在關(guān)鍵技術(shù)突破方面，打造人形機(jī)器人“大腦”和“小腦”、突破“肢體”關(guān)鍵技術(shù)、健全技術(shù)創(chuàng)新體系。2023年以來，基于視覺-語言的大模型嵌入機(jī)器人本體，加速思考（“感知腦”）和執(zhí)行（“靈巧手”）突破，推動(dòng)機(jī)器人邁向智能化帶來新的可能。在思考能力層面，大模型的嵌入極大提升機(jī)器人感知環(huán)境、分解任務(wù)、規(guī)劃流程以及與環(huán)境交互的能力。同時(shí)，云邊結(jié)合的分布式計(jì)算平臺(tái)發(fā)展，強(qiáng)化了機(jī)器人的訓(xùn)練和分析決策速率。在執(zhí)行層面，以靈巧手為代表的關(guān)鍵技術(shù)，進(jìn)一步強(qiáng)化了人形機(jī)器人末端執(zhí)行應(yīng)用能力，集中體現(xiàn)在微操作、近操作等環(huán)節(jié)。隨著視聽觸多模態(tài)、端側(cè)算力、運(yùn)動(dòng)控制技術(shù)的進(jìn)步、人形機(jī)器人技術(shù)將加速迭代，走向更柔性、更智能、更靈巧。 01大模型大模型的嵌入極大提升機(jī)器人分解任務(wù)、規(guī)劃子任務(wù)，與環(huán)境交 02多訓(xùn)練平臺(tái)合的分布式計(jì)算平臺(tái)發(fā)展，強(qiáng)化了機(jī)器人的訓(xùn)練和分析決趨勢要點(diǎn)靈巧操作多感知、多自由度功能融合、微型驅(qū)動(dòng)器產(chǎn)業(yè)化，強(qiáng)化了機(jī)器靈巧操作無需額外的數(shù)據(jù)和訓(xùn)練。無需額外的數(shù)據(jù)和訓(xùn)練。特斯拉擎天柱人形機(jī)器人Optimus快速迭代，商業(yè)化進(jìn)程持續(xù)推進(jìn)。特斯拉擎天柱的力控能力、抓取復(fù)雜物體的能力、利用FSD技術(shù)的視覺感知和處理能力。OpenAI投資了人形機(jī)器人公司1X，英偉達(dá)CEO黃仁勛也公開唱多“具身智能力，生成控制機(jī)器人的相關(guān)代碼。騰訊通過將預(yù)訓(xùn)練AI模型和強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到機(jī)器人控制領(lǐng)域，使夠在復(fù)雜環(huán)境中展現(xiàn)出栩栩如生的運(yùn)動(dòng)行為，并學(xué)會(huì)障礙追逐比賽的智能策略。創(chuàng)新體系建立關(guān)鍵學(xué)科、行業(yè)趨勢、典型事件人形機(jī)器人市場規(guī)模2028年有望增長到138億美元美元增長到2028年的138億美元，其復(fù)合年增長率可達(dá)50.2%。?高盛預(yù)測在最理想的情景下（產(chǎn)品設(shè)計(jì)、用例、技術(shù)、可負(fù)擔(dān)性和公共接器人市場或?qū)⑦_(dá)到1540億美元。大事記“大腦、小腦、肢體”等一批關(guān)鍵技術(shù)取得突破。.影響力中等.影響力大.影響力極大?關(guān)鍵技術(shù)點(diǎn)及成熟度..多感知多自由度靈巧手.端到端大模型.云-邊端協(xié)同計(jì)算.LLM+機(jī)器人內(nèi)置微型驅(qū)動(dòng)器.多模態(tài)感知.文本分析.交互式AI云端計(jì)算.邊緣計(jì)算機(jī)器人視覺認(rèn)知學(xué)習(xí)從Wabot-1開始，機(jī)器人的“硬件”和“軟件”技術(shù)開始了各自發(fā)展到相互融合的螺旋上升，研發(fā)主體從AI和機(jī)器人本體兩條路線逐漸匯聚。當(dāng)前，以特斯拉本體、控制、硬件：移動(dòng)和操作能力本體、控制、硬件：移動(dòng)和操作能力鏈條任務(wù)規(guī)劃、甚至實(shí)現(xiàn)自學(xué)習(xí)特斯拉Gen-1、Gen2??英偉達(dá)創(chuàng)始人黃仁勛在ITFWorld2023大會(huì)上表示，人工智能的下具身智能領(lǐng)域的結(jié)合更多出現(xiàn)在感知層面，在海量數(shù)據(jù)集上預(yù)訓(xùn)練的視覺模型只是作為一種更好的表征提取器來提升機(jī)器人在場景中的感知能力，而具體的規(guī)劃與動(dòng)作執(zhí)?當(dāng)前，算法的難點(diǎn)在于對隨機(jī)性的自適應(yīng)能力和嘗試規(guī)劃等問題。大模型目前可以完成離散動(dòng)作的決策和選取，把通用任務(wù)進(jìn)一步描述分解成個(gè)別動(dòng)作，未來將持續(xù)發(fā)展算法的泛過往機(jī)器人的控制模式是預(yù)設(shè)軌跡，導(dǎo)致機(jī)器人的控制與行動(dòng)比較受局限。而與后者的交互，而VLM進(jìn)行規(guī)劃路徑，生成操作指示地圖3DValue兩者能力結(jié)合從而實(shí)現(xiàn)通過自然語言指令與機(jī)器人交互，可將復(fù)雜指令轉(zhuǎn)化為；（VLM的雙向交互突發(fā)狀況谷歌：從語言模型到多模態(tài)模型綜合布局務(wù)學(xué)到的知識(shí)和技能遷移到另一項(xiàng)任務(wù)，較單任務(wù)執(zhí)行機(jī)器人性能獲得顯著提升。RoboticsTransformer2（RT-2）是由GoogleDeepMind突出的一個(gè)用作（VLA）的AI模型。RT-2使用經(jīng)過精調(diào)的LLM來輸出運(yùn)動(dòng)控制命令，可移植性訓(xùn)練數(shù)據(jù)中未明確包含的任務(wù)，并在新出現(xiàn)技能評估中將基線模型英偉達(dá)VIMA支持文本、視覺、語音等多模態(tài)作為機(jī)器人的任務(wù)輸入；并使用使用預(yù)先訓(xùn)練的T5模型對多模態(tài)提示進(jìn)行編碼。?當(dāng)前，機(jī)器人訓(xùn)練數(shù)據(jù)有兩類，包括真實(shí)數(shù)據(jù)和合成數(shù)據(jù)。谷歌云：平臺(tái)推動(dòng)機(jī)器人自主決策水平谷歌云：平臺(tái)推動(dòng)機(jī)器人自主決策水平Google專門開發(fā)協(xié)議，將模型部署在多TPU云服務(wù)實(shí)現(xiàn)實(shí)時(shí)推理。實(shí)驗(yàn)結(jié)果表明，基于現(xiàn)成的VLM模型PaLM-E和PaLI-X，RT-2取得了良好的泛化和涌現(xiàn)性能。英偉達(dá)：開發(fā)MiniGen可自動(dòng)生成數(shù)據(jù)集英偉達(dá)：開發(fā)MiniGen可自動(dòng)生成數(shù)據(jù)集英偉達(dá)與得克薩斯大學(xué)奧斯汀分校合作發(fā)布了一片最新論文，介紹了一個(gè)名為“MimicGen”的系統(tǒng)，只需少量人類示范，便能自動(dòng)生成大規(guī)模的機(jī)器人訓(xùn)練數(shù)據(jù)集。特斯拉：人型機(jī)器人采用自動(dòng)駕駛視特斯拉：人型機(jī)器人采用自動(dòng)駕駛視覺神經(jīng)網(wǎng)絡(luò)算法和Dojo計(jì)算平臺(tái)特斯拉計(jì)劃利用Dojo對海量的視頻數(shù)據(jù)進(jìn)行無監(jiān)督學(xué)習(xí)，以加速特斯拉的Autopilot和完全自動(dòng)駕駛（FSD）系統(tǒng)的迭代，同時(shí)為特斯拉的人形機(jī)器人Optimus提供算力Dojo將加速人形機(jī)器人的開發(fā)，其能夠?yàn)闄C(jī)器人的神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供算力支持，更快速地處理海量數(shù)據(jù)，有望推動(dòng)機(jī)器人加速落地。搭建分層預(yù)訓(xùn)練模型騰訊RoboticsX機(jī)器人實(shí)驗(yàn)室和騰訊游戲合作，通過游戲技術(shù)推動(dòng)了仿真引擎的準(zhǔn)確性和高效性，并在游戲制作和研發(fā)過程中積累了多元的動(dòng)捕素材。這些技術(shù)和數(shù)據(jù)對實(shí)驗(yàn)人員基于物理仿真的智能體訓(xùn)練，以及真實(shí)世界機(jī)器人策略部署，起到了幫助作用。通過引入預(yù)訓(xùn)練模型和強(qiáng)化學(xué)習(xí)技術(shù)，可讓機(jī)器狗分階段進(jìn)行學(xué)習(xí)，有效的將不同階段的技能、知識(shí)積累并存儲(chǔ)下來，讓機(jī)器人在解決新的復(fù)雜任務(wù)時(shí)，不必重新學(xué)習(xí)，而是可以復(fù)用已經(jīng)學(xué)會(huì)的姿態(tài)、環(huán)境感知、策略規(guī)劃多個(gè)層面的知識(shí)，并“舉一反三”。趨勢要點(diǎn)3：多感知、多自由度功能融合的靈巧手強(qiáng)化了人形機(jī)器人的微操作能力??機(jī)器人邁向通用智能的道路上，還需要突破工程方面的難題才能發(fā)揮更大生成價(jià)值，帶來顛覆性應(yīng)用落地。目前論文和一些demo展示的機(jī)器人與大語言模型結(jié)合偏?軟件方面，強(qiáng)化學(xué)習(xí)控制算法按智能體(agent)是否理解環(huán)境與自身的動(dòng)態(tài)模內(nèi)置式多指靈巧手是靈巧手發(fā)展的主要技術(shù)路線。特斯拉人形機(jī)器人擎天柱靈巧手有6個(gè)執(zhí)行器，可實(shí)現(xiàn)11個(gè)自由度，其中空心杯電機(jī)為核心部件。中國科學(xué)院自動(dòng)化研究所王鵬研究員研究組研發(fā)的CasiaHand系列靈巧手及類人靈巧操作機(jī)器人在2023世界機(jī)器人大會(huì)上首次展出，課題組提出了一系列基于靈巧手的類人靈巧操作學(xué)習(xí)模型和算法，并在實(shí)際機(jī)器人上進(jìn)行了驗(yàn)證。包括：基于視覺-語言大模型推理的靈巧手類人功能性工具操作學(xué)習(xí)框架。騰訊RoboticsX實(shí)驗(yàn)室公布最新機(jī)器人研究進(jìn)展，首次展示在靈巧操作領(lǐng)域的成果，推出自研機(jī)器人靈巧手TRX-Hand和機(jī)械臂TRX-Arm。其中，靈巧手TRX-Hand擁有像人手一樣靈活的操作能力，可適應(yīng)不同場景，靈活規(guī)劃動(dòng)作，自主完成“操作”。H/+基因計(jì)算解讀生命密碼基因是生命的最基本元素?；蛴?jì)算指使用計(jì)算方法來分析和理解基因信息的過程。人工智能、大數(shù)據(jù)、云計(jì)算等數(shù)字技術(shù)正在廣泛應(yīng)用于基因檢測、分析、預(yù)測、調(diào)控以及生物合成等方面，通過大算力的支持，充分利用多模態(tài)的海量基因數(shù)據(jù)，可以幫助我們解答生命科學(xué)的重要問題。AI與基因計(jì)算的結(jié)合，開辟了巨大的科學(xué)和應(yīng)用前景，但同時(shí)也存在基因隱私保護(hù)、基因編輯倫理等問題。02生命健康A(chǔ)I+基因計(jì)算助力趨勢要點(diǎn)03生物制藥AI+基因工程重塑分子藥物設(shè)計(jì)和研發(fā)規(guī)則趨勢要點(diǎn)特別鳴謝：谷曉峰中國農(nóng)業(yè)科學(xué)院生物技術(shù)研究所副所長姚建華騰訊AILabAI醫(yī)療首席科學(xué)家楊子翊騰訊量子實(shí)驗(yàn)室高級研究員市場研究公司GlobalMarketInsightsIn業(yè)中的人工智能市場規(guī)模將達(dá)到125億美元，復(fù)合年增長率為39.基因數(shù)據(jù)處理技術(shù)基因數(shù)據(jù)處理技術(shù)基因表達(dá)分析技術(shù)基因表達(dá)分析技術(shù)基因網(wǎng)絡(luò)分析技術(shù)基因網(wǎng)絡(luò)分析技術(shù)基因智能設(shè)計(jì)技術(shù)基因智能設(shè)計(jì)技術(shù)存儲(chǔ)和管理海量生物數(shù)據(jù)的技術(shù)，支撐生物數(shù)據(jù)的快速查詢和分析利用AI算法和大數(shù)據(jù)分析優(yōu)化基因組設(shè)計(jì)和編輯過程，創(chuàng)造具有特定性狀或功能的生物體生物數(shù)據(jù)庫建立、檢索工具開發(fā)及DNA/蛋白質(zhì)序列分析基因組測序和識(shí)別、網(wǎng)絡(luò)數(shù)據(jù)庫系統(tǒng)建立和交互界面開發(fā)單細(xì)胞測序技術(shù)、基因編輯、基因療法等《科學(xué)》公《科學(xué)》公2010s-2023年1月，諾貝爾化學(xué)獎(jiǎng)得主JenniferA.Doudna教授團(tuán)隊(duì)在《科學(xué)》雜志發(fā)表文章《2023年1月，諾貝爾化學(xué)獎(jiǎng)得主JenniferA.Doudna教授團(tuán)隊(duì)在《科學(xué)》雜志發(fā)表文章《CRISPRtechnology:A基因組編輯2023年9月，GoogleDeepMind團(tuán)隊(duì)基于AlphaFold開發(fā)了新的人工智能模型Alp基因突變是否會(huì)導(dǎo)致疾病，該研究進(jìn)展「Accurateproteome-widemissensevarianteffectpredictionwith基因預(yù)測模型2023年9月，清華大學(xué)智能產(chǎn)業(yè)研究院、水木分子發(fā)布新一代對話式藥物研發(fā)首個(gè)千億參數(shù)多模態(tài)生物醫(yī)藥對話大模型ChatDD-FM1生物醫(yī)藥對話大模型技術(shù)預(yù)測..預(yù)測性基因組學(xué).個(gè)性化基因組分析基因表達(dá)調(diào)控精細(xì)控制.多基因編輯系統(tǒng)高精度基因變異檢測完整基因組合成●基因變異和表型關(guān)聯(lián)分析●.多組學(xué)數(shù)據(jù)整合.單細(xì)胞測序數(shù)據(jù)分析基因網(wǎng)絡(luò)和調(diào)控元件分析基因組注釋自動(dòng)化.基因設(shè)計(jì)技術(shù).影響力中等.影響力大大事記趨勢要點(diǎn)1:Rl+生物技術(shù)加速育種4.0時(shí)代到來AI大模型強(qiáng)大的數(shù)據(jù)處理和模式識(shí)別能力，將用于支持對遺傳信息的深度挖掘、表型特征的高精度預(yù)測以及育種過程的智能化決策育種育種4.0中的數(shù)字技術(shù)編輯&表型設(shè)計(jì)模型構(gòu)建海量表型數(shù)據(jù)、環(huán)境數(shù)據(jù)采集表觀預(yù)測：提升表觀合成的精準(zhǔn)度通過整合多組學(xué)數(shù)據(jù)，構(gòu)建智能模型，預(yù)測并優(yōu)化人工設(shè)計(jì)的合成表觀回路，大幅度提升表觀合成的精準(zhǔn)度，推動(dòng)合成表觀技術(shù)在作物改良上的應(yīng)用。中國農(nóng)科院生物所提出利用合成表觀技術(shù)設(shè)計(jì)和創(chuàng)來源：中國農(nóng)科院生物所基因編輯：提高作物產(chǎn)量和性能基因編輯：提高作物產(chǎn)量和性能2023年4月，農(nóng)業(yè)農(nóng)村部發(fā)布《2023年農(nóng)業(yè)用基因編輯生物安全證書(生產(chǎn)應(yīng)用)批準(zhǔn)清單》。萬建民院士團(tuán)隊(duì)開發(fā)了新型的多重正交堿基編輯器MoBE和隨機(jī)化多sgRNA組裝技術(shù)，獲得了新的抗除草劑水稻突變植株。來源：南京農(nóng)業(yè)大學(xué)官網(wǎng)趨勢要點(diǎn)2:Rl+基因計(jì)算助力實(shí)現(xiàn)個(gè)性化健康預(yù)測病預(yù)測模型，預(yù)測個(gè)體在未來發(fā)生特定健康問題的風(fēng)險(xiǎn)，從而實(shí)現(xiàn)早期干預(yù)隨著單細(xì)胞組學(xué)、單細(xì)胞多組學(xué)和空間組學(xué)突破，基因測序技術(shù)正在從多細(xì)胞/組織層級向單基因測序：單細(xì)胞注釋模型基因測序：單細(xì)胞注釋模型scBERT:在單細(xì)胞測序領(lǐng)域首次引入BERT范式。在預(yù)訓(xùn)練階段通過大規(guī)模訓(xùn)練數(shù)據(jù)學(xué)習(xí)到通用的基因和表達(dá)編碼，提升模型泛化能力、在跨平臺(tái)數(shù)據(jù)集的魯棒性；基于少量數(shù)據(jù)微調(diào)，降低對精標(biāo)注數(shù)據(jù)依賴，基因成像：依托空間組學(xué)數(shù)據(jù)庫基因成像：依托空間組學(xué)數(shù)據(jù)庫從空間角度出發(fā)，深入研究基因及其相互作用?？臻g組學(xué)技術(shù)借助各類成像或者測序技術(shù)，可以同時(shí)測量細(xì)胞的基因表達(dá)譜和空間位置，得到細(xì)胞微環(huán)境里其他細(xì)胞的基因表達(dá)和細(xì)胞間的相互作用。例基因預(yù)測：分析基因突變的致病性基因預(yù)測：分析基因突變的致病性在基因突變?nèi)绾斡绊懭祟惤】捣矫?，AlphaMissense模型對全部7100萬種可能的基因錯(cuò)義突變進(jìn)行了分類，將其中89%的變異分騰訊AILabscBERT模型騰訊AILab空間多組學(xué)數(shù)據(jù)庫（SODB）來源：谷歌DeepMind趨勢要點(diǎn)3:Rl+基因工程重塑分子藥物設(shè)計(jì)和研發(fā)規(guī)則藥性預(yù)測、分子逆合成分析、耐藥性預(yù)測等場景多模態(tài)數(shù)據(jù)統(tǒng)一表示多模態(tài)數(shù)據(jù)統(tǒng)一表示BioMedGPT，旨在將生物世界中的分子、文本和知識(shí)進(jìn)行統(tǒng)一表示學(xué)習(xí)，以提高各項(xiàng)下游任務(wù)的能力。BioMedGPT在數(shù)據(jù)層面整合了基因、分子、細(xì)胞、蛋白、文獻(xiàn)、專利、知識(shí)庫等多源異構(gòu)的數(shù)據(jù)?；蚍治霭l(fā)掘藥物靶點(diǎn)基因分析發(fā)掘藥物靶點(diǎn)AI繪制基因互作網(wǎng)絡(luò)，加快疾病治療靶點(diǎn)發(fā)現(xiàn)。美AIAI助力生物合成基因簇挖掘采?深度學(xué)習(xí)?法對基因組數(shù)據(jù)進(jìn)?分析，可發(fā)現(xiàn)、篩選并鑒定出潛在的、具有新穎結(jié)構(gòu)的來源：清華AIR&水木分子來源：《Nature》期刊,Transferlearningenablespredict騰訊量子實(shí)驗(yàn)室模型流程圖數(shù)字交互引擎激發(fā)"超級數(shù)字場景"數(shù)字交互引擎是在文化創(chuàng)意場景下產(chǎn)生、伴隨數(shù)字文化產(chǎn)業(yè)升級而不斷實(shí)現(xiàn)技術(shù)迭代一類工具集，集成了物理模擬、3D建模、實(shí)時(shí)渲染等多種前沿技術(shù)，是文化科技融合的典型產(chǎn)物。數(shù)字交互引擎主要由圖形模塊、仿真模塊、實(shí)時(shí)渲染等模塊構(gòu)成，它以軟件代碼包形式創(chuàng)造在發(fā)展前期，數(shù)字交互引擎主要應(yīng)用于游戲場景，在行業(yè)場景下被稱為“游戲引擎”；在服務(wù)游戲產(chǎn)業(yè)高效構(gòu)建虛擬世界、與現(xiàn)實(shí)世界高質(zhì)量交互的過程中，不斷實(shí)現(xiàn)技術(shù)迭代、提升跨平臺(tái)通用能力，逐步成為跨行業(yè)、跨場景應(yīng)用的數(shù)字交互引擎。當(dāng)前，數(shù)字交互引擎已經(jīng)應(yīng)用于文旅、汽車、工業(yè)等多元領(lǐng)域，成為構(gòu)建實(shí)時(shí)虛擬世界、實(shí)現(xiàn)虛實(shí)交互的關(guān)鍵工具集。數(shù)字交互引擎與AIGC互相驅(qū)動(dòng)，打造構(gòu)建超級數(shù)字場景的高效工具集打造構(gòu)建“超數(shù)”數(shù)字交互引擎與AIGC互相驅(qū)動(dòng)，打造構(gòu)建超級數(shù)字場景的高效工具集的高效工具集有望成為大眾化大眾應(yīng)用方面，數(shù)字交互引擎或?qū)⒆呦騏GC內(nèi)容生產(chǎn)與趨勢要點(diǎn)助推行業(yè)數(shù)字孿生走向?qū)崟r(shí)行業(yè)應(yīng)用方面，數(shù)字交互引擎推動(dòng)各行業(yè)數(shù)字孿生助推行業(yè)數(shù)字孿生走向?qū)崟r(shí)數(shù)字交互引擎是否代表游戲產(chǎn)業(yè)原生的科技力量？*您認(rèn)為使用數(shù)字交互引擎賦能城市數(shù)字孿生能夠帶來什么樣的提升?數(shù)字交互引擎是否代表游戲產(chǎn)業(yè)原生的科技力量？*您認(rèn)為使用數(shù)字交互引擎賦能城市數(shù)字孿生能夠帶來什么樣的提升?》關(guān)鍵點(diǎn)和方向:1、實(shí)現(xiàn)高性能渲染、呈現(xiàn)高度擬真視覺效果2、工具鏈不斷成熟、使用門檻降低3、數(shù)字交互引擎與HI加速融合互驅(qū)4、助力數(shù)字孿生、廣泛鏈接實(shí)體行業(yè)數(shù)字交互引擎是關(guān)系到我國科技競爭力的重要技術(shù)嗎？*92%認(rèn)同92%的受訪專家認(rèn)為，數(shù)字交互引擎是關(guān)系到我國科技92%認(rèn)同受訪專家普遍認(rèn)同數(shù)字交互引擎代表著游戲產(chǎn)業(yè)原生的科技力量提升數(shù)字孿生項(xiàng)目實(shí)施效率82%的受訪專家認(rèn)為使用數(shù)字交互引擎能夠提升數(shù)字優(yōu)化實(shí)時(shí)交互能力，畫面可以實(shí)時(shí)響應(yīng)畫面可以實(shí)時(shí)響應(yīng)數(shù)據(jù)來源：中國音數(shù)協(xié)游戲工委、中國游戲產(chǎn)業(yè)研究院《數(shù)字交互引擎的應(yīng)用與價(jià)值研究報(bào)告》。調(diào)研說明：本次調(diào)研面向具有數(shù)字交互引擎應(yīng)用經(jīng)驗(yàn)的行業(yè)專家（包括文化和非文化領(lǐng)域），覆蓋影視制作、演藝直播、文物保護(hù)、文化會(huì)展、文化旅游以及工業(yè)、建筑與智慧城市、汽車等八個(gè)領(lǐng)域，共計(jì)回收近100份有效問卷，收集到關(guān)于數(shù)字交互引擎技術(shù)行業(yè)應(yīng)用情況的專業(yè)認(rèn)知。IdSoftware公司推出《雷神之錘（Quake）》，Quake引擎被認(rèn)為是游戲行業(yè)的第一款3D數(shù)字交互引擎早期游戲開發(fā)者構(gòu)建通用代碼的開發(fā)工具，如知名游戲制作工具IdSoftware公司推出《雷神之錘（Quake）》，Quake引擎被認(rèn)為是游戲行業(yè)的第一款3D數(shù)字交互引擎早期游戲開發(fā)者構(gòu)建通用代碼的開發(fā)工具，如知名游戲制作工具RPG初代虛幻引擎（UnrealEngine）推出，將渲染、碰撞偵測、AI、圖形、網(wǎng)絡(luò)和文件系統(tǒng)集成為一個(gè)完整的引擎國產(chǎn)游戲廠商陸續(xù)研發(fā)自研引擎，逐步推出QuickSilverX、START云游戲引擎、2018年英偉達(dá)（Nvidia）發(fā)布支持實(shí)時(shí)光線追蹤的RTX系列顯卡2022UnrealEngine5正式發(fā)布，核心的實(shí)時(shí)全局光照技術(shù)以及全球頭部廠商的自研引擎也紛紛實(shí)現(xiàn)了基于光線追蹤的實(shí)時(shí)動(dòng)態(tài)》不斷實(shí)現(xiàn)技術(shù)迭代、提升跨平臺(tái)通用能力不斷實(shí)現(xiàn)技術(shù)迭代、提升跨平臺(tái)通用能力1993年1993年“3D游戲之父”卡馬克在開發(fā)游戲《毀滅戰(zhàn)士（DOOM）》的過程中開Xbox360、PS3等主機(jī)平臺(tái)發(fā)售，更強(qiáng)的硬件架構(gòu)帶來算力和游戲表現(xiàn)力的快速提升第一批基于UE3的主機(jī)游戲和PC游戲發(fā)布，將游戲表現(xiàn)力提升到新高度藝電（EA）、育碧（Ubisoft）等大型游戲廠商的自研在各自的游戲類型上表現(xiàn)更好，不斷提升游戲表現(xiàn)力2005年初代Unity引擎發(fā)布，數(shù)字交互引擎的適配平臺(tái)從PC、主機(jī)拓展至安卓等平臺(tái)，數(shù)字交互引擎開啟“移動(dòng)端躍遷”流商業(yè)引擎涉足汽車、建筑設(shè)計(jì)、動(dòng)畫國產(chǎn)自研引擎的跨行業(yè)應(yīng)用進(jìn)入加速期，助力文物保護(hù)、智能駕駛、智慧工廠等來源：中國音數(shù)協(xié)游戲工委、中國游戲產(chǎn)業(yè)研究院《數(shù)字交互引擎的應(yīng)用與價(jià)值研究報(bào)告》），），南航翔翼與騰訊游戲共同打造國產(chǎn)自研全動(dòng)模擬機(jī)視景軟件系統(tǒng)，國產(chǎn)引擎促進(jìn)我國技術(shù)預(yù)測多類物理模擬系統(tǒng)AIGC+引擎音視頻技術(shù)實(shí)時(shí)渲染實(shí)時(shí)數(shù)字孿生大事記科技部將“三維數(shù)字交互引擎關(guān)鍵技術(shù)研發(fā)與應(yīng)用生態(tài)構(gòu)建”納入國家重點(diǎn)僅能支持高效開發(fā)場景逼真、物理精僅能支持高效開發(fā)場景逼真、物理精隨著以數(shù)字交互引擎為代表的游戲科技進(jìn)入游戲之外的更多領(lǐng)域，游戲?qū)⒂瓉硇碌漠a(chǎn)業(yè)擴(kuò)容，成為不斷創(chuàng)造新價(jià)值與新可能的“超級數(shù)字場景”。游戲作為前沿科技的“試驗(yàn)場”，在深度跨界、產(chǎn)業(yè)擴(kuò)容的過程中，也將推動(dòng)數(shù)字交互引擎進(jìn)一步與多種前沿技術(shù)廣泛連接，其中數(shù)字交互引擎與AIGC的加速融合將成為重要趨勢，兩者的互相驅(qū)動(dòng)，將打造構(gòu)建超級數(shù)字場景的高效工具集、輻射多元社會(huì)場景。數(shù)字交互引擎及其生成的游戲場景數(shù)字交互引擎及其生成的游戲場景，是AIGC爆發(fā)、迭代背后的重要推動(dòng)力：首先，游戲是AI的重要訓(xùn)練場景，促進(jìn)AI決策更加智能；同時(shí)，數(shù)字交互引擎結(jié)合PCG（程序化內(nèi)容生成）技術(shù)，已大量應(yīng)用于3D內(nèi)容制作，可助力AIGC提升3D內(nèi)容生成能力；未來，數(shù)字交互引擎及其創(chuàng)建的3D數(shù)字資產(chǎn)也將為AI大模型訓(xùn)練提供重要支持。數(shù)字交互引擎融入更多數(shù)字交互引擎融入更多AI能力，正在加速數(shù)字文化產(chǎn)業(yè)的工業(yè)化進(jìn)程：3D資產(chǎn)及場景等，簡化內(nèi)容開發(fā)流程，提升影視、游戲、廣智能化、工業(yè)化水平。隨著數(shù)字交互引擎的應(yīng)用不斷拓展，游戲正在成為一個(gè)不斷創(chuàng)造新價(jià)值和新可能的“超級數(shù)字場景”。未來，作為底層工具的數(shù)字交互引擎與AIGC相結(jié)合，將加速打造更多的“超級數(shù)字場景”，在感知與認(rèn)知的雙重維度上，實(shí)現(xiàn)人類生產(chǎn)與生活模式的全面躍遷。Agents平臺(tái)通過深度強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)相結(jié)合的方式Agents平臺(tái)通過深度強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)相結(jié)合的方式，讓游戲開發(fā)者能夠輕松地訓(xùn)練用于2D、3D和VR/AR游戲的智能Agent更智能、更大規(guī)模地打造出各類風(fēng)格的接近真實(shí)世界的方式與真人實(shí)現(xiàn)交互隨著數(shù)字交互引擎與AIGC的融合加深、工具門檻進(jìn)一步降低，數(shù)字交互引擎有望以更低的使用門檻為大眾提供3D內(nèi)容的生產(chǎn)力。正如短視頻變革了今天的社會(huì)信息傳播方式，未來，數(shù)字交互引擎也有望作為大眾化的3D內(nèi)容生產(chǎn)與交互工具，支持人們創(chuàng)造自身在虛擬空間中的形象及資產(chǎn)等，在數(shù)實(shí)相生世界里實(shí)現(xiàn)生產(chǎn)與生活?！ざ嘣虡I(yè)模式：探索多元商業(yè)模式，推動(dòng)創(chuàng)作者變現(xiàn)，聚集內(nèi)容開發(fā)者高質(zhì)量的畫面效果及實(shí)時(shí)算力支撐·提升關(guān)鍵模塊技術(shù)水平：如實(shí)時(shí)渲染、物理模擬等·云游戲提供強(qiáng)大算力支撐：平臺(tái)算力云化，降低用戶的接入成本豐富的開發(fā)者與多元的內(nèi)容體系·降低準(zhǔn)入門檻：提供更完善素材和UGC工具，實(shí)現(xiàn)低門檻、高效率的創(chuàng)作·構(gòu)建用戶社區(qū)：構(gòu)建社區(qū)和豐富的生活、娛樂、社交功能，構(gòu)建開發(fā)者生態(tài)趨勢要點(diǎn)3數(shù)字交互引擎憑借其在數(shù)據(jù)可視化、實(shí)時(shí)渲染、友好交互等方面的能力，已成為眾多行業(yè)數(shù)字孿生重要的構(gòu)建及運(yùn)行平臺(tái)，并支撐各行各業(yè)的數(shù)字孿生在應(yīng)用層面提升實(shí)時(shí)性。未來，隨著數(shù)字交互引擎集成更多AI能力，將進(jìn)一步提升數(shù)字孿生構(gòu)建的效率與智能化水平，助力數(shù)字孿生技術(shù)以更智能化的形式服務(wù)于各行各業(yè)，促進(jìn)各領(lǐng)域提高研發(fā)生產(chǎn)效率、降低產(chǎn)業(yè)創(chuàng)新風(fēng)險(xiǎn)。支持?jǐn)?shù)據(jù)的實(shí)時(shí)感知接入并進(jìn)行可視化能夠?qū)崿F(xiàn)3D模型的實(shí)時(shí)渲染和展示支持用戶對孿生體的快速查看、調(diào)用和腦機(jī)接口從醫(yī)療突破邁向交互革命》腦機(jī)接口腦機(jī)接口（BCI，brain-computerinterface）：在人或動(dòng)物腦與外部設(shè)備間建立的直教育、混合現(xiàn)實(shí)交互、類腦智能等領(lǐng)域?qū)l(fā)揮重點(diǎn)帶動(dòng)作用，全球商用市場將以17%以上的年增長到2023年突破60億美元。和諧社會(huì)的重要路徑之一。醫(yī)療突破腦機(jī)接口將加速腦科學(xué)發(fā)展，助力醫(yī)療領(lǐng)域神經(jīng)系統(tǒng)醫(yī)療突破 02交互革命將與混合現(xiàn)實(shí)等技術(shù)深度融合，推動(dòng)新一代人機(jī)交互趨勢要點(diǎn)人機(jī)共生腦機(jī)接口與人工智能相輔相成，成為促進(jìn)人機(jī)和諧共人機(jī)共生 腦機(jī)接□主要涉及5個(gè)早期發(fā)展階段 腦機(jī)接□的基本工作原理腦機(jī)接口（BCI）預(yù)處理特征提取分類預(yù)處理特征提取分類 涉及學(xué)科涉及學(xué)科 神經(jīng)科學(xué)信號與信息處理計(jì)算機(jī)科學(xué)認(rèn)知科學(xué)認(rèn)知科學(xué)材料科學(xué)材料科學(xué)?1988年：美國Farwell和D關(guān)鍵技術(shù)藍(lán)圖關(guān)鍵技術(shù)藍(lán)圖關(guān)鍵技術(shù)點(diǎn)主要的傳感器安裝模式主要性能趨勢主要性能趨勢技術(shù)指標(biāo)侵入式BCI技術(shù)目標(biāo)侵入式BCI技術(shù)要點(diǎn)非侵入式BCI技術(shù)目標(biāo)非侵入式BCI技術(shù)要點(diǎn)共性技術(shù)要點(diǎn)采樣率(Samplingrate)每秒100,000Hz高密度電極陣列,新型生物相容性電極1000Hz以上高密度通道新算法,減噪技術(shù)時(shí)延(TimeDelay)無線通信,新算法10毫秒以內(nèi)無線通信,新算法新算法,無線通信空間分辨率 (SpatialResolution)毫米級或細(xì)胞級高密度電極陣列,微創(chuàng)植入技術(shù),新型生物相容性電極-高密度通道-控制自由度(DegreeofFreedom)對數(shù)十個(gè)乃至上百個(gè)獨(dú)立控制通道的解碼高密度電極陣列,神經(jīng)調(diào)控技術(shù)-高密度通道新算法,個(gè)性化優(yōu)化信息傳輸速率 (InformationTransferRate)每分鐘百字量級無線通信,高密度電極陣列每分鐘60字以上無線通信,高密度通道新算法,減噪技術(shù),無線通信準(zhǔn)確率(Accuracy)95%以上新算法,神經(jīng)調(diào)控技術(shù),個(gè)性化優(yōu)化90%以上新算法,減噪技術(shù)新算法,減噪技術(shù),個(gè)性化優(yōu)化使用壽命(FunctionalLifetime)5-10年以上新型生物相容性電極,無線供電系統(tǒng),小型化設(shè)計(jì)依賴于設(shè)備設(shè)計(jì)和材料性價(jià)比新型生物相容性材料，如導(dǎo)電聚合物水凝膠新型生物相容性材料2023大事記市場空間預(yù)測市場空間預(yù)測[億美元]Precedence23.564.216.7%GranView20.463.217.5%Zion16.5%Allied54.613.9%DataHorizzon23.67517.8%市場細(xì)分預(yù)測北美歐洲亞太拉美非侵入式侵入式關(guān)鍵驅(qū)動(dòng)因素這種顛覆性威脅下，腦機(jī)接口是未來人與AI共生的重要出路之一2）神經(jīng)發(fā)育障礙問題越來越受重視，如自閉輔助技術(shù)需求強(qiáng)武器等大量應(yīng)用的情況下，腦機(jī)接口可以提高軍隊(duì)人機(jī)協(xié)作能力，同時(shí)改善訓(xùn)練和醫(yī)療效果頸脊髓損傷或肌萎縮側(cè)索硬化癥(ALS)導(dǎo)致四肢癱瘓的患者。Neuralink的核心并非底層技術(shù)突破，而是強(qiáng)大的工次人體臨床試驗(yàn)2023年5月2023年5月，瑞士洛桑聯(lián)邦理工大學(xué)等機(jī)構(gòu)通過在人體內(nèi)植入腦-脊接口（BSI成功讓因脊髓受損而下半身癱瘓的患者恢復(fù)自主行走能力。研究團(tuán)隊(duì)在《自然》雜志公布的研究成果顯示，在患者頭部和脊髓周圍植入傳導(dǎo)裝置，能夠?qū)崿F(xiàn)在大腦和脊髓間重建“數(shù)字橋梁”。此項(xiàng)技術(shù)展現(xiàn)了腦機(jī)接口技術(shù)應(yīng)用對殘障人群的巨大價(jià)值。瑞士腦機(jī)科研團(tuán)隊(duì)讓癱瘓男子再行走2023年6月2023年6月，蘋果正式發(fā)布頭顯產(chǎn)品VisionPro，宣布進(jìn)入空間計(jì)算時(shí)代熱議。除手動(dòng)、聲控等交互外，VisionPro還實(shí)現(xiàn)了流暢的眼動(dòng)交互，通過人眼與大腦連接，創(chuàng)造了一種簡略的腦機(jī)接口（BCI）體驗(yàn)，如監(jiān)測瞳孔變化預(yù)測用戶行為從而實(shí)時(shí)重建醫(yī)療領(lǐng)域仍將是牽引腦機(jī)接口發(fā)展的重點(diǎn)領(lǐng)域。腦機(jī)接口與醫(yī)療的結(jié)合應(yīng)用展現(xiàn)出了廣闊的前景，不僅能神經(jīng)發(fā)育障礙和退行神經(jīng)發(fā)育障礙和退行針對神經(jīng)發(fā)育障礙、退行導(dǎo)致的各類疾病（如癲癇、阿爾茨海默癥、孤獨(dú)癥更精準(zhǔn)的監(jiān)測、分析、干預(yù)等提升診療效果肢體缺陷及運(yùn)動(dòng)障礙肢體缺陷及運(yùn)動(dòng)障礙一是重復(fù)刺激患者大腦，實(shí)現(xiàn)運(yùn)動(dòng)相關(guān)神經(jīng)元部分連接或功能修復(fù)；二是獲取患者感覺缺陷和損傷感覺缺陷和損傷解碼患者自身感覺信息，實(shí)現(xiàn)感覺補(bǔ)償甚至修復(fù)，已在聽覺、視覺、觸覺等感覺缺陷和損傷診療中發(fā)揮積極作用心理健康與精神疾病心理健康與精神疾病通過腦電信號分析和調(diào)控人的情緒和認(rèn)知狀態(tài)，輔助診療抑郁癥、焦慮癥、精神分裂癥EEG的冥想和睡狀態(tài)調(diào)整優(yōu)化【例】OpenBCI與Varjo合作開發(fā)的Ga【例】OpenBCI與Varjo合作開發(fā)的Ga等。這類腦機(jī)技術(shù)多采用非植入式，更加安全便捷、更易被大眾接受，真正形成消費(fèi)級應(yīng)用才能加速普及腦機(jī)接口將促進(jìn)人機(jī)自然交互全面升級腦機(jī)接口將促進(jìn)人機(jī)自然交互全面升級…創(chuàng)造出了能進(jìn)行多重體驗(yàn)交互的新型軟硬件平臺(tái)主要傳感&交互眼神觸控手勢語音腦電命令行鼠標(biāo)命令行肌電圖+AI腕帶交互裝置娛樂：更沉浸娛樂：更沉浸游戲主播用腦機(jī)頭帶玩3A游戲腦機(jī)頭帶對司機(jī)疲勞監(jiān)測與警報(bào)基于腦機(jī)接口的智能家居系統(tǒng)研究腦電圖耳機(jī)+神經(jīng)科學(xué)APP教學(xué)腦電圖耳機(jī)+神經(jīng)科學(xué)APP教學(xué)理和交互能力，避免被人工智能直接替代；另一方面能促進(jìn)人工智能向人腦機(jī)制深入學(xué)習(xí)演進(jìn)，走向更可信可控、低耗高效的發(fā)展方向），大腦信息解碼與重建大腦信息解碼與重建AI技術(shù)的加速突破（如LLM、DM等能支持更高效處理腦機(jī)接口采集的大量腦信號，提升對大腦文字、影像等信息解碼與重建效率，促進(jìn)大腦信息來源：《Semanticreconstructionofcontinuouslanguagefromnon-invasivebrainrecordings》來源：《Improvingvisualimagereconstructionfromhumanbrainactivityusinglatentdiffusionmodelsviamultipledecodedinputs》德克薩斯大學(xué)奧斯汀分校研究團(tuán)fMRI數(shù)據(jù)訓(xùn)練的模型，信息重大阪大學(xué)研究團(tuán)隊(duì)實(shí)現(xiàn)，基于擴(kuò)散模型，重建通過fMRI獲得的人腦活動(dòng)圖像，有效降低計(jì)算成本同時(shí)保留高生成性能腦機(jī)接口促進(jìn)腦數(shù)據(jù)采集和腦科學(xué)研究，能反過來支持類腦計(jì)算的框架、算法、芯片等技術(shù)創(chuàng)新，跳出馮-諾伊曼計(jì)算結(jié)構(gòu)局限，推動(dòng)對STDP的調(diào)整，使得NACA表現(xiàn)出明顯的快速收斂和緩解災(zāi)難性遺忘優(yōu)勢醞釀?dòng)糜谏窠?jīng)推理的新芯片原型化計(jì)算之間、計(jì)算和內(nèi)存之間、硬件和軟件之間的界限，相比傳統(tǒng)CPU能大幅提升能效25倍沉浸式媒體催生3D在場未來視頻向沉浸式體驗(yàn)、高效生成演進(jìn)、從面向人眼視覺到面向機(jī)器視覺、從消費(fèi)級到產(chǎn)業(yè)端。體驗(yàn)、內(nèi)容生成、標(biāo)準(zhǔn)和網(wǎng)絡(luò)協(xié)議是多媒體的關(guān)沉浸02多媒體+AIAIGC已經(jīng)商用，大模型在垂直領(lǐng)域不斷強(qiáng)化多媒體能力趨勢要點(diǎn)趨勢要點(diǎn) 技術(shù)關(guān)鍵點(diǎn)和指標(biāo)生成編輯：硬件采集視頻壓縮編碼：編解碼標(biāo)準(zhǔn) 技術(shù)關(guān)鍵點(diǎn)和指標(biāo)生成編輯：硬件采集視頻壓縮編碼：編解碼標(biāo)準(zhǔn)多媒體壓縮、多媒體處理、多媒體理解、機(jī)器預(yù)處理編碼文件封裝理包包后臺(tái)服務(wù)文件解封裝備備抖動(dòng)緩沖采集分辨率清晰度標(biāo)準(zhǔn)聚焦方向領(lǐng)域人互率4K、8K備故宮x騰訊——沉浸式數(shù)字體驗(yàn)展20232023大事記技術(shù)預(yù)測云游戲視頻編解碼AIGC技術(shù)日趨成熟AIGC技術(shù)日趨成熟1月1月，騰訊申請“全息裸眼3D設(shè)備”專利獲批。9月，騰訊會(huì)議展示裸眼3D效果，同時(shí)具備雙目視差和移動(dòng)視差。觀看者除了能體驗(yàn)到出屏的立體感，同時(shí)也可以通過左右移動(dòng)，看到不同視角的立體內(nèi)容，更真相機(jī)陣列相機(jī)陣列視頻向更加沉浸式，雙向交互方向演進(jìn)，視頻向更加沉浸式，雙向交互方向演進(jìn)，3DoF視頻已經(jīng)商用落地，在微信視頻號、快手等平臺(tái)可以體敦煌研究院·VR敦煌研究院·VR360遠(yuǎn)程會(huì)診系統(tǒng)南·VR360游白沙細(xì)月騰訊會(huì)議裸眼3D陣列進(jìn)行采集，三維重建有深度圖、點(diǎn)云和光場等不同采集采集深度圖深度圖三維重建方式點(diǎn)云三維重建方式光場光場生成3D模型素材，實(shí)現(xiàn)更為沉浸的體驗(yàn)。全球體積視23.1億美元，復(fù)合年增長率(CAGR)為28.7%。?H266推動(dòng)沉浸視頻演進(jìn)：針對全景?4k、8k、轉(zhuǎn)碼隨著VisionPro、新款I(lǐng)phone的推出，用戶未來可以直接采集和顯示模型文件成為載體，視頻和應(yīng)用的界AIGC技術(shù)在多媒體的文字、圖片生成等方面已經(jīng)商用，未來聚焦生成更加穩(wěn)定的視頻和3D內(nèi)容。同時(shí)在垂直領(lǐng)域如數(shù)字人、超分、老片修復(fù)等方向不隨著更多樣化的塊劃分方法和編碼模式的不斷涌現(xiàn)，以及更復(fù)雜的預(yù)測和變換技術(shù)的引入，提高視頻編碼壓縮效率變得越來越困難。深度學(xué)習(xí)技術(shù)在圖像分類、目標(biāo)檢測等計(jì)算機(jī)視覺任務(wù)上已取得了巨大的成功，近幾年，深度學(xué)習(xí)技術(shù)為圖像/視頻編碼文本生成文本文本生成圖片AIAI在垂直領(lǐng)域不斷強(qiáng)化多媒體能力利用大模型利用解決視頻穩(wěn)利用大模型利用解決視頻穩(wěn)Generatio，利用Gan大在傳統(tǒng)編碼框架中引入深度神經(jīng)網(wǎng)絡(luò)來進(jìn)一步提升壓縮性能。深度學(xué)習(xí)策略實(shí)現(xiàn)對傳統(tǒng)編碼標(biāo)準(zhǔn)中的塊劃分、預(yù)測模式等大量待搜索對象快速判決，從而緩解編碼端搜索壓力、降低計(jì)算復(fù)雜度。JVET開展的神經(jīng)網(wǎng)絡(luò)視頻編碼（NNVC）探索實(shí)驗(yàn)和增強(qiáng)壓縮視頻編碼（ECM）探索實(shí)驗(yàn)，相比VVC/H.266標(biāo)準(zhǔn)參考軟件VTM，在RA和AI配置下，Y、Cb、Cr三個(gè)通道BD-rate分別節(jié)省：{-21.17%,-32.29%,-33.05%}和{-11.06%,-22.62%,-24.13%}，具備演進(jìn)成為下一代視頻編碼標(biāo)準(zhǔn)的技術(shù)潛力。端到端神經(jīng)網(wǎng)絡(luò)視頻編碼技術(shù)：打破傳統(tǒng)編碼框架，完全使用深度學(xué)習(xí)方法實(shí)現(xiàn)編解碼流程?；谏窠?jīng)網(wǎng)絡(luò)視頻編碼，利用海量數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)去除視頻壓縮失真任務(wù)中的先驗(yàn)知識(shí)。例如jpeg-ai的主要?jiǎng)訖C(jī)是基于深度神經(jīng)網(wǎng)絡(luò)的工具在圖像編碼、計(jì)算機(jī)視覺和圖像處理任務(wù)中的出色性能。JPEGAI旨在開存儲(chǔ)、視覺監(jiān)控、自動(dòng)駕駛車輛和設(shè)備、圖像采集存儲(chǔ)和管理、視覺數(shù)據(jù)實(shí)時(shí)監(jiān)控和媒體分發(fā)等廣泛應(yīng)用的需求。信令改造，利用miniSDP和0-RTT的結(jié)合，大幅減少信令耗時(shí)、提升信令交互成功信令改造，利用miniSDP和0-RTT的結(jié)合，大幅減少信令耗時(shí)、提升信令交互成功，進(jìn)而降低首幀耗時(shí)和提升開播成功率。音視頻改造，讓W(xué)ebRTC支持AAC，H.265，附加前向糾錯(cuò)，抗50%以上丟包。還引入了B幀，增強(qiáng)了畫質(zhì)，同時(shí)大幅減少了碼率。傳輸改造，采樣柔性分級丟幀的傳輸策略來漸進(jìn)式降低碼率，以適應(yīng)弱網(wǎng)情況。支持P2P分發(fā)網(wǎng)絡(luò)，能夠?qū)⒖赐灰曨l流的用戶群就近地組織成網(wǎng)絡(luò)，相互分享傳輸?？熘辈サ难訒r(shí)可降低到800ms以內(nèi)，并同時(shí)兼顧延時(shí)、卡頓和首幀耗時(shí)，綜合QoS遠(yuǎn)超傳統(tǒng)直播信令改造：提升信令鏈路對網(wǎng)絡(luò)異常抵抗能力，減少網(wǎng)絡(luò)異?；謴?fù)時(shí)間，提升視頻應(yīng)用穩(wěn)定性音視頻改造，優(yōu)化相機(jī)采集、視頻渲染和視頻編解碼耗時(shí)，從音視頻處理層面減少端到端畫面延遲。傳輸改造，以減少視頻傳輸延遲為目標(biāo)，適當(dāng)平衡抗丟包和抗網(wǎng)絡(luò)波動(dòng)能力，減少視頻延遲；并引入多網(wǎng)傳輸策略，減少單一網(wǎng)絡(luò)依賴，提升傳輸穩(wěn)定性；畫面延時(shí)可降低到100ms以內(nèi)，兼顧抗弱網(wǎng)能力多媒體技術(shù)在產(chǎn)業(yè)互聯(lián)網(wǎng)中的應(yīng)用，將根據(jù)不同場景進(jìn)行多媒體技術(shù)在產(chǎn)業(yè)互聯(lián)網(wǎng)中的應(yīng)用，將根據(jù)不同場景進(jìn)行優(yōu)化，從而更好地滿足產(chǎn)業(yè)互聯(lián)網(wǎng)的需求。在產(chǎn)業(yè)互聯(lián)網(wǎng)中，網(wǎng)絡(luò)協(xié)議需要根據(jù)場景需在C端低延時(shí)的演進(jìn)路線在C端低延時(shí)的演進(jìn)路線基于UDP協(xié)議星地直連通信推動(dòng)泛在網(wǎng)絡(luò)覆蓋但是僅有20%的地表面積被網(wǎng)絡(luò)覆蓋，大部分地區(qū)還處于失聯(lián)狀態(tài)。基于衛(wèi)星的無線通信技術(shù)可以以較低的成本實(shí)現(xiàn)廣域覆蓋，并不衛(wèi)星研制“工業(yè)化”通過使用工業(yè)級COTS衛(wèi)星研制“工業(yè)化”通信標(biāo)準(zhǔn)“一體化”3GPP基于5G開展非地表網(wǎng)絡(luò)NTN通信標(biāo)準(zhǔn)“一體化”趨勢要點(diǎn)衛(wèi)星通信“大眾化”衛(wèi)星通信系統(tǒng)正在拓展到更泛在、更商業(yè)、更大眾的應(yīng)用領(lǐng)域，必然催生大量的衛(wèi)星通信“大眾化”關(guān)關(guān)鍵學(xué)科行業(yè)預(yù)測終端設(shè)備，總共帶來163億美元的收入，從2022年到203的復(fù)合年均增長率可以達(dá)到76%。業(yè)務(wù)需求、星座規(guī)模、服務(wù)能力和帶寬之間相互影響、相互促進(jìn)。衛(wèi)星成本降低和通信技術(shù)演進(jìn)推進(jìn)手機(jī)直連衛(wèi)星應(yīng)用的加速發(fā)展；手機(jī)直連衛(wèi)星的發(fā)展促進(jìn)應(yīng)用需求的多樣化，增加了對業(yè)務(wù)多樣性和帶寬的需求，又進(jìn)一步對星座建設(shè)和通信技術(shù)演進(jìn)提出要求；衛(wèi)星數(shù)量越多，衛(wèi)星的制造成本降低又進(jìn)一步推動(dòng)產(chǎn)業(yè)的發(fā)展。關(guān)鍵技術(shù)點(diǎn)關(guān)鍵技術(shù)點(diǎn)2023大事記時(shí)間點(diǎn)協(xié)議芯片設(shè)備天地融合1990年代1990年代以銥星系統(tǒng)為代表的私有協(xié)議專用芯片以銥星系統(tǒng)為代表的私有協(xié)議專用芯片專用通信設(shè)備借鑒地面蜂窩通信協(xié)議研發(fā)專用衛(wèi)不融合不融合21世紀(jì)初專用芯片專用芯片專用設(shè)備如全球星的通信協(xié)議是基于CDMA系統(tǒng)的不融合2022年在通用設(shè)備中植入獨(dú)立的專用衛(wèi)星通在通用設(shè)備中植入獨(dú)立的專用衛(wèi)星通信芯片專用芯片星通信協(xié)議如全球星的通信協(xié)議是基于CDMA系統(tǒng)的業(yè)務(wù)融合2022年-至今在通用設(shè)備中植入獨(dú)立通用的衛(wèi)星通信芯片通用芯片基于3在通用設(shè)備中植入獨(dú)立通用的衛(wèi)星通信芯片通用芯片窩網(wǎng)絡(luò)的兼容協(xié)議兼容未來星地融合的衛(wèi)星通信協(xié)議標(biāo)準(zhǔn)商用手機(jī)通用雙模芯星地融合的衛(wèi)星通信協(xié)議標(biāo)準(zhǔn)商用手機(jī)片協(xié)議融合基于NTN的窄帶通信測試成功射成本大幅度下降，大規(guī)模星座部署成本可控，服務(wù)能力大幅大幅度降低了衛(wèi)星的研制成本多級并發(fā)、動(dòng)態(tài)調(diào)度等技術(shù)實(shí)現(xiàn)火箭發(fā)動(dòng)機(jī)的可回收和重復(fù)使用，降低火箭的發(fā)射成本，并進(jìn)一步結(jié)合星箭一體化技術(shù)增加單個(gè)火箭運(yùn)載衛(wèi)星的數(shù)量，從而大幅度降2017年3月，獵鷹9號火箭B1021成為世界上首個(gè)兩次被成功回收的軌道級助推器ABI：各種衛(wèi)星的軌道高度示意批量化生產(chǎn)衛(wèi)星降低衛(wèi)星的測試成本和研制周期：通過衛(wèi)星工廠來批量化生產(chǎn)標(biāo)準(zhǔn)衛(wèi)星，可以降低衛(wèi)星的研發(fā)和測試成本，并減少衛(wèi)星的研制周期，為短時(shí)間內(nèi)大規(guī)國際標(biāo)準(zhǔn)化組織3GPPR17版本發(fā)布，支持面向衛(wèi)星物聯(lián)網(wǎng)的成功：多個(gè)運(yùn)營商和衛(wèi)星物聯(lián)網(wǎng)公司開展了基于高軌衛(wèi)星和并獲得成功，標(biāo)志著基于高軌初步實(shí)現(xiàn)了技術(shù)閉環(huán)https://www.connectivity.technology/2020/05/r-technical-explainer-on-3gpp-5g-non.html趨勢要點(diǎn)3：衛(wèi)星通信u大眾化寬窄帶結(jié)合的即時(shí)通信和應(yīng)急通信產(chǎn)品的新需求，由此帶來對語音和體積提升了4倍，重量增加了3倍，通信能力聯(lián)網(wǎng)終端設(shè)備和模組，設(shè)備體積小，功耗低，有效降低了衛(wèi)星騰訊安全天馬實(shí)驗(yàn)室聚焦前沿衛(wèi)星互聯(lián)網(wǎng)絡(luò)及新基建下各類evTOL加速空中出行奔赴新時(shí)代隨著城市化進(jìn)程加速，交通擁堵和環(huán)境污染問題日益突出，人類社會(huì)對綠色、高效的交通方式的需求日益迫切。在電動(dòng)飛機(jī)技術(shù)、新能源技術(shù)和數(shù)字技術(shù)的發(fā)展智能空中交通工具。近期，我國工信部等四部門共同發(fā)布《綠色航空制造業(yè)在全尺寸原型機(jī)試飛測試中，多旋翼、復(fù)合翼、矢量推進(jìn)構(gòu)型的趨勢要點(diǎn) 趨勢要點(diǎn)長期來看無人駕駛eVTOL是降低運(yùn)營成流選擇。在相對復(fù)雜的低空環(huán)境中實(shí)現(xiàn)無人駕駛，數(shù)字化智能化Uber提出城市空中出租車計(jì)劃“UberElevate”歐盟航空安全局EASA發(fā)布eVTOL航空管理規(guī)定，建立針對性監(jiān)管Joby、Volocopter、Lilium、ArcherUber提出城市空中出租車計(jì)劃“UberElevate”歐盟航空安全局EASA發(fā)布eVTOL航空管理規(guī)定，建立針對性監(jiān)管Joby、Volocopter、Lilium、Archer等公司的eVTOL原型機(jī)完成飛行技術(shù)演示美國NASA定義基于eVTOL的城市空中交通（UAM）概念美國直升機(jī)協(xié)會(huì)和美國航天航空協(xié)會(huì)正式引入eVTOL概念，引起全球產(chǎn)業(yè)界跟進(jìn)中國民航局頒發(fā)首個(gè)無人駕駛eVTOL適航證，引發(fā)全球關(guān)注空氣動(dòng)力學(xué)evTOL的發(fā)展歷程、學(xué)科背景、應(yīng)用場景?美國NASA首次發(fā)布PuffineVTOL的動(dòng)畫概念視頻?eVTOL先行者JOBY公司成立Joby、Archer、Lilium、Vertical四家evTOL公司通過SPAC在納斯達(dá)克上市籌集資金結(jié)構(gòu)力學(xué)控制理論載人客運(yùn)是eVTOL的發(fā)展方向和核心場景，未來市場規(guī)模預(yù)計(jì)超萬億美元。eVTOL將率先在載貨物流、城市服務(wù)、消防救災(zāi)等場景啟動(dòng)運(yùn)營，待各項(xiàng)技術(shù)成熟政策完善和市場接受，才會(huì)邁入大范圍載人客運(yùn)時(shí)代。許多公司已經(jīng)提前構(gòu)想和研究空中交通的“共載人客運(yùn)是eVTOL的發(fā)展方向和核心場景，未來市場規(guī)模預(yù)計(jì)超萬億美元。eVTOL將率先在載貨物流、城市服務(wù)、消防救災(zāi)等場景啟動(dòng)運(yùn)營，待各項(xiàng)技術(shù)成熟政策完善和市場接受，才會(huì)邁入大范圍載人客運(yùn)時(shí)代。許多公司已經(jīng)提前構(gòu)想和研究空中交通的“共享出行” eVTOL續(xù)航里程持續(xù)提升，帶動(dòng)空中交通轉(zhuǎn)向服務(wù)城際和區(qū)域出行。隨著各主要民航監(jiān)管部門對多個(gè)型號和構(gòu)型的eVTOL的審查工作不斷推進(jìn)，頭部OEM有望在2025-2026年集中獲得適航證。在此背景下，主機(jī)廠、零部件供應(yīng)商、基礎(chǔ)設(shè)施建設(shè)商、服務(wù)提供商以及領(lǐng)域外玩家（如互聯(lián)網(wǎng)、物流、汽車企業(yè)）都在提前布局eVTOL203大事記eVTOL主機(jī)廠的適航取證工作有序推進(jìn)，eVTOL產(chǎn)業(yè)生態(tài)體系加速構(gòu)建。低空通訊導(dǎo)航監(jiān)測系統(tǒng)低空航行信息服務(wù)系統(tǒng)態(tài)勢感知和空中避障系統(tǒng)備注：受限于篇幅，以上僅列出部分eVTOL的關(guān)鍵技術(shù)。2023年2023年，Joby,Archer,Lilium,Vertical等頭部eVTOL公司已完成首架全尺寸原型機(jī)的飛行測試，實(shí)現(xiàn)了垂直起降、高速巡航、懸停飛行過渡到前飛等各項(xiàng)主要飛行任務(wù)，展示了eVTOL技術(shù)的可行性和未來的商業(yè)化潛力。多家廠商完成全尺寸eVTOL的飛行測試2023年4月2023年4月，寧德時(shí)代發(fā)布了其研發(fā)成功單體能量密度500Wh/kg的凝聚態(tài)電池，用于民用電動(dòng)載人飛機(jī)項(xiàng)目的合作開發(fā)，被航空界認(rèn)為是極大提升電動(dòng)飛機(jī)續(xù)航里程的關(guān)鍵性技術(shù)。2023年2023年，歐盟EASA在原有適航認(rèn)證基礎(chǔ)以外還從監(jiān)管角度定義了飛行器運(yùn)行要求、電池電量儲(chǔ)備要求、飛行員執(zhí)照、空域整合以及合規(guī)要求等。美國FAA和中國CAAC也在積極制定eVTOL的監(jiān)管框架并發(fā)布相關(guān)文件。全球民航部門加速完善2023年10月2023年10月，中國民航局為億航智能EH216-S型號載人無人駕駛航空器頒發(fā)型號合格證，也是全球首例面向無人駕駛eVTOL的型號合格證。億航智能隨后也舉行了EH216-S型號的商業(yè)載人首飛演示。全球首個(gè)無人駕駛eVTOL適航證頒發(fā)傾轉(zhuǎn)旋翼涵道矢量推進(jìn)效率傾轉(zhuǎn)旋翼涵道矢量推進(jìn)效率趨勢要點(diǎn)1：矢量推進(jìn)型evTOL成為市場認(rèn)可的主流技術(shù)路線城際運(yùn)輸?shù)瓤罩薪煌ㄉ虡I(yè)場景中應(yīng)用推廣顯示出更大的的潛力。eVTOL普遍采用分布式電推進(jìn)系統(tǒng)（DEP，DieVTOL基于推進(jìn)動(dòng)力方式形成多種主要技術(shù)路線備注：后兩類因飛行器可通過改變螺旋槳/機(jī)翼/涵道方向?qū)崿F(xiàn)飛行器的起降和巡航，又稱為矢量推進(jìn)型。構(gòu)型的優(yōu)勢取決于定位的商業(yè)場景及其對應(yīng)航程距離多旋翼構(gòu)型實(shí)現(xiàn)技術(shù)路線簡單，但是氣動(dòng)效率較低，有效載荷和航程相對有限。目前電池能量密度能支撐約30分鐘飛行，用于短距離運(yùn)輸場景，無法支持中長距離載客運(yùn)輸。復(fù)合翼“升力+巡航”復(fù)合翼構(gòu)型可以有效地提升巡航效率、航程和安全性，但是垂直起降和平飛攜帶的無效結(jié)構(gòu)重量過多，限制飛行器的有效載荷和飛行速度。復(fù)合翼傾轉(zhuǎn)旋翼構(gòu)型重量輕、推力大、效率高，在速度和航程上傾轉(zhuǎn)旋翼構(gòu)型重量輕、推力大、效率高，在速度和航程上具有優(yōu)勢，但開發(fā)難度、成本和風(fēng)險(xiǎn)高。傾轉(zhuǎn)涵道風(fēng)扇構(gòu)型的突出優(yōu)勢是在巡航階段所消耗的能量傾轉(zhuǎn)涵道風(fēng)扇構(gòu)型的突出優(yōu)勢是在巡航階段所消耗的能量更小，但是懸停的效率較低、消耗能量高，更適合長距離飛行場景。同時(shí)較其他機(jī)型更容易降低噪音和振動(dòng)。全球超900個(gè)eVTOL研發(fā)項(xiàng)目中，矢量推進(jìn)構(gòu)型最受青睞全球超900個(gè)eVTOL研發(fā)項(xiàng)目中，矢量推進(jìn)構(gòu)型最受青睞59個(gè)來源：美國垂直飛行協(xié)會(huì)，截止至2023年11月?eVTOL采用分布式電推進(jìn)系統(tǒng)，利用電力驅(qū)動(dòng)多個(gè)推進(jìn)器作為動(dòng)力裝置，能有效提升飛行器氣動(dòng)效率、載運(yùn)能力、環(huán)保性和魯棒性等，是一種航空領(lǐng)域的顛覆性技術(shù)。?電推進(jìn)系統(tǒng)下一步發(fā)展的方向是更高效、更輕量、更安全。具體包括但不限于：高壓平臺(tái)的應(yīng)用和推廣普及；通過提高電壓，降低線束直徑；進(jìn)一步提高功率元器件IGBT的效率；軸向磁通電機(jī)取代徑向磁通電機(jī)，降低電機(jī)重量；提高電源模塊和驅(qū)動(dòng)模塊的效率。?DEP推進(jìn)效率達(dá)95%-97%，比先進(jìn)的渦?DEP推進(jìn)效率達(dá)95%-97%，比先進(jìn)的渦趨勢要點(diǎn)2:高性能電池技術(shù)突破提升evTOL續(xù)航能力從經(jīng)濟(jì)性的角度出發(fā)，絕大多數(shù)主機(jī)廠都在正式生產(chǎn)的eVTOL機(jī)型中采用更為成熟穩(wěn)定、能量密度和功率密度相對較高的鋰電池，以實(shí)現(xiàn)航程距離較長的空中交通，另一方面也滿足適航認(rèn)證過程中對于飛行器安全性的要求，加速適航取證后的量產(chǎn)制造。未來隨著氫氣儲(chǔ)存技術(shù)和氫燃料電池的穩(wěn)定性得到顯著提升頭部廠商選擇現(xiàn)階段具備比較優(yōu)勢的鋰電池?航空業(yè)綠色轉(zhuǎn)型的能源選擇有鋰電池、氫燃料電池