機(jī)械設(shè)備-人形機(jī)器人系列之八：人形機(jī)器人究竟需要怎樣的AI模型

人形機(jī)器人系列之八人形機(jī)器人系列之八核心觀點(diǎn)：多模態(tài)大模型的發(fā)展為實(shí)現(xiàn)人形機(jī)器人任務(wù)級交互帶來曙光。大語言大模型賦能機(jī)器人感知模塊，進(jìn)一步加速下游應(yīng)用領(lǐng)域突破。大模型不僅為人形機(jī)器人帶來決策能力的提高，在感知模塊也正引領(lǐng)機(jī)器視實(shí)時性問題是大模型的主要難點(diǎn)，運(yùn)控問題上基礎(chǔ)模型更有優(yōu)勢。雖風(fēng)險提示。技術(shù)迭代速度不及預(yù)期、安全隱私法規(guī)影響、道德風(fēng)險。相對市場表現(xiàn)7%2%-9%11/2201/2303/2305/2307/23 機(jī)械設(shè)備滬深300請注意，孫柏陽并非香港證券及期貨事務(wù)監(jiān)察委員會的注冊持牌人，不可在香港從事受監(jiān)管活動?；@2023-06-182023-04-16報告日期合理價值（元/股）300124.SZ 一、人形機(jī)器人商業(yè)化落地困難重重，任 （一）通用化——人形機(jī)器人高需求和低滲透率矛盾的核心原因 （一）大模型時代下人形機(jī)器人的機(jī)遇 三、大模型賦能人形機(jī)器人感知模塊，SAM 23 （一）實(shí)時性是大模型面臨的重大難題 28 29 5 6 6 7 8 9 20 23 23 25 25 28 29 導(dǎo)讀：從大模型看人形機(jī)器人提升通用化水平的路徑現(xiàn)狀：研發(fā)通用化人形機(jī)器人一直是機(jī)器人領(lǐng)域最重要且至今尚未完成的挑戰(zhàn)。受制于人形機(jī)器人通用化水平低的現(xiàn)狀，人形機(jī)器人產(chǎn)業(yè)正面臨高需求和低滲透率的使用大模型的探索：如今，多家科技巨頭正積極布局多模態(tài)大模型領(lǐng)域，希望借助大模型的不同路徑：學(xué)界對多模態(tài)大模型的探索主要分為兩條技術(shù)路徑——VLM和VLA，分別聚焦于高層級規(guī)劃問題和一體化解決方案，其中VLM方向已經(jīng)取得了階段性的成果。一、人形機(jī)器人商業(yè)化落地困難重重，任務(wù)級交互任重道遠(yuǎn)促進(jìn)卻又相互限制彼此的發(fā)展。能否實(shí)現(xiàn)機(jī)器人控制層級中的任務(wù)級交互，將成為（一）通用化——人形機(jī)器人高需求和低滲透率矛盾的核心原因機(jī)器人產(chǎn)業(yè)前景廣闊。根據(jù)中國電子學(xué)會編寫的《中國機(jī)器人產(chǎn)業(yè)發(fā)展報告（2022服務(wù)機(jī)器人市場規(guī)模將有望增長到290億美元，中制造業(yè)產(chǎn)業(yè)工人約有6676萬人。麻省理工學(xué)院教授撰寫的《RobotsandJobs:絕大部分工廠里的生產(chǎn)工作仍然由人工完成。而在商用和服務(wù)領(lǐng)域，絕大多數(shù)機(jī)器 機(jī)器人硬件性能距離科幻電影中所描述的未來科技仍然有巨大的差距，但得益于工 發(fā)揮硬件的現(xiàn)有機(jī)能。以特斯拉Optimus為例，根據(jù)特斯拉在2023世界人工智能大機(jī)器人是典型的機(jī)電軟一體化產(chǎn)品，軟件與硬件是相互限制又相互促進(jìn)的矛盾體。市場促使機(jī)器人廠商加大投入研發(fā)性能更強(qiáng)大的機(jī)器人。如果沒有通用性的提高，就難以說服客戶群體選擇人形機(jī)器人，也就難以支撐人形機(jī)器人產(chǎn)業(yè)發(fā)展的正向循環(huán)，這也就是目前人形機(jī)器人商業(yè)化困難重重的核心原因。要理解實(shí)現(xiàn)任務(wù)級交互對于提高機(jī)器人通用化的意義，我們首先需要了解人形機(jī)器人的三大主要技術(shù)模塊，以及一個機(jī)器人從收到指令到完成命令之間需要經(jīng)過哪些一般地，我們將人形機(jī)器人分成三大技術(shù)模塊：環(huán)境感知模塊、人機(jī)交互模塊和運(yùn)儲器和AI人工智能芯片，負(fù)責(zé)對環(huán)境感知的信號進(jìn)行處理分析，形成決策信號反饋給控制器，相當(dāng)于人的大腦；運(yùn)動控制模塊包括機(jī)械傳動系統(tǒng)，根據(jù)大腦反饋的信落實(shí)到具體的流程規(guī)劃問題，機(jī)器人控制框架一般采用層級控制方法。根據(jù)和伺服級（ServoLevel）。在任務(wù)級，用戶指定機(jī)器人系統(tǒng)應(yīng)該執(zhí)行的任務(wù)，并輸出相對抽象的符號命令；在動作級，機(jī)器人將來自任務(wù)級的符號命令轉(zhuǎn)換成表示每個基本動作運(yùn)動路徑的中間構(gòu)型序列，具象化了執(zhí)行每個命令的路徑；在初始械臂的動力學(xué)模型對運(yùn)動軌跡進(jìn)行速度、加速度的限制和優(yōu)化以輸出機(jī)器人可以實(shí)），），2.對每個步驟完成路徑規(guī)劃（例如為了打開水龍頭，機(jī)械臂需要進(jìn)行圓周運(yùn)3.對路徑插值計算生成具體的軌跡和控制指令（例如規(guī)劃的路徑是否在物理上可4.利用電流信號操縱電機(jī)完成各個制定好的動作（運(yùn)行伺服驅(qū)動器里的三環(huán)控制）任何場景下，用戶僅需向機(jī)器人明確抽象的任務(wù)目標(biāo)，它便能夠理解自然語言并自主拆解任務(wù)內(nèi)容，輸出具體決策與操作指令。同時，機(jī)器人還能夠根據(jù)任務(wù)執(zhí)行過程中的反饋信息，及時對指令進(jìn)行修正，從而確保最終實(shí)現(xiàn)任務(wù)目標(biāo)。實(shí)現(xiàn)了任務(wù)其余場景下均具備高度的自主運(yùn)行能力，無需掌握機(jī)器人專業(yè)操作知識的機(jī)器人應(yīng)用工程師介入，這就大幅提升了人形機(jī)器人的通用化水平，解決了人形機(jī)器人商業(yè)化落地難的問題。以目前的人形機(jī)器人落地案例來看，實(shí)現(xiàn)任務(wù)級交互的難點(diǎn)主要集中在如何讓機(jī)器高層級的任務(wù)規(guī)劃還是需要依靠人工示教的形式實(shí)現(xiàn)，機(jī)器人難以自主完成。當(dāng)前的機(jī)器人控制系統(tǒng)不具備常識理解能力和專業(yè)技能，無法把任務(wù)目標(biāo)和需要執(zhí)行的動作聯(lián)系起來。這就需要專業(yè)的機(jī)器人應(yīng)用工程師提前理解任務(wù)，并把任務(wù)拆解成合適的動作，使用機(jī)器人編程語言完成機(jī)器人應(yīng)用程序的編寫、調(diào)優(yōu)和部署。以上文提到的接水任務(wù)為例，僅僅是打開水龍頭這一個子任務(wù)對機(jī)器人來講就有很多未執(zhí)行——水龍頭的樣式多種多樣，開啟的方式也不盡相同。機(jī)器人首先要能理解面對的是一個什么樣的水龍頭，該如何開啟，開啟到什么程度能兼顧接水速度和避免如何讓人形機(jī)器人實(shí)現(xiàn)自主規(guī)劃，將成為決定人形機(jī)器人能否順利商業(yè)化落地的關(guān)二、多模態(tài)大模型為實(shí)現(xiàn)任務(wù)級交互帶來曙光本章節(jié)導(dǎo)讀：大模型在常識理解、推理決策等方面的能力可以彌補(bǔ)人形機(jī)器人在決線上均涌現(xiàn)出了一系列具有突破性意義的大模型。本章節(jié)將詳細(xì)介紹目前主流的幾（一）大模型時代下人形機(jī)器人的機(jī)遇領(lǐng)域上。以往一套AI基礎(chǔ)模型的訓(xùn)練通常需要經(jīng)歷“數(shù)據(jù)收集--標(biāo)注--調(diào)參優(yōu)只針對某個特定領(lǐng)域有效而缺乏通用性，在面對很多對時效性需求高的場合（譬如由于機(jī)器人算法工程師難以窮盡所有的場景，所以當(dāng)機(jī)器人面臨這些“邊緣問題”時，無法借助訓(xùn)練集的數(shù)據(jù)來給出合理的動作反饋。目前基主要方案還是case-by-case，力圖覆蓋盡可能多的場景，但這不僅需要大量計算資源，也顯著提高了機(jī)器人的訓(xùn)練成本。進(jìn)行連貫的交互，還具備零樣本/小樣本學(xué)習(xí)的能力。把這些能力應(yīng)用到需求——任務(wù)級交互。一個正確且可行的解決方案，從而提高了泛化能力；同時，大模型對于自然語言的理解能力也讓機(jī)器人的使用者從必須掌握編程語言的專業(yè)算法工程師變成了一般的業(yè)走向大規(guī)?？焖俦l(fā)的起點(diǎn)。首席執(zhí)行官黃仁勛再次強(qiáng)調(diào)，人工智能的下一個浪潮將是具身智能，即能理解、推理、并與物理世界互動的智能系統(tǒng)。雖然目前已有將語言大模型應(yīng)用與人形機(jī)器人語言指令轉(zhuǎn)化為機(jī)器人編程語言，但是單一模態(tài)大模型仍存在局限性：語言和行動的鴻溝，阻礙了搭載AI的人形機(jī)器人像人一樣行動。這些大模型欠缺和真實(shí)物理世器人不該只局限于一種模態(tài)的信號處理，而是應(yīng)當(dāng)像人類一樣，能夠多維度的感知和理解環(huán)境。對話意圖識別以及更精確的情感分析，從而提高決策的總體準(zhǔn)確率，提供更加人性的實(shí)驗(yàn)論證，多模態(tài)學(xué)習(xí)通過聚合多源數(shù)據(jù)的信息，可以使模型學(xué)習(xí)到的表示更加single(provably)[J].紛入局。其中，有利用機(jī)器人訓(xùn)練數(shù)據(jù)對大語言模型直接微調(diào)的，也有直接使用具身大模型?？v觀學(xué)界和業(yè)界對于多模態(tài)大模型的研究方向，在人形機(jī)器人領(lǐng)域的技術(shù)路線主要接口調(diào)用傳統(tǒng)控制算法來實(shí)現(xiàn)機(jī)器人的運(yùn)動控制。另一大路線是嘗試搭建一體化的1.技術(shù)路線其一：多模態(tài)大模型（VLM）+傳統(tǒng)運(yùn)動控制算法AI天生就是“語言上的巨人，行動上的矮子”。雖然大語言模型可以把高層級的任務(wù)拆分成若干個在語義上符合邏輯的子任務(wù)，但是由于LLM普遍缺乏真實(shí)物理世界的經(jīng)驗(yàn)，無法判斷其輸出會對環(huán)境產(chǎn)生什么樣的影響，也不知道真實(shí)環(huán)境和機(jī)器人的子任務(wù)指令不一定能在某個實(shí)際的場景中被機(jī)器人順利執(zhí)行。因此，谷歌、Meta型有SayCan、PaLM-E和Imagebind。Say部分主要由大語言模型構(gòu)成。首先大語言模型會在Prompt的引導(dǎo)下拆分任務(wù)目訓(xùn)練得到的，主要負(fù)責(zé)根據(jù)傳感器的視覺信號，感知現(xiàn)實(shí)環(huán)境，并對決策集中的每一個決策計算出相應(yīng)的成功執(zhí)行概率。圖10：SayCan模型的架構(gòu)和技術(shù)原理：對可行指Affordance函數(shù)的加入可以讓SayCan模型基于現(xiàn)實(shí)情況推翻無法實(shí)現(xiàn)的決策。在實(shí)可以幫助機(jī)器人做出最符合現(xiàn)實(shí)的決策。圖11：SayCan模型可以讓機(jī)器人結(jié)合實(shí)際情languageinroboticaffordances[J].arXivprepSayCan模型的最大價值在于它解決了大模型在機(jī)器人應(yīng)用領(lǐng)域中的第零層問題。機(jī)器人在處理每一個決策時，能夠在充分考慮其對長遠(yuǎn)目標(biāo)的影響和貢獻(xiàn)的同時，（2）PaLM-E：跨越多模態(tài)的“通才”和柏林工業(yè)大學(xué)的研究團(tuán)隊(duì)融合了Google當(dāng)時最新的大型語言模型PaLM和最先進(jìn)的視覺模型ViT-22B，發(fā)布了一款應(yīng)用于機(jī)器人領(lǐng)域的多模態(tài)大模型Pa實(shí)世界的連續(xù)觀察，使用多模態(tài)標(biāo)記與文本交錯等方式形成多模態(tài)句子（包括語言本內(nèi)容，可以是問題的答案，也可以是以文本形式生成的一系列機(jī)器人應(yīng)當(dāng)執(zhí)行的languagemodel[J].arXivpreprintarXi覺問答，圖像字幕生成等多模態(tài)任務(wù)，并且展示出了更高的準(zhǔn)確率。研究團(tuán)隊(duì)通過圖14：多任務(wù)混合訓(xùn)練顯著提高了機(jī)器人執(zhí)行各類任languagemodel[J].arXivpreprintarXiPaLM-E提供了一個將多模態(tài)大模型直接與人形機(jī)器人結(jié)合的可行方案。Saycan模型因?yàn)樾枰诘谝徊嚼么笳Z言模型輸出可行決策集，再依靠Affordance函數(shù)判斷2023年5月，Meta宣布開源了一種可以將可以橫跨6種不同模態(tài)的全新AI模型火車的圖片和視頻，同時它還可以根據(jù)聲音的變化生成對應(yīng)的深度圖和文字描述；態(tài)的數(shù)據(jù)放入統(tǒng)一的聯(lián)合嵌入空間進(jìn)行學(xué)習(xí)訓(xùn)練。這種以圖像為中心的配對方式一支持各類下游模型，還能做到杰出的跨模態(tài)檢索以及零樣本學(xué)習(xí)的表現(xiàn)。例如，ImageBind在少于四個樣本分類的top-1準(zhǔn)確率上，要比Meta的自監(jiān)督AudioMAE模型和在音頻分類fine-tune上的監(jiān)督Aud與世界交互的能力。Meta團(tuán)隊(duì)還表示，未來還將加入觸覺、語音、嗅覺和大腦功能2.技術(shù)路徑其二：感知-決策-控制一體化的VLA大模型VLM大模型輸出的決策指令仍需借助低級別策略或API才能完成對機(jī)器人的運(yùn)動控器人在輸入端可以實(shí)現(xiàn)類似人類的多感官感知，但VLM大模型在人形機(jī)器人的輸出端仍存在天然的缺陷。VLM輸出的預(yù)測結(jié)果處于高層級，但落實(shí)到實(shí)際機(jī)器人關(guān)節(jié)針對VLM大模型的缺陷，許多研究團(tuán)隊(duì)正在嘗試搭建直接對低層級運(yùn)動控制進(jìn)行預(yù)（1）DeepMindRT-2：直接實(shí)現(xiàn)端到端的機(jī)器人型的方式，而是直接采用已有的VLM模型作為主模型，再使用更適合機(jī)器人任務(wù)的圖19：RT-2的架構(gòu)：輸入自然語言指令，輸出控制執(zhí)行器運(yùn)動的文transferwebknowledgetoroboticcontrol[J].ar人類識別。每項(xiàng)任務(wù)都需要理解視覺語義概念，以及執(zhí)行機(jī)器人控制以操作這些概念類的命令，機(jī)器人被要求對機(jī)器人數(shù)據(jù)中從未見過的對象或場景執(zhí)行操作任務(wù)。在圖20：RT-2的兩個實(shí)例模型和基線模型在不同訓(xùn)練任務(wù)中的執(zhí)行成transferwebknowledgetoroboticcontrol[J].arr的引入可以讓機(jī)器人更有邏輯地去完成一項(xiàng)復(fù)雜的長任務(wù)。圖21：引入CoT能夠幫助RT-2完成更為復(fù)雜、時transferwebknowledgetoroboticcontrol[J].ar（2）RoboCat：能夠自我學(xué)習(xí)的“機(jī)器貓”到的PaLM-E以及RT-2中所使用的機(jī)器人數(shù)據(jù)集絕大部分?jǐn)?shù)據(jù)是通過人工示范與人工遙操作的方式收集的，費(fèi)時費(fèi)力而且效率很低。如果可以通過某種方式自動生成以解決和適應(yīng)多種任務(wù)的機(jī)器人AI智能體。研究人員將多模態(tài)大模型Gato的架構(gòu)與在模擬環(huán)境與物理環(huán)境中處理語言、圖像和動作等任務(wù)的能力。以快速解決需要精度和理解性的任務(wù)，例如從碗中取出水果或解決形狀匹配謎題，這為實(shí)現(xiàn)更加復(fù)雜的機(jī)械控制和應(yīng)用場景拓展提供了基礎(chǔ)。圖22：RoboCat可以在虛擬空間或現(xiàn)實(shí)空間人工示教的方式，對RoboCat進(jìn)行第一輪的訓(xùn)練。之后RoboCat便進(jìn)入“自我改進(jìn)界出的自我學(xué)習(xí)、自我迭代能力大大降低了模型訓(xùn)練的投入成本，同時也為實(shí)現(xiàn)端到圖24：RoboCat的執(zhí)行成功率遠(yuǎn)超基線模型（左圖為模擬空間的執(zhí)行成功率，右圖為現(xiàn)實(shí)世界的執(zhí)行成功率）綜上所述，目前在大模型技術(shù)機(jī)器人應(yīng)用領(lǐng)域的兩條主流技術(shù)路線上均有突破性進(jìn)三、大模型賦能人形機(jī)器人感知模塊，SAM帶來機(jī)器視覺訓(xùn)練新范式本章節(jié)導(dǎo)讀：大模型不僅為人形機(jī)器人帶來決策能力的提高，在感知模塊也正引領(lǐng)覺在下游機(jī)器人應(yīng)用領(lǐng)域的突破。似于ChatGPT用人類語言對話的方式給機(jī)器下命令。SAM接受了數(shù)百萬張圖像和超過十億個掩碼的訓(xùn)練，可為圖像或視頻中的任何創(chuàng)建準(zhǔn)確的分割模型通常需要領(lǐng)域?qū)＜疫M(jìn)行高度專業(yè)化的工作，同時需要強(qiáng)大的算了多樣化數(shù)據(jù)訓(xùn)練的可提示模型，已經(jīng)學(xué)會了物體的一般概念，并且可以為任何圖像或視頻中的任何對象生成掩碼，甚至包括在訓(xùn)練期間沒有遇到過的對象和圖像類用戶可以畫一個大致的框包含需要分割的對象，AI會自動提供分割結(jié)果3）自動這樣一來，一旦使用者給出提示，SAM只需要50毫秒就能在習(xí)提示編碼與圖片編碼的不同結(jié)合，來理解人類在文字提示中表述的希望如何分割能。除了圖像分割模型SAM，Meta還同時發(fā)布了迄今為止體量最大的分割數(shù)據(jù)集SegmentAnything1-Billion（SA-1B），由1的圖像以及11億個高質(zhì)量分割掩碼組成，數(shù)據(jù)量超越了第二大的分割圖像數(shù)據(jù)集OpenImagesV5近400倍。雖然SAM并沒有完全理解人類的語言和視覺的能力，但SAM使用常見的公共分割數(shù)據(jù)集進(jìn)行訓(xùn)練，注釋員則需要人工按突出程度順序標(biāo)記標(biāo)注其他的部分即可，該階段標(biāo)注人員著眼于增加物品的多樣性，以幫助SAM可以自動標(biāo)注圖像并加入數(shù)據(jù)集中。同時，團(tuán)隊(duì)還開發(fā)了一個模糊感知模型，允許SAM個高質(zhì)量的遮罩，數(shù)據(jù)集的數(shù)據(jù)量也隨著SAM的不斷學(xué)習(xí)得以快速增長。圖31：SAM模型的學(xué)習(xí)成果可以通過數(shù)據(jù)，因此訓(xùn)練成本較高。有了圖像分割通用模型后，這些領(lǐng)域內(nèi)定制化開發(fā)產(chǎn)品的成本將會大幅降低，廠商將有更多的資金和精力去投入到下游應(yīng)用。同樣的，在人的準(zhǔn)確性和穩(wěn)定性。此外，SAM賦能下不斷進(jìn)步的感知層疊加大模型賦能下的決策層，未來我們大概率可以看到像素級別的圖像理解與更高級別的視覺內(nèi)容語義理解四、大模型or基礎(chǔ)模型，人形機(jī)器人究竟需要怎樣的本章節(jié)導(dǎo)讀：雖然大模型技術(shù)為實(shí)現(xiàn)高層級自主規(guī)劃帶來了方案，但從目前的情況在運(yùn)控領(lǐng)域，相對成熟的傳統(tǒng)基礎(chǔ)模型更能滿足我們的需求。大模型只是途徑而非（一）實(shí)時性是大模型面臨的重大難題想要實(shí)現(xiàn)人形機(jī)器人在現(xiàn)實(shí)場景中的應(yīng)用，不僅要求存在一個翻譯器可以把大模型生成的自然語言指令轉(zhuǎn)換為運(yùn)動控制信號。而一體化散分布的機(jī)械臂末端位置和底盤移動指令，而未能考慮連續(xù)運(yùn)動的軌跡平順性、時是只有5B數(shù)據(jù)量的RT-2模型，控制周期也只能達(dá)到5Hz，而這個數(shù)字和業(yè)界普遍要較為流暢的機(jī)器人運(yùn)動過程盡管大模型向我們展示了其卓越的決策能力，但基礎(chǔ)模型（傳統(tǒng)數(shù)學(xué)模型和參數(shù)量數(shù)據(jù)稀缺或領(lǐng)域特定任務(wù)更具適應(yīng)性，并且能夠快速迭代和實(shí)驗(yàn)，提供更準(zhǔn)確和高運(yùn)行模型非常重要，誰也不愿看到未來的人形機(jī)器人會是一個堆疊大量芯片、體型的應(yīng)用場景更加適用；望機(jī)器人的每一個動作都是可預(yù)知的、可控制的，即使出現(xiàn)了小的錯誤也可以立馬領(lǐng)域最為杰出的波士頓動力為例，其雙足機(jī)器人Atlas的主要運(yùn)動控制算法還是模型過真人動作捕捉的方式為機(jī)器人構(gòu)建正確的運(yùn)動學(xué)模型和動力學(xué)模型；在預(yù)測階段，各關(guān)節(jié)的驅(qū)動力，假設(shè)這個驅(qū)動力不變，預(yù)測下一時刻的運(yùn)動軌跡，并計算預(yù)測的運(yùn)動軌跡和實(shí)際軌跡的誤差；在控制階段，機(jī)器人通過優(yōu)化控制，求得最優(yōu)的各關(guān)使動作能夠符合機(jī)器人的物理約束，并將結(jié)果記錄在離線軌跡庫中。完成離