2024具身大模型關鍵技術與應用報告-哈爾濱工業(yè)大學

大模型時代的具身智能什么是智能機器人？機器人的從古至今公元前9世紀機器人的從古至今公元前9世紀穆王驚視之，趨步俯仰，信人也。巧夫！領其顱，則歌合律；捧其手，則舞應節(jié)。千變萬化，惟意所適。王以為實人也，與盛姬內御并觀之?！读凶印珕枴分苣峦跷餮册鳙C遇見了一個名叫偃師的奇人。偃師造出了一個機器人，與常人的外貌極為相似，達到了以假亂真的程度。那個機器人會做各種動作。掰動它的下巴，就會唱歌；揮動它的手臂，就會翩翩起舞。33機器人的從古至今公元前4世紀機器人的從古至今公元前4世紀古希臘數(shù)學家阿基塔斯研制出一種由機械蒸汽驅動的鳥狀飛行器，并被命名為“鴿子”。其腹部是一套用于產生蒸汽的密閉鍋爐?！傍澴印痹O計圖阿基塔斯44萊昂納多·達·芬奇在1495年左右繪制了人形機器人的草圖。現(xiàn)在被稱為萊昂納多的機器人，能夠坐起、揮動手臂、移動頭部和下巴。萊昂納多的機器人機器人從“玩具”變成“工具”，并應用于工業(yè)領域1961年，世界上第一臺工業(yè)機器人Unimate，用于堆疊金屬1973年,KUKA公司推出的世界第一臺擁有六個機電驅動軸的工業(yè)機器人，F(xiàn)AMULUS一定的自主性：編程后可自主運行，自主判斷和決定接下來的操作66工業(yè)機器人已經相對成熟，人們開始探索更多場景、更智能的機器人醫(yī)療微創(chuàng)機器人物流運輸機器人展廳服務機器人家庭清潔機器人更好的自主性：應對的場景和任務更復雜，涉及多機器人協(xié)調77①自主能力：盡可能少的人類干預機器人智能機器人≈人類②泛化能力（通用能力）：具備強大的綜合能力88運動控制型機器人智能機器人1972200020082013世界第一臺全尺寸人形機器人人形運動能力重大進步人形機器人成功商業(yè)落地人形動作能力邁入新紀元WABOT-1，日本早稻田大學加藤實驗室，行走一步需要45秒，步伐也只有10公分ASIMO，日本本田制造，歷經數(shù)次迭代，掌握雙足奔跑、搬運托盤、上下樓梯等功能法國Aldebaran公司研發(fā)的小型教學陪伴用人形機器人NAOAtlas機器人，美國波士頓動力公司研發(fā)，有很強的運動控制能力重點關注機器人的運動能力新的關注點：機器人智能99①自主能力：盡可能少的人類干預②泛化能力（通用能力）：具備強大的綜合能力機器人智能機器人≈人類!工業(yè)機器人已經相對成熟，人們開始探索更多場景、更智能的機器人醫(yī)療微創(chuàng)機器人視覺技術物流運輸機器人視覺技術展廳服務機器人家庭清潔機器人語音技術人工智能真的讓機器人智能了嗎？像人類一樣工作的機器人？各方面強于人類的機器人？有意識和情感的機器人？2022年之后，可以處理通用任務的大模型一定的自主能力一定的泛化能力（通用能力）但離我們設想的智能還有多遠？人工智能真的讓機器人智能了嗎？先要說明的問題：如何構建一個智能機器人？硬件方面：2D視覺信號或3D點云信號2D視覺信號或3D點云信號機器人軀體的所有硬件結構機器人軀體的所有硬件結構觸覺信號或力反饋信號收集所有傳感器采集的環(huán)境信息和自身狀態(tài)。觸覺信號或力反饋信號根據(jù)當前狀態(tài)，對自身下一步的運動做出決策和規(guī)劃（具身推理）位姿信號向下位機下發(fā)送運動指令下位機通過運控技術執(zhí)行指令機器人視覺傳感器信號收集所有傳感器采集的環(huán)境信息和自身狀態(tài)。并綜合分析當前所有狀態(tài)（具身感知）機器人視覺傳感器信號機器人采集視覺信息，分析出應對咖啡進行清理機器人采集視覺信息，分析出應對咖啡進行清理根據(jù)當前狀態(tài)，對自身下一步的運動做出決策和規(guī)劃（具身推理）向下位機下發(fā)送運動指令（具身執(zhí)行）生成機器人的運動軌跡，包括手臂如何運動、手掌如何運動、腿部如何運動等下位機通過運控技術執(zhí)行指令機器人執(zhí)行清理咖啡需要如下幾步：1.扶正杯子并拿起杯蓋2.找到抹布3.用抹布擦拭地面4.將抹布放回5.將杯子和杯蓋扔掉回到問題：人工智能真的讓機器人智能了嗎？2D視覺信號或3D點云信號語音信號機器人軀體的所有硬件結構觸覺信號或力反饋信號位姿信號我們已經能造出具備基本性能的機器人硬件和高精度的傳感器還存在諸多問題還存在諸多問題軟件及算法方面：收集所有傳感器采集的環(huán)境信息和自身狀態(tài)。并綜合分析當前所有狀態(tài)（具身感知）收集所有傳感器采集的環(huán)境信息和自身狀態(tài)。并綜合分析當前所有狀態(tài)（具身感知）根據(jù)當前狀態(tài)，對自身下一步的運動做出決策和規(guī)劃（具身推理）向下位機下發(fā)送運動指令（具身執(zhí)行）下位機通過運控技術執(zhí)行指令運控技術相對來說已經較為成熟收集所有傳感器采集的環(huán)境信息和自身狀態(tài)。并綜合分析當前所有狀態(tài)（具身感知）請標記出抓握圖請標記出抓握圖中插著花的花瓶的位置多模態(tài)大模型LLaVA已能做到：但實際場景遠比此復雜這是什么？如何打開它？人的一些手勢是什么意思？3D點云圖如何理解？根據(jù)當前狀態(tài)，對自身下一步的運動做出決策和規(guī)劃（具身推理）來看目前大模型在一組數(shù)據(jù)集中的表現(xiàn)：根據(jù)當前狀態(tài)，對自身下一步的運動做出決策和規(guī)劃（具身推理）向下位機下發(fā)送運動指令（具身執(zhí)行形式包括代碼、技能庫API、關節(jié)旋轉角度等）?對于生成關節(jié)旋轉角度形式的運動指令：多模態(tài)大模型擴散小模型拿起可樂執(zhí)行的成功率執(zhí)行的流暢度泛化能力多模態(tài)大模型較低（60%~70%）不夠流暢物品泛化擴散小模型較高（90%以上）流暢位置泛化或無泛化技能泛化場景泛化物品泛化位置泛化無泛化泛化能力泛化能力?對于生成技能庫API或代碼API形式的運動指令：現(xiàn)實世界場景過于復雜，構建完整的技能庫幾乎不可能因此，當前人工智能還不足以讓機器人更智能，需要具身智能什么是具身智能？被動移動位置只能注意到眼中的物體在變大、縮小沒有學會走路，甚至不能意識到眼中物體逐漸變大就是在靠近自己有物理身體、與環(huán)境進行交互的具身智能VS實質：強調有物理身體的智能體通過與物理環(huán)境進行交互而獲得智有物理身體、與環(huán)境進行交互的具身智能VS抽象的智能（圍棋、文本處理、圖像識別）學習“移開遮擋后的物體識別”學習“有遮擋的物體識別”學習“移開遮擋后的物體識別”學習“有遮擋的物體識別”具身智能|CCF專家談術語，盧策吾，王鶴環(huán)境仿真環(huán)境仿真環(huán)境SimSim2Real真實環(huán)境真實環(huán)境交互感知環(huán)境反饋從交互中學習學習交互數(shù)據(jù)智能體智能體物體物體感知場景感知物物具體分為行為感知感知具體分為行為感知感知人表達人表達感知具體分為具體分為任務規(guī)劃導航具身問答推理任務規(guī)劃導航具身問答推理基于規(guī)則基于規(guī)則基于大模型基于學習執(zhí)行基于學習執(zhí)行1具身感知2具身推理3具身執(zhí)行具身感知表達感知場景感知表達感知場景感知行為感知行為感知物體感知物體感知重點需要感知能力的機器人：服務機器人、人機協(xié)作場景下機器人、社交信息的表示/建模/信息的表示/建模/重建信息理解下游任務感受信息獲取3D物體的幾何形狀、鉸接結構、物理屬性信息位姿估計、物體抓取、交互感知、可供性預測信息編碼方法物體感知場景重建（主動探索、主動定位、場景的表示）基于交互的物體檢測、空間關系理解、獲取3D物體的幾何形狀、鉸接結構、物理屬性信息位姿估計、物體抓取、交互感知、可供性預測信息編碼方法物體感知場景重建（主動探索、主動定位、場景的表示）基于交互的物體檢測、空間關系理解、時序變化檢測場景感知主要基于2D圖片和深度信息手勢識別、姿態(tài)檢測、人類行為理解社交導航、自動駕駛、人機協(xié)作行為感知主要基于視覺表情和聲音情感識別、意圖推斷（指代表示）表達感知RGB相機3D相機麥克風觸覺傳感器熱傳感器…物體感知物理屬性[1]https://adioshun.gitbooks.io/deep_drive/conte數(shù)據(jù)格式描述來源編碼方法點云一組點，每個點包括3D坐標和特征LiDAR基于點、線、面（三角形）表示物體表面CAD模型、點云轉換MeshNet體素一組立方體，每個立方體包括坐標、體積和特征點云轉換OccupancyNetwork深度圖為2D圖片每個像素匹配一個深度雙目立體相機、結構光相機、ToF相機GVCNN為使訓練的SDF不局限于一個物體，引入Code作為物體形狀標簽以在測試時對未見過的物體“預設”物體上每一個點對應一個（x，y，z代表該點在標準空間中的位置。給定任意一個圖片，分割其中物體，然后在每個像體在標準空間中的朝向，結合深度可得位移CNN預測：類別、分割Mask、標準空間Map正如句法分析、詞性標注之于早期的NLP領域，以及T5模型統(tǒng)一自然語言理解與生成有觀點認為，一個顯式的世界模型是人工智能的后續(xù)方向，該觀點下感知具有更重要的意義傳統(tǒng)的物體抓?。盒枰阎矬w的3D模型，然后使用分析的方法通過數(shù)學建模求解抓取點位基于深度學習的物體抓?。阂蕾?D相機獲取初步點云，不進行顯式的物體重建，直接基于點云通過神經網(wǎng)絡求解抓取位姿Model-FreeModel-Base物體重建得到高質量物體3D模型物體抓取原始點云Model-Base物體重建得到高質量物體3D模型物體抓取感知3D物體的幾何形狀，與計算機圖形學（CG）中的物體重建有密切聯(lián)系，即使不進行顯式的物體重建，一個好的物體重建方法往往也是很好的3D物體和場景的表示方法，例如有研究將CG中3DGS方法用于機器人任務多模態(tài)大模型結合物體分割模型由粗到細確物理屬性[1]https://adioshun.gitbooks.io/deep_drive/conte鉸接物體與剛性物體：剛性物體內部構件剛性連接，無法變形鉸接物體內部構件由關節(jié)或其他鉸接結構連接，部件可以旋轉、平移剛性物體關注幾何形狀，對其的操作主要為抓取、放置，即位姿估計和物體抓取任務鉸接物體除幾何形狀外，還關注對其鉸接結構。鉸接物體支持復雜的操作，例如開關柜門，擰瓶蓋通過分別建模物體部件和整體兩個層次的信息來表示鉸接物體，實現(xiàn)基于RGBD圖片預測物體鉸接結構。物體層次信息主要為關節(jié)參數(shù)和狀態(tài)，部件層次信息為部件的位姿和規(guī)模該論文同樣希望通過多視角圖片得到物體的形狀、外觀、鉸接結構信息。其認為物體狀態(tài)可以由形狀、外觀、鉸接狀態(tài)來表示，并使用不同的code來表示，通過一個變形網(wǎng)絡分離物體鉸接狀態(tài)（位移情況）得到新的物體位置，然后分別得到幾何形狀和物體外觀變形網(wǎng)絡使用有監(jiān)督訓練的方式，以形狀和鉸接code為輸入，預測物體每個點的位移物體可供性預測：預測物體能否支持機器人進行某種操作之前介紹的工作基于靜態(tài)數(shù)據(jù)集預測物體鉸接結構，該工作通過實際物理交互行為獲取物體鉸接結構首先以原始物體點云作為輸入，基于物體組件級分割，得到物體初始URDF文件機器人操作物體，基于當前URDF文件可以預測操作后的物體狀態(tài)，與實際觀察到的物體狀態(tài)進行對比，該監(jiān)督信號對于物體模型參數(shù)（URDF文件）是可微的，從而進行參數(shù)更新對于任務規(guī)劃和導航任務，知道一個物體可以施加哪些動作是很重要的，也可以用于指導物體操作Where2act訓練一個預測網(wǎng)絡，給定一個原子動作（推、拉對于圖片或點云中每一個像素預測1）可行性分數(shù)；2）動作軌跡；3）成功概率基于此，機器人可以知道每一個原子動作在物體上的最佳操作點位與軌跡[1]https://adioshun.gitbooks.io/deep_drive/conte物體的物理屬性種類及來源包括：物理屬性的表示1-2場景感知定義：場景感知是通過實現(xiàn)與場景的交互來理解粗粒度：場景中物體的組成、物體的語義、物體場景認知場景表示原始信息場景認知場景表示原始信息構建形成抽取構建形成場景信息獲取場景重建場景理解對象實現(xiàn)傳統(tǒng)SLAM對象實現(xiàn)傳統(tǒng)SLAM視覺信息深度學習主動映射主動定位拓撲結構場景圖激光信息觸覺超聲雷達信息化學易利用視覺信息深度學習主動映射主動定位拓撲結構場景圖激光信息觸覺超聲雷達信息化學易利用聽覺紅外難利用新表示聽覺紅外難利用激光傳感器工作原理雷達傳感器工作原理應用范圍狹窄并非場景感知任務焦點場景認知原始信息場景認知原始信息場景表示場景表示構建抽取形成構建抽取場景信息獲取場景重建場景理解對象實現(xiàn)傳統(tǒng)SLAM對象實現(xiàn)傳統(tǒng)SLAM視覺信息深度學習主動映射主動定位拓撲結構場景圖激光信息觸覺超聲雷達信息化學易利用視覺信息深度學習主動映射主動定位拓撲結構場景圖激光信息觸覺超聲雷達信息化學易利用聽覺紅外難利用新表示聽覺紅外難利用我周圍是我周圍是場景信息場景信息我在哪？我在哪？我周圍是我周圍是我在哪？我在哪？自動映射傳統(tǒng)SLAM同步定位主動映射主動SLAM主動定位我怎么能更快地完我怎么能更快地完成場景重建？我怎么能更快地知我怎么能更快地知道自己在哪？視圖的評估標準：信息增益、機器人運動成本和場基于拓撲的信息增益度量確定下一個最佳視圖RL方法，目的是識別最大化其場景記憶變化的視圖。核心思想是幫助智能體記住盡可能多的不可見的視覺特征將NBV任務與次優(yōu)對象（NBO）任務集成，選擇感興趣的對象，確定重建它們的最佳視角多智能體協(xié)作的主動映射ANL（Activeneurallocalization）通過端到端強化學習（包括感知模塊和策略模塊）后的“后驗概率”（可理解為位置的置信度從而最小化定位所場景認知原始信息場景認知原始信息場景表示場景表示構建抽取形成構建抽取場景信息獲取場景重建場景理解對象實現(xiàn)傳統(tǒng)SLAM對象實現(xiàn)傳統(tǒng)SLAM視覺信息深度學習主動映射主動定位拓撲結構場景圖激光信息觸覺超聲雷達信息化學易利用視覺信息深度學習主動映射主動定位拓撲結構場景圖激光信息觸覺超聲雷達信息化學易利用聽覺紅外難利用新表示聽覺紅外難利用高效的理解過程（例如分割、識別和檢測）為物體識別空間關系推理時序變化檢測這些方法的局限性：難以利用機器人與環(huán)境物理交互：通過移動（觸碰）物體實現(xiàn)更好的物體識別通過對象操作實現(xiàn)實例分割的流程Rel3dSpatialsenseopenimages物體變化包括環(huán)境中添加和移除的物體CSR框架圖DCA-Det框架圖維度納入現(xiàn)有的3D場景圖中。這種新的表現(xiàn)形態(tài)適用于場景預測和行為感知手勢的分割與檢測：基于膚色、輪廓、深度信息等信息檢測圖中手人類行為理解即通過檢測姿勢、運動和環(huán)境線索來推斷其MotionGPT的演示MotionLLM的基本架構1-4表達感知情感、意圖情感、意圖面部表情、語音面部表情、語音陪伴機器人智慧家居工業(yè)機器人AU）等這對于智能穿戴設備、智能手機和遠程醫(yī)療等應用場從人類的語音信號中提取音高、音調、節(jié)奏、音色等特征表示聲音頻率內容的圖像形式：梅爾頻譜圖（Mel-spectrogr在客服機器人、智能助理、心理健康監(jiān)測等領域有在本節(jié)特指結合人類的面部表情和語音來進意圖推測的精確度對于提升機器人在人機交互中的表現(xiàn)、提高用戶體驗和該模型能夠幫助機器人更好地理解自然語言并執(zhí)行最常見的指代表達形式為接收人類的語言指令來完成人類想動態(tài)圖注意力網(wǎng)絡DGA首次從語言驅動視覺推理的角度探索了引用表達式理解問題，顯著提高了識別復雜引用表達式的能力模塊化注意力網(wǎng)絡MAttNet通過模塊化框架關注相關單詞和視覺區(qū)域，并動態(tài)計算整體匹配分數(shù)，顯著提高了機器人的理解性能。指代表達理解的動態(tài)圖注意網(wǎng)絡(DGA)的整體架構模塊化注意網(wǎng)絡(MA具身感知小結信息的表示/建模/信息的表示/建模/重建信息理解下游任務感受信息獲取3D物體的幾何形狀、鉸接結構、物理屬性信息位姿估計、物體抓取、交互感知、可供性預測信息編碼方法物體感知場景重建（主動探索、主動定位、場景的表示）獲取3D物體的幾何形狀、鉸接結構、物理屬性信息位姿估計、物體抓取、交互感知、可供性預測信息編碼方法物體感知場景重建（主動探索、主動定位、場景的表示）基于交互的物體檢測、空間關系理解、時序變化檢測場景感知主要基于2D圖片和深度信息手勢識別、姿態(tài)檢測、人類行為理解社交導航、自動駕駛、人機協(xié)作行為感知主要基于視覺表情和聲音情感識別、意圖推斷（指代表示）表達感知RGB相機3D相機麥克風觸覺傳感器熱傳感器…服務機器人、人機協(xié)作場景下機器人、社交導航機器人多模態(tài)大模型處理語言、2D圖片、3D數(shù)據(jù)都沒有超出我們的2具身推理環(huán)境仿真環(huán)境仿真環(huán)境SimSim2Real真實環(huán)境真實環(huán)境交互感知環(huán)境反饋從交互中學習學習交互數(shù)據(jù)智能體智能體物體物體感知場景感知物物具體分為行為感知感知具體分為行為感知感知人表達人表達感知具體分為具體分為任務規(guī)劃導航具身問答推理任務規(guī)劃導航具身問答推理基于規(guī)則基于規(guī)則基于大模型基于學習執(zhí)行基于學習執(zhí)行2-1任務規(guī)劃任務規(guī)劃的假設：機器人有一組可執(zhí)行技能集潛在含義一：機器人并非萬能，技能集之外的不能執(zhí)行潛在含義二：需要顯式的指定技能，“你先拿捏住”這種自然語言要解析才能被執(zhí)行與軌跡規(guī)劃的區(qū)別（MotionPlanning）任務規(guī)劃：將人類指令分解為給定技能集的離散技能序列軌跡規(guī)劃：為機器人執(zhí)行操作技能生成連續(xù)7-DOF軌跡難點：需要理解人類指令需要理解周圍環(huán)境需要理解技能集合STRIPSPRODIGYAISHOP2PDDL示例ASP示例RPN網(wǎng)絡在符號空間進行回歸規(guī)劃，給定最終目標和當前觀測，從后向前預測中間目標，直到中間目標對當前狀態(tài)是可達的使用神經網(wǎng)絡進行搜索，而非傳統(tǒng)的啟發(fā)式搜索、深度優(yōu)先或廣度優(yōu)先搜索（搜索空間隨物體數(shù)量指數(shù)增加）任務規(guī)劃的關鍵問題結構化大模型輸出自然語言，需要解析后才能被程序使用，可能出現(xiàn)未精準匹配，無法映射為單技能的情況可行性結構化的動作不具備執(zhí)行的可行性，例如操作不存在的物體，物體離機器人太遠，物體不支持操作有用性即使結構化的動作、被操作物體可被執(zhí)行，它們還應該是有助于完成任務的任務規(guī)劃的兩種關鍵信息觀測信息場景描述、物體列表、圖片。不同類型的觀察信息有不同的特點反饋信息即使通過可行性檢測，機器人仍有可能執(zhí)行技能失敗，此時反饋信息很重要人類演示強化學習模仿學習強化學習模仿學習組成技能小模型指令文本、環(huán)境圖片技術路線二技術路線一技術路線二文本大模型（只拆解任務） 規(guī)劃大模型文本大模型（只拆解任務）VS通用執(zhí)行器具身執(zhí)行大模型VS通用執(zhí)行器具身執(zhí)行大模型技能庫技能庫切菜炒菜洗碗動作（一般就是軌跡）動作（一般就是軌跡））：2022傳統(tǒng)導航方法與LLM結合的導航方法傳統(tǒng)導航方法大模型之前大模型之后基于學習的導航方法2000SLAM建圖技術路徑規(guī)劃算法避障算法優(yōu)點：魯棒性強、計算效率高、實現(xiàn)方法簡強化學習算法強化學習算法視覺輸入輸出規(guī)劃輸出規(guī)劃視覺輸入輸出規(guī)劃視覺輸入環(huán)境環(huán)境理解記憶模塊特征提取模塊規(guī)劃模塊非端到端的方法端到端的方法模型構建方法空間布局建模：使用地圖構建和路徑規(guī)劃的聯(lián)合架構，如Guptaetal提出的認知圖構建拓撲圖建模：基于圖神經網(wǎng)絡進行的定位與導航行為分解場景占用狀態(tài)推斷：使用RGB-D觀測進行超出可見區(qū)域的場景占用狀態(tài)推斷，提升空間感知能力知識圖譜與深度強化學習結合：將知識圖譜與強化學習結合，推斷目標對象可能位置，生成導航策略貝葉斯關系記憶（BRM）：捕捉訓練環(huán)境中的布局先驗，在測試中更新記憶并高效規(guī)劃導航路徑近年來，對于未知環(huán)境路徑規(guī)劃任務，基于強化學習的端到端系統(tǒng)取得了顯著的成功DFP（直接未來預測）：基于未來行為預測的學習方法，解決感知運動控制問題BDFP：引入中間地圖表示，使黑盒更具解釋性DD-PPO方法三種輔助任務（動作條件對比預測編碼、逆動力學學和時間距離估計提升樣本和時間效率SAVN方法鼓勵模型在動態(tài)環(huán)境中進行自適應學習，提高了路徑規(guī)劃的靈活性和效率視覺語言導航是通過通過自然語言指令和視覺圖像進行導航的任務，其目標是開發(fā)一種能夠與人類進行自然語言交流并在現(xiàn)實3D環(huán)境中導航的具身智能體視覺語言導航可以根據(jù)時間節(jié)點分為大模型之前的視覺語言導航主要通過RNN,LSTM,Transformer等網(wǎng)絡來提取命令中的語義信息結合LLM的具身導航利用大模型作為輔助來幫助規(guī)劃器輸出規(guī)劃或者大模型直接作為規(guī)劃器來輸出規(guī)劃該論文針對視覺語言導航任務，提出四個輔助推理任務用于預訓練：軌跡復述、進度評估、角度預測、跨模態(tài)匹配，基于LSTM和注意力機制，提高視覺信息和語義信息的融合效果，進而生成更好的導航動作大模型的出現(xiàn)顯著改變了視覺語言導航領域的發(fā)展大模型，或者視覺語言聯(lián)合預訓練模型如CLIP等，為該領域帶來了新的方法和思路，使得視覺語言導航系統(tǒng)變得更加智能和魯棒根據(jù)大模型的作用不同，這里我們將這些工作分為：視覺語言聯(lián)合預訓練模型的應用大模型基于構建的地圖輸出規(guī)劃大模型基于圖片轉換的文本描述輸出規(guī)劃首先將粗粒度指令分解為關鍵詞短語，然后使用CLIP將短語與當前輸入圖片計算相似度，選擇最恰當?shù)膱D片作為下一步方向構建語義地圖，從已探索地圖和障礙物地圖中提取邊界地圖，每個邊界都是下一步候選搜索窗口LLM根據(jù)目標物體和候選搜索窗口的觀測信息之間的相關性打分，選擇下一步方向NavGPT將視覺觀察的文本描述、導航歷史和未來可探索方向作為輸入來推理代理的當前狀態(tài)，并做出接近目標的決定2-3具身問答具身推理小結具身執(zhí)行環(huán)境仿真環(huán)境仿真環(huán)境SimSim2Real真實環(huán)境真實環(huán)境交互感知環(huán)境反饋從交互中學習學習交互數(shù)據(jù)智能體智能體物體物體感知場景感知物物具體分為行為感知感知具體分為行為感知感知人表達人表達感知具體分為具體分為任務規(guī)劃導航具身問答推理任務規(guī)劃導航具身問答推理基于規(guī)則基于規(guī)則基于大模型基于學習執(zhí)行基于學習執(zhí)行在具身推理中我們介紹了三個重點任務：任務規(guī)劃、導航模仿學習從樣例中學習；機器人學習過程中不與環(huán)3-1模仿學習模仿學習可以分為兩部分：對圖像的編碼，圖像表示映射到動作一般而言，圖像的編碼器使用預訓練的視覺編碼器更好，如果只使用樣例數(shù)據(jù)集訓練編碼器會導致實際應用中缺乏泛化性機器人的動作空間一般是連續(xù)的。對于連續(xù)動作值的預測一般有以下幾類：想辦法直接映射到動作想辦法直接映射到動作直接策略隱式策略擴散策略最經典、使用最廣泛的策略學習算法，是將圖像編碼后直接映射到動作唯一的區(qū)別在于損失函數(shù)的設計，即預測的動作值與真實動作值之間的損失包括RT-1、RT-2在內的具身多模態(tài)大模型均采用該方法模仿學習數(shù)據(jù)集往往假設：專家完成任務只使用一種方式真實軌跡有多條的情況下，使用回歸的方式就會有問題真實軌跡有多條的情況下，使用回歸的方式就會有問題作者認為上述假設錯誤地認為，樣例數(shù)據(jù)集的動作來自同一個分布。真實情況是多個分布。此方法將動作進行聚類，然后分別預測動作的類別和偏移量直接的動作映射存在一些問題，包括：軌跡不連續(xù)多種模式（存在多種軌跡）作者提出隱式策略，不直接建模條件概率分布，而是建模觀察與動作的聯(lián)合概率分布。在實際推理中，需要基于聯(lián)合概率分布，基于優(yōu)化的方法尋找最優(yōu)動作。為機器人生成動作其實是生成軌跡，因為生成動作一般不是預測一個動作，而是生成動作序列。軌跡生成需要考慮序列的連貫性，因此有研究者將其他領域中的生成方法引入策略學習中：聯(lián)合概率建模隱行為克隆擴散模型生成圖片擴散策略生成軌跡序列訓練過程：加噪：從專家演示中隨機采樣一條軌跡，然后不停的向其中加入噪聲；去噪：取加噪后的軌跡，基于觀察預測加入的噪聲，進行軌跡的還原；推理：初始從高斯分布中采樣一小段軌跡，基于這段軌跡和觀察預測噪聲，然后減去噪聲，去噪持續(xù)K步生成最后的軌跡無參數(shù)的策略學習算法：對于給定圖片，尋找和它最相似的一組圖片，取這組圖片對應的動作進行加權平均，即為輸出動作證明了視覺編碼的重要性。使用好的視覺編碼，結合簡單的策略學習算法，效果可以達到與行為克隆同等水平3-2強化學習獎勵函數(shù)r=R(Z,a,e)多任務訓練中不同任務之間獎勵大小差別可能太大，將獎勵預測R和回報預測Q看作離散回歸(分類)問題。用CE損失函數(shù)狀態(tài)預測模型ZI=d(Z,a)以上五個組件均為MLP(LayerNorm，Mish激活函數(shù))a(動作)sa(動作)在TD-MPC基礎上添加了多任務e的支持交互πexploration更新策略πexploration得到πpretrained交互πpretrained更新策略πpretrained得到πtask…獎勵電機反饋信號多視角相機電機動作33未來方向人類演示強化學習模仿學習強化學習模仿學習組成技能小模型技術路線一文本大模型（只拆解任務）技術路線二技術路線一文本大模型（只拆解任務）技術路線二規(guī)劃大模型規(guī)劃大模型VS通用執(zhí)行器具身執(zhí)行大模型VS通用執(zhí)行器具身執(zhí)行大模型技能庫技能庫切菜炒菜洗碗動作（一般就是軌跡）動作（一般就是軌跡）指令文本、環(huán)境圖片指令文本、環(huán)境圖片第一行從左到右干擾物（Distractors）難度逐漸加大第二行從左到右分別是初始環(huán)境，變換桌布圖案，新的廚房環(huán)境數(shù)據(jù)規(guī)模減少50%數(shù)據(jù)多樣性降低25%混合預訓練數(shù)據(jù)分別帶來2%和11%的成功率增幅混合預訓練數(shù)據(jù)分別帶來2%和11%的成功率增幅增加參數(shù)量分別帶來10%和20%的增幅visual：未見過的的背景、干擾物體、物體的顏色/外觀motion：未見過的物體位置/方向physical：未見過的大小和形狀semantic：未見過的目標物體、指令、概念額外增加一個多對象的任務，測試能否做到語言和對應物體的grounding匯編了來自22個不同機器人系統(tǒng)的超過一百萬個[3]Kimetal.OpenVL系統(tǒng)能直接從仿真轉移到現(xiàn)實世界并泛化出穩(wěn)健的材無參數(shù)的策略學習算法：對于給定圖片，尋找和它最相似的一組圖片，取這組圖片對應的動作進行加權平均，即為輸出動作證明了視覺編碼的重要性。使用好的視覺編碼，結合簡單的策略學習算法，效果可以達到與行為克隆同等水平一個基于視覺的機器人操控系統(tǒng),通過模仿學習實現(xiàn)對新任具身執(zhí)行小結大模型用于具身執(zhí)行會存在很多問題：推理速度慢、數(shù)量需求大、可解釋性差但是具身執(zhí)行強調泛化性，對物體位置、形狀、場景、技能、機器人類別各種維度上的泛化性，泛化性也是目前最主要的挑戰(zhàn)因此大模型仍然是具身執(zhí)行未來的趨勢目前使用大模型壓縮大量數(shù)據(jù)，實現(xiàn)一個比較好的擬合效果，在真實場景數(shù)據(jù)上有很好的泛化性，仍然是最有可能實現(xiàn)通用執(zhí)行模型的方式雖然目前10B量級以下大模型的能力不斷增強，但是1B以上的模型規(guī)模應該有必要的如果不在具身執(zhí)行上取得突破，實現(xiàn)一個通用執(zhí)行模型，那么科幻電影中的智能人形機器人就永遠不會到來，人工智能也只存在于命令行和對話界面上具身智能今后如何發(fā)展？多模態(tài)具身智能大模型構建技術?如何解決數(shù)據(jù)問題？?如何處理復雜和多模態(tài)的輸入數(shù)據(jù)？?如何輸出穩(wěn)定、像人類的執(zhí)行動作？?如何讓模型具備更豐富的世界知識、常識知識？?如何像人類一樣有邏輯的分析和決策規(guī)劃？?決策規(guī)劃模型和執(zhí)行模型能否統(tǒng)一？基于大模型的持續(xù)學習技術?人類在一生當中需要不斷學習，智能機器人是否也需要這樣？?如何讓智能機器人在不斷學習時，避免“狗熊掰棒子”？基于大模型的交互式學習技術?人類的學習過程絕大部分是通過與環(huán)境交互，智能機器人是否也需如此？人類一直在通過接收環(huán)境反饋信息，糾正自己的行為和認知?如何讓智能機器人在真實世界中自主的去學習？仿真環(huán)境及世界模型的構建技術?如何構建可以媲美真實環(huán)境的仿真環(huán)境或世界模型？Real2Sim：模型算法、機器人硬件效果都需要在仿真環(huán)境中測試驗證，仿真越逼真越有效世界模型：模型的訓練也需要環(huán)境反饋怎么辦？需要仿真快速給出準確反饋為什么研究具身智能？新質生產力，是創(chuàng)新起主導作用，擺脫傳統(tǒng)經濟增長方式、生產力發(fā)展路徑，具有高科技、高效能、高質量特征，符合新發(fā)展理念的先進生產力質態(tài)。新質生產力作為先進生產力的具體體現(xiàn)形式，是馬克思主義生產力理論的中國創(chuàng)新和實踐，是科技創(chuàng)新交叉融合突破所產生的根本性成果?！ば挪俊度诵螜C器人創(chuàng)新發(fā)展指導意見》家務機器人四足機器狗物流機器人工業(yè)機器人具身智能的行業(yè)應用輪式機器人“小紅”哈爾濱工業(yè)大學計算學部社會計算與信息檢索研究中心語音識別準確率高：在35dB，45dB，55dB的環(huán)境音測試中，用戶整句的識別成功率達到了99%（即錄音的起始點判斷準確率極高）人機交互覆蓋范圍全：人工設計了20個常見的