具身智能機(jī)器人學(xué)習(xí)算法DEXIL詳解

具身智能機(jī)器人學(xué)習(xí)算法DEXIL詳解1主要內(nèi)容2Dexcap論文詳解Dexcap代碼詳解1Dexcap論文詳解Dexcap基本原理

Abstract4從人類手部運(yùn)動(dòng)數(shù)據(jù)中進(jìn)行模仿學(xué)習(xí)，是賦予機(jī)器人現(xiàn)實(shí)世界操作能力的一個(gè)有前景的途徑。盡管其潛力巨大，但現(xiàn)有的手部運(yùn)動(dòng)捕捉系統(tǒng)的可移植性和將運(yùn)動(dòng)捕捉數(shù)據(jù)轉(zhuǎn)化為有效控制策略的困難仍是重大挑戰(zhàn)。為了解決這些問(wèn)題，本文提出了一個(gè)便攜的手部運(yùn)動(dòng)捕捉系統(tǒng)DEXCAP，以及一個(gè)新的模仿算法DEXIL，用于直接從人類手部運(yùn)動(dòng)捕捉數(shù)據(jù)中訓(xùn)練靈巧機(jī)器人的技能。DEXCAP基于SLAM和電磁場(chǎng)技術(shù)，結(jié)合環(huán)境的3D觀察，實(shí)現(xiàn)了對(duì)手腕和手指動(dòng)作的精準(zhǔn)跟蹤。通過(guò)豐富的數(shù)據(jù)集，DEXIL利用逆運(yùn)動(dòng)學(xué)和基于點(diǎn)云的模仿學(xué)習(xí)算法，幫助機(jī)器人復(fù)制人類手部動(dòng)作。此外，DEXCAP還提供了一個(gè)“人在回路”糾錯(cuò)機(jī)制，可以通過(guò)人類操作進(jìn)一步提升機(jī)器人的表現(xiàn)。通過(guò)六項(xiàng)靈巧操作任務(wù)的大量評(píng)估，本文的方法不僅展現(xiàn)了卓越的性能，還展示了該系統(tǒng)從非實(shí)驗(yàn)室環(huán)境中采集高質(zhì)量數(shù)據(jù)的能力，為未來(lái)的靈巧操作數(shù)據(jù)收集方法奠定了基礎(chǔ)。更多詳情請(qǐng)?jiān)L問(wèn)：https://dex-cap.github.io。DEXCAP有助于收集高質(zhì)量的人手動(dòng)作捕捉數(shù)據(jù)和3D觀察利用這些數(shù)據(jù)，DEXIL將其調(diào)整為機(jī)器人化身，并訓(xùn)練控制策略來(lái)執(zhí)行相同的任務(wù)UMI基本原理Introduction5我們應(yīng)該如何展示復(fù)雜的操控技能，以便機(jī)器人能夠?qū)W習(xí)現(xiàn)有方法的不足UMI框架：通過(guò)人類演示物理接口和策略接口解決上述問(wèn)題UMI框架主要貢獻(xiàn)：提供了一個(gè)實(shí)用且可訪問(wèn)的解決方案，能夠在任何環(huán)境中展示各種動(dòng)作，同時(shí)保持高效的技能轉(zhuǎn)移Dexcap基本原理Introduction6如何通過(guò)模仿學(xué)習(xí)（IL）使用機(jī)械手完成人類水平的動(dòng)作現(xiàn)有方法的不足一種新型便攜式人手動(dòng)作捕捉系統(tǒng)DEXCAP一個(gè)模仿學(xué)習(xí)框架DEXIL1.DEXCAP:實(shí)時(shí)跟蹤手腕和手指的動(dòng)作，以實(shí)現(xiàn)靈巧的操作任務(wù)2.DEXIL:利用手部動(dòng)作捕捉數(shù)據(jù)和點(diǎn)云觀察，直接學(xué)習(xí)靈巧的操作技能3.人在環(huán)校正:人在環(huán)校正機(jī)制與DEXCAP，顯著提高復(fù)雜任務(wù)中的機(jī)器人性能Dexacap框架主要貢獻(xiàn)：硬件系統(tǒng)1:便攜式人手動(dòng)作捕捉系統(tǒng)DexCap

7DEXCAP系統(tǒng)的設(shè)計(jì)圍繞著四個(gè)核心目標(biāo)展開(kāi)1.詳細(xì)的手指運(yùn)動(dòng)跟蹤：系統(tǒng)必須能夠精確地捕捉到手指的復(fù)雜運(yùn)動(dòng)，特別是在執(zhí)行靈巧操作任務(wù)時(shí)。2.精確的6自由度（6-DoF）手腕姿態(tài)估計(jì)：系統(tǒng)需要精確跟蹤手腕在空間中的位置和姿態(tài)，涵蓋六個(gè)自由度（位置的三維坐標(biāo)和手腕的旋轉(zhuǎn)角度），以確保手部操作的準(zhǔn)確性。3.統(tǒng)一坐標(biāo)系下的3D觀測(cè)記錄：系統(tǒng)要能夠在一個(gè)與手部動(dòng)作對(duì)齊的統(tǒng)一坐標(biāo)系中，記錄3D環(huán)境的觀測(cè)信息，確保手部動(dòng)作與環(huán)境信息能夠在同一坐標(biāo)框架下進(jìn)行處理。4.出色的便攜性：系統(tǒng)必須便于攜帶，能夠在各種現(xiàn)實(shí)環(huán)境中進(jìn)行數(shù)據(jù)采集，支持在野外或非實(shí)驗(yàn)室環(huán)境中的日?；顒?dòng)數(shù)據(jù)收集；5.零妥協(xié)的可擴(kuò)展性：簡(jiǎn)單校準(zhǔn)、低成本構(gòu)建、高魯棒性硬件系統(tǒng)1:便攜式人手動(dòng)作捕捉系統(tǒng)DexCap

81.詳細(xì)的手指運(yùn)動(dòng)跟蹤目標(biāo)：準(zhǔn)確跟蹤操作任務(wù)中的手指動(dòng)作技術(shù)：系統(tǒng)使用Rokoko動(dòng)作捕捉手套，手套內(nèi)嵌electromagneticfield（EMF）傳感器。與視覺(jué)系統(tǒng)相比，它在處理遮擋問(wèn)題時(shí)表現(xiàn)更好，后者在手與物體交互時(shí)常常出現(xiàn)遮擋問(wèn)題工作機(jī)制：每個(gè)指尖都嵌有微型磁性傳感器，信號(hào)接收器安裝在手套背側(cè)，通過(guò)測(cè)量從接收器到傳感器的相對(duì)3D位移來(lái)確定優(yōu)勢(shì)：該系統(tǒng)能夠避免手與物體交互時(shí)常見(jiàn)的視覺(jué)遮擋時(shí)的問(wèn)題，確保在復(fù)雜場(chǎng)景下的魯棒性硬件系統(tǒng)1:便攜式人手動(dòng)作捕捉系統(tǒng)DexCap

92.精確的6自由度（6-DoF）手腕姿態(tài)估計(jì)目標(biāo)：追蹤手腕（對(duì)應(yīng)末端TCP）在空間中的位置和姿態(tài)，這對(duì)于機(jī)器人操作至關(guān)重要技術(shù)：系統(tǒng)采用SLAM（同時(shí)定位與建圖）技術(shù)，通過(guò)安裝在手套上的IntelRealsenseT265相機(jī)實(shí)現(xiàn)手腕的6-DoF跟蹤,這些相機(jī)結(jié)合雙目魚(yú)眼鏡頭拍攝的圖像與IMU（慣性測(cè)量單元）數(shù)據(jù)，生成環(huán)境地圖，實(shí)現(xiàn)對(duì)手腕六自由度姿勢(shì)的一致跟蹤優(yōu)勢(shì)：便攜性：相機(jī)無(wú)需依賴第三方攝像頭，即可跟蹤手腕姿態(tài)，確保手腕即使不在視線內(nèi)也能準(zhǔn)確捕捉；長(zhǎng)時(shí)間精度：SLAM技術(shù)可以利用環(huán)境地圖自動(dòng)校正位置漂移，使得它在長(zhǎng)時(shí)間數(shù)據(jù)采集中依然保持可靠；姿態(tài)信息：IMU提供了手腕的關(guān)鍵姿態(tài)信息，這對(duì)于后續(xù)訓(xùn)練機(jī)器人的操作策略非常重要硬件系統(tǒng)1:便攜式人手動(dòng)作捕捉系統(tǒng)DexCap

103.3D環(huán)境觀測(cè)與校準(zhǔn)目標(biāo)：在數(shù)據(jù)采集過(guò)程中，不僅捕捉手部運(yùn)動(dòng)，還要記錄3D環(huán)境觀測(cè)，以訓(xùn)練機(jī)器人操作策略（視覺(jué)模態(tài)）技術(shù)：設(shè)計(jì)了可穿戴的相機(jī)背心，其中搭載了一個(gè)安裝在胸部的IntelRealsenseL515RGB-DLiDAR相機(jī)，用于在數(shù)據(jù)采集過(guò)程中采集環(huán)境視覺(jué)數(shù)據(jù)校準(zhǔn)過(guò)程：設(shè)計(jì)了一個(gè)3D打印的相機(jī)架，確保相機(jī)幀之間保持一致的變換；在數(shù)據(jù)采集開(kāi)始前，所有跟蹤相機(jī)都放置在相機(jī)架上的固定槽位進(jìn)行校準(zhǔn)。校準(zhǔn)后，這些相機(jī)被移到手部安裝的相機(jī)槽位，開(kāi)始記錄手部運(yùn)動(dòng)；手部姿態(tài)數(shù)據(jù)通過(guò)初始的固定變換轉(zhuǎn)換到胸部相機(jī)的觀測(cè)框架中；為了穩(wěn)定相機(jī)框架并減少人體運(yùn)動(dòng)對(duì)采集數(shù)據(jù)的影響，LiDAR相機(jī)下方安裝了另一枚魚(yú)眼跟蹤相機(jī)，進(jìn)一步提升SLAM性能硬件系統(tǒng)1:便攜式人手動(dòng)作捕捉系統(tǒng)DexCap

114.系統(tǒng)便攜性目標(biāo)：確保整個(gè)系統(tǒng)具有便攜性、可擴(kuò)展性，能夠適應(yīng)現(xiàn)實(shí)環(huán)境中的數(shù)據(jù)采集組件：核心計(jì)算設(shè)備是IntelNUC13Pro小型

PC，放置在背包中；系統(tǒng)由一個(gè)40000mAh的移動(dòng)電源供電，能支持大約40分鐘的連續(xù)數(shù)據(jù)采集設(shè)計(jì)特點(diǎn)：輕便：整個(gè)背包總重量?jī)H為

3.96

磅；快速設(shè)置：DexCap系統(tǒng)設(shè)計(jì)為可以快速穿戴并校準(zhǔn)，可在10秒內(nèi)完成穿戴和校準(zhǔn)；成本：系統(tǒng)模塊化設(shè)計(jì)，允許用戶選擇不同品牌和型號(hào)的相機(jī)、動(dòng)作捕捉手套和小型

PC硬件系統(tǒng)2:配備靈巧手的雙機(jī)器人系統(tǒng)

12驗(yàn)證部署：為了驗(yàn)證由

DEXCAP

所采集數(shù)據(jù)訓(xùn)練的機(jī)器人策略（DiffusionPolicy）硬件配置：兩臺(tái)

Franka

Emika

機(jī)械臂，每個(gè)機(jī)械臂都配備了一個(gè)

LEAPHAND靈巧手(四指16關(guān)節(jié))數(shù)據(jù)采集：使用的是示教數(shù)據(jù)收集過(guò)程中相同的觀察攝像機(jī)——只使用激光雷達(dá)相機(jī)，不需要手腕相機(jī)；機(jī)械臂和

LEAPHAND靈巧手都在20Hz的控制頻率下工作；控制：機(jī)械臂采用末端執(zhí)行器位置控制，LEAPHAND靈巧手采用關(guān)節(jié)位置控制學(xué)習(xí)算法:DEXIL

13使用

DEXCAP

系統(tǒng)記錄的人類手部運(yùn)動(dòng)數(shù)據(jù)，訓(xùn)練出能夠進(jìn)行靈巧操作的機(jī)器人策略，在實(shí)現(xiàn)這一目標(biāo)的過(guò)程中，面臨著幾個(gè)核心問(wèn)題：1.如何將人類手部運(yùn)動(dòng)重定位到機(jī)器人手上？因?yàn)槿祟愂植亢蜋C(jī)器手之間存在結(jié)構(gòu)差異，需要將人類手部運(yùn)動(dòng)準(zhǔn)確地映射到機(jī)器人手的控制空間中，這個(gè)過(guò)程稱為運(yùn)動(dòng)重定向（re-target）2.在雙手操作時(shí)，如何在高維動(dòng)作空間中學(xué)習(xí)靈巧操作的策略？雙手操作涉及復(fù)雜的動(dòng)作協(xié)調(diào)和高維度的動(dòng)作空間。學(xué)習(xí)在這樣復(fù)雜的設(shè)置下如何有效地控制機(jī)器人的每個(gè)關(guān)節(jié)、手指等，需要一個(gè)適應(yīng)高維度動(dòng)作空間的學(xué)習(xí)算法3.如何處理從人類運(yùn)動(dòng)捕捉數(shù)據(jù)直接學(xué)習(xí)時(shí)可能遇到的失敗案例，以及如何解決這些問(wèn)題？在模仿學(xué)習(xí)過(guò)程中，直接從人類捕捉的數(shù)據(jù)學(xué)習(xí)有時(shí)會(huì)導(dǎo)致機(jī)器人執(zhí)行意外的、不正確的動(dòng)作。這些失敗情況需要被分析，并且找到有效的解決方案，例如通過(guò)調(diào)試和改進(jìn)學(xué)習(xí)策略來(lái)應(yīng)對(duì)這些問(wèn)題學(xué)習(xí)算法:DEXIL

141.運(yùn)動(dòng)重定向（IV-A）將

DEXCAP

采集的技術(shù)人員手部運(yùn)動(dòng)數(shù)據(jù)轉(zhuǎn)換為適用于機(jī)器人控制系統(tǒng)的動(dòng)作空間和觀測(cè)空間。即將手部動(dòng)作（如手指的彎曲、手腕的旋轉(zhuǎn)等）準(zhǔn)確映射到機(jī)器人手的控制系統(tǒng)中，使得機(jī)器人能夠模仿技術(shù)人員的動(dòng)作2.基于點(diǎn)云的擴(kuò)散策略訓(xùn)練（IV-B）使用經(jīng)過(guò)重定向的數(shù)據(jù)來(lái)訓(xùn)練基于點(diǎn)云的擴(kuò)散策略（DiffusionPolicy），通過(guò)逐步生成動(dòng)作來(lái)解決高維空間中的復(fù)雜任務(wù)問(wèn)題3.人在回路糾正機(jī)制（IV-C）為了實(shí)現(xiàn)精確復(fù)現(xiàn)人類的動(dòng)作，通過(guò)引入人類參與，系統(tǒng)可以在機(jī)器人執(zhí)行任務(wù)時(shí)進(jìn)行實(shí)時(shí)干預(yù)和糾正，從而提高機(jī)器人的靈巧操作能力學(xué)習(xí)算法:DEXIL

15A.數(shù)據(jù)重定向（DataRe-targeting）1.動(dòng)作重定向（ActionRe-targeting）問(wèn)題：人類的手部結(jié)構(gòu)和機(jī)器人的機(jī)械手存在顯著差異，包括尺寸、比例和運(yùn)動(dòng)學(xué)結(jié)構(gòu)等。因此，直接將人類手部運(yùn)動(dòng)應(yīng)用于機(jī)器人手可能導(dǎo)致不準(zhǔn)確或不可行解決方案：使用逆運(yùn)動(dòng)學(xué)（InverseKinematics,IK）方法，將人類手部的指尖位置映射到機(jī)器人手上獲取人類手指的指尖位置——設(shè)置初始手腕姿態(tài)——求解機(jī)器人的關(guān)節(jié)角度學(xué)習(xí)算法:DEXIL

16A.數(shù)據(jù)重定向（DataRe-targeting）2.觀測(cè)后處理（ObservationPost-processing）問(wèn)題：機(jī)器人需要理解環(huán)境，以便進(jìn)行有效的操作。由于技術(shù)人員在數(shù)據(jù)采集過(guò)程中可能會(huì)移動(dòng)，直接使用原始的RGB-D圖像會(huì)出現(xiàn)視角變化等問(wèn)題。解決方案：將DEXCAP記錄的RGB-D圖像轉(zhuǎn)換為點(diǎn)云，提供環(huán)境的三維表示。1.將點(diǎn)云轉(zhuǎn)換到一個(gè)固定的世界坐標(biāo)系（初始時(shí)刻主SLAM相機(jī)坐標(biāo)系），消除由于技術(shù)人員移動(dòng)導(dǎo)致的視角變化，確保產(chǎn)生穩(wěn)定的觀測(cè)數(shù)據(jù)。2.去除不相關(guān)的點(diǎn)，如刪除桌面等與任務(wù)無(wú)關(guān)的點(diǎn)云數(shù)據(jù)，減少計(jì)算復(fù)雜度。學(xué)習(xí)算法:DEXIL

17B.基于點(diǎn)云的擴(kuò)散策略訓(xùn)練（Pointcloud-basedDiffusionPolicy）將機(jī)器人策略學(xué)習(xí)轉(zhuǎn)化為一個(gè)軌跡生成任務(wù)。通過(guò)輸入點(diǎn)云觀測(cè)數(shù)據(jù)和機(jī)器人的狀態(tài)，目標(biāo)是生成一系列未來(lái)的目標(biāo)位置作為機(jī)器人的動(dòng)作輸出輸入：1.ot

點(diǎn)云數(shù)據(jù)來(lái)自于

LiDAR

相機(jī)在技術(shù)人員運(yùn)動(dòng)捕捉（mocap）過(guò)程中采集的RGB-D圖像，然后轉(zhuǎn)化為點(diǎn)云數(shù)據(jù)，包含每個(gè)點(diǎn)的三維坐標(biāo)（N×3維度），經(jīng)過(guò)均勻下采樣，最終保留K個(gè)點(diǎn)（K×6維度）。在此過(guò)程中，RGB顏色信息會(huì)與點(diǎn)云的三維空間坐標(biāo)結(jié)合2.st機(jī)器人當(dāng)前

7

自由度狀態(tài)輸出：兩個(gè)

7

自由度（7-DoF）的機(jī)械臂及和兩個(gè)

16

自由度的靈巧手（LEAPHAND）DiffusionPolicy基本原理

Abstract18擴(kuò)散策略是一種新的機(jī)器人行為生成方法，它將機(jī)器人的視覺(jué)運(yùn)動(dòng)策略表示為一個(gè)條件去噪擴(kuò)散過(guò)程。我們對(duì)4種不同機(jī)器人操作基準(zhǔn)的15種不同任務(wù)的擴(kuò)散策略進(jìn)行了基準(zhǔn)測(cè)試，發(fā)現(xiàn)它始終優(yōu)于現(xiàn)有的最先進(jìn)的機(jī)器人學(xué)習(xí)方法，平均提高了46.9%。擴(kuò)散策略學(xué)習(xí)動(dòng)作分布評(píng)分函數(shù)的梯度，并在推理過(guò)程中通過(guò)一系列隨機(jī)朗之萬(wàn)動(dòng)力學(xué)步驟對(duì)該梯度場(chǎng)進(jìn)行迭代優(yōu)化。我們發(fā)現(xiàn)擴(kuò)散公式在用于機(jī)器人策略時(shí)具有強(qiáng)大的優(yōu)勢(shì)，包括優(yōu)雅地處理多模態(tài)動(dòng)作分布，適用于高維動(dòng)作空間，并表現(xiàn)出令人印象深刻的訓(xùn)練穩(wěn)定性。為了充分發(fā)揮擴(kuò)散模型在物理機(jī)器人視覺(jué)運(yùn)動(dòng)策略學(xué)習(xí)中的潛力，本文提出了一系列關(guān)鍵的技術(shù)貢獻(xiàn)，包括滾動(dòng)時(shí)域控制（RHC）、視覺(jué)調(diào)節(jié)和時(shí)間序列擴(kuò)散transformer。我們希望這項(xiàng)工作將有助于激發(fā)新一代的政策學(xué)習(xí)技術(shù)，這些技術(shù)能夠利用擴(kuò)散模型強(qiáng)大的生成建模能力。代碼、數(shù)據(jù)和培訓(xùn)細(xì)節(jié)可以在找到。DiffusionPolicy核心架構(gòu)學(xué)習(xí)算法:DEXIL

19C.人在回路糾正機(jī)制（Human-in-the-loopcorrection）即使使用高質(zhì)量的人類手部運(yùn)動(dòng)捕捉數(shù)據(jù)，機(jī)器人在執(zhí)行某些需要精準(zhǔn)控制的任務(wù)時(shí)，依然會(huì)因?yàn)槿伺c機(jī)器人手部的差異而無(wú)法精確復(fù)現(xiàn)人類的動(dòng)作1.殘差糾正模式（ResidualCorrection）原理：在人類戴著

DEXCAP

設(shè)備的情況下，機(jī)器人執(zhí)行任務(wù)時(shí)，人類可以實(shí)時(shí)提供小幅度的動(dòng)作修正。具體地，DEXCAP

會(huì)測(cè)量人類手相對(duì)于初始狀態(tài)的位置變化（deltapositionchanges），然后將這個(gè)變化作為“殘差動(dòng)作”應(yīng)用于機(jī)器人的動(dòng)作上公式：學(xué)習(xí)算法:DEXIL

20C.人在回路糾正機(jī)制（Human-in-the-loopcorrection）即使使用高質(zhì)量的人類手部運(yùn)動(dòng)捕捉數(shù)據(jù)，機(jī)器人在執(zhí)行某些需要精準(zhǔn)控制的任務(wù)時(shí)，依然會(huì)因?yàn)槿伺c機(jī)器人手部的差異而無(wú)法精確復(fù)現(xiàn)人類的動(dòng)作2.遙操作模式（TeleoperationMode）原理：要大幅度位置調(diào)整時(shí)，技術(shù)人員可以通過(guò)按下腳踏開(kāi)關(guān)來(lái)切換到此模式。在此模式下，技術(shù)人員的手部動(dòng)作直接映射到機(jī)器人手部的動(dòng)作，機(jī)器人手部的指尖會(huì)直接跟隨人類的指尖運(yùn)動(dòng)。機(jī)器人將忽略策略執(zhí)行的結(jié)果，完全根據(jù)技術(shù)人員的手部動(dòng)作調(diào)整機(jī)器人的手部姿態(tài)。技術(shù)人員還可以通過(guò)再次踩下腳踏切回殘差糾正模式