機械設(shè)備行業(yè)人形機器人再探討：RT-X 大模型

免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。機械設(shè)備機械設(shè)備華泰研究2023年10月22日│中國內(nèi)專題研究RT-X提高機器人智能化水平，有望加快人形機器人產(chǎn)業(yè)化進程2023年10月4日DeepMind發(fā)布RT-X機器人大模型，并開放訓(xùn)練數(shù)據(jù)集OpenX-Embodiment。RT-X由基于Transformer的RT-1-X模型和視覺語言動作模型RT-2-X組成。RT-1-X模型在特定任務(wù)上的平均性能比RT-1模型和原始模型提升50%。RT-2-X的涌現(xiàn)能力約為RT-2的3倍，動作指令也可從傳統(tǒng)的絕對位置拓展至相對位置。更大的模型容量與多種機器人數(shù)據(jù)的融合也使得RT-X泛化能力大大提高。我們認(rèn)為智能化是影響通用人形機器人0-1的關(guān)鍵因素，RT-X模型的發(fā)展提高了機器人智能化水平，人形機器人產(chǎn)業(yè)化進程有望加快。涌現(xiàn)能力約為RT-2模型3倍，動作指令從絕對位置拓展至相對位置涌現(xiàn)指大模型表現(xiàn)出模型較小時不具備的新能力。DeepMind開放的訓(xùn)練數(shù)據(jù)集OpenX-Embodiment包含超過100萬條真實的機器人軌跡數(shù)據(jù)，涵蓋22種機器人。RT-X由基于Transformer的RT-1-X模型和視覺語言動作模型RT-2-X組成，龐大的數(shù)據(jù)集使其具有更強的性能。RT-2-X涌現(xiàn)能力約為RT-2的3倍，動作指令從傳統(tǒng)的絕對位置拓展至相對位置。例如，之前機器人只能理解將蘋果放在桌子的右上角的絕對位置指令，如今可以理解將蘋果放在可樂和杯子中間的相對位置指令。RT-1-X模型在特定任務(wù)上（如開門等）的平均性能也比RT-1模型和原始模型提升50%。機械設(shè)備機械設(shè)備研究員研究員SACNo.S0570522100004SFCNo.BTM566聯(lián)系人nizhengyang@+(86)2128972228SACNo.S0570123070064wangzi022582@+(86)2128972228行業(yè)走勢圖機械設(shè)備滬深300(%)60(5)Oct-22Feb-23Jun-23Oct-23資料來源：Wind，華泰研究泛化能力約為原始模型3倍，更高的模型容量/多數(shù)據(jù)融合提高泛化能力泛化是指模型在新場景下的適應(yīng)能力。RT-2-X涌現(xiàn)能力約為原始模型的3倍，泛化能力從27.3%提高至75.8%。實驗表明，更高的模型容量能夠提高泛化能力，在其他條件如數(shù)據(jù)集和訓(xùn)練方式相同的情況下，55B的RT-2-X模型的泛化能力較5B模型從30%提高至61%。多種機器人數(shù)據(jù)的融合也提高了模型的泛化能力，RT-2-X模型在使用WidowXBridge數(shù)據(jù)集后，掌握了原有數(shù)據(jù)集中不具備的額外技能，表現(xiàn)出了更好的工作性能和泛化能力。更豐富的數(shù)據(jù)集有望推動模型迭代，促進人形機器人產(chǎn)業(yè)發(fā)展我們認(rèn)為智能化是影響通用人形機器人0-1的關(guān)鍵因素，RT-X大模型的發(fā)展可提升機器人的智能化水平，多樣化的數(shù)據(jù)集可大大提升模型的泛化與涌現(xiàn)能力。現(xiàn)階段RT-X大模型仍存在改進空間，其沒有考慮不同感知維度的數(shù)據(jù)，也沒有精準(zhǔn)實現(xiàn)正遷移的能力（加入新的機器人數(shù)據(jù)集后，模型泛化能力提高）。隨著世界各地的實驗室合作并共享數(shù)據(jù)資源，我們認(rèn)為未來數(shù)據(jù)集將不斷豐富，機器人大模型也將不斷迭代，從而加速人形機器人產(chǎn)業(yè)化落地。風(fēng)險提示：模型泛化能力不足，數(shù)據(jù)集訓(xùn)練結(jié)果不及預(yù)期，機器人通用性不及預(yù)期。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。RT-1是一個包含機器人軌跡數(shù)據(jù)在內(nèi)的Transformer機器人架構(gòu)模型。其主體包括：1）卷積神經(jīng)網(wǎng)絡(luò)（EfficientNet通過ImageNet預(yù)訓(xùn)練得到，用于處理圖像和文本，以提取與任務(wù)相關(guān)的視覺特征；2）Token學(xué)習(xí)器：計算出嵌入Transformer中信息的token；3）Transformer：處理輸入的token，并預(yù)測離散化的機器人動作token。RT-1的訓(xùn)練數(shù)據(jù)是在實驗室中通過操控機械臂動作記錄的結(jié)果，數(shù)據(jù)集相對局限。因此RT-1只能接受在數(shù)據(jù)庫中出現(xiàn)的指令，指令的基本結(jié)構(gòu)為“動作+目標(biāo)物體+目標(biāo)位置”，超出這個范圍的指令機器人則無能為力。資料來源：《RT-1:RoboticsTransformerforReal-WorldControlatScale》（Google，2023），華泰研究RT-2：理解自然語言的機器人視覺語言動作（VLA）模型RT-2模型具有更好的泛化能力和涌現(xiàn)性。RT-2在視覺-語言模型（VLM）的基礎(chǔ)上提出了視覺語言動作（VLA）模型，并在預(yù)訓(xùn)練的基礎(chǔ)上進行聯(lián)合微調(diào)得到實例化的RT-2-PaLM-E和RT-2-PaLI-X。RT-2系列模型展現(xiàn)了出色的泛化能力，即使面對訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過的物體、背景和環(huán)境，其成功率仍遠超原始模型。同時，對于符號理解、推理和人類識別三類不存在于機器人訓(xùn)練數(shù)據(jù)中的涌現(xiàn)任務(wù)，RT-2系列模型也能以較高正確率完成，表明語義知識從視覺語言數(shù)據(jù)中轉(zhuǎn)移到了RT-2中。雖然指令中“目標(biāo)物體”與“目標(biāo)位置”的范圍由RT-1數(shù)據(jù)庫的范圍擴大到互聯(lián)網(wǎng)海量訓(xùn)練數(shù)據(jù)，但大模型的動作依然局限于抓取、移動和放置，缺乏通用性。資料來源：《RT-2:Vision-Language-ActionModelsTransferWebKnowledgetoRoboticControl》（Google，2023），華泰研究資料來源：《RT-2:Vision-Language-ActionModelsTransferWebKnowledgetoRoboticControl》（Google，2023華泰研究資料來源：《RT-2:Vision-Language-ActionModelsTransferWebKnowledgetoRoboticControl》（Google，2023華泰研究RT-X：基于多個數(shù)據(jù)集的機器人通用大基于多個數(shù)據(jù)集的RT-X機器人大模型平均性能較RT-1和原始模型提高50%。2023年10月4日，GoogleDeepMind開放的訓(xùn)練數(shù)據(jù)集OpenX-Embodiment包含超過100萬條真實的機器人軌跡數(shù)據(jù)，涵蓋22種機器人，展示了527項技能（160266項任務(wù)）。多樣化的數(shù)據(jù)集使得RT-X模型在訓(xùn)練過程中具備了處理不同任務(wù)和環(huán)境的能力，機器人能夠更靈活地適應(yīng)不同的應(yīng)用場景，例如倉庫搬運、防爆救險、家庭護理等。RT-X由基于Transformer的RT-1-X模型和視覺語言動作模型RT-2-X組成。雖然RT-1-X與RT-1的網(wǎng)絡(luò)架構(gòu)相同，但因為RT-1-X采用了多樣化的數(shù)據(jù)集進行訓(xùn)練，RT-1-X模型在特定任務(wù)上（如開門）的平均性能比RT-1和原始模型提升50%。資料來源：《OpenX-Embodiment:RoboticLearningDatasetsandRT-XModels》（Google，2023華泰研究RT-X涌現(xiàn)能力約為RT-2模型的3倍，動作指令可從絕對位置拓展至相對位置。涌現(xiàn)指大模型表現(xiàn)出模型較小時不具備的新能力。RT-2-X涌現(xiàn)能力約為RT-2的3倍，動作指令也從傳統(tǒng)的絕對位置拓展至相對位置。例如，之前機器人只能理解將蘋果放在桌子的右上角的絕對位置指令，如今可以理解將蘋果放在可樂和杯子中間的相對位置指令。免責(zé)聲明和披露以及分析師聲明是報告的一部分，請務(wù)必一起閱讀。資料來源：《OpenX-Embodiment:RoboticLearningDatasetsandRT-XModels》（Google，2023），華泰研究泛化能力約為原始模型3倍，更高的模型容量/多數(shù)據(jù)融合提高泛化能力。泛化是指模型在新場景下的適應(yīng)能力。RT-2-X泛化能力約為原始模型的3倍，從27.3%提高至75.8%。實驗表明，更高的模型容量能夠提高泛化能力，在其他條件如數(shù)據(jù)集/訓(xùn)練方式相同的情況下，55B的RT-2-X模型的泛化能力較5B模型從30%提高至61%。多種機器人數(shù)據(jù)的融合也提高了泛化能力，RT-2-X模型在使用WidowXBridge數(shù)據(jù)集后，掌握了原有數(shù)據(jù)集中不具備的額外技能，表現(xiàn)出了更好的工作性能和泛化能力。圖表7：更高的模型容量和更多的數(shù)據(jù)集顯HistoryCo-TrainedEmergentSkillsRT-2GeneralizationRowModelSizeLengthDatasetw/WebInitialCheckpointEvaluationEvaluationRT-255BnoneGoogleRobotactionYesWeb-pretrained27.3%62%RT-2-X55BnoneRoboticsdataYesWeb-pretrained75.8%61%RT-2-X55BnoneRoboticsdataexceptBridgeYesWeb-pretrained42.8%54%RT-2-X5B2RoboticsdataYesWeb-pretrained44.4%52%RT-2-X5BnoneRoboticsdataNoWeb-pretrained14.5%30%RT-2-X5B2RoboticsdataNoFromscratch0.0%RT-2-X5B2RoboticsdataNoWeb-pretrained48.7%47%資料來源：《OpenX-Embodiment:RoboticLearningDatasetsandRT-XModels》（Google，2023華泰研究機器人模型領(lǐng)域或?qū)⒂瓉鞩mageNet機器人模型領(lǐng)域或?qū)⒂瓉鞩mageNet時刻，促進人形機器人產(chǎn)業(yè)發(fā)展。我們認(rèn)為智能化是影響通用人形機器人0-1的關(guān)鍵因素，RT-X大模型的發(fā)展可提升機器人的智能化水平，多樣化的數(shù)據(jù)集可大大提升模型的泛化與涌現(xiàn)能力。類似于ImageNet圖像分類數(shù)據(jù)集對訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型的重要性，OpenX-Embodiment數(shù)據(jù)集包含不同類型的機器人。現(xiàn)階段RT-X大模型仍存在改進空間，其沒有考慮不同感知維度的數(shù)據(jù)，也沒有精準(zhǔn)實現(xiàn)正遷移的能力（加入新的機器人數(shù)據(jù)集后，模型泛化能力提高）。隨著世界各地的實驗室合作并共享數(shù)據(jù)資源，我們認(rèn)為未來數(shù)據(jù)集將不斷豐富，機器人大模型也將不斷迭代，從而加速人形機器人產(chǎn)業(yè)化落地。圖表8：OpenX-Embodiment是迄資料來源：《OpenX-Embodiment:RoboticLearningDatasetsandRT-XModels》（Google，2023），華泰研究模型泛化能力不足：目前RT-X模型泛化能力仍在提升過程中，未來能否達到產(chǎn)業(yè)化落地所需的泛化性能標(biāo)準(zhǔn)存在不確定性。數(shù)據(jù)集訓(xùn)練結(jié)果不及預(yù)期：數(shù)據(jù)集訓(xùn)練結(jié)果存在不確定性，可能不及預(yù)期。機器人通用性不及預(yù)期：即便大模型持續(xù)發(fā)展，機器人通用性需要硬件配合，存在不及預(yù)期的可能性。分析師聲明本人，倪正洋，茲證明本報告所表達的觀點準(zhǔn)確地反映了分析師對標(biāo)的證券或發(fā)行人的個人意見；彼以往、現(xiàn)在或未來并無就其研究報告所提供的具體建議或所表迖的意見直接或間接收取任何報酬。一般聲明及披露本報告由華泰證券股份有限公司（已具備中國證監(jiān)會批準(zhǔn)的證券投資咨詢業(yè)務(wù)資格，以下簡稱“本公司”）制作。本報告所載資料是僅供接收人的嚴(yán)格保密資料。本報告僅供本公司及其客戶和其關(guān)聯(lián)機構(gòu)使用。本公司不因接收人收到本報告而視其為客戶。本報告基于本公司認(rèn)為可靠的、已公開的信息編制，但本公司及其關(guān)聯(lián)機構(gòu)(以下統(tǒng)稱為“華泰”)對該等信息的準(zhǔn)確性及完整性不作任何保證。本報告所載的意見、評估及預(yù)測僅反映報告發(fā)布當(dāng)日的觀點和判斷。在不同時期，華泰可能會發(fā)出與本報告所載意見、評估及預(yù)測不一致的研究報告。同時，本報告所指的證券或投資標(biāo)的的價格、價值及投資收入可能會波動。以往表現(xiàn)并不能指引未來，未來回報并不能得到保證，并存在損失本金的可能。華泰不保證本報告所含信息保持在最新狀態(tài)。華泰對本報告所含信息可在不發(fā)出通知的情形下做出修改，投資者應(yīng)當(dāng)自行關(guān)注相應(yīng)的更新或修改。本公司不是FINRA的注冊會員，其研究分析師亦沒有注冊為FINRA的研究分析師/不具有FINRA分析師的注冊資華泰力求報告內(nèi)容客觀、公正，但本報告所載的觀點、結(jié)論和建議僅供參考，不構(gòu)成購買或出售所述證券的要約或招攬。該等觀點、建議并未考慮到個別投資者的具體投資目的、財務(wù)狀況以及特定需求，在任何時候均不構(gòu)成對客戶私人投資建議。投資者應(yīng)當(dāng)充分考慮自身特定狀況，并完整理解和使用本報告內(nèi)容，不應(yīng)視本報告為做出投資決策的唯一因素。對依據(jù)或者使用本報告所造成的一切后果，華泰及作者均不承擔(dān)任何法律責(zé)任。任何形式的分享證券投資收益或者分擔(dān)證券投資損失的書面或口頭承諾均為無效。除非另行說明，本報告中所引用的關(guān)于業(yè)績的數(shù)據(jù)代表過往表現(xiàn)，過往的業(yè)績表現(xiàn)不應(yīng)作為日后回報的預(yù)示。華泰不承諾也不保證任何預(yù)示的回報會得以實現(xiàn)，分析中所做的預(yù)測可能是基于相應(yīng)的假設(shè)，任何假設(shè)的變化可能會顯著影響所預(yù)測的回報。華泰及作者在自身所知情的范圍內(nèi)，與本報告所指的證券或投資標(biāo)的不存在法律禁止的利害關(guān)系。在法律許可的情況下，華泰可能會持有報告中提到的公司所發(fā)行的證券頭寸并進行交易，為該公司提供投資銀行、財務(wù)顧問或者金融產(chǎn)品等相關(guān)服務(wù)或向該公司招攬業(yè)務(wù)。華泰的銷售人員、交易人員或其他專業(yè)人士可能會依據(jù)不同假設(shè)和標(biāo)準(zhǔn)、采用不同的分析方法而口頭或書面發(fā)表與本報告意見及建議不一致的市場評論和/或交易觀點。華泰沒有將此意見及建議向報告所有接收者進行更新的義務(wù)。華泰的資產(chǎn)管理部門、自營部門以及其他投資業(yè)務(wù)部門可能獨立做出與本報告中的意見或建議不一致的投資決策。投資者應(yīng)當(dāng)考慮到華泰及/或其相關(guān)人員可能存在影響本報告觀點客觀性的潛在利益沖突。投資者請勿將本報告視為投資或其他決定的唯一信賴依據(jù)。有關(guān)該方面的具體披露請參照本報告尾部。本報告并非意圖發(fā)送、發(fā)布給在當(dāng)?shù)胤苫虮O(jiān)管規(guī)則下不允許向其發(fā)送、發(fā)布的機構(gòu)或人員，也并非意圖發(fā)送、發(fā)布給因可得到、使用本報告的行為而使華泰違反或受制于當(dāng)?shù)胤苫虮O(jiān)管規(guī)則的機構(gòu)或人員。本報告版權(quán)僅為本公司所有。未經(jīng)本公司書面許可，任何機構(gòu)或個人不得以翻版、復(fù)制、發(fā)表、引用或再次分發(fā)他人(無論整份或部分)等任何形式侵犯本公司版權(quán)。如征得本公司同意進行引用、刊發(fā)的，需在允許的范圍內(nèi)使用，并需在使用前獲取獨立的法律意見，以確定該引用、刊發(fā)符合當(dāng)?shù)剡m用法規(guī)的要求，同時注明出處為“華泰證券研究所”，且不得對本報告進行任何有悖原意的引用、刪節(jié)和修改。本公司保留追究相關(guān)責(zé)任的權(quán)利。所有本報告中使用的商標(biāo)、服務(wù)標(biāo)記及標(biāo)記均為本公司的商標(biāo)、服務(wù)標(biāo)記及標(biāo)記。中國香港本報告由華泰證券股份有限公司制作,在香港由華泰金融控股（香港）有限公司向符合《證券及期貨條例》及其附屬法律規(guī)定的機構(gòu)投資者和專業(yè)投資者的客戶進行分發(fā)。華泰金融控股（香港）有限公司受香港證券及期貨事務(wù)監(jiān)察委員會監(jiān)管，是華泰國際金融控股有限公司的全資子公司，后者為華泰證券股份有限公司的全資子公司。在香港獲得本報告的人員若有任何有關(guān)本報告的問題,請與華泰金融控股（香港）有限公司聯(lián)系。香港-重要監(jiān)管披露?華泰金融控股（香港）有限公司的雇員或其關(guān)聯(lián)人士沒有擔(dān)任本報告中提及的公司或發(fā)行人的高級人員。?有關(guān)重要的披露信息，請參華泰金融控股（香港）有限公司的網(wǎng)頁.hk/stock_disclosure其他信息請參見下方“美國-重要監(jiān)管披露”。美國在美國本報告由華泰證券（美國）有限公司向符合美國監(jiān)管規(guī)定的機構(gòu)投資者進行發(fā)表與分發(fā)。華泰證券（美國）有限公司是美國注冊經(jīng)紀(jì)商和美國金融業(yè)監(jiān)管局（FINRA）的注冊會員。對于其在美國分發(fā)的研究報告，華泰證券（美國）有限公司根據(jù)《1934年證券交易法》（修訂版）第15a-6條規(guī)定以及美國證券交易委員會人員解釋，對本研究報告內(nèi)容負(fù)責(zé)。華泰證券（美國）有限公司聯(lián)營公司的分析師不具有美國金融監(jiān)管（FINRA）分析師的注冊資格，可能不屬于華泰證券（美國）有限公司的關(guān)聯(lián)人員，因此可能不受FINRA關(guān)于分析師與標(biāo)的公司溝通、公開露面和所持交易證券的限制。華泰證券（美國）有限公司是華泰國際金融控股有限公司的全資子公司，后者為華泰證券股份有限公司的全資子公司。任何直接從華泰證券（美國）有限公司收到此報告并希望就本報告所述任何證券進行交易的人士，應(yīng)通過華泰證券（美國）有限公司進行交易。美國-重要監(jiān)管披露?分析師倪正洋本人及相關(guān)人士并不擔(dān)任本報告所提及的標(biāo)的證券或發(fā)行人的高級人員、董事或顧問。分析師及相關(guān)人士與本報告所提及的標(biāo)的證券或發(fā)行人并無任何相關(guān)財務(wù)利益。本披露中所提及的“相關(guān)人士”包括FINRA定義下分析師的家庭成員。分析師根據(jù)華泰證券的整體收入和盈利能力獲得薪酬，包括源自公司投資銀行業(yè)務(wù)的