機(jī)器人技術(shù)發(fā)展報告

1、機(jī)器人技術(shù)發(fā)展報告 PAGE 4 PAGE 3目 錄 TOC o 1-3 h z u HYPERLINK l _Toc26823542 1.機(jī)器人 PAGEREF _Toc26823542 h 4 HYPERLINK l _Toc26823543 1.1.機(jī)器人概念 PAGEREF _Toc26823543 h 4 HYPERLINK l _Toc26823544 1.2.機(jī)器人發(fā)展歷史 PAGEREF _Toc26823544 h 242 HYPERLINK l _Toc26823545 1.3.人才概況 PAGEREF _Toc26823545 h 245 HYPERLINK l _Toc

2、26823546 1.4.論文解讀 PAGEREF _Toc26823546 h 247 HYPERLINK l _Toc26823547 1.5.機(jī)器人進(jìn)展 PAGEREF _Toc26823547 h 2602019 人工智能發(fā)展報告機(jī)器人機(jī)器人機(jī)器人概念機(jī)器人廣義上包括一切模擬人類行為或思想以及模擬其他生物的機(jī)械（如機(jī)器狗，機(jī)器貓等）。狹義上對機(jī)器人的定義還有很多分類法及爭議，有些電腦程序甚至也被稱為機(jī)器人（例如爬蟲機(jī)器人）。聯(lián)合國標(biāo)準(zhǔn)化組織采納了美國機(jī)器人協(xié)會給機(jī)器人下的定義：“一種可編程和多功能的操作機(jī)；或是為了執(zhí)行不同的任務(wù)而具有可用電腦改變和可編程動作的專門系統(tǒng)。一般由執(zhí)行機(jī)構(gòu)、

3、驅(qū)動裝置、檢測裝置和控制系統(tǒng)和復(fù)雜機(jī)械等組成”。機(jī)器人是綜合了機(jī)械、電子、計算機(jī)、傳感器、控制技術(shù)、人工智能、仿生學(xué)等多種學(xué)科的復(fù)雜智能機(jī)械。目前，智能機(jī)器人已成為世界各國的研究熱點之一，成為衡量一國工業(yè)化水平的重要標(biāo)志。機(jī)器人是自動執(zhí)行工作的機(jī)器裝置，因此，它既可以接受人類指揮，又可以運(yùn)行預(yù)先編排的程序，也可以根據(jù)以人工智能技術(shù)制定的原則綱領(lǐng)行動。在當(dāng)代工業(yè)中，機(jī)器人指能自動執(zhí)行任務(wù)的人造機(jī)器裝置，用以取代或協(xié)助人類工作，一般會是機(jī)電裝置，由計算機(jī)程序或電子電路控制。機(jī)器人的范圍很廣，可以是自主或是半自主的，從本田技研工業(yè)的 ASIMO 或是 TOSY 的 TOPIO 等擬人機(jī)器人到工業(yè)機(jī)器

4、人，也包括多臺一起動作的群機(jī)器人，甚至是納米機(jī)器人。借由模仿逼真的外觀及自動化的動作，理想中的高仿真機(jī)器人是高級整合控制論、機(jī)械電子、計算機(jī)與人工智能、材料學(xué)和仿生學(xué)的產(chǎn)物。機(jī)器人可以作一些重復(fù)性高或是危險，人類不愿意從事的工作，也可以做一些因為尺寸限制，人類無法作的工作，甚至是像外太空或是深海中，不適人類生存的環(huán)境。機(jī)器人在越來越多方面可以取代人類，或是在外貌、行為或認(rèn)知，甚至情感上取代人類。機(jī)器人技術(shù)最早應(yīng)用于工業(yè)領(lǐng)域，但隨著機(jī)器人技術(shù)的發(fā)展和各行業(yè)需求的提升，在計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、MEMS 技術(shù)等新技術(shù)發(fā)展的推動下，近年來， 機(jī)器人技術(shù)正從傳統(tǒng)的工業(yè)制造領(lǐng)域向醫(yī)療服務(wù)、教育娛樂、勘探勘

5、測、生物工程、救災(zāi)救援等領(lǐng)域迅速擴(kuò)展，適應(yīng)不同領(lǐng)域需求的機(jī)器人系統(tǒng)被深入研究和開發(fā)。過去幾十年，機(jī)器人技術(shù)的研究與應(yīng)用，大大推動了人類的工業(yè)化和現(xiàn)代化進(jìn)程，并逐步形成了機(jī)器人的產(chǎn)業(yè)鏈，使機(jī)器人的應(yīng)用范圍也日趨廣泛 HYPERLINK l _bookmark123 63。 PAGE 248 PAGE 249機(jī)器人發(fā)展歷史“機(jī)器人”一詞最早出現(xiàn)在 1920 年捷克斯洛伐克劇作家 Karel Capek 的科幻情節(jié)劇羅薩姆的萬能機(jī)器人中。機(jī)器人從幻想世界真正走向現(xiàn)實世界是從自動化生產(chǎn)和科學(xué)研究的發(fā)展需要出發(fā)的。1939 年，紐約世博會上首次展出了由西屋電氣公司制造的家用機(jī)器人 Elektro，但它只

6、是掌握了簡單的語言，能行走、抽煙，并不能代替人類做家務(wù)?，F(xiàn)代機(jī)器人的起源則始于二十世紀(jì) 40-50 年代，美國許多國家實驗室進(jìn)行了機(jī)器人方面的初步探索。二次世界大戰(zhàn)期間，在放射性材料的生產(chǎn)和處理過程中應(yīng)用了一種簡單的遙控操縱器，使得機(jī)械抓手就能復(fù)現(xiàn)人手的動作位置和姿態(tài)， 代替了操作人員的直接操作。在這之后，橡樹嶺和阿爾貢國家實驗室開始研制遙控式機(jī)械手作為搬運(yùn)放射性材料的工具。1948 年，主從式的遙控機(jī)械手正式誕生于此，開現(xiàn)代機(jī)器人制造之先河。美國麻省理工學(xué)院輻射實驗室（MIT Radiation Laboratory）1953 年研制成功數(shù)控銑床，把復(fù)雜伺服系統(tǒng)的技術(shù)與最新發(fā)展的數(shù)字計算機(jī)技

7、術(shù)結(jié)合起來，切削模型以數(shù)字形式通過穿孔紙帶輸入機(jī)器，然后控制銑床的伺服軸按照模型的軌跡作切削動作。上世紀(jì) 50 年代以后，機(jī)器人進(jìn)入了實用化階段。1954 年，美國的 GeorgeC. Devol 設(shè)計并制作了世界上第一臺機(jī)器人實驗裝置，發(fā)表了適用于重復(fù)作業(yè)的通用性工業(yè)機(jī)器人一文，并獲得了專利。GeorgeC. Devol 巧妙地把遙控操作器的關(guān)節(jié)型連桿機(jī)構(gòu)與數(shù)控機(jī)床的伺服軸連接在一起，預(yù)定的機(jī)械手動作一經(jīng)編程輸入后，機(jī)械手就可以離開人的輔助而獨立運(yùn)行。這種機(jī)器人也可以接受示教而能完成各種簡單任務(wù)。示教過程中操作者用手帶動機(jī)械手依次通過工作任務(wù)的各個位置，這些位置序列記錄在數(shù)字存儲器內(nèi)，任務(wù)執(zhí)

8、行過程中，機(jī)器人的各個關(guān)節(jié)在伺服驅(qū)動下再現(xiàn)出那些位置序列。因此，這種機(jī)器人的主要技術(shù)功能就是“可編程”以及“示教再現(xiàn)”。上世紀(jì) 60 年代，機(jī)器人產(chǎn)品正式問世，機(jī)器人技術(shù)開始形成。1960 年，美國的 Consolidated Control 公司根據(jù) GeorgeC. Devol 的專利研制出第一臺機(jī)器人樣機(jī)，并成立 Unimation 公司，定型生產(chǎn)了 Unimate（意為“萬能自動”）機(jī)器人。同時，美國“機(jī)床與鑄造公司”（AMF）設(shè)計制造了另一種可編程的機(jī)器人Versatran（意為“多才多藝”）。這兩種型號的機(jī)器人以“示教再現(xiàn)”的方式在汽車生產(chǎn)線上成功地代替工人進(jìn)行傳送、焊接、噴漆等作

9、業(yè)，它們在工作中表現(xiàn)出來的經(jīng)濟(jì)效益、可靠性、靈活性，使其它發(fā)達(dá)工業(yè)國家為之傾倒。于是 Unimate 和 Versatran 作為商品開始在世界市場上銷售，日本、西歐也紛紛從美國引進(jìn)機(jī)器人技術(shù)。這一時期，可實用機(jī)械的機(jī)器人被稱為工業(yè)機(jī)器人。在機(jī)器人嶄露頭角于工業(yè)生產(chǎn)的同時，機(jī)器人技術(shù)研究不斷深入。1961 年， 美國麻省理工學(xué)院 Lincoln 實驗室把一個配有接觸傳感器的遙控操縱器的從動部分與一臺計算機(jī)連結(jié)在一起，這樣形成的機(jī)器人可以憑觸覺決定物體的狀態(tài)。隨后，用電視攝像頭作為輸入的計算機(jī)圖像處理、物體辯識的研究工作也陸續(xù)取得成果。1968 年，美國斯坦福人工智能實驗室（SAIL）的 J.

10、McCarthy 等人研究了新穎的課題研制帶有手、眼、耳的計算機(jī)系統(tǒng)。于是，智能機(jī)器人的研究形象逐漸豐滿起來。上世紀(jì) 70 年代以來，機(jī)器人產(chǎn)業(yè)蓬勃興起，機(jī)器人技術(shù)發(fā)展為專門的學(xué)科。1970 年，第一次國際工業(yè)機(jī)器人會議在美國舉行。工業(yè)機(jī)器人各種卓有成效的實用范例促成了機(jī)器人應(yīng)用領(lǐng)域的進(jìn)一步擴(kuò)展；同時，又由于不同應(yīng)用場合的特點，導(dǎo)致了各種坐標(biāo)系統(tǒng)、各種結(jié)構(gòu)的機(jī)器人相繼出現(xiàn)。而隨后的大規(guī)模集成電路技術(shù)的飛躍發(fā)展及微型計算機(jī)的普遍應(yīng)用，則使機(jī)器人的控制性能大幅度地得到提高、成本不斷降低。于是，導(dǎo)致了數(shù)百種類的不同結(jié)構(gòu)、不同控制方法、不同用途的機(jī)器人終于在 80 年代以來真正進(jìn)入了實用化的普及階段。

11、進(jìn)入 80 年代后，隨著計算機(jī)、傳感器技術(shù)的發(fā)展，機(jī)器人技術(shù)已經(jīng)具備了初步的感知、反饋能力，在工業(yè)生產(chǎn)中開始逐步應(yīng)用。工業(yè)機(jī)器人首先在汽車制造業(yè)的流水線生產(chǎn)中開始大規(guī)模應(yīng)用，隨后，諸如日本、德國、美國這樣的制造業(yè)發(fā)達(dá)國家開始在其他工業(yè)生產(chǎn)中也大量采用機(jī)器人作業(yè)。上世紀(jì) 80 年代以后，機(jī)器人朝著越來越智能的方向發(fā)展，這種機(jī)器人帶有多種傳感器，能夠?qū)⒍喾N傳感器得到的信息進(jìn)行融合，能夠有效的適應(yīng)變化的環(huán)境，具有很強(qiáng)的自適應(yīng)能力、學(xué)習(xí)能力和自治功能。智能機(jī)器人的發(fā)展主要經(jīng)歷了三個階段，分別是可編程試教、再現(xiàn)型機(jī)器人，有感知能力和自適應(yīng)能力的機(jī)器人，智能機(jī)器人。其中所涉及到的關(guān)鍵技術(shù)有多傳感器信息融合

12、、導(dǎo)航與定位、路徑規(guī)劃、機(jī)器人視覺智能控制和人機(jī)接口技術(shù)等。進(jìn)入 21 世紀(jì)，隨著勞動力成本的不斷提高、技術(shù)的不斷進(jìn)步，各國陸續(xù)進(jìn)行制造業(yè)的轉(zhuǎn)型與升級，出現(xiàn)了機(jī)器人替代人的熱潮。同時，人工智能發(fā)展日新月異，服務(wù)機(jī)器人也開始走進(jìn)普通家庭的生活。世界上許多機(jī)器人科技公司都在大力發(fā)展機(jī)器人技術(shù)，機(jī)器人的特質(zhì)與有機(jī)生命越來越接近。最近，波士頓動力公司在機(jī)器人領(lǐng)域的成就已經(jīng)成為人們的焦點，其產(chǎn)品機(jī)器狗 Spot 和雙足人形機(jī)器人 Atlas 都讓人大為驚嘆。Spot 的功能十分先進(jìn)，可以前往你告訴它要去的目的地，避開障礙，并在極端情況下保持平衡。Spot 還可以背負(fù)多達(dá)四個硬件模塊，為公司提供其他多款機(jī)

13、器人完成特定工作所需的任何技能；Atlas 已經(jīng)掌握了倒立、360 度翻轉(zhuǎn)、旋轉(zhuǎn)等多項技能，繼表演跑酷、后空翻等絕技之后，Atlas 又掌握了一項新技能體操，再次讓我們大開眼界。圖 10-1 波士頓動力機(jī)器人 Spot 與 Atlas經(jīng)過幾十年的發(fā)展，機(jī)器人技術(shù)終于形成了一門綜合性學(xué)科機(jī)器人學(xué)（Robotics）。一般地說，機(jī)器人學(xué)的研究目標(biāo)是以智能計算機(jī)為基礎(chǔ)的機(jī)器人的基本組織和操作，它包括基礎(chǔ)研究和應(yīng)用研究兩方面內(nèi)容，研究課題包括機(jī)械手設(shè)計、機(jī)器人動力和控制、軌跡設(shè)計與規(guī)劃、傳感器、機(jī)器人視覺、機(jī)器人控制語言、裝置與系統(tǒng)結(jié)構(gòu)和機(jī)械智能等。由于機(jī)器人學(xué)綜合了力學(xué)、機(jī)械學(xué)、電子學(xué)、生物學(xué)、控制

14、論、計算機(jī)、人工智能、系統(tǒng)工程等多種學(xué)科領(lǐng)域的知識， 因此，也有人認(rèn)為機(jī)器人學(xué)實際上是一個可分為若干學(xué)科的學(xué)科門類。同時，由于機(jī)器人是一門不斷發(fā)展的科學(xué)，對機(jī)器人的定義也隨著其發(fā)展而變化，目前國際上對于機(jī)器人的定義紛繁復(fù)雜，RIA、JIRA、NBS、ISO 等組織都有各自的定義，迄今為止，尚沒有一個統(tǒng)一的機(jī)器人定義。人才概況全球人才分布學(xué)者地圖用于描述特定領(lǐng)域?qū)W者的分布情況，對于進(jìn)行學(xué)者調(diào)查、分析各地區(qū)競爭力現(xiàn)況尤為重要，下圖為機(jī)器人領(lǐng)域全球?qū)W者分布情況：圖 10-2 機(jī)器人領(lǐng)域全球?qū)W者分布地圖根據(jù)學(xué)者當(dāng)前就職機(jī)構(gòu)地理位置進(jìn)行繪制，其中顏色越深表示學(xué)者越集中。從該地圖可以看出，美國的人才數(shù)量優(yōu)

15、勢明顯；歐洲也有較多的人才分布； 亞洲的人才主要集中在我國東部及日韓地區(qū)；其他諸如非洲、南美洲等地區(qū)的學(xué)者非常稀少；機(jī)器人領(lǐng)域的人才分布與各地區(qū)的科技、經(jīng)濟(jì)實力情況大體一致。此外，在性別比例方面，機(jī)器人領(lǐng)域中男性學(xué)者占比 90.7%，女性學(xué)者占比9.3%，男性學(xué)者占比遠(yuǎn)高于女性學(xué)者。機(jī)器人領(lǐng)域?qū)W者的 h-index 分布如下圖所示：900800700600人數(shù)50040030020010006050-6040-5030-4020-3020h-index圖 10-3 機(jī)器人領(lǐng)域?qū)W者 h-index 分布從上圖可以看出，大部分學(xué)者的 h-index 分布在中低區(qū)域，其中 h-index 在20-3

16、0 區(qū)間的人數(shù)最多，有 836 人，占比 41.3%，小于 20 區(qū)間的人數(shù)最少，只有3 人。中國人才分布我國專家學(xué)者在機(jī)器人領(lǐng)域的分布如下圖所示。通過下圖我們可以發(fā)現(xiàn)，京津地區(qū)在本領(lǐng)域的人才數(shù)量最多，其次是珠三角和長三角地區(qū)，相比之下，內(nèi)陸地區(qū)的人才較為匱乏，這種分布與區(qū)位因素和經(jīng)濟(jì)水平情況不無關(guān)系。同時，通過觀察中國周邊國家的學(xué)者數(shù)量情況，特別是與日韓等地相比，中國在機(jī)器人領(lǐng)域?qū)W者數(shù)量較少。圖 10-4 機(jī)器人領(lǐng)域中國學(xué)者分布中國與其他國家在機(jī)器人領(lǐng)域的合作情況可以根據(jù) AMiner 數(shù)據(jù)平臺分析得到，通過統(tǒng)計論文中作者的單位信息，將作者映射到各個國家中，進(jìn)而統(tǒng)計中國與各國之間合作論文的數(shù)

17、量，并按照合作論文發(fā)表數(shù)量從高到低進(jìn)行了排序，如下表所示。表 10-1 機(jī)器人領(lǐng)域中國與各國合作論文情況合作國家 論文數(shù) 引用數(shù) 平均引用數(shù) 學(xué)者數(shù) 中國-美國 445660615756中國-日本 9099811196中國-加拿大 6976111128中國-新加坡 625869123中國-德國 577801498中國-英國 5012702594中國-法國 418602163中國-澳大利亞 273511345中國-瑞典 202461227中國-意大利 183181833從上表數(shù)據(jù)可以看出，中美合作的論文數(shù)、引用數(shù)、學(xué)者數(shù)遙遙領(lǐng)先，表明中美間在機(jī)器人領(lǐng)域合作之密切；此外，中國與歐洲的合作非常廣泛，

18、前 10 名合作關(guān)系里中歐合作共占 4 席；中國與英國合作的論文數(shù)雖然不是最多，但是擁有最高的平均引用數(shù)說明在合作質(zhì)量上中英合作達(dá)到了較高的水平。論文解讀本節(jié)對本領(lǐng)域的高水平學(xué)術(shù)會議及期刊論文進(jìn)行挖掘，解讀這些會議和期刊在 2018-2019 年的部分代表性工作。這些會議和期刊包括：IEEE International Conference on Robotics and Automation IEEE/RSJ International Conference on Intelligent Robots and Systems Robotics: Science and SystemsA Ro

19、botics ConferenceIEEE Transactions on Robotics我們對本領(lǐng)域論文的關(guān)鍵詞進(jìn)行分析，統(tǒng)計出詞頻 Top20 的關(guān)鍵詞，生成本領(lǐng)域研究熱點的詞云圖，如上圖所示。其中，機(jī)器人（robotics）、魯棒性（robustness）、動作（motion）是本領(lǐng)域中最熱的關(guān)鍵詞。論文題目：Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching中文題目：通過多 affordance 抓取和跨域圖像

20、匹配完成雜亂環(huán)境下對新物體的撿放操作論文作者：Andy Zeng, Shuran Song, Kuan-Ting Yu, Elliott Donlon, Francois R. Hogan, Maria Bauza, Daolin Ma, Orion Taylor, Melody Liu, Eudald Romo, Nima Fazeli, Ferran Alet, Nikhil Chavan Dafle, Rachel Holladay, Isabella Morona, Prem Qu Nair, Druck Green, Ian Taylor, Weber Liu, Thomas Fun

21、khouser, Alberto Rodriguez論文出處：IEEE International Conference on Robotics and Automation, 2018論文地址：/abstract/document/8461044 研究問題： 人類可以在僅掌握少量先驗知識的前提下識別和抓取陌生目標(biāo)物，這一能力一直是機(jī)器人研究的靈感來源，也是很多實際應(yīng)用的核心。為此，提出一種能在雜亂環(huán)境下對新目標(biāo)物進(jìn)行識別和撿放操作的機(jī)器人系統(tǒng)，整個系統(tǒng)可直接用于新目標(biāo)物（在測試過程中首次出現(xiàn)），而無需額外的數(shù)據(jù)收集或重新訓(xùn)練，如下圖所示。 研究方法：專門設(shè)計該機(jī)器人識別撿放系統(tǒng)，該系統(tǒng)由兩部

22、分組成：1）具有四個基礎(chǔ)行為的多模式抓取框架，該框架使用深度卷積神經(jīng)網(wǎng)絡(luò)（ConvNets）來預(yù)測場景affordance，而無需事先對目標(biāo)物進(jìn)行分割和分類。2）跨域圖像匹配框架，用于通過將抓取的對象與產(chǎn)品圖像進(jìn)行匹配來識別抓取的對象， 該框架使用了ConvNet 架構(gòu)，該架構(gòu)可直接用于新目標(biāo)物而無需重新進(jìn)行訓(xùn)練。這兩部分互相配合，可以在雜亂的環(huán)境中完成對新目標(biāo)物的抓取操作。機(jī)器人吸取和抓取的 affordance 預(yù)測如下圖所示，考慮各個視角的 RGBD 圖像，可通過一個全卷積殘差網(wǎng)絡(luò)估算出每張圖片的吸取 affordance。然后，將預(yù)測匯總在 3D 點云上，并基于表面法線生成向下吸取或側(cè)

23、向吸取的建議。并行地， 我們將 RGB-D 圖像合并為 RGB-D 高度圖，將其旋轉(zhuǎn) 16 個不同的角度，并估計每個高度圖的水平抓取。這有效地生成了針對 16 個不同抓取角度的 affordance 圖，從中可得到向下抓取和其他抓取的建議。新物體的識別框架如下圖所示。訓(xùn)練一個雙流的卷積神經(jīng)網(wǎng)絡(luò)，其中一個流計算得到產(chǎn)品圖像的 2048 維特征向量，而另一個流計算得到觀察圖像的 2048 維特征向量，并對兩個流進(jìn)行優(yōu)化，以使相同圖像的特征更加相似，反之則不同。在測試期間，已知對象和新對象的圖像都映射到公共特征空間上。通過在相同的特征空間找到與其最近的特征來匹配來識別它們。 250251研究結(jié)果：提

24、出一種系統(tǒng)，該系統(tǒng)能夠以很少的先驗信息（少數(shù)產(chǎn)品圖片）來拾取和識別新對象。該系統(tǒng)首先使用與類別無關(guān)的 affordance 預(yù)測算法在四種不同的抓取動作元之間進(jìn)行選擇，然后通過將抓取的對象與它們的產(chǎn)品圖像進(jìn)行匹配來識別抓取的對象。通過評估證明，該機(jī)器人系統(tǒng)可以拾取并在雜亂無章的環(huán)境中識別出新物體。論文題目：Using Simulation and Domain Adaptation to Improve Efficiency of Deep Robotic Grasping中文題目：使用仿真和領(lǐng)域適應(yīng)來提高深度機(jī)器人抓取的效率論文作者：Konstantinos Bousmalis, Alex

25、Irpan, Paul Wohlhart, Yunfei Bai, Matthew Kelcey, Mrinal Kalakrishnan, Laura Downs, Julian Ibarz, Peter Pastor, Kurt Konolige,Sergey Levine, Vincent Vanhoucke論文出處：IEEE International Conference on Robotics and Automation, 2018 論文地址：/document/8460875研究問題： 收集帶注釋的視覺抓取數(shù)據(jù)集以訓(xùn)練現(xiàn)代機(jī)器學(xué)習(xí)算法可能是非常耗時的。一個替代方法是使用現(xiàn)成的模

26、擬器來合成數(shù)據(jù)，這樣就可以自動產(chǎn)生這些數(shù)據(jù)的真實標(biāo)注。不幸的是，僅基于模擬數(shù)據(jù)訓(xùn)練的模型通常無法泛化到現(xiàn)實世界。研究如何將隨機(jī)模擬環(huán)境和域適應(yīng)方法應(yīng)用到真實場景，訓(xùn)練一種抓取系統(tǒng)，可以通過原始 RGB 圖像中進(jìn)行規(guī)劃，抓取新的目標(biāo)物。 研究方法： 研究模擬環(huán)境中的 3D 目標(biāo)模型、模擬的場景和模擬的動力學(xué)如何影響機(jī)器人最終的抓取性能，以及將模擬與真實場景集成以實現(xiàn)最大程度的遷移。具體方法如上圖所示。 （a）為像素級的域適應(yīng)模型 GraspGAN 的概述。從仿真器中得到的圖像元組 xs 并輸入到生成器 G 中，生成真實版本的圖像 xf，鑒別器 D 獲得未標(biāo)注的真實世界圖像 xt 和 xf，并經(jīng)過

27、訓(xùn)練以區(qū)分它們。真實的和經(jīng)過適應(yīng)的圖像也被送到抓取預(yù)測網(wǎng)絡(luò) C 中，一同進(jìn)行并行訓(xùn)練。因此，生成器 G 從鑒別器 D 和預(yù)測器C 中獲得反饋，以使適應(yīng)的圖像看起來更加真實并保持其語義信息；（b）為生成器 G 和鑒別器 D 的體系結(jié)構(gòu)；（c）為 DANN 模型，其中 C1 包含 7 個卷積層，C2 包含 9 個卷積層。研究結(jié)果： 研究將模擬數(shù)據(jù)合并到基于學(xué)習(xí)的抓取系統(tǒng)中的方法，以提高抓取性能并減少數(shù)據(jù)需求。通過使用合成數(shù)據(jù)和域適應(yīng)，僅使用少量隨機(jī)生成的模擬數(shù)據(jù)，就可以達(dá)到給定性指標(biāo)的 50 倍。還表明，僅使用未標(biāo)注的真實數(shù)據(jù)和 GraspGAN 的方法，就可以在沒有任何真實數(shù)據(jù)標(biāo)注的情況下獲得與

28、真實世界相同的抓取性能。論文題目：Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics中文題目：Dex-Net 2.0：利用合成點云進(jìn)行魯棒抓取和分析抓取指標(biāo)的深度學(xué)習(xí)論文作者：Bohg Jeffrey Mahler, Jacky Liang, Sherdil Niyaz, Michael Laskey, Richard Doan, Xinyu Liu, Juan Aparicio Ojea, and Ken Goldberg論文出處：Rob

29、otics: Science and Systems, 2017 論文地址：/pdf/1703.09312.pdf 研究問題： 為了減少采用深度學(xué)習(xí)進(jìn)行魯棒機(jī)器人抓取策略學(xué)習(xí)所需的數(shù)據(jù)收集時間， 探索了從 670 萬點云，抓取姿態(tài)和抓取指標(biāo)的合成數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)是從 Dex Net 1.0 的數(shù)千個三維模型中以隨機(jī)姿勢在桌子上生成的。利用得到的數(shù) PAGE 258 PAGE 259據(jù)集 Dex-Net 2.0 訓(xùn)練抓取質(zhì)量卷積神經(jīng)網(wǎng)絡(luò)（GQ-CNN）模型，該模型可快速從深度圖像預(yù)測抓取成功的概率，其中抓取被指定為相對于 RGB-D 傳感器的夾持器的平面位置、角度和深度。研究方法： 研究

30、基于深度點云的處于桌面上的單剛體的平行爪抓取規(guī)劃問題。學(xué)習(xí)一個函數(shù)，它以一個候選抓取和一個深度圖像作為輸入，并輸出一個魯棒性的估計值， 或者在傳感和控制的不確定性下的成功概率。Dex Net 2.0 的架構(gòu)如下圖所示。GQ-CNN 是抓取質(zhì)量卷積神經(jīng)網(wǎng)絡(luò)，它是經(jīng)離線訓(xùn)練的，使用由 670 萬個合成點云、相關(guān)魯棒抓取指標(biāo)的數(shù)據(jù)集 Dex-Net1.0 數(shù)據(jù)集，可從深度圖像預(yù)測魯棒候選抓取。當(dāng)一個物體呈現(xiàn)給機(jī)器人時，深度相機(jī)會返回一個三維點云，識別出一組幾百個候選抓取點。GQ-CNN 迅速確定了最穩(wěn)健的抓取位姿，并由 ABB YuMi 機(jī)器人執(zhí)行操作。研究結(jié)果： 開發(fā)了一個抓取質(zhì)量卷積神經(jīng)網(wǎng)絡(luò)（G

31、Q-CNN）體系結(jié)構(gòu)，它可以預(yù)測基于點云模型抓取的穩(wěn)定性，并在 Dex-2.0 數(shù)據(jù)集上對其進(jìn)行訓(xùn)練，它是一個包含 670 萬點云、平行抓取和穩(wěn)定性抓指標(biāo)的數(shù)據(jù)集。在 1000 多個物理評估中，發(fā)現(xiàn) Dex- Net 2.0 抓取規(guī)劃器是一種可靠的、速度比基于點云配準(zhǔn)方法快 3 倍的，并且在40 個新目標(biāo)的測試集上具有 99%的精度的抓取規(guī)劃器。論文題目：Deep Predictive Policy Training using Reinforcement Learning中文題目：深度預(yù)測策略的強(qiáng)化學(xué)習(xí)訓(xùn)練方法論文作者：Ali Ghadirzadeh, Atsuto Maki, Danica

32、 Kragic and Marten Bjorkman.論文出處：Robotics: Science and Systems，2019 論文地址：/pdf/1903.11239.pdf 研究問題：由于感知運(yùn)動過程的固有延遲，機(jī)器人任務(wù)學(xué)習(xí)最好通過預(yù)測動作策略來實現(xiàn)。然而，訓(xùn)練這樣的預(yù)測策略是具有挑戰(zhàn)性的，因為它涉及到在整個動作過程中找到運(yùn)動激活的軌跡。本文中，提出一個基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)高效深度預(yù)測策略訓(xùn)練（DPPT）框架，將圖像觀測映射到一系列的運(yùn)動激活。該體系結(jié)構(gòu)由三個子網(wǎng)絡(luò)組成，分別稱為感知層、策略層和行為層。感知層和行為層迫使我們對視覺和行為進(jìn)行抽象分別用合成訓(xùn)練樣本和模擬訓(xùn)練樣本訓(xùn)

33、練數(shù)據(jù)。策略層是一個較小的子網(wǎng)絡(luò)，具有較少的參數(shù)來映射抽象流形之間的數(shù)據(jù)。使用策略搜索強(qiáng)化學(xué)習(xí)的方法對每個任務(wù)進(jìn)行訓(xùn)練。通過在 PR2 機(jī)器人上訓(xùn)練熟練抓取和投球的預(yù)測策略。下圖表示在機(jī)器人拋擲 ball 過程的瞬間圖。研究方法：由感知層、策略層和行為層組成的深度預(yù)測策略體系結(jié)構(gòu)如下圖所示。作為網(wǎng)絡(luò)輸入，給出了一個中心 RGB 圖像。感知層將圖像數(shù)據(jù)抽象為與任務(wù)相關(guān)的對象對應(yīng)的若干空間位置。策略層將抽象狀態(tài)隨機(jī)映射到操作流形中的一個點。最后，針對給定的采樣動作，行為層生成一長軌跡的電機(jī)指令，并應(yīng)用于機(jī)器人連續(xù) T 個時間步長。研究結(jié)果： 文章證明了所提出的結(jié)構(gòu)和學(xué)習(xí)框架的適用性。該方法的有效性

34、通過以下事實得到了證明:這些任務(wù)僅使用 180 次真正的機(jī)器人進(jìn)行訓(xùn)練，并提供定性的最終獎勵。 論文題目：Learning Agile and Dynamic Motor Skills for Legged Robots中文題目：面向腿式機(jī)器人的敏捷動態(tài)特性的技能學(xué)習(xí)論文作者： Jemin Hwangbo, Joonho Lee, Alexey Dosovitskiy, Dario Bellicoso, Hoonho Lee, Vassilios Tsounis, Vladlen Koltun and Marco Hutter.論文出處：Science Robotics, 2019論文地址：/

35、pdf/1901.08652.pdf 研究問題：近年來，腿式機(jī)器人是機(jī)器人技術(shù)中最大的挑戰(zhàn)之一。動物的動態(tài)和敏捷的動作是現(xiàn)有的方法無法模仿的，而這些方法是由人類精心設(shè)計的。一個令人信服的替代方案是強(qiáng)化學(xué)習(xí)，它需要最少的技能并促使控制策略的自然演化更新。然而，到目前為止，對腿式機(jī)器人的強(qiáng)化學(xué)習(xí)研究主要局限于仿真，在實際系統(tǒng)中應(yīng)用比較簡單的例子較少。主要原因是，使用真正的機(jī)器人進(jìn)行訓(xùn)練，尤其是使用動態(tài)平衡系統(tǒng)，既復(fù)雜又昂貴。在本論文中，我們提供了一種新的方法，在模擬中訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)策略，并將其遷移到一個最先進(jìn)的腿系統(tǒng)，因此我們利用快速、自動化和經(jīng)濟(jì)有效的數(shù)據(jù)生成方案。研究方法：對于腿式機(jī)器人的敏

36、捷動態(tài)性技能學(xué)習(xí)的過程，首先是系統(tǒng)建模，針對于四足機(jī)器人的物理參數(shù)的辨識以及確定機(jī)器人動態(tài)參數(shù)的不確定性指標(biāo)，這個過程可能需要環(huán)境參數(shù)估計，物理動態(tài)性能估計等；其次是訓(xùn)練驅(qū)動神經(jīng)網(wǎng)絡(luò)，這個過程一般通過構(gòu)建機(jī)器人狀態(tài)到機(jī)器人電機(jī)控制的映射函數(shù)實現(xiàn)，隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛認(rèn)可，這樣的非線性映射函數(shù)現(xiàn)大多采用深度神經(jīng)網(wǎng)絡(luò)擬合；然后在仿真中完成基于強(qiáng)化學(xué)習(xí)的驅(qū)動神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，最后將訓(xùn)練好的驅(qū)動神經(jīng)網(wǎng)絡(luò)擬合的控制策略應(yīng)用在實際的系統(tǒng)中。 整個系統(tǒng)的控制網(wǎng)絡(luò)由三部分構(gòu)成，首先是策略網(wǎng)絡(luò)，用于將當(dāng)前的觀測量和之前的關(guān)節(jié)狀態(tài)量映射到目標(biāo)關(guān)節(jié)量（下一時刻關(guān)節(jié)控制量），然后是驅(qū)動網(wǎng)絡(luò)，用于在剛體關(guān)節(jié)控制中將

37、歷史關(guān)節(jié)狀態(tài)映射到關(guān)節(jié)力矩控制量上，機(jī)器人狀態(tài)量有各關(guān)節(jié)的位置信息 q 與速度信息 u。 研究結(jié)果： 應(yīng)用于一個復(fù)雜的中型犬大小的四足系統(tǒng) ANYmal 機(jī)器人，使得在模擬中訓(xùn)練的四足機(jī)器人的運(yùn)動策略超越了以前的方法，ANYmal 能夠精確和高效地遵循高水平的身體速度指令，比以前跑得更快，甚至在復(fù)雜的配置中也能從跌倒中恢復(fù)過來。論文題目： Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks中文題目：理解視覺和觸覺：接觸任務(wù)多

38、模態(tài)表達(dá)的自監(jiān)督學(xué)習(xí)論文作者：Michelle A. Lee, Yuke Zhu, Krishnan Srinivasan, Parth Shah, Silvio Savarese, Li Fei-Fei, Animesh Garg, and Jeannette Bohg論文出處：IEEE International Conference on Robotics and Automation，2019 論文地址：/abstract/document/8793485研究問題： 非結(jié)構(gòu)化環(huán)境中需要接觸的操作任務(wù)通常需要觸覺和視覺反饋。但是，人工設(shè)計融合各個不同模態(tài)的機(jī)器人控制器并非易事。盡管深度強(qiáng)

39、化學(xué)習(xí)已經(jīng)成功地應(yīng)用于針對高維輸入的控制策略學(xué)習(xí)，但由于樣本復(fù)雜性，這些算法通常難以部署在實際的機(jī)器人上。提出使用自監(jiān)督來學(xué)習(xí)感官輸入的緊湊和多模態(tài)表示，以用來提高策略學(xué)習(xí)的樣本效率。 研究方法： 以學(xué)習(xí)機(jī)器人執(zhí)行需要接觸操作任務(wù)的策略為目標(biāo)。希望評估融合多傳感器信息的價值以及多模態(tài)表示在跨任務(wù)傳遞的能力。為了提高樣本效率，首先學(xué)習(xí)了基于神經(jīng)網(wǎng)絡(luò)的多傳感器數(shù)據(jù)特征表示。得到的壓縮特征向量用作通過強(qiáng)化學(xué)習(xí)學(xué)習(xí)到的策略的輸入。將操作任務(wù)建模為一個有限時間的離散馬爾科夫決策過程 M，狀態(tài)空間 S， 動作空間 A，狀態(tài)轉(zhuǎn)移動力學(xué) T: S A S，初始狀態(tài)分布 0，回報函數(shù) r: S A R，時間 T

40、，折扣系數(shù) （0,1，為了確定最優(yōu)隨機(jī)策略 : S P（A）， 我們希望最大化期望折扣獎勵自監(jiān)督多模態(tài)表示學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，該網(wǎng)絡(luò)將來自三個不同 傳感器的數(shù)據(jù)作為輸入：RGB 圖像、32ms 窗口上的 F/T 讀數(shù)以及末端執(zhí)行器的位置和速度。它將這些數(shù)據(jù)編碼并融合到一個多模態(tài)表示中，基于此，可以學(xué)習(xí) 包含接觸操作的控制器。這種表示學(xué)習(xí)網(wǎng)絡(luò)是通過自監(jiān)督形式進(jìn)行端到端訓(xùn)練的。我們將具有接觸的操作作為一個無模型強(qiáng)化學(xué)習(xí)問題，研究它在依賴多模態(tài)反饋以及在幾何、間隙和構(gòu)型不確定的情況下的性能。由于選擇無模型，還消除了對精確動力學(xué)模型的需要，這是存在接觸的操作中的典型困難。 研究結(jié)果： 提出了

41、一種新穎的模型，將異構(gòu)感官輸入編碼為多模態(tài)表示。一旦經(jīng)過訓(xùn)練， 當(dāng)用作用于強(qiáng)化學(xué)習(xí)的淺層神經(jīng)網(wǎng)絡(luò)策略的輸入時，該表示就保持固定。通過自我監(jiān)督來訓(xùn)練表示模型，從而無需手動標(biāo)注。實驗表明，需要接觸的任務(wù)需要視覺和觸覺的多模式反饋，此外，還進(jìn)一步證明了多模態(tài)表示可以很好地遷移到其他新任務(wù)中。 論文題目：A Magnetically-Actuated Untethered Jellyfish-Inspired Soft Milliswimmer中文題目：一個受水母啟發(fā)的磁力驅(qū)動軟體游泳機(jī)器人論文作者：Ziyu Ren , Tianlu Wang，Wenqi Hu , and Metin Sitti論文

42、出處：Robotics: Science and Systems, 2019論文地址： HYPERLINK /rss15/p13.pdf /rss15/p13.pdf 研究問題： 不受限制的小型軟機(jī)器人可以用于醫(yī)療和生物醫(yī)學(xué)應(yīng)用。他們可以進(jìn)入狹小空間并以可編程方式改變形狀，以適應(yīng)非結(jié)構(gòu)化環(huán)境并具有多種動態(tài)行為。但是， 當(dāng)前的微型軟機(jī)器人的功能有限，從而限制了它們在醫(yī)療中的應(yīng)用。利用磁性軟復(fù)合材料形狀可編程的優(yōu)勢，提出一種不受束縛的軟體機(jī)器人，它可以像水母一樣在時間和軌跡上不對稱地上下跳動，可以通過調(diào)節(jié)外部振蕩磁場的大小，頻率和方向來控制其游泳速度和方向。 研究方法： 該機(jī)器人的設(shè)計如上圖所示，

43、機(jī)器人主體由兩部分組成：主動部分像肌肉一樣工作以實現(xiàn)劃槳運(yùn)動，而被動部分則填充了主動部分的間隙，使身體成為連續(xù)的流體動力表面。身體的主動部分由軟磁性材料制成，可在外部 B 場下變形。通過將釹鐵硼（NdFeB）磁性微粒（MQP-15-7，Magnequench；平均直徑：5m） 與聚合物（Ecoflex 00-10，Smooth-On Inc.）混合來制備材料，質(zhì)量比為 1：1。將該混合物澆鑄到涂覆有聚對二甲苯-C 的聚合物（甲基丙烯酸甲酯）（PMMA）板上。聚合物在 60C 固化形成厚度約為 96m 的薄膜（下圖 b-i）。使用激光切割機(jī)從該薄膜上切出主動部分的幾何形狀（下圖 b-ii）。從平

44、板上移開主動部分后，使用移液器將水滴滴在其上。活性部分可以立即包裹水滴并在表面張力作用下形成橢圓形（下圖 b-iii）。然后將有效成分放入冰箱進(jìn)行冷凍，以保持橢圓形的形狀。橢圓形主動部分在振動樣品磁力計（VSM，EZ7，Microsense）內(nèi)部被1.8T 均勻磁場磁化。磁化后，用非磁性彈性體（Ecoflex 00-10）填充主動部分的間隙以形成厚度約為 20m 的薄層薄膜（下圖 b-iv）。最終機(jī)器人如下圖 a-ii 所示。 研究結(jié)果： 提出了一種使用磁性軟復(fù)合材料制作的軟體游泳機(jī)器人。只需調(diào)節(jié)外部磁場的波形，頻率和振蕩方向即可實現(xiàn)對其控制。已經(jīng)進(jìn)行了初步研究以發(fā)現(xiàn)其推進(jìn)速度與輸入控制信號之

45、間的關(guān)系。當(dāng)驅(qū)動頻率增加時，由于流體動力阻尼力，機(jī)器人的跳動幅度單調(diào)減小。實驗數(shù)據(jù)和模型預(yù)測都顯示了對于特定控制波形的最佳驅(qū)動頻率的存在。實驗表明，該機(jī)器人可用于多種潛在醫(yī)療功能。 論文題目：Robust Visual-Inertial State Estimation with Multiple Odometries and Efficient Mapping on an MAV with Ultra-Wide FOV Stereo Vision中文題目：魯棒多測度視覺慣性狀態(tài)估計及其在具有超廣角立體視覺的微型飛行器上的高效映射論文作者：M. G. Mu ller, F. Steidle,

46、M. J. Schuster, P. Lutz, M. Maier, S. Stoneman,T. Tomic, and W. Sturzl論文出處：IEEE International Conference on Intelligent Robots and Systems，2018論文地址：/document/8594117 研究問題： 近年來，微型飛行器（MAV）已用于各種各樣的應(yīng)用中。他們能夠快速到達(dá)感興趣的點或獲得以前難以或不可能到達(dá)的視角，這使它們對于諸如勘探，檢查， 搜索和救援之類的任務(wù)變得非常有用。提出了一種配備兩對廣角立體相機(jī)和一個260261慣性測量單元（IMU）的多旋翼系

47、統(tǒng)，以實現(xiàn)強(qiáng)大的視覺慣性導(dǎo)航和省時的全向3D 映射，如下圖所示。研究方法： 四個攝像頭垂直覆蓋了 240 度的立體視野（FOV），這使得該系統(tǒng)也適用于狹窄和狹窄的環(huán)境，例如洞穴。在所提出的方法中，從四個廣角攝像頭合成了八個虛擬針孔攝像頭。所得的四個合成針孔立體系統(tǒng)中的每一個都為獨立的視覺測距法（VO）提供輸入。隨后，基于它們與狀態(tài)估計的一致性，將四個單獨的運(yùn)動估計與來自 IMU 的數(shù)據(jù)融合。研究結(jié)果： 提出了配備有四個廣角攝像機(jī)的 MAV。多達(dá) 240的垂直立體視野使 MAV 能夠感知其下方，上方和前方的對象，這與避障，路徑規(guī)劃和有效的映射等任務(wù)有關(guān)。實驗表明，由四個具有獨立關(guān)鍵幀的立體測距儀提供的魯棒運(yùn)動估計，也可以從較大的視野中受益，從而可以進(jìn)行狀態(tài)估計。 機(jī)器人進(jìn)展機(jī)器人學(xué)習(xí) 在 AI 興起的時代，機(jī)器人擁有了一種新型的學(xué)習(xí)方式：深度強(qiáng)化學(xué)習(xí)。這一新方式借助通用化的神經(jīng)網(wǎng)絡(luò)表示，處理復(fù)雜的傳感器輸入，來讓機(jī)器人從自己的經(jīng)驗活動中直接學(xué)習(xí)行為。相比傳統(tǒng)方式，它解放了工程設(shè)計人員們的雙手， 不再需要程序員們手動設(shè)計機(jī)器人每一個動作的每一項精確參數(shù)。但是，