智能機(jī)器人原理與應(yīng)用 課件 第13-15章 家庭智能空間服務(wù)機(jī)器人日常工具功用性認(rèn)知、家庭智能服務(wù)機(jī)器人雜亂環(huán)境中推抓技能學(xué)習(xí)、室內(nèi)環(huán)境自適應(yīng)智能商用服務(wù)機(jī)器人系統(tǒng)

智能機(jī)器人原理與應(yīng)用“智能檢測技術(shù)與模式識別”研究所13家庭智能空間服務(wù)機(jī)器人日常工具功用性認(rèn)知指在日常生活中，人們用刀削蘋果、用錘子敲擊釘子，選擇不同工具完成不同任務(wù)的依據(jù)是工具本身的特性決定的。如果選擇時(shí)去除這種依據(jù)，那么相應(yīng)的任務(wù)就不能很好的完成，因?yàn)槿祟愒诎l(fā)明工具的同時(shí)賦予其不同特性以更好地完成某一類任務(wù)。這種工具所賦有的特性我們稱之為功用性(Affordance)。功用性是工具價(jià)值的體現(xiàn)，了解工具功用性是發(fā)掘其價(jià)值的有效途徑。13.1家庭日常工具的功用性部件檢測系統(tǒng)框架本章提出的工具部件功用性快速檢測方法分為離線學(xué)習(xí)和在線檢測兩個(gè)階段，如圖13.1所示。離線學(xué)習(xí)階段：首先，分別構(gòu)建工具部件功用性邊緣檢測器和工具部件功用性檢測器，然后，利用功用性邊緣檢測器對訓(xùn)練數(shù)據(jù)集進(jìn)行檢測得到對應(yīng)概率圖，在概率圖中用一系列閾值篩選出可能區(qū)域，利用工具部件功用性檢測器對可能區(qū)域進(jìn)行檢測，評估檢測結(jié)果以確定coarse-to-fine閾值。在線檢測階段：根據(jù)待檢測功用性及圖像深度信息計(jì)算相應(yīng)特征矩陣，利用工具部件功用性邊緣檢測器檢測功用性區(qū)域邊緣；利用工具部件功用性對應(yīng)的coarse-to-fine閾值篩選出較精確功用性區(qū)域；計(jì)算選出區(qū)域?qū)?yīng)的特征矩陣，利用工具部件功用性檢測器進(jìn)行功用性檢測。圖13.1基于SRF的工具部件功用性快速檢測整體流程1)特征描述表13.1中列出了不同功用性模型所選取的特征及其維度。這里，不同功用性邊緣檢測選用的特征不盡相同，選取依據(jù)是該特征對表征該功用性區(qū)域邊緣有效且顯著。13.2功用性部件檢測模型離線訓(xùn)練13.2.1功用性部件邊緣檢測器構(gòu)建GeometricFeatures/DimensionTheObjectiveAffordancegraspcontaincutpoundscoopsupportwrap-graspOrientedGradientHistograms/4DGradientMagnitude/1DMeanCurvatures/1DShapeIndex/1DCurvedness/1D√

√√√√√√√√√√√√√√√√√√√√√√√√√√√

√√表13.1工具部件各功用性邊緣檢測模型特征選取步驟1由訓(xùn)練數(shù)據(jù)集中的深度圖像計(jì)算各通道特征值，在各個(gè)特征通道中采用滑動(dòng)窗口機(jī)制隨機(jī)提取一定數(shù)量的特征塊及標(biāo)記圖中相應(yīng)的標(biāo)記塊，分別加入特征集和標(biāo)記集。步驟2對所有標(biāo)記塊進(jìn)行主成分分析，判定其對應(yīng)樣本為正樣本或負(fù)樣本。步驟3隨機(jī)選擇特征參與構(gòu)建決策樹。步驟4利用樣本集構(gòu)建決策樹。在每個(gè)分裂節(jié)點(diǎn)處，從特征中隨機(jī)選擇維特征作為樣本集分裂閾值，選取對應(yīng)信息增益最大的特征值為該節(jié)點(diǎn)閾值，相應(yīng)的輸入樣本集被分裂成兩個(gè)子樣本集作為子節(jié)點(diǎn)的輸入。步驟5在樣本集分裂過程中，當(dāng)輸入樣本集取得的最大信息增益小于預(yù)設(shè)值或樣本個(gè)數(shù)不超過8個(gè)時(shí)停止分裂，這個(gè)節(jié)點(diǎn)就成為葉子節(jié)點(diǎn)，所有樣本停止分裂。步驟6分析步驟5中葉子節(jié)點(diǎn)的輸入樣本集所對應(yīng)標(biāo)記集，得到標(biāo)記塊作為此葉子節(jié)點(diǎn)的內(nèi)容，所有樣本都到達(dá)葉子節(jié)點(diǎn)則此決策樹構(gòu)建完成，不需要剪枝。步驟7從步驟1到步驟6重復(fù)8次，生成8棵決策樹組合形成一個(gè)SRF，即為該種功用性邊緣檢測模型。步驟8重復(fù)以上步驟，訓(xùn)練其它功用性邊緣檢測模型，將7種功用性邊緣檢測模型聯(lián)合構(gòu)成工具部件功用性邊緣檢測器。13.2功用性部件檢測模型離線訓(xùn)練13.2.1功用性部件邊緣檢測器構(gòu)建算法13.2功用性部件檢測模型離線訓(xùn)練13.2.2功用性部件內(nèi)部檢測器構(gòu)建1)特征描述與功用性邊緣檢測器構(gòu)建方法類似，功用性檢測器的構(gòu)建同樣基于SRF并針對每種功用性訓(xùn)練相應(yīng)的檢測模型。不同之處在于，這里所選特征除上節(jié)中梯度幅值、平均曲率、方向梯度直方圖、形狀指數(shù)和曲度外，為精確描述工具部件功用性，還選擇3維表面法向量(SurfaceNormals)和1維高斯曲率(GaussianCurvatures)。本文訓(xùn)練工具部件功用性檢測模型主要基于7類特征的21個(gè)特征通道：表面法向量3個(gè)、梯度幅值2個(gè)、高斯曲率2個(gè)、平均曲率2個(gè)、方向梯度直方圖8個(gè)、形狀指數(shù)2個(gè)和曲度2個(gè)，除表面法向量外其余特征均在圖像原始尺度和1/2原始尺度下各取一次得到。與訓(xùn)練工具部件功用性邊緣檢測模型方式類似，功用性檢測模型同樣基于結(jié)構(gòu)隨機(jī)森林離線學(xué)習(xí)得到，且訓(xùn)練數(shù)據(jù)集由RGB-D圖像和標(biāo)記圖像組成，訓(xùn)練樣本包含特征集和標(biāo)記集兩部分。與訓(xùn)練功用性邊緣檢測模型的標(biāo)記圖像不同，訓(xùn)練功用性檢測模型的標(biāo)記圖像是對整個(gè)功用性區(qū)域做標(biāo)記，目的在于對整個(gè)功用性區(qū)域進(jìn)行檢測。算法輸入為由特征集和標(biāo)記集共同組成的樣本集，輸出為工具部件功用性檢測器。由于功用性檢測模型與功用性邊緣檢測模型都是基于結(jié)構(gòu)隨機(jī)森林構(gòu)建，其SRF學(xué)習(xí)過程相同，這里不再贅述。在完成7種功用性檢測模型的訓(xùn)練后，將其聯(lián)合起來構(gòu)成工具部件功用性檢測器。13.2功用性部件檢測模型離線訓(xùn)練13.2.2功用性部件內(nèi)部檢測器構(gòu)建算法如前所述，每種功用性分別對應(yīng)一個(gè)功用性邊緣檢測模型，同樣地，針對不同的邊緣檢測模型選取不同的coarse-to-fine閾值，其算法描述如下：輸入：訓(xùn)練數(shù)據(jù)集中的幅RGB-D圖像。輸出：閾值。步驟1利用功用性邊緣檢測器依次對幅圖像進(jìn)行某種功用性的邊緣檢測得到其概率圖，在一系列閾值(取值從0到1，每次增量為0.01)下獲取目標(biāo)區(qū)域。步驟2用工具部件功用性檢測器對步驟1得到的區(qū)域進(jìn)行功用性檢測。步驟3對步驟2的檢測結(jié)果進(jìn)行評估，取m幅圖像評估平均值記為，這樣得到不同閾值的對應(yīng)關(guān)系，取最大值所對應(yīng)的閾值即為此種功用性區(qū)域檢測的閾值。步驟4重復(fù)步驟1到步驟3，完成其它功用性區(qū)域檢測的閾值選取。13.2功用性部件檢測模型離線訓(xùn)練13.2.3Coarse-to-fine閾值選取12.3工具功用性部件在線檢測在線檢測過程算法描述如下：輸入：待檢測RGB-D圖像，待檢測功用性類別。輸出：概率圖，其中每個(gè)像素的值代表該像素點(diǎn)屬于目標(biāo)功用性區(qū)域的概率。步驟1根據(jù)待檢測功用性種類選用相應(yīng)邊緣檢測模型，繼而確定對應(yīng)幾何特征種類，根據(jù)深度圖像計(jì)算得到特征矩陣。步驟2從特征矩陣讀入檢測樣本，檢測樣本只包含特征集，并且記錄樣本在圖像中的位置信息。步驟3功用性邊緣檢測模型中對待檢測樣本分類，利用葉子節(jié)點(diǎn)中內(nèi)容信息對樣本在圖像中相應(yīng)像素位置點(diǎn)進(jìn)行投票，綜合所有決策樹結(jié)果得到功用性邊緣檢測的概率圖。步驟4選擇目標(biāo)功用性對應(yīng)coarse-to-fine閾值，對步驟3得到的概率圖進(jìn)行處理，濾除噪聲，篩選出精確功用性區(qū)域邊界，確定目標(biāo)功用性矩形區(qū)域。步驟5計(jì)算步驟4選定區(qū)域?qū)?yīng)的特征矩陣，采用滑動(dòng)窗口機(jī)制讀入檢測樣本，并記錄樣本在圖像中的位置信息。步驟6功用性檢測模型對所有檢測樣本進(jìn)行分類，利用葉子節(jié)點(diǎn)中內(nèi)容信息對樣本在圖像中相應(yīng)像素位置點(diǎn)進(jìn)行投票，綜合所有決策樹結(jié)果得到最終功用性檢測的概率圖。13.4工具功用性部件實(shí)驗(yàn)13.4.1實(shí)驗(yàn)數(shù)據(jù)集本文實(shí)驗(yàn)選用AustinMyers等人的方法中數(shù)據(jù)集，該數(shù)據(jù)集是目前比較完備的工具部件功用性數(shù)據(jù)集，采集了包含廚房、園藝等共計(jì)17大類105種家庭日常工具的RGB-D信息，涵蓋了grasp、cut、scoop、contain、pound、support和wrap-grasp共7類功用性。每種工具在近300個(gè)不同視角下進(jìn)行采集，如此產(chǎn)生了超過30000組的RGB-D數(shù)據(jù)，其中有1/3的數(shù)據(jù)進(jìn)行了功用性標(biāo)記。在實(shí)驗(yàn)過程中，利用標(biāo)記的數(shù)據(jù)完成離線訓(xùn)練和在線測試，相應(yīng)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)比例約為4:1。圖13.3(a)中列舉了部分工具及其最主要功用性語義描述，圖13.3(b)列舉了不同工具的不同部件所對應(yīng)的功用性標(biāo)記。圖13.3RGB-D數(shù)據(jù)集中部分對象(a)為對應(yīng)功用性，(b)為目標(biāo)部件功用性檢測結(jié)果13.4工具功用性部件實(shí)驗(yàn)13.4.2評價(jià)方法及結(jié)果分析本文采用兩種方法對本文方法和AustinMyers等人的方法對功用性檢測結(jié)果進(jìn)行評價(jià)。離線訓(xùn)練階段，學(xué)習(xí)得到某功用性的邊緣檢測模型及其功用性檢測模型(均為由8棵決策樹構(gòu)成的隨機(jī)森林)，繼而由這兩個(gè)模型學(xué)習(xí)該功用性的coarse-to-fine閾值。依次訓(xùn)練得到各功用性的coarse-to-fine閾值分別為grasp0.57、cut0.38、scoop0.43、contain0.51、pound0.72、support0.59、wrap-grasp0.53。在線檢測階段，工具部件邊緣檢測器對各種工具功用性區(qū)域邊緣進(jìn)行檢測，效果如圖13.4(b)所示；利用離線學(xué)習(xí)得到的各類工具相應(yīng)的coarse-to-fine閾值加以濾波，篩選出精確功用性區(qū)域，效果如圖13.4(c)所示；工具部件功用性檢測器對篩選出區(qū)域進(jìn)行功用性檢測，效果如圖13.4(d)所示。圖13.4(e)是AustinMyers等人的方法基于SRF方法的功用性檢測模型對相同圖像的功用性檢測結(jié)果。對比可見，本文方法在背景濾除方面效果顯著。13.4工具功用性部件實(shí)驗(yàn)13.4.2評價(jià)方法及結(jié)果分析圖13.4本文方法和AustinMyers等人的方法在單一場景下對不同工具7種功用性檢測效果。(a)為待檢測單一場景圖像，(b)為功用性邊緣檢測器檢測結(jié)果，(c)為coarse-to-fine閾值濾波結(jié)果,(d)本文最終檢測結(jié)果，(e)AustinMyers等人的方法檢測結(jié)果13.4工具功用性部件實(shí)驗(yàn)13.4.2評價(jià)方法及結(jié)果分析圖13.5給出了復(fù)雜場景下本文方法和AustinMyers等人的方法方法對不同功用性的檢測效果。對比(d)和(e)可以很容易看出，本文方法結(jié)果(d)過濾掉了AustinMyers等人的方法結(jié)果(e)中的噪聲干擾，直接找到了目標(biāo)功用性部件。在抓取檢測中，本文方法和AustinMyers等人的方法方法均未有效地檢測出杯子把手，究其原因主要在于近距離觀察物體可以清晰的分辨物體的輪廓結(jié)構(gòu)，而距離較遠(yuǎn)時(shí)物體輪廓結(jié)構(gòu)甚至整個(gè)物體都變得模糊，導(dǎo)致邊緣檢測及功用性檢測效果不佳?？傮w而言，針對復(fù)雜場景本文所提方法具有更好的功用性檢測效果。圖13.5本文方法和AustinMyers等人的方法在復(fù)雜場景下對不同功用性的檢測效果。(a)為待檢測復(fù)雜場景圖像，(b)為功用性邊緣檢測器檢測結(jié)果，(c)為coarse-to-fine閾值濾波結(jié)果，(d)本文最終檢測結(jié)果，(e)AustinMyers等人的方法檢測結(jié)果13.4工具功用性部件實(shí)驗(yàn)13.4.2評價(jià)方法及結(jié)果分析圖13.6是使用傳統(tǒng)方法對本文提出方法和AustinMyers使用SRF方法進(jìn)行功用性檢測的評價(jià)統(tǒng)計(jì)結(jié)果，精度、召回率和值依據(jù)式(13.2)、(13.3)計(jì)算得到。從圖中可以看出在精度和召回率方面，本文所提方法較AustinMyers等人的方法中SRF方法均有不同程度的提高，在值的對比上本文方法的優(yōu)勢更加明顯。圖13.6本文方法和AustinMyers等人的方法SRF方法對各種功用性檢測結(jié)果的精度、召回率和F-beta對比圖北京信息科技大學(xué)自動(dòng)化學(xué)院“智能檢測技術(shù)與模式識別”研究所問答互動(dòng)環(huán)節(jié)北京信息科技大學(xué)自動(dòng)化學(xué)院智能機(jī)器人原理與應(yīng)用“智能檢測技術(shù)與模式識別”研究所14家庭智能服務(wù)機(jī)器人雜亂環(huán)境中推抓技能學(xué)習(xí)雜亂環(huán)境中機(jī)器人推動(dòng)與抓取技能自主學(xué)習(xí)問題被學(xué)者廣泛研究，實(shí)現(xiàn)二者之間的協(xié)同是提升抓取效率的關(guān)鍵，本文提出一種基于生成對抗網(wǎng)絡(luò)與模型泛化的深度強(qiáng)化學(xué)習(xí)算法GARL-DQN。首先，將生成對抗網(wǎng)絡(luò)嵌入到傳統(tǒng)DQN中，訓(xùn)練推動(dòng)與抓取之間的協(xié)同進(jìn)化；其次，將MDP中部分參數(shù)基于目標(biāo)對象公式化，借鑒事后經(jīng)驗(yàn)回放機(jī)制(HER)提高經(jīng)驗(yàn)池樣本利用率；然后，針對圖像狀態(tài)引入隨機(jī)(卷積)神經(jīng)網(wǎng)絡(luò)來提高算法的泛化能力；最后，設(shè)計(jì)了12個(gè)測試場景，在抓取成功率與平均運(yùn)動(dòng)次數(shù)指標(biāo)上與其他4種方法進(jìn)行對比，在規(guī)則物塊場景中兩個(gè)指標(biāo)分別為91.5%和3.406；在日常工具場景中兩個(gè)指標(biāo)分別為85.2%和8.6，驗(yàn)證了GARL-DQN算法在解決機(jī)器人推抓協(xié)同及模型泛化問題上的有效性。14.1家庭智能空間服務(wù)機(jī)器人操作技能框架本文提出一種機(jī)器人自監(jiān)督學(xué)習(xí)方法GARL-DQN，用于訓(xùn)練雜亂場景中機(jī)器人推抓之間的協(xié)同。首先，將兩個(gè)RGB-D相機(jī)采集到的當(dāng)前環(huán)境中的圖像狀態(tài)信息送入經(jīng)驗(yàn)池中，并通過重力方向正投影構(gòu)建RGB、Depth以及Mask目標(biāo)掩碼高度圖。其次，將上述高度圖經(jīng)過特征提取網(wǎng)絡(luò)進(jìn)行特征提取。將提取到的特征經(jīng)過隨機(jī)網(wǎng)絡(luò)層處理，以提高該算法的泛化性。然后，將特征輸入到推動(dòng)與抓取網(wǎng)絡(luò)中用于生成推動(dòng)與抓取功用性圖。最后，將抓取網(wǎng)絡(luò)作為判別器，推動(dòng)網(wǎng)絡(luò)作為生成器，評估當(dāng)前狀態(tài)是否可以對目標(biāo)物體執(zhí)行抓取，以便在推動(dòng)與抓取之間進(jìn)行選擇。兩個(gè)網(wǎng)絡(luò)交替訓(xùn)練，提高訓(xùn)練速度。基于GARL-DQN的深度強(qiáng)化學(xué)習(xí)機(jī)器人操作技能框架如圖14.1所示。圖14.1基于GARL-DQN的深度強(qiáng)化學(xué)習(xí)機(jī)器人操作技能框架模型泛化與遷移學(xué)習(xí)密切相關(guān)，用于從源任務(wù)轉(zhuǎn)移知識來提高目標(biāo)任務(wù)的性能。然而，強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)不同的是，將源任務(wù)上預(yù)先訓(xùn)練的模型進(jìn)行微調(diào)以適應(yīng)目標(biāo)任務(wù)往往是無益的。因此，本小節(jié)構(gòu)建了一種隨機(jī)卷積網(wǎng)絡(luò)來增強(qiáng)GARL-DQN算法的泛化能力。算法具體如下：引入一個(gè)隨機(jī)網(wǎng)絡(luò)

，將其先驗(yàn)參數(shù)進(jìn)行初始化，對強(qiáng)化學(xué)習(xí)模型的初始狀態(tài)用網(wǎng)絡(luò)層

進(jìn)行處理并將處理后的結(jié)果輸入到卷積神經(jīng)網(wǎng)絡(luò)中。在每一輪迭代后，該卷積神經(jīng)網(wǎng)絡(luò)都會重新初始化網(wǎng)絡(luò)

的權(quán)重，使其可以在有噪聲的特征空間上學(xué)習(xí)。14.2GARL-DQN算法設(shè)計(jì)14.2.1GARL-DQN的泛化模型建模為了實(shí)現(xiàn)推抓之間的協(xié)同，在訓(xùn)練環(huán)境中，機(jī)器人通過RGB-D相機(jī)采集到當(dāng)前時(shí)刻的圖像狀態(tài)信息，分別經(jīng)過視覺特征提取網(wǎng)絡(luò)與隨機(jī)卷積網(wǎng)絡(luò)

提取特征，作為抓取網(wǎng)絡(luò)算法的輸入。該算法是異策略算法，將目標(biāo)策略與行為策略分開訓(xùn)練，在保證探索的同時(shí)求得全局最優(yōu)解。將面向目標(biāo)的抓取網(wǎng)絡(luò)表示為

，在訓(xùn)練場景中隨機(jī)指定目標(biāo)物體

并將抓取獎(jiǎng)勵(lì)表示為

,

的定義方式如下：14.2GARL-DQN算法設(shè)計(jì)14.2.2GARL-DQN抓取網(wǎng)絡(luò)目標(biāo)重標(biāo)記策略可分為以下兩種情況：若機(jī)器人未抓取到任何物體則認(rèn)為是失敗的回合，不存入經(jīng)驗(yàn)池中；若機(jī)器人抓取到非目標(biāo)物體或者為移動(dòng)遮擋物所做的抓取動(dòng)作，將非目標(biāo)物體標(biāo)記為，并對樣本元組進(jìn)行轉(zhuǎn)換存儲到經(jīng)驗(yàn)池中。本章將推動(dòng)動(dòng)作作為抓取動(dòng)作的輔助動(dòng)作，目標(biāo)為減小目標(biāo)物體周圍的“空間占有率”。但本文的目標(biāo)為減少機(jī)器人的總運(yùn)動(dòng)次數(shù)，故應(yīng)盡可能地降低推動(dòng)動(dòng)作的頻率。考慮到機(jī)器人推抓之間的相互作用復(fù)雜且耦合度較高，故將基于目標(biāo)的推動(dòng)網(wǎng)絡(luò)作為生成器，使得動(dòng)作價(jià)值函數(shù)不斷逼近抓取網(wǎng)絡(luò)學(xué)習(xí)到的閾值，由抓取網(wǎng)絡(luò)作為判別器來判斷當(dāng)前狀態(tài)是否適合抓取。14.2GARL-DQN算法設(shè)計(jì)14.2.3GARL-DQN的推動(dòng)網(wǎng)絡(luò)建模本節(jié)給出抓取網(wǎng)絡(luò)與推動(dòng)網(wǎng)絡(luò)之間的生成對抗網(wǎng)絡(luò)建模使得該算法可以更好地?cái)M合出動(dòng)作參數(shù)，學(xué)習(xí)到最優(yōu)的推抓位置參數(shù)與角度參數(shù)?；趦蓚€(gè)網(wǎng)絡(luò)之間的零和博弈，將目標(biāo)設(shè)置為一個(gè)狀態(tài)的收益分布而不是收益均值，將平均回報(bào)向量轉(zhuǎn)化為回報(bào)分布函數(shù)。將動(dòng)作價(jià)值函數(shù)表示為隨機(jī)變量，建立期望值與期望函數(shù)之間的關(guān)系：

，將定義在分布上的貝爾曼算子表示為

，最終得到最終得到貝爾曼方程如式(1)與式(2)所示：

（1）

（2）14.2GARL-DQN算法設(shè)計(jì)14.2.3GARL-DQN的生成對抗網(wǎng)絡(luò)建模本章目標(biāo)為最小化輸出與真實(shí)分布之間的距離。一方面，推動(dòng)網(wǎng)絡(luò)的目標(biāo)為產(chǎn)生最優(yōu)狀態(tài)-動(dòng)作值分布的現(xiàn)實(shí)樣本，另一方面，抓取網(wǎng)絡(luò)旨在將真實(shí)樣本與從推動(dòng)網(wǎng)絡(luò)輸出的樣本進(jìn)行對比，判斷當(dāng)前時(shí)刻狀態(tài)是否達(dá)到抓取閾值。在每個(gè)回合中，推動(dòng)網(wǎng)絡(luò)接收當(dāng)前時(shí)刻狀態(tài)，在對分布估計(jì)中的每個(gè)動(dòng)作返回一個(gè)樣本，執(zhí)行最優(yōu)動(dòng)作。然后，機(jī)器人接收環(huán)境獎(jiǎng)勵(lì)值并轉(zhuǎn)換到狀態(tài)，將元組保存到經(jīng)驗(yàn)池中

。每次更新時(shí)，從經(jīng)驗(yàn)池均勻采樣,并根據(jù)公式更新抓取網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。

14.2GARL-DQN算法設(shè)計(jì)14.2.3GARL-DQN的生成對抗網(wǎng)絡(luò)建模14.3實(shí)驗(yàn)14.3.1實(shí)驗(yàn)環(huán)境搭建為驗(yàn)證本章算法對于機(jī)器人目標(biāo)物體抓取任務(wù)的性能，在V-REP3.5.0動(dòng)力學(xué)仿真軟件中模擬該任務(wù)的實(shí)驗(yàn)場景。該軟件內(nèi)部的運(yùn)動(dòng)學(xué)模塊可準(zhǔn)確地模擬真實(shí)機(jī)器人的運(yùn)動(dòng)軌跡，同時(shí)具有重力等物理引擎可模擬真實(shí)物體屬性。使用RGB-D相機(jī)采集工作空間狀態(tài)信息，該相機(jī)可以提供RGB圖像以及每個(gè)像素的深度信息，并將深度值快速轉(zhuǎn)換為點(diǎn)云信息用于3D感知。仿真實(shí)驗(yàn)環(huán)境如圖14.2所示。工作空間中配置了裝有RG2夾具的UR5機(jī)械臂模型，并在工作空間正上方與斜上方45°的位置均安裝RGB-D相機(jī)，該相機(jī)會在每次機(jī)械臂執(zhí)行完動(dòng)作后采集圖像信息，提供完整且大小為640×480的深度信息。圖14.2仿真環(huán)境場景14.3實(shí)驗(yàn)14.3.2訓(xùn)練階段為驗(yàn)證推動(dòng)與抓取操作之間的協(xié)同性，工作空間中被隨機(jī)初始化為m個(gè)隨機(jī)目標(biāo)塊和n個(gè)不同形狀的基本塊，目標(biāo)塊形狀與顏色隨機(jī)匹配，在前1000回合中基本塊的個(gè)數(shù)為3，后1500回合訓(xùn)練中基本塊個(gè)數(shù)為8。并將該算法與以下基線方法進(jìn)行比較：RAND：不經(jīng)過監(jiān)督訓(xùn)練而采取隨機(jī)像素點(diǎn)抓取；Grasp-Only：是一種貪婪的確定性抓取策略，它使用單個(gè)FCN網(wǎng)絡(luò)進(jìn)行抓取，該網(wǎng)絡(luò)使用二分類(來自試錯(cuò))的監(jiān)督。在此策略下的機(jī)器人僅執(zhí)行抓取動(dòng)作；VPG：在輸入中通過添加目標(biāo)掩碼來學(xué)習(xí)面向目標(biāo)的推動(dòng)與抓取策略，是一種使用并行結(jié)構(gòu)作為目標(biāo)不可知任務(wù)預(yù)測推動(dòng)與抓取的功用性圖的方法，在目標(biāo)掩碼中根據(jù)最大Q值執(zhí)行推動(dòng)或抓取動(dòng)作。GIT：一種深度強(qiáng)化學(xué)習(xí)方法，使用目標(biāo)分割網(wǎng)絡(luò)提取特征來增強(qiáng)機(jī)器人感知，基于DQN二分類器進(jìn)行機(jī)器人推動(dòng)與抓取訓(xùn)練。14.3實(shí)驗(yàn)14.3.2訓(xùn)練階段將機(jī)器人執(zhí)行動(dòng)作的最大閾值設(shè)置為30，當(dāng)動(dòng)作數(shù)超過閾值或所有目標(biāo)物體均被成功抓取時(shí)，則重置環(huán)境。計(jì)算每50次迭代中的平均成功抓取率并繪制曲線。該過程中目標(biāo)物體被隨機(jī)指定，訓(xùn)練2500次后繪制訓(xùn)練性能對比如圖14.3所示。圖14.3訓(xùn)練階段抓取成功率對比14.3實(shí)驗(yàn)14.3.3測試階段測試階段設(shè)置了兩種實(shí)驗(yàn)場景，與上述四種方法進(jìn)行對比。規(guī)則物塊場景中目標(biāo)物體被其他基本塊緊緊包圍，目標(biāo)塊與訓(xùn)練時(shí)相同，用于驗(yàn)證推抓之間的協(xié)同；日常工具場景中物體為訓(xùn)練過程中從未見過的物體，用于驗(yàn)證算法的泛化能力。（1）規(guī)則物塊場景下的算法效率驗(yàn)證本節(jié)設(shè)計(jì)了如圖6所示的8個(gè)測試案例，每個(gè)場景包含一個(gè)目標(biāo)物體。對每個(gè)案例進(jìn)行30輪實(shí)驗(yàn)，若機(jī)器人在5次內(nèi)成功抓取目標(biāo)物體，則記為一輪成功案例，旨在保證抓取成功率的同時(shí)，減少平均運(yùn)動(dòng)次數(shù)。與上述4種方法對比如圖7和圖8所示。由于每個(gè)測試場景中目標(biāo)物體分布不同，故本文算法表現(xiàn)略顯不同，表14.1中展示了不同方法的平均性能對比。平均移動(dòng)次數(shù)定義為方法抓取成功率(%)平均運(yùn)動(dòng)次數(shù)（次）RAND17.54.7750.60Grasping-only35.04.3250.98VPG70.04.0250.83GIT87.53.6750.90OURS(GARL-DQN)91.53.4060.50表14.1規(guī)則物塊案例平均表現(xiàn)

14.3實(shí)驗(yàn)14.3.3測試階段（2）日常工具場景下的模型泛化能力驗(yàn)證本節(jié)設(shè)置了如圖9所示的4個(gè)測試案例，每個(gè)場景中包含不同高度和形狀復(fù)雜的日常工具，場景中每個(gè)物體被依次設(shè)置為目標(biāo)物體，直接應(yīng)用訓(xùn)練階段訓(xùn)練好的模型進(jìn)行測試，用于驗(yàn)證GARL-DQN算法的泛化能力。抓取閾值設(shè)置為目標(biāo)物體的數(shù)量。表14.2展示了本方法與其他4種方法的平均性能對比。方法抓取成功率(%)平均運(yùn)動(dòng)次數(shù)（次）RAND15.515.14Grasping-only34.212.63VPG52.410.81GIT61.39.85OURS(GARL-DQN)85.28.60表14.2日常工具案例平均表現(xiàn)14.3實(shí)驗(yàn)14.3.4測試階段結(jié)果分析由規(guī)則物塊構(gòu)建的8種測試場景模擬了真實(shí)世界中目標(biāo)物體被緊緊包圍的場景，由于沒有足夠空間供抓取，用于檢驗(yàn)GARL-DQN算法中的推抓協(xié)同。表14.1展示了8個(gè)測試案例的表現(xiàn)，RAND和Grasping-only兩種方法在每個(gè)測試案例中都具有較高的運(yùn)動(dòng)次數(shù)和較低的成功率，抓取成功率在10~35%之間，但運(yùn)動(dòng)次數(shù)在4.3以上。VPG方法對于每個(gè)測試案例有不同的表現(xiàn)，可以體現(xiàn)出來推動(dòng)動(dòng)作對抓取動(dòng)作的影響，減少了運(yùn)動(dòng)次數(shù)，抓取成功率在60~75%之間，運(yùn)動(dòng)次數(shù)在4.0左右。GIT采用二分類器來訓(xùn)練推抓之間的協(xié)同作用，每個(gè)測試案例的抓取成功率都有提高，同時(shí)減少了運(yùn)動(dòng)次數(shù)，抓取成功率在85%以上，運(yùn)動(dòng)次數(shù)在3.6左右。而本文采取基于生成對抗網(wǎng)絡(luò)的GARL-DQN訓(xùn)練框架，以3.4次的平均運(yùn)動(dòng)次數(shù)實(shí)現(xiàn)了91.5%的抓取成功率，性能達(dá)到最優(yōu)。14.3實(shí)驗(yàn)14.3.4測試階段結(jié)果分析表14.2中展示了日常工具場景中不同算法的表現(xiàn)，用于驗(yàn)證GARL-DQN算法的泛化能力。RAND和Grasping-only兩種方法策略的完成率很低，即使能夠完成任務(wù)，其平均抓取成功率也保持在15-30%之間?？傮w成功率仍然較低，對于日常工具場景的泛化能力依然較弱。RADN隨機(jī)選擇動(dòng)作，忽略了雜波環(huán)境對目標(biāo)的影響，從而導(dǎo)致在面對目標(biāo)運(yùn)動(dòng)時(shí)出現(xiàn)過多錯(cuò)誤動(dòng)作。Grasping-only對于目標(biāo)物體采取僅抓取策略，雖然對目標(biāo)周圍的雜波環(huán)境有一定改善，但影響較小導(dǎo)致該算法成功率較低。VPG方法僅依靠預(yù)測動(dòng)作的Q值選擇動(dòng)作，不能有效判斷目標(biāo)所處的雜波狀態(tài)，有較多錯(cuò)誤抓取動(dòng)作和冗余推動(dòng)動(dòng)作，導(dǎo)致抓取成功率僅在50%左右，較規(guī)則物塊場景成功率有明顯降低，原因在于其僅依賴DQN無法實(shí)現(xiàn)良好的算法遷移，當(dāng)機(jī)器人面對新環(huán)境時(shí)，無法很好地將模型應(yīng)用在新場景中，故導(dǎo)致抓取率降低。同時(shí)，平均運(yùn)動(dòng)次數(shù)將近11次，即無法在一輪中實(shí)現(xiàn)全部目標(biāo)物體的抓取。GIT使用動(dòng)作二分類器來協(xié)調(diào)機(jī)器人的推抓動(dòng)作，不再根據(jù)最大Q值進(jìn)行動(dòng)作選擇，目標(biāo)物體抓取成功率達(dá)到了61%，平均運(yùn)動(dòng)次數(shù)為9.85。但其推抓之間的協(xié)同性較差，易使得推動(dòng)動(dòng)作成為冗余動(dòng)作。本文將DQN與生成對抗網(wǎng)絡(luò)以及模型泛化思想結(jié)合起來形成GARL-DQN算法，較好的解決了推動(dòng)與抓取之間的協(xié)同作用，使得平均運(yùn)動(dòng)次數(shù)減少到8.6次，基本在一個(gè)回合中抓取到所有目標(biāo)物體。同時(shí)，引入隨機(jī)網(wǎng)絡(luò)使得模型泛化能力大大提高，在日常工具場景中的抓取成功率也可達(dá)到85%以上，均優(yōu)于其他算法。北京信息科技大學(xué)自動(dòng)化學(xué)院“智能檢測技術(shù)與模式識別”研究所問答互動(dòng)環(huán)節(jié)智能機(jī)器人原理與應(yīng)用“智能檢測技術(shù)與模式識別”研究所15室內(nèi)環(huán)境自適應(yīng)智能商用服務(wù)機(jī)器人系統(tǒng)近年來，人工智能、自然語言處理、計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)等技術(shù)的發(fā)展為智能服務(wù)機(jī)器人的興起提供了支持，智能服務(wù)機(jī)器人得以發(fā)--展。智能服務(wù)機(jī)器人現(xiàn)有產(chǎn)品技術(shù)在室內(nèi)復(fù)雜環(huán)境下仍然面臨智能性與適應(yīng)性不足的突出挑戰(zhàn)，在核心算法、關(guān)鍵技術(shù)和產(chǎn)業(yè)化應(yīng)用方面均需要有所創(chuàng)新才可能實(shí)現(xiàn)服務(wù)機(jī)器人的智能化和商用化。目前已有的智能商用服務(wù)機(jī)器人有用于銀行、餐廳、商場、醫(yī)院的服務(wù)機(jī)器人，例如送餐機(jī)器人，迎賓機(jī)器人，酒店機(jī)器人，導(dǎo)購機(jī)器人，銀行柜臺機(jī)器人，巡檢機(jī)器人等。本章以北京云跡科技有限公司設(shè)計(jì)開發(fā)的智能商用服務(wù)機(jī)器人為例，對智能商用服務(wù)機(jī)器人的應(yīng)用進(jìn)行解讀，并進(jìn)行實(shí)際展示。15.1服務(wù)機(jī)器人研究發(fā)展概況人口老齡化趨勢加快及公共服務(wù)需求的持續(xù)旺盛，促使智能服務(wù)機(jī)器人需求急劇上升，對于目前智能服務(wù)行業(yè)，促使我們重點(diǎn)推進(jìn)服務(wù)機(jī)器人產(chǎn)品的研制及應(yīng)用，拓展服務(wù)機(jī)器人產(chǎn)品系列，提升性能、質(zhì)量和安全性，推動(dòng)產(chǎn)品高端化智能化發(fā)展。隨著AI、5G及物聯(lián)網(wǎng)和云計(jì)算技術(shù)的快速發(fā)展，在感知、決策、執(zhí)行等狹義機(jī)器人技術(shù)基礎(chǔ)上，先進(jìn)傳感、AI芯片、機(jī)器視覺、語音識別、NLP、知識圖譜及深度學(xué)習(xí)等新興技術(shù)與服務(wù)機(jī)器人深度融合發(fā)展，智能算法與技術(shù)中臺的重要性凸顯，如圖15.1所示，為服務(wù)機(jī)器人核心模塊和技術(shù)。圖15.1

服務(wù)機(jī)器人核心塊和技術(shù)“機(jī)器人云服務(wù)”用于用戶服務(wù)云端管理、機(jī)器人資源優(yōu)化調(diào)度及服務(wù)大數(shù)據(jù)分析，以實(shí)現(xiàn)機(jī)器人服務(wù)的網(wǎng)絡(luò)化、數(shù)據(jù)化、智能化。結(jié)合了云服務(wù)，服務(wù)機(jī)器人的運(yùn)行流程更加高效，始于用戶或業(yè)務(wù)邏輯觸發(fā)服務(wù)需求，經(jīng)過語言/動(dòng)作/屏幕指令/APP程序等多種人機(jī)交互形式，機(jī)器人感知并理解用戶意圖，進(jìn)而進(jìn)行任務(wù)規(guī)劃和調(diào)度執(zhí)行，最終向用戶提供所需服務(wù)，如圖15.2所示。15.1服務(wù)機(jī)器人研究發(fā)展概況圖15.2

智能機(jī)器人云服務(wù)服務(wù)機(jī)器人與工業(yè)機(jī)器人系統(tǒng)構(gòu)成類似，如圖15.3所示，由于二者的應(yīng)用場景及用途不同，相應(yīng)的技術(shù)需求存在巨大差異：1）服務(wù)機(jī)器人由于非結(jié)構(gòu)化環(huán)境的不確定性，往往需要更多源的傳感器組合，且有更高的環(huán)境感知與運(yùn)動(dòng)控制算法要求；2）服務(wù)機(jī)器人具有更復(fù)雜的業(yè)務(wù)邏輯，更強(qiáng)調(diào)人機(jī)交互的智能性、友好性、及時(shí)性，更強(qiáng)調(diào)機(jī)器人云平臺的應(yīng)用，以實(shí)現(xiàn)云端智能；3）由于運(yùn)行復(fù)雜算法和適應(yīng)復(fù)雜環(huán)境的需要，服務(wù)機(jī)器人有更高的計(jì)算性能要求；4）公共服務(wù)型機(jī)器人，對感知系統(tǒng)和機(jī)械結(jié)構(gòu)的精度要求低于工業(yè)機(jī)器人和特種服務(wù)機(jī)器人，但對性價(jià)比及能耗的要求更高；5）服務(wù)機(jī)器人對環(huán)境中其他設(shè)備有更多的物聯(lián)與調(diào)度需求，且更加強(qiáng)調(diào)自主協(xié)同與多機(jī)協(xié)作。15.1服務(wù)機(jī)器人研究發(fā)展概況15.1服務(wù)機(jī)器人研究發(fā)展概況圖15.3服務(wù)機(jī)器人的系統(tǒng)構(gòu)成15.1服務(wù)機(jī)器人研究發(fā)展概況服務(wù)機(jī)器人雖然功能各異，但基本技術(shù)架構(gòu)仍存共性，它們主要由五大核心技術(shù)組成，分別是底層硬件、基礎(chǔ)軟件、智能算法、技術(shù)中臺和業(yè)務(wù)應(yīng)用。如圖15.4所示，底層硬件主要包括環(huán)境感知、運(yùn)動(dòng)控制、人機(jī)交互相關(guān)零部件與主控硬件和通信模塊；基礎(chǔ)軟件主要包括機(jī)器人操作系統(tǒng)與算法引擎；智能算法主要包括SLAM、運(yùn)動(dòng)控制、任務(wù)規(guī)劃、智能交互算法與機(jī)器學(xué)習(xí)技術(shù)；技術(shù)中臺主要包括IOT、場景化大數(shù)據(jù)、領(lǐng)域知識圖譜及云服務(wù)平臺技術(shù)；業(yè)務(wù)應(yīng)用主要包括底盤與整機(jī)設(shè)計(jì)、場景化服務(wù)方案、智能化部署運(yùn)營及機(jī)器人即服務(wù)（RaaS）技術(shù)。底層硬件與基礎(chǔ)軟件是機(jī)器人的重要基礎(chǔ)，智能算法是機(jī)器人的關(guān)鍵核心，技術(shù)中臺是提升智能算法和實(shí)現(xiàn)業(yè)務(wù)應(yīng)用的必要條件，業(yè)務(wù)應(yīng)用則是針對場景和用戶提供高效機(jī)器人服務(wù)的重要途徑。15.1服務(wù)機(jī)器人研究發(fā)展概況圖15.4服務(wù)機(jī)器人技術(shù)架構(gòu)15.2.1“云跡科技”智能服務(wù)機(jī)器人1.智能服務(wù)機(jī)器人智能服務(wù)機(jī)器人現(xiàn)有產(chǎn)品技術(shù)在室內(nèi)復(fù)雜環(huán)境下仍然面臨智能性與適應(yīng)性不足的突出挑戰(zhàn)，亟需在核心算法、關(guān)鍵技術(shù)和應(yīng)用系統(tǒng)實(shí)現(xiàn)創(chuàng)新，以推動(dòng)智能服務(wù)機(jī)器人技術(shù)進(jìn)步與產(chǎn)業(yè)發(fā)展。智能服務(wù)機(jī)器人產(chǎn)品已有許多，如“云跡科技”智能服務(wù)機(jī)器人，在室內(nèi)環(huán)境下的應(yīng)用效果顯著，可以部分甚至全部代替人力，實(shí)現(xiàn)了較高程度上的智能自主，極大提高了服務(wù)效率。下面我們將簡單介紹代表性的“云跡科技”室內(nèi)環(huán)境智能服務(wù)機(jī)器人產(chǎn)品，從實(shí)際應(yīng)用角度分析室內(nèi)環(huán)境下智能商用服務(wù)機(jī)器人的技術(shù)需求。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)15.2.1“云跡科技”智能服務(wù)機(jī)器人2.酒店數(shù)字運(yùn)營系統(tǒng)-HDOS“云跡科技”公司開發(fā)推出了應(yīng)用于酒店、樓宇等室內(nèi)環(huán)境的多款智能服務(wù)機(jī)器人產(chǎn)品及配套智慧化服務(wù)系統(tǒng)，其自主研發(fā)的智能服務(wù)系統(tǒng)——酒店數(shù)字運(yùn)營系統(tǒng)（HotelDigitalOperationSystem），英文縮寫為HDOS。它是由AI語音客服、住中服務(wù)小程序、送物機(jī)器人、智能前置倉和輔助通知硬件組成。如圖15.5所示，送物機(jī)器人在無人智能服務(wù)整套流程中實(shí)現(xiàn)自動(dòng)化配送功能。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)圖15.5智能機(jī)器人—送物機(jī)器人15.2.1“云跡科技”智能服務(wù)機(jī)器人3.

HDOS與智能機(jī)器人在酒店場景中，HDOS的應(yīng)用能夠分擔(dān)酒店總機(jī)電話接聽任務(wù)量，實(shí)現(xiàn)AI自主應(yīng)答電話問詢、智能分配服務(wù)任務(wù)、調(diào)動(dòng)機(jī)器人和前置倉自主完成接送物等功能，實(shí)現(xiàn)酒店在住中服務(wù)的全數(shù)字化服務(wù)，如圖15.6所示。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)圖15.6HDOS與智能機(jī)器人酒店智能服務(wù)機(jī)器人在HDOS中扮演著由線上轉(zhuǎn)線下的關(guān)鍵部分，HDOS將住客、員工、管理者、機(jī)器人、AI語音客服連接起來，通過住客需求端的數(shù)字化，完成任務(wù)分發(fā)，任務(wù)執(zhí)行。這樣減少了完成客戶服務(wù)過程中不必要的冗長信息傳遞，減少服務(wù)過程中遺漏和出錯(cuò)，大大提高了服務(wù)效率，減輕人力負(fù)擔(dān)。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)15.2.1“云跡科技”智能服務(wù)機(jī)器人3.

HDOS與智能機(jī)器人室內(nèi)環(huán)境的封閉性、高動(dòng)態(tài)性和不確定性問題以及商用情況下的高性能、易操作、安全性需求，對室內(nèi)智能商用服務(wù)機(jī)器人的要求更為苛刻。例如非結(jié)構(gòu)化環(huán)境下的高精度混合定位建圖技術(shù)、基于自主深度學(xué)習(xí)引擎的目標(biāo)識別與動(dòng)態(tài)避障技術(shù)、地形自適應(yīng)的伺服驅(qū)動(dòng)與控制技術(shù)、多機(jī)器人自主協(xié)同與優(yōu)化調(diào)度技術(shù)以及場景化多模態(tài)人機(jī)交互與意圖理解技術(shù)。為了使得服務(wù)機(jī)器人能夠根據(jù)不同的室內(nèi)環(huán)境如酒店、樓宇、社區(qū)等場景，提供智能化、便捷化的服務(wù)體驗(yàn)，也需要一種智能服務(wù)機(jī)器人技術(shù)平臺。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)15.2.2室內(nèi)智能商用服務(wù)機(jī)器人1.技術(shù)難點(diǎn)高精度定位導(dǎo)航：在環(huán)境感知、定位精度、定位速度、定位穩(wěn)定性等方面，酒店與樓宇等跨樓層室內(nèi)復(fù)雜環(huán)境存在的空間特征稀疏、動(dòng)態(tài)擾動(dòng)、地面擾動(dòng)給機(jī)器人高精度定位與導(dǎo)航帶來了難題。機(jī)器視覺與動(dòng)態(tài)避障：如何在復(fù)雜環(huán)境中實(shí)現(xiàn)高精度的目標(biāo)檢測和跟蹤，如何在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)高效的路徑規(guī)劃和避障，室內(nèi)環(huán)境目標(biāo)的多樣性、動(dòng)態(tài)性、不確定性以及光照變化給機(jī)器人帶來的場景理解與動(dòng)態(tài)避障等困難需要解決。伺服驅(qū)動(dòng)控制：如何實(shí)現(xiàn)高精度的運(yùn)動(dòng)控制，如何提高機(jī)器人的操作精度和驅(qū)動(dòng)力控制，復(fù)雜環(huán)境給機(jī)器人的高通過性與高穩(wěn)定性運(yùn)動(dòng)控制帶來的技術(shù)問題。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)15.2.2室內(nèi)智能商用服務(wù)機(jī)器人2.技術(shù)需求-以“云跡科技”智能服務(wù)機(jī)器人產(chǎn)品為例模塊化與輕量化設(shè)計(jì)：如何實(shí)現(xiàn)機(jī)器人模塊化與重構(gòu)技術(shù)，如何提高機(jī)器人輕量化設(shè)計(jì)技術(shù)，尤其是復(fù)雜環(huán)境對機(jī)器人模塊化與輕量化的高要求等問題。智能物聯(lián)與協(xié)同調(diào)度：如何實(shí)現(xiàn)多機(jī)器人協(xié)同技術(shù)，在人機(jī)共存環(huán)境中，應(yīng)用機(jī)器人群組通過跨樓層自主乘梯完成智能導(dǎo)引、物品配送等多樣化任務(wù)，為了達(dá)到“少人工干預(yù)、高用戶滿意度”服務(wù)指標(biāo)，給機(jī)器人協(xié)同與群組調(diào)度帶來了技術(shù)難題。人機(jī)交互：如何使用人機(jī)交互技術(shù)，通過屏幕、語音等方式與用戶進(jìn)行交互，在特定場景下，機(jī)器人與用戶的交互過程中，因語音識別不準(zhǔn)確、意圖表達(dá)個(gè)性化與多樣性、新詞匯與新說法等諸多問題帶來的用戶意圖理解障礙。15.2室內(nèi)智能商用服務(wù)機(jī)器人的技術(shù)難點(diǎn)15.2.2室內(nèi)智能商用服務(wù)機(jī)器人2.技術(shù)需求-以“云跡科技”智能服務(wù)機(jī)器人產(chǎn)品為例15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)圖15.7關(guān)鍵技術(shù)框架本節(jié)所介紹的智能服務(wù)機(jī)器人有著多個(gè)核心功能，如圖15.7所示。下面將介紹智能商用服務(wù)機(jī)器人系統(tǒng)的總體架構(gòu)和各個(gè)模塊的功能，包括環(huán)境感知、運(yùn)動(dòng)控制、人機(jī)交互、任務(wù)規(guī)劃和云平臺等。這些模塊共同實(shí)現(xiàn)了智能商用服務(wù)機(jī)器人在室內(nèi)復(fù)雜環(huán)境中的自主導(dǎo)航、智能服務(wù)和遠(yuǎn)程協(xié)同管理等功能。酒店、樓宇等室內(nèi)場景是一種典型的非結(jié)構(gòu)化環(huán)境，局部環(huán)境特征稀疏，且存在動(dòng)態(tài)擾動(dòng)與地面擾動(dòng)，給服務(wù)機(jī)器人的高精度定位與導(dǎo)航帶來技術(shù)挑戰(zhàn)，如下：1）不同樓層客房走廊、電梯廳等區(qū)域相似度高，部分區(qū)域環(huán)境特征不明顯，影響定位與導(dǎo)航的精度；2）人員、推車等不確定性物體在場景中移動(dòng)帶來動(dòng)態(tài)擾動(dòng)，影響定位與導(dǎo)航的穩(wěn)定性；3）局部地面的坡坎、坑洼及材質(zhì)差異帶來地面擾動(dòng)，影響定位與導(dǎo)航的準(zhǔn)確性。針對這些問題，如果使用基于多源異構(gòu)信息的高精度混合定位建圖及導(dǎo)航技術(shù)，定位與建圖數(shù)據(jù)動(dòng)態(tài)修正、回環(huán)檢測優(yōu)化及數(shù)據(jù)存儲壓縮，能夠顯著提升機(jī)器人定位導(dǎo)航的精度、速度及可靠性。這種方法定位精度非常高，能夠達(dá)到厘米級別，并且具有高達(dá)99.95%的定位成功率，建圖運(yùn)行速度也非?？?。此外，建圖閉環(huán)的耗時(shí)很短，即在智能機(jī)器人定位建圖（SLAM）中，檢測并修正機(jī)器人的軌跡和地圖的一種方法，當(dāng)機(jī)器人回到之前訪問過的地方時(shí)，它可以通過匹配當(dāng)前的觀測和歷史的數(shù)據(jù)，發(fā)現(xiàn)自己已經(jīng)形成了一個(gè)環(huán)路，它就可以利用這個(gè)環(huán)路信息來消除累積的誤差，從而提高定位和建圖的精度。最后，該技術(shù)還能有效地減少場景地圖數(shù)據(jù)的存儲需求。15.3.1高精度定位導(dǎo)航技術(shù)15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)1）針對機(jī)器人感知場景建圖精度的要求，可以采用特定主控單元設(shè)計(jì)視覺特征結(jié)合3D點(diǎn)云的建圖方式，即在一種特殊的硬件設(shè)備上，利用視覺傳感器和激光雷達(dá)等設(shè)備采集的數(shù)據(jù)，提取場景中的視覺特征，并與三維點(diǎn)云；數(shù)據(jù)相結(jié)合，構(gòu)建出場景的三維模型。有效提升了機(jī)器人建圖的穩(wěn)定性和準(zhǔn)確性，這種建圖方式可以用于機(jī)器人導(dǎo)航、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，提高對環(huán)境的感知和理解能力；2）針對傳統(tǒng)SLAM系統(tǒng)缺少對場景語義化認(rèn)知的問題，可以結(jié)合視覺語義識別和場景SLAM數(shù)據(jù)，構(gòu)建了能夠針對關(guān)鍵場景信息識別并儲存的地圖構(gòu)建技術(shù)，就是在同時(shí)定位和地圖構(gòu)建（SLAM）的過程中，利用視覺或其他傳感器獲取場景中的特征點(diǎn)或物體，并將其作為關(guān)鍵信息存儲在地圖中，以便于后續(xù)的定位和導(dǎo)航。這樣可以提高地圖的精度，增強(qiáng)對環(huán)境的理解和交互能力，從而使得機(jī)器人可以更多維度地認(rèn)知環(huán)境；15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.1高精度定位導(dǎo)航技術(shù)1.非結(jié)構(gòu)化環(huán)境SLAM建圖技術(shù)3）針對機(jī)器人運(yùn)行環(huán)境時(shí)而發(fā)生變化的情況，可以使用環(huán)境地圖的增量修正方式，通過其自學(xué)習(xí)能力，優(yōu)化機(jī)器人對場景的認(rèn)知，如圖15.8所示，結(jié)合了SLAM技術(shù)與視覺語義識別，對動(dòng)態(tài)場景即非結(jié)構(gòu)化環(huán)境精確的構(gòu)建地圖模型，并對環(huán)境地圖修正,通過視覺識別，檢測到由障礙物或者行人，會在地圖上動(dòng)態(tài)更新顯示出來，再通過動(dòng)態(tài)避障技術(shù)解決動(dòng)態(tài)干擾問題；4）針對場景內(nèi)SLAM數(shù)據(jù)與機(jī)器人間同步的要求，可以使用自組網(wǎng)進(jìn)行SLAM數(shù)據(jù)分享和同步，以實(shí)現(xiàn)場景內(nèi)的機(jī)器人間地圖認(rèn)知的一致和歷史數(shù)據(jù)共享。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.1高精度定位導(dǎo)航技術(shù)1.非結(jié)構(gòu)化環(huán)境SLAM建圖技術(shù)圖15.8地圖動(dòng)態(tài)修正1）該技術(shù)融合了藍(lán)牙、超帶寬、Wi-Fi結(jié)合激光、視覺特征等多源異構(gòu)數(shù)據(jù)定位機(jī)器人位置，結(jié)合SLAM地圖的場景語義信息以實(shí)時(shí)糾正機(jī)器人在運(yùn)行中的定位累計(jì)誤差，并應(yīng)用多源數(shù)據(jù)環(huán)境特征建模方法，自動(dòng)生成環(huán)境指紋特征，環(huán)境指紋特征是指在不同的環(huán)境中，無線信號或其他環(huán)境特征的空間差異性。環(huán)境指紋特征可以用來描述和識別特定位置，建立位置-指紋關(guān)系數(shù)據(jù)庫，實(shí)現(xiàn)對用戶位置的定位，有效提升了環(huán)境特征密度與重定位準(zhǔn)確度；2）在空間定位系統(tǒng)中加入模擬人類決策算法，即利用機(jī)器學(xué)習(xí)的方法，根據(jù)已知的數(shù)據(jù)和特征，構(gòu)建能夠模擬和預(yù)測人類決策過程的算法。使用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行環(huán)境可視區(qū)域的劃分，提升定位系統(tǒng)自優(yōu)化能力，使得機(jī)器人能夠依據(jù)所處區(qū)域類型調(diào)整移動(dòng)決策，提升移動(dòng)效率。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.1高精度定位導(dǎo)航技術(shù)2.多源異構(gòu)傳感器融合定位技術(shù)1）在用以機(jī)器人導(dǎo)航的地圖圖層之外，疊加障礙物態(tài)勢、任務(wù)、人類活動(dòng)頻繁度圖層，使機(jī)器人能夠快速定位有效路徑和進(jìn)行其他物聯(lián)決策，實(shí)現(xiàn)自主導(dǎo)航；2）實(shí)時(shí)調(diào)取群體歷史數(shù)據(jù)，使機(jī)器人可以借助群體智能在移動(dòng)過程中優(yōu)化導(dǎo)航?jīng)Q策，提前規(guī)避擁堵路段、危險(xiǎn)區(qū)域，提高機(jī)器人自主協(xié)同、優(yōu)化決策的能力。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.1高精度定位導(dǎo)航技術(shù)3.實(shí)時(shí)優(yōu)化的自主導(dǎo)航技術(shù)酒店、樓宇等室內(nèi)場景中動(dòng)靜態(tài)目標(biāo)的多樣性、動(dòng)態(tài)性、不確定性，以及環(huán)境的光照變化，給機(jī)器人在本體算力和能耗受限條件下，實(shí)現(xiàn)高性能、低功耗的視覺目標(biāo)識別與動(dòng)態(tài)避障，帶來技術(shù)挑戰(zhàn)。針對這些問題，可以使用面向移動(dòng)終端的輕量化深度學(xué)習(xí)引擎框架，以及面向酒店場景的小型化視覺目標(biāo)識別算法集，目標(biāo)識別算法可基于深度學(xué)習(xí)框架快速優(yōu)化升級，就能夠?qū)崿F(xiàn)服務(wù)機(jī)器人在低成本移動(dòng)硬件平臺上的精準(zhǔn)識別目標(biāo)與靈活避障能力，機(jī)器人自主避障平均成功率達(dá)99.99%。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.2機(jī)器視覺與動(dòng)態(tài)避障技術(shù)機(jī)器視覺是機(jī)器人實(shí)現(xiàn)環(huán)境感知和動(dòng)態(tài)避障的關(guān)鍵技術(shù)，而深度學(xué)習(xí)引擎是實(shí)現(xiàn)高精度機(jī)器視覺算法的重要基礎(chǔ)?？梢酝ㄟ^構(gòu)建應(yīng)用于機(jī)器視覺的輕量化深度學(xué)習(xí)模型訓(xùn)練及推理引擎，并且支持業(yè)界主流的多種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，讓企業(yè)能夠快速研發(fā)和升級適用于不同業(yè)務(wù)場景的視覺感知優(yōu)化算法，同時(shí)顯著降低對硬件性能的依賴。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)1.用于機(jī)器視覺的深度學(xué)習(xí)引擎技術(shù)15.3.2機(jī)器視覺與動(dòng)態(tài)避障技術(shù)1）應(yīng)用多種類型的視覺傳感器對真實(shí)業(yè)務(wù)場景下的危險(xiǎn)區(qū)域、禁行區(qū)域及人群、路標(biāo)等數(shù)百類常見目標(biāo)，以及機(jī)器人艙內(nèi)物品、貨柜商品等變化目標(biāo)，進(jìn)行在線采集與高質(zhì)量標(biāo)注，為視覺算法設(shè)計(jì)構(gòu)建了大規(guī)模訓(xùn)練樣本；2）利用可融入訓(xùn)練框架的量化加速技術(shù)，實(shí)現(xiàn)模型訓(xùn)練與量化加速一體，提升模型生產(chǎn)效率；15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)2.視覺目標(biāo)動(dòng)態(tài)檢測跟蹤及避障技術(shù)15.3.2機(jī)器視覺與動(dòng)態(tài)避障技術(shù)3）基于深度學(xué)習(xí)引擎、量化加速、模型壓縮技術(shù)和自主構(gòu)建的視覺樣本數(shù)據(jù)集，可以實(shí)現(xiàn)可在線優(yōu)化升級的機(jī)器人視覺避障、人體檢測與重識別、人體關(guān)節(jié)與行為分析及特定物體識別等一系列目標(biāo)檢測跟蹤與場景理解算法，持續(xù)提升機(jī)器人的場景理解與靈活避障能力。如圖15.9所示，通過這項(xiàng)技術(shù)訓(xùn)練后的智能機(jī)器人，能夠?qū)崟r(shí)對環(huán)境做出感知，當(dāng)前方人通過，能檢測到并完成避讓。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)2.視覺目標(biāo)動(dòng)態(tài)檢測跟蹤及避障技術(shù)15.3.2機(jī)器視覺與動(dòng)態(tài)避障技術(shù)圖15.9環(huán)境感知和動(dòng)態(tài)避障酒店、樓宇等室內(nèi)應(yīng)用場景，要求機(jī)器人能夠適應(yīng)多種復(fù)雜地形，且具有高通過性和穩(wěn)定性，給機(jī)器人的運(yùn)動(dòng)控制帶來技術(shù)挑戰(zhàn)，如下：1）酒店、樓宇的地面，普遍存在瓷磚、地板、地膠、地毯（長毛/短毛）等多種地面材質(zhì)，以及局部坡坎、溝槽（線槽、電梯門）等多種復(fù)雜地形；2）走廊過道狹窄要求機(jī)器人底盤尺寸盡可能?。ǜ咄ㄟ^性），一定的倉體容積要求導(dǎo)致機(jī)器人本體質(zhì)心高，搭載物品后質(zhì)心進(jìn)一步上移，機(jī)器人移動(dòng)過程中質(zhì)心發(fā)生動(dòng)態(tài)變化。針對這些問題，可以采用基于優(yōu)化控制的高精度FOC電機(jī)驅(qū)動(dòng)技術(shù)，實(shí)現(xiàn)基于低算力ARM處理器的多輪協(xié)同驅(qū)動(dòng)控制系統(tǒng)，在降低成本的同時(shí)有效提升了機(jī)器人的運(yùn)動(dòng)控制能力。此處的FOC是磁場定向控制，也被稱作矢量控制，其借助于微控制器所提供的數(shù)學(xué)處理能力，為了在永磁同步電機(jī)中使轉(zhuǎn)矩生成和磁化功能去耦合，可執(zhí)行使用數(shù)學(xué)變換的高級控制策略，這樣的去耦合轉(zhuǎn)矩和磁化控制通常被稱為轉(zhuǎn)子磁通定向控制，即為FOC。FOC是目前無刷直流電機(jī)（BLDC）和永磁同步電機(jī)（PMSM）高效控制的最優(yōu)方法之一,在通過精確地控制磁場大小與方向，使得電機(jī)的運(yùn)動(dòng)轉(zhuǎn)矩平穩(wěn)、噪聲小、效率高，并且具有高速的動(dòng)態(tài)響應(yīng)。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.3伺服驅(qū)動(dòng)控制技術(shù)1）基于優(yōu)化控制的高精度FOC（磁場定向控制）電機(jī)驅(qū)動(dòng)技術(shù)，可以實(shí)現(xiàn)基于可替代性強(qiáng)的ARM處理器的多輪協(xié)同驅(qū)動(dòng)控制系統(tǒng)，即利用多個(gè)電機(jī)分別驅(qū)動(dòng)車輛的各個(gè)輪子，并通過控制器協(xié)調(diào)各個(gè)電機(jī)的轉(zhuǎn)速和扭矩，實(shí)現(xiàn)車輛的高效、穩(wěn)定和靈活的運(yùn)行，多輪協(xié)同驅(qū)動(dòng)控制系統(tǒng)可以提高車輛的能量利用率、安全性和操縱性，提升了機(jī)器人的移動(dòng)能力；2）基于預(yù)測控制和模糊控制的自適應(yīng)運(yùn)動(dòng)控制參數(shù)模型，即是一種利用預(yù)測控制和模糊控制的優(yōu)勢，通過這個(gè)模型來實(shí)現(xiàn)運(yùn)動(dòng)控制參數(shù)的自適應(yīng)調(diào)節(jié)。通過CAN總線通信，可精準(zhǔn)調(diào)控底盤的運(yùn)動(dòng)方向與速度，可針對不同地形自動(dòng)調(diào)整懸掛，實(shí)現(xiàn)了更強(qiáng)的爬坡越障能力和窄道通過性，提升了底盤穩(wěn)定性和響應(yīng)度；3）高穩(wěn)定性的輪轂電機(jī)控制電路，即一種用于控制輪轂電機(jī)的電子換相器，它根據(jù)位置傳感器的信號，控制定子繞組的通電順序和時(shí)間，產(chǎn)生旋轉(zhuǎn)磁場，驅(qū)動(dòng)轉(zhuǎn)子旋轉(zhuǎn)，支持過壓、欠壓、過流、堵轉(zhuǎn)、編碼器故障等保護(hù)功能。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)1.高精度伺服驅(qū)動(dòng)控制技術(shù)15.3.3伺服驅(qū)動(dòng)控制技術(shù)基于多傳感器融合的電機(jī)異常診斷和整機(jī)運(yùn)行狀態(tài)監(jiān)測模型，能夠自動(dòng)識別被控過程參數(shù)、自動(dòng)調(diào)整控制參數(shù)、自動(dòng)適應(yīng)被控過程參數(shù)變化，能夠基于數(shù)萬臺機(jī)器人大量真實(shí)運(yùn)行數(shù)據(jù)的特征自學(xué)習(xí)，實(shí)現(xiàn)云端協(xié)同計(jì)算和異常處理策略共享，優(yōu)化伺服驅(qū)動(dòng)的控制水平。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)2.自學(xué)習(xí)監(jiān)測診斷及控制技術(shù)15.3.3伺服驅(qū)動(dòng)控制技術(shù)針對復(fù)雜環(huán)境對機(jī)器人模塊化與輕量化的高要求，可以采用高性能機(jī)器人主控模塊、高安全性機(jī)器人電源管理模塊、多形態(tài)物聯(lián)模塊及地形自適應(yīng)底盤結(jié)構(gòu)相關(guān)的設(shè)計(jì)方法，使用多種型號的低成本、穩(wěn)定性、高通過性輪式移動(dòng)機(jī)器人底盤，有效提升了機(jī)器人模塊化、輕量化及地形自適應(yīng)能力，能夠克服一定坡度，越過小障礙物。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.4模塊化與輕量化設(shè)計(jì)技術(shù)具有支撐機(jī)器人處理復(fù)雜環(huán)境下任務(wù)的高性能、高擴(kuò)展性的主控模塊，通過這項(xiàng)技術(shù)能夠?qū)崿F(xiàn)：滿足復(fù)雜算法對硬件資源性能的要求，具備CPU、GPU、NPU資源；集成4G、5G通訊功能，同Wi-Fi等本地上網(wǎng)模式，實(shí)現(xiàn)各種通訊之間的快速切換；具備豐富的外設(shè)及傳感器接口，集成超聲、紅外傳感的功能模塊接口處理，支持音頻陣列接口的擴(kuò)展；對USB等接口設(shè)備可自動(dòng)保護(hù)和可控的異常斷電保護(hù)重啟；支持板間和內(nèi)部的安全通訊加密，支持TPM，支持獨(dú)立加密芯片，支持安全啟動(dòng)，增加移動(dòng)機(jī)器人的身份認(rèn)證功能。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.4模塊化與輕量化設(shè)計(jì)技術(shù)1.高性能機(jī)器人主控模塊設(shè)計(jì)技術(shù)適用于機(jī)器人的高安全性電源管理模塊，具體功能包括：具備各路電壓、電流檢查保護(hù)功能；具備軟起動(dòng)功能模塊，適配對各種電流啟動(dòng)的需求；具備電池CAN通信接口，實(shí)時(shí)監(jiān)控電池內(nèi)部多種參數(shù)；電池接入防反接，過流，欠壓，過沖等各方面的安全管理；增加軟硬件浮充保護(hù)功能，避免長期充電引入的安全風(fēng)險(xiǎn)。2.高安全性機(jī)器人電源管理模塊設(shè)計(jì)技術(shù)一種針對不同類型的物聯(lián)網(wǎng)設(shè)備，集成多種芯片和功能的通信模塊設(shè)計(jì)技術(shù)，通過這項(xiàng)技術(shù)實(shí)現(xiàn)機(jī)器人與電梯、閘機(jī)、門禁、電話、貨柜等多種形態(tài)設(shè)備進(jìn)行物聯(lián)的軟硬件模塊，具備以下技術(shù)特點(diǎn)：多鏈路，支持4G、LoRa、藍(lán)牙等多種通信；自動(dòng)故障診斷，故障類型明細(xì)分析，提前預(yù)警；自帶ups功能，斷電報(bào)警；先進(jìn)的AES加密方案，防破解，防重放；具備物聯(lián)網(wǎng)云平臺接口。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.4模塊化與輕量化設(shè)計(jì)技術(shù)3.多形態(tài)物聯(lián)模塊設(shè)計(jì)技術(shù)采用低重心、緩沖擊、高穩(wěn)定的多輪底盤結(jié)構(gòu)設(shè)計(jì)，4腳輪保證底盤的穩(wěn)定性，并輔助2個(gè)帶懸掛機(jī)械結(jié)構(gòu)的驅(qū)動(dòng)輪提供穩(wěn)定可靠的抓地力，利用2個(gè)導(dǎo)輪輔助增強(qiáng)底盤越障能力，保證了對各種地面材質(zhì)（瓷磚、地板、地膠、地毯等）及局部坡坎、溝槽地形的自適應(yīng)性。4.地形自適應(yīng)底盤結(jié)構(gòu)設(shè)計(jì)技術(shù)在酒店、樓宇等室內(nèi)場景中，應(yīng)用多個(gè)服務(wù)機(jī)器人跨樓層配送物品，機(jī)器人及配套設(shè)備資源有限，任務(wù)不確定且高并發(fā)，給實(shí)現(xiàn)人工干預(yù)少、用戶滿意度高的服務(wù)效果帶來極大挑戰(zhàn)?？梢圆捎靡惶走m用于酒店場景的多機(jī)器人自主協(xié)同與優(yōu)化調(diào)度的技術(shù)框架，實(shí)現(xiàn)了“資源使用”與“服務(wù)質(zhì)量”兩個(gè)維度上的綜合最優(yōu)。實(shí)際場景中，智能機(jī)器人有著毫秒級快速的自主協(xié)同決策速率，通過云端調(diào)度計(jì)算，支持十萬級大規(guī)模多種機(jī)器人在不同場景的多任務(wù)智能調(diào)度。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.5智能物聯(lián)與協(xié)同調(diào)度技術(shù)1）通過這項(xiàng)技術(shù)構(gòu)建了機(jī)器人物聯(lián)網(wǎng)云平臺，對各種規(guī)格、型號的機(jī)器人與物聯(lián)設(shè)備進(jìn)行統(tǒng)一管理，基于可視化的設(shè)備接入及調(diào)試工具，可實(shí)現(xiàn)產(chǎn)品管理、設(shè)備管理、實(shí)時(shí)診斷、在線調(diào)試、在線運(yùn)維、OTA固件升級；2）支持實(shí)時(shí)查看設(shè)備數(shù)量、在線設(shè)備、離線設(shè)備及異常設(shè)備的數(shù)據(jù)。支持實(shí)時(shí)查看設(shè)備運(yùn)行狀態(tài)，對設(shè)備進(jìn)行遠(yuǎn)程控制?？稍O(shè)置設(shè)備的告警規(guī)則，當(dāng)告警觸發(fā)時(shí)，可查看設(shè)備告警消息；3）可從不同維度統(tǒng)計(jì)應(yīng)用數(shù)據(jù)趨勢，自動(dòng)調(diào)整設(shè)備應(yīng)用策略，從而提升多設(shè)備物聯(lián)與機(jī)器人服務(wù)效率。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)1.多設(shè)備智能物聯(lián)技術(shù)15.3.5智能物聯(lián)與協(xié)同調(diào)度技術(shù)1）機(jī)器人端端自主協(xié)同和云端中央調(diào)度相結(jié)合的多設(shè)備協(xié)同調(diào)度架構(gòu)，采用交通規(guī)則、區(qū)域流量、倉體運(yùn)力三級優(yōu)化調(diào)度策略，能夠自動(dòng)編排任務(wù)、動(dòng)態(tài)匹配資源，實(shí)現(xiàn)多機(jī)器人多任務(wù)的優(yōu)化調(diào)度；2）多機(jī)器人自主協(xié)同與路徑規(guī)劃技術(shù)，通過自組網(wǎng)通信實(shí)現(xiàn)多機(jī)器人間場景全局與區(qū)域態(tài)勢、任務(wù)與運(yùn)行狀態(tài)的實(shí)時(shí)共享，基于群體智能和行為樹技術(shù)實(shí)現(xiàn)高效的任務(wù)協(xié)同與路徑規(guī)劃。群體智能是一種模擬自然界中的社會性動(dòng)物（如螞蟻、鳥類、魚群等）的群體行為和協(xié)作機(jī)制，來解決復(fù)雜優(yōu)化問題的人工智能技術(shù)。行為樹是一種用于描述智能體（如游戲角色、機(jī)器人等）的行為邏輯和狀態(tài)轉(zhuǎn)換的樹形結(jié)構(gòu)，它可以方便地進(jìn)行編輯、擴(kuò)展和復(fù)用。群體智能和行為樹技術(shù)可以結(jié)合起來，實(shí)現(xiàn)多智能體自主協(xié)作仿真以及實(shí)物驗(yàn)證的軟件平臺系統(tǒng)，用于多機(jī)器人群體行為決策、路徑規(guī)劃、狀態(tài)顯示等。如圖15.10所示，多個(gè)機(jī)器人通過協(xié)同調(diào)度技術(shù)完成電梯的進(jìn)出。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)2.多設(shè)備協(xié)同調(diào)度技術(shù)15.3.5智能物聯(lián)與協(xié)同調(diào)度技術(shù)15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)2.多設(shè)備協(xié)同調(diào)度技術(shù)15.3.5智能物聯(lián)與協(xié)同調(diào)度技術(shù)圖15.10多機(jī)器人調(diào)度15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.6人機(jī)交互技術(shù)在酒店場景的人機(jī)交互過程中，用戶語音識別不準(zhǔn)確、意圖表達(dá)個(gè)性化與多樣性、新詞匯與新說法等諸多問題，顯著加大了用戶意圖理解的難度，給酒店機(jī)器人智能化服務(wù)帶來技術(shù)挑戰(zhàn)?？梢酝ㄟ^采用基于深度學(xué)習(xí)的多模態(tài)人機(jī)交互技術(shù)架構(gòu)，多線索模塊深度神經(jīng)網(wǎng)絡(luò)的意圖理解算法，使用酒店客戶個(gè)性化服務(wù)知識圖譜，實(shí)現(xiàn)集服務(wù)機(jī)器人與AI客服于一體的酒店數(shù)字化服務(wù)系統(tǒng)?？衫斫舛囗?xiàng)用戶意圖，意圖理解成功率高達(dá)99%，并且該方法能夠不斷更新對用戶意圖的理解。15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.6人機(jī)交互技術(shù)1）基于深度學(xué)習(xí)的多模態(tài)人機(jī)交互技術(shù)架構(gòu)，實(shí)現(xiàn)融合語音、視覺、觸屏等多通道多模態(tài)的輸入，統(tǒng)一進(jìn)行語義表示的交互技術(shù)，可以利用更多信息，豐富人機(jī)交互能力；2）人機(jī)交互的響應(yīng)結(jié)果也通過語音、圖像等模式反饋，提升機(jī)器人人機(jī)交互的用戶體驗(yàn)。1.機(jī)器人多模態(tài)融合智能交互技術(shù)15.3云跡室內(nèi)智能商用服務(wù)機(jī)器人關(guān)鍵技術(shù)及實(shí)現(xiàn)15.3.6人機(jī)交互技術(shù)1）使用酒店場景的用戶個(gè)性化語義理解知識圖譜，即一種利用知識圖譜技術(shù)來提高用戶的語義理解能力和個(gè)性化推薦效果的方法。知識圖譜是一種用于表示實(shí)體、概念、關(guān)系等多維度語義信息的結(jié)構(gòu)化數(shù)據(jù)模型。用戶個(gè)性化語義理解知識圖譜可以應(yīng)用于文本、視頻等多模態(tài)數(shù)據(jù)的深度分析，為用戶提供更準(zhǔn)確、更豐富、更有價(jià)值的內(nèi)容推薦；2）采用中文分詞、句法和實(shí)體識別的自然語言處理一體化方法，大幅提升了非特定人群語義理解效果；3）采用基于多線索模塊的深度學(xué)習(xí)對話管理方法，如圖15.11所示，實(shí)現(xiàn)融合上下文信息的多輪對話能力，支持截?cái)唷?fù)述、補(bǔ)充、追問等多種對話交互模式。2.場景化知識圖譜與語義理解技術(shù)圖15.11客戶意圖語義理解15.4云跡-以機(jī)器人為中心的智慧化服務(wù)系統(tǒng)集成15.4.1各類智能機(jī)器人圖15.12“云跡”智能機(jī)器人15.4云跡-以機(jī)器人為中心的智慧化服務(wù)系統(tǒng)集成15.4.1各類智能機(jī)器人RUN潤具備高精度的定位導(dǎo)航系統(tǒng)，采用SLAM算法進(jìn)行立體化的自主定位與地圖構(gòu)建；結(jié)合激光雷達(dá)與視覺傳感，精準(zhǔn)檢測周邊環(huán)境；應(yīng)用多傳感器全方位感知周圍環(huán)境，靈活避讓行人與障礙物；基于實(shí)際運(yùn)行數(shù)據(jù)的沉淀與學(xué)習(xí)，定位導(dǎo)航算法可靠性不斷提升。還具有完整的智能創(chuàng)建地圖、自主乘坐電梯、自主通過閘機(jī)門禁、自主避障、自動(dòng)撥打電話及自主回充等基礎(chǔ)功能。潤在酒店應(yīng)用場景中提供安全、便捷的跨樓層送物服務(wù)，還可以提供智能引領(lǐng)服務(wù)。1.

智能送物機(jī)器人——RUN潤（如圖15.12-a所示）格格具有上下兩個(gè)艙體，可同時(shí)配送多種類型的物品，例如文件資料、餐食、藥品、工具、及外賣與快遞等內(nèi)外部物品。依托內(nèi)外部智能傳感器，格格可識別客房開門，并自動(dòng)打開艙內(nèi)；通過艙內(nèi)視覺識別，可自動(dòng)識別艙內(nèi)物品取出并自動(dòng)關(guān)閉艙門，從而實(shí)現(xiàn)無接觸取物，支持語音交互與多輪對話。格格廣泛應(yīng)用于酒店、樓宇、社區(qū)、醫(yī)院及體育場館等多種場景。2.

智能雙艙配送機(jī)器人——格格（如圖15.12-b所示）15.4云跡-以機(jī)器人為中心的智慧化服務(wù)系統(tǒng)集成15.4.1各類智能機(jī)器人云帆可實(shí)現(xiàn)更高效的人機(jī)交互，依托自主研發(fā)的6輪差速驅(qū)動(dòng)、主動(dòng)懸掛式移動(dòng)底盤，云帆具備自主導(dǎo)航、自主避障、自動(dòng)回充及自主乘梯、自主過閘等智能物聯(lián)能力。云帆主要應(yīng)用于政府與企業(yè)機(jī)構(gòu)及會展行業(yè)。3.

智能迎賓講解機(jī)器人——云帆（如圖15.12-c所示）針對科技防疫，非接觸式智能測溫與身份識別的防疫機(jī)器人被推出。該機(jī)器人測溫精度±0.3℃，支持高精度戴口罩人臉識別，以高效確認(rèn)人員身份。該機(jī)器人廣泛應(yīng)用于人員密集、流動(dòng)性大的重點(diǎn)場所和單位的出入口，實(shí)現(xiàn)科學(xué)精準(zhǔn)的常態(tài)化疫情防控。4.

智能測溫防疫機(jī)器人（如圖15.12-d所示）該機(jī)器人采用霧化形式對室內(nèi)外空間進(jìn)行消毒，通過干霧霧化的微米級顆粒，對空氣和物表進(jìn)行高效、深度、無縫消毒，優(yōu)越的滲透擴(kuò)散能力，實(shí)現(xiàn)無需人工、定時(shí)定點(diǎn)、24小時(shí)無人的高頻效消殺，代替重復(fù)繁瑣、需注重細(xì)節(jié)的消殺作業(yè)。該機(jī)器人能夠自主導(dǎo)航，靈活避障，可任意設(shè)定路線、軌跡等，對于重污染區(qū)域循環(huán)消殺，直到所有區(qū)域消殺完成。5.

智能環(huán)境消殺機(jī)器人（如圖15.12-e所示）15.4云跡-以機(jī)器人為中心的智慧化服務(wù)系統(tǒng)集成15.4.1各類智能機(jī)器人Water水滴是具備完整成熟的感知、認(rèn)知及定位導(dǎo)航能力的輪式機(jī)器人平臺，該平臺具有四大核心優(yōu)勢：1）可完全脫離人獨(dú)立自主工作，自主充電，實(shí)現(xiàn)7x24