基于機(jī)器視覺三維重建與虛擬現(xiàn)實(shí)的機(jī)器人實(shí)時(shí)在線遠(yuǎn)程編程與控制

基于機(jī)器視覺三維重建與虛擬現(xiàn)實(shí)的機(jī)器人實(shí)時(shí)在線遠(yuǎn)程編程與控制互聯(lián)網(wǎng)

智能制造+2問題分析解決方案3總結(jié)4系統(tǒng)概述1C目錄ontents2問題分析解決方案3總結(jié)4系統(tǒng)概述1系統(tǒng)概述1C目錄ontents3系統(tǒng)概述01背景介紹簡(jiǎn)要描述4背景介紹工業(yè)4.0將信息化推向智能化選題方向：互聯(lián)網(wǎng)+智能制造5簡(jiǎn)要描述Unity虛擬現(xiàn)實(shí)（實(shí)現(xiàn)物聯(lián)網(wǎng)應(yīng)用APP）kinect（數(shù)據(jù)采集發(fā)送形成大數(shù)據(jù)源）2G、3G、ZIGBEE等無線或有線網(wǎng)絡(luò)（形成物聯(lián)網(wǎng)，云計(jì)算中心）6三維重建互聯(lián)網(wǎng)虛擬現(xiàn)實(shí)運(yùn)用機(jī)器視覺將工廠現(xiàn)場(chǎng)三維重建，工程師用虛擬現(xiàn)實(shí)設(shè)備通過互聯(lián)網(wǎng)對(duì)重建場(chǎng)景中機(jī)器人進(jìn)行實(shí)時(shí)編程和控制。2問題分析解決方案3總結(jié)4系統(tǒng)概述1C目錄ontents2問題分析7問題分析02全球化趨勢(shì)工業(yè)現(xiàn)場(chǎng)現(xiàn)場(chǎng)調(diào)試帶來的問題需求分析8全球化趨勢(shì)全球化帶來的線下矛盾，互聯(lián)網(wǎng)是解決矛盾的關(guān)鍵9工業(yè)現(xiàn)場(chǎng)現(xiàn)場(chǎng)調(diào)試客戶培訓(xùn)現(xiàn)場(chǎng)維修10現(xiàn)場(chǎng)調(diào)試帶來的問題旅途時(shí)間耽擱員工食宿開支差旅補(bǔ)貼開支提高服務(wù)成本員工人身安全11需求分析2025/2/6如何讓現(xiàn)場(chǎng)工程師不出公司就如同親臨現(xiàn)場(chǎng)般地進(jìn)行遠(yuǎn)程操控？122問題分析解決方案3總結(jié)4系統(tǒng)概述1C目錄ontents解決方案313解決方案03三維重建虛擬現(xiàn)實(shí)機(jī)器人遠(yuǎn)程控制和示教編程14Kinect三維重建Unity3D虛擬現(xiàn)實(shí)遠(yuǎn)程控制OculusRift15三維重建激光掃描？昂貴實(shí)時(shí)性差機(jī)器視覺？廉價(jià)實(shí)時(shí)性好16三維重建A.機(jī)器視覺17精度低機(jī)器視覺攝像機(jī)借鑒方案工業(yè)級(jí)高精度彩色攝像機(jī)紅外線發(fā)射器紅外線攝像機(jī)三維重建B.Kinect18現(xiàn)場(chǎng)網(wǎng)絡(luò)情況多變減小傳輸數(shù)據(jù)量三維重建19如何保證實(shí)時(shí)性？第1步：初始化，生成場(chǎng)景三維模型，并全部傳輸三維重建C.具體實(shí)現(xiàn)20三維重建

利用KinectFusion項(xiàng)目，借助兩組攝像機(jī)組就可以對(duì)一定范圍內(nèi)的物體進(jìn)行實(shí)時(shí)三維表面模型重建。21第2步：識(shí)別出活動(dòng)部件，簡(jiǎn)化成骨骼，只傳遞骨骼運(yùn)動(dòng)數(shù)據(jù)三維重建C.具體實(shí)現(xiàn)22三維重建Kinect和Unity3D結(jié)合交互進(jìn)行開發(fā)2324三維重建A.工業(yè)虛擬現(xiàn)實(shí)技術(shù)虛擬設(shè)計(jì)虛擬裝配數(shù)字工廠虛擬現(xiàn)實(shí)25虛擬現(xiàn)實(shí)再現(xiàn)場(chǎng)景B.Unity3D用Unity輕松構(gòu)建VR虛擬現(xiàn)實(shí)26操作機(jī)器人操作無人機(jī)第一視角操控感受虛擬現(xiàn)實(shí)C.OculusRift27D.具體實(shí)現(xiàn)虛擬現(xiàn)實(shí)

用Unity3D引擎構(gòu)建OculusRift虛擬現(xiàn)實(shí)場(chǎng)景，開發(fā)接收機(jī)器人點(diǎn)云數(shù)據(jù)并實(shí)時(shí)顯示的上位機(jī)軟件。28局部放大眼球追蹤距離測(cè)量虛擬現(xiàn)實(shí)E.虛擬現(xiàn)實(shí)輔助應(yīng)用29機(jī)器人遠(yuǎn)程控制和示教編程遠(yuǎn)程控制網(wǎng)絡(luò)302問題分析解決方案3總結(jié)4系統(tǒng)概述1C目錄ontents總結(jié)431

總結(jié)04結(jié)論創(chuàng)新點(diǎn)不足32結(jié)論利用KinectFusion項(xiàng)目，進(jìn)行現(xiàn)場(chǎng)場(chǎng)景三維重建，并將重建后得到的三維模型通過互聯(lián)網(wǎng)傳輸至位于辦公室的計(jì)算機(jī)。NO.133結(jié)論識(shí)別出其中能進(jìn)行相對(duì)運(yùn)動(dòng)的物體，比如機(jī)器人各個(gè)關(guān)節(jié)，傳送帶上運(yùn)動(dòng)的工件等，簡(jiǎn)化生成三維活動(dòng)骨骼的形式，并將骨骼與遠(yuǎn)端辦公室計(jì)算機(jī)中對(duì)應(yīng)的三維模型進(jìn)行匹配綁定。NO.234結(jié)論現(xiàn)場(chǎng)攝像機(jī)采集到的實(shí)時(shí)圖像數(shù)據(jù)，均轉(zhuǎn)化成三維活動(dòng)骨骼的運(yùn)動(dòng)數(shù)據(jù)之后，再通過互聯(lián)網(wǎng)實(shí)時(shí)傳送至遠(yuǎn)端辦公室計(jì)算機(jī)。NO.335結(jié)論將骨骼運(yùn)動(dòng)數(shù)據(jù)導(dǎo)入到基于Unity開發(fā)的軟件平臺(tái)生成實(shí)時(shí)虛擬現(xiàn)實(shí)場(chǎng)景，并傳輸至OculusRift頭戴式顯示器中顯示出來。NO.436結(jié)論工程師戴上OculusRift，在虛擬現(xiàn)實(shí)場(chǎng)景中進(jìn)行機(jī)器人示教編程和控制，控制信號(hào)通過網(wǎng)絡(luò)實(shí)時(shí)傳輸至現(xiàn)場(chǎng)的機(jī)器人。NO.537創(chuàng)新點(diǎn)節(jié)省現(xiàn)場(chǎng)工程師出差費(fèi)用以及路上花費(fèi)的時(shí)間實(shí)時(shí)再現(xiàn)遠(yuǎn)方工廠的虛擬現(xiàn)實(shí)場(chǎng)景