機器人伺服控制系統(tǒng)及應用技術-課件 第十章 機器人視覺伺服技術

機器人伺服控制第十章機器人視覺伺服技術機器人視覺伺服技術艙外維修作業(yè)空間實驗作業(yè)操作與監(jiān)視正常、可靠的視力是成功執(zhí)行各類任務的重要保障條件視覺的功能與意義機器人視覺伺服技術人眼視覺≠

人眼只有視，沒有覺

人眼工作依賴于它獨特的生理學結構、運動機理以及神經控制眼外肌及周邊解剖機構眼內解剖結構

眼球(Eyeball)3自由度轉動(3DOFduction)

瞳孔縮放(PupilContraction)

調節(jié)(Accommodation)

雙眼運動(BinocularMovements)

掃視Saccadic

平滑追蹤Smoothpursuit

收斂Convergence

前庭動反射VOR機器人視覺伺服技術仿人眼(BionicEye)

MACEYE-II,2011MACEYE,2006機器人視覺伺服技術視覺調節(jié)(Accommodation)

機器人視覺伺服技術視覺調節(jié)(Accommodation)

晶狀體(Crystalinelens)—人眼球內的雙凸面柔性透明體，用于將光線屈光成像于視網膜上角膜(Cornea)—位于眼球前端，用于固定瞳孔、虹膜以及前端流體腔的透明體；其剛度較高，屈光度遠大于晶狀體；懸韌帶(zonule)—眼球內環(huán)晶狀體分布的連接其與睫狀肌的一縷縷纖維睫狀肌(CiliaryMuscle)—眼球的的環(huán)形滑肌組織，人眼調節(jié)的主要驅動力主要內容contents10.2視覺伺服分類10.3視覺伺服控制需求10.1概述機器人視覺伺服技術10.5視覺伺服發(fā)展方向10.6實例分析10.4視覺伺服面臨的問題10.1概述機器人視覺伺服系統(tǒng)是機器視覺和機器人控制的有機結合，是一個非線性、強耦合的復雜系統(tǒng)，其內容涉及圖象處理、機器人運動學和動力學、控制理論等研究領域隨著攝像設備性能價格比和計算機信息處理速度的提高，以及有關理論的日益完善，視覺伺服已具備實際應用的技術條件，相關的技術問題也成為當前研究的熱點10.1概述上個世紀60年代，由于機器人和計算機技術的發(fā)展，人們開始研究具有視覺功能的機器人。但在這些研究中，機器人的視覺與機器人的動作，嚴格上講是開環(huán)的。機器人的視覺系統(tǒng)通過圖像處理，得到目標位姿，然后根據目標位姿，計算出機器運動的位姿，在整個過程中，視覺系統(tǒng)一次性地“提供”信息，然后就不參與過程了1973年，有人將視覺系統(tǒng)應用于機器人控制系統(tǒng)，在這一時期把這一過程稱作視覺反饋(visualfeedback)1979年，Hill和Park提出了“視覺伺服”(visualservo)概念10.1概述很明顯，視覺反饋的含義只是從視覺信息中提取反饋信號，而視覺伺服則是包括從視覺信號處理，到機器人控制的全過程，所以視覺伺服比視覺反饋能更全面地反映機器人視覺和控制的有關研究內容上個世紀80年以來，隨著計算機技術和攝像設備的發(fā)展，機器人視覺伺服系統(tǒng)的技術問題吸引了眾多研究人員的注意到了90年代，隨著計算機能力的增強和價格下降，以及圖像處理硬件和CCD攝像機的快速發(fā)展，機器視覺系統(tǒng)吸引了眾多研究人員的注意10.1概述例，在PackBot軍用智能機器人上，配有各類偵察探測模塊，可根據GPS導航數據和實拍周圍場景生成地圖。日本科學家研究的蛇形救災機器人頭部裝有針孔攝像機，可傳送回實時圖像數據，并成功參與了美國佛羅里達一次停車場崩塌救援行動PackBot軍用智能機器人日本的蛇形救災機器人10.1概述最早基于視覺的機器人系統(tǒng)，采用靜態(tài)lookandmove形式。即先由視覺系統(tǒng)采集圖像并進行相應處理，然后通過計算估計目標的位置來控制機器人運動。這種操作精度直接與視覺傳感器、機械手及控制器的性能有關，這使得機器人很難跟蹤運動物體到80年代，計算機及圖像處理硬件得到發(fā)展，使得視覺信息可用于連續(xù)反饋，于是提出了基于視覺的伺服(visualservoing)控制形式。這種方式可以克服模型(包括機器人、視覺系統(tǒng)、環(huán)境)中存在的不確定性，提高視覺定位或跟蹤的精度10.1概述直到上世紀末，哈工大、浙江大學、國防科技大學等研究單位才開始著手研究機器人的視覺伺服技術。“十一五”期間，在視覺伺服技術方面取得突破性地進展，研制了“蛟龍?zhí)査聶C器人”、“ALVLAB“、“CITAVT-IV“、“THMR-V“等智能機器人目前我國在機器人的自主導航方面都還落后于發(fā)達國家，因此我國對智能機器人的相關問題還需要進一步深入研究10.1概述機器人視覺伺服系統(tǒng)(VisualServo)機器人運動控制(MotionControl)機器視覺(MachinVision)“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息、用于控制機器人運動的裝置。”ASME定義計算機視覺(ComputerVision)X理解圖像信息10.1概述10.1概述10.1概述10.1概述10.1概述工業(yè)機器人Robot操作對象Object控制系統(tǒng)ControlUnit機器人視覺伺服系統(tǒng)組成典型工業(yè)機器人系統(tǒng)10.1概述機器人視覺伺服系統(tǒng)組成工業(yè)機器人Robot視覺系統(tǒng)VisionSensor操作對象Object控制系統(tǒng)ControlUnit視覺伺服控制系統(tǒng)10.1概述為什么需要視覺伺服控制？10.1概述機器人視覺伺服控制實現10.2視覺伺服分類按照攝像機的數目的不同單目視覺伺服系統(tǒng)、雙目視覺伺服系統(tǒng)以及多目視覺伺服系統(tǒng)按照機器人的空間位置或圖像特征基于位置的視覺伺服系統(tǒng)和基于圖像的視覺伺服系統(tǒng)基于位置特征和圖像特征的混合視覺伺服（2.5D）系統(tǒng)按照攝像機放置位置的不同手眼系統(tǒng)(eyeinhand)和固定攝像機系統(tǒng)(eyetohand)按照采用閉環(huán)關節(jié)控制器的機器人，動態(tài)觀察-移動系統(tǒng)和直接視覺伺服10.2視覺伺服分類基于位置的視覺伺服系統(tǒng)(Position-BasedVisualServoing)利用相機的參數建立圖像信號與機器人的位置/姿態(tài)之間的映射關系，在伺服過程中，借助圖像信號提取機器人的位置/姿態(tài)信息，并將它們與目標位置/姿態(tài)比較，形成閉環(huán)反饋控制10.2視覺伺服分類基于圖像的視覺伺服系統(tǒng)(Image-BasedVisualServoing)將實時測量到的圖像信號與目標位置/姿態(tài)的圖像信號直接進行比較，利用所獲得的圖像誤差進行閉環(huán)反饋控制。根據不同的相機安裝方式，IBVS也有兩種不同的類型，(以電容插入PCB為例)，object(電容針腳)與target(孔洞)在圖中的位置變化與否也不一樣10.2視覺伺服分類手眼系統(tǒng)(eyeinhand)相機安裝在機械手上，與機械手位置相對固定；object電容綁定在tool上，相對于相機位置不變；target孔洞是圖像視野中要去的目標位置，隨著機械手移動而改變固定攝像機系統(tǒng)(eyetohand)相機安裝在機械手外的固定位置object電容綁定在tool上，在相機所拍的圖片中位置是變化的terget孔洞是已經確定了的目標位置，因為相機位置固定，所以位置不變10.2視覺伺服分類手眼系統(tǒng)(eyeinhand)10.2視覺伺服分類固定攝像機系統(tǒng)(eyetohand)10.2視覺伺服分類基于位置特征和圖像特征的混合視覺伺服（2.5D）系統(tǒng)首先建立一張參照物圖像，通過圖像處理技術得到期望圖像特征的像素坐標值，在視覺伺服系統(tǒng)的運行過程中，不斷從攝像機采集圖像進行分析，得到實時圖像特征，然后將實時圖像特征與期望圖像特征進行比對，得到兩視點間的單應矩陣。將該矩陣分解，可以得到視覺傳感器的旋轉誤差和位置誤差，并通過控制器生成相應的控制量，完成對機器人末端的平移和旋轉控制10.3視覺伺服控制需求第一層次第二層次第三層次機器人根據視覺系統(tǒng)反饋的0/1信息執(zhí)行固定動作機器人根據視覺系統(tǒng)反饋信息生成機器人運動軌跡機器人根據視覺系統(tǒng)的反饋信息動態(tài)生成機器人運動軌跡10.3視覺伺服控制需求第一層次機器人根據視覺系統(tǒng)反饋的0/1信息執(zhí)行固定動作10.3視覺伺服控制需求第一層次機器人根據視覺系統(tǒng)反饋的0/1信息執(zhí)行固定動作10.3視覺伺服控制需求第一層次機器人根據視覺系統(tǒng)反饋的0/1信息執(zhí)行固定動作10.3視覺伺服控制需求第一層次機器人根據視覺系統(tǒng)反饋的0/1信息執(zhí)行固定動作10.3視覺伺服控制需求第二層次機器人根據視覺系統(tǒng)反饋信息生成機器人運動軌跡10.3視覺伺服控制需求第二層次機器人根據視覺系統(tǒng)反饋信息生成機器人運動軌跡10.3視覺伺服控制需求第三層次機器人根據視覺系統(tǒng)的反饋信息動態(tài)生成機器人運動軌跡焊縫跟蹤系統(tǒng)(SeamTracking)10.3視覺伺服控制需求圖像采集1相機鏡頭照明接口原理與選型圖像處理2視覺基礎理論理論知識、工程實踐圖像數據目標檢測與定位幾何信息機器人控制3軌跡生成/插補運動學正解/逆解動力學正解/逆解關節(jié)控制4關節(jié)控制電機驅動技術10.4視覺伺服面臨的問題視覺伺服的研究到目前已有近20年的歷史，但是由于視覺伺服所涉及的學科眾多，所以其發(fā)展有賴于這些學科的發(fā)展，目前在視覺伺服的研究中仍然有很多問題沒有很好地解決圖像處理的方法在理論和實際計算處理速度上都是圖像伺服最大的難點在圖像處理完成后，圖像特征與機器人關節(jié)運動之間模型的建立是圖像伺服的另一難點；目前的許多控制方法都不能保證系統(tǒng)在工作時是大范圍穩(wěn)定的，所以對有關控制方法的研究也是必要的10.5發(fā)展方向圖像特征的選擇問題視覺伺服的性能密切依賴于所用的圖像特征，特征的選擇不僅要考慮識別的指標，還要考慮控制指標從控制觀點看，用冗余特征可抑制噪聲的影響，提高視覺伺服的性能，但又會給圖像處理增加難度。因此如何選擇性能最優(yōu)的特征，如何處理特征以及如何評價特征，都是需要進一步研究的問題針對任務有時可能需要從一套特征切換到另一套，可以考慮把全局特征與局部特征結合起來10.5發(fā)展方向建立機器人視覺系統(tǒng)的專用軟件庫在視覺伺服中，需要進行圖像采集、圖像處理、特征抽取及由二維信息重構三維信息等，要處理的數據量較大，算法復雜多樣。如果有這樣的軟件平臺，在進行視覺伺服任務時，就可以少走彎路加強系統(tǒng)的動態(tài)性能研究研究多集中于根據圖像信息確定期望的機器人運動這一環(huán)節(jié)上，而對整個視覺伺服系統(tǒng)的動態(tài)性能缺乏研究多傳感器融合視覺傳感器有一定使用范圍,如能有效地結合其它傳感器，利用性能互補的優(yōu)勢，可消除不確定性，取得更加可靠、準確的結果10.5發(fā)展方向利用智能技術的成果雖然神經網絡在機器人視覺伺服中已得到應用，但多數都是針對具體物體的具體特征，或只進行了仿真實驗，還有待于進一步的研究考慮到人類看到并拿起某個物體時，事先并沒有在數字上準確計算物體的位置，而是通過不斷地觀察、判斷和推理，其中包含學習和模糊推理的內容，由此可以考慮用模糊神經技術解決機器人視覺伺服問題利用主動視覺的成果