機(jī)器視覺定位技術(shù) 助力工業(yè)機(jī)器人智能化

摘要：伴隨著工業(yè)機(jī)器人的飛速發(fā)展，輔佐工業(yè)機(jī)器人更快、更準(zhǔn)、更靈活地工作的衍生產(chǎn)業(yè)也在悄然崛起。本文針對為工業(yè)機(jī)器人賦予“慧眼”的機(jī)器視覺，著重介紹了二者結(jié)合在機(jī)器人定位引導(dǎo)類項(xiàng)目中的應(yīng)用。內(nèi)容包括定位引導(dǎo)項(xiàng)目的分類與標(biāo)定策略，以及通過軟硬件設(shè)計(jì)與實(shí)際應(yīng)用中的一些案例，闡明機(jī)器視覺在該類重要應(yīng)用中為機(jī)器人工業(yè)自動化帶來的迅猛提升。

1引言據(jù)工業(yè)和信息化部2018年9月27日消息，2018年1月至8月，中國工業(yè)機(jī)器人累計(jì)產(chǎn)量達(dá)到101,717臺（套），同比增長19.4%。伴隨于此，輔佐機(jī)器人進(jìn)行更高精度、更強(qiáng)適應(yīng)性自動化生產(chǎn)的機(jī)器視覺技術(shù)，在近幾年也得到突飛猛進(jìn)的發(fā)展。工業(yè)機(jī)器人與機(jī)器視覺技術(shù)不僅僅局限在工業(yè)生產(chǎn)場景中結(jié)合使用，隨著經(jīng)驗(yàn)的積累與技術(shù)瓶頸的突破，二者還將扮演更加重要的角色。2機(jī)器視覺與機(jī)器人的完美融合對于傳統(tǒng)意義上的工業(yè)自動化，工業(yè)機(jī)器人在控制系統(tǒng)的指揮下，重復(fù)特定的動作流程完成加工。換言之，產(chǎn)品加工精度的保障依賴于控制系統(tǒng)的穩(wěn)定性與整個機(jī)械系統(tǒng)的精度。但是加工過程中隨機(jī)誤差的產(chǎn)生在所難免，諸如不可預(yù)測的震動、產(chǎn)品在工位間傳送發(fā)生的偏移等，此外機(jī)械結(jié)構(gòu)隨著長期使用、精度下降帶來的系統(tǒng)誤差還會導(dǎo)致產(chǎn)品批量報(bào)廢。而簡單的傳感器對于這些誤差的規(guī)避又顯得捉襟見肘。加上現(xiàn)今產(chǎn)品序列紛繁復(fù)雜，市場對于柔性生產(chǎn)的要求與日俱增，工業(yè)機(jī)器人想要在“失明”的情況下完成這一切就顯得尤為困難。而當(dāng)工業(yè)機(jī)器人擁有了機(jī)器視覺賦予的“慧眼”，上述問題便迎刃而解。擁有“慧眼”的工業(yè)機(jī)器人在看到目標(biāo)之后，經(jīng)準(zhǔn)確分析定位后引導(dǎo)動作，避免了產(chǎn)品傳送中的偏差，增強(qiáng)了不同產(chǎn)品的生產(chǎn)適應(yīng)性，同時大幅提升產(chǎn)品的加工精度。此外，機(jī)器視覺還能檢測成品的精度，免除人工抽檢帶來的低效、誤差與漏檢。隨著智能制造的深入，具備視覺感知能力的智能設(shè)備益發(fā)盛行，機(jī)器視覺作為前端感知的核心部件，市場需求旺盛。?？禉C(jī)器人起步于?？低暀C(jī)器視覺業(yè)務(wù)部，依托海康威視在圖像傳感、人工智能、大數(shù)據(jù)分析等領(lǐng)域多年的技術(shù)積累，已發(fā)展成為面向全球的移動機(jī)器人、機(jī)器視覺產(chǎn)品和算法平臺提供商，公司堅(jiān)持自主研發(fā)，持續(xù)推動智能制造進(jìn)程。3機(jī)器人定位引導(dǎo)分類在機(jī)器視覺與機(jī)器人相結(jié)合的應(yīng)用場景中，機(jī)器人引導(dǎo)定位應(yīng)用最為普遍。關(guān)于此類場景，?？禉C(jī)器人與合作伙伴共同實(shí)施了大量成功案例與成熟方案。機(jī)器人定位引導(dǎo)可大致分為3種模式，并進(jìn)而細(xì)分為六類：圖1

固定相機(jī)

圖1所示的三種工作方式稱為固定相機(jī)模式，即相機(jī)安裝在設(shè)備機(jī)架上，不隨機(jī)器人的運(yùn)動而運(yùn)動，自左至右又依次分為抓取工況、抓取偏移糾正工況和放置工況。其中抓取工況，相機(jī)對傳送過來的來料進(jìn)行拍攝和粗定位，將定位信息傳輸給機(jī)器人以便機(jī)器人根據(jù)定位信息抓取來料，如此可降低對工位間傳送機(jī)構(gòu)準(zhǔn)確性的要求，確保抓取的穩(wěn)定性；抓取偏移補(bǔ)正工況可通過設(shè)置在機(jī)械臂另一側(cè)的下相機(jī)對工件進(jìn)行二次精準(zhǔn)定位，極大程度上消除來料偏差，確保能有針對性地對每個來料進(jìn)行加工；放置工況內(nèi)容涵蓋廣泛，可以是簡單的放置，亦可以是貼合、安裝等，即使用相機(jī)定位最終的目標(biāo)位，結(jié)合前述兩種工況，真正做到針對每個工件有的放矢。圖2

運(yùn)動相機(jī)

圖2所示為兩種運(yùn)動相機(jī)模式，即相機(jī)安裝于機(jī)械臂頂端隨機(jī)械臂一同運(yùn)動。雖不同于上述固定相機(jī)模式，但固定相機(jī)模式和運(yùn)動相機(jī)模式在功能上殊途同歸，都可實(shí)現(xiàn)定位抓取與引導(dǎo)放置。兩者在保證功能的同時，能夠提供更多的安裝可能性以應(yīng)對不同的環(huán)境與硬件條件限制。圖3

其他類型

針對不同的設(shè)備安裝場景，為提升硬件安裝的適應(yīng)性，固定相機(jī)模式與運(yùn)動相機(jī)模式也可結(jié)合使用，如圖3所示。4視覺系統(tǒng)設(shè)計(jì)結(jié)合不同場景，應(yīng)用各類型硬件的選型搭配，保障機(jī)器視覺技術(shù)與機(jī)器人有效配合的前提是系統(tǒng)整體的合理設(shè)計(jì)與安裝布置。海螺8是?？低暪S生產(chǎn)的一款攝像頭，其裝配需完成前蓋定位、泡棉上料、透鏡定位安裝、燈板定位安裝鎖附、前端組件定位安裝鎖附等一系列動作，整個過程應(yīng)用了大量機(jī)器人與機(jī)器視覺聯(lián)合定位引導(dǎo)。如圖4左所示的燈板鎖附工位負(fù)責(zé)燈板鎖附過程中螺釘?shù)膩砹隙ㄎ慌c引導(dǎo)安裝，由于設(shè)備安裝空間的局限性，項(xiàng)目中選擇了空間需求更小、工位更加節(jié)省、安裝更靈活的活動相機(jī)方式。海康威視自主研發(fā)生產(chǎn)的600萬像素面陣相機(jī)配合25mm焦距的500萬鏡頭，連同環(huán)形LED光源安裝在機(jī)械臂末端，隨同機(jī)械臂一同運(yùn)動。圖4

海螺8視覺系統(tǒng)與成像效果

如圖4左所示燈板定位螺釘安裝工位中，螺孔精度為±0.05mm，這對于視覺與機(jī)器人配合的精度提出了較高要求。相機(jī)連同機(jī)械臂在取料位定位螺釘后，機(jī)械臂前端的吸鐵石準(zhǔn)確吸取螺釘并運(yùn)動至安裝位；相機(jī)在安裝位再次拍照定位螺孔后，螺釘被精確旋緊。單個螺釘從定位取料到完成安裝整個過程僅耗時不到5秒，且通過視覺定位極大程度提高一次性安裝成功的穩(wěn)定性，避免人工安裝時瞄準(zhǔn)螺孔、效率波動帶來的時間耗費(fèi)，人力成本也得到降低。視覺定位的應(yīng)用，在降低成本的同時優(yōu)化加工工藝、提升產(chǎn)能。基于合理的硬件選型與空間配置，最終得到穩(wěn)定優(yōu)秀的畫面質(zhì)量（如圖4右所示）。借助?？禉C(jī)器人自主研發(fā)的工業(yè)相機(jī)客戶端MVS和?？低暀C(jī)器視覺VM算法平臺，使用模板匹配、圓查找等工具對圖像中的螺孔等特征進(jìn)行精準(zhǔn)分析定位。5標(biāo)定——精度保障的重要環(huán)節(jié)在設(shè)備最終投入使用前，還會經(jīng)歷一個重要環(huán)節(jié)——標(biāo)定，這也是視覺與機(jī)器人之間的橋梁。?？低暀C(jī)器視覺VM算法平臺中包含成熟的標(biāo)定算法模塊，能在確保標(biāo)定流程開發(fā)高效性的基礎(chǔ)上，讓工程師使用完善的標(biāo)定算法模塊有針對性地為自己量身定制標(biāo)定程序，以此實(shí)現(xiàn)標(biāo)定流程的簡潔性、準(zhǔn)確性和復(fù)用性。

在合作伙伴利用海康威視機(jī)器視覺VM算法平臺開發(fā)的某一視覺項(xiàng)目中，設(shè)備需要對三個工位上的三臺相機(jī)分別進(jìn)行標(biāo)定。在精度要求最高、空間條件最好的二工位，即抓取偏移補(bǔ)正工位，固定安裝于機(jī)架的下相機(jī)完成了對帶有角點(diǎn)（有方向性）的點(diǎn)陣標(biāo)定板的11個位姿的采圖，并利用?？低暀C(jī)器視覺VM算法平臺中多點(diǎn)標(biāo)定模塊快速實(shí)現(xiàn)二工位完整的11點(diǎn)標(biāo)定。一、三工位的相機(jī)只需要對標(biāo)定板進(jìn)行一次圖像采集，通過對比相同特征在不同采圖中的坐標(biāo)，得到不同像素級別的相機(jī)之間尺度和角度的變換關(guān)系，即通過坐標(biāo)映射建立與二工位之間的聯(lián)系，完成一、三工位的標(biāo)定。圖5

N點(diǎn)標(biāo)定流程

整個標(biāo)定流程只需采集13張圖片，在不影響精度的情況下，利用坐標(biāo)映射極大程度地精簡了標(biāo)定流程，節(jié)約了開發(fā)和時間成本。至于標(biāo)定流程本身，如圖5，基于已有的模塊，只需根據(jù)機(jī)器人的實(shí)際動作在N點(diǎn)標(biāo)定模塊中設(shè)定N點(diǎn)步進(jìn)的距離d和旋轉(zhuǎn)角度α并選擇圖像中進(jìn)行定位的特征，?？低暀C(jī)器視覺VM算法平臺會自動按照圖示位姿順序完成標(biāo)定矩陣的計(jì)算，供最終圖像坐標(biāo)向物理坐標(biāo)轉(zhuǎn)換時使用。其中特征點(diǎn)可以是諸如圖5實(shí)例中的圓、角點(diǎn)線段等的任何特征，這也消除了標(biāo)定板選用的局限性。而旋轉(zhuǎn)角α的引入解決了機(jī)械臂末端旋轉(zhuǎn)軸與執(zhí)行元件的不共軸問題。在此基礎(chǔ)上，完成一、三工位的坐標(biāo)映射乃至更多定制的標(biāo)定流程，整個過程的開發(fā)周期也會大幅縮短。6軟件配合視覺系統(tǒng)在軟件層面完成的首要任務(wù)是與設(shè)備動作之間的正常通訊，?？禉C(jī)器人聯(lián)手合作伙伴，在眾多項(xiàng)目的實(shí)際操作中完成了與ABB、EPSON、FANUC等諸多工業(yè)機(jī)器人的成功對接。其次，任何系統(tǒng)的開發(fā)最終都會落實(shí)在界面的操作，對于操作員來說，操作界面的友好度同樣是確保設(shè)備正常、高效使用的重要因素。針對不同客戶自身的應(yīng)用案例需求，?？低暀C(jī)器視覺VM算法平臺提供多樣性的通訊模塊以應(yīng)對不同的通訊協(xié)議。同樣，?？低暀C(jī)器視覺VM算法平臺豐富的SDK也為工程師提供了獨(dú)立自主開發(fā)軟件的可能性，以契合不同的應(yīng)用場景和客戶需求。圖6是合作伙伴在一個機(jī)器人對位貼合項(xiàng)目中調(diào)用?？低暀C(jī)器視覺VM算法平臺SDK編寫的軟件界面。圖6

標(biāo)定過程采圖

界面主體顯示了相機(jī)的實(shí)時采圖，右側(cè)功能頁可設(shè)置包括光源、相機(jī)、視覺方案在內(nèi)的多種選項(xiàng)，并且隨時可以根據(jù)需求的調(diào)整進(jìn)行增減。7結(jié)語人工智能時代，工業(yè)應(yīng)用對機(jī)