具有結(jié)構(gòu)光視覺機器人焊縫跟蹤系統(tǒng)的設(shè)計外文翻譯

1、 具有結(jié)構(gòu)光視覺機器人焊縫跟蹤系統(tǒng)的設(shè)計liu suyi1, *, wang guorong2, zhang hua1, and jia jianping1中國南昌大學(xué)機器人焊接自動化省級重點實驗室,330031中國廣州華南理工大學(xué)機械和汽車工程學(xué)院,510640收到了2009年8月1日,修訂2010年5月30日,接受了2010年6月17日,電子出版的2010年8月20日摘要：機器人焊接是一個重要的研究和發(fā)展方向,其焊接自動化和智能化、自動縫跟蹤技術(shù)更是一個主要的研究領(lǐng)域。如今,焊縫跟蹤系統(tǒng)與結(jié)構(gòu)光視覺的研究變得很流行。在國外，結(jié)構(gòu)光視覺焊縫跟蹤系統(tǒng)與同類產(chǎn)品相比都更加貴,所以只能應(yīng)用在特殊場

2、合。在中國,研究結(jié)構(gòu)光視覺焊縫跟蹤系統(tǒng)仍只停留在實驗階段。一個機器人實時焊縫跟蹤系統(tǒng)是基于線結(jié)構(gòu)光視覺而設(shè)計。由于硬件體系建立,并結(jié)合線濾波方法結(jié)構(gòu)焊縫圖像進行了改進,這樣比普通過濾改進具有更好的效果和特點。改進方法有兩種：快速模板匹配和快速霍夫變換、改善圖像識別焊縫中心坐標。兩個新的形象識別方法都對結(jié)構(gòu)元素匹配和角檢測提出了建議。通過焊縫圖像識別的比較表明快速模板匹配和角落檢測比其它兩種方法更為準確、穩(wěn)定,而在這兩種中角檢測又是最好的。同時通過標定攝像機參數(shù)和機器人手眼的計算表明：這種方法是有效、可行的?；谝陨纤膫€圖像識別方法，機器人焊縫跟蹤試驗進行線性和折疊兩項,實驗結(jié)果表明：四個圖像識

3、別方法都適用于實時焊縫跟蹤,符合整個系統(tǒng)的要求,并且完善實時焊縫跟蹤。自動焊縫跟蹤系統(tǒng)是可行的,具有良好的通用性。關(guān)鍵詞:激光視覺,機器人,焊縫跟蹤、圖像識別1介紹 焊接生產(chǎn)的自動化和智能化正在高速發(fā)展。而機器人焊接又是自動焊縫跟蹤的一個重要問題。在機器人自動焊接中,開發(fā)運用焊縫跟蹤系統(tǒng)是非常重要的。在這個過程中,傳感器起著非常重要的作用,因為它會直接影響焊縫跟蹤精度。有許多類型的傳感器用于焊縫的自動跟蹤,其中電弧傳感器和視覺傳感器應(yīng)用最廣泛。電弧傳感器主要適用于焊接接頭兩側(cè)對稱的,而視覺傳感器不僅只用于于焊接接頭類型和焊接材料，而且它還能得到更多信息。因此,視覺傳感器已經(jīng)成為了自動化、智能化

4、的熱點研究焊接系統(tǒng)。一般來說,根據(jù)使用輔助光源與否,焊縫跟蹤視覺又可分為兩大類:活躍視覺和被動視覺。研究表明, 因為被動視覺沒有使用輔助光，所以被動視覺信號信噪比低,。因此, 被動視覺是廣泛應(yīng)用于焊縫跟蹤。激光具有良好的定位、集中的能量密度等等, 高信號焊縫圖像信噪比可以通過利用激光輔助光源來測量其形狀,位置而獲得，并且也可以很容易得到焊接接頭的尺寸。所以在世界上有很多研究者都很注意結(jié)構(gòu)光視覺。在一些發(fā)達國家,例如 英國、加拿大、瑞典、等等, 結(jié)構(gòu)光視覺縫跟蹤產(chǎn)品已經(jīng)出來了。但是他們經(jīng)常是非常昂貴的并且只能應(yīng)用在特殊的場合。在中國,研究了結(jié)構(gòu)光視覺焊縫跟蹤系統(tǒng)基本上只停留在實驗。 在本文中，結(jié)

5、構(gòu)光視覺機器人焊縫跟蹤系統(tǒng)研究是通過借鑒元的激光傳感器和irb1400機器人來進行研究的。機器人焊縫跟蹤系統(tǒng)包括線結(jié)構(gòu)光視覺的圖像采集以及焊縫圖像識別和提取,系統(tǒng)坐標的校正和改造,電腦與機器人之間的通信,機器人焊縫跟蹤控制等。為了獲得準確的焊縫位置,我們必須先對圖像濾波和圖像識別進行了研究。現(xiàn)在兩種圖像識別方法已經(jīng)進行了改進,并且現(xiàn)在兩類圖像識別也能表示出精確坐標值和實現(xiàn)校準時間的減少,也提出了同聲傳譯標定攝像機參數(shù)和機器人手眼。機器人焊縫跟蹤試驗對線縫疊、 焊縫隙行了改進,提出了有效措施。2 焊縫自動跟蹤系統(tǒng)的組成和原則 焊縫跟蹤系統(tǒng)的硬件主要包括結(jié)構(gòu)光視覺傳感器,弧焊機器人、形象捕捉卡、p

6、c、焊接設(shè)備,等等。整個系統(tǒng)的架構(gòu)如圖1所示。 一個元的激光傳感器是固定在機器人末端的機械手,離焊槍距離為60毫米。該系統(tǒng)的軟件模塊劃分為焊縫圖像采集,圖像識別和提取、交流電腦和機器人,pc控制機器人控制。在確定焊縫跟蹤等焊接參數(shù)之前,應(yīng)先確定在軟件的界面上的參數(shù)如焊接速度、焊接接頭類型、起步位置和結(jié)束位置。在焊接期間,圖像通過焊縫過濾板由ccd攝像機捕捉來獲得,然后把圖像傳到pc采集卡。他們根據(jù)在pc控制程序中設(shè)定好的時間每100毫秒抓取一次。在接替時,再通過焊縫圖像處理程序模塊來提取焊縫中心坐標，然后把這些參數(shù)輸入到sub-module程序中轉(zhuǎn)化成空間坐標點。再把焊縫中心空間坐標送到機器人

7、通訊程序模塊，機器人控制程序根據(jù)接收到的坐標通過指令來控制機械手的運動。目前焊接是按照順序到達下一縫的位置來實現(xiàn)機器人焊縫跟蹤。3 激光焊縫圖像識別和提取 在激光焊縫圖像識別和提取過程中在弧焊上有不同種類的干擾,如煙霧和灰塵、噴涂等，由于視覺系統(tǒng)信號信噪比很低，所以許多噪聲存在于最初的焊縫的圖像中。由于在焊縫跟蹤中dsp系統(tǒng)元的激光傳感器不能識別和提取焊縫中心。所以如何準確識別和提取焊縫中心坐標成為了很重要的問題。3.1激光焊縫圖像的采集 圖2是機器人焊縫跟蹤的素描和線結(jié)構(gòu)光視覺。圖3是在焊接期間激光圖像搭接接頭是如何獲得，（焊絲焊劑sqj501喂絲的類型在天津sainteagle焊接公司生產(chǎn)

8、和焊接）其參數(shù)見表1。 表1 焊接參數(shù) 參數(shù) 值 焊接電壓u / v 29焊接電流i /一個 230-260焊接速度v /(mms-1) 7焊絲直徑d /毫米 1.6送絲速度vf /(mms-1) 200線擴展l /毫米 27機器人姿態(tài)角 150.8 35 50.23.2圖像識別和提取在視覺傳感焊縫跟蹤來識別和提取焊縫位置過程中，圖像識別和提取是第一步。在提取激光焊縫的圖像時,它所提取的焊縫位置是不會因為焊接接頭的不同而不同的。為了準確對接, 焊縫位置是在機器人姿態(tài)角較高的時候用激光進行的測量的,而圖4為第一次車削加工用激光測出的焊縫位置，p點為焊縫中心。而在圖3中我們可以看出有許多白線濺出的

9、噪音,一些弧形光噪聲,一些煙霧灰塵噪音，這些聲音嚴重干擾焊縫中心的識別和提取。所以圖像濾波是很有必要的。 3.2.1圖像濾波圖像濾波方法常用的方法有平均濾波、中值濾波等。其中平均濾波只是能去除噪聲的一小部分。但是在中值濾波的方法中, 由于有水平窗口或垂直窗口的窗口來處理圖像，所以其效果較好,但這也有反面的影響那就是會使焊縫特征圖像更模糊。所以,一個圖像濾波要用多種方法相結(jié)合。從觀察來看,灰色背景的結(jié)構(gòu)光視覺焊縫圖像信噪比通常低于50而灰度噪聲和激光線基本上是在100以上。 激光線的寬度大約為2 - 3像素,而噪音的寬度是最以上4像素。根據(jù)這些特點,過濾方法如下:(1)選擇一個水平的窗口1

10、15;5個像素大小圖像和選擇一個閾值t。(2)當滿足第一個像素的灰度1×5像素的水平窗口不到t和其他四個像素大于t時,這四個像素被視為噪聲產(chǎn)生的。(3)掃描整個圖像方面的相關(guān)規(guī)定。由于噪聲在捕獲不同焊縫圖像,閾值t不都是一樣的,但是無論是t與否都將直接影響圖像的結(jié)果處理。因此,一個像素的灰度值的均值根可根據(jù)下面的公式來計算，像素的灰度值在50和100之間: 圖5(一)的濾波結(jié)果是圖3 (a)項使用上述方法和3×3中值濾波方法得到的; 圖5(b)和圖5(c)分別是中值濾波結(jié)果。圖3 (a)項是利用3×3和5×5像素窗口像素窗口直接得出來的結(jié)果。 比較圖。5

11、的結(jié)果表明,改進過濾效果與3×3像素窗口比中值濾波和5×5個像素的窗口更好。此外,改進的方法還具有較好的實時性。3.2.2影像二值化由于電弧焊接是不穩(wěn)定的,并且當焊縫圖像背景為灰度時也不是固定的。一個灰色的閾值可能會也可能不會使一幅圖效果好。針對這一問題, 用調(diào)整閾值和最大方差閾值的方法來計算影像灰度二值化。圖6是影像二值化。 第3.2.3章圖像細化為了降低圖像的噪聲識別和進一步提取準確的焊縫中心，那么細化處理應(yīng)該采用影像二值化來完成。 細化方法是與二值圖像反過來并結(jié)構(gòu)元素 (255* 255) ,和 來完成的。當一個像素符合這兩種結(jié)構(gòu)之一時,它的灰色的值設(shè)置為0(像素帶有

12、*為現(xiàn)匹配一個)。圖7顯示變薄處理的結(jié)果。 第3.2.4焊縫中心的識別和提取從圖7可以看出可以用不同的方式來識別和提取焊縫連接點(p點,如圖4)。摘要中列出了四研究方法:結(jié)構(gòu)元素匹配、快速模板匹配、快速霍夫轉(zhuǎn)換,角檢測10。從圖像識別實驗表明：四個識別方法都可以提取焊縫中心,但是當在其中結(jié)構(gòu)元素匹配不穩(wěn)定時使用快速模板匹配和角檢測會做得更好,并有較高的去噪效果,更重要的是,在角檢測中更加有效。最后,在圖7中提取的焊縫位置，分別為（67、126、)和(66、128、)4坐標的正和轉(zhuǎn)換從上面的部分可以看出,我們必須對焊縫的形象定位中心進行提取。接下來的一步就是通過提取焊縫中心來確定焊接點的位置，然

13、后還有就是轉(zhuǎn)換其坐標,也就是說,把圖像的位置向焊縫中心空間坐標機器人基本系統(tǒng)轉(zhuǎn)換。4.1坐標框架的關(guān)系 一個點在圖像平面通過引入m =(x,y)t和在世界框架中通過tm =xw,yw,zw的點來定義。他們的齊次坐標m􀀄=x,y,1t和tw w w,x y z =􀀄,1 m。再結(jié)合相機孔模型光學(xué)原理，就可以建立轉(zhuǎn)換圖像幀和世界框架: 其中s是一個任意比例因子,k是照相機的內(nèi)在參數(shù)矩陣,和的規(guī)模因素在x,y軸,c表示了偏態(tài)兩個圖像軸,t是相機外在參數(shù)矩陣,r1 - r9是一部分旋轉(zhuǎn)的攝影機框架在世界框架中的半徑。 因為s是一個任意比例因子,k是照相機的內(nèi)在參數(shù)矩

14、陣，那么就可以猜想h是機器人手框架的攝影機框架的變換矩陣、t6是機械手的框架到機器人底座的距離,r代表到機器人攝影機框架底座的半徑。這三個轉(zhuǎn)變的矩陣關(guān)系見表8。很明顯,這三個矩陣之間的關(guān)系可以表示為一個 。在這里,世界框架被定義為機器人底座,所以以下方程可以得出: 在其中,t是與(2)式一樣的。所以可以得到下式： 、4.2校準參數(shù)的方法根據(jù)旋轉(zhuǎn)部分的正交性。(2)式和選擇6校準控制部分,其中非線性方程的建立是為了解決17未知參數(shù)eq。(2)。其實,這是一個優(yōu)化非線性最小二乘問題13。優(yōu)化初始值未知參數(shù)選以下三個方面: 用l - m算法來解決非線性方程組問題,然后矩陣h的解決方法可以采用方程(5

15、)。最終的計算結(jié)果中列出了以下三個方面: 當k和h是固定的,而r隨相機位置的不同而不同。4.3校準轉(zhuǎn)型從上面的方案,可以知道結(jié)構(gòu)光的視覺攝像機參數(shù)矩陣k、t和機器人手眼運動矩陣h下可以確定。這樣, 在機器人底座每一個分縫的坐標可以轉(zhuǎn)化為其相應(yīng)的圖像坐標14。假設(shè)(x,y)是一個分縫圖像坐標的一個點。它在攝影機框架的三維坐標是(xc、yc、zc)及其坐標機器人底座(xw,yw,zw)。然后通過攝像機內(nèi)部參數(shù)矩陣k,圖像坐標變換關(guān)系和相機框架坐標就可以給出如下: 相互轉(zhuǎn)化坐標和攝影機框架機器人底座是 一般來說,重建空間三維坐標點至少需要兩個圖像。但當機器人焊縫跟蹤在一個平面上時,zw是恒定的。所以

16、當w是已知時,機器人底座點的坐標可以結(jié)合了方程(10)、(11)求出。5 電腦與機器人之間的交流 電腦和機器人的溝通有兩種方式來:一是利用計算機網(wǎng)絡(luò)和二是通過串行通信(spc)。針對本文實際應(yīng)用要求,采用rs232c spc模式來解決問題。5.1通信協(xié)議 在機器人焊縫跟蹤系統(tǒng)、通信電腦與機器人之間是用來傳送一些控制命令和數(shù)據(jù),其詳細的任務(wù)是以下。(1)計算機發(fā)送信息到機器人,包括指令字的輪式移動機器人運動方式如手冊模式或跟蹤模式,下一個點的坐標,和機器人的移動速度。(2)電腦從機器人接收信息,通知pc捕捉下焊縫圖像可以得到焊接炬和命令的流動坐標。5.2 spc編程 通常,有三種方式實現(xiàn)visu

17、al c + +在windows環(huán)境下的控制:串行通訊控件 微軟倡導(dǎo)的activex 網(wǎng)絡(luò)化多媒體對象技術(shù),winapi交際功能,轉(zhuǎn)接程序。這三個方法有其優(yōu)缺點：cserialport類用來實現(xiàn)spc中，其波特率是19 200位/秒。6機器人焊縫跟蹤控制 在本文中焊縫跟蹤控制,在本質(zhì)上是過程控制的機器人沿著一條焊縫線連續(xù)運動。跟蹤方法是把均勻分縫線條改為一些很小的部分,然后焊槍先后在每一小段移動。通過這種方式,由這些小片斷組成的折疊線就更接近真正的焊縫線,其具體如圖。9。每一小段的長度是相等并且取決于焊槍和電流傳感焊縫中心的距離。為了使機器人多運動平穩(wěn),每一個片段pi1 pi又分成很多更小的網(wǎng)

18、段,例如20到30。連續(xù)運動的焊槍沿焊縫是通過諧機器人程序和電腦程序來控制。 7實驗 兩組機器人焊縫跟蹤實驗連接處都是用絲sqj501焊絲（天津sainteagle公司制造的)。 首先是一個線性縫是追蹤實驗,然后折疊焊縫跟蹤實驗。7.1 對不同焊縫的跟蹤 在基本焊接條件相同的情況下有四個焊縫識別方法，即結(jié)構(gòu)元素匹配、快速模板匹配、快速霍夫改造,角檢測,分別采用軌道線性縫隙。 表10就是實驗結(jié)果,表2列出了實驗參數(shù)。 表2。焊接參數(shù)線性焊縫的自動跟蹤 參數(shù) 數(shù)據(jù)焊接電壓u / v 29 29 29 29焊接電流i /一個 260-280 250-270 220-240 240-260 焊接速度

19、5 5 7 7 速度 5 5 7 7 鋼絲直徑d /毫米 1.6 1.6 1.6 1.6 送絲速度 200 200 225 225 線擴展l /毫米 22 23 25 25 機器人姿態(tài)角 131.1 131.1 131.1 131.1, , /(°) -37.6 -37.6 -37.6 -37.6 7.2折焊縫跟蹤實驗 為進一步檢測焊縫跟蹤系統(tǒng)的穩(wěn)定性,在這組實驗中進行拐角檢測,需要更多的穩(wěn)定的實時處理,這將應(yīng)用于軌道折疊縫。圖11顯示結(jié)果和表3是它的相應(yīng)的實驗條件。 表3。焊縫跟蹤折疊的焊接參數(shù) 參數(shù) 值 焊接電壓u / v 28焊接電流i /一個 230-280焊接速度v /(m

20、ms-1) 5鋼絲直徑d /毫米 1.6送絲速度vf /(mms-1) 225線擴展l /毫米 25機器人姿態(tài)角 131 0 -37.6 -110.4, , /(°) 129.2 -38.4 -140.48結(jié)論結(jié)構(gòu)光視覺是有效的獲取焊縫特征信息的方法,且適用于不同類型的焊接接頭。(2)四縫高質(zhì)素都可以瞬間、有效對焊縫中心識別和提取圖像的位置。其中,快速模板匹配、快速霍夫變換、角檢測能得到平滑跟蹤縫,而結(jié)構(gòu)元素匹配在得到跟蹤焊縫比其他幾個更不穩(wěn)定。（3）利用拐角檢測能滿足折疊的焊縫跟蹤的要求，具有穩(wěn)定和良好的實時性。 (4)通過系統(tǒng)的學(xué)習(xí),研究了能實現(xiàn)實時機器人焊縫跟蹤與結(jié)構(gòu)光視覺的結(jié)

21、構(gòu)而這個實驗結(jié)果剛好適用于焊縫。references1 lin shangyang, guan qiao. study on welding production conditionsand developing strategy in our countrys manufacturej.mechanical worker (hot machining), 2004 (8): 1620. (in chinese)2 lin shangyang. china is forging ahead from large welding countrytoward strong welding coun

22、try in the worldsome problems aboutwelding product & development in our countryj. aeronautical manufacturing technology, 2002 (11): 1719, 44. (in chinese)3 lin shangyang, chen shangben, li chengtong. welding robotand applicationm. beijing: china machine press, 2000. (inchinese)4 pan jiluan. mode

23、rn arc welding controlm. beijing: china machinepress, 2000. (in chinese)5 hu shenggang, li junyue, pei xuemei. developing status and theircontrol technique for optical arc welding sensors j. welded pipeand tube, 1998, 21(1): 1019. (in chinese)6 bob irving. sensors and controls continue to close the

24、loop in arcweldingj. welding journal, 1999, 4: 3136.7 liu suyi, wang guorong, zhong jiguang. application and prospectof vision sensing system in robot weldingj. mechanicalscience and technology, 2005, 24(11): 1 2961 300. (in chinese)8 fan xinnan, guo jianjia. self-adaptive threshold segmentation alg

25、orithmabout engineering imagesj. computer measurement &control, 2006, 14(3): 395397.9 xue lanyan, cheng li. image segmentation based on the methodof the maximal variance and the improved genetic algorithmj.computer applications and software, 2008, 25(2): 221222, 247. (inchinese)10 liu suyi. rese

26、arch on groove image processing and robot seamtracking systemd. guangzhou: south china university oftechnology, 2006. (in chinese)11 zhang zhengyou. camera calibration with one-dimensional objectsj. ieee transactionson pattern analysis and machineintelligence, 2004, 26(7): 892899.12 luo honggen, zhu

27、 liming, ding han. camera calibration withcoplanar calibration board near parallel to the imaging planej.sensors and actuators a, 2006, 132(2): 480486.13 xu chengxian, chen zhiping, li naicheng. modern optimizationm. beijing: science press, 2002. (in chinese)14 liu suyi, wang guorong, shi yonghua. s

28、imultaneous calibrationof camera and hand-eye in robot welding with laser visionj.journal of south china university of technology(natural scienceedition), 2008, 36(2): 7477, 82. (in chinese)biographical notesliu suyi, female, born in 1974, is a phd and a lecturer inschool of mechatronics engineering, nanchang university,china. her research interests include image processing,computer vision and welding automation. over 10 papers havebeen published.tel: +86-