基于機(jī)器視覺(jué)的汽車(chē)零部件檢測(cè)系統(tǒng)設(shè)計(jì)

1、基于機(jī)器視覺(jué)的汽車(chē)零部件檢測(cè)系統(tǒng)設(shè)計(jì)0引言汽車(chē)零部件的質(zhì)量極其關(guān)鍵，實(shí)施汽車(chē)零部件的追溯制1-2重要。常用的汽車(chē)零部件追溯是采用直接在產(chǎn)品上壓印字符的方法，由此對(duì)零部件的相關(guān)信息進(jìn)行標(biāo)識(shí)。因此，大量的零件表面字符信息需要被識(shí)讀。對(duì)于零件表面字符信息的識(shí)讀，傳統(tǒng)的方法是直接采用人工的方式，通過(guò)人眼讀取然后手動(dòng)輸入計(jì)算機(jī)。這種方式檢測(cè)效率低、勞動(dòng)強(qiáng)度大且容易出現(xiàn)錯(cuò)檢或漏檢等問(wèn)題，不能滿(mǎn)足流水作業(yè)以及自動(dòng)化生產(chǎn)發(fā)展的需求。為了適應(yīng)自動(dòng)化生產(chǎn)的需要，將機(jī)器視覺(jué)技術(shù)引入到汽車(chē)零部件檢測(cè)中，用于識(shí)別汽車(chē)零部件的產(chǎn)品型號(hào)、日期等信息。同時(shí)，利用該技術(shù)可實(shí)現(xiàn)相關(guān)加工工藝質(zhì)量的檢測(cè)，實(shí)現(xiàn)對(duì)沖孔直徑的檢測(cè)，該技術(shù)

2、具有非接觸、精度高以及便于自動(dòng)化管理的特點(diǎn)。本課題要實(shí)現(xiàn)對(duì)零部件的字符和沖孔直徑的檢測(cè)。針對(duì)這兩個(gè)檢測(cè)項(xiàng)，本文設(shè)計(jì)了一套基于機(jī)器視覺(jué)的零部件檢測(cè)系統(tǒng)，進(jìn)行線(xiàn)上自動(dòng)檢測(cè)，并將檢測(cè)信息保存到數(shù)據(jù)庫(kù)中。檢測(cè)系統(tǒng)總體方案設(shè)計(jì)本系統(tǒng)硬件部分主要由4個(gè)部分組成：工業(yè)相機(jī)、光學(xué)鏡頭、光源、伺服電機(jī)等構(gòu)成的圖像采集裝置；氣缸夾爪、位置傳感器、伺服電機(jī)構(gòu)成的不良品分揀裝置；傳送帶、簡(jiǎn)單限位載具等構(gòu)成的運(yùn)料裝置；數(shù)據(jù)采集卡、工控機(jī)等構(gòu)成的信息采集和軟件處理裝置。圖1為系統(tǒng)的整體3D模型圖。軟件部分主要包含了圖像采集模塊、運(yùn)動(dòng)控制模塊、圖像處理模塊和數(shù)據(jù)存儲(chǔ)模塊。電控箱焊接機(jī)架機(jī)構(gòu)產(chǎn)品流線(xiàn)蠱虢構(gòu)、上端)L亠圖1系統(tǒng)

3、整體3D模型圖1.1檢測(cè)系統(tǒng)硬件設(shè)計(jì)(1)圖像采集裝置設(shè)計(jì)：由于字符在不同型號(hào)零件的分布位置不同，綜合考慮相機(jī)的視野范圍不夠大和成本問(wèn)題，設(shè)計(jì)了CCD檢測(cè)機(jī)構(gòu)。該機(jī)構(gòu)由伺服電機(jī)及絲桿裝置構(gòu)成，相機(jī)可自由在絲桿上移動(dòng)，可以針對(duì)不同型號(hào)的零件確定拍照位置。由于零件字符是壓印的，通過(guò)對(duì)比實(shí)驗(yàn)選擇了VC75-W型號(hào)的同軸光源安裝在CCD檢測(cè)機(jī)構(gòu)上。感應(yīng)器被安裝在傳送帶的一側(cè)，當(dāng)感應(yīng)器感應(yīng)到產(chǎn)品時(shí)，觸發(fā)相機(jī)拍照。設(shè)計(jì)的圖像采集裝置如圖2所示。圖2圖像采集裝置(2)不良品分揀裝置：當(dāng)零件沖孔不合格時(shí)需要將其從流水線(xiàn)上取下，因?yàn)閭魉蛶且苿?dòng)的，為了得到不合格產(chǎn)品的準(zhǔn)確位置信息，需要計(jì)算傳送帶的移動(dòng)距離，可以

4、根據(jù)伺服電機(jī)的脈沖數(shù)來(lái)得到不合格零件在傳送帶上移動(dòng)的距離，當(dāng)零件到達(dá)指定位置時(shí)，氣缸夾爪抓取不合格零件，通過(guò)伺服電機(jī)及絲桿裝置放到不良品箱中。設(shè)計(jì)的不良品分揀裝置如圖3所示。圖3不良品分揀裝置1.2檢測(cè)系統(tǒng)軟件設(shè)計(jì)檢測(cè)系統(tǒng)在啟動(dòng)后，需要先進(jìn)行系統(tǒng)硬件參數(shù)和軟件參數(shù)的初始化，然后由上料端上料，當(dāng)零件達(dá)到檢測(cè)工位時(shí)感應(yīng)器觸發(fā)相機(jī)進(jìn)行圖像采集，采集完成后傳輸至本地計(jì)算機(jī)進(jìn)行圖像處理，分別對(duì)字符和沖孔進(jìn)行檢測(cè)，將檢測(cè)結(jié)果保存到數(shù)據(jù)庫(kù)中，總體的流程如圖4所示。(2)NYY釆集完成?合格品出料I丨不良顯出牌I：沖孔檢測(cè)學(xué)？?檢測(cè)棒.人本地計(jì)算機(jī)上料門(mén)逝料霉件困條采集數(shù)搖庫(kù)潔息存儲(chǔ)圖4檢測(cè)系統(tǒng)軟件流程圖沖孔

5、檢測(cè)由于零件與傳送帶有著較明顯的對(duì)比度，對(duì)于沖孔的檢測(cè)，先使用閾值分割方法，再利用像素點(diǎn)面積特征和圓度特征來(lái)提取沖孔區(qū)域。(1)式中T為灰度閾值。圖5所示為采集的零件圖像的灰度直方圖，經(jīng)實(shí)驗(yàn)驗(yàn)證，當(dāng)選取灰度閾值T=180可以將目標(biāo)區(qū)域和背景區(qū)域分離。閾值分割完成后計(jì)算連通域的個(gè)數(shù)，設(shè)每個(gè)連通域的像素點(diǎn)面積為area(i),其中：(i=123,.,n),根據(jù)大量實(shí)驗(yàn)，當(dāng)area(i)日16000,20000時(shí),可將沖孔區(qū)域以及一些干擾區(qū)域篩選出來(lái)。然后通過(guò)計(jì)算上述篩選區(qū)域的圓度3以將沖孔區(qū)域提取出來(lái)，圓度的計(jì)算公式如式(2)所示。C=min(l1)式中:c為圓度；F為區(qū)域面積；r為區(qū)域中心到輪廓

6、點(diǎn)的最大值。max圖5零件灰度直方圖設(shè)篩選區(qū)域的圓度為circularity(i),其中：(i=12.,n),經(jīng)大量實(shí)驗(yàn)驗(yàn)證，當(dāng)圓度circularity(i)0.9時(shí)，可以將沖孔區(qū)域提取出來(lái)，如圖6所示為提取的沖孔區(qū)域。圖6提取的沖孔區(qū)域由于沖壓的孔不是完全意義上的圓形，所以需要將沖孔的邊緣進(jìn)行擬合。擬合前，需要獲取沖孔區(qū)域邊緣信息，在分析幾種常用的邊緣檢測(cè)算子之后，選取canny邊緣檢測(cè)算子檢測(cè)沖孔區(qū)域的邊緣。由于對(duì)沖孔直徑的檢測(cè)不需要太高的精度，所以提取像素級(jí)別的邊緣，如圖7所示。最后，使用最小二乘法將邊緣輪廓擬合成圓，將邊緣輪廓上的點(diǎn)到擬合圓的距離相加，使求得的距離之和最小，如式(3)

7、所示，由此計(jì)算出沖孔的直徑為2p，當(dāng)直徑超過(guò)產(chǎn)品零件允許誤差時(shí)，就會(huì)被系統(tǒng)判定成不合格品，由不良品分揀裝置夾出。/?2b)-pYI(3)式中：(a,b)為擬合圓的圓心坐標(biāo)；p為擬合圓的半徑；(r,c)為邊緣輪廓上的ii點(diǎn)。/WXO圖7像素級(jí)別邊緣提取字符檢測(cè)傳統(tǒng)的字符檢測(cè)需要經(jīng)過(guò)圖像預(yù)處理、字符定位、字符分割、字符識(shí)別操作完成，其流程如圖8所示。圖8傳統(tǒng)字符識(shí)別方法流程圖本系統(tǒng)采用基于CTPN模型的定位和基于CRNN模型的字符識(shí)別方法，4-56-7將自然場(chǎng)景下的文本檢測(cè)應(yīng)用到特定的汽車(chē)零部件檢測(cè)場(chǎng)景中，去除了圖像預(yù)處理和字符分割等步驟，相比于傳統(tǒng)的檢測(cè)方法，簡(jiǎn)化了處理流程。新的識(shí)別處理流程如圖

8、9所示。于:字定基-r前軒圖9本系統(tǒng)使用的字符識(shí)別處理流程圖3.1基于CTPN的字符定位由于在采集圖像時(shí)可能會(huì)出現(xiàn)字符被產(chǎn)品塑料件遮擋、產(chǎn)品擺放傾斜問(wèn)題，此外，零件型號(hào)多，字符在零件上的分布情況比較復(fù)雜，本系統(tǒng)使用文獻(xiàn)8自然場(chǎng)景下的文本檢測(cè)方法，使用CTPN模型進(jìn)行零件字符區(qū)域的定位。CTPN模型利用了RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）和CNN（卷積神經(jīng)網(wǎng)絡(luò)）的無(wú)縫結(jié)合來(lái)提高檢測(cè)精度。其中，CNN用來(lái)提取深度特征，RNN用于序列的特征識(shí)別，二者無(wú)縫結(jié)合，在檢測(cè)效果上魯棒性更好。它的步驟如下：（1）采用VGG16的前5個(gè)ConvStage進(jìn)行特征提取，得到大小為WxHxC的conv5特征映射。然后在conv

9、5上做3x3的滑動(dòng)窗口得到一個(gè)長(zhǎng)度為3x3xC的特征向量。（2）將特征輸入到一個(gè)雙向的LSTM中，得到一個(gè)Wx256的輸出，再將這個(gè)結(jié)果輸入到一個(gè)512維的全連接層。（3）通過(guò)分類(lèi)或線(xiàn)性回歸可以得到3個(gè)輸出：2kverticalcoordinates（表示選擇框的高度和中心的y軸的坐標(biāo)）、2kscores（表示k個(gè)anchor的類(lèi)別信息，說(shuō)明其是否為字符）、kside-refinement（表示選擇框的水平偏移量）。使用非標(biāo)準(zhǔn)極大值抑制算法濾除多余的文本框。由于要檢測(cè)16種型號(hào)零件，選取每種型號(hào)1000張圖片制作數(shù)據(jù)集，在數(shù)據(jù)集上對(duì)VGG-Net進(jìn)行訓(xùn)練，訓(xùn)練所用的平臺(tái)為Ubuntu18.04

10、系統(tǒng)，用訓(xùn)練好的模型進(jìn)行測(cè)試，測(cè)試效果如圖10所示，在圖10(a)字符被塑料件遮擋(零件A)、圖10(b)產(chǎn)品色差較大且傾斜(零件B)的情況下有良好的定位效果。(a)字符被塑料件遮擋(b)產(chǎn)品色差大且傾斜圖10測(cè)試效果圖3.2基于CRNN的字符識(shí)別字符區(qū)域定位成功后，傳統(tǒng)的方法需要將字符分割出來(lái)，然后再進(jìn)行識(shí)別，使得處理流程相對(duì)復(fù)雜。CRNN是一種基于深度學(xué)習(xí)的端到端的識(shí)別方法，不需要顯示加入文字切割，它將文字識(shí)別轉(zhuǎn)化為序列學(xué)習(xí)問(wèn)題，對(duì)圖像尺度不同、文本長(zhǎng)度不同的文本識(shí)別具有良好的準(zhǔn)確率。CRNN的網(wǎng)絡(luò)架構(gòu)由卷積層、循環(huán)層和轉(zhuǎn)錄層構(gòu)成。卷積層用于提取每個(gè)輸入圖像的特征序列，在卷積網(wǎng)絡(luò)之后構(gòu)建了

11、一個(gè)循環(huán)網(wǎng)絡(luò)，用于對(duì)卷積層輸出的特征序列的每一幀進(jìn)行預(yù)測(cè)。最后，通過(guò)轉(zhuǎn)錄層將循環(huán)網(wǎng)絡(luò)的每幀預(yù)測(cè)轉(zhuǎn)化為標(biāo)簽序列。具體的操作：將輸入的圖像歸一化為100 x32高度的字符串圖像，然后基于7層CNN(般使用VGG16)提取特征圖，把特征圖按列切分(Map-to-Sequence),再將每列的512維特征輸入到兩層各256單元的雙向LSTM進(jìn)行分類(lèi)。在訓(xùn)練過(guò)程中，通過(guò)基于聯(lián)結(jié)時(shí)序分類(lèi)(connectionisttemporalclassification,CTC)損失函數(shù)實(shí)現(xiàn)字符位置與類(lèi)標(biāo)的近似對(duì)齊，輸出不定長(zhǎng)的序列結(jié)果。經(jīng)過(guò)CTPN模型實(shí)現(xiàn)字符定位成功后,輸出的是檢測(cè)文本框的位置信息和文本的概率,在

12、進(jìn)行字符識(shí)別時(shí)是進(jìn)行字符串圖像的識(shí)別,將不同型號(hào)零件對(duì)應(yīng)位置識(shí)別到的字符串信息保存到數(shù)據(jù)庫(kù)中。設(shè)圖像中一共有n個(gè)文本框，其左上角頂點(diǎn)分別為(x,y),(x,y),.,(x,y),檢測(cè)順序按照文本框的左上角縱坐標(biāo)y,TOC o 1-5 h z1122nn1y,.,y從大到小排序，若y二y二二y,則將x,x,.,x對(duì)應(yīng)的字符串圖像2nimnimn按照從小到大的順序識(shí)別，識(shí)別結(jié)果為result,resultresult(n為正整數(shù)),將12n檢測(cè)到的字符信息保存到數(shù)據(jù)庫(kù)中。本系統(tǒng)選取16種型號(hào)零件，每種型號(hào)1000張圖片，按照Synth90數(shù)據(jù)集的格式制作數(shù)據(jù)集。在Ubuntu18.04系統(tǒng)下使用G

13、PU進(jìn)行加速訓(xùn)練。用訓(xùn)練好的模型進(jìn)行測(cè)試,測(cè)試結(jié)果如圖11和圖12所示,字符串1、字符串2、字符串3分別是兩款零件截取的字符串圖像檢測(cè)結(jié)果如圖11(d)、圖12(d)所示，可以看出對(duì)于字符遮擋和對(duì)比度不高的壓印字符，CRNN模型具有良好的識(shí)別效果。1808mfw曲)字符串I時(shí)字將串2(巧字符審;$Predicttnagel.pngresultis180615APredictimage2TpngresultisMFWPredicttnaae3.pnqresultis9025263檢溉結(jié)果圖11產(chǎn)品A檢測(cè)結(jié)果卻10657S1麵12鶴直懐ni字符串1h）字符串2（）字符吊：七Predictinage

14、lpngresultis24106576Predictinage2,pngresultis1809182Predictimage3pngresultis180921的程測(cè)站果圖12產(chǎn)品B檢測(cè)結(jié)果現(xiàn)場(chǎng)驗(yàn)證由于本系統(tǒng)需要檢測(cè)的汽車(chē)零件共有16種型號(hào)，為了驗(yàn)證本系統(tǒng)的檢測(cè)效果，進(jìn)行了現(xiàn)場(chǎng)驗(yàn)證。由于沖孔類(lèi)型一致，對(duì)于沖孔的檢測(cè)，選擇6種型號(hào)零件進(jìn)行測(cè)試，每個(gè)沖孔用千分尺測(cè)量5次直徑并取平均值；用檢測(cè)系統(tǒng)測(cè)量6種型號(hào)零件的直徑，結(jié)果對(duì)比如表1所示。由表1可知，使用檢測(cè)系統(tǒng)測(cè)量的直徑與用千分尺測(cè)量的直徑真值誤差很小，檢測(cè)精度較高，滿(mǎn)足企業(yè)的檢測(cè)要求。對(duì)于零件字符的檢測(cè)，每種型號(hào)選擇100個(gè)零件進(jìn)行測(cè)試，測(cè)試結(jié)果表明，字符的識(shí)別正確率達(dá)到了96%，取得了良好的檢測(cè)效果。通過(guò)查詢(xún)保存的零件數(shù)據(jù)信息，可以提高對(duì)產(chǎn)品的監(jiān)管力度。表1沖孔測(cè)量結(jié)果mm型號(hào)尺扌要求卡尺