基于深度學(xué)習(xí)的鋁合金壓鑄件外觀缺陷檢測方法

基于深度學(xué)習(xí)的鋁合金壓鑄件外觀缺陷檢測方法

0基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法作為車輛的主要部件，125壓鑄件由于裝配工藝等設(shè)備的故障、重量低或員工操作不當(dāng)，不可避免地會出現(xiàn)各種缺陷。這些尺寸的外觀缺陷主要包括肉不足、收縮孔、厚肉、空氣和寒冷的皮膚。在實(shí)際生產(chǎn)中，這些外觀缺陷的檢測大多依靠人工檢查，生產(chǎn)線檢查工人的勞動量大，效率低，誤檢率高，并且存在無法實(shí)時跟蹤產(chǎn)品質(zhì)量指標(biāo)等一系列的問題。針對特征明顯的缺陷，工廠中往往采用基于傳統(tǒng)的機(jī)器視覺的缺陷檢測方法，這些方法主要包括兩種形式：1）通過數(shù)字圖像處理技術(shù)進(jìn)行缺陷檢測；2）通過人工設(shè)計(jì)復(fù)雜的特征提取器進(jìn)行特征提取，并采用分類器進(jìn)行缺陷的識別近年來，如Faster-RCNN當(dāng)前缺陷檢測工作主要是針對鋼材、鐵軌、轎車殼體和PCB板等表面，較少對復(fù)雜壓鑄件表面進(jìn)行研究。而鑄件外觀缺陷檢測主要存在以下難點(diǎn)：1）缺陷部位體積小，下采樣的過程中會造成像素點(diǎn)的丟失，增加了檢測的難度；待檢測物體固定的位置會為小型缺陷保留上下文信息，而這些上下文信息會增加小型缺陷的誤檢率；2）鑄件的背景復(fù)雜，對缺陷檢測的干擾大；3）各種缺陷數(shù)據(jù)樣本數(shù)量極不平衡，數(shù)據(jù)量少的缺陷無法實(shí)現(xiàn)端到端檢測，為訓(xùn)練增加了難度。針對上述的難點(diǎn)，本文提出一種基于深度學(xué)習(xí)的鑄件外觀缺陷檢測方法，具體流程圖如圖1所示，具體包括圖像獲取、數(shù)據(jù)傳輸和缺陷檢測等3大模塊。本文具體貢獻(xiàn)如下：1）制作一個大型的鑄件外觀缺陷數(shù)據(jù)集ALU-DEF，包括缺陷圖片7816張，具體包括的缺陷有缺肉、多肉、氣孔、縮孔、冷隔等；2）提出密排的錨點(diǎn)設(shè)計(jì)方法來提高小缺陷的正檢率；采用對比訓(xùn)練方法進(jìn)行訓(xùn)練，將有無缺陷的2種類別數(shù)據(jù)同時用于模型的訓(xùn)練，通過訓(xùn)練過程中2種類別數(shù)據(jù)的對比，來減少上下文信息對小型缺陷檢測的影響；3）在神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制，通過注意力機(jī)制讓模型更加關(guān)注圖片中的缺陷區(qū)域，來減少鑄件外觀背景的干擾；4）提出一種將深度學(xué)習(xí)與輪廓發(fā)現(xiàn)相結(jié)合的方法實(shí)現(xiàn)對小樣本缺陷的端到端檢測。1缺陷檢測算法1.1缺陷部位像素的消失Refine-ACTDD缺陷檢測算法主要基于RefineDet算法進(jìn)行改進(jìn)的由于缺陷部位像素在整張圖片中所占的比例很小，在下采樣的過程中缺陷部位會消失，增加了對小缺陷檢測的難度。本文采用將一張大圖片分割為2×2張小圖片，然后依次進(jìn)行檢測的方法，如圖3所示。1.2散點(diǎn)的設(shè)置及重新設(shè)計(jì)基于錨點(diǎn)的目標(biāo)檢測算法，在訓(xùn)練的過程中，算法主要關(guān)注的區(qū)域是錨點(diǎn)中的區(qū)域，在進(jìn)行預(yù)測的時候，模型也是在錨點(diǎn)的基礎(chǔ)上進(jìn)行預(yù)測的。因此對小型物體來說，適當(dāng)?shù)腻^點(diǎn)設(shè)計(jì)可以明顯的提高模型對小缺陷的正檢率為獲得適合本數(shù)據(jù)集的錨點(diǎn)大小，對數(shù)據(jù)集中缺陷目標(biāo)的長寬進(jìn)行統(tǒng)計(jì)和K-Means聚類操作，缺陷區(qū)域尺寸散點(diǎn)分布圖如圖4所示，聚類操作的結(jié)果及錨點(diǎn)大小和比例的設(shè)置如表2所示。根據(jù)聚類的結(jié)果以及為獲得均勻鋪排的錨點(diǎn)，將Conv4_3、Conv5_3、Conv_fc7和Conv6_2的錨點(diǎn)的大小依次為16、32、64和128。由于小目標(biāo)的長寬比多為1，將Conv4_3的卷積層的長寬比只設(shè)置為一種比例形式，這樣可以明顯減少計(jì)算量。密排錨點(diǎn)的方法是對Conv4_3卷積層上的錨點(diǎn)進(jìn)行重新設(shè)計(jì)來提高對小目標(biāo)缺陷檢測的正檢率，設(shè)計(jì)方式如圖5所示。原始的錨點(diǎn)設(shè)計(jì)是以每個像素點(diǎn)為中心，在像素點(diǎn)的周圍設(shè)計(jì)長度和長寬比不同的錨點(diǎn)，如圖5(a)所示。而本方法是在彼此相鄰的四個像素點(diǎn)中間新增了一個長寬比為1的錨點(diǎn)，具體形式如圖5(b)所示。在(a)圖中，錨點(diǎn)與真實(shí)值間最大IOU(IntersectionoverUnion)值是A1，將錨點(diǎn)進(jìn)行重新設(shè)計(jì)后，IOU的最大值變?yōu)锳2，可以看出經(jīng)過重新設(shè)計(jì)的錨點(diǎn)能夠獲得更大的IOU值，所以缺陷檢測中小型缺陷會獲得更大的IOU值，正檢率也會因此得到提高。1.3senet算法鑄件表面背景復(fù)雜，對模型的檢測會造成很大的干擾。為減少復(fù)雜背景的影響，在網(wǎng)絡(luò)中引入注意力機(jī)制，即在模型中增加一個Attention模塊，使模型對圖片特征的提取更加充分，并且缺陷相關(guān)特征所占的權(quán)重系數(shù)更大。本文采用的Attention機(jī)制來自于SENet算法(Squeeze-and-ExcitationNetworks),具體結(jié)構(gòu)如圖6所示，SENet算法主要包括Squeeze和Excitation兩項(xiàng)操作對于Squeeze操作，需要在channel方向上進(jìn)行全局的平均池化操作，把H*W的輸入特征圖轉(zhuǎn)化為1*1的特征圖，即將channel方向上的整個空間特征編碼為一個全局特征，公式如下： (1.1)式中：X獲得各channel方向上的全局特征后，Excitation階段模型需要學(xué)習(xí)各全局特征間的非線性關(guān)系，采用Relu激活函數(shù)來增加非線性的變化。同時為減少參數(shù)的計(jì)算量，在Relu操作前后采用2個全連接層結(jié)構(gòu)，第一個全連接層主要進(jìn)行參數(shù)壓縮的作用，第二個全連接層起到恢復(fù)原始維度的作用，其中壓縮系數(shù)為R；最后使用Sigmoid函數(shù)獲得各個channel上全局特征的權(quán)重大小W (1.2)Attention模塊放置于TCB模塊后，可以將經(jīng)過特征整合后的特征圖在進(jìn)行進(jìn)一步的特征提取，獲得注意力特征圖。注意力的特征圖與TCB模塊輸出的特征圖相比，其對特征的提取會更加的充分，帶有缺陷特征會賦予更大的權(quán)重系數(shù)，因此將注意力特征圖輸入到ODM模塊中進(jìn)行最終的檢測時復(fù)雜背景的干擾會得到明顯的降低。1.4冷隔缺陷端到端檢測方法深度學(xué)習(xí)模型在進(jìn)行訓(xùn)練時，需要保證各個類別間樣本的數(shù)量差距不能過大，否則會嚴(yán)重影響神經(jīng)網(wǎng)絡(luò)的泛化能力。但是，各種缺陷工件的數(shù)量是極不平衡的。本文中冷隔缺陷的數(shù)量相比其他缺陷的數(shù)量相差10倍以上，導(dǎo)致冷隔缺陷無法和其余缺陷樣本一起進(jìn)行訓(xùn)練。為實(shí)現(xiàn)對冷隔缺陷端到端檢測的目的，本文提出一種將深度學(xué)習(xí)與輪廓發(fā)現(xiàn)相結(jié)合的端到端檢測方法。冷隔缺陷發(fā)生的位置在工件上是確定的，所以在數(shù)據(jù)集中增加一種類別，該類別為冷隔缺陷敏感區(qū)域，用于確定冷隔缺陷可能發(fā)生的位置。如圖7所示，將待檢測圖片輸入到神經(jīng)網(wǎng)絡(luò)中，判斷該圖片是否存在冷隔敏感區(qū)域。若圖片中不存在冷隔敏感區(qū)域，則正常輸出神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果；否則根據(jù)網(wǎng)絡(luò)檢測的具體坐標(biāo)對冷隔區(qū)域進(jìn)行截取并對該區(qū)域進(jìn)行輪廓發(fā)現(xiàn)處理，來判斷該區(qū)域是否發(fā)生冷隔缺陷。對于輪廓發(fā)現(xiàn)方法，待檢測圖片需要通過灰度化處理轉(zhuǎn)化為灰度圖；并對灰度圖進(jìn)行二值化計(jì)算，具體計(jì)算如下： (1.3)其中X運(yùn)用開操作運(yùn)算，過濾掉二值化圖片中的小噪聲；最后進(jìn)行發(fā)現(xiàn)輪廓操作，計(jì)算輪廓的面積，當(dāng)輪廓的面積大于設(shè)定的閾值時，該工件判定為缺陷件，否則為無冷隔缺陷。1.5人臉檢測準(zhǔn)確性技術(shù)針對小目標(biāo)的檢測，一種較好的解決方法就是通過上下文信息來增加小目標(biāo)檢測的準(zhǔn)確率，如在人臉檢測中頭發(fā)的存在可以提高人臉檢測準(zhǔn)確率針對上面出現(xiàn)的問題，提出一種對比訓(xùn)練方法。為減少上下文信息的干擾，本文在數(shù)據(jù)集中新增加一類沒有缺肉缺陷的類別，使得網(wǎng)絡(luò)模型在訓(xùn)練的過程中對這兩種類別進(jìn)行對比訓(xùn)練，通過不斷的迭代訓(xùn)練使網(wǎng)絡(luò)辨別這兩種類別，進(jìn)而判斷物體是否存在缺陷，達(dá)到降低誤檢率的目的。2數(shù)據(jù)集和評估指標(biāo)2.1冷隔敏感區(qū)域圖片壓面在工廠內(nèi)一共采集缺陷圖片為2500張，具體包括的缺陷類型有缺肉、縮孔、多肉、氣孔和冷隔缺陷等，額外包括冷隔敏感區(qū)域圖片305張。為增強(qiáng)模型的泛化能力，對所采集的數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)操作，包括圖像的對稱、旋轉(zhuǎn)等2項(xiàng)操作，并且過濾掉一些效果較差的圖片后一共獲得7816張圖片，并將數(shù)據(jù)集按照8：1：1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，部分缺陷圖片如圖9所示，各種類缺陷圖片數(shù)量如表3所示。2.2缺陷件或者是良品件本文選擇的模型評價指標(biāo)分別為正檢率和MAP這2個評價指標(biāo)。對于某個待檢測的圖片，該圖片的檢測結(jié)果只能是缺陷件或者是良品件，則正檢率指的是檢測正確的圖片數(shù)占檢測圖片的總數(shù)，即 (2.1)對于MAP，是用于衡量模型的一個綜合性指標(biāo)， (2.2) (2.3) (2.4) (2.5)其中，TP指將正樣本識別為正樣本的數(shù)量，F(xiàn)P指將負(fù)樣本誤識別為正樣本的數(shù)量，F(xiàn)N指將正樣本誤判為負(fù)樣本的數(shù)量，c表示樣本中類別的數(shù)量。3結(jié)果3.1圖像采集模塊本文搭建的鑄件外觀缺陷實(shí)驗(yàn)平臺如圖10所示，實(shí)驗(yàn)平臺包括3大模塊，分別為圖像采集模塊、數(shù)據(jù)傳輸模塊和缺陷檢測模塊。在檢測的時候，當(dāng)圖像采集模塊中的機(jī)械臂運(yùn)動到工件的待檢測位置后，PLC控制器為視覺控制器發(fā)送信號，視覺控制器接收到信號后開始采集圖像。視覺控制器通過數(shù)據(jù)傳輸模塊的CPE（CustomerPremiseEquipment）設(shè)備連接到5G網(wǎng)絡(luò)，將采集的圖像通過5G網(wǎng)絡(luò)傳輸?shù)饺毕輽z測模塊的云端服務(wù)器。服務(wù)器端收到請求后，會對發(fā)送的圖片進(jìn)行檢測，最后將檢測結(jié)果通過5G網(wǎng)絡(luò)反饋到視覺控制器終端來指導(dǎo)下一步的工作。3.2缺肉缺陷實(shí)驗(yàn)為驗(yàn)證對比訓(xùn)練策略的實(shí)際效果，本文采用2種不同的訓(xùn)練策略分別進(jìn)行訓(xùn)練，并將訓(xùn)練后的權(quán)重系數(shù)保存下來進(jìn)行測試。制作了含有200張圖片的測試集，其中包含100張缺肉缺陷圖片和100張無缺陷圖片。實(shí)驗(yàn)結(jié)果如表4所示，從表中可以看出通過采用對比訓(xùn)練策略，正檢率由88.5%提升至95%，其中錯檢數(shù)得到了明顯的改善，錯檢率由10.5%下降至1.5%。但是由于神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過程中需要對2種相似的物體進(jìn)行區(qū)分，使得漏檢數(shù)得到小幅度的上升。但總體的正檢率獲得了6.5%的提升，取得了顯著的效果?？梢钥闯鐾ㄟ^采用對比訓(xùn)練的策略，能夠明顯的降低背景信息對小缺陷檢測的影響。3.3錨點(diǎn)改進(jìn)對比為驗(yàn)證密排錨點(diǎn)設(shè)計(jì)的實(shí)際效果，在模型訓(xùn)練的過程中，監(jiān)測正樣本與GroundTruth之間的平均IOU值隨迭代次數(shù)的變化，如圖11所示。從圖中可以看出，在經(jīng)過10000次左右的迭代后，密排錨點(diǎn)的IOU平均值明顯高于設(shè)計(jì)之前的IOU的平均值。這說明在訓(xùn)練的過程中，GroundTruth會與其最適合的錨點(diǎn)進(jìn)行位置損失的計(jì)算，會使模型訓(xùn)練的更加充分，在檢測時回歸的位置會更加準(zhǔn)確。為進(jìn)一步驗(yàn)證重新設(shè)計(jì)的錨點(diǎn)對召回率的影響，統(tǒng)計(jì)錨點(diǎn)設(shè)計(jì)前后測試集中圖片的召回率隨IOU的變化曲線圖，如圖12所示。從圖中可以看出，經(jīng)過錨點(diǎn)重新設(shè)計(jì)的Refine-ACTDD模型明顯具有更高的召回率。實(shí)際檢測的效果如圖13所示，從對比的效果圖中可以看出，小型缺陷檢測的召回率得到明顯的改善。3.4athention機(jī)制對不同件外觀缺陷錯檢率的影響為驗(yàn)證Attention模塊對復(fù)雜背景的鑄件外觀缺陷檢測的具體影響，在訓(xùn)練集上分別對有無Attention模塊的模型進(jìn)行了訓(xùn)練和結(jié)果測試。由于復(fù)雜背景的干擾，會導(dǎo)致鑄件外觀缺陷檢測的錯檢率明顯提高，因此統(tǒng)計(jì)了模型在增加Attention機(jī)制前后各類別缺陷錯檢率大小，具體的結(jié)果如表5所示。從表中可以看出，在增加Attention機(jī)制后，縮孔和多肉缺陷的錯檢率得到較大的下降，分別降低了2.47%和2.5%，這主要是因?yàn)殍T件外觀的背景形狀和顏色等與縮孔缺陷和多肉缺陷相似，因此上述2種缺陷更易受到背景的干擾，檢測結(jié)果如圖14所示。從圖中可以看出，增加Attention機(jī)制后可以明顯減少工件表面的特殊形狀、顏色和切削液殘留等復(fù)雜背景的干擾，能夠降低鑄件外觀缺陷的錯檢率。3.5模型檢測性能分析為驗(yàn)證Refine-ACTDD算法模型的整體效果，將其與原算法RefineDet和目前廣泛應(yīng)用于工業(yè)界的目標(biāo)檢測算法Faster-RCNN和YOLOv3算法進(jìn)行對比實(shí)驗(yàn)。在模型訓(xùn)練后，對上述算法的Recall和Precision進(jìn)行了統(tǒng)計(jì)，選取2種典型的缺陷類型，分別是小體積缺陷的缺肉缺陷和較大體積缺陷的多肉缺陷，其Precision-Recall曲線如圖15、16所示。從Recall-Precision的曲線圖中可以看出，Refine-ACTDD相比RefineDet、YOLOv3和Faster-RCNN具有較好的性能。模型檢測的正檢率和MAP如表6和表7所示，從表中可以看出，Refine-ACTDD具有最高的平均正檢率95.44%，與YOLOv3、Faster-RCNN和RefineDet相比，平均正檢率分別高出16%、1.94%和2.62%，MAP分別高出17.9%、11.82%和3.3%。如圖17所示，YOLOv3以0.015s的檢測時間在上述算法中具有最快的檢測速度，但是正檢率表現(xiàn)較差；Faster-RCNN具有較高的正檢率但檢測時間確高達(dá)0.039s；Refine-ACTDD相比于RefineDet僅以0.003s的時間代價獲得最高的正檢率，并且檢測的時間明顯快于Faster-RCNN算法，這說明Refine-ACTDD算法兼具高的正檢率和檢測效率。具體檢測的效果圖如圖18所示，結(jié)合曲線圖15、16可以看出來，Refine-ACTDD無論檢測較大缺陷還是小型缺陷都表現(xiàn)較好，與RefineDet算法相比，其在小缺陷的檢測上效果得到了提升。Faster-RCNN在小型缺陷檢測上具有較高的召回率，但是由于鑄件外觀復(fù)雜的背景干擾，因而鑄件的背景也會誤判為缺陷，導(dǎo)致MAP較低。YOLOv3算法在小型缺陷的檢測方面表現(xiàn)較差，漏檢數(shù)較多。Refine-ACTDD算法通過密排錨點(diǎn)的設(shè)計(jì)和注意力機(jī)制的加入，較好解決了上述問題。4小樣本缺陷檢測算法本文提出了一種基于深度學(xué)習(xí)的缺陷外觀缺陷檢測算法。該算法基于RefineDet算法進(jìn)行改進(jìn)，采用密排錨點(diǎn)的方法，提高了小型缺陷檢測的召回率