《工業(yè)視覺檢測算法方案》白皮書-2024

阿丘科技阿丘科技產(chǎn)品實戰(zhàn)系列白皮書AqroseTechnology工業(yè)視覺檢測項目的特點02算法工具的概念03算法工具的能力邊界04工業(yè)視覺檢測算法方案的概念05算法方案優(yōu)劣評價的標(biāo)準(zhǔn)06明確需求 07單圖方案設(shè)計 07在現(xiàn)代工業(yè)生產(chǎn)中，視覺檢測技術(shù)的應(yīng)用正變得越來越廣泛，它在提高產(chǎn)品質(zhì)量、優(yōu)化生產(chǎn)流程方面發(fā)揮著至關(guān)重要的作用。然而，與人臉識別、交通監(jiān)控、安防監(jiān)控等應(yīng)用場景相比，工業(yè)視覺檢測項目的場景更為特殊，它很難與當(dāng)下主流的AI平臺工具配型，或者是通過單一算法模型進行訓(xùn)練，通常情況下，工業(yè)視覺檢測項目面臨著一系列獨特的難點與挑戰(zhàn)。首先，算法實現(xiàn)難。工業(yè)環(huán)境中的背景往往非常復(fù)雜，且對比度較低，這使得缺陷檢測變得尤為困難。例如，在電子元件的檢測中，背景可能包括電路板、導(dǎo)線等多種材質(zhì)，這些材質(zhì)的顏色和紋理變化多樣，增加了缺陷檢測的難度。此外，工業(yè)產(chǎn)品中的缺陷種類繁多，簡單的項目就可能涉及10種以內(nèi)的缺陷類型，而復(fù)雜的項目則可能包含上百種不同的缺陷類型。這些缺陷不僅數(shù)量眾多，而且差異較小，給算法的設(shè)計和優(yōu)化帶來了極大的挑戰(zhàn)。更重要的是，這些缺陷往往分布在多個平面上，需要在不同工位上利用相機采集多張圖像來完成檢測任務(wù)，進一步增加了算法實現(xiàn)的復(fù)雜性。其次，樣本收集難。在許多質(zhì)量控制嚴(yán)格的生產(chǎn)線上，缺陷樣本非常稀缺，特別是在高良品率的產(chǎn)品制造過程中，特定缺陷的出現(xiàn)頻率極低，這導(dǎo)致相關(guān)缺陷樣本的收集周期可能長達數(shù)月甚至數(shù)年。一旦缺乏足夠的缺陷樣本，模型訓(xùn)練就會變得困難，進而影響檢測的準(zhǔn)確性而且，檢測要求高。通常情況下，工業(yè)視覺檢測項目不僅需要達到零漏檢的標(biāo)準(zhǔn)，同時還必須保證圖像處理的速度足夠快（通常要求在毫秒級別內(nèi)完成）。這樣的高標(biāo)準(zhǔn)對算法的設(shè)計提出了更高的要求。例如，在半導(dǎo)體制造過程中，晶圓的檢測要求幾乎為零漏檢，任何微小的缺陷都可能導(dǎo)致整個晶圓報廢，造成巨大的經(jīng)濟損失。因此，檢測算法需要具備極高的靈敏度，以確保不會錯過任何一個潛在的缺陷。同時，生產(chǎn)線上對圖像處理速度的要求也非常之高，以確保生產(chǎn)線的高效運轉(zhuǎn)。最后，客戶非常關(guān)心部署與維護的成本。為了確保系統(tǒng)的穩(wěn)定運行，工業(yè)視覺檢測系統(tǒng)不僅需要具備高度的可靠性，還應(yīng)易于維護，并能夠迅速復(fù)制到其他生產(chǎn)線上，這要求系統(tǒng)設(shè)計時充分考慮硬件和軟件的兼容性、可擴展性和易用性等。例如，一些高端的視覺檢測系統(tǒng)可能需要配備多臺高性能的GPU服務(wù)器，這不僅增加了初期投資成本，還帶來了較高的運維費用。所以，設(shè)計一套既高效又經(jīng)濟的解決方案顯得尤為重要。因此，工業(yè)視覺檢測由于其特有的復(fù)雜性和多樣性，往往無法靠單一模型解決問題，而是需要由多個算法連接組成一個完整的算法方案，才能實現(xiàn)需求功能并達到檢測要求。這些算法方案通常需要綜合運用多種技術(shù)工具，如定位、分割、檢測和OCR等模塊，通過合理的組合和優(yōu)化，以滿足工業(yè)檢測中的各種挑戰(zhàn)和需求。02在工業(yè)視覺檢測中，算法工具是指能夠獨立解決某一特定問題的技術(shù)模塊。這些工具通常具有特定的功能，可以單獨應(yīng)用于某個具體的任務(wù)。例如，“定位”工具可以從輸入圖像中確定目標(biāo)的位置和姿態(tài)；“分割”工具則可以針對輸入圖像生成多邊形分割區(qū)域。雖然每個算法工具都能單獨執(zhí)行特定的任務(wù)，但在工業(yè)視覺檢測中，這些需求通常涉及多個檢測項分割非監(jiān)督分割檢測定位字符識別裝配檢查分類非監(jiān)督分類關(guān)于上述八大技術(shù)模塊的簡單介紹，可見下圖關(guān)于上述八大技術(shù)模塊的簡單介紹，可見下圖分割分割對圖像進行像素級檢測，精準(zhǔn)識別缺陷的位置、尺寸和異物磕邊檢測字符識別字符識別溢膠溢膠變形分類非監(jiān)督分割只需良品圖即可對所有已知和未知缺陷進行像素級檢定位定位檢測圖像中單個或多個目標(biāo)的類別、位置、裝配檢查裝配檢查非監(jiān)督分類只需良品圖即可對所有已知和未知缺陷進行整圖分類，032.算法工具的能力邊界算法工具均有其適用范圍和能力邊界，了解這些邊界是制定合適算法方案的前提。所以，在制定算法方案之前，需要對AI和傳統(tǒng)算法、各AI模塊的能力邊界有清晰的認(rèn)識，以便更好地發(fā)揮各自的優(yōu)勢，解決實際問題。首先，AI與傳統(tǒng)算法的能力邊界。盡管AI技術(shù)在近年來取得了顯著進展，但與傳統(tǒng)計算機視覺算法相比，兩者在應(yīng)用場景和能力上各有側(cè)重。AI技術(shù)在處理低對比度和背景干擾較大的情況時表現(xiàn)出色，其最小檢測精度可以達到3x3像素。這使得AI在檢測例如電路板上的微小缺陷、紡織品上的細(xì)小污漬等方面具有明顯優(yōu)勢。然而，傳統(tǒng)算法在高精度定位和測量任務(wù)中更加精確，能夠達到亞像素級別的精度。例如，在機械零件的尺寸測量和精密裝配中，傳統(tǒng)算法能夠提供更高的測量精度和穩(wěn)定性，確保生產(chǎn)的高質(zhì)量和高效率。其次，AI各工具的能力邊界。AI技術(shù)內(nèi)部的不同工具也具有各自的特點和適用場景。分割工具能夠提供像素級別的檢測結(jié)果，適用于需要精細(xì)劃分目標(biāo)區(qū)域的任務(wù)，如電路板上的焊點檢測、醫(yī)療影像中的病灶分割等。相比之下，定位和檢測工具主要提供區(qū)域級別的信息，適用于需要快速識別目標(biāo)位置和類別的任務(wù)，如汽車零部件的定位、食品包裝上的文字識別等。了解這些工具的具體能力和應(yīng)用場景，有助于在實際項目中選擇最合適的工具組合，提高檢測的準(zhǔn)確性和效率。最后，非監(jiān)督學(xué)習(xí)的能力邊界。非監(jiān)督學(xué)習(xí)是近些年流行起來的一種重要的機器學(xué)習(xí)方法，它在缺乏大量標(biāo)注數(shù)據(jù)的情況下仍能有效工作。例如，阿丘科技發(fā)布的非監(jiān)督分割算法，能夠檢測最小7x7像素的缺陷，這種能力在處理稀有缺陷樣本的場景中尤為有用。非監(jiān)督學(xué)習(xí)通過自學(xué)習(xí)的方式，從大量未標(biāo)注的數(shù)據(jù)中發(fā)現(xiàn)模式和結(jié)構(gòu)，從而提高模型的泛化能力和適應(yīng)性。在實際應(yīng)用中，非監(jiān)督學(xué)習(xí)不僅可以減少數(shù)據(jù)標(biāo)注的成本和時間，還可以在數(shù)據(jù)有限的情況下快速構(gòu)建有效的檢測模型。043.工業(yè)視覺檢測算法方案的概念算法方案是指將多個算法工具組合起來，以解決非單一問題的方法，在工業(yè)視覺檢測中，一個完整的算法方案通常需要綜合運用多種工具，以滿足復(fù)雜的檢測需求。例如，在一張圖像中既需要輸出多邊形分割區(qū)域，又需要識別并讀取其中的文字信息（OCR），并且在執(zhí)行分割操作之前還需確定目標(biāo)的確切位置。在這種情況下，一個完整的算法方案將包括定位模塊、分割模塊和OCR模塊等多個部分，它們協(xié)同工作以達成最終的檢測目標(biāo)。定位工具分割工具圖像輸入定位工具分割工具圖像輸入 綜合判定工具OCROCR工具05在實際的工業(yè)視覺檢測項目中，一款優(yōu)質(zhì)的算法方案不僅能在技術(shù)上可行，且能在經(jīng)濟性和維護成本上滿足客戶的需求。以下是阿丘科技從三個主要維度，對算法方案優(yōu)劣評價的首先，技術(shù)可行性。判斷算法方案的技術(shù)可行性，即能否滿足客戶的檢測效果要求與性能要求。此時，通常會選擇有代表性的難點項目進行輕量級的離線POC（ProofofConcept）測試。這些測試項目會涵蓋關(guān)鍵檢測項，以確保算法在實際應(yīng)用中能夠有效工作，并且滿足速度要求。如果測試結(jié)果不理想，可能需要與客戶協(xié)商調(diào)整項目范圍或降低某些指標(biāo)的要求。例如，檢測系統(tǒng)的漏檢率無法達到零，則可以與客戶討論是否可接受一定的漏檢率，以換取更高的處理速度。其次，算法的投入產(chǎn)出比。工業(yè)視覺檢測系統(tǒng)通常需依賴高性能的硬件支持，如多張高性能顯卡。這些硬件設(shè)備的成本較高，因此在評估算法方案時，需要考慮硬件投入是否經(jīng)濟合理（例如，使用高性能GPU可以顯著提高圖像處理速度，但也增加了初始投資成本）。而且，有些項目的算法開發(fā)周期過長，不僅會影響項目的按時交付，還會增加人力和資源的投入，且交付過程的復(fù)雜度也會增加項目的總體成本。因此，需要評估項目的開發(fā)周期和交付流程，確保項目能夠在預(yù)定的時間內(nèi)順利交付。同時，過程中還需要技術(shù)人員與業(yè)務(wù)部門密切合作，共同判斷項目的商業(yè)可行性。另外，AI技術(shù)在開發(fā)階段門檻低、投入少，是其相對比傳統(tǒng)算法的一大優(yōu)勢。許多客戶通過阿丘科技的工業(yè)AI視覺算法平臺軟件AIDI，使得原本需要調(diào)用幾十甚至上百個算子的傳統(tǒng)方法，變?yōu)橹恍枰粋€AI模塊就能實現(xiàn)缺陷檢測，而且初版模型的訓(xùn)練、測試，不需要圖像算法基礎(chǔ)，也無需代碼基礎(chǔ)。最后，算法的維護成本。項目后期的維護成本往往在項目前期時會被忽略，但當(dāng)項目批量交付，維護成本開始顯現(xiàn)，通常會占用算法團隊大量的時間。傳統(tǒng)的算法方案在維護階段需要算法工程師頻繁調(diào)參，不僅增加了維護成本，還影響了系統(tǒng)的穩(wěn)定性和可靠性。而當(dāng)大部分檢測方案改為以AI為主或AI與傳統(tǒng)算法結(jié)合后，算法維護工作逐漸轉(zhuǎn)給售后團隊，甚至客戶產(chǎn)線上的一線員工也可以承擔(dān)起AI模型訓(xùn)練的工作。06制定一個有效的算法方案是確保檢測系統(tǒng)性能和效率的關(guān)鍵步驟，以下是較為詳細(xì)的步驟指南，可幫助工程師或項目管理者理解并制定可落地的工業(yè)視覺檢測算法方案。在開始設(shè)計算法方案之前，首要任務(wù)是進行詳盡的需求梳理。包括對需求項進行細(xì)致的拆解，以確認(rèn)項目中涉及的多個工位、所需處理的圖像數(shù)量、檢測項的數(shù)量以及相應(yīng)的標(biāo)準(zhǔn)。這一步驟至關(guān)重要，它為整個項目設(shè)定了基礎(chǔ)和方向。同時，檢測要求包括對過檢和漏檢指標(biāo)的具體要求，以及CT（CycleTime，周期時間）的要求。過檢和漏檢指標(biāo)是衡量檢測系統(tǒng)性能的關(guān)鍵參數(shù)，它們直接影響到產(chǎn)品質(zhì)量和生產(chǎn)效率。CT時間要求則關(guān)系到檢測系統(tǒng)在生產(chǎn)線上的實時響應(yīng)能力，對于保證生產(chǎn)流程的連續(xù)性和穩(wěn)定性至關(guān)重要。（1）算法方案設(shè)計流程對于單張圖像的算法方案設(shè)計，設(shè)計算法方案步驟如下。第一步，完成單一檢測項的算法方案設(shè)計。這一步涉及到選擇合適的算法工具和參數(shù)，以實現(xiàn)對特定缺陷的檢測。第二步，在單一檢測項算法方案的基礎(chǔ)上，進行局部算法流程的合并。這一步的目的在于優(yōu)化算法流程，提高檢測效率，減少冗余步驟。（2）單圖算法整合在單圖算法整合階段，常見的做法是讓不同的檢測項共用一個ROI提取工具，如下圖所示。這種方法可以提高算法的效率，減少對計算資源的需求，同時保持檢測的準(zhǔn)確性。07（3）產(chǎn)品算法方案整合在完成了各個工位的單圖方案設(shè)計后，下一步是整合這些方案，形成產(chǎn)品的完整算法方案。這一過程需要結(jié)合視覺系統(tǒng)檢測流程，繪制出算法流程與時序圖，以評估當(dāng)前方案是否能夠滿足速度要求，并對硬件配置（主要為顯卡）進行評估。在整合算法方案時，需要注意以下第一，設(shè)計整體算法流程時，如果對速度的要求較高，則應(yīng)盡可能并行處理。例如，在下方展示的時序圖中，采集圖像、傳統(tǒng)前處理、AI檢測和結(jié)果匯總等步驟都應(yīng)實現(xiàn)并行處理，以保證檢測流程的節(jié)奏緊湊，滿足生產(chǎn)線的高速要求。 2