T-CI 360-2024 IC封裝基板圖像檢測系統(tǒng)技術(shù)規(guī)范

TechnicalspecificationforimageinspectionsystemofICpackagesubstrateI 2 5 8 本文件按照GB/T1.1—2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定（ZL202320228298.6）一種表面貼裝元件本文件的發(fā)布機構(gòu)對于該專利的真實性、有效性和范圍無任專利持有人姓名：合肥綜合性國家科學(xué)中心人工1IC封裝基板圖像檢測系統(tǒng)技術(shù)規(guī)范匹配特征融合的SMT貼片元件缺陷檢測框架和基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT貼裝小樣本缺陷分割框架要求，提供了緩解遺忘性的圖像增量學(xué)習(xí)分類方法和本文件適用于工業(yè)IC封裝基板及SMT貼裝圖像檢測系統(tǒng)的研究、設(shè)計、技術(shù)路線，可作為IC封裝基板和SMT貼裝自動光學(xué)檢測系統(tǒng)設(shè)計與研究的技術(shù)依據(jù)。適用于3C、芯片等泛半導(dǎo)體行業(yè)、LED、OLED等新型顯示面板行業(yè)以及新能源產(chǎn)業(yè)電池模組端板、電芯等行業(yè)產(chǎn)品工業(yè)視覺質(zhì)將硅片上的電路管腳用導(dǎo)線接引到外部接頭處，以便與其它器件連接的裝置。注：封裝基板不僅能保護電路、固定線路并導(dǎo)散余熱表面貼裝技術(shù)surfacemountedtechn注：這種檢測系統(tǒng)可以改良傳統(tǒng)上使用人力和光學(xué)儀器進行檢測的缺注：LED可高效地將電能轉(zhuǎn)化為光能，因此在現(xiàn)代社會具有廣化等傳統(tǒng)幾何特征描述的不足，提取圖像的局部幾2卷積神經(jīng)網(wǎng)絡(luò)convolutionalneura體積和重量只有傳統(tǒng)插裝元件的1/10左右，因此利用SMT技術(shù)生產(chǎn)的電子產(chǎn)品整體體積縮小約40%~3垂直，兩個固定桿4的相對側(cè)一面分別都設(shè)有滑槽，第一滑動移桿5在兩個固定桿4上的且第一滑動移桿5的兩端在滑動結(jié)束后通過螺栓固定住，第一滑動移桿5水平布置，第二滑動移桿6在兩桿6也水平布置，第一滑動移桿5在第二滑動移桿6的上方，即第一滑動移桿5和第二滑動移桿6在松開螺相機8拍攝時的拍攝鏡頭垂直向下，光源機構(gòu)9包括半球環(huán)形裝置10、紅色環(huán)綠色環(huán)形LED發(fā)光二極管燈帶12和藍色環(huán)形LED發(fā)光二極管燈帶13，半球環(huán)形裝置10與第二滑動移桿6二極管燈帶12和藍色環(huán)形LED發(fā)光二極管燈帶13在半球環(huán)形裝置10從上而下依次緊貼，工業(yè)相機8和半4得不同高度的光源機構(gòu)3對電路板進行照射，可以得到更高的成像分辨率路板受到均勻光照，避免由于視角不同、照明差異所導(dǎo)致PCB成像不一致55基于主要距離的空域融合主板拼接方法采用多種濾波器復(fù)合處理的解決方案，即先對原始圖像進行雙邊濾波，再經(jīng)過一次中值濾波。a)雙邊濾波是在高斯濾波的基礎(chǔ)上加入了像素值權(quán)重項，能夠很好地對圖像進行平滑處理以濾··············································b)中值濾波是把數(shù)字圖像一點的值用該點的一個鄰域中各點值的中值代替，對處理椒鹽噪聲非AOI系統(tǒng)中的PCB圖像在拍攝過程中是通PCBA主板上的存在著各種元器件、孔位、錫膏和字符等，經(jīng)過平移特征，利用好圖像間重疊部分的這些特征，將對拼接算法有著非常重要的意義，SURF特征提取算法在a)在原始圖像的基礎(chǔ)上構(gòu)建尺度空間。SURF首先將原圖轉(zhuǎn)換為積分圖像，對于圖像中某一點6IΣ(p)=∑∑ωI(i,j)··············································(4)ω——權(quán)重系數(shù)，范圍為[0,1]，表示由原點和該點組成的矩形區(qū)域內(nèi)所有像素的總和。），|················································c)將盒式濾波器帶入Hessian矩陣，得········································式中Dxx、Dxy和Dyy分別代表盒式濾波器的三個濾波模板。然后det(H)=det(H)=DXXDyyDy 為了平衡近似代替的誤差，通常要在Dxy前乘上一個加權(quán)系數(shù)0.9。如果將det(H)作為判別項，則5.4特征點精確定位5.4.1通過盒式濾波器建立起圖像的尺度空間后，對像素點可以計算出其近似的海森矩陣行列式的正負性，從而判斷該點是否為極值點。然后再將其的極值點可能處在兩點中間，因此需要采用二次插值來確定亞像素級特征點的精5.4.2在特征點的半徑為n_6*S（S為特征點所在的尺度值）5.4.3在以特征點為中心，周圍n_2方向。再將該區(qū)域劃分為n_4*n_4個子塊，每個子塊大小為n_5*S*n_5*S直和水平方向的Harr小波響應(yīng)值之和，包括四個分量∑dx、∑dy、∑dx和∑dy，得到一個n_4*n_4*n_4維的特征點描述向量。最后對其歸一化處理以消除光照影響，得到特征點描述向量。特征點的集合M和N后，下一步需要對兩個集合內(nèi)的特征點的將是查詢集中與其歐氏距離最近和次近的特征點，距離分別為d0和d1。然后對距離比r進行評估：···························································如果r的值小于某個閾值，就保留該對匹配點，手動設(shè)定的值來確定。經(jīng)過上述論證，采用SURF提取的特征點在配對后，如果將兩幅圖像直接拼接在5.5.2將主要距離進一步細化，得到精確到像素單位的匹配點距離分布直方圖。通過在硬拼接的流程7對于列拼接，按照設(shè)定的列偏移，將左圖的重疊區(qū)域截斷，再將右圖與截斷后的左圖通過concatenate依次類推，完成整個列的拼接；對于行拼接，5.5.4為消除因光照不均造成的拼接縫兩邊明顯色差。將拼接縫兩邊一定范圍內(nèi)的像素分別用兩張圖={wI1?····················5.5.5采用SURF算法提取出待拼接圖像的特征點并配對，再計算出匹配對之間的歐6.1在元件貼裝環(huán)節(jié)，電子貼片元件通過錫膏焊接在P陷檢測主要分為人工目檢和AOI。即經(jīng)過A6.2首先將貼片元件的模板圖像與貼片元件的待測圖像組成貼片元件樣本，并根據(jù)貼片元件樣本中的待測圖像的深度特征p2，并得到模板圖像和待測圖像的語義差異映射特征D(p1,p2)。p2應(yīng)用一個相關(guān)操作模塊，得到模板圖像和待測圖像的語義差異映射D(p1,p2)：·········································{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7}；最后連接一個Soft明圖像Iz、IT對應(yīng)的貼片元件類型不同，因此期望它們的特征在特征空間中的距8貼片元件樣本{Iz,IT}的標簽為0時，表loss=0(Y,p1,p2)iY——第i個貼片元件樣本的標簽；設(shè)定當D(p1,p2)>M時，損失函數(shù)值為0，以簡化計算。根據(jù)損失函數(shù)loss，訓(xùn)練缺陷檢測模型，6.5將訓(xùn)練完成的缺陷檢測模型用于待測圖像的SMT缺值時，判斷待測圖像對應(yīng)的貼片元件為正常。基于匹配特征融合的SMT貼片元件缺陷檢測框架如圖5基于元遷移學(xué)習(xí)和多尺度融合網(wǎng)絡(luò)SMT小樣本缺陷分割框架9stuff用像素級的東西注釋增強了流行的COCO數(shù)據(jù)集θ,然后通過梯度下降對它們進行優(yōu)化，迭代輪數(shù)為epochs，如下所示：,Θ;θ-=,Θ;θ-α▽?D(,Θ;θ-)········································(12)那么Θ就是將輸入轉(zhuǎn)換為一個n_class維度的特征向量。分類器θ是用來做維度轉(zhuǎn)換的，比如我們最后小樣本分類是一個target_class分類，那么分類器θ作用就是將n·····································f,Θ;θ-(x)——預(yù)測值；之后預(yù)訓(xùn)練學(xué)習(xí)到的分類器θ將被丟棄，因為隨后的幾次任務(wù)包含不同的網(wǎng)絡(luò)。將Φs1初始化為weight同維度的全1向量，Φs2初始化為bias同維度的整個訓(xùn)練過程可以分為兩個階段，首先將數(shù)據(jù)集分為支持集和查詢集，T(支持集)的損失通過θ’←θβ▽θ?τ(tr)(,Θ;θ-,Φs1,2)········································(14)β——學(xué)習(xí)率；ΦSi=:ΦSiy▽ΦsiLT(te)([Θ;θI],y——學(xué)習(xí)率；LT(te)([Θ;θI],ΦS{1,2}si——梯度。高層的特征圖聚合了更多的特征，底層的特征圖有更多的語義信最后，每個Leveli逐步融合并生成最終預(yù)測。任意兩層之間的融SU=Conv(FA□FB·············································Lpre=Lce+Ldice+Lfocal·············································(17)LDicecoff——相似系數(shù)損失函數(shù)，見公式（17LFocal——Focal損失函數(shù)，見公式（18Llogic——邏輯損失函數(shù)，見公式（19）。LDicecoff=·················································X——預(yù)測樣本正例的面積；Y——真實樣本正例的面積；LFocal=α(1p)γlog(p)············································(19)——調(diào)制系數(shù)；Llogic=∑,yilog(g(x))+(1yi)log(1g(x))-·····························(20)yi——標簽的樣本值；將測試數(shù)據(jù)集中的小樣本PCB圖像輸入到元遷移學(xué)習(xí)框架，得到最終分割結(jié)果。結(jié)果采mI0U=······································miou做為評估指標。8.1緩解增量學(xué)習(xí)中遺忘性危機的深度學(xué)習(xí)圖像分類算法利用自適應(yīng)聚合網(wǎng)絡(luò)來保證模型不會增長的緩解遺忘性的圖像增量學(xué)習(xí)分類算法結(jié)構(gòu)如圖7所示，其中藍色的部分被稱作塑性模塊，用來存放塊分別是兩個卷積神經(jīng)網(wǎng)絡(luò)的部分層，這個卷積神經(jīng)網(wǎng)絡(luò)可以是ResNet也可以是ResNext等。將圖片分個層，以此類推，其中αη,1-與αφ,1-代表第一個此時，將部分基類的圖像數(shù)據(jù)送入穩(wěn)定模塊部分的神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，優(yōu)化目標φ=argminL(0utput,target)·········································(22)L(.)——交叉熵損失函數(shù)。8.3在增量學(xué)習(xí)階段，穩(wěn)定模塊部分的參數(shù)將被凍結(jié)，即不再變化。并先訓(xùn)練塑性模塊的網(wǎng)絡(luò)模型參η=argminLIC(0utput,target)·······································(23),αφ[i]=argminL(η,φ;output,target)··································(24)L(.)——交叉熵損失函數(shù)。η=argminL(φ;αη[i],αφ[i];output,target)··································(25)8.4在蒸餾學(xué)習(xí)階段，將模型的全部參數(shù)凍結(jié)，并按照穩(wěn)定模塊的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)復(fù)制一個相同應(yīng)聚合網(wǎng)絡(luò)以及復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)，分別得到輸出outputT與outputs，將outputT作為復(fù)制的穩(wěn)定模φ=argminLd(η,φ;αη[i],αφ[i];outputT,outputs)+λ*argminL(η,φ;αη[i],αφ[i];Ld(.)——蒸餾損失函數(shù)；φ——復(fù)制的穩(wěn)定模塊網(wǎng)絡(luò)。9基于能量分布的未知異常樣本檢測方法擴展策略增強了混合已知和未知缺陷樣本的全局特征表示，然后增強的表示將被映射到更具區(qū)分度的同已知PCB缺陷類別檢測不同，期目標在未知缺陷樣本的干擾下分配標簽，提出了一種基于logit空間的基于能量的傳輸（ET）機制，以更充分地探索未標記集中的語9.3具體來說，以與分類器Hcls并行的方式引入K維度的OT聚類器記為Hot，用于將訓(xùn)練樣本聚類為K個簇中心。對于給定的N個樣本x∈*x1,x2,...,xn}，以及通過骨干網(wǎng)絡(luò)提取的特征編碼∈P(cxi)=softmax(Hot(Zi))···········································(27)c——一個K維度的向量，用來表示KPji=P(cjxi) Qji=Q(cjxi) I——相應(yīng)維度的全1向量；ijxi)················································(31)其中l(wèi)(cjxi)=Hot(zi)，表示樣本xi屬于簇cj的邏輯分數(shù)。9.5基于能量的傳輸機制（ET）將鼓勵具有較高能量分數(shù)的樣本被分配到同一個簇中，而那些具有較 1ε=Diag(u)penDiag(v)············································(36)在這里，指數(shù)運算是逐元素進行的，而通過Sinkhorn算法，u和v可以更快地求解。分配矩陣Q將N9.6漸進式訓(xùn)練樣本構(gòu)建，在第t個訓(xùn)練階段屬于第k個簇的樣本形成集合Dk，記為: 第t個訓(xùn)練階段，定義已知PCBA缺陷類標 請注意，在t=0時，y并且在訓(xùn)練過程中會進行更新，而yl保持不變。然后計算類別y∈y(t)的樣本比例如下：rate···········································xi =Σxi∈DΣyi∈yyi.l0