基于改進的神經(jīng)網(wǎng)絡(luò)的浮法玻璃表面缺陷識別

基于改進的神經(jīng)網(wǎng)絡(luò)的浮法玻璃表面缺陷識別

1玻璃缺陷特征識別的應(yīng)用現(xiàn)狀玻璃缺陷是影響浮法玻璃質(zhì)量的主要因素。最常見的缺陷是氣泡、混合、錫灰和光變形。為了提高玻璃的生產(chǎn)效率，正確、快速地細(xì)分玻璃的不同類別，不同國家已經(jīng)引入了相應(yīng)的玻璃缺陷在線監(jiān)控系統(tǒng)。例如，英國的皮lk頓、美國的圖像事務(wù)和德國的lagor公司就成功而言。玻璃缺陷識別算法的優(yōu)越性直接影響到系統(tǒng)的性能。由于國內(nèi)對缺陷算法的研究滯后，浮法攝影檢測系統(tǒng)的應(yīng)用精度不高，算法不穩(wěn)定。目前,在圖像處理技術(shù)進行對象識別方面,已有很多典型的范例,比如運用小波變換的指紋檢測,利用不變矩的目標(biāo)識別,利用哈夫(Hough)變換的道路檢測以及支持向量機(SVM)的人臉識別技術(shù)等.這些技術(shù)無一例外的都是根據(jù)目標(biāo)固有的形狀特性或細(xì)節(jié)特征進行識別,但是玻璃缺陷與此不同,缺陷沒有固定的形狀特征,沒有目標(biāo)大小的區(qū)分,沒有明顯的灰度差別,也沒有大量的細(xì)節(jié)特征.因此,在缺陷識別的時候,一些和幾何形狀有關(guān)的以及細(xì)節(jié)區(qū)分的判別方法就顯的力不從心,為了能更好的凸顯玻璃缺陷的特征,只能采取相對比較穩(wěn)定的統(tǒng)計方式.在處理不定形狀的缺陷方面,國內(nèi)外也有一些成果,比如對鋼板表面的缺陷檢測,水果表面的缺陷檢測等,這些缺陷種類比較單一,缺陷往往是一個單一的連通,一些相對簡單的幾何特征(比如圓形度,長寬比等)就能比較好的表征缺陷的特性.而玻璃缺陷卻是單連通(比如氣泡、夾雜)和多連通(比如光畸變、錫灰)并存的,一些簡單的單連通統(tǒng)計特征并不能很好的區(qū)分開來.國內(nèi)對玻璃缺陷特征的提取主要是根據(jù)簡單的幾何特征,一些學(xué)者也把不變矩、小波變換等引入玻璃缺陷的識別中來,取得了一些成果.但是,這些方法脫離了玻璃缺陷本身的特點,把所有的缺陷用同種特性來描述,忽略了玻璃缺陷形態(tài)復(fù)雜多變的特性.本文根據(jù)缺陷灰度范圍較低的情況,提出了兩次OTSU分割方法,實現(xiàn)了缺陷核心的有效分割.在研究了玻璃缺陷特點以后,提取了12個特征,然后運用改進的神經(jīng)網(wǎng)絡(luò),對5類缺陷進行了識別分類.2圖像分割和二維o雙檢出玻璃的缺陷檢測系統(tǒng)通常采用的是陣列式LED光源和線陣黑白相機,通過掃描運動的玻璃板帶獲得圖像.從攝像頭中采集的圖像,往往帶有條狀紋理,在缺陷的周圍紋理發(fā)生彎曲,這樣在凸顯了缺陷的同時也增加了干擾.圖像分割的目的就是從原始圖像中去除干擾,把玻璃缺陷的核心提取出來.為了提高速度,本文采用快速而又相對簡單的圖像差影法.圖像差影是一種圖像點對點的代數(shù)運算,簡單說就是缺陷圖像和標(biāo)準(zhǔn)圖像的對應(yīng)像素進行相減的運算,也稱為減影運算,其反應(yīng)的是兩幅圖像的像素差異.圖1是一幅氣泡圖像進行差影后得到的結(jié)果.缺陷差影圖像仍為灰度圖像,背景的條狀干擾已經(jīng)被基本剔除,但是依舊存在邊緣的絮狀干擾.這是因為在缺陷周圍,往往存在著因缺陷而引起的畸變,透光采樣后形成不同的灰度,從而填充了灰度直方圖上目標(biāo)和背景之間的部分,使波谷不再明顯.因此,為了把核心或缺陷盡可能完整的提取出來,還需要進一步二值化分割.目前已經(jīng)提出的圖像分割方法很多,針對玻璃缺陷邊緣并不豐富,邊緣細(xì)節(jié)并不能反應(yīng)足夠的特征信息,因此本文采用相似性分割的方式.在相似性分割中,閾值分割是一種最常用,同時也是最簡單的圖像分割方法,它不僅可以極大的壓縮數(shù)據(jù)量,而且也大大簡化了分析和處理步驟.目前常用的閾值分割方法包括:p-分位數(shù)法、迭代方法選取閾值、直方圖凹面分析法、最大類間方差法(OTSU)、最大熵法、最小誤差法等.為了達(dá)到速度和精度的平衡,在線識別識別算法要求分割方法盡可能簡單有效,經(jīng)過多次的對比驗證,最大類間方差具有相對理想的效果.但是,由于有些噪聲灰度不可避免的和目標(biāo)相近,當(dāng)目標(biāo)灰度范圍較小時,單次一維的OTSU存在誤分的情況.為了盡可能的兼顧單點周圍的像素,有人提出了二維OT-SU的方法.所謂的二維的OTSU,就是除了要考慮像素本身的灰度外,還要考慮到像素周圍的空間相關(guān)信息.最佳的閾值是在一個二維的類間方差測度準(zhǔn)則取最大值時得到的一個二維矢量,并以此二維矢量作為分割門限進行圖像分割,從而提高了OTSU法的抗噪聲能力.從圖2可以看出,對于存在的絮狀噪聲,由于是點運算方式,單次一維OTSU很難去除,并且保留了很多偽缺陷.圖2c)是考慮了像素7×7鄰域后的二維OTSU的結(jié)果,從圖上可以看出,二維OTSU能夠很好的去除噪聲干擾,平滑了缺陷邊界,填充了空穴區(qū).但是,相對于一維OTSU,在核心提取上,二維OTSU并沒有多大改進,并沒有去除差影圖像中的虛擬邊界,更重要的是二維OTSU的計算量比較大,即使用最新的快速算法,一幅512×512的圖像,也需要30多毫秒(P4雙核1.60GHzCPU,1.0G內(nèi)存下同)的時間,而在線檢測要求的計算時間是在10毫秒以內(nèi),所以很難達(dá)到要求.為了快速準(zhǔn)確的提取核心,而又盡可能保持缺陷核心的形狀,在研究了差影圖像的直方圖后,提出了兩次OTSU方法.即在第一次OTSU后,對目標(biāo)區(qū)域再進行一次一維OTSU分割,找到最佳閾值.對于有些缺陷一次一維OTSU就能達(dá)到要求,再進行一次可能產(chǎn)生過分割.為了使分割更具適應(yīng)性,需要建立起一個評價標(biāo)準(zhǔn).本文采用3σ標(biāo)準(zhǔn),即:其中,μo、σo為分割后目標(biāo)均值和標(biāo)準(zhǔn)差,μB、σB為分割后的背景均值和標(biāo)準(zhǔn)差.當(dāng)一次一維OTSU后,如果滿足(1)式,則停止分割,否則再進行一次OTSU計算.從圖2(d)中可以看出,這種方法得到的結(jié)果比較滿意.經(jīng)過實驗,一幅512×512的圖像,經(jīng)過完整處理后的時間大約是8毫秒,因此符合設(shè)計要求.3玻璃缺陷的特征如何在目標(biāo)圖像中提取出具有良好描述和分類性質(zhì)的特征,是缺陷識別的關(guān)鍵.近年來,一些學(xué)者把不變矩、小波變換等引入玻璃缺陷的識別中來,取得了一些成果.但是,這些方法脫離了玻璃缺陷本身的特點,把所有的缺陷用同種特性來描述,顯然忽略了玻璃缺陷形態(tài)復(fù)雜多變的特性.圖3是五種典型的缺陷圖,從上到下,從左到右依次為氣泡、夾雜、錫灰、光畸變和炸板.從大量的缺陷樣本來看,玻璃缺陷主要有以下幾個特點:(1)氣泡主要呈圓形或橢圓形,主軸傾斜角為90度(從水平方向看),缺陷主體占的比重比較大,往往占有效點85%以上,亮度比較高,內(nèi)部均勻,邊緣平滑清晰.因此,無論是用哪種方法,氣泡的準(zhǔn)確率都是比較高的.(2)夾雜形狀不定,邊緣不清晰,二值化后的毛刺較多,主軸方向不定,由缺陷核心引起一定畸變,但核心仍占大部分.(3)錫灰的形狀不定,有些呈絮狀,內(nèi)部灰度不均勻,整體亮度較低,二值化后連通較多,并且各連通大小相差不大.對于有些單個連通占重比較大的錫灰,邊緣引起的畸變較少,這也是區(qū)別錫灰與夾雜的重要性質(zhì).(4)光畸變面積比較大,并且在走向上呈豎直光柵狀,各條狀連通在水平方向上分布比較均勻.(5)炸板在呈直線或折線,邊緣清晰,容易分辨.根據(jù)以上特點,本文提出了12個統(tǒng)計特征:(1)傾斜度,用來描述缺陷像素整體走向的物理量:其中,μ02、μ20和μ11是缺陷圖像的二階矩(下同).(2)離心率,缺陷短軸和長軸的比值,反應(yīng)的是缺陷的扁平程度:(3)長寬比,描述缺陷等價橢圓外接矩形的長寬比:(4)伸展度,表現(xiàn)整個缺陷像素由質(zhì)心向四周展開的程度:(5)填充度,缺陷有效像素點數(shù)與缺陷外接矩形的像素個數(shù)比:NVP為有效像素數(shù)數(shù),也就是二值化后白色像素的個數(shù).(7)水平伸展均衡度,水平方向上像素分布的均勻程度:μ+21和μ-21是三階矩中基數(shù)為正和負(fù)的部分(下同).(8)垂直伸展均衡度,垂直方向上像素分布的均勻程度:(9)聚散度,有效點到質(zhì)心距離和與外接矩形面積之比:(10)連通主導(dǎo)率,連通的平均像素數(shù)與最大連通像素數(shù)之比:(11)灰度標(biāo)準(zhǔn)差,其主要反應(yīng)了缺陷灰度集中的程度:(12)大灰度百分比,差影圖像中大于平均灰度的像素個數(shù)的百分比:12個特征中,前10個為二值化后提取的特征,后2個為二值化前的差影圖像中提取的特征.從前述的玻璃各缺陷的特點來看,每個特征都能反應(yīng)部分特性,但是并不足以把他們分辨開來.比如缺陷傾斜度和離心率,決定了缺陷的形態(tài)是否是橢圓,以及橢圓的長軸方位,這是氣泡很重要的兩個性質(zhì),但是對于其他四個缺陷卻很難起到作用.氣泡和炸板是最容易判別的,12個特征都很明顯.其次是光畸變,因為一般光畸變的面積比較大,特征也容易求出來.但是,由于光畸變各個特征的值往往和其他缺陷的特征值相重合,因此,也存在誤判的情況.最難判別的是夾雜和錫灰,因為這兩類缺陷的特征有很多相似的地方,只是夾雜往往主連通較大,有些錫灰的連通較多,連通主導(dǎo)率較小,對于連通主導(dǎo)率比較大的錫灰,只能通過邊緣清晰度,也就是灰度標(biāo)準(zhǔn)差來判斷.由于參與區(qū)分的特征比較少,這兩類誤判的幾率也比較大.4神經(jīng)元個數(shù)的確定由于玻璃缺陷的復(fù)雜性,在選擇分類器的時候需要考慮到模糊性和魯棒性.神經(jīng)網(wǎng)絡(luò)是目前比較成熟的識別分類器,它允許樣本有較大的缺損和畸變,通過訓(xùn)練樣本的學(xué)習(xí)建立起記憶,然后將未知模式判斷為其最接近的記憶類型.構(gòu)造神經(jīng)網(wǎng)絡(luò)分類器首先要選擇適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu),BP網(wǎng)絡(luò)的典型結(jié)構(gòu)是三層網(wǎng)絡(luò),輸入層就是圖像的特征向量(本文為12個特征),輸出層節(jié)點數(shù)是類別數(shù)(本文為5類).隱含層神經(jīng)元個數(shù)的確定是個關(guān)鍵.隱含層個數(shù)過少,精度不夠,產(chǎn)生欠擬合現(xiàn)象,學(xué)習(xí)過程不能收斂;隱含層節(jié)點數(shù)目過多,增加了網(wǎng)絡(luò)的冗余性,可能出現(xiàn)過學(xué)習(xí)現(xiàn)象,降低泛化能力.目前對BP網(wǎng)絡(luò)隱含層節(jié)點數(shù)目的缺點還沒有統(tǒng)一的準(zhǔn)則,常用的經(jīng)驗公式有:其中,ni為輸入層節(jié)點個數(shù),no為輸出層節(jié)點個數(shù),α為1~10的一個數(shù).本文根據(jù)這些公式產(chǎn)生一個范圍[4-25],4由第(3)個公式求得,25由第(5)個公式求得,然后通過枚舉法評價這個范圍內(nèi)網(wǎng)絡(luò)的性能,最后取18.從CCD相機檢測到的玻璃缺陷樣本圖像,是未經(jīng)過分類的.由于各類缺陷有時候很類似,在人為確定樣本類別上不可避免的存在著誤分.針對神經(jīng)網(wǎng)路對樣本順序的敏感性以及存在的過訓(xùn)練或過學(xué)習(xí)的問題,本文采取了以下措施:1)采用K-Means方法,首先對樣本圖像進行篩選,剔除誤差圖像,以消除誤分圖像對訓(xùn)練造成的影響.2)權(quán)值初始值的選擇,采用JimYF提出的方法,避免網(wǎng)絡(luò)過早陷入局部最小點,加快收斂速度.3)訓(xùn)練采用CV(CrossValidation)法,每輪訓(xùn)練,隨機取2/3的訓(xùn)練樣本帶入網(wǎng)絡(luò),剩余1/3的訓(xùn)練樣本進行驗證.4)步長調(diào)整采用自適應(yīng)學(xué)習(xí)速率方法:其中,α、β為動態(tài)系數(shù),本文取α=1.05,β=0.94,ΔE為單輪誤差改變量.5個實訓(xùn)圖像實驗中,采用三層的BP網(wǎng)絡(luò),輸入層節(jié)點數(shù)12,隱層節(jié)點數(shù)18,輸出節(jié)點數(shù)5.原始樣本集為85個,K-Means剔除后的樣本為78個,其中含有20個氣泡、26個夾雜、10個錫灰、6個炸板和16個光畸變.圖4是部分樣本的差影圖像.表1是圖4中的缺陷對應(yīng)的標(biāo)準(zhǔn)化后的特征值.BP網(wǎng)絡(luò)訓(xùn)練總誤差取0.05,單樣本誤差為0.0001,最大訓(xùn)練次數(shù)為5000次.經(jīng)過2756次訓(xùn)練收斂.測試集含有10個氣泡、25個夾雜、7個錫灰、4個炸板和9個光畸變共55個樣本.從表2中可以看出,氣泡、夾