機(jī)器視覺(jué)系統(tǒng)集成技術(shù)

1、機(jī)器視覺(jué)系統(tǒng)集成技術(shù)文章 :東莞市奧普特自動(dòng)化科技有限公司機(jī)器視覺(jué) (Machine Vision) 作為光電技術(shù)應(yīng)用的一個(gè)特定領(lǐng)域， 目前已經(jīng)發(fā)展成為一個(gè) 前景光明、活力無(wú)限的行業(yè)，年平均增長(zhǎng)速度超過(guò)2O 。機(jī)器視覺(jué)廣泛應(yīng)用于微電子、電子產(chǎn)品、 汽車、 醫(yī)療、 印刷、包裝、科研、軍事等眾多行業(yè)。涉及技術(shù)一致，應(yīng)用差異明顯， 是各種機(jī)器視覺(jué)應(yīng)用系統(tǒng)的共同特點(diǎn)。機(jī)器視覺(jué)系統(tǒng)集成時(shí)， 涉及到多門(mén)技術(shù)， 最基本的系統(tǒng)也需要照明、 成像、圖像數(shù)字化、 圖像處理算法、 計(jì)算機(jī)軟件硬件等， 稍微復(fù)雜一點(diǎn)的系統(tǒng)還會(huì)用到機(jī)械設(shè)計(jì)、傳感器、 電子 線路、PLG運(yùn)動(dòng)控制、數(shù)據(jù)庫(kù)、 SPC等等。要把這么多不同方面的

2、技術(shù)和知識(shí)組合到系統(tǒng) 里，使其相互完美配合并穩(wěn)定地工作， 對(duì)系統(tǒng)集成人員提出了很高的要求。 作者根據(jù)多年的 經(jīng)驗(yàn)，講解了機(jī)器視覺(jué)系統(tǒng)集成時(shí)所涉及的各種技術(shù)、 需要綜合考慮的因素以及評(píng)估機(jī)器視 覺(jué)系統(tǒng)項(xiàng)目成功的可能性的方法。中國(guó)經(jīng)濟(jì)經(jīng)過(guò)數(shù)十年的高速發(fā)展，在很多領(lǐng)域完成了從無(wú)到有、從不能到可以的躍變， 現(xiàn)在已經(jīng)到了提高生產(chǎn)效率和產(chǎn)品質(zhì)量、 殘酷競(jìng)爭(zhēng)的階段， 很多原來(lái)使用的人工工序正逐漸 被機(jī)器所取代， 從而對(duì)機(jī)器視覺(jué)系統(tǒng)產(chǎn)生了越來(lái)越多的需求。 而機(jī)器視覺(jué)技術(shù)本來(lái)就是為了 解決生產(chǎn)中的各種問(wèn)題發(fā)展起來(lái)的。 在人類的生產(chǎn)活動(dòng)中， 人的眼睛擔(dān)負(fù)著很多重要的任務(wù)， 例如放置和固定工件、觀察和估計(jì)位置、 檢

3、測(cè)外觀尺寸、 確定產(chǎn)品的一致性、檢驗(yàn)產(chǎn)品質(zhì)量 等。這些工作正在越來(lái)越多地被機(jī)器視覺(jué)系統(tǒng)取代， 一方面是隨著對(duì)生產(chǎn)速度和產(chǎn)品質(zhì)量的 要求越來(lái)越高， 對(duì)檢測(cè)速度和精度的要求超過(guò)了肉眼的能力； 另一方面是因?yàn)槌上窦夹g(shù)、 計(jì) 算機(jī)技術(shù)或圖像處理技術(shù)的發(fā)展， 機(jī)器視覺(jué)系統(tǒng)能夠完成的任務(wù)越來(lái)越復(fù)雜， 成本也越來(lái)越 低。然而， 機(jī)器視覺(jué)技術(shù)作為一門(mén)新興技術(shù)， 引人中國(guó)時(shí)間并不長(zhǎng)，真正有經(jīng)驗(yàn)的系統(tǒng)集成 人員也不多，而機(jī)器視覺(jué)系統(tǒng)涉及到照明、成像、電子、自動(dòng)控制、計(jì)算機(jī)軟件硬件、機(jī)械 設(shè)計(jì)、 傳感器、 光學(xué)等各方面， 把這些不同的技術(shù)集成到 1個(gè)系統(tǒng)內(nèi)， 并使其相互完美配合 工作， 本身就是艱巨的任務(wù)。 本文試

4、圖根據(jù)作者多年的經(jīng)驗(yàn)， 就機(jī)器視覺(jué)系統(tǒng)集成技術(shù)給出 一些建議，期望能夠幫助使用機(jī)器視覺(jué)系統(tǒng)的用戶評(píng)估其系統(tǒng)并在做出合理決策時(shí)提供參 考，給研制系統(tǒng)的技術(shù)人員和公司提供一些成功的經(jīng)驗(yàn)。本文將介紹需求分析、資源配置、 系統(tǒng)集成等幾個(gè)方面的內(nèi)容。1、需求分析準(zhǔn)確地描述機(jī)器視覺(jué)系統(tǒng)需要完成的功能和工作環(huán)境，對(duì)于整個(gè)機(jī)器視覺(jué)系統(tǒng)的成功集成是至關(guān)重要的。對(duì)于需求的描述，實(shí)際定義了視覺(jué)系統(tǒng)工作的場(chǎng)景，而圍繞這個(gè)場(chǎng)景設(shè)計(jì)1個(gè)系統(tǒng)來(lái)獲取合適的圖像，并提取有用的信息或控制生產(chǎn)過(guò)程就是我們工作的目標(biāo)。這個(gè) 步驟看起來(lái)如此簡(jiǎn)單，以至于經(jīng)常被忽略。有時(shí)候用戶在生產(chǎn)過(guò)程中產(chǎn)生了某種需求，但是由于知識(shí)面和技術(shù)方面的原因，用

5、戶不知道自己需要什么樣的視覺(jué)系統(tǒng)，或者不能準(zhǔn)確描述自己的需求，而這時(shí)系統(tǒng)集成商自己經(jīng)驗(yàn)不足或沒(méi)有給以足夠的重視，就不能幫助用戶來(lái)明確系統(tǒng)的功能細(xì)節(jié)，這個(gè)系統(tǒng)集成開(kāi)發(fā)過(guò)程注定要走彎路，甚至最終失敗。所以，系統(tǒng)集成的第1步就是明確用戶需求！一般情況下可以使用下面的表格來(lái)幫助我 們實(shí)現(xiàn)此目標(biāo)。問(wèn)題說(shuō)明檢測(cè)什么東西？檢測(cè)的目標(biāo)物是什么？形狀是什么樣的？檢測(cè)哪些指標(biāo)？具體檢測(cè)什么指標(biāo)？有無(wú)？狀態(tài)？尺寸？位置？粘連?差異?毛刺？顏色目標(biāo)多大？物體具體尺寸是多少？工作距離？安裝攝像機(jī)到被測(cè)物體的距離最大允許多遠(yuǎn)？能否自由調(diào)節(jié)？分辨率多咼？測(cè)量尺寸精度要求是多咼？檢測(cè)速度多快？全自動(dòng)測(cè)量還是手動(dòng)？每分鐘測(cè)量多

6、少個(gè)？安裝空間被測(cè)零件周圍是否有安裝光源的位置？是否有適合安裝攝像頭的位置？怎樣固定比較合適?顏色？被測(cè)物體是什么顏色？我們是否需要對(duì)顏色判別 ？是否可以利用顏色差異幫助我們實(shí)現(xiàn)檢測(cè)目的？材質(zhì)物體是什么材料的，表面光學(xué)性質(zhì)怎樣？合格判據(jù)？合格/不合格的定義工位信號(hào)？有工位觸發(fā)信號(hào)還是需要自動(dòng)連續(xù)拍攝圖像？剔除或控制方式是否需要自動(dòng)剔除次品或控制機(jī)器動(dòng)作？怎樣對(duì)不合格品進(jìn)行剔除？使用什么信號(hào)格式，在什么位置進(jìn)行？工作環(huán)境工作環(huán)境的溫度、濕度、粉塵、防水、雜散光線情況交貨日期這是不言而喻的2 資源配置機(jī)器視覺(jué)系統(tǒng)集成時(shí)， 涉及到多門(mén)技術(shù)， 最基本的系統(tǒng)也需要照明、 成像、圖像數(shù)字化、 圖像處理算法

7、、 計(jì)算機(jī)軟件硬件等， 稍微復(fù)雜一點(diǎn)的系統(tǒng)還會(huì)用到機(jī)械設(shè)計(jì)、傳感器、 電子 線路、PLG運(yùn)動(dòng)控制、數(shù)據(jù)庫(kù)、 SPC等等。顯而易見(jiàn)，要把這么多不同方面的技術(shù)和知識(shí) 組合到 1 個(gè)系統(tǒng)里，使其相互完美配合并穩(wěn)定地工作，對(duì)系統(tǒng)集成人員提出了很高的要求， 需要根據(jù)具體的需求來(lái)確定所需要配置的資源和對(duì)策。2.1 機(jī)械設(shè)計(jì)由于需求不同， 對(duì)機(jī)械部分的要求差別很大， 如果是全自動(dòng)的機(jī)器視覺(jué)系統(tǒng)， 機(jī)械部分 一般需要完成的功能有理料、輸送、定位、剔除、下料等功能，而有的機(jī)器視覺(jué)系統(tǒng)則只需 要適當(dāng)?shù)墓潭ㄖЪ軄?lái)固定相機(jī)、 鏡頭和計(jì)算機(jī)即可，差別很大。例如，制藥生產(chǎn)線上使用的 西林瓶燈檢機(jī)，需要完成理瓶、輸送、旋轉(zhuǎn)

8、、剎車急停、相機(jī)同步、快速歸位、下料、分流 剔除等多個(gè)動(dòng)作，而且需要提供多達(dá) 15 個(gè)檢測(cè)工位，以完成液體內(nèi)部懸浮物、玻璃碎屑、 瓶身破損、細(xì)菌群落、瓶口封裝、瓶底等多項(xiàng)指標(biāo)的檢測(cè)，各種機(jī)械零件多達(dá)上千個(gè)，系統(tǒng) 非常之復(fù)雜； 而停車場(chǎng)使用的車牌識(shí)別系統(tǒng)的機(jī)械部分則非常簡(jiǎn)單，只需要相機(jī)固定和保護(hù)等安裝配件即可。 一般系統(tǒng)集成商不愿意介入特別復(fù)雜的機(jī)械設(shè)計(jì)，一方面是因?yàn)樵谟脩舻挠^念中，機(jī)械設(shè)計(jì)沒(méi)有太多的技術(shù)含量；另一方面是機(jī)械加工周期較長(zhǎng)，1 個(gè)小小的設(shè)計(jì)錯(cuò)誤也會(huì)導(dǎo)致返工，時(shí)間拖得較長(zhǎng)。所以， 雖然在很多情形下， 機(jī)械設(shè)計(jì)在機(jī)器視覺(jué)系統(tǒng)中占 了很大的比重， 而且是關(guān)鍵部分， 但投入相對(duì)較少， 導(dǎo)致

9、整個(gè)系統(tǒng)開(kāi)發(fā)過(guò)程不順利。 有時(shí)候， 和制造機(jī)械設(shè)備的公司合作是最好的選擇。 需要指出的是， 對(duì)于需要復(fù)雜機(jī)械系統(tǒng)的全自動(dòng) 系統(tǒng)， 由于大多數(shù)系統(tǒng)只能針對(duì)特定的產(chǎn)品工作， 所以， 除非生產(chǎn)量達(dá)到一定數(shù)量，或者該 產(chǎn)品會(huì)生產(chǎn)很長(zhǎng)時(shí)間，一般情況下，半自動(dòng)系統(tǒng)就足夠了。自動(dòng)系統(tǒng)開(kāi)發(fā)周期長(zhǎng)，成本高， 生產(chǎn)過(guò)程中換型困難， 而半自動(dòng)系統(tǒng)只需要更換 1 個(gè)夾具， 重新設(shè)置檢測(cè)指標(biāo)和合格判據(jù)就 可以了。2.2 照明光源這個(gè)看似簡(jiǎn)單的照明系統(tǒng)是機(jī)器視覺(jué)系統(tǒng)最為關(guān)鍵的部分，直接關(guān)系到系統(tǒng)的成敗， 其重要性無(wú)論如何強(qiáng)調(diào)都是不過(guò)分的。 好的設(shè)計(jì)能夠使我們得到 1 幅好的圖像， 從而改善整個(gè) 系統(tǒng)的分辨率， 簡(jiǎn)化軟件的

10、運(yùn)算，而不合適的照明，則會(huì)引起很多問(wèn)題。例如花點(diǎn)和過(guò)度曝光會(huì)隱藏很多重要的信息； 陰影則會(huì)引起邊緣的誤檢； 而信噪比的降低以及不均勻的照明會(huì) 導(dǎo)致圖像處理閾值選擇的困難。 在實(shí)際應(yīng)用中， 得到場(chǎng)景的圖像很容易， 但是得到 1 幅適合 機(jī)器視覺(jué)算法要求的圖像則很難，因?yàn)楸粶y(cè)目標(biāo)多種多樣，形狀大小不同，檢測(cè)指標(biāo)各異， 而且各種材料的反光特性及顏色也不一樣， 要把所需要檢測(cè)的特征突顯出來(lái)， 而對(duì)不需要的 特征加以抑制， 并不是簡(jiǎn)單的任務(wù)。 這主要通過(guò)設(shè)計(jì)或選擇合適的照明光源來(lái)解決。 針對(duì)特 定的物體和場(chǎng)景，設(shè)計(jì)選取成本低廉、 安裝簡(jiǎn)單、照明效果好的照明系統(tǒng)，就是我們搭建 機(jī)器視覺(jué)系統(tǒng)首先需要完成的任

11、務(wù)。那么什么樣的圖像才是好的圖像呢?一般說(shuō)來(lái)， 1 幅好的圖像需要滿足以下條件：1、充分利用視場(chǎng)使被檢測(cè)物體特征充滿視場(chǎng)，從而可以最大限度地利用系統(tǒng)的分辨率；2、對(duì)比度合適灰度級(jí)的最大值接近255，而最小值接近 0；3、焦距準(zhǔn)確 圖像沒(méi)有因?yàn)榫吧罨蜻\(yùn)動(dòng)而不清晰；4、照明均勻，避免反光；5、圖像畸變小；6、感興趣的特征容易被檢測(cè)識(shí)別，其他特征不顯示或得到抑制。如果選擇的光源，能 使圖像達(dá)到這些基本的要求，就完成了機(jī)器視覺(jué)系統(tǒng)集成的第 1 步。2.3 成像系統(tǒng)前面的講座中， 已經(jīng)介紹了圖像采集技術(shù)，這里不再贅述，只是從系統(tǒng)集成的角度，簡(jiǎn) 單列舉選擇這些硬件的原則。由于相機(jī)鏡頭和板卡經(jīng)過(guò)多年的發(fā)展，

12、 目前已經(jīng)相當(dāng)成熟， 而且在國(guó)內(nèi)市場(chǎng)上， 選擇的 余地也不大，一般是本著經(jīng)濟(jì)的原則，夠用就好。選擇相機(jī)時(shí)，我的建議是，如果可能，就用USB接口或1394接口的相機(jī)，這樣可以省掉 1 個(gè)板卡的費(fèi)用，以后硬件或軟件升級(jí)時(shí)工作量會(huì)小一些。對(duì)于高端的應(yīng)用，除了CameraLink，似乎別無(wú)選擇。最新開(kāi)發(fā)的GigE接口相機(jī)，由于TCp/ IP協(xié)議Packet傳輸?shù)?特性，在某些場(chǎng)合是不能保證數(shù)據(jù)的實(shí)時(shí)性的，但其最大的優(yōu)點(diǎn)是，數(shù)據(jù)線距離可以很長(zhǎng)， 主機(jī)可以安裝在辦公室內(nèi)， 這樣現(xiàn)場(chǎng)就只需要適當(dāng)?shù)匕惭b和保護(hù)相機(jī)和鏡頭。 鏡頭的可選擇 性更少，除了 Computar， Nikon ， Tamron， Navi

13、tar 及 Moritex 幾個(gè)制造商外，市場(chǎng)上也沒(méi) 有多少選擇空間，當(dāng)然大多數(shù)情況下，也就夠用了。如果需要更好的成像效果，可以采用單反相機(jī)鏡頭，這樣做一般需要轉(zhuǎn)接口。Fuji non在廈門(mén)有生產(chǎn)，可是國(guó)內(nèi)市場(chǎng)上未見(jiàn)銷售。德國(guó)CarIZeiss鏡頭很好，可惜價(jià)格太貴，不太適合中國(guó)市場(chǎng)。2.4計(jì)算機(jī)系統(tǒng)機(jī)器視覺(jué)系統(tǒng)的最佳配置，是使用工控機(jī)還是使用嵌入式系統(tǒng)？在這個(gè)問(wèn)題上，見(jiàn)仁見(jiàn)智，各有優(yōu)缺點(diǎn)，主要還是看使用的場(chǎng)合和系統(tǒng)的需求。2種系統(tǒng)的主要特點(diǎn)見(jiàn)下表：項(xiàng)目工控機(jī)嵌入式圖像處理能力高低擴(kuò)展性好差體積大小現(xiàn)場(chǎng)安裝難，需要機(jī)柜容易價(jià)格低高壟斷程度低高度壟斷穩(wěn)定性較好非常好設(shè)置操作容易，鍵盤(pán)、鼠標(biāo)或者觸

14、摸屏較難，一般用 JOYstick運(yùn)行操作自動(dòng)自動(dòng)維修簡(jiǎn)單原供貨商才能維修通過(guò)這些對(duì)比可以看出，如果安裝空間允許，選擇基于工控機(jī)的視覺(jué)系統(tǒng)還是有更多的 優(yōu)點(diǎn)的。但是，如果現(xiàn)場(chǎng)必須使用體積很小的嵌入式系統(tǒng)，那么我們別無(wú)選擇。各公司的成 熟產(chǎn)品一般都采用了嵌入式主機(jī)，例HKeyenee, Omron, Siemens，Cognex等。這更多的是由于商業(yè)銷售的考慮，因?yàn)檫@樣做可以保證自己產(chǎn)品的獨(dú)特性，給差異化銷售找到借口；另一方面可以使用戶自己不能更換零件，從而保證售后服務(wù)的利潤(rùn)。2.5圖像處理圖像處理作為機(jī)器視覺(jué)系統(tǒng)必不可少的部分，顯得如此重要，以至于很多情況下， 初學(xué)乍到的人會(huì)以為圖像處理就是機(jī)

15、器視覺(jué)。其實(shí)，我們所說(shuō)的圖像處理實(shí)際包含了圖像增強(qiáng)和圖像分析2個(gè)部分。圖像增強(qiáng)是指經(jīng)過(guò)某種處理，使圖像改變，實(shí)現(xiàn)對(duì)比度提高、清晰度增 加、特征突出等目的；而圖像分析是指經(jīng)過(guò)某種運(yùn)算，來(lái)提取某種有用的信息，如有無(wú)、好 壞、位置等，以便用來(lái)進(jìn)行判斷或控制。例如，如何使模糊的圖像恢復(fù)到清晰，是典型的圖 像增強(qiáng)處理， 只要得到清晰的圖像就達(dá)到了目的； 在繁忙的機(jī)場(chǎng)抓拍過(guò)往旅客的面孔， 找到 可疑恐怖分子，則是典型的圖像分析過(guò)程。經(jīng)過(guò)多年的發(fā)展，圖像增強(qiáng)算法已經(jīng)基本成熟，例如提高對(duì)比度的灰度拉伸、假彩色、 邊緣提取、濾波、傅立葉變換、小波變換等。在機(jī)器視覺(jué)系統(tǒng)集成時(shí)，這些一般都是在圖像 分析前作為圖像預(yù)

16、處理進(jìn)行的，而圖像分析算法才是機(jī)器視覺(jué)真正需要解決的問(wèn)題。通過(guò)針對(duì)某個(gè)真實(shí)場(chǎng)景的圖像， 設(shè)計(jì) 1 種算法，來(lái)得到有用的信息， 完全依賴于技術(shù)人 員的經(jīng)驗(yàn)和能力。 在這個(gè)過(guò)程中， 公司投入了大量時(shí)間和金錢來(lái)進(jìn)行研究， 而得到的算法往 往具有經(jīng)濟(jì)價(jià)值，公司或個(gè)人都會(huì)嚴(yán)格保密。 例如，如果機(jī)場(chǎng)候機(jī)廳里只有 1 個(gè)乘客， 那么 設(shè)計(jì)個(gè)算法來(lái)找到這個(gè)乘客的位置， 是相對(duì)容易的， 很多公司或個(gè)人都可以實(shí)現(xiàn)， 而且使用 的方法或者計(jì)算時(shí)間也差不多，而要在成千上萬(wàn)的游客中，找到具有某個(gè)特定特征的乘客， 就不是那么容易了， 各人設(shè)計(jì)出的算法肯定千差萬(wàn)別， 誰(shuí)能夠在最短時(shí)間內(nèi)最可靠地找到目 標(biāo)，就是最有價(jià)值的。這

17、種情況下，除了經(jīng)驗(yàn)之外，靈感和創(chuàng)造能力也很重要。也就是說(shuō)， 作為系統(tǒng)集成所需要的圖像處理算法， 需要很多的實(shí)踐經(jīng)驗(yàn)， 而這些算法大多不是能夠從書(shū) 本或文章里學(xué)到的。2.6 自動(dòng)控制作為 1個(gè)子系統(tǒng)完美配合工作中的機(jī)器視覺(jué)系統(tǒng)，自然會(huì)用到光電傳感器、數(shù)字IO 接口、PLC運(yùn)動(dòng)控制等工業(yè)控制元器件，這些方面的知識(shí)也是必不可少的。雖然如此，這些 都是成熟的技術(shù)， 有基本的知識(shí)直接拿來(lái)使用就可以了， 不需要我們重新設(shè)計(jì)， 而且零件供 應(yīng)商也會(huì)提供一定的技術(shù)支持。 一般在整個(gè)系統(tǒng)的開(kāi)發(fā)過(guò)程中， 這方面花費(fèi)的時(shí)間和精力是 最少的。3 系統(tǒng)集成明確了我們的需求， 估計(jì)了我們需要配置的資源， 理解了各子系統(tǒng)需

18、要完成的工作， 就 到了把這些知識(shí)綜合考慮組成 1個(gè)整機(jī)系統(tǒng)的時(shí)候了。 把這些不同領(lǐng)域里得到的零部件組合 在一起， 希冀打開(kāi)電源時(shí)就能夠完美的工作， 是不太現(xiàn)實(shí)的。 這個(gè)過(guò)程里有很多意想不到的 問(wèn)題需要解決。 一般情況下，我們需要遵循一定的原則， 才能使出現(xiàn)的問(wèn)題最少。 這里根據(jù) 我們的經(jīng)驗(yàn)給出一些建議。1、盡量使用能夠采購(gòu)的零件 (off the shelfcomponents) ：在可能的情況下， 應(yīng)當(dāng)盡 可能使用現(xiàn)成的備件，如鏡頭、相機(jī)、板卡等，能夠買到的東西就不要自己做。我已經(jīng)多次 看到不同的公司和研究室為了節(jié)省成本， 自己設(shè)計(jì)制造很容易買到的零件， 結(jié)果浪費(fèi)了很多 時(shí)間，走了很多彎路。例如，有 1 個(gè)公司咨詢?yōu)槭裁闯上裥Ч缓?，我去現(xiàn)場(chǎng)一看，他們使 用了 1 個(gè)直徑 20 毫米的凸透鏡作為鏡頭，為了節(jié)省成本， 15 元人民幣買來(lái)的，可想而知成 像效果如何，豈不知連 SON 丫也不得不向CarIZeiss 采購(gòu)鏡頭！2、分而治之 (divide and conquer) ：把系統(tǒng)分割成多個(gè)模塊，把每 1 部分集成到一起， 確保能夠正確地工作， 然后再把這些模塊組成 1 個(gè)大系統(tǒng)。 這和軟件開(kāi)發(fā)常用的方法是一樣 的，只有把 1 個(gè)大的系統(tǒng)分