《智能視覺技術及應用》課件第10章

第10章智能視覺開發(fā)平臺10.1智能視覺技術的主要應用10.2智能視覺開發(fā)平臺本章小結

10.1智能視覺技術的主要應用

10.1.1定位引導基于機器視覺的機器人引導技術是機器視覺技術、機器人控制技術相結合產生的新型技術,通過視覺技術對機器人進行引導,使機器人在完成產品的抓取、工件的裝配等任務時具有靈活性,同時免除了昂貴的精密夾具等特殊裝置?；跈C器視覺的工業(yè)機器人定位抓取技術在工業(yè)中具有非常高的應用價值,一方面降低了工業(yè)生產的成本,同時也提高了生產效率。

基于機器視覺的工業(yè)機器人引導技術主要應用于產品組裝、零件分揀和自動焊接或點膠等任務中。基于機器視覺的工業(yè)機器人通過攝像頭和機器人的手臂可以完成高難度的組

裝工作,工人在組裝產品之前可以先將產品零件的大小和尺寸輸入到系統(tǒng)當中,系統(tǒng)會自動將數據信息存儲。在組裝時,系統(tǒng)通過攝像機來識別對應的零件,然后通過機器人的手臂來定位抓取零件,從而完成組裝工作。基于機器視覺的工業(yè)機器人還可以通過一系列步驟來完成零件分揀工作。首

先利用攝像機拍攝零件,然后將圖像傳輸至系統(tǒng)中,再通過圖像處理技術來處理圖像,從而提取圖像中的信息。系統(tǒng)會自動將零件分揀到不同位置,并且會把形狀不完整的零件當作廢件處理,有效地提高了分揀的效率?；跈C器視覺的工業(yè)機器人也可以通過準確定位圖像中的目標來引導機械臂對目標進行精確的操作,其可應用于流水線的靜態(tài)和動態(tài)目標識別場景,可以適應各類不同形狀和光照條件下的視覺定位需求,圖10-1為機器人引導系統(tǒng)框架。圖10-1機器人引導系統(tǒng)框架

如圖10-2所示,機器人引導系統(tǒng)一般由相機、光源、平臺、機械臂以及控制分析系統(tǒng)組成,通過相機捕獲平臺上的目標物體,經控制分析系統(tǒng)分析后發(fā)出控制信號,引導機械手進行精確對位。視覺引導系統(tǒng)框架如圖10-1所示,在進行引導任務時,通過相機獲取目標物體圖像,進行物體搜索;確定物體位置后,系統(tǒng)需要先對機械臂進行路徑規(guī)劃,最終定位到目標物體。圖10-2機器人引導系統(tǒng)

10.1.2字符識別

字符識別是模式識別的一種,模式識別是指對表征事物或現象的各種形式的(數值的、文字的和邏輯關系的)信息進行處理和分析,并對事物或現象進行描述、辨認、分類和解釋的過程。

如圖10-3所示,圖片表面上的字符包括大小寫英文字母、數字,它們的組合可以存儲不同的信息,用于標記或區(qū)分產品。為了保證字符印刷的準確性,字符識別在工業(yè)應用中尤為重要。圖10-3待識別的字符圖像

字符識別的過程包括兩個步驟:一是將圖像中識別區(qū)域的單個字符分割出來;二是將分割得到的字符進行分類,得到對應的符號標記。字符識別首先是生成字符模板,提取字符模板特征,再對分割到的單個字符進行識別。對字符識別的方法通常有模板匹配、聚類、神經網絡以及支持向量機等。圖10-4為字符識別步驟的基本流程圖。圖10-5是一個簡單的字符識別例子。圖10-4字符識別步驟的基本流程圖圖10-5字符識別

10.1.3顏色檢測

傳統(tǒng)的機器視覺系統(tǒng)大部分是基于灰度圖像進行圖像處理,如果檢測顏色則需要選擇彩色相機,因為彩色相機可以還原物體的真實色彩。彩色圖像的顏色模型有很多種形式,如RGB、YUV、HSV、CMYK,其中在圖像處理中以RGB最為直觀,而HSV更符合人眼的顏色分辨規(guī)律,顏色檢測通常在HSV顏色空間下進行。H(色調)用角度度量,取值范圍為0°~360°,從紅色開始按逆時針方向計算,紅色為0°,綠色為120°,藍色為240°;它們的補色是黃色為60°,青色為180°,品紅為300°。S(飽和度)的取值范圍為0~255。V(亮度)的取值范圍為0(黑色)~255(白色)。圖10-6為HSV顏色空間。圖10-6HSV顏色空間

圖10-7為顏色檢測基本流程圖。對于顏色檢測系統(tǒng),首先需要通過彩色相機捕獲物體圖像,將彩色圖像轉化到灰度圖像做特征定位,定位到檢測區(qū)域后在原圖像上做顏色處理。一般的顏色處理會在HSV顏色空間內進行。若相機的輸出為RGB顏色空間還需要進行RGB到HSV顏色空間的轉換,再從顏色空間中抽取某個特征顏色進行進一步的分析。圖10-7顏色檢測的基本流程圖

10.1.4尺寸測量

基于機器視覺的尺寸測量方法具有成本低、精度高、安裝簡易等優(yōu)點,其非接觸性、實時性、靈活性和精確性等特點可以有效地解決傳統(tǒng)檢測方法存在的問題。另外,基于機器視覺的尺寸測量方法不但可以獲得尺寸參數,還可以根據測量結果及時給出反饋信息,修正加工參數。尺寸測量可以用于檢測零件的各種尺寸,如長度、圓、角度等。圖10-8為尺寸測量的基本流程圖。圖10-8尺寸測量的基本流程圖

10.1.5缺陷檢測

產品缺陷檢測方法可以分為三種。

第一種是人工檢測法,這種方法不僅成本高,而且在對微小缺陷進行判別時,難以達到所需要的精度和速度,還存在勞動強度大、檢測標準一致性差等缺點。

第二種是機械裝置接觸檢測法,這種方法雖然在質量上能滿足生產的需要,但存在檢測設備價格高、靈活性差、速度慢等缺點。

第三種是機器視覺檢測法,即利用圖像處理和分析對產品可能存在的缺陷進行檢測,這種方法采用非接觸的工作方式,安裝靈活,測量精度和速度都比較高。

機器視覺缺陷檢測軟件通過對目標表面圖像進行預處理,并與標準圖像對比,找到其中存在的缺陷,然后識別并判斷缺陷種類和嚴重程度,對產品進行分類分級處理。圖10-9是利用機器視覺技術完成對工業(yè)產品中的一些常見缺陷檢測實例,缺陷類型包括紡織品上的缺經、臟污缺陷和鑄件上的劃痕缺陷等。圖10-9缺陷檢測實例

10.2智能視覺開發(fā)平臺10.2.1智能視覺開發(fā)平臺的分類智能視覺開發(fā)平臺可分為單任務的專用開發(fā)平臺和集成式通用組態(tài)開發(fā)平臺。單任務的專用開發(fā)平臺是專門針對具體應用研制開發(fā)的,應用的待測目標已知,根據待測目標的特性以及檢測目標,針對性地進行開發(fā)。集成式通用組態(tài)開發(fā)平臺基于視覺庫,將眾多通用的圖像處理算法二次開發(fā)成工具庫,并向用戶提供一個開放的通用平臺,用戶可以在這個平臺上組合自己需要的處理工具,配置處理流程,快速靈活地通過組態(tài)實現一個具體的視覺檢測任務。

1.單任務的專用開發(fā)平臺

單任務的專用開發(fā)平臺的算法實現一般都基于市場上已有的視覺庫。視覺庫用于將一些常用的圖像處理算法編制成函數庫。這類開發(fā)平臺需要開發(fā)者根據檢測任務調用視覺庫中所需的函數,完成檢測任務,最終開發(fā)出適合某一特定任務的應用。每個應用都需要重新開發(fā)算法,開發(fā)周期長,不具有通用性。

2.集成式通用組態(tài)開發(fā)平臺

集成式通用組態(tài)開發(fā)平臺的工具庫具有流程化和模塊化的設計特點,用戶可以根據平臺提供的各種預處理、定位、測量、計數等工具,對測試圖像處理流程進行自定義組合配

置,快速完成所需要的檢測任務,開發(fā)周期短,通用性強。

10.2.2VisionBank智能視覺開發(fā)平臺

VisionBank智能視覺開發(fā)平臺是一個智能化的機器視覺項目開發(fā)平臺,內置了大量的圖像處理工具,用戶開發(fā)全新機器視覺項目時只需要靈活配置平臺上的不同圖像處理工具

就可以設計各種不同檢測要求的視覺項目。

VisionBank與同類開發(fā)平臺相比具有以下幾個特點:

(1)內容豐富,并且在持續(xù)擴展中;

(2)高度集成化,基于各種使用場景抽象集成得到;

(3)運行速度快,算法速度進行了深入優(yōu)化;

(4)算法模塊之間可關聯,流程中后面的模塊可使用前面模塊的計算結果作為輸入或者確定處理區(qū)域;

(5)對于高級用戶,支持自定義相機和I/O卡、自定義運行界面和自定義通訊;

(6)使用簡單,易于操作。

VisionBank的應用領域如圖10-10所示。圖10-10-VisionBank的應用領域

基于VisionBank的機器視覺項目開發(fā)流程如圖10-11所示。圖10-11VisionBank開發(fā)流程

1.圖像采集

VisionBank的圖像采集模塊支持讀取本地圖像和從工業(yè)相機獲取實時圖像。讀取本地圖像時可以單獨加載一幀圖像,也可以選擇本地的一個目錄,按照圖片的序列不斷地讀進來,如圖10-12所示。圖10-12目錄測試

從工業(yè)相機獲取實時圖像時,需要先選擇同時連接的相機數量(VisionBank最多支持同時連接8臺相機),再設置連接的相機類型,如圖10-13所示。當“硬件連接”監(jiān)控區(qū)中相機的圖標變綠后,就可以從相機中獲取實時圖像了。圖10-13工業(yè)相機的選擇

2.圖像預處理

VisionBank的圖像預處理功能有兩個應用場景:

一是通用圖像預處理,選擇此功能時,主畫面窗口會顯示預處理后的圖像,同時后面所有的圖像處理功能都在這個基礎上進行。VisionBank為用戶提供了20余種預處理工具,如圖10-14所示,包括常見的轉換為灰度圖、Sobel濾波、高斯濾波等工具,還包含了圖像縮放、旋轉等功能性工具。用戶不僅可以對圖片進行降噪處理,還可以根據實際檢測的需要使用不同的預處理工具組合來獲取對檢測最有用的信息。

二是局部圖像預處理,該功能是和具體的圖像處理工具綁定的。比如,通用圖像預處理對圖像做了“轉換為灰度圖”操作,再添加“特征定位”時可以選用局部預處理,對圖像做灰度變換操作,該局部預處理僅對“特征定位”工具生效。圖10-14圖像預處理工具

3.圖像處理

圖像處理模塊是VisionBank的核心功能,內置了200余種圖像處理工具?；谶@些工具的不同組合及不同參數設置,圖像處理模塊幾乎能應用于所有平面機器視覺應用場景。這些工具主要分為定位、幾何、有無、計數、計測、識別、掩模、其它八大類,如圖10-15所示。圖10-15圖像處理工具

定位工具中為不同的場景提供了大量的定位方法,包括灰度定位、特征定位、圓定位、邊定位等,如圖10-16所示。圖10-16定位參照

4.標定

VisionBank的標定模塊包括三類應用場景。

(1)鏡頭畸變矯正標定。VisionBank支持圓形、網格、棋盤格三類標定板,用戶只需要輸入所使用標定板的參數即可完成鏡頭畸變標定,如圖10-17所示。

(2)尺寸測量標定。VisionBank支持圓形、網格、棋盤格三類標定板標定和比例尺標定,用戶僅輸入所使用標定板的參數或標準件的標準尺寸即可完成像素單位到毫米單位的換算。

(3)機器人手眼標定。VisionBank支持圓形、網格、棋盤格三類標定板標定和多點映射標定,其目的是把圖像坐標系換算到機器人坐標系下。通過位置標定,可以讓圖像坐標系與機器人坐標系建立關聯,從而實現手眼互動操作。圖10-17鏡頭畸變標定模塊