《機器視覺系統(tǒng)應(yīng)用》課件-物流分揀線案例檢測方案講解

物流分揀線案例檢測方案講解情景引入處理原理處理步驟一二三目錄6S管理四能力目標(biāo)通過雙目相機采集圖像，獲得選定圖像的深度信息以及形狀信息。知識目標(biāo)（1）圖像二值化；（2）邊緣提??；（3）求形狀深度。課程目標(biāo)情景導(dǎo)入

物流中心每天接收成百上千家供應(yīng)商或貨主通過各種運輸工具送來的成千上萬種商品，為了能在最短的時間內(nèi)將這些商品卸下并按商品品種、貨主、儲位或發(fā)送地點進(jìn)行快速準(zhǔn)確地分類，將這些商品運送到指定地點（如指定的貨架、加工區(qū)域、出貨站臺等），我們將采取物流分揀技術(shù)，物流分揀技術(shù)能夠提高勞動生產(chǎn)率，縮短生產(chǎn)周期，減少在制品占用量和運輸工作量。加速資金周轉(zhuǎn)，降低生產(chǎn)成本。

模擬企業(yè)端一情景引入二處理原理為什么圖像二值化

圖像二值化（ImageBinarization）就是將圖像上的像素點的灰度值設(shè)置為0或255，也就是將整個圖像呈現(xiàn)出明顯的黑白效果的過程。

在數(shù)字圖像處理中，二值圖像占有非常重要的地位，圖像的二值化使圖像中數(shù)據(jù)量大為減少，從而能凸顯出目標(biāo)的輪廓。

在Opencv中可使用cv2.threshold()函數(shù)進(jìn)行閾值化處理。二怎么選擇輪廓處理原理一個輪廓對應(yīng)著一系列的點，這些點以某種方式表示圖像中的一條曲線。在OpenCV中，函數(shù)cv2.findContours()用于查找圖像的輪廓，并能夠根據(jù)參數(shù)返回特定表示方式的輪廓（曲線）。函數(shù)cv2.drawContours()能夠?qū)⒉檎业降妮喞L制到圖像上，該函數(shù)可以根據(jù)參數(shù)在圖像上繪制不同樣式（實心/空心點，以及線條的不同粗細(xì)、顏色等）的輪廓，可以繪制全部輪廓也可以僅繪制指定的輪廓。二如何尋找工件處理原理先通過尋找最大外接矩形并限制最大外接矩形大小尋找到對應(yīng)工件，再描繪工件輪廓。OpenCV提供了函數(shù)cv2.rectangle()用來繪制矩形。該函數(shù)的語法格式為：img=cv2.rectangle(img,pt1,pt2,color[,thickness[,lineType]])式中：img：在其上面繪制圖形的載體圖像（繪圖的容器載體，也稱為畫布、畫板）。color：繪制形狀的顏色。通常使用BGR模型表示顏色，例如，(0,255,0)表示綠色。對于灰度圖像，只能傳入灰度值。需要注意，顏色通道的順序是BGR，而不是RGB。thickness：線條的粗細(xì)。默認(rèn)值是1，如果設(shè)置為-1，表示填充圖形（即繪制的圖形是實心的）。lineType：線條的類型，默認(rèn)是8連接類型。lineType參數(shù)的值及說明如表19-1所示。pt1為矩形頂點。pt2為矩形中與pt1對角的頂點。讀取原圖之后將彩色圖像轉(zhuǎn)換為單通道的灰度圖像，將灰度圖像進(jìn)行二值化，然后按照設(shè)定好大小的值尋找最大外接矩形，再描繪工件輪廓；計算雙目相機采集到的圖片從而獲取深度信息；最后將二者聯(lián)立，獲得工件的形狀與位置。實踐與訓(xùn)練實際步驟二處理原理二處理原理測距流程：StereoVision，也叫雙目立體視覺，它的研究可以幫助我們更好的理解人類的雙眼是如何進(jìn)行深度感知的。雙目視覺在許多領(lǐng)域得到了應(yīng)用，例如城市三維重建、3D模型構(gòu)建(如kinectfusion)、視角合成、3D跟蹤、機器人導(dǎo)航(自動駕駛)、人類運動捕捉(MicrosoftKinect)等等。雙目測距也屬于雙目立體視覺的一個應(yīng)用領(lǐng)域，雙目測距的基本原理主要是三角測量原理，即通過視差來判定物體的遠(yuǎn)近。總結(jié)起來，雙目測距的大致流程就是：

雙目標(biāo)定-->立體校正（含消除畸變）-->立體匹配-->視差計算-->深度計算/3D坐標(biāo)計算二處理原理畸變校正：

光線經(jīng)過相機的光學(xué)系統(tǒng)往往不能按照理想的情況投射到傳感器上，也就是會產(chǎn)生所謂的畸變?；冇袃煞N情況：一種是由透鏡形狀引起的畸變稱之為徑向畸變。在針孔模型中，一條直線投影到像素平面上還是一條直線?？墒?，在實際拍攝的照片中，攝像機的透鏡往往使得真實環(huán)境中的一條直線在圖片中變成了曲線。越靠近圖像的邊緣，這種現(xiàn)象越明顯。由于實際加工制作的透鏡往往是中心對稱的，這使得不規(guī)則的畸變通常徑向?qū)ΨQ。它們主要分為兩大類，桶形畸變和枕形畸變（摘自《SLAM十四講》）如圖所示：實踐與訓(xùn)練二處理原理那么消除畸變的方法就是：1.將三維空間點投影到歸一化圖像平面。設(shè)它的歸一化坐標(biāo)為[x,y]T2.對歸一化平面上的點進(jìn)行徑向畸變和切向畸變糾正。3.將糾正后的點通過內(nèi)參數(shù)矩陣投影到像素平面，得到該點在圖像上的正確位置實踐與訓(xùn)練二處理原理立體校正：立體校正的目的是將拍攝于同一場景的左右兩個視圖進(jìn)行數(shù)學(xué)上的投影變換，使得兩個成像平面平行于基線，且同一個點在左右兩幅圖中位于同一行，簡稱共面行對準(zhǔn)。只有達(dá)到共面行對準(zhǔn)以后才可以應(yīng)用三角原理計算距離。立體校正前：立體校正后：二處理原理立體匹配與視差圖計算：理想雙目相機成像模型

根據(jù)上述推導(dǎo)，空間點p離相機的距離（深度）z=f*b/d，可以發(fā)現(xiàn)如果要計算深度z，必須要知道：

（1）相機焦距f，左右相機基線b。這些參數(shù)可以通過先驗信息或者相機標(biāo)定得到。

（2）視差b。需要知道左相機的每個像素點（Xl,Yl）和右相機中對應(yīng)點（Xr，Yr）的對應(yīng)關(guān)系。這是雙目視覺的核心問題。流程圖