(完整版)機(jī)器視覺及其應(yīng)用實(shí)驗(yàn)報(bào)告

1、Har bin I nstitute of Techn ol ogy實(shí)驗(yàn)報(bào)告課程名稱：機(jī)器視覺及其應(yīng)用實(shí)驗(yàn)名稱：攝像機(jī)標(biāo)定上機(jī)驗(yàn)證院系：自動(dòng)化測試與控制系班級(jí)：1036103實(shí)驗(yàn)人：胡洋學(xué)號(hào)：6100100311教師：陳鳳東實(shí)驗(yàn)時(shí)間：2013.11.8哈爾濱工業(yè)大學(xué)1機(jī)器視覺及其應(yīng)用實(shí)驗(yàn)報(bào)告一、實(shí)驗(yàn)名稱：攝像機(jī)標(biāo)定上機(jī)驗(yàn)證二、實(shí)驗(yàn)人員： 胡洋三、實(shí)驗(yàn)日期： 2013.11.8四、實(shí)驗(yàn)?zāi)康模荷蠙C(jī)驗(yàn)證攝像機(jī)標(biāo)定方法五、實(shí)驗(yàn)原理：攝像機(jī)標(biāo)定是一個(gè)確定攝像機(jī)內(nèi)部參數(shù)(包括幾何與光學(xué)參數(shù) )和外部參數(shù)(包括攝像機(jī)相對(duì)世界坐標(biāo)的位置及方向)的過程。攝像機(jī)標(biāo)定的目的是建立攝像機(jī)世界坐標(biāo)系中坐標(biāo)(xw , y

2、w , zw )T 與其相應(yīng)圖像像素坐標(biāo) (u,v)之間的關(guān)系。最終實(shí)現(xiàn)利用計(jì)算機(jī)采集得到的二維圖像來恢復(fù)待測物體的三維信息的目的。攝像機(jī)標(biāo)定方法是視覺系統(tǒng)實(shí)現(xiàn)的前提和基礎(chǔ)。目前現(xiàn)有的攝像機(jī)標(biāo)定技術(shù)大體可以分成兩類：傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法。傳統(tǒng)的攝像機(jī)標(biāo)定方法是在一定的攝像機(jī)模型基礎(chǔ)上，基于形狀、尺寸已知的特定參照物，利用參照物上的特征點(diǎn)的世界坐標(biāo)和相應(yīng)的像素坐標(biāo)之間的關(guān)系，通過一系列數(shù)學(xué)變換和計(jì)算方法， 求取攝像機(jī)模型的內(nèi)外參數(shù)。 傳統(tǒng)的攝像機(jī)標(biāo)定方法需要高精度的已知結(jié)構(gòu)信息， 過程復(fù)雜，但是標(biāo)定精度高， 適用于多種攝像機(jī)模型。而攝像機(jī)自標(biāo)定方法則不依賴特定的標(biāo)定參照物， 僅

3、僅利用攝像機(jī)獲取的一系列圖像信息來確定攝像機(jī)參數(shù)。 攝像機(jī)自標(biāo)定方法對(duì)環(huán)境適應(yīng)較好， 可以無人參與下完成標(biāo)定，但是精度低，魯棒性不足，不適用于測量場合。傳統(tǒng)的攝像機(jī)標(biāo)定方法按其求解的方法可分為三類： 線性方法、非線性優(yōu)化方法和考慮畸變補(bǔ)償?shù)膬刹椒?15 。線性方法不需要迭代， 速度較快。但是定標(biāo)過程中忽略了攝像機(jī)鏡頭的非線性畸變，使得定標(biāo)精度受到影響。 一般的線性求解方法是透鏡變換方法和直接線性變換 (DLT) 方法，他們都是利用一定數(shù)目的已知特征點(diǎn)的成像信息和公式 (2-18) 的投影變換矩陣求解。um00m01m02xwm03s vm10m11m12ywm131m20m21m22zwm23

4、1(2-18)本實(shí)驗(yàn)采用傳統(tǒng)的攝像機(jī)標(biāo)定方法。在傳統(tǒng)的標(biāo)定方法中，標(biāo)定參照的標(biāo)準(zhǔn)件的精度對(duì)標(biāo)定結(jié)果的影響較大。但 3D 立體靶標(biāo)的制作成本較高，且加工精度2受加工條件的限制?；?2D 平面靶標(biāo)提出了攝像機(jī)標(biāo)定方法避免了一般傳統(tǒng)方法對(duì)設(shè)備要求較高，操作繁瑣等缺點(diǎn)，同時(shí)標(biāo)定精度高。在標(biāo)定過程中，要求平面靶標(biāo)至少有兩個(gè)不同的姿態(tài)，攝像機(jī)和平面靶標(biāo)都可以自由的移動(dòng)， 不需要知道運(yùn)動(dòng)參數(shù)， 且不論攝像機(jī)從任何角度拍攝靶標(biāo)，攝像機(jī)內(nèi)部參數(shù)都為常數(shù)，只有外部參數(shù)發(fā)生變化。該標(biāo)定示意圖如圖 7 所示。第一步：求解測量平面與圖像平面之間的單應(yīng)性矩陣。 測量平面上的三維點(diǎn)記為 M (x, y, z)T，其相應(yīng)圖

5、像平面上的二維點(diǎn)記為m (u,v)T ，則相應(yīng)的齊次坐標(biāo)分別為 % (, , ，1)T與 (u,v,1)T。攝像機(jī)基于針孔成像模型， 空間點(diǎn) M 與Mx y zm圖像點(diǎn) m 之間的關(guān)系為：smAR|TM(2-19)ZcM ( xw , yw , zw )YcOYwX cZwm(u, v)OwX w圖 7 二維平面標(biāo)靶標(biāo)定示意圖其中，s 為一任意的非零尺寸因子， A 矩陣稱為攝像機(jī)的內(nèi)部參數(shù)矩陣，定義為：x u0A0yv0001(2-20)(u0 , v0 ) 為主點(diǎn)坐標(biāo)，x 、y 分別是 u 軸和 v 軸的尺度因子，是 u 軸和 v 軸的不垂直因子。旋轉(zhuǎn)矩陣R 與平移向量 T 稱為攝像機(jī)的外部

6、參數(shù)矩陣。為了不失一般性，可以假設(shè)測量平面位于世界坐標(biāo)系的Zw0 平面。記旋轉(zhuǎn)矩陣的第 i 列為 ri ，則由式 (2-19)可得式 (2-21)。3uxxys vA r1 r2r3 TA r1 r2 T y0111(2-21)將式子 (2-21)進(jìn)一步簡化，得到：(2-22)smHM其中，H 就是要求得的測量平面與圖像平面之間的單應(yīng)性矩陣。則H A r1 r2 T 為一 3*3 的矩陣，為一個(gè)常數(shù)因子。由于攝像機(jī)圖像平面的點(diǎn)的坐標(biāo)可以通過圖像處理的方式獲取。 所以每張圖片都可以計(jì)算出一個(gè) H 矩陣。第二步：攝像機(jī)內(nèi)部參數(shù)的求解。記Hh1h2h3 ，則有：h1 h2 h3A r1r2T(2-2

7、3)因?yàn)?r1 和 r2是標(biāo)準(zhǔn)正交的。所以可以得到關(guān)于內(nèi)參的兩個(gè)限制條件：h1T A T A 1h20(2-24)h1T A T A 1h1 h2T A T A1h2(2-25)設(shè)B11B12B13B ATA1B21B22B23B31B32B33(2-26)可知 B 矩陣是一個(gè)對(duì)陣矩陣，所以可以寫成一個(gè)六維向量形式：b B11, B12 , B22 , B13 , B23 , B33 。設(shè) H 中的第 i 列向量為 ii1i 2i3T，那么可以將hh, h, h公式 (2-24)改寫為：hiT Bhjvij b(2-27)vijhi 1hj 1 ,hi1hj 2hi 2hj1 , hi 2hj

8、 2 ,hi 3hj 1 hi1hj 3 , hi3 hj 2hi 2 hj 3 , hi 3h j3T(2-28)最后根據(jù)內(nèi)參限制條件 (2-24)、(2-25)得到：v12T(v11v22 )T b0(2-29)V 矩陣是 2*6 矩陣，也就是說每張圖像可以建立起兩個(gè)方程，b 矩陣有六個(gè)未知數(shù)，也就是說至少三張圖片就可以求出b 矩陣。 b 矩陣的解出，相機(jī)內(nèi)參矩陣 A 也就可以解出來了，而從每張圖像的R 矩陣、 T 向量也就可以得到了。雙目攝像機(jī)與單目攝像機(jī)的區(qū)別是： 雙目攝像機(jī)中還需要確定兩個(gè)攝像機(jī)之間的位置關(guān)系，其中， R0 和 T0 分別表示旋轉(zhuǎn)矩陣和平移向量。通過標(biāo)定確定兩4個(gè)攝像

9、機(jī)的內(nèi)部參數(shù)以及外部參數(shù)，其中， R1、1 與22分別表示左、右攝TR 、 T像機(jī)與世界坐標(biāo)系的相對(duì)位置。假定空間中任意一點(diǎn)在世界坐標(biāo)系、左攝像機(jī)坐標(biāo)系和右攝像機(jī)坐標(biāo)系下的非齊次坐標(biāo)分別為 xw、 x1、x2，則有：x1R1xwT1, x2R2xwT2(2-30)消去 xw，得到：x2R2 R11x1T2R2R11T1(2-31)兩個(gè)攝像機(jī)之間的位置關(guān)系 R0、T0 可以用以下關(guān)系式表示：R0R2R11,TT2R2R11T1(2-32)第三步：參數(shù)優(yōu)化。因?yàn)槌跏嫉膮?shù)已經(jīng)求解出來了，所以將每張圖像的控制點(diǎn)根據(jù)求解的參數(shù)重新投影回三維空間， 最小化與真實(shí)值的差異， 其實(shí)就是建立非線性最小化模型。

10、這里用的是 Levenberg-Marquardt 迭代算法，從而計(jì)算出所有參數(shù)的準(zhǔn)確值。第四步：使用 HALCON 軟件工具，驗(yàn)證上述標(biāo)定過程。六：實(shí)驗(yàn)結(jié)果：56# Camera : Parameter# > Focus# > Kappa# > Sx# > Sy# > Cx# > Cy7# > ImageWidth# > ImageHeight#ParGroup: Camera: Parameter;"Internal camera parameters"Focus:foc:0.0161849378171021;DOUBLE

11、:0.0:;"Focal length of the lens"Kappa:kappa:-640.051221234071;DOUBLE:;"Radial distortion coefficient"Sx:sx:7.40120921533656e-006;DOUBLE:0.0:;"Width of a cell on the sensor"Sy:sy:7.4e-006;DOUBLE:0.0:;"Height of a cell on the sensor"Cx:cx:333.413508715616;DOUBLE:;"X-coordinate of the image center"Cy:cy:244.960933309793;DOUBLE:;"Y-coordinate of the image center"ImageWidth:imgw:652;INT:1:32768;"Width of the images"ImageHeight:imgh:494;INT:1:32768;"Height of the images"# HALCON Version 11.0 -Fri N