雙目立體視覺中的攝像機(jī)標(biāo)定技術(shù)研究

1、，（）引言雙目立體視覺系統(tǒng)的標(biāo)定是建立在被測對象表面點(diǎn)的二維投影圖像坐標(biāo)與三維世界坐標(biāo)之間的橋梁，是實(shí)現(xiàn)自由曲面三維重構(gòu)的基礎(chǔ)，也是立體視覺研究領(lǐng)域中的熱點(diǎn)問題之一。微軟研究院的張正友博士在年提出一種介于傳統(tǒng)標(biāo)定法和自標(biāo)定法之間的新的、更靈活的方法基于平面模板的攝像機(jī)標(biāo)定方法。它既避免了傳統(tǒng)標(biāo)定方法設(shè)備要求高、操作繁瑣等缺點(diǎn)，又較自標(biāo)定方法精度高，魯棒性更好，因此而得到廣泛應(yīng)用。在實(shí)驗(yàn)過程中發(fā)現(xiàn)，在自然光照下，攝像機(jī)采集的圖像邊緣受外界噪音影響較大，方格的邊緣模糊與畸變勢必造成所提取角點(diǎn)坐標(biāo)的誤差較大，相比之下圖像的中心受外界噪音的影響要比邊緣小。因此，本文對張正友的標(biāo)定方法進(jìn)行了改進(jìn)，將方格

2、換成圓，提取圓心坐標(biāo)進(jìn)行標(biāo)定，并與基于平面方格角點(diǎn)的標(biāo)定方法和基于平面方格形心的標(biāo)定方法進(jìn)行比較。此外又討論了基于神經(jīng)網(wǎng)絡(luò)的雙目立體視覺系統(tǒng)標(biāo)定方法，并與前一種標(biāo)定方法進(jìn)行對比，證明本文所介紹的基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法能夠獲得比較精確的標(biāo)定結(jié)果。雙目立體視覺系統(tǒng)標(biāo)定步驟假定雙目立體視覺系統(tǒng)中左右攝像機(jī)的外部參數(shù)分別為、與、，則、表示左攝像機(jī)與世界坐標(biāo)系的相對位置，、表示右攝像機(jī)與世界坐標(biāo)系的相對位置，兩個攝像機(jī)之間的幾何關(guān)系、可以用以下關(guān)系式表示：（）式（）表示，如果對攝像機(jī)分別標(biāo)定，得到、與、，則雙攝像機(jī)的相對幾何位置就可以由該式計(jì)算。因此，本文使用同一標(biāo)定模板對兩個攝像機(jī)同時(shí)進(jìn)行標(biāo)定，以分別

3、獲取兩個攝像機(jī)的內(nèi)外參數(shù)，從而不僅可以標(biāo)定出兩攝像機(jī)的內(nèi)部參數(shù)，還可以同時(shí)標(biāo)定出雙目立體視覺系統(tǒng)的結(jié)構(gòu)參數(shù)。其基本方法為：（）打印一張模板（×圓陣列，圓直徑，間隔）并貼在一個平板上；（）兩攝像機(jī)從不同角度拍攝若干張（大于或等于張）模板圖像，本文拍攝張；（）檢測每幅圖像中的目標(biāo)點(diǎn)（圓心）；（）求出模板平面與其圖像平面之間單應(yīng)性矩陣；（）在令畸變系數(shù)為的前提下，利用求出的矩陣計(jì)算攝像機(jī)的內(nèi)參數(shù)和外參數(shù)；（）以（）中內(nèi)外參數(shù)為初始值，令畸變系數(shù)初始值為，應(yīng)用算法進(jìn)行非線性最小優(yōu)化，從而得雙目立體視覺中的攝像機(jī)標(biāo)定技術(shù)研究劉金頌，原思聰，張慶陽，劉道華，西安建筑科技大學(xué)機(jī)電工程學(xué)院，西安，：

4、，（）：，：；摘要：以張氏標(biāo)定方法為基礎(chǔ)，提出以圓心作為標(biāo)定點(diǎn)的平面模板標(biāo)定方法，通過與基于方格角點(diǎn)的標(biāo)定方法以及基于方格形心的標(biāo)定方法進(jìn)行比較，證明了該方法的有效性。又運(yùn)用神經(jīng)網(wǎng)絡(luò)來模擬立體視覺系統(tǒng)三維空間與二維圖像平面之間的物、像對應(yīng)關(guān)系，建立了雙目立體視覺系統(tǒng)的攝像機(jī)隱式標(biāo)定模型，避免了因數(shù)學(xué)模型的不完善而帶來的系統(tǒng)誤差。實(shí)驗(yàn)證明該方法能夠獲得較高的標(biāo)定精度。關(guān)鍵詞：雙目立體視覺；攝像機(jī)標(biāo)定；神經(jīng)網(wǎng)絡(luò)文章編號：（）文獻(xiàn)標(biāo)識碼：中圖分類號：作者簡介：劉金頌（），女，碩士，助理工程師，主要研究方向?yàn)橹悄軠y控技術(shù)；原思聰（），男，教授，博士生導(dǎo)師，主要研究方向?yàn)楝F(xiàn)代設(shè)；，（），收稿日期：修回日

5、期：計(jì)算機(jī)工程與應(yīng)用計(jì)算機(jī)工程與應(yīng)用 ，（）內(nèi)部參數(shù)! ! "方法±±±±方法±±±±本文所用方法±±±±表種標(biāo)定方法的比較到一組精度更高的攝像機(jī)內(nèi)參數(shù)值，同時(shí)計(jì)算出各項(xiàng)畸變系數(shù)。（）利用標(biāo)定出的左右攝像機(jī)參數(shù)計(jì)算雙目立體視覺系統(tǒng)的結(jié)構(gòu)參數(shù)。雙目立體視覺系統(tǒng)標(biāo)定試驗(yàn)雙目立體視覺系統(tǒng)標(biāo)定的實(shí)現(xiàn)運(yùn)用進(jìn)行編程實(shí)現(xiàn)了前述標(biāo)定算法，制作了一個簡單的，如圖所示。按前述標(biāo)定方法，將標(biāo)定板放置個不同的位置，兩攝像機(jī)即得到對標(biāo)定圖像。計(jì)算標(biāo)定板各圓心坐標(biāo)值（世界坐標(biāo)），并將其保存為文

6、本文檔，放在工作目錄中。通過編程對所獲取的對圖像進(jìn)行平滑濾波降噪、對比度增強(qiáng)等圖像預(yù)處理后，采用重心法提取圖像中的圓心坐標(biāo)（圖像坐標(biāo)），并將其保存至工作目錄中。點(diǎn)擊圖中的“左攝像機(jī)標(biāo)定”按鈕，即運(yùn)行相應(yīng)的子程序，加載已經(jīng)保存的組左攝像機(jī)標(biāo)定圖像中的圓心坐標(biāo)文件以及標(biāo)定模板中對應(yīng)的世界坐標(biāo)文件，對左攝像機(jī)進(jìn)行標(biāo)定。點(diǎn)擊“右攝像機(jī)標(biāo)定”按鈕，以相同的方法標(biāo)定右攝像機(jī)。并將兩攝像機(jī)標(biāo)定結(jié)果保存在工作目錄中。左右攝像機(jī)標(biāo)定結(jié)果如下：左攝像機(jī)內(nèi)參數(shù)：，!" " " " " " " #$%&右攝像機(jī)內(nèi)參數(shù)：，!" &q

7、uot; " " " " "#$%&點(diǎn)擊圖中的“加載標(biāo)定結(jié)果數(shù)據(jù)”按鈕，再點(diǎn)擊“雙目視覺系統(tǒng)標(biāo)定”按鈕，前面保存的左右攝像機(jī)標(biāo)定結(jié)果被加載，并計(jì)算雙目立體視覺系統(tǒng)結(jié)構(gòu)參數(shù)，結(jié)果如下：! " " " " " " " #$%&! " " " " " " " #$%&其中，、分別為右攝像機(jī)相對于左攝像機(jī)的旋轉(zhuǎn)矩陣和平移向量。點(diǎn)擊圖中的“顯示外部結(jié)構(gòu)參數(shù)”按鈕，即可以得到雙目立體視覺系統(tǒng)的外

8、結(jié)構(gòu)參數(shù)的三維顯示圖形，見圖。為方便觀察，圖中是以左攝像機(jī)坐標(biāo)系原點(diǎn)（攝像機(jī)光心）為世界坐標(biāo)系原點(diǎn)來繪制的三維圖形。為了說明本文所用方法的有效性，又分別采用了基于平面方格角點(diǎn)的標(biāo)定方法（方法）和基于平面方格形心的標(biāo)定方法（方法），前者能夠說明本文以圖像基元形心為標(biāo)定點(diǎn)的有效性，后者能說明本文以圓代替方格進(jìn)行標(biāo)定的有效性。方法所采用的標(biāo)定板為打印有×方格陣列的標(biāo)定模板，方格大小×，間距。通過編程提取方格的角點(diǎn)作為標(biāo)定點(diǎn)。方法與方法采用相同的標(biāo)定模板，只是提取的是方格的形心坐標(biāo)（同樣采用重心法）。兩種方法都獲取對標(biāo)定圖像。下面以標(biāo)定左攝像機(jī)為例對這兩種方法以及本文所采用的方法進(jìn)

9、行比較。為了進(jìn)行比較，在結(jié)果中加入了不確定度，以表示徑向畸變系數(shù)，! ! 表示左攝像機(jī)在軸和軸上的有效焦距，表示左攝像機(jī)圖像坐標(biāo)系原點(diǎn)，" 表示軸和軸不垂直因子。標(biāo)定結(jié)果的比較見表。從表可以看出，本文所采用的標(biāo)定方法能有效提高攝像機(jī)的標(biāo)定精度。基于神經(jīng)網(wǎng)絡(luò)的雙目立體視覺系統(tǒng)標(biāo)定方法前面所述的攝像機(jī)標(biāo)定方法需要建立復(fù)雜的數(shù)學(xué)模型，而神經(jīng)網(wǎng)絡(luò)可以有效地處理非線性映射問題，避免了求解各項(xiàng)參數(shù)的復(fù)雜性缺陷。根據(jù)透視投影原理，左右圖像中同一空間點(diǎn)的圖像坐標(biāo)與世界坐標(biāo)之間是一一對應(yīng)的，并存在某種非線性映射關(guān)系。由此可以確定利用神經(jīng)網(wǎng)絡(luò)進(jìn)行攝像機(jī)標(biāo)定的思路是：首先將己知物點(diǎn)在左右攝像機(jī)圖像中的圖像

10、坐標(biāo)作為網(wǎng)絡(luò)輸入，將其世界坐標(biāo)作為網(wǎng)絡(luò)輸出，進(jìn)行網(wǎng)絡(luò)訓(xùn)練；訓(xùn)練收斂后，網(wǎng)絡(luò)輸入與輸出之間的映射關(guān)系就存儲在網(wǎng)絡(luò)的連接權(quán)值和閾值中；得到了這種隱含的映射關(guān)系后，一旦知道了空間一點(diǎn)在左右攝像機(jī)圖像中的坐標(biāo)，就可以利用訓(xùn)練好的網(wǎng)絡(luò)求出其三維世界坐標(biāo)。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)將物體在左右攝像機(jī)圖像中的圖像坐標(biāo)作為網(wǎng)絡(luò)輸入，把相應(yīng)物體的世界坐標(biāo)作為輸出，那么網(wǎng)絡(luò)結(jié)構(gòu)就基本上形成了，即網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)為，輸出層神經(jīng)元個數(shù)為，隱層為個節(jié)點(diǎn)時(shí)網(wǎng)絡(luò)性能最好。隱層采用正切形函數(shù)，即，（）線段實(shí)際長度方法計(jì)算結(jié)果方法計(jì)算結(jié)果方法誤差方法誤差表兩類標(biāo)定方法的比較坐標(biāo)軸平均誤差最大誤差均方差表仿真結(jié)果誤差函數(shù)，其輸出范圍為，

11、輸出層則采用線形函數(shù)，即函數(shù)，使網(wǎng)絡(luò)輸出具有任意大小的值。采用貝葉斯正則化方法的訓(xùn)練性能函數(shù)來提高神經(jīng)網(wǎng)絡(luò)的推廣能力（或稱泛化能力）。采用圖所示的標(biāo)定板，標(biāo)定板上打印有×個圓。定義世界坐標(biāo)系如下：以左下角的圓的圓心為原點(diǎn)，向上與標(biāo)定板高度方向平行為軸正向，向右與標(biāo)定板寬度方向平行為軸正向，向后與導(dǎo)軌方向平行的方向?yàn)檩S正向。將標(biāo)定板在軸方向移動個位置，兩位置間隔為。令最前端即與攝像機(jī)最近一處的位置，則。這樣，個位置共提取個標(biāo)定點(diǎn)，將它們分為兩組，一組用來訓(xùn)練網(wǎng)絡(luò)，另一組用來校驗(yàn)網(wǎng)絡(luò)性能。從每個標(biāo)定平面的左上角第一個標(biāo)定點(diǎn)起，取相互間隔的標(biāo)定點(diǎn)作為樣本點(diǎn)，這樣每個標(biāo)定平面可取個樣本點(diǎn)，個

12、標(biāo)定平面共取個樣本點(diǎn)。將這個樣本點(diǎn)的左右圖像坐標(biāo)和其對應(yīng)的世界坐標(biāo)作為第一組用來訓(xùn)練網(wǎng)絡(luò)，將剩余的個標(biāo)定點(diǎn)的左右圖像坐標(biāo)作為校驗(yàn)點(diǎn)輸入到收斂的網(wǎng)絡(luò)里進(jìn)行仿真，將仿真結(jié)果與實(shí)際三維世界坐標(biāo)比較，考察此方法的訓(xùn)練精度。仿真分析用神經(jīng)網(wǎng)絡(luò)工具箱中提供的函數(shù)創(chuàng)建網(wǎng)絡(luò)，用函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，用函數(shù)進(jìn)行仿真。仿真結(jié)果與目標(biāo)結(jié)果的對比如圖所示，圖中表示目標(biāo)輸出，表示仿真輸出。表給出了仿真出的三維坐標(biāo)值在、和三個坐標(biāo)軸方向上的平均誤差、最大誤差和均方差。從表中可以看出軸的誤差稍大，這主要是由于標(biāo)定板在軸方向的位置是從導(dǎo)軌上面讀出的，受操作者影響較大，故標(biāo)定結(jié)果誤差稍大。兩類標(biāo)定方法的比較 下面所述的基于圓的平模

13、板的標(biāo)定方法（方法）和基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法（方法）進(jìn)行比較，由于兩種方法計(jì)算空間點(diǎn)的世界坐標(biāo)所設(shè)定的世界坐標(biāo)系不同，故不能用點(diǎn)的世界坐標(biāo)進(jìn)行比較，而采用計(jì)算線段長度的辦法。將標(biāo)定板放在到之間的任一位置處（最好不要是用于提取訓(xùn)練樣本的位置），如圖所示。分別用兩種方法來求圖中標(biāo)號為、的個圓的圓心之間的連線至的長度，分別與實(shí)際值進(jìn)行比較，以此來檢測兩種標(biāo)定方法的標(biāo)定效果。表為分別用兩種方法計(jì)算出來的條線段的長度，由此表可以看出，所論述的基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法的標(biāo)定結(jié)果優(yōu)于前面所述的基于圓心的平面模板的標(biāo)定方法，這說明基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法可以獲得較高的標(biāo)定精度，而且不需要預(yù)先建立雙目立體視覺的數(shù)學(xué)模型，為雙目立體視覺系統(tǒng)標(biāo)定提供了一種新的方法。但是，基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法對標(biāo)定板定位比較嚴(yán)格，其位置測量的準(zhǔn)確程度對標(biāo)定精度的影響較大。結(jié)論本文在實(shí)驗(yàn)分析基礎(chǔ)上提出基于圓心的平面模板的雙目立體視覺系統(tǒng)標(biāo)定方法，通過與基于平面方格角點(diǎn)的標(biāo)定方法和基于平面方格形心的標(biāo)定方法進(jìn)行對