張氏標(biāo)定法原理及其改進(jìn)1

張正友算法原理及其改進(jìn)由于世界坐標(biāo)系的位置可以任意選取，我們可以假定世界坐標(biāo)系和攝像機(jī)坐標(biāo)系重合，故定義模板平面落在世界坐標(biāo)系的Z=0平面上。用r表示R的每一列向量，那么對平面上的每一點，有：=A[r1XWYW01=A[=A[r1XWYW01=A[r1XWYW1(3.1)這樣，在模板平面上的點和它的像點之間建立了一個單應(yīng)性映射H，又稱單應(yīng)性矩陣或投影矩陣。如果已知模板點的空間坐標(biāo)和圖像坐標(biāo)和M，可以求解單應(yīng)性矩陣H。(X,Y,1)(u,v,1)那么就已知muXWV=HYW11，其中H=因為swh11h21h31wh12h22h32h13h231，可推出:su=hX+hY+h(3.2)11W12W13<sv=hX+hY+h21W22W23s=hX+hY+131W32W(3.2)故，(3.3)u=h11Xw+VW+h13h31XW02。+1hX+hY+hV=_W2^-W23(3.3)h31XWfl+1將分母乘到等式左邊，即有〔VXWh+vY〔VXWh+vYh+v31W32=h21X+hWY+h22W23又令h'=h11h12h13h21h22h23h31h32L，則WW00100XW0YW01-uXW-vXW-uY-W-vYWh'=uv12YW+h13多個對應(yīng)點的方程疊加起來可以看成Sh=d。利用最小二乘法求解該方程，即h'=(StS)-1STd，進(jìn)而得到H。|uXh+uYh+u=hX+hW31W3211W(3.4)(3.5)攝像機(jī)內(nèi)部參數(shù)求解在求取單應(yīng)性矩陣后，我們進(jìn)一步要求得攝像機(jī)的內(nèi)參數(shù)。首先令氣表示H的每一列向量，需要注意到上述方法求得的H和真正的單應(yīng)性矩陣之間可能相差一個比例因子，則H可寫成：[h1h2h3]=XARrt]

又因為"和七是單位正交向量，所以有hrA-rA-ih2=01hrA-tA-ih=hrA-tA-ih這樣就為內(nèi)參數(shù)的求解提供了兩個約束方程。下面，令TOC\o"1-5"\h\zBB12"isB=A-rA-i=BBB212223墮i"32"331以2以2Pyv-Pu以2Py(yv0-Pu0)v以2P2P2(yv-Pu以2Py(yv0-Pu0)v以2P2P2(yv-Pu)2v2——0~-~0—+i+i以2P2P2—y2i—————+-以2P以2P2P2yv-Puy(yv-Pu)v

°c0-以2P以2P2P設(shè)H的第i列向量為h=[h,h,h]r，因此有iiii2i3hrBh=Vrb(3.7)(3.8)(3.9)(3.10)中V..(3.7)(3.8)(3.9)(3.10)中V..=[hjhh+hh,hh,

iij2i2jii2j2hh+hh,hh+hh,

i3jiiij3i3j2i2j3h.3h」r，那么，就可以將內(nèi)參數(shù)的兩個約束寫成關(guān)于b的兩個方程為:Vr(3.11)(3.12)i2b=0Vr-V(3.11)(3.12)如果有〃幅圖像的話，把它們的方程式疊加起來，得到Vb=0其中，V是一個2nx6的矩陣。當(dāng)n>3時，一般情況下，b可以在相差一個尺度因子的意義下唯一確定；當(dāng)n=2時，此時的方程的個數(shù)少于未知數(shù)的個數(shù)，我們可以加上一個附加約束y=0，即Bi2=0，因此可用[0i0000〕b=0作為式(3.12)的一個附加方程。方程(3.12)的最小二乘解即是VV的最小特征值對應(yīng)的特征向量，將該向量歸一化即得到要求的b，進(jìn)而得到B；當(dāng)n=i時，兩個方程只能解兩個未知數(shù)，我們可以假定光心投影在圖像的中心，從而求出攝像機(jī)在水平和垂直方向上的最大倍數(shù)。一旦b被求出，就能根據(jù)下面兩種方法計算出攝像機(jī)的內(nèi)參數(shù)矩陣A:(1)由b構(gòu)造出B，再利用Cholesky矩陣分解算法求解出A-i，再求逆得到A。(2)由b構(gòu)造出B,在相差一個尺度因子的意義下(B=人A-rA-i,其中為人尺度因子)，由絕對二次曲線的性質(zhì)，很容易求出攝像機(jī)的內(nèi)部參數(shù)：TOC\o"1-5"\h\zv=(BB—BB)/(BB—B2)012131123112212X=B-[B2+v(BB-BB)]/B221301213112311f=^X7b~x11f=&/B(BB-B2))y'11112212a=-B12f2f/Xu=av/f-Bf2/X00x13x攝像機(jī)外部參數(shù)求解由每幅圖像的單應(yīng)性矩陣H和上一節(jié)的計算結(jié)果就可以求得每幅圖像的外部參數(shù)。一旦A求得后，根據(jù)式(3.6)，每幅圖像的外部參數(shù)很容易求出：r=XA-1hr=XA-1hr=rxrt=XA-1h11223123這里的尺度因子X=1/||A-1hJ|=1/||A-1hJ|o當(dāng)然，由于圖像必然有噪聲，因此這樣解得的R=[r,r,r]并不能完全滿足旋轉(zhuǎn)矩陣的性質(zhì)，所以要從一個給定123的矩陣求解一個最佳的旋轉(zhuǎn)矩陣。非線性優(yōu)化(優(yōu)化內(nèi)參)以上我們所得到的攝像機(jī)的內(nèi)參數(shù)矩陣和每幅圖像對應(yīng)的外參數(shù)矩陣都只是一個粗糙解，沒有具體的物理意義，可以通過最大似然估計對所有參數(shù)進(jìn)行非線性優(yōu)化，進(jìn)一步求精。在這里可以假定有〃幅關(guān)于模板平面的圖像，模板平面上有m個標(biāo)定點，那么可建立評價函數(shù)：(3.13)C=廿i=1j=1其中m是第i幅圖像中的第j個像點，R是第i幅圖坐標(biāo)系的旋轉(zhuǎn)矩陣，t是''!(3.13)第，幅圖坐標(biāo)系的平移向量，M是第j個點的空間坐標(biāo)，m(A,R,t,M)是通過這些已知量求得的像點坐標(biāo)。由于旋轉(zhuǎn)矩陣有9個參量但是只有三個自由度，因此可用三個參量的矢量來表示，即一個旋轉(zhuǎn)可由一個三維向量即旋轉(zhuǎn)向量來表示，他的方向就是旋轉(zhuǎn)軸的方向，他的模等于旋轉(zhuǎn)角。由三個歐拉角參數(shù)確定，r(r,r,r)r是旋轉(zhuǎn)矩陣的羅德里克(Rodrigues)表123示，R與r之間的關(guān)系由公式給出：R=I+sin0/0[r]+(1-cos0)/02[r]2其中，旋轉(zhuǎn)向量r=(x,y,z)r，定義由它構(gòu)成的反對稱矩陣為其中9=32+y2+z2=11rII是旋轉(zhuǎn)角。VJ使評價函數(shù)最小的A,R,ti，心j就是這個問題的最優(yōu)解。這是一個經(jīng)典的非線性最小二乘問題，對式(3.13)求極小值仍采用Levenberg-Marquardt算法來求解，其初始估計可利用上面線性求解的結(jié)果。很明顯可以看出，計算順序依次是投影矩陣、內(nèi)部參數(shù)、外部參數(shù)，最后進(jìn)行優(yōu)化。對徑向畸變處理(u,v)理想像素坐標(biāo)，(U,而為實際的像素坐標(biāo)，同樣(x,y)和(云y)為理想和實際的圖像坐標(biāo)。x=x+x[k(x2+y2)+k(x2+y2)2]

y=y+y[k](x2+y2)+k2(x2+y2)2]其中，k1,k2為徑向畸變，對于中心點畸變同樣適用:u=u+(u一u)[k(x2+y2)+k(x2+y2)2]v=v+(v一v)[k(x2+y2)+k(x2+y2)2]可以通過下面的方法求解畸變系數(shù):kk2」(u-u)(x2+y2)(u-u)(x2+y2)2(v-v)(x2+y2)(v-v)(x2+y2kk2」可以利用極大似然估計來得到畸變系數(shù):空m||i=1J=12m一m(A,k,k,R,t,M空m||i=1J=1非線性優(yōu)化的過程:采用高斯一牛頓方法，而沒有用Levenberg一Marquardt(LM)法是因為在實際應(yīng)用中發(fā)現(xiàn)，如果沒有先驗知識，LM法阻尼因子u不知道去什么值合適，而隨意的取值使得方程在求解時收煙速度慢。而高斯一牛頓法在求解的附近一般收斂速度快，雖然對初始值要求嚴(yán)格，當(dāng)初始值與實際值偏離的太遠(yuǎn)，其系數(shù)陣JTJ容易出現(xiàn)病態(tài)解，但是，所以參數(shù)的初始值必須要做優(yōu)化。項(KA,*,八虬)t=tj=]

這里m（K,K,R,T,M）是點M.按照投影公式在第i幅圖片上的投影，Kciijj是攝像機(jī)標(biāo)定內(nèi)參數(shù)矩陣，K是畸變系數(shù)矩陣，Ri、T.是第i副圖像的外參數(shù)矩陣，其中R通過Rodrigues公式用三個參數(shù)的旋轉(zhuǎn)向量r來表達(dá)優(yōu)化的步驟：（1）、首先確定目標(biāo)函數(shù)。這里的優(yōu)化的目的是使優(yōu)化后的外參數(shù)，按照本文建立的攝像機(jī)模型將空間點投影到圖像平面上時，投影點與實際獲取的圖像控制點之間的殘差平方和最小。不妨設(shè)投影函數(shù)為"偵，3：匚虬）其中k是攝像機(jī)內(nèi)參數(shù)矩陣，"Tuid是畸變系數(shù)矩陣，丁是旋轉(zhuǎn)向量，T是平移矩陣，"二1」一⑴是模板平面上控制點Mi的坐標(biāo)。"-是投影點圖像像素坐標(biāo)，該點實際的圖像坐標(biāo)是\共n個控制點。要優(yōu)化外參數(shù)，則最后需要的偏導(dǎo)數(shù)系數(shù)Jacobian矩陣dm./dr和dm./dT得組合，而函數(shù)、））顯然是個復(fù)合函數(shù)，因此這實際上是個復(fù)合函數(shù)求偏導(dǎo)的問題。下面針對第一次迭代即r=r0、T=T0為初值時的一個點..廣。1來分步求解第一步，是r與R的轉(zhuǎn)換。由Rodrigues公式可以求出I-cos^?r「PT&2&=Rodrigues^）和。&/粉",因為］＜有9個元而r有3個元，顯然兩伽"是個9號的矩陣，如（4一32、(4.32)I-cos^?r「PT&2(4.32)(4.33)(434)

艾小奇..蕓.卜：55這里偏導(dǎo)數(shù)矩陣中的下標(biāo)i表示求出偏導(dǎo)數(shù)矩陣后，再將當(dāng)前點（即第i點）各相應(yīng)坐標(biāo)代入以求得偏導(dǎo)數(shù)系數(shù)矩陣。設(shè)機(jī)=區(qū),％力）七m=（y，tz）「，則很容易求得就仞…電瓦=流掙'(434)艾小奇..蕓.卜：55這里偏導(dǎo)數(shù)矩陣中的下標(biāo)i表示求出偏導(dǎo)數(shù)矩陣后，再將當(dāng)前點（即第i點）各相應(yīng)坐標(biāo)代入以求得偏導(dǎo)數(shù)系數(shù)矩陣。設(shè)機(jī)=區(qū),％力）七m=（y，tz）「，則很容易求得就仞…電瓦=流掙'…電％按洌-記依「％0。匕0oZ前。=°n00匕00孔〔0°Y00么0D(4拓)因為虬有3個元而R有9個元,00ZHJJ11是…次函數(shù)，所以匕L弋的結(jié)果是很明禰J同時可以看出，若直接以R為參量，因為復(fù)合函數(shù)求偏導(dǎo)是偏導(dǎo)矩陣相乘的關(guān)系，則由于是3*9矩陣而'村.『西是3、；3中；'：。第三步，將厲Mci轉(zhuǎn)化為歸一化圖像坐標(biāo)。設(shè)M,的歸一化圖像坐標(biāo)為M可得Mni的計算公式及其偏導(dǎo)數(shù)系數(shù)陣：ci第三步，將厲Mci轉(zhuǎn)化為歸一化圖像坐標(biāo)。設(shè)M,的歸一化圖像坐標(biāo)為M可得Mni的計算公式及其偏導(dǎo)數(shù)系數(shù)陣：cici?，nix_XCi(4.36)商dr(1=20注意：(4、37)bi\''(8)/=i,,b.■-IL勺】表示qxp系數(shù)矩陣B將與矩陣A中的所有分塊矩陣七（i=1,2,,n,j=1,2,,m）均相乘，其中分塊矩陣A^（i=1,2,,n,j=1,2,,m）的行數(shù)等于系數(shù)矩陣B的列數(shù)p。

第四步，計算考慮有圖像畸變的歸一化圖像坐標(biāo)。設(shè)「?《'」..'.『,’，則含有畸變的歸一化圖像坐標(biāo)和偏導(dǎo)數(shù)系數(shù)陣可由歸一化公式（4.38）式來計算（4.39）（4.40）：「七1M祁-.438）「孩］|~又［11■"卜頃乂尸］義2前』-乩（3丸\疔）I_=（439）頃」［用I+a'+饋如饋'］++3丸’）+%戒"「&麗』二仲"「如源』-泠ST」|gE［腕兒*37liI（4.40）=?叮亟亟］［c印3T」Ln并且可以算得其中八［（1+標(biāo)尸+左,+灼汽+；（2*+4頊+庶尸）+（2內(nèi)下+6成）|j卜氏丸（2耳+"+6垢，）+（2p￡+6a丸）Lc=［xiiyn（2k1+4"J6上尸）+（2/低十6夕疣）d=［（1+佑尸+頃+"與+襯（2肉+4偵'+6"』）+（%丸十2p成）.對畸變系數(shù)的優(yōu)化:dmnd=dKcxdmnd=dKcxr2n—一2yr2nxnr4yr4jl,⑷心)8mdmndfajl,⑷心)8mdmndfau0fV8m8m8maT=(~m]cndc8m=8m=xnddK~[00ynd0100ynd1'到此我們得到了第一次送代求得扇像素點坐標(biāo)和迭代增屆公式中所需的Jacobiinitial即優(yōu)化外部參數(shù)：山』里^11L濟(jì)泣」卜=仆5優(yōu)化全局參數(shù)：j=[8m8m8m8mi8K'8K'8r'8T1，r0，T0第六步，求第一次迭代產(chǎn)生的偏差，并由式:網(wǎng)三{尸J)\尸虬{444)A6=(JtJ)-1Jt&i計算參數(shù)迭代增量，為下一次迭代做準(zhǔn)備。q=m,.-mj/_IBP=八（4.46）或

LJ然.希從第?步升始，用參數(shù)初始值/*+彼、咋、本+如替代gL進(jìn)仃第：次迭代,人斷循沼，百到得到合適的參量值后結(jié)束需要注明的是對巳44)稱為高斯-牛頓法.若0-(J『J頊)*0則為Levenberg-Marquardvi改進(jìn)的方法具體介紹(1)、改進(jìn)的平面模板兩步法標(biāo)定攝像機(jī)一一毛劍飛，鄒細(xì)勇，諸靜該方法張正友提出用平面模板兩步法來標(biāo)定攝像機(jī)。該方法能高精度地標(biāo)定攝像機(jī)，且簡便易行，可以說是兩步法標(biāo)定的代表，但其算法模型僅考慮了鏡頭徑向畸變，其對切向畸變較大的場合，如魚眼鏡頭成像，則不適用。為此，通過改進(jìn)其攝像機(jī)模型，提出了一種改進(jìn)的兩步法，該方法先用圖像中心附近點求取初值，由于圖像中心附近點畸變很小，故求取的初值能很好地逼近準(zhǔn)確值，然后采用一種基于內(nèi)部映射牛頓法的子空間置信域法通過求精來得到所有參數(shù)。由于兩步法要求一個比較好的初值，若初值選擇不當(dāng)，則算法難以收斂或只能收斂到局部最小，從而大大降低標(biāo)定精度。zhang的方法缺點在求取初值中，雖先不考慮各種畸變，而是先將所有點代入求解，但由于遠(yuǎn)離圖像中心的像點畸變很大，如將這些點也看作沒有畸變的像點代入，顯然會加大求解初值的誤差，但由于考慮到圖像中心附近點的畸變很小，因此可以先利用圖像中心附近點求取初值。本文算法正是基于這點考慮的，由于本文算法準(zhǔn)確地計算了初值，因此接下來的全面考慮各參數(shù)的非線性最小化計算就能很快收斂。仿真攝像機(jī)的特性：分辨率為768X576像素，真實實驗使用三星SCC-421P型彩色攝像機(jī)，分辨率為576X768,模板是用激光打印機(jī)打印7X10的國際象棋圖案，并貼在硬塑料板上制成的標(biāo)定模板，每格邊長2.5000cm。因為整個包括角點檢測的標(biāo)定程序已經(jīng)編好，所以只要讓模板對著攝像機(jī)隨意轉(zhuǎn)動幾次，即可完成標(biāo)定，時