張?；ńY(jié)構(gòu)光視覺測量系統(tǒng)的計算機仿真

1、結(jié)構(gòu)光三維成像系統(tǒng)的計算機仿真張?；?李勇國家自然科學(xué)基金項目資助（60702078）張海花（1983年9月），女，河北邯鄲人，現(xiàn)為浙江師范大學(xué)信息光學(xué)研究所碩士研究生，主要研究方向為信息光學(xué)，E-mail：*通信作者 許富洋 金可有（浙江師范大學(xué)信息光學(xué)研究所，浙江 金華 321004）摘要 以相位測量輪廓術(shù)為例，由攝像機模型出發(fā)，提出一個結(jié)構(gòu)照明三維成像系統(tǒng)的高精度計算機仿真算法。對于給定的物體三維模型，首先根據(jù)系統(tǒng)結(jié)構(gòu)，采用z緩沖技術(shù)消除遮擋和陰影部分，得到與攝像機像素點對應(yīng)的物體表面采樣點三維坐標(biāo)。其次基于投影是攝像的逆過程這一事實，使用統(tǒng)一的數(shù)學(xué)模型和方法處理投影過程。根據(jù)攝像機及投

2、影儀的內(nèi)、外參數(shù)，最終得到了攝像機像素點、物體表面采樣點和投影儀像素坐標(biāo)三者之間的對應(yīng)關(guān)系。從而實現(xiàn)了結(jié)構(gòu)照明三維成像系統(tǒng)仿真，為實際系統(tǒng)的結(jié)構(gòu)設(shè)計、調(diào)整和參數(shù)校正提供了新的途徑。關(guān)鍵詞 光學(xué)三維傳感、結(jié)構(gòu)照明、相位測量輪廓術(shù)中圖分類號 TN206 文獻標(biāo)識碼 Computer Simulation to Measurement System Using Structured IlluminationZHANG Haihua LI Yong XU Fuyang JIN Keyou（Institute of Information Optics, Zhejiang Normal Universi

3、ty, Jinhua 321004）Abstract A method with high precision is proposed to simulate measurement system using structured illumination. Phase measuring profilometry (PMP) is taken as an example to simulate measurement system. Above all, according to the intrinsic and extrinsic parameters of camera, 3D coo

4、rdinates of sampling points on the object surface are calculated from the corresponding pixels of camera. Z buffering technique is used to eliminate the shadow and occlusion. Then projector is regarded as camera acting in reverse in accordance with the reversibility of light path principle. Uniformm

5、odel is used to process the projector. Finally, the result shows the corresponding relations among camera coordinate, sampling point of object, projector coordinate. Therefore, 3D structured illumination system is simulated. A new way is provided to design and adjust practical system.Keywords Optica

6、l 3D sensor, Structured illumination, Phase measuring profilometry1 引 言基于結(jié)構(gòu)光照明的三維成像技術(shù)是目前廣泛應(yīng)用的一種非接觸測量技術(shù)1 2，在檢測工業(yè)產(chǎn)品質(zhì)量、物體識別、虛擬現(xiàn)實、文物修復(fù)等方面都有廣闊的應(yīng)用前景。利用計算機對測量系統(tǒng)進行仿真，可以減少系統(tǒng)設(shè)計的工作量，為優(yōu)化系統(tǒng)提供了便利。梁、蘇等3提出了一種結(jié)構(gòu)照明三維成像系統(tǒng)的仿真方法。該方法采用反向光線追跡方法，實現(xiàn)了無畸變的、投影光軸和成像光軸共面情況下的測量系統(tǒng)仿真，取得了很好的結(jié)果。本文從攝像機的數(shù)學(xué)模型出發(fā)，考慮攝像機和投影儀的畸變之后，提出一種結(jié)構(gòu)照明三維

7、成像系統(tǒng)的高精度計算機仿真算法，可實現(xiàn)多種結(jié)構(gòu)的系統(tǒng)仿真。本文還討論了仿真的原理、方法及結(jié)果。2 仿真系統(tǒng)原理2.1 攝像機數(shù)學(xué)模型如圖1所示，理想情況下攝像機的成像模型可以用針孔模型表示4。其中XwYwZw為世界坐標(biāo)系，XcYcZc為攝像機坐標(biāo)系，uv為圖像坐標(biāo)系。世界坐標(biāo)系中一點p(Xw,Yw,Zw)的攝像機坐標(biāo)(Xc,Yc,Zc)可以表示為： （1）其中R為世界坐標(biāo)系到攝像機坐標(biāo)系的旋轉(zhuǎn)矩陣，T為平移向量。成像系統(tǒng)投影系統(tǒng)待測物體參考平面圖2 PMP測量原理圖Fig.2 Sketch diagram of PMPuv(u0, v0)(u, v)XcZcYcXwYwZwpf圖1 攝像機模型

8、Fig.1 Model of camera由于攝像機存在光學(xué)系統(tǒng)的加工誤差和裝配誤差，實際成像系統(tǒng)與理想的針孔模型之間存在光學(xué)畸變誤差。鏡頭畸變主要有徑向畸變和切向畸變。因此在模擬結(jié)構(gòu)光三維成像系統(tǒng)時，需要考慮攝像機畸變。令x=Xc/Zc,y=Yc/Zc，對攝像機坐標(biāo)歸一化，則攝像機的徑向畸變可表示為： （2）其中 r2=x2+y2,k1,k2為徑向畸變參量。攝像機的切向畸變可表示為 （3）其中 p1,p2為切向畸變參量?？紤]攝像機畸變之后，p點在歸一化攝像機坐標(biāo)系中的實際坐標(biāo)可表示為： （4）再由透視變換可以得到p點在圖像坐標(biāo)系中的坐標(biāo)： （5）其中fu、fv分別為u、v兩個方向的歸一化焦距

9、，s為坐標(biāo)軸的傾斜因子，u0、v0分別為主點的圖像坐標(biāo)。在結(jié)構(gòu)照明三維成像系統(tǒng)仿真中，除了成像外還需要由uv坐標(biāo)求XWYWZW坐標(biāo)。這是一個后向投影問題，由于畸變模型（2）、（3）兩式為非線性方程，一般無法求出x，y。因此需要其他方法，常用的有疊代法、多項式近似等方法5。本文采用疊代法求解。2.2 對應(yīng)點求解原理圖2為結(jié)構(gòu)照明三維成像系統(tǒng)的原理示意圖。系統(tǒng)主要由投影儀、攝像機組成。由投影儀投射編碼結(jié)構(gòu)光，攝像機拍攝被物體表面反射的圖案，通過分析圖案得到攝像機和投影儀的對應(yīng)點對。根據(jù)三角關(guān)系得到物體表面三維形貌。仿真中，我們將攝像機看成投影儀。從攝像機像面坐標(biāo)（u,v）出發(fā)，根據(jù)攝像機內(nèi)參數(shù)，由

10、(6)式求出其對應(yīng)的有畸變得歸一化坐標(biāo)(xd,yd)。 （6）然后根據(jù)攝像機的畸變系數(shù)，采用疊代法求出消除畸變后的歸一化坐標(biāo)(x,y)。最后根據(jù)攝像機外參數(shù)，采用光線追跡法得到攝像機像面坐標(biāo)（u,v）對應(yīng)的物體表面采樣點坐標(biāo)（XW,YW,ZW）和亮度。獲得物體表面采樣點坐標(biāo)后再根據(jù)投影儀參數(shù)，應(yīng)用公式（1）到（5）計算得到對應(yīng)的投影儀圖像坐標(biāo)。這樣就完成了攝像機圖像坐標(biāo)、物體表面采樣點和投影儀圖像坐標(biāo)之間的對應(yīng)點計算。2.3 陰影及隱藏面消除方法測量系統(tǒng)參數(shù)物體描述設(shè)置光源、攝像機位置求解攝像機圖像坐標(biāo)（u,v）對應(yīng)的物點（XW,YW,ZW）求解物點（XW,YW,ZW）對應(yīng)的投影儀圖像坐標(biāo)圖3

11、 仿真流程圖Fig.3 Flow chart of simulation圖4 模型三維數(shù)據(jù)Fig.4 3D data of model陰影是指在投影儀視線方向上被遮擋的待測物體表面。將投影儀看成光源，我們利用OpenGL在投影儀位置處設(shè)置與投影儀屬性相同的光源，得到陰影區(qū)域。隱藏面是指在攝像機視線方向上被遮擋的待測物體表面。我們利用OpenGL的Z緩沖技術(shù)來消除隱藏面。即在OpenGL中設(shè)置攝像機位置，進行渲染后讀取其z-buffer中的數(shù)據(jù)，得到的就是消除隱藏面和陰影后的物體表面采樣點。3 計算機模擬流程及結(jié)果我們采用OpenGL進行仿真，程序設(shè)計的流程如圖3所示。首先給出測量系統(tǒng)結(jié)構(gòu)參數(shù)并

12、選擇物體描述；其次根據(jù)系統(tǒng)結(jié)構(gòu)參數(shù)設(shè)置光源、攝像機位置；再讀取其z-buffer中的數(shù)據(jù)，得到消除隱藏面和陰影后的物體表面采樣點的Z軸坐標(biāo)Zw和物體的反射率；最后由攝像機像面坐標(biāo)（u,v）及對應(yīng)的世界坐標(biāo)Zw出發(fā)，根據(jù)系統(tǒng)參數(shù)建立攝像機像素點、物體表面采樣點和投影儀像素坐標(biāo)三者之間的對應(yīng)關(guān)系。圖4為采用3d建模軟件得到的仿真用三維模型。圖5為模型的反射率。系統(tǒng)的結(jié)構(gòu)參數(shù)如下：攝像機到世界坐標(biāo)系的旋轉(zhuǎn)向量Rc-0.0103,0.9902,0.1389; 0.9996,0.0066,0.0270; 0.0259,0.1392,-0.9899,平移向量為: Tc=-115.0183;-214.512

13、8;583.9590; 攝像機的內(nèi)部畸變參數(shù)為kc1=-0.11514; kc2=-0.27057; pc1=-0.00175; pc2=-0.00061;投影儀到世界坐標(biāo)系的旋轉(zhuǎn)向量Rp-0.0314, 0.9933, -0.1113; 0.9989, 0.0272, -0.0392; -0.0359, -0.1124, -0.9930,平移向量Tp=-108.7161; -69.4706;887.7411;投影儀的內(nèi)部畸變參數(shù)為kp1=-0.09364; kp2=0.07413; 圖5 模型反射率Fig.5 Reflectivity of model圖6 變形條紋Fig.6 Deforme

14、d patternspp1=-0.00265; pp2=-0.00122;攝像機到投影儀的旋轉(zhuǎn)向量om=-0.06774,0.24509,0.01897,平移向量T=-147.19253, 105.14389, 274.74243。用設(shè)計的仿真軟件對相位測量輪廓術(shù)系統(tǒng)進行仿真，根據(jù)測量系統(tǒng)結(jié)構(gòu)參數(shù)，模擬系統(tǒng)的成像過程，計算得出投影儀的圖像坐標(biāo)。考慮了模型的反射率之后，得到了圖6所示的變形條紋，其中條紋周期為8個像素。4 結(jié) 論利用計算機進行結(jié)構(gòu)照明三維成像系統(tǒng)的仿真，可以減少系統(tǒng)設(shè)計的工作量，為測量系統(tǒng)的結(jié)構(gòu)優(yōu)化提供方便。根據(jù)光路可逆原理，從攝像機數(shù)學(xué)模型出發(fā)，采用統(tǒng)一的模型處理成像和投影過程

15、，設(shè)計了結(jié)構(gòu)照明三維成像系統(tǒng)的高精度計算機仿真軟件。利用該軟件及3d建模得到的數(shù)據(jù)，對PMP測量系統(tǒng)進行了仿真，達到了預(yù)期目的，為實際PMP系統(tǒng)的結(jié)構(gòu)設(shè)計和參數(shù)校正提供了新的途徑。參考文獻：1 F. Chen, G. M. Brown, M. Song. Overview of three-dimensional shape measurement using optical methodsJ. Opt. Engng., 2000, 39(1):10-22.2 Su Xianyu, Bally G. V. , Vukicevic D. Phase stepping grating profilometry : Utilization of intensity modulation analysis in complex objects evaluationJ. Opt. Commun., 1993 , 98 (1) : 141-150.3 梁曉萍,蘇顯渝. 物體面形對結(jié)構(gòu)光場的空間調(diào)制:計算機模擬J. 光電工程，1994，2