三維數(shù)字化建模與逆向工程（第四章）

第4章結(jié)構(gòu)光掃描測量技術(shù)

結(jié)構(gòu)光視覺測量方法的研究始于20世紀(jì)70年代，由激光三角法測量原理發(fā)展而來，是目前工業(yè)領(lǐng)域內(nèi)廣泛應(yīng)用的一種視覺測量方法，具有結(jié)構(gòu)簡單、圖像處理容易、實用性強及精度較高等優(yōu)點4.1.1結(jié)構(gòu)光視覺原理光點式結(jié)構(gòu)光測量方法需要通過逐點掃描物體進(jìn)行測量，圖像攝取和圖像處理需要的時間隨著被測物體的增大而急劇增加，難以完成實時測量。用線結(jié)構(gòu)光代替點光源，只需要進(jìn)行一維掃描就可以獲得物體的深度圖，圖像獲取和圖像處理的時間大大減少。4.1.1結(jié)構(gòu)光視覺原理結(jié)構(gòu)光視覺傳感器由結(jié)構(gòu)光投射器和攝像機組成。結(jié)構(gòu)光投射器將一定模式的結(jié)構(gòu)光投射于被測物表面，形成可視特征。根據(jù)機構(gòu)光模式的不同，常見的可是特征有激光點、單條激光條和多條相互平行的激光條等。攝像機采集被測物表面含有可視特征的圖像，傳輸?shù)接嬎銠C進(jìn)行處理，解算可視特征中心的精確空間三維坐標(biāo)。4.1.2點結(jié)構(gòu)光視覺傳感器數(shù)學(xué)模型點結(jié)構(gòu)光視覺傳感器投射器發(fā)射出一束激光，在被測物表面形成光點

4.1.3線結(jié)構(gòu)光視覺傳感器數(shù)學(xué)模型采用線結(jié)構(gòu)光時，將二維的結(jié)構(gòu)光圖案投射到物體表面上，這樣不需要進(jìn)行掃描就可以實現(xiàn)三維輪廓測量，測量速度很快。線結(jié)構(gòu)光視覺傳感器的投射器發(fā)射出一個光平面，投射在被測物表面形成一條被調(diào)制的二維曲線，在曲線上采樣獲得被測點4.1.4多線結(jié)構(gòu)光視覺傳感器數(shù)學(xué)模型

多線結(jié)構(gòu)光視覺傳感器的投射器在空間射出多個平面光平面，光平面與被測物相交，形成多個被調(diào)制的二維曲線，在這些曲線上采樣獲得被測點4.1.5光柵投影傳感器數(shù)學(xué)模型將光柵圖案投射到被測物表面，受物體高度的調(diào)制，光柵條紋發(fā)生形變，這種變形條紋可解釋為相位和振幅均被調(diào)制的空間載波信號。采集變形條紋并且對其進(jìn)行解調(diào)可以得到包含高度信息的相位變化，最后根據(jù)三角法原理計算出高度，這類方法又稱為相位法。基于相位測量的三維輪廓測量技術(shù)的理論依據(jù)也是光學(xué)三角法，但與光學(xué)三角法的輪廓術(shù)有所不同，它不直接去尋找和判斷由于物體高度變動后的像點，而是通過相位測量間接地實現(xiàn)，由于相位信息的參與，使得這類方法與單純光學(xué)三角法有很大區(qū)別。4.1.6結(jié)構(gòu)光視覺傳感器標(biāo)定方法結(jié)構(gòu)光視覺傳感器的標(biāo)定和攝像機模型參數(shù)的標(biāo)定和攝像機坐標(biāo)系與參考坐標(biāo)系間的轉(zhuǎn)換關(guān)系的標(biāo)定，將攝像機的模型參數(shù)稱為攝像機內(nèi)參數(shù)，將攝像機坐標(biāo)系與參考坐標(biāo)系間的轉(zhuǎn)換關(guān)系稱為傳感器結(jié)構(gòu)參數(shù)。這里著重討論傳感器結(jié)構(gòu)參數(shù)的標(biāo)定方法。視覺傳感器結(jié)構(gòu)參數(shù)的標(biāo)定方法是：在攝像機內(nèi)參數(shù)精確標(biāo)定的前提下，首先在空間設(shè)置能夠被攝像機捕獲的可視特征點，利用其它測量儀器測出可視特征點在空間的精確位置關(guān)系，帶入到傳感器視覺模型，求解模型中的旋轉(zhuǎn)矩陣R和平移矩陣T。傳感器結(jié)構(gòu)參數(shù)的標(biāo)定方法主要有拉絲法、齒形靶標(biāo)法、基于交比不變的標(biāo)定方法和2D（3D立體）靶標(biāo)法。4.1.6結(jié)構(gòu)光視覺傳感器標(biāo)定方法1.拉絲法拉絲法是將結(jié)構(gòu)光投射到幾根不共面的細(xì)絲上，形成三個以上的共面亮點。采用其他的測量手段（如經(jīng)緯儀）測量亮點的精確三維空間坐標(biāo)，代入結(jié)構(gòu)光視覺成像模型算傳感器的結(jié)構(gòu)參數(shù)。

2.齒形靶標(biāo)法齒形靶標(biāo)法是一種利用簡單一維工作臺和齒形靶標(biāo)標(biāo)定線結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)參數(shù)的方法，稱為齒形靶標(biāo)法。齒形靶標(biāo)法操作簡單，速度快，對可見光和不可見光均適用。3.基于交比不變法清華大學(xué)的徐光祐教授和澳大利亞的Huynh教授分別在1995年和1999年提出利用交比不變性原理獲取標(biāo)定點的方法。利用一個至少含有3個共線點的靶標(biāo)，精確測量共線點的精確三維坐標(biāo)，使結(jié)構(gòu)光傳感器的光平面投射到靶標(biāo)平面，形成一條直線光條，光條與靶標(biāo)上共線點所在直線相交，交點必位于光平面上，利用交比不變性獲取交點的坐標(biāo)，從而標(biāo)定出傳感器的結(jié)構(gòu)參數(shù)。4.基于共面靶標(biāo)標(biāo)定法基于共面靶標(biāo)的線結(jié)構(gòu)光傳感器快速標(biāo)定方法是，僅需要一個共同靶標(biāo)，通過攝像機投影中心及光條在攝像機像面上的信息，求解光平面內(nèi)兩條不重合的直線，得到光平面方程，從而標(biāo)定傳感器的結(jié)構(gòu)參數(shù)的一種不需要輔助調(diào)整設(shè)備。4.2立體視覺測量立體視覺測量基于立體視差原理建立，利用空間相互關(guān)系已知的多個攝像機獲取同一被測場景的圖像，解算被測物體的三維幾何信息。立體視覺包括雙目立體視覺、三目立體視覺和多目立體視覺，其中雙目立體視覺是最簡單的立體視覺模型，三目立體視覺和多目立體視覺可以看成是雙目立體視覺的擴(kuò)展，能夠以雙目立體視覺模型為基礎(chǔ)建立。4.2.1雙目立體視覺測量模型雙目立體視覺模仿人類雙眼獲取三維信息，有兩個攝像機組成，如圖所示。兩個攝像機與被測物體在空間形成三角關(guān)系，利用空間點在兩個攝像機像平面上成像點坐標(biāo)求取空間點的三維坐標(biāo)。4.2.2雙目立體視覺傳感器標(biāo)定方法由雙目立體視覺測量模型可知，測量前需要預(yù)先標(biāo)定兩攝像機的內(nèi)參數(shù)和兩攝像機間的旋轉(zhuǎn)矩陣R和平移矩陣T，這里著重討論在已知攝像機內(nèi)參數(shù)的情況下，兩攝像機間的旋轉(zhuǎn)矩陣R和平移矩陣T的標(biāo)定方法。通常采用三維精密靶標(biāo)或三維控制場實現(xiàn)傳感器結(jié)構(gòu)參數(shù)的標(biāo)定。采用三維精密靶標(biāo)和三維精密控制場的原理相同，在兩攝像機的公共視場中設(shè)置控制點，利用外部三維坐標(biāo)測量裝置測量控制點三維坐標(biāo)或者給定基準(zhǔn)距離長度，代入雙目立體視覺模型求解傳感器結(jié)構(gòu)參數(shù)。4.3單攝像機測量單攝像機測量是指利用單個攝像機對被測物單次成像，測得被測物三維幾何信息的測量方法。4.3.1單攝像機測量數(shù)學(xué)模型單攝像機測量是利用單個攝像機單次成像結(jié)合控制點技術(shù)實現(xiàn)被測物體空間三維幾何信息測量的一種方法。測量過程中需要利用一個標(biāo)準(zhǔn)的精密靶標(biāo)測頭。靶標(biāo)測頭上設(shè)置若干個控制點，在靶標(biāo)測頭的末端設(shè)置測量球，用于和被測物接觸。靶標(biāo)上的控制點可采用主動發(fā)光方式，也可采用被動反光方式。4.3.2控制點空間坐標(biāo)求解的多義性

利用3個控制點求解控制點A、B、C與投影中心O的距離時，由于方程組的非線性和約束不充分，最終可能得到兩組正解，4.4光束平差測量光束平差測量是基于成像光束空間交會的幾何模型建立的，以光束平差優(yōu)化算法為核心。通過攝像機在測量空間不同位置建立多個測站，從不同位姿對空間被測點采集測量圖像，由高精度圖像處理和同名像點自動配準(zhǔn)技術(shù)獲取光束平差的迭代條件，然后通過光束平差優(yōu)化算法求解出被測點精確的空間三維坐標(biāo)。4.4.1光束平差測量數(shù)學(xué)模型攝像機在不同測站下對同一點的成像光束在空間中必然相交于一點，光束平差測量正是以此為基礎(chǔ)建立的。4.4.2平差初值的獲取在具體的解算過程中，平差初值的選取十分重要，是光束平差測量能否實現(xiàn)的關(guān)鍵。平差初值主要分為3種：①攝像機在各測站下的位置姿態(tài)初值；②被測點三維坐標(biāo)初值；③攝像機內(nèi)部參數(shù)初值。在平差優(yōu)化過程中將對攝像機的內(nèi)部參數(shù)和位姿參數(shù)、測點坐標(biāo)同時進(jìn)行優(yōu)化，并最終同時得到攝像機內(nèi)部參數(shù)精確值，這個過程也稱為攝像機自標(biāo)定過程。如果攝像機在各測站下的位置姿態(tài)初值已知，則可以利用雙目立體視覺模型將被測點在空間的三維坐標(biāo)初值解算出來。因此，在光束平差的3種初值中，攝像機在各測站下的位置姿態(tài)初值的獲取是最關(guān)鍵、最核心的問題。攝像機在各測站下的位置姿態(tài)初值的獲取問題稱為攝像機的初始定向問題。上圖所示的是一個10位的環(huán)形編碼標(biāo)志。編碼標(biāo)志中心的圓稱為定位圓，用于提供編碼標(biāo)志的位置信息；周圍的環(huán)形扇形區(qū)域稱為編碼段，用來提供編碼標(biāo)志的編碼值信息。每個編碼標(biāo)志均對應(yīng)唯一的一個編碼值，在測量圖像中，能夠通過編碼標(biāo)志自身的編碼值實現(xiàn)同名編碼標(biāo)志的匹配。4.5數(shù)字化視覺精密測量系統(tǒng)

數(shù)字化視覺精度測量是數(shù)字近景近景攝影測量、數(shù)字化成像技術(shù)以及工業(yè)應(yīng)用需求相互作用、相互促進(jìn)的結(jié)果。該方法利用單臺或多臺高分辨率數(shù)字相機在不同的位置對已知空間坐標(biāo)的控制點（ControlPoint/GroundPoint）和被測點進(jìn)行成像，利用控制點和被測點的成像特征定位信息，根據(jù)攝影測量中的共線方程，建立同名點對應(yīng)光束的交會約束關(guān)系，經(jīng)由優(yōu)化算法求解出獲取被測點的三維坐標(biāo)信息和被測體的三維形貌。與常規(guī)的視覺測量不同，三維光學(xué)檢測具有大視場、大景深、高精度（相對測量精度）、信息量大、算法復(fù)雜等特點。4.5.1測量系統(tǒng)的構(gòu)成數(shù)字化視覺精密測量系統(tǒng)一般由數(shù)字圖像采集裝置（數(shù)字相機及其附件）、外部方位裝置（EO）、比例基準(zhǔn)尺（ReferenceScaleBar）、編碼特征點(CodedTarget)、控制點(ContrloTarget)、反射特征點(ReflectionTarget)、特征點光學(xué)投射器、特征量塊、測量軟件等構(gòu)成，如圖4-17所示。4.5.1測量系統(tǒng)的構(gòu)成4.5.1測量系統(tǒng)的構(gòu)成1.數(shù)字圖像采集裝置絕大多數(shù)場合采用手持式（便攜式）圖像采集裝置在測量空間內(nèi)（或周圍）實施移動測量（采集），對采集裝置的便攜性有很高要求，同時需要完成閃光控制、自動曝光光強優(yōu)化、編碼點識別、采集圖像存儲或無線傳輸以及必要的圖像壓縮等工作。4.5.1測量系統(tǒng)的構(gòu)成2.參考控制裝置參考控制裝置提供數(shù)字化視覺精密測量中的輔助約束信息，實現(xiàn)空間三維坐標(biāo)的自動化高精度測量。參考控制裝置包含外部方位裝置、比例基準(zhǔn)尺、編碼特征點和控制點等，在不同的測量場合或測量過程中可以同時使用或有選擇部分使用。4.5.1測量系統(tǒng)的構(gòu)成3.測量輔助裝置4.5.1測量系統(tǒng)的構(gòu)成4.測量軟件測量軟件是數(shù)字化視覺精密測量系統(tǒng)的核心之一，完成圖像采集與處理、特征點與編碼點等識別與定位、相機基站外部方位（相對方位）求解、空間特征點三維坐標(biāo)優(yōu)化求解、數(shù)據(jù)處理及輸出等任務(wù)。4.5.2測量原理及工作流程1.測量布局測量時，應(yīng)根據(jù)被測對象的特點及測量要求，合理貼敷反射特征或利用特征點光學(xué)投射器透射光點至被測區(qū)域，按照系統(tǒng)測量處理要求將外部方位裝置（EO）、編碼特征點（CodeTarget）和比例基準(zhǔn)尺（ScaleBar）放置或固定在適當(dāng)?shù)奈恢谩Ｒ话愕?，外部方位裝置在測量中用于確定（定義）世界坐標(biāo)系，在每個測量工程和解算過程中只能固定在一個確定的位置；編碼點用于特征點匹配（同名點匹配）和相機攝影基站方位求解，布局應(yīng)當(dāng)滿足相鄰基站圖像中存在至少4個可識別公共編碼點；比例基準(zhǔn)尺用于現(xiàn)實空間三維坐標(biāo)求解過程中的長度比例比約束，雖然這一比例約束可以利用單一位置放置的比例基準(zhǔn)尺實現(xiàn)，但為了降低測量誤差，增加可靠性，需要在測量空間的不同區(qū)域和方位放置多個位置。2.測量優(yōu)化網(wǎng)絡(luò)建立與圖像采集數(shù)字化視覺精密測量是采用單相機多攝影基站成像的網(wǎng)絡(luò)化優(yōu)化測量方式，為獲得高精度的測量結(jié)果，對攝影成像基站布局及成像數(shù)量方面有著明確要求。3.數(shù)字化視覺精密測量處理過程4.6相機成像基站的外部方位4.6.1初始絕對方位1.參考裝置及其識別2.初始絕對定向求解算法4.6.2相機成像基站的相對方位利用外部方位裝置確定的相機成像基站初始絕對方位用于后續(xù)的空間特征點三維坐標(biāo)優(yōu)化平差求解，但外部方位裝置在一次測量過程中只能放置在唯一確定的位置，且參與求解的相機成像基站必須包含外部方位裝置，測量空間范圍受到很大限制。4.6.2相機成像基站的相對方位1.外極線幾何與基礎(chǔ)矩陣外極線幾何描述了三維特征點與兩相機中對應(yīng)成像點之間的幾何關(guān)系，三點位于兩相機原點與空間特征點構(gòu)成的平面上（即計算機視覺中的共面條件），是視覺測量中常用的3個重要約束之一。4.6.2相機成像基站的相對方位2.基礎(chǔ)矩陣估計方法3.基礎(chǔ)矩陣求解算法對比分析

4.基于編碼點的相機相對方位求解4.7空間特征點匹配空間特征點匹配是指建立各成像基站中同名像點對應(yīng)關(guān)系的過程，是數(shù)字化視覺精密測量不可缺少的關(guān)鍵步驟之一。利用空間光束交會約束求解待測特征點三維坐標(biāo)需要建立同名像點的對應(yīng)關(guān)系，將對應(yīng)的圖像坐標(biāo)觀測值代入數(shù)學(xué)模型進(jìn)行優(yōu)化求解。除外部方位裝置和編碼點具有確定的標(biāo)號和匹配關(guān)系外，空間待測特征點的像點在各成像基站中的對應(yīng)關(guān)系未知，需要進(jìn)行匹配。4.7空間特征點匹配

4.7.1基于外極線約束的特征點匹配法4.7.2基于外極平面角的特征點匹配方法

4.8三角測量與反推投影4.8.1空間特征點三角測量原理1．理想情況下的三角測量模型三角測量根據(jù)視差原理實現(xiàn)空間三維點坐標(biāo)測量，是典型的空間交會（Intersection）問題。通過內(nèi)參數(shù)校準(zhǔn)和相對方位求解預(yù)先得到兩相機的內(nèi)部方位參數(shù)，對于空間一點在兩幅圖像中的特征點對，得到關(guān)于3個未知坐標(biāo)的4個觀測值方程，求解方程組即可確定特征點的空間坐標(biāo)，4.8三角測量與反推投影2.非理想情況下的三角測量模型理想情況下，兩幅（或以上）圖像中對影像店的投影射線應(yīng)交于一點（空間特征點）。由于相機內(nèi)參數(shù)、特征點圖像坐標(biāo)及兩相機間相對方位的確定都是非理想的，存在誤差，像點投影射線不能在空間中精確相交（嚴(yán)格交于一點），如圖4-51所示，空間點坐標(biāo)的求解轉(zhuǎn)變成最優(yōu)化問題。3.空間特征點到投影射線距離平方和優(yōu)化方法空間特征點三維坐標(biāo)求解的另一種常用方法是利用估計點到投影射線的距離平方和最小作為優(yōu)化目標(biāo)。4.8.2空間特征點反推投影反推投影是指已知空間特征點的三維坐標(biāo)，根據(jù)相機內(nèi)、外參數(shù)解算特征點在像面上投影點坐標(biāo)的過程，是特征點三維坐標(biāo)求解的逆過程。數(shù)字視覺精密測量中，優(yōu)化平差算法的非線性迭代過程選擇特征像點像面坐標(biāo)誤差作為目標(biāo)函數(shù)，需要反復(fù)應(yīng)用反推投影。4.9空間優(yōu)化平差及后處理空間優(yōu)化平差是數(shù)字視覺精密測量的核心算法之一，通過多基站成像，圖像特征掃描、識別、匹配，成像基站外部方位求解等基礎(chǔ)條件準(zhǔn)備，最終通過光束優(yōu)化平差進(jìn)行求解。光束平差的實質(zhì)是依據(jù)共線性約束建立多參數(shù)超定方程組，利用非線性優(yōu)化方法求解。由于相機內(nèi)參數(shù)、特征點匹配、外部方位的解算誤差及其他不確定因素的存在，空間優(yōu)化平差過程一般分為快速優(yōu)化平差、后處理和精確優(yōu)化平差三步，最終實現(xiàn)相機內(nèi)參數(shù)自校準(zhǔn)優(yōu)化、成像基站外部方位校正補償及被測空間特征點精確三維坐標(biāo)求解。4.9.1基于共線方程的光束優(yōu)化平差1.光束優(yōu)化平差組的建立共線方程的數(shù)學(xué)描述為，

式中4.9.1基于共線方程的光束優(yōu)化平差2.光束平差方程組的線性化求解光束平差方程的目的是獲得空間特征點三維坐標(biāo)的最優(yōu)解，相機內(nèi)參數(shù)是已知初值需在優(yōu)化過程中進(jìn)一步修正的參數(shù)。因此，除相機內(nèi)參數(shù)和外部方位參數(shù)外，共線方程需空間特征點三維坐標(biāo)（X，Y，Z）求偏導(dǎo)數(shù)。4.9.2快速優(yōu)化平差和后處理快速優(yōu)化平差和后處理是光束平差的重要組成部分。在預(yù)先標(biāo)定相機內(nèi)參數(shù)的前提下，經(jīng)過圖像特征點特征點掃描、定位、匹配、成像基站外部方位確定、空間特征點三維坐標(biāo)初值求解等一系列過程，完成光束優(yōu)化平差迭代初值的準(zhǔn)備，可以進(jìn)行優(yōu)化平差求解過程。但由于特征像點定位誤差、基站外部方位誤差、相機內(nèi)參數(shù)定值與測量過程中實際觀察值的偏差以及誤匹配的存在，直接進(jìn)行精確優(yōu)化平差是不合理的，可能無法得到精確解。需要進(jìn)行快速優(yōu)化平差和后處理過程，對初值進(jìn)行修正，剔除誤匹配點對，解算未確定的參數(shù)初值及已確定參數(shù)初值的估計精度，為精確優(yōu)化平差提供良好的結(jié)算基礎(chǔ)和條件。4.9.2快速優(yōu)化平差和后處理

1.快速優(yōu)化平差快速優(yōu)化平差是指不考慮相機內(nèi)參數(shù)的修正（內(nèi)參數(shù)作為真值出現(xiàn)：），減少未知參數(shù)數(shù)量，設(shè)置較大的收斂閥值，避免粗大誤差引起誤收斂，使初值更接近最優(yōu)解的優(yōu)化過程。4.9.2快速優(yōu)化平差和后處理

2.快速優(yōu)化平差特