（模式識(shí)別與智能系統(tǒng)專業(yè)論文）攝像機(jī)陣列標(biāo)定方法研究.pdf

摘要摘要攝像機(jī)陣列具有較大視場(chǎng)，在視覺(jué)監(jiān)控、基于真實(shí)場(chǎng)景圖像的虛擬漫游與三維重建等方面具有廣泛的應(yīng)用。攝像機(jī)標(biāo)定是從二維圖像獲取三維信息必不可少的步驟，并由此重建和識(shí)別物體。目前對(duì)單個(gè)攝像機(jī)標(biāo)定的研究已經(jīng)比較成熟，并且能夠得到較好的標(biāo)定結(jié)果。因此，在單攝像機(jī)標(biāo)定方法的基礎(chǔ)上，研究攝像機(jī)陣列的標(biāo)定，具有重要的理論研究意義和實(shí)際應(yīng)用價(jià)值。為了實(shí)現(xiàn)攝像機(jī)陣列的標(biāo)定，本文研究了單個(gè)攝像機(jī)的標(biāo)定，選用合適的標(biāo)定方法，將其擴(kuò)展至攝像機(jī)陣列的標(biāo)定。首先使用基于平面模板的標(biāo)定方法對(duì)每個(gè)攝像機(jī)進(jìn)行標(biāo)定，然后再通過(guò)一定的方法，標(biāo)定出所有攝像機(jī)之間的相對(duì)位置關(guān)系。針對(duì)其中的各個(gè)環(huán)節(jié)，本文所做的工作如下：1 ) 通過(guò)研究國(guó)內(nèi)外主流攝像機(jī)標(biāo)定方法，采用基于平面模板的標(biāo)定方法對(duì)單個(gè)攝像機(jī)進(jìn)行標(biāo)定，實(shí)驗(yàn)結(jié)果較好。2 ) 利用標(biāo)定模板平面和攝像機(jī)圖像平面之間的單應(yīng)性矩陣的性質(zhì)，使用矩陣分解的方法得到所有攝像機(jī)的投影矩陣和模板平面參數(shù)。加入標(biāo)定模板的幾何約束，將分解得到的結(jié)果變換為同一參考坐標(biāo)系下的攝像機(jī)之間的相對(duì)位置關(guān)系。3 ) 本文提出了一種基于逐步優(yōu)化的攝像機(jī)陣列標(biāo)定方法，該方法是對(duì)基于平面模板的單攝像機(jī)標(biāo)定方法的擴(kuò)展。使用基于平面模板的方法求解出各個(gè)攝像機(jī)的內(nèi)參數(shù)以及各個(gè)攝像機(jī)相對(duì)于模板的位置關(guān)系。選定一個(gè)攝像機(jī)作為參考攝像機(jī)，再逐步地標(biāo)定出其它的攝像機(jī)相對(duì)于參考攝像機(jī)的位置，最后得到所有的攝像機(jī)在同一個(gè)世界坐標(biāo)系中的位置關(guān)系。對(duì)攝像機(jī)陣列標(biāo)定的實(shí)驗(yàn)結(jié)果表明，所提出的方法可得到準(zhǔn)確的攝像機(jī)內(nèi)外參數(shù)以及相互之間的位置關(guān)系。關(guān)鍵詞：攝像機(jī)陣列標(biāo)定三維重建矩陣分解逐步優(yōu)化a b s t r a c tw i t hal a r g e rf i e l do fv i e w ，c a m e r aa r r a yi sw i d e l yu s e di nv i r t u a lr e a l i t y ，s u r v e i l l a n c e i m a g e b a s e dr e n d e r i n ga n d3 dr e c o n s t r u c t i o n t h ec a m e r ac a l i b r a t i o ni sa ni n d i s p e n s a b l es t e pf o rr e c o v e r i n g3 di n f o r m a t i o nf r o m2 di m a g e sa n dp r o v i d e st h eu n d e r l y i n gb a s i sf o ro b j e c tr e c o n s t r u c t i o na n dr e c o g n i t i o n t h ec u r r e n ts t u d yo ns i n g l ec a m e r ac a l i b r a t i o ni sr e l a t i v e l ym a t u r e ，a n dc a l lg e tg o o dr e s u l t s t h e r e f o r e ，c a l i b r a t i o no fc a m e r aa r r a yb a s e do i lt h es i n g l ec a m e r ac a l i b r a t i o nm e t h o dh a si m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n dp r a c t i c a lv a l u e i no r d e rt oc a l i b r a t ec a m e r aa r r a y s ，w ec h o o s ea p p r o p r i a t es i n g l ec a m e r ac a l i b r a t i o nm e t h o d ，a n de x t e n di tt ot h ec a m e r aa r r a yc a l i b r a t i o n e a c hc a m e r ai sc a l i b r a t e db a s e do np l a n a r b a s e dc a l i b r a t i o nm e t h o d ，a n dt h e n ，t h er e l a t i v ep o s i t i o n sb e t w e e na l lt h ec a m e r a sa r ec a l i b r a t e d h e r ea l et h ed e t a i l so fs e v e r a lp a r t sm e n t i o n e da b o v e ：l 、t h r o u g hs t u d y i n gt h em a i nm e t h o d so fc a m e r ac a l i b r a t i o n ，w ec h o o s ep l a n a r - b a s e dc a l i b r a t i o nm e t h o dt oc a l i b r a t es i n g l ec a m e r a , a n dt h er e s u l t sa r eg o o d 2 ) u s i n gt h eh o m o g r a p h ym a t r i xb e t w e e np l a n a ra n di m a g ep l a n e ，a l lt h ec a m e r a sp r o j e c t i o nm a t r i xa n dt h et e m p l a t ep a r a m e t e r sa r eo b t a i n e dv i af a c t o r i z a t i o n t h e n t h er e s u l t so ff a c t o r i z a t i o na r et r a n s f o r m e di n t ot h es a l l l er e f e r e n c ec o o r d i n a t es y s t e mt og e tr e l a t i v ep o s i t i o nb e t w e e nc a m e r a s 3 ) w ep r o p o s eas t e p w i s er e f i n e m e n tc a m e r aa r r a yc a l i b r a t i o nm e t h o d s e l e c tac 鋤e r aa sar e f e r e n c e a n dt h e nt h er e l a t i v ep o s i t i o no fo t h e rc a m e r a st ot h er e f e r e n c ec 砸n e ma r eo b t a i n e ds t e pb ys t e p f i n a l l y , w ec a ng e ta l lc a m e r a s p o s i t i o ni nt h ew o r l dc o o r d i n a t es y s t e m t h ec a l i b r a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a no b t a i na c c u r a t ei n t e r n a la n de x t e r n a lc a m e r ap a r a m e t e r sa n dr e l a t i v ep o s i t i o nb e t w e e nc a m e r a s k e yw o r d s ：c a m e r aa r r a y ，c a l i b r a t i o n ，3 dr e c o n s t r u c t i o n ，f a c t o r i z a t i o n ，s t e p w i s er e f i n e m e n ti i插圖目錄插圖目錄圖1 - 1 若干攝像機(jī)陣列2圖2 1 參考坐標(biāo)系- 5圖2 2 透視投影模型示意圖6圖2 3 攝像機(jī)的鏡頭畸變9圖3 1 用于標(biāo)定實(shí)驗(yàn)的平面模板。2 2圖3 2 用于標(biāo)定實(shí)驗(yàn)的一組實(shí)際圖像2 2圖3 3 角點(diǎn)檢測(cè)結(jié)果2 3圖3 4 攝像機(jī)外參數(shù)示意圖2 4圖3 5 重投影誤差2 4圖4 1多攝像機(jī)成像示意圖_ 2 7圖4 2 模板平面參考點(diǎn)在坐標(biāo)系中的位置示意圖”2 8圖4 3 相對(duì)單應(yīng)性矩陣2 9圖4 4 攝像機(jī)陣列拍攝的真實(shí)圖像3 2圖4 5 攝像機(jī)陣列標(biāo)定實(shí)驗(yàn)重投影誤差3 4圖5 1 標(biāo)定流程圖3 6圖5 2 立體視覺(jué)中雙攝像機(jī)幾何關(guān)系3 7圖5 3 攝像機(jī)陣列外參數(shù)示意圖4 2圖5 4 攝像機(jī)陣列標(biāo)定實(shí)驗(yàn)重投影誤差4 2v i表格目錄表格目錄表3 1基于平面標(biāo)定板的標(biāo)定法仿真實(shí)驗(yàn)”2 1表3 2 真實(shí)圖像實(shí)驗(yàn)得到的攝像機(jī)參數(shù)結(jié)果2 3表4 1 攝像機(jī)的內(nèi)參數(shù)實(shí)驗(yàn)結(jié)果3 3表4 2 攝像機(jī)的外參數(shù)實(shí)驗(yàn)結(jié)果3 3表5 1 攝像機(jī)的內(nèi)參數(shù)實(shí)驗(yàn)結(jié)果4 1表5 2 攝像機(jī)的外參數(shù)實(shí)驗(yàn)結(jié)果”4 1中國(guó)科學(xué)技術(shù)大學(xué)學(xué)位論文原刨性聲明本人聲明所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下進(jìn)行研究工作所取得的成果。除已特別加以標(biāo)注和致謝的地方外，論文中不包含任何他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果。與我一同工作的同志對(duì)本研究所做的貢獻(xiàn)均己在論文中作了明確的說(shuō)明。作者簽名：簽字日期：中國(guó)科學(xué)技術(shù)大學(xué)學(xué)位論文授權(quán)使用聲明作為申請(qǐng)學(xué)位的條件之一，學(xué)位論文著作權(quán)擁有者授權(quán)中國(guó)科學(xué)技術(shù)大學(xué)擁有學(xué)位論文的部分使用權(quán)，即：學(xué)校有權(quán)按有關(guān)規(guī)定向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱，可以將學(xué)位論文編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。本人提交的電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。保密的學(xué)位論文在解密后也遵守此規(guī)定?？诠_(kāi)口保密( 年)作者簽名：簽字日期：導(dǎo)師簽名：簽字日期：緒論1 1引言第一章緒論視覺(jué)是人類最重要的感覺(jué)，人類對(duì)外界信息的獲取，8 0 以上是通過(guò)視覺(jué)得到的。人類通過(guò)視覺(jué)感知外界獲取信息，對(duì)于正常人來(lái)說(shuō)是一件非常簡(jiǎn)單的事情，然而視覺(jué)系統(tǒng)獲取信息的過(guò)程卻是十分復(fù)雜的。隨著信息時(shí)代的到來(lái)，計(jì)算機(jī)的應(yīng)用越來(lái)越廣泛，人們希望計(jì)算機(jī)也和人類一樣具有視覺(jué)，于是便催生了一門(mén)新興的綜合學(xué)科計(jì)算機(jī)視覺(jué)。計(jì)算機(jī)視覺(jué)的研究目標(biāo)( 馬頌德等，1 9 9 8 ) 是使計(jì)算機(jī)可以通過(guò)二維圖像和圖像序列來(lái)識(shí)別和認(rèn)知三維世界，并且得到三維世界中物體的位置，形狀，運(yùn)動(dòng)和姿態(tài)等信息。計(jì)算機(jī)視覺(jué)的發(fā)展得益于神經(jīng)科學(xué)，心理科學(xué)和認(rèn)知科學(xué)對(duì)動(dòng)物視覺(jué)系統(tǒng)的研究。但目前的研究對(duì)視覺(jué)系統(tǒng)原理的認(rèn)識(shí)還非常有限，尤其是對(duì)大腦皮層處理視覺(jué)信息的過(guò)程的研究還是十分膚淺的。大腦的神經(jīng)網(wǎng)絡(luò)是極其復(fù)雜的，與當(dāng)前的計(jì)算機(jī)體系結(jié)構(gòu)有很大的差別，因此計(jì)算機(jī)視覺(jué)無(wú)法通過(guò)對(duì)人類大腦的仿真來(lái)實(shí)現(xiàn)，而是發(fā)展出一套獨(dú)立的計(jì)算理論與算法。這些算法廣泛的應(yīng)用于工業(yè)自動(dòng)化，移動(dòng)機(jī)器人的視覺(jué)導(dǎo)航，醫(yī)學(xué)圖像分析，遙感圖像分析，安防系統(tǒng)，虛擬現(xiàn)實(shí)等領(lǐng)域，并且研究者們不斷地改進(jìn)和完善舊算法，提出新算法。當(dāng)今計(jì)算機(jī)視覺(jué)領(lǐng)域的基本理論框架是由麻省理工學(xué)院的d a v i dm a n 教授在二十世紀(jì)八十年代初提出的。m a r r 的視覺(jué)計(jì)算理論( 馬爾，1 9 8 8 ) 立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了神經(jīng)生理學(xué)、心理學(xué)和認(rèn)知科學(xué)等方面的研究成果。m a r t 建立的視覺(jué)計(jì)算理論，使計(jì)算機(jī)視覺(jué)研究有了一個(gè)比較明確的理論體系，并且大大推動(dòng)了計(jì)算機(jī)視覺(jué)研究的發(fā)展。雖然該理論不是十分完善，許多方面還有爭(zhēng)議，引發(fā)了研究者的質(zhì)疑和批評(píng)，但是到目前為止，該理論在計(jì)算機(jī)視覺(jué)領(lǐng)域仍然占據(jù)統(tǒng)治地位。m a r t 的視覺(jué)計(jì)算理論( 賈云得，2 0 0 0 ) 將視覺(jué)看作是一個(gè)信息處理系統(tǒng)，認(rèn)為對(duì)此系統(tǒng)的研究應(yīng)該分為三個(gè)層次：計(jì)算理論層次，表示與算法層次，硬件實(shí)現(xiàn)層次。m a r r 將視覺(jué)過(guò)程劃分為自下而上的三個(gè)階段，第一階段是對(duì)輸入的原始圖像進(jìn)行處理，抽取圖像的基本特征如角點(diǎn)、邊緣、線條、紋理等，得到基元圖；第二階段是由原始圖像和基元圖得到場(chǎng)景可見(jiàn)部分的法向、深度、輪廓等組成的2 5 維圖；第三階段是在某個(gè)坐標(biāo)系下得到物體的三維信息。從攝像機(jī)獲取的二維圖像信息出發(fā)計(jì)算場(chǎng)景和物體的三維信息，并由此重建和識(shí)別物體是計(jì)算機(jī)視覺(jué)的主要目的之一( 張廣軍，2 0 0 5 ) 。而三維世界中物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之問(wèn)的相互天系是由攝像機(jī)幾何成像的模型決定的幾何模型的參數(shù)就是攝像機(jī)的參數(shù)。通常情況f 這些參數(shù)必須經(jīng)過(guò)計(jì)算得到，通過(guò)實(shí)驗(yàn)計(jì)算求解這些參數(shù)的過(guò)程就稱為攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定時(shí)三維重建必不可少的步驟，攝像機(jī)標(biāo)定的精度大小直接影響著三維重建的精度。12 攝像機(jī)陣列簡(jiǎn)介近年來(lái)，隨著立體視覺(jué)技術(shù)和數(shù)字成像設(shè)各的發(fā)展，攝像機(jī)陣列系統(tǒng)開(kāi)始應(yīng)用于虛擬現(xiàn)實(shí)、娛樂(lè)和監(jiān)控等領(lǐng)域。將多個(gè)攝像機(jī)通過(guò)一定的連接方式組成陣列的結(jié)構(gòu)，能夠同時(shí)采集圖像。相比于單目視覺(jué)系統(tǒng)攝像機(jī)陣列組成的多目視覺(jué)系統(tǒng)能夠同時(shí)獲取場(chǎng)景的信息，具有更_ 大的視場(chǎng)范圍，通過(guò)完整的場(chǎng)景信息能夠?qū)?chǎng)景進(jìn)行精確的三維重建。目前，國(guó)外在攝像機(jī)陣列方面的研究很多，而且已經(jīng)應(yīng)用于娛樂(lè)，安全監(jiān)控等領(lǐng)域。斯坦福大學(xué)的w i l b u m 等人使用9 6 個(gè)c m o s 圖像傳感器組成一個(gè)攝像機(jī)陣列系統(tǒng)( w i l b u r ne ta l2 0 0 2 ) ，使用f p g a 對(duì)攝像機(jī)獲取的數(shù)據(jù)進(jìn)行壓縮然后傳送到計(jì)算機(jī)上進(jìn)行處理。該系統(tǒng)能夠提高成像性能獲得高動(dòng)態(tài)范圍和高分辨率的視頻，并能對(duì)視頻合成獲得高速視頻。圈1 1 若干攝像機(jī)陣列麻省理工學(xué)院的y a n g 等人使用6 4 個(gè)o r a n g e m i e r o i b o t 攝像機(jī)組成一個(gè)稠密的攝像機(jī)陣列系統(tǒng)( y a n ge ta l2 0 0 2 ) ，并提出一種分布式光場(chǎng)繪制算法，對(duì)各攝像機(jī)獲得的信息進(jìn)行分布式處理，然后再傳輸?shù)接?jì)算機(jī)上，從而減少了帶寬的使用能夠?qū)崟r(shí)完成基于圖像的繪制?？▋?nèi)基梅隆大學(xué)的z h a n g 等人使用4 8 個(gè)a x i s 2 0 5 網(wǎng)絡(luò)攝像機(jī)組成一個(gè)攝像機(jī)陣列系統(tǒng)( z h a n ga n dc h e n2 0 0 4 ) ，攝像機(jī)安裝在一個(gè)移動(dòng)部件上，能夠旋轉(zhuǎn)和側(cè)移。該系統(tǒng)使用一個(gè)高效的圖像繪制算法，能夠?qū)崟r(shí)生成新視角的合成圖像。并且該系統(tǒng)具有自重構(gòu)功能，通過(guò)算法對(duì)攝像機(jī)進(jìn)行旋轉(zhuǎn)和側(cè)移的控制獲得最緒論優(yōu)的圖像繪制結(jié)果。目前國(guó)內(nèi)對(duì)攝像機(jī)陣列的研究較少，國(guó)防科技大學(xué)的譚樹(shù)人等使用c m o s傳感器與f p g a ，d s p 相結(jié)合自制攝像機(jī)單元( t a ne ta 1 2 0 0 7 ) ，并使用1 6 個(gè)攝像機(jī)組成一個(gè)陣列系統(tǒng)。該系統(tǒng)完成了對(duì)數(shù)據(jù)的采集，壓縮及同步功能，具有分辨率高，易擴(kuò)展等優(yōu)點(diǎn)。1 3 攝像機(jī)陣列標(biāo)定攝像機(jī)陣列系統(tǒng)的標(biāo)定不僅需要對(duì)單個(gè)攝像頭的參數(shù)進(jìn)行標(biāo)定，還需要標(biāo)定出各個(gè)攝像機(jī)之間的相對(duì)位置關(guān)系。攝像機(jī)陣列的標(biāo)定方法( c u ie ta 1 2 0 0 7 ) 主要可以分為兩類，一類是基于攝像機(jī)自標(biāo)定，同時(shí)對(duì)攝像機(jī)陣列的所有攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)進(jìn)行標(biāo)定，另一類通常是先使用一定的方法對(duì)單個(gè)攝像機(jī)進(jìn)行標(biāo)定，得到內(nèi)部參數(shù)，然后再對(duì)整個(gè)系統(tǒng)進(jìn)行標(biāo)定得到各個(gè)攝像機(jī)之間的相對(duì)位置關(guān)系即外部參數(shù)( w a n g2 0 0 5 ) 。近年來(lái)，研究者們提出了很多基于矩陣分解和全局約束的多攝像機(jī)標(biāo)定方法。u e s h i b a 和t o m i t a 提出了一種基于平面標(biāo)定模板的分解算法( u e s h i b aa n dt o m i t a2 0 0 3 ) ，將一塊幾何信息已知的二維平面標(biāo)定板放在不同的位置，分別用攝像機(jī)陣列采集圖像。確定角點(diǎn)和圖像投影點(diǎn)之間的對(duì)應(yīng)關(guān)系，計(jì)算出標(biāo)定板平面和圖像之間的單應(yīng)性矩陣，得到攝像機(jī)的投影矩陣和平面參數(shù)矩陣。利用所有攝像機(jī)和標(biāo)定板平面得到的單應(yīng)性矩陣構(gòu)造系統(tǒng)的測(cè)量矩陣，對(duì)該矩陣進(jìn)行分解得到攝像機(jī)陣列的投影矩陣，最后得到各攝像機(jī)的參數(shù)。s t u r m 提出了一種基于多個(gè)平面模板的標(biāo)定方法( s t u r m2 0 0 0 ) ，在視場(chǎng)范圍重疊很小的情況下也能使用。該方法建立了一個(gè)一般模型，首先通過(guò)計(jì)算得到缺失的數(shù)據(jù)，使得每個(gè)平面模板在所有的攝像機(jī)的視場(chǎng)范圍內(nèi)都是可見(jiàn)的，然后通過(guò)單應(yīng)性矩陣分解得到各攝像機(jī)的參數(shù)和相對(duì)位置關(guān)系。還有研究者提出其他的方法，使用一維標(biāo)定物體( w ue ta 1 2 0 0 5 ) 或虛擬標(biāo)定物體，來(lái)代替二維標(biāo)定模板得到點(diǎn)之間的對(duì)應(yīng)關(guān)系，再通過(guò)矩陣分解得到標(biāo)定結(jié)果。上述方法要求標(biāo)定物體對(duì)所有的攝像機(jī)同時(shí)可見(jiàn)，在實(shí)際的應(yīng)用中存在一定的局限性。在攝像機(jī)陣列的標(biāo)定過(guò)程中，每個(gè)攝像機(jī)的內(nèi)部參數(shù)不會(huì)發(fā)生變化，因此使用一定的標(biāo)定算法先標(biāo)定出每個(gè)攝像機(jī)的內(nèi)部參數(shù)，然后再利用一些約束條件和坐標(biāo)變換的方法，計(jì)算出各個(gè)攝像機(jī)之間的相對(duì)位置關(guān)系。s l u s a l l e k 等人使用s f m 算法得到攝像機(jī)對(duì)的相互關(guān)系( c h e ne ta 1 2 0 0 0 ) ，然后使用迭代三角化方法將所有的攝像機(jī)標(biāo)定到一個(gè)坐標(biāo)系下。i h r k e 等人提出一種基于極線約束的方法( i h r k ee ta 1 2 0 0 4 ) ，先估計(jì)出攝像機(jī)之間的相對(duì)位置關(guān)系，然后使用圖3緒論論的方法計(jì)算出所有攝像機(jī)間的旋轉(zhuǎn)矩陣和位移向量。c u i 等人( c u ie ta 1 2 0 0 7 )在上述方法的基礎(chǔ)上，引入隱式正交約束，從而保證了計(jì)算得出的旋轉(zhuǎn)矩陣是正交矩陣，結(jié)果更加準(zhǔn)確。1 4 本文的主要內(nèi)容和結(jié)構(gòu)本文在參考國(guó)內(nèi)外已有的攝像機(jī)陣列標(biāo)定算法的基礎(chǔ)上，研究分析了標(biāo)定過(guò)程中需要解決的一系列問(wèn)題，并將算法應(yīng)用于實(shí)際的系統(tǒng)。本文的結(jié)構(gòu)如下：第一章是緒論，主要介紹攝像機(jī)陣列標(biāo)定方法的研究背景和意義，國(guó)內(nèi)外的研究現(xiàn)狀，論文內(nèi)容和結(jié)構(gòu)安排。第二章研究了攝像機(jī)的成像模型和各種攝像機(jī)標(biāo)定方法。第三章使用一種基于平面標(biāo)定板的標(biāo)定方法對(duì)攝像機(jī)進(jìn)行標(biāo)定，并給出實(shí)驗(yàn)結(jié)果。第四章提出一種基于矩陣分解的攝像機(jī)陣列標(biāo)定方法。第五章提出一種基于逐步優(yōu)化的攝像機(jī)陣列標(biāo)定方法。第六章總結(jié)并評(píng)價(jià)了本文的研究，并對(duì)未來(lái)的研究方向進(jìn)行展望。4攝像機(jī)成像模型及標(biāo)定方法第二章攝像機(jī)成像模型及標(biāo)定方法2 1攝像機(jī)針孑l 模型及成像原理2 1 1 參考坐標(biāo)系計(jì)算機(jī)視覺(jué)中經(jīng)常需要對(duì)坐標(biāo)進(jìn)行變換，涉及到四個(gè)參考坐標(biāo)系( g e y e ra n dd a n i i l i d i s1 9 9 8 ) ，如圖2 1 所示( t s a i1 9 8 7 ) 。圖2 1 參考坐標(biāo)系x ，如墨p ( 鬻即，跚)( 1 ) 世界坐標(biāo)系( w o r l dc o o r d i n a t es y s t e m )圖2 1 中的o w x w y w z 、】v 坐標(biāo)系被稱為世界坐標(biāo)系，該坐標(biāo)系中的坐標(biāo)值( x w ，y w ，z w ) 是客觀世界的絕對(duì)坐標(biāo)。世界坐標(biāo)系用來(lái)描述場(chǎng)景中攝像機(jī)和物體的位置，通常可以由用戶選定。( 2 ) 攝像機(jī)坐標(biāo)系( c a m e r ac o o r d i n a t es y s t e m )圖2 1 中的o x y z 坐標(biāo)系被稱為攝像機(jī)坐標(biāo)系，其中o 點(diǎn)稱為攝像機(jī)的光心，x 軸和y 軸與成像平面坐標(biāo)系的坐標(biāo)軸平行，z 軸為攝像機(jī)的光軸，與成像平面垂直。攝像機(jī)成像模型及標(biāo)定方法( 3 ) 成像平面坐標(biāo)系( r e t i n a lc o o r d i n a t es y s t e m )圖2 1 中的o l x y 坐標(biāo)系被稱為成像平面坐標(biāo)系，其中o l 點(diǎn)是光軸與成像平面的交點(diǎn)，稱為主點(diǎn)( p r i n c i p a lp o i n t ) ，該點(diǎn)一般位于圖像中心處，但由于攝像機(jī)制造工藝問(wèn)題，也會(huì)有些偏離，o o l 為攝像機(jī)的焦距( f o c a l ) 。該坐標(biāo)系中的坐標(biāo)值( x ，y ) 表示圖像中的像素點(diǎn)在圖像中的物理位置。( 4 ) 圖像坐標(biāo)系( p i x e lc o o r d i n a t es y s t e m )固定在圖像上的以像素為單位的坐標(biāo)系被稱為圖像坐標(biāo)系，通常情況下，其原點(diǎn)位于圖像的左上角，u 軸和v 軸分別平行于成像平面坐標(biāo)系的x 軸和y 軸，對(duì)應(yīng)于行方向和列方向，分別向右和向下為正。圖像中像素的坐標(biāo)( u ，v ) 表示像素在圖像的列數(shù)和行數(shù)。2 1 2 攝像機(jī)模型攝像機(jī)采集得到的圖像上每一點(diǎn)的亮度反映了空間物體表面某點(diǎn)反射光的強(qiáng)度，而該點(diǎn)在圖像中的位置與物體表面點(diǎn)在三維世界中的位置有關(guān)。攝像機(jī)成像模型( b a k e ra n d n a y a r1 9 9 8 ) 將三維空間的點(diǎn)與圖像平面上的點(diǎn)對(duì)應(yīng)起來(lái)，可以用一個(gè)從三維空間到二維空間的映射來(lái)表示：f ：r 3 啼r 2，o1 、( 瓦，匕，乙) 專( 甜，v )透視投影是最常用的成像模型，可以用針孔成像模型來(lái)近似表示，如圖2 2所示( 馬頌德等，1 9 9 8 ) 。針孔成像模型中，所有來(lái)自于場(chǎng)景的光線均通過(guò)一個(gè)投影中心，即攝像機(jī)的光心，投影到成像平面上。圖2 2 透視投影模型示意圖z )其中，( ) ( ，y ，z ) 是空間點(diǎn)p 在攝像機(jī)坐標(biāo)系下的坐標(biāo)，( x ，y ) 是點(diǎn)p 在成像平面坐標(biāo)系下的坐標(biāo)，光心到成像平面的距離是攝像機(jī)的焦距。為了計(jì)算方便，假設(shè)在攝像機(jī)鏡頭前方有一個(gè)虛擬成像平面，虛擬成像平面到光心的距離為焦6攝像機(jī)成像模型及標(biāo)定方法距，與成像平面平行，坐標(biāo)軸方向相反。2 1 3 坐標(biāo)變換關(guān)系f 喜 = r 莖 + r = 莖i 差耋 萋 + 乏c 2 2 ，x】廠z1= 翱x w匕乙l( 2 3 )其中，( ) ( w ，y w ，z w ) 是世界坐標(biāo)系的坐標(biāo)，( x ，y ，z ) 是攝像機(jī)坐標(biāo)系的坐標(biāo)，t 是世界坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)，矩陣r 是正交旋轉(zhuǎn)矩陣，矩陣元素滿足下式：。，：，。+ ，：。：+ ，乃，= 三：三二( 2 4 )正交旋轉(zhuǎn)矩陣實(shí)際上只有3 個(gè)獨(dú)立變量，再加上t 的3 個(gè)變量，一共有6個(gè)參數(shù)決定了攝像機(jī)光軸在世界坐標(biāo)系中的位置，這6 個(gè)參數(shù)被稱為攝像機(jī)的外部參數(shù)。( 2 ) 攝像機(jī)坐標(biāo)系到成像平面坐標(biāo)系的變換攝像機(jī)坐標(biāo)系到成像平面坐標(biāo)系的變換是一個(gè)透視投影變換，可以由圖2 2中的相似三角形關(guān)系可以得到下面的關(guān)系式：用齊次坐標(biāo)的形式可以表示為：、xx2 。z1 ，y = 1 =么( 2 5 )攝像機(jī)成像模型及標(biāo)定方法000 2i廠o ol010jx】，zl( 2 。6 )其中，( ) ( ，y ，z ) 是攝像機(jī)坐標(biāo)系的坐標(biāo)，( x ，y ) 是成像平面坐標(biāo)系的坐標(biāo)，f 是攝像機(jī)的焦距。( 3 ) 成像平面坐標(biāo)系到圖像坐標(biāo)系的變換成像平面坐標(biāo)系到圖像坐標(biāo)系的變換是圖像數(shù)字化的過(guò)程，將像素點(diǎn)的物理坐標(biāo)變換為圖像的像素坐標(biāo)。設(shè)主點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)為( u o ，v o ) ，每一個(gè)像素在x 軸和y 軸方向上的物理尺寸為d x ，d y ，則圖像坐標(biāo)變換關(guān)系可由下式表示： i = 吲 i 弦8 ，z i = 喜丟辜 喜詈；量 ；：x 。匕乙l( 2 9 )上面的關(guān)系式是在假設(shè)圖像坐標(biāo)軸互相垂直的情況下推導(dǎo)得出的，但是通常情況下，兩個(gè)坐標(biāo)軸之間并不是嚴(yán)格垂直的，引入傾斜因子s 描述圖像坐標(biāo)軸的傾斜程度。最終得到針孔成像模型的數(shù)學(xué)表達(dá)式如下：z 案1 1 _ jlos， ，0“0 1小丁】jx 。匕乙1= k f rt 1ljx 。匕z 。1= px 匕z 。1( 2 1 0 )其中，和f y 分別為x 和y 方向的等效焦距，k 稱為攝像機(jī)的內(nèi)部參數(shù)矩陣8，o0，。l=1jxy 。，。lz力互xy蹦杪=三出旦砂=一一攝像機(jī)成像模型及標(biāo)定方法或攝像機(jī)矩陣( r ，t ) 稱為攝像機(jī)的外部參數(shù)矩陣，p 稱為投影矩陣22 非線性模型上面推導(dǎo)出的模型是在理想情況下得出的，由于攝像機(jī)存在鏡頭畸變，光學(xué)系統(tǒng)并不是按理想的針孔成像原理工作，物體點(diǎn)在成像平面上實(shí)際所成的像與理想像點(diǎn)之間有一定的誤差。主要的畸變誤差( w e n g1 9 9 2 ) 分為三類：徑向畸變，偏心畸變和薄棱鏡畸變，徑向畸變只產(chǎn)生徑向位置的偏差，偏心畸變和薄棱鏡畸變既產(chǎn)生徑向偏差，也產(chǎn)生切向偏差。由畸變引起的非線性模型可由下式表示：j 7 2 。+ 正( t y ( 2 1 i )眵2 ，+ t ( y )其中( x ，y ) 是成像平面坐標(biāo)系的實(shí)際坐標(biāo)，( 置力是理想坐標(biāo)值，t 是x方向的畸變，民是y 方向的畸變。( a ) 畸變一一一一一一一一一一一一一一一( b ) 理想圈2 3 攝像機(jī)的鏡頭畸變徑向畸變主要是由光學(xué)鏡頭徑向曲率的變化引起的，這種畸變使得真實(shí)圖像點(diǎn)沿徑向移動(dòng)，離中心點(diǎn)越遠(yuǎn)，畸變?cè)酱蟆Ｕ膹较蚧兪箞D像點(diǎn)向遠(yuǎn)離圖像中心的方向移動(dòng)，負(fù)的徑向畸變使圖像點(diǎn)向靠近圖像中心的方向移動(dòng)。徑向畸變的數(shù)學(xué)模型可由下式表示：艇器：篇菇：茹億l “= 與y ( ，+ y 。) + 也y ( 一+ y ) 2偏心畸變主要是由于裝配誤差組成光學(xué)系統(tǒng)的多個(gè)光學(xué)鏡頭的光軸不可能完全共線引起的，由徑向形變分量和切向形變分量共同構(gòu)成，數(shù)學(xué)模型可由下式表示：一一一一一一一一一一一一一一一一一一一一一一-一一一一_一攝像機(jī)成像模型及標(biāo)定方法 如8 , d ：= p l ( 3 x 2 + y 2 ) + ：2 p 2 x ：y 2 p 。x y + p 2 ( x + 3 y )像1 3 )l 如=2。)薄棱鏡畸變是由光學(xué)鏡頭制造誤差和成像敏感陣列制造誤差引起的，這類畸變相當(dāng)于在光學(xué)系統(tǒng)中附加了一個(gè)薄棱鏡，由徑向形變分量和切向形變分量共同構(gòu)成，數(shù)學(xué)模型可由下式表示：屯6xp：=sl(x2+yy2s2：j( 2 1 4 )【= ( x 2 + y 2 )、非線性畸變主要是上述三種畸變的疊加，可由下式表示：囂霧：老億【= 妨+ + 7一般情況下，徑向畸變已能足夠描述非線性畸變，對(duì)引入徑向畸變后的模型進(jìn)行標(biāo)定已能滿足精度要求。非線性模型可由下式表示：j 二2 x + 島x ( x 2 + y 2 ) + 乞x ( x 2 + y 2 ) 2( 2 1 6 )【y = y + l q y ( x 2 + y 2 ) + 乞y ( x 2 + y 2 ) 22 3 攝像機(jī)標(biāo)定方法2 3 1 傳統(tǒng)標(biāo)定方法傳統(tǒng)的攝像機(jī)標(biāo)定方法是在定的攝像機(jī)模型下，采集形狀和尺寸已知的標(biāo)定物的圖像，對(duì)圖像進(jìn)行處理，得到標(biāo)定物的特征點(diǎn)在圖像中的對(duì)應(yīng)點(diǎn)的位置，通過(guò)空間點(diǎn)和圖像點(diǎn)的對(duì)應(yīng)關(guān)系來(lái)建立約束條件，從而對(duì)攝像機(jī)模型進(jìn)行求解得出其內(nèi)部參數(shù)和外部參數(shù)。典型的傳統(tǒng)標(biāo)定方法有f a i g 的基于最優(yōu)化算法的標(biāo)定方法( f a i g1 9 7 5 ) ，該方法引入了攝像機(jī)針孔成像模型的共面約束條件，考慮了攝像機(jī)成像過(guò)程中的各種因素。該方法建立了一個(gè)至少包含1 7 個(gè)參數(shù)的模型，描述了每幅圖像與三維空間的約束關(guān)系，計(jì)算量非常大。a b d e l a z i z 和k a r a r a 在1 9 7 1 年提出了直接線性變換法d l t ( d i r e c tl i n e a rt r a n s f o r m a t i o n ) ，該方法( a b d e l a z i za n dk a r a r a1 9 7 1 ) 在不考慮畸變的情況下，通過(guò)求解線性方程得到攝像機(jī)模型的參數(shù)，標(biāo)定結(jié)果的精度不高。t s a i 給出了種基于徑向約束的兩步法標(biāo)定方法( t s a i1 9 8 7 ) ，該方法的核心思想是第一步先利用徑向一致約束條件，求解除了攝像機(jī)在光軸方向的平移之外的所有其它的攝像機(jī)外參數(shù)，第二步再求出內(nèi)參數(shù)和攝像機(jī)在光軸方向的平1 0攝像機(jī)成像模型及標(biāo)定方法移。該方法的精度比較高，適用于精密的測(cè)量。m a r t i n s 提出了雙平面標(biāo)定法( m a r t i n se ta 1 1 9 8 1 ) ，該方法并不明確的使用某種攝像機(jī)模型，而是利用世界坐標(biāo)系下從工作場(chǎng)景前后兩個(gè)平面出發(fā)到圖像上某點(diǎn)的連線，用插值的方法計(jì)算出視線向量。在圖像中用三角形標(biāo)畫(huà)標(biāo)定格和頂點(diǎn)的交點(diǎn)，在三角形內(nèi)用線性樣條插值，再利用線性方法解出有關(guān)參數(shù)。該方法存在過(guò)分參數(shù)化的傾向，需要求解大量的未知參數(shù)。h 【h 和k l a a s e n 提出了利用透視變換矩陣的攝像機(jī)標(biāo)定方法( l u ha n dk l a a s e n1 9 8 5 ) ，該方法忽略了鏡頭畸變的非線性因素，將透視變換矩陣中的元素作為未知參數(shù)。在給定一組對(duì)應(yīng)的圖像點(diǎn)與三維物體點(diǎn)的情況下，利用線性方法直接求解透視變換矩陣中的元素，在本質(zhì)上與直接線性變換方法，沒(méi)有區(qū)別。馬頌德等提出了一種基于直線的攝像機(jī)標(biāo)定方法( m ae ta 1 1 9 9 3 ) ，首先提取圖像中的一些直線，然后利用這些直線相交來(lái)獲得其交點(diǎn)，利用交點(diǎn)的信息來(lái)求解攝像機(jī)投影矩陣p 。該方法直接使用標(biāo)定參考物上的直線與它們?cè)趫D像上對(duì)應(yīng)的投影來(lái)標(biāo)定攝像機(jī)，避免了在使用點(diǎn)信息標(biāo)定攝像機(jī)時(shí)由直線求交點(diǎn)引入的誤差。d e b e v e c 也對(duì)傳統(tǒng)的攝像機(jī)標(biāo)定方法做了一些改進(jìn)( d e b e v e ca n dm a l i k1 9 9 7 ) 。他將攝像機(jī)標(biāo)定分為兩步：第一步，用棋盤(pán)格作為標(biāo)定參考物，通過(guò)對(duì)攝像機(jī)拍攝的圖像進(jìn)行處理，來(lái)獲得攝像機(jī)鏡頭的徑向畸變系數(shù)，對(duì)該攝像機(jī)拍攝的圖像進(jìn)行校正，使校正后的圖像成為真正的透視投影圖像，即保持三維空間中的直線在圖像上的投影仍為直線。第二步，對(duì)兩個(gè)垂直相交的平面標(biāo)定參考物從不同的角度拍攝圖像，并校正圖像的徑向形變，恢復(fù)攝像機(jī)的內(nèi)、外部參數(shù)。由于預(yù)先已經(jīng)知道標(biāo)定參考物的幾何信息和幾何結(jié)構(gòu)，因此可以解出含有1 1 個(gè)參數(shù)的攝像機(jī)投影矩陣，從而獲得攝像機(jī)的內(nèi)、外部參數(shù)。傳統(tǒng)標(biāo)定方法的優(yōu)點(diǎn)( 邱茂林等，2 0 0 0 ) 在于可以獲得較高的精度，但是通常算法比較復(fù)雜，并且依賴于高精度的標(biāo)定塊，而實(shí)際應(yīng)用中很多情況下無(wú)法方便地使用標(biāo)定塊。因此，當(dāng)攝像機(jī)的參數(shù)不發(fā)生變化，而且要求的精度很高時(shí)，應(yīng)當(dāng)選用傳統(tǒng)的標(biāo)定方法。2 3 2 自標(biāo)定方法不依賴于標(biāo)定參照物或某些三維信息已知的參考點(diǎn)的標(biāo)定方法稱為自標(biāo)定方法( 雷成等，2 0 0 1 ) 。攝像機(jī)的自標(biāo)定僅僅利用圖像與圖像之間的對(duì)應(yīng)關(guān)系，確定攝像機(jī)參數(shù)之間的約束關(guān)系，從而標(biāo)定出參數(shù)，與場(chǎng)景和攝像機(jī)的運(yùn)動(dòng)無(wú)關(guān)。這類標(biāo)定方法具有巨大的靈活性，在許多實(shí)際的應(yīng)用中，攝像機(jī)的參數(shù)需要經(jīng)常改變，因此需要實(shí)時(shí)標(biāo)定，在這些情況下，需要借助于特殊的標(biāo)定物的傳統(tǒng)標(biāo)定攝像機(jī)成像模型及標(biāo)定方法方法已經(jīng)不再適合。f a u g e r a u s 和m a y b a n k 在1 9 9 2 年提出攝像機(jī)的自標(biāo)定方法( m a y b a n ka n df a u g e r a u s1 9 9 2 ) ，基本思想是利用絕對(duì)二次曲線a c ( a b s o l u t ec o n i c ) 和絕對(duì)二次曲面( a b s o l u t eq u a d r i c ) l 拘像在攝像機(jī)做剛體運(yùn)動(dòng)時(shí)的不變性，建立關(guān)于攝像機(jī)內(nèi)參數(shù)矩陣的k r u p p a 方程。然后利用k r u p p a 方程求得多幅圖像上的像點(diǎn)到對(duì)應(yīng)極線的距離之和，并對(duì)這個(gè)距離采用l m 算法求最小值，就可求出攝像機(jī)的內(nèi)參數(shù)。t r i g g s 最早將絕對(duì)二次曲面的概念引入攝像機(jī)的自標(biāo)定( t r i g g s1 9 9 7 ) ，在本質(zhì)上與基于k r u p p a 方程的方法是一致的。由于絕對(duì)二次曲面包含了絕對(duì)二次曲線和無(wú)窮遠(yuǎn)平面的所有信息，在對(duì)所有圖像做射影重建的基礎(chǔ)上計(jì)算絕對(duì)二次曲面，保證了所有圖像中無(wú)窮遠(yuǎn)平面的一致性。由于直接求解k r u p p a 方程是十分困難的，又提出了分層逐步標(biāo)定的方法。該方法的核心思想是在對(duì)圖像序列做射影重建的基礎(chǔ)上，以某一幅圖像為基準(zhǔn)做射影對(duì)齊，從而減少未知參數(shù)的數(shù)量，再進(jìn)行仿射標(biāo)定和歐氏標(biāo)定，通過(guò)非線性優(yōu)化算法同時(shí)解出所有未知參數(shù)。分層逐步標(biāo)定法的初值只能通過(guò)預(yù)估得到，不能保證收斂性?？臻g中的平行線經(jīng)過(guò)一定的投影變換后，在圖像中可能不再保持平行，它們的交點(diǎn)被稱為消失點(diǎn)( v a n i s hp o i n t ) ，由所有消失點(diǎn)組成的直線被稱為消失線( v a n i s hl i n e ) 。利用消失點(diǎn)的攝像機(jī)標(biāo)定方法的一般步驟是找到空間中三組平行線在圖像中的投影，求解其交點(diǎn)從而獲得消失點(diǎn)，然后根據(jù)消失點(diǎn)來(lái)計(jì)算攝像機(jī)的內(nèi)、外部參數(shù)。利用消失線的攝像機(jī)標(biāo)定方法的一般步驟是在獲得多個(gè)消失點(diǎn)的基礎(chǔ)上，進(jìn)一步計(jì)算出消失線，根據(jù)消失線對(duì)攝像機(jī)進(jìn)行標(biāo)定。這種方法可以在只有一幅圖像的情況下標(biāo)定出攝像機(jī)的參數(shù)，不需要迭代，算法速度快。但是該方法所使用的信息量少，如果不引入其它約束條件或借助其它技術(shù)，標(biāo)定出的攝像機(jī)參數(shù)的準(zhǔn)確性較低，有時(shí)不能得到全部的參數(shù)。w a n g 等人對(duì)一個(gè)正六邊形拍攝圖像( w a n ge ta 1 1 9 9 1 ) ，由于正六邊形有三組互相平行的邊，使用這些邊在圖像中的投影來(lái)得到消失點(diǎn)，從而對(duì)攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的位置、方向和焦距。該方法由于使用了對(duì)邊平行的六邊形作為標(biāo)定物，簡(jiǎn)化了整個(gè)標(biāo)定的過(guò)程，但并未獲得攝像機(jī)所有的內(nèi)部參數(shù)。c i p o l l a 等人提出了一種改進(jìn)的標(biāo)定方法( c i p o l l ae ta 1 1 9 9 9 ) ，將消失點(diǎn)和圖像中的其它線特征結(jié)合起來(lái)，計(jì)算出攝像機(jī)的投影矩陣，然后利用內(nèi)極線約束和其它約束條件對(duì)標(biāo)定結(jié)果進(jìn)行優(yōu)化。目前主要的自標(biāo)定方法還有基于攝像機(jī)可變參數(shù)的自標(biāo)定方法( p o l l e f e y sa n dg o o l1 9 9 9 ) ，基于特殊攝像機(jī)運(yùn)動(dòng)或特殊場(chǎng)景的自標(biāo)定方法等。通常情況下，攝像機(jī)成像模型及標(biāo)定方法攝像機(jī)的自標(biāo)定方法需要估計(jì)的參數(shù)比較多，精度不太高，魯棒性較差。2 3 3 基于主動(dòng)視覺(jué)的標(biāo)定方法主動(dòng)視覺(jué)是指觀察者以確定或不確定的方式運(yùn)動(dòng)來(lái)跟蹤環(huán)境中的目標(biāo)物體，從而感知物體的技術(shù)和方法。在主動(dòng)視覺(jué)中，觀察者和目標(biāo)物體可以同時(shí)運(yùn)動(dòng)，觀察者的運(yùn)動(dòng)為研究目標(biāo)的運(yùn)動(dòng)、距離和形狀提供了附加條件。主動(dòng)視覺(jué)是任務(wù)驅(qū)動(dòng)的，根據(jù)任務(wù)需求和外部環(huán)境，控制攝像機(jī)的運(yùn)動(dòng)，使攝像機(jī)進(jìn)行參數(shù)已知的平移運(yùn)動(dòng)或旋轉(zhuǎn)運(yùn)動(dòng)，從而獲取關(guān)于周圍環(huán)境中的與任務(wù)相關(guān)的信息?；谥鲃?dòng)視覺(jué)的標(biāo)定方法，通過(guò)控制攝像機(jī)的運(yùn)動(dòng)，獲取多幅圖像，利用圖像的對(duì)應(yīng)點(diǎn)進(jìn)行標(biāo)定，求解出攝像機(jī)的內(nèi)參數(shù)。目前主要的方法有基于攝像機(jī)純平移運(yùn)動(dòng)的標(biāo)定方法，基于攝像機(jī)純旋轉(zhuǎn)運(yùn)動(dòng)的標(biāo)定方法，基于攝像機(jī)正交運(yùn)動(dòng)的標(biāo)定方法等。h a r t l e y 提出了基于攝像機(jī)純旋轉(zhuǎn)運(yùn)動(dòng)的標(biāo)定方法( h a r t l e y1 9 9 4 ) ，該算法的核心思想是控制攝像機(jī)至少做兩次繞光心的旋轉(zhuǎn)軸不互相平行的旋轉(zhuǎn)運(yùn)動(dòng)，在每次旋轉(zhuǎn)下通過(guò)圖像間的對(duì)應(yīng)點(diǎn)求解相應(yīng)的單應(yīng)性矩陣，然后通過(guò)c h o l e s k y 分解得到攝像機(jī)的內(nèi)參數(shù)矩陣。由于在實(shí)際的標(biāo)定過(guò)程中攝像機(jī)光心的具體位置事先并不知道，因此很難控制攝像機(jī)做繞光心的純旋轉(zhuǎn)運(yùn)動(dòng)。李華等人提出了基于攝像機(jī)平面正交運(yùn)動(dòng)的標(biāo)定方法( 李華等，2 0 0 0 ) ，該方法需要控制攝像機(jī)做多組( 大于等于5 ) 兩次互相正交的純平移運(yùn)動(dòng)，每組純平移運(yùn)動(dòng)前后得到的兩幅圖像的極點(diǎn)相同。然后解線性約束方程，再做c h o l e s k y 分解即可求得攝像機(jī)的內(nèi)參數(shù)矩陣。這種方法的穩(wěn)定性比較高，但是對(duì)設(shè)備的要求也比較高，而且對(duì)于多組正交運(yùn)動(dòng)之間應(yīng)該滿足的條件還未很好解決。m a 等人提出了基于攝像機(jī)三正交平移運(yùn)動(dòng)的標(biāo)定方法( m a1 9 9 6 ) ，該方法需要控制攝像機(jī)做兩組兩兩正交的三次平移運(yùn)動(dòng)，根據(jù)圖像的對(duì)應(yīng)點(diǎn)求出對(duì)應(yīng)的六個(gè)極點(diǎn)。根據(jù)極點(diǎn)的性質(zhì)可以得到四個(gè)關(guān)于內(nèi)參數(shù)的約束方程，并且證明當(dāng)六次平移運(yùn)動(dòng)中任意四次不共面時(shí)，可以得到內(nèi)參數(shù)的唯一解。這種方法只有在傾斜因子s 為0 的情況下才成立，因此只能求得四個(gè)內(nèi)參數(shù)，而且對(duì)噪聲比較敏感?；谥鲃?dòng)視覺(jué)的標(biāo)定方法由于在標(biāo)定過(guò)程中已知關(guān)于攝像機(jī)的運(yùn)動(dòng)信息，攝像機(jī)的參數(shù)可以線性求解，且計(jì)算簡(jiǎn)單，魯棒性較高，不足之處在于必須精確的控制攝像機(jī)的移動(dòng)。2 4 本章小結(jié)1 3攝像機(jī)成像模型及標(biāo)定方法本章主要介紹了攝像機(jī)的針孔成像模型，得出了理想情況下空間物體點(diǎn)與圖像對(duì)應(yīng)點(diǎn)之間的坐標(biāo)轉(zhuǎn)換關(guān)系。由于攝像機(jī)鏡頭存在畸變，引入非線性模型加以描述，使其更符合實(shí)際應(yīng)用的情況。攝像機(jī)成像模型是攝像機(jī)標(biāo)定的基礎(chǔ)，求解模型參數(shù)的過(guò)程即是攝像機(jī)標(biāo)定。然后對(duì)目前已有的攝像機(jī)標(biāo)定方法進(jìn)行了分類介紹，包括傳統(tǒng)的攝像機(jī)標(biāo)定方法，自標(biāo)定方法和基于主動(dòng)視覺(jué)的標(biāo)定方法，并比較了各類方法的優(yōu)缺點(diǎn)及適用范圍。1 4基于平面標(biāo)定板的標(biāo)定方法第三章基于平面標(biāo)定板的標(biāo)定方法3 。1 標(biāo)定方法簡(jiǎn)介張正友提出了一種介于傳統(tǒng)標(biāo)定與自標(biāo)定之間的標(biāo)定方法( z h a n g1 9 9 9 ) ，這種方法也使用了針孔成像模型。將平面標(biāo)定板放置在不同的位置，攝像機(jī)從不同的角度拍攝若干張模板圖像，檢測(cè)出圖像中的特征點(diǎn)。假設(shè)標(biāo)定板平面在世界坐標(biāo)系中z = 0 ，通過(guò)線性模型分析計(jì)算得出攝像機(jī)參數(shù)的近似解，然后進(jìn)行非線性優(yōu)化得到攝像機(jī)的內(nèi)外參數(shù)和畸變系數(shù)。具體的流程由下所示：( 1 ) 選取并打印合適的模板，貼在一個(gè)平面上；( 2 ) 將平面模板放置在不同的位置，拍攝若干張圖像；( 3 ) 檢測(cè)出圖像中的特征點(diǎn)，得到特征點(diǎn)與圖像投影點(diǎn)之間的對(duì)應(yīng)關(guān)系；( 4 ) 估計(jì)單應(yīng)性矩陣，求出攝像機(jī)的內(nèi)參和外參：( 5 ) 利用非線性模型求出畸變系數(shù)；( 6 ) 使用l m 算法對(duì)參數(shù)進(jìn)行優(yōu)化。這種標(biāo)定方法不需要制作昂貴的標(biāo)定塊，且具有較好的魯棒性，很有實(shí)用性。但是由于假定模板平面上的直線經(jīng)透視投影后在圖像上仍然得到直線，進(jìn)而進(jìn)行圖像處理，檢測(cè)得到亞像素精度的角點(diǎn)坐標(biāo)，實(shí)際上引入了誤差。3 2 基本方程3 2 1 單應(yīng)性矩陣記三維空間中的一點(diǎn)m 的坐標(biāo)為 x ，y ，z r ，其對(duì)應(yīng)的圖像點(diǎn)m 的坐標(biāo)記為陋，1 ，】r ，對(duì)應(yīng)的其次坐標(biāo)分別記為【x ，y ，z ，1 1 r 和 甜，v ，1 7 。根據(jù)第二章的成像模型將公式( 2 1 0 ) 改寫(xiě)為：s i v = k rr l m( 3 1 )其中s 是尺度因子，k 是內(nèi)參數(shù)矩陣，r 是旋轉(zhuǎn)矩陣，t 是平移矩陣，上面的公式反應(yīng)了空間點(diǎn)與圖像點(diǎn)之間的坐標(biāo)變換關(guān)系。假設(shè)將平面模板在世界坐標(biāo)系中z = 0 的平面上，即平面模板上所有點(diǎn)的z 坐標(biāo)值為o ，則式( 3 。1 ) 可以簡(jiǎn)化為：1 5基于平面標(biāo)定板的標(biāo)定方法j i = k c l 吒島丁，xyo1鋼，闡慨2 ，s m = 研1r 2t m = h m( 3 3 )其中和吒表示由旋轉(zhuǎn)矩陣尺的第一列和第二列組成的向量，h 是一個(gè)3 x 3的矩陣，稱為單應(yīng)性矩陣( z h a n g2 0 0 0 ) ，它表示空間平面上的點(diǎn)到圖像平面上的點(diǎn)之間的映射關(guān)系。3 2 2 攝像機(jī)內(nèi)參數(shù)約束平面單應(yīng)性矩陣在攝像機(jī)標(biāo)定和三維重建方面有著重要的作用( l i e b o w i t za n dz i s s e r m a n1 9 9 8 ) ，世界坐標(biāo)系的z = 0 平面與圖像平面之間的單應(yīng)性矩陣可以提供兩個(gè)關(guān)于攝像機(jī)內(nèi)參數(shù)的線性約束。假設(shè)單應(yīng)性矩陣h 的三個(gè)列向量為h l ，h 2 ，h 3 ，從式( 3 3 ) 可以得到：【7 i l 紅吃】= 兄k 【吃t 】( 3 4 )其中，五是一個(gè)常數(shù)因子。由旋轉(zhuǎn)矩陣r 的正交性可以得到7 眨= 0 ，l = 恢i i ，因此得到下面的公式：k t k - h 22 0( 3 5 )【啊r k j k j = 7 k 丁k j 。其中，k 叮k 。是絕對(duì)二次曲線的像，設(shè)m 是絕對(duì)二次曲線上點(diǎn)的像點(diǎn)，則根據(jù)成像模型可以得到：所r k r k 一1 m = 0( 3 6 )這說(shuō)明絕對(duì)二次曲線的像也是圖像空間里的一條二次曲線，無(wú)窮遠(yuǎn)直線與空間上一張有限遠(yuǎn)平面上的圓的交點(diǎn)為圓環(huán)點(diǎn)( 1 ，f ，0 ，0 ) 7 和( 1 ，一f ，0 ，0 ) 7 ，位于絕對(duì)二次曲線上。圓環(huán)點(diǎn)的像滿足式( 3 6 ) ，代入方程并化簡(jiǎn)得到：( 啊f ) 7 k 一7 k 。1 ( 7 j i + i h 2 ) = 0( 3 7 )虛部和實(shí)部分別為o ，也能得到兩個(gè)對(duì)攝像機(jī)內(nèi)參數(shù)的約束方程，上面的推導(dǎo)過(guò)程也是對(duì)式( 3 5 ) 的幾何解釋。當(dāng)攝像機(jī)至少在3 個(gè)不同的方位，獲得至少3 幅圖像時(shí)，每幅圖像可以提供兩個(gè)約束方程，對(duì)方程組進(jìn)行求解就能夠得到攝像機(jī)的內(nèi)參數(shù)。1 6基于平面標(biāo)定板的標(biāo)定方法3 3 標(biāo)定算法3 3 1角點(diǎn)檢測(cè)在標(biāo)定前首先要對(duì)圖像進(jìn)行角點(diǎn)檢測(cè)，獲得圖像點(diǎn)與標(biāo)定板上點(diǎn)的對(duì)應(yīng)關(guān)系。角點(diǎn)是圖像的重要局部特征，它決定了目標(biāo)在圖像中的位置以及輪廓信息。角點(diǎn)一般定義為圖像中梯度值和梯度變化率都比較高的點(diǎn)，或者是圖像邊界方向變化不連續(xù)的點(diǎn)。目前的角點(diǎn)檢測(cè)方法主要可以分為兩類，一類是基于圖像邊緣特征進(jìn)行檢測(cè)，算法性能依賴于邊緣檢測(cè)的效果，并且計(jì)算量較大，因此使用范圍較小；另外一類是直接利用圖像的灰度信息，計(jì)算曲率及梯度來(lái)進(jìn)行角點(diǎn)檢測(cè)。在計(jì)算機(jī)視覺(jué)領(lǐng)域中使用非常廣泛的角點(diǎn)檢測(cè)算法是h a r r i s 角點(diǎn)檢測(cè)算法，該算法過(guò)程簡(jiǎn)單，檢測(cè)結(jié)果穩(wěn)定，而且能夠在噪聲干擾、灰度變化以及圖像旋轉(zhuǎn)等情況下準(zhǔn)確地提取出角點(diǎn)。h a r r i s 角點(diǎn)檢測(cè)算法是在m o r a v e c 算法的基礎(chǔ)上提出的一種基于信號(hào)自相關(guān)函數(shù)的點(diǎn)特征提取算子( h a r r i sa n ds t e p h e n s1 9 8 8 ) ，基本思想是在圖像中設(shè)計(jì)一個(gè)局部檢測(cè)窗口，當(dāng)該窗口沿各個(gè)方向做微小移動(dòng)時(shí)，考查窗口內(nèi)的平均能量變化。提前設(shè)定一個(gè)閾值，當(dāng)能量變化值超過(guò)閾值時(shí)，就認(rèn)為窗口的中心像素點(diǎn)是一個(gè)角點(diǎn)。記圖像像素點(diǎn)( x ，y ) 的灰度值為f ( x ，y ) ，用微分算子計(jì)算窗口內(nèi)灰度強(qiáng)度的變化，這樣使得角點(diǎn)檢測(cè)算子具有旋轉(zhuǎn)不變的性質(zhì)。窗口內(nèi)的灰度強(qiáng)度變化可用下式表示：e ，( x ，少) = 嘸， 廠o + “，y + ，) 一f ( x ，州2：妻睨，t x 篆+ y 萬(wàn)o f + c x ：+ y z ，z( 3 8 )其中，睨，是高斯窗口在位置( “，v ) 處的系數(shù)，為了提高抗噪能力，對(duì)圖像窗口進(jìn)行了高斯平滑，選用了如下的高斯窗口：嘸，= e x p 一去( 甜2 + v 2 ) 萬(wàn)2 】( 3 9 )z在實(shí)際的應(yīng)用中，需要選擇合適的高斯窗口( t i s s a i n a y a g a ma n ds u t e r2 0 0 4 ) ，若高斯窗口的尺寸較小，則