一種多孔徑系統(tǒng)的高速三維跟蹤系統(tǒng)

一種多孔徑系統(tǒng)的高速三維跟蹤系統(tǒng)

1基于速度基的復配系統(tǒng)目前，已經(jīng)進行了許多研究，以跟蹤和檢測基于真實的跟蹤視覺系統(tǒng)。日本Kagawa等人將TOMBO復眼系統(tǒng)應用于口腔牙齦診斷,實現(xiàn)了三維信息探測,但由于系統(tǒng)采用平面結構,故存在探測范圍有限的缺點。加拿大YorkUniversity結合光纖束耦合技術開發(fā)出曲面復眼系統(tǒng),可在較大范圍內(nèi)對深度信息已知的運動物體進行二維軌跡探測。Floreano等人研制出一種基于柔性圖像傳感器的圓柱面復眼系統(tǒng),可用于大視場運動跟蹤,具有很高的時間分辨率。在國內(nèi),北京大學利用傳統(tǒng)單孔徑相機集成出復眼跟蹤系統(tǒng),探索了解決視場、空間分辨率與跟蹤速度之間矛盾的方法。中國科學技術大學的研究團隊采用在球面基底上安裝透鏡陣列的方法設計出一種球面復眼位標器,可以探測低空飛行目標并快速獲取其三維運動參數(shù)。本文在上述研究的基礎之上,設計了一種用于高速三維跟蹤的小型可開窗復眼系統(tǒng),介紹了系統(tǒng)的結構與設計原則。首先,利用卡爾曼濾波器對圖像傳感器進行多路并行開窗,從而克服視場與空間分辨率對時間分辨率的制約,利用較低代價實現(xiàn)高速跟蹤。在實時跟蹤的基礎之上,為了實現(xiàn)實時三維信息獲取,采用蔡氏兩步法對7子眼復眼鏡頭進行了統(tǒng)一標定,建立了歸一化多目探測模型,并分析了系統(tǒng)的三維探測分辨率。最后,通過對比實驗驗證了系統(tǒng)的高速三維跟蹤效果,分析了影響系統(tǒng)三維探測精度的因素以及提高精度的方法,為復眼跟蹤系統(tǒng)的后續(xù)研究奠定了基礎。2圖像傳感器的組成如圖1所示,系統(tǒng)由復眼透鏡、孔徑光闌以及可開窗圖像傳感器3部分組成,系統(tǒng)尺寸為60mm×60mm×50mm。復眼透鏡由分布在球面上的7個子眼構成,材料為透光性與加工性較好的聚甲基丙烯酸甲酯(PMMA),采用單點金剛石車削而成。單個子眼視場角為20°,6個邊緣子眼與中央子眼的光軸夾角均為10°。為了避免相鄰子眼的像在圖像傳感器上重疊引起成像串擾,在圖像傳感器與復眼透鏡之間添加與復眼透鏡同球心的球殼狀光闌。圖像傳感器為一片10mm×10mm的CMOS傳感器,具有1024×1024個像素單元,單個像元尺寸為10μm×10μm。系統(tǒng)對圖2(a)中的原始圖片成像如圖2(b)所示。3roi區(qū)域劃分高速圖像采集是高速視覺跟蹤的基礎,圖像采集速度由曝光時間與數(shù)據(jù)傳輸速度決定,并受圖像處理速度的影響。傳統(tǒng)圖像傳感器為實現(xiàn)大視場與良好的空間分辨率,需要傳輸巨大的數(shù)據(jù)量,必須依靠昂貴的硬件設備實現(xiàn)高速傳輸。本系統(tǒng)采用開窗的辦法克服大視場和良好的空間分辨率對高幀頻的限制,降低需要傳輸?shù)臄?shù)據(jù)量,從而利用較低代價實現(xiàn)高速圖像采集。在程序的控制下,傳感器可僅對目標物的像所在的那一部分CMOS進行曝光和數(shù)據(jù)傳輸,這一部分CMOS稱為ROI(regionsofinterest)。系統(tǒng)的采集速度與ROI的面積負相關。當ROI大小為40×40個像素單元時,最高幀頻可以達到6000f/s,當ROI大小為1024×1024個像素單元時,最高幀頻降低至75f/s。在對CMOS進行開窗之前,首先判斷出參與成像的子眼。在本系統(tǒng)中,通過中央子眼成像的目標始終可以通過兩個相鄰的邊緣子眼成像,亦即目標可同時通過3個子眼成像。圖3對6個邊緣子眼的成像區(qū)域進行了編號,并將中央子眼的成像區(qū)域劃分為6個扇形子塊,參與成像的兩個邊緣子眼始終與中央子像所在的扇形子塊相對,例如當中央子像位于扇形子塊1時,參與成像的邊緣子眼分別為3號和4號邊緣子眼。故可利用中央子像所在的扇形子塊確定該時刻參與成像的兩個邊緣子眼,從而初步確定3個ROI所在的成像區(qū)域。確定參與成像的子眼后,利用背景差分法并結合形態(tài)學算法提取出3個子像的當前位置坐標,再分別利用3個卡爾曼濾波器預測下一時刻3個子像的位置,從而判斷下一時刻ROI位置。由于相機幀頻很高,可近似認為在相鄰兩幀采集時間間隔內(nèi)目標在做勻速直線運動。對于每個卡爾曼濾波器,在進行預測時,取目標在X、Y方向的位置x(k)、y(k)和速度vx(k)、vy(k)為狀態(tài)變量,設在相鄰兩次采樣時間間隔T內(nèi),目標在X、Y方向的加速度ax(k)、ay(k)在[-M,M]上均勻分布,其方差σ2ax=σ2ay=M2/3,則可利用式(1)中的卡爾曼狀態(tài)方程由當前時刻的目標位置(x(k),y(k))預測出下一時刻的目標位置(x(k+1),y(k+1)),從而利用小面積ROI實時跟蹤高速目標。43d信息的獲取4.1結構眼標定結果實現(xiàn)高速目標的實時跟蹤之后,為了進一步實現(xiàn)目標的三維信息探測,必須對復眼系統(tǒng)進行標定。采用蔡氏兩步法并利用同一個世界坐標系對7子眼復眼系統(tǒng)進行了統(tǒng)一標定。蔡氏兩步法是一種基于徑向約束條件的立體靶標標定方法,靶標上的每一個特征點在世界坐標系里的位置在實驗前精確測定。采用不斷地沿導軌移動平面靶標的方法模擬立體靶標,并在標定前利用激光自準直儀校準靶標平面與導軌之間的垂直度,以保證三維靶標模型的精確度。7個子眼的標定結果見表1,0號子眼為中央子眼,1~6號子眼為邊緣子眼。其中,(u0,v0)為光軸與CMOS交點的像素坐標,αx、αy分別為u軸與v軸上的歸一化焦距,(α,β,γ)與[tx,ty,tz]T分別為攝像機坐標系到世界坐標系的旋轉角與平移矩陣。4.2圖像位置的同化復眼系統(tǒng)具有多孔徑的特點,可基于多目視覺原理對目標進行三維定位。在實時跟蹤過程中,目標始終可以通過3個子眼成像,并為3個ROI捕獲。設3個子像分別為P1(N)、P2(N)和P3(N)。如圖4所示,這3個子像分別位于ROI1、ROI2和ROI3的第N幀。由于系統(tǒng)依次采集3個子像而非同時采集,故需將這3個子像的位置歸一化到同一時刻。由于相機采集頻率很高,可以認為在采集這3幀的時間里物體做勻速直線運動,則有采集ROI1的時刻3個子像歸一后的位置P′1(N)、P′2(N)和P′3(N)分別為由式(2)得到同一時刻3個子像的像素坐標(xi1,yi1)、(xi2,yi2)和(xi3,yi3),其中i1、i2和i3為參與成像的子眼序號。復眼系統(tǒng)子眼成像符合針孔成像模型,故目標在世界坐標系下的坐標Xw與其像點坐標(xi,yi)之間的變換關系為其中:si為比例因子;Ri、ti分別為攝像機坐標系到世界坐標系的旋轉矩陣與平移矩陣,i=i1,i2,i3。已標定出(αxk,αyk)、(u0k,v0k)、(αk,βk,γk)和tk=[txk,tyk,tzk]T,k=1,…7。Rk由(αk,βk,γk)給出,其為式(3)結合標定結果,即可求出各個時刻目標在世界坐標系下的坐標Xw。4.3徑向分辨率的測量視覺系統(tǒng)的三維探測分辨率由其系統(tǒng)結構決定。為了估計本系統(tǒng)的三維探測分辨率,近似認為所有子眼的光心都分布在平行于圖像傳感器的平面上,并只考慮雙目的情況。如圖5所示,O、O′分別是中心子眼和相鄰邊緣子眼的光心,f為中央子眼的焦距,d為相鄰子眼光心間的距離,L是測量距離。當物點從A移動到B、像點從A′移動到B′時有當Δx為1pixel的邊長時,ΔL表示徑向分辨率。系統(tǒng)像元邊長為10μm,測量距離為150mm,中央子眼焦距為6mm,相鄰子眼光心間的距離為4.4mm。由式(5)知,徑向探測分辨率為8mm;在垂直于光軸方向的分辨率則為ΔX=LΔx/f=0.25mm。5實驗結果與分析為了驗證系統(tǒng)進行高速三維跟蹤的性能,利用電機帶動高亮LED以10r/s的速度做勻速圓周運動,如圖6所示。復眼系統(tǒng)在距離目標150mm處以3000f/s的幀頻對LED進行三維跟蹤,CMOS開窗大小為40×40個像素單元。圓周運動的直徑為23mm,故目標一周運動72mm。此外,為了對比系統(tǒng)在不同幀頻下對不同速度的目標的跟蹤效果,分別給出了兩組對比實驗的實驗結果。3組實驗的參數(shù)設置見表2。表2中,重構周期為依次采集完ROI1、ROI2和ROI3并重構出目標三維坐標所消耗的時間;重構間隔為目標在系統(tǒng)相鄰兩個重構時刻之間運動的距離。圖7記錄了實驗1中系統(tǒng)得到的所有重構點。圖8給出了實驗2與實驗3得到的重構點在X-Y平面的分布情況,圖中灰色虛線為目標的實際運動軌跡。實驗結果表明:1)系統(tǒng)可有效地對高速運動目標進行實時跟蹤并獲取其三維位置信息。軌跡重構誤差在X、Y方向上為0.4mm左右,在Z方向為11mm左右,亦即Z向相對誤差為7%。影響重構精度的因素主要分為系統(tǒng)分辨率與目標提取精度兩個方面。一方面,系統(tǒng)在X、Y方向上的分辨率為0.25mm,在光軸方向上的分辨率為8mm;另一方面,為了實現(xiàn)系統(tǒng)小型化,采用了緊湊的單層結構,從而犧牲了一定的成像質(zhì)量,造成目標提取精度暫未達到像素級別,導致軌跡重構精度未能達到系統(tǒng)分辨率水平。由式(5)可知,可通過增加系統(tǒng)焦距與子眼光心間距離,并減小測量距離與像元尺寸來提高系統(tǒng)三維探測分辨率。另一方面,可進一步優(yōu)化子眼成像質(zhì)量以提高目標提取精度。2)每當參與成像的邊緣子眼發(fā)生改變時,算法需要兩個重構周期的時間重新設置相關參數(shù),在此期間不能進行重構,形成重構空檔期。在實驗1與實驗3的重構結果中,6個重構空檔期會造成6個約1.5mm寬的重構盲區(qū),與實驗結果吻合。而在實驗2中,重構盲區(qū)寬度約為0.15mm左右,故在圖中幾乎看不出盲區(qū)。對比實驗2與實驗3可見,幀頻提高時,采樣密度明顯增大,有利于消除重構盲區(qū),并發(fā)現(xiàn)高速目標的運動細節(jié)。5高速目標的全景跟蹤與探測介紹了一種可以實時跟蹤高速運動物體并對其進行三維粗定位的復眼系統(tǒng),并提出了一種利用多孔徑系統(tǒng)跟蹤并探測運動物體的策略。利用卡爾曼濾波器對圖像傳感器進行多路并行開窗,從而打破視場與空間分辨率對跟蹤速度的制約,在較低成本的前提下實現(xiàn)了高速跟蹤。采用蔡氏兩步法對7子眼復眼鏡頭進行了統(tǒng)一標定,并建立了歸一化多目探測模型,從而在實時跟蹤的基礎上進一步實現(xiàn)了三維信息獲取。系統(tǒng)在3000f/s的幀頻下,利用一個小型化的結構(60mm×60mm×50mm)對一個高速運動目標(10r/s)進行了實時跟蹤,并重構出目標在150mm處的三維運動軌跡。給出了影響該系統(tǒng)三維探測精度的因素以及提高精度的方法,通過增加子眼焦距與子眼間距離,并通過改進光學設計、提高成像質(zhì)量,可以在小型化、低成本與高速跟蹤的基礎之上,進一步提高仿生復眼探測系統(tǒng)的三維探測精度。本文創(chuàng)造性的將仿生復眼透鏡、卡爾曼濾波器與可開窗圖像傳感器結合在一起,可能為仿生復眼系統(tǒng)用于全景高速三維跟蹤開辟廣闊的發(fā)展空間。高速目標的全景跟蹤與探測是機器視覺領域的重要任務之一。傳統(tǒng)單孔徑視覺系