基于立體視覺的移動機器人導(dǎo)航方法的研究

第21卷第6期Vol.21No.6控制與決策ControlandDecision2006年6月Jun.2006文章編號：100120920(2006)0620709205基于立體視覺的移動機器人導(dǎo)航方法的研究段華,趙東標(biāo)(南京航空航天大學(xué)機電學(xué)院，南京210016)摘要:提出一種新穎、有效的移動機器人導(dǎo)航方法.RGB和可疑障礙物區(qū)域;;約束下的相似性匹配，并構(gòu)造障礙物的最大包圍盒;的相對速度,效性.關(guān)鍵詞:;局部視差連續(xù)性;最大包圍盒中圖分類號:TP:AResearchonMobileRobotNavigationBasedonStereoVisionDUANHua,ZHAODong2biao(CollegeofMechanicalEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing210016,China.Correspondent:DUANHua,E2mail:rancle-dh@163.com)Abstract:Anovelmethodforvisionnavigationispresented.Consideringthecomplexityofreal2timeandtherealroad,thecharacteristicsofthenormalizedRGBvalueareusedtodividetheroadimageintoroadregionanddubiousobstacleregion.Theregionofwaterandcrackareeliminatedbyreprojectionandthecorrelationofthepixelgray.Withthecorrelationmatchingandconstant2local2disparity,realmatchingpointsarefoundwhichcanbeusedtoproducethemaximalencasingboxfortheobstacleontheground.Therelativevelocityoftheobstacleiscalculatedbasedonthemeanandvarianceofthehue.Theleastchangeprincipleforoneobstacleandtheoptimalprincipleformulti2obstaclehelptherobottoavoidtheobstacle.Simulationresultsdemonstratetheeffectivenessoftheobstacleavoidanceinthismethod.Keywords:Mobilerobot;Movingobstacle;Stereovision;Constant2local2disparity;Themaximalencasingbox1引言移動機器人要想實現(xiàn)自主導(dǎo)航，必須完成道路區(qū)域檢測、障礙物檢測和動態(tài)避障3個子任務(wù).鑒于外部環(huán)境的復(fù)雜性,目前視覺導(dǎo)航越來越受人們的重視并表現(xiàn)出很好的發(fā)展前景［1?3］.但由于圖像處理數(shù)據(jù)量大、算法較復(fù)雜，在具體應(yīng)用中為了保證實時性會存有一定的局限性,比如道路區(qū)域檢測的算法不夠魯棒，只能適合算法特定的道路模型［4?6］、只能對靜態(tài)障礙物進行避障［7?10］等.為了使移動機器人的應(yīng)用場合更實際化，本文收稿日期：2005204215;修回日期:2005208216. 基金項目：國家自然科學(xué)基金項目(50275078).設(shè)計了一種視覺導(dǎo)航算法，在考慮到實時性的前提下，對更實際化的道路區(qū)域也能完成檢測，而且能在具有靜態(tài)和動態(tài)障礙物的復(fù)雜環(huán)境中進行局部在線避碰.2道路區(qū)域的檢測2.1立體視覺系統(tǒng)的構(gòu)建為構(gòu)建雙目立體視覺系統(tǒng)，先提出3條假設(shè)：1)所研究的障礙物均是指高出路面的，不涉及溝、洞之類的障礙；2)機器人行駛的路面平坦且顏色基本一致；作者簡介:段華(1977—)，男，南昌人,博士生，從事圖像處理、計算機視覺等研究；趙東標(biāo)(1963—)，男,安徽蚌埠人，教授,博士生導(dǎo)師,從事機電控制、模糊控制及智能機器人等研究.?1994-2010ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.710控制與決策第21卷3)障礙物邊界與背景不連續(xù)、可分離.由于環(huán)境的復(fù)雜性,彩色圖像可以提供更豐富的關(guān)于道路場景的信息，所以在滿足以上3條假設(shè)的前提下,用兩臺內(nèi)部參數(shù)完全一致、光軸相互平行且與水平路面成一定傾角的彩色攝像機構(gòu)成平行雙目立體視覺系統(tǒng).2.2檢測算法的實現(xiàn)目前，在道路區(qū)域檢測方面,主要有邊界特征提?。?,4］、灰度閾值分割［5］、基于灰度相似性的區(qū)域生長［11］等方法.其中，邊界特征提取方法對于復(fù)雜道路模型而言，算法的計算量較大，實時性不好保證;非路(像草坪)物質(zhì)的道路,，生長方法不能把可疑障礙物區(qū)域有效的分離出來，加大了下一步障礙物檢測和重建的工作量.對大量道路圖像顏色值的統(tǒng)計分析中可以發(fā)現(xiàn)以下規(guī)律:陽光下的水泥路面均為中性灰偏紅;陰影下的路面由于光源主要來自天空的反射光，所以偏藍，只是灰度變?。唤M成非路的如泥土、植物等灰度值較小且偏綠、偏紅或偏黃，人行道和路肩灰度雖然較大但一般不為中性灰;道路區(qū)域一般是封閉的，障礙物分布在其中.另外，盡管光照條件的變化會導(dǎo)致路面狀況不同，但歸一化處理能從一定程度上減弱這種干擾，并且對歸一化處理后得到的rgb進行統(tǒng)計分析后發(fā)現(xiàn):光照下的道路r值最大,g值一般分布在0.32?0.33范圍內(nèi)且r與b之差不超過0.1;陰影下的道路b值最大且r與b之差也不超過0.1,g值略小于光照下的值，差值一般不超過0.01.為了改善現(xiàn)有方法的局限性，本文在前面分析的基礎(chǔ)上提出了新的道路區(qū)域檢測算法：1)在圖像的中下方選取一個方形區(qū)域(kxk),計算其灰度平均值f及RGB歸一化值rgb.如果r值最大，則機器人當(dāng)前處在光照下的道路上;如果b值最大，則處在陰影下的道路上.以后每采集一次影下的道路上時，滿足條件f(i,j)-f<T(T為一給定的閾值),bi,j-ri,j<0.1,0.315<gi,j<0.335,則該像素為陰影下的路面;滿足條件f+T<f(i,j),ri,j最大,ri,j-bi,j<0.1,0.315<gi,j<0.335,則該像素為光照下的路面;其余均為非道路區(qū)域.經(jīng)過區(qū)域生長后，可得到一個相對封閉的道路區(qū)域，其中還包括非道路的可疑障礙物區(qū)域.圖1左(),.可，可考慮使用中值濾波去除.圖1道路區(qū)域提取3障礙物檢測及避障參數(shù)的獲取道路區(qū)域中的可疑障礙物區(qū)域，既可能是路面上的障礙物，也可能是路面上的水跡及裂痕等.為了減少后面匹配工作的計算量，首先必須將可疑障礙物區(qū)域提取出來,然后剔除其中的水跡及裂痕.通過分析準(zhǔn)結(jié)構(gòu)化道路圖像發(fā)現(xiàn)，除去十字路口及轉(zhuǎn)彎等地方外，其他地方的道路圖像都有一個特點:在圖像某一行中，如果有一個像素屬于非道路區(qū)域，同時在該行前面和后面的列中又分別存在屬于道路區(qū)域的像素，那么該像素即為可疑障礙物區(qū)域.對于高度較低的障礙物,由于被道路區(qū)域完全包圍，所以利用此特點能夠得到完整的可疑障礙物區(qū)域;對于具有一定高度的障礙物(如行人)，由于攝像機的高度有限,所以不一定能被道路區(qū)域完全包圍，通常是障礙物的上半部分在非道路區(qū)域中.考慮到障礙物普遍呈上小下大狀，所以利用此特點雖然只能得到障礙物下半部分的區(qū)域,但對后續(xù)的路徑規(guī)劃是完全適圖像都要對這幾個值進行更新并重新判斷.2)根據(jù)區(qū)域增長法對道路區(qū)域進行分割.選用的特征向量為像素(i,j)的灰度值f(i,j)和彩色歸一化值ri,jgi,jbi,j.當(dāng)機器人在光照下的道路上時，滿足條件f(i,j)-f<T(T為一給定的閾值),ri,j-bi,j<0.1,0.315<gi,j<0.335,則該像素為光照下的路面;滿足條件50<f(i,j)<f-T,bi,j最大,bi,j-ri,j<0.1,0.315<gi,j<0.335則該像素為陰影下的路面;其余均為非道路區(qū)域.當(dāng)機器人在陰圖2可疑障礙物區(qū)域的分割結(jié)果?1994-2010ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.第6期段華等:基于立體視覺的移動機器人導(dǎo)航方法的研究711合的.圖2是實際效果圖.可疑障礙物區(qū)域提取后，計算其形心點坐標(biāo)（區(qū)域像素x和y的平均值并圓整），并按下述方法提取真實障礙物區(qū)域：1）如果該坐標(biāo)值落在區(qū)域中，則將其投影到路面并反投影到相應(yīng)的另一幅圖像上，然后對這兩個圖像上的點進行灰度相關(guān)性計算.如果滿足相關(guān)性則表示該區(qū)域為路面,否則為真實障礙物區(qū)域.2）如果該坐標(biāo)值不在區(qū)域中,則在區(qū)域中以相同的y值找出三個初始點,然后取x值在中間的點為研究對象，方法類同于1）.XOZ平面內(nèi)（機器人坐標(biāo)系中Z進方向,XOZ）對于機器人的速度.:首先對Ts時的真實障礙物區(qū)域進行局部視差連續(xù)性約束下的相似性匹配[12],利用得到的精確匹配點集計算出障礙物上點在攝像機坐標(biāo)系下的坐標(biāo)值,然后投影到機器人坐標(biāo)系的XOZ平面中用其中的Z坐標(biāo)最小值Zmin和最大值Zmax以及X坐標(biāo)最小值Xmin和最大值Xmax四個值構(gòu)造一個初始的最大包圍盒.考慮到攝像機的觀察角度以及物體自身遮擋等影響，對該包圍盒進行擴展，得到最終的最大包圍盒的邊界尺寸為Xmin,Xmax,Zmin和Zmax.擴展的方法如下式所示：TTTT4動態(tài)避障算法定義PX和PT的X坐標(biāo)值和Z坐標(biāo)值,Z為PPXT+3TT+3T+3T和PT為PT+3T的X坐標(biāo)值和Z坐標(biāo)值.當(dāng)ZPZ-PTZ>0時，障礙物遠離機器人，不需要避

+3TT+3TTT+3T障;當(dāng)PT-PT-PX>0,PXZZ<0時,按PXTT+3TT-PX=0和PX-PX<0三種情況進行討論.限T+3TT于篇幅，下面只討論PX-PX>0的情況.此時，障礙物在機器人坐標(biāo)系XOZ平面的位置T+3T有3種可能:一種是圖3Xm<axrobotT3TXm(Xm是3s時障礙物最大包圍盒的t,XX坐T+3Trobot)；一種是障礙物的XmNXmaxin且minT+TrobotT+3Trobot<Xm>Xmin最后一種是Xminax(此時不需要進行避障).下面主要分析第1種情況，第2情況的分析類似.3X=(Xmax-Xmin)xN3Z=(Zmax-Zmin)x「Xmin=Xmin-TT圖3障礙物在XOZ平面的分布情況3X2,圖3中,V為障礙物相對機器人的速度矢量J2〃Bd,l1〃Db,l3是12和11的角平分線矩形ABCD⑴Xmax=Xmax+3X2,Zmin=Zmin,Zmax=Zmax+3Z.TT代表障礙物,abcd代表機器人.顯然，當(dāng)V不在l2和l1之間時，機器人不需要避障;在l2和l3之間時，障礙物相對機器人的速度改變量3V應(yīng)該為V向l2作的垂線;在l1和l3之間時,3V應(yīng)該為V向l1作的垂線.由于障礙物的速度不能人為改變，所以將3V轉(zhuǎn)變到機器人上，即機器人的速度改變量為-3V.令k3代表V的斜率,k1和k2分別為l1和l2的斜率JM為V的模13VII為3V的模,則當(dāng)arctank3-arctank2<(arctank1-arctank2)2時,有舊Vll=①xIVRxsin(arctank3-arctank2).其中:N為X方向上的擴展因子,r為Z方向上的擴展因子.于是3s時障礙物的形心點PT的坐標(biāo)即為TTTT((Xm2和(Zm2).重復(fù)上面的步in+Xmax)in+Zmax)驟，可得(T+mT)s時障礙物形心點PT+3T的坐標(biāo)及包圍盒的長和寬，即第1個避障參數(shù).當(dāng)圖像中存在多個障礙物時,考慮到光照對色調(diào)的影響不大且障礙物區(qū)域像素不多,所以可將障礙物區(qū)域的RGB｛和方差PH.可值轉(zhuǎn)換成HIS值，求出其色調(diào)均值H｛值和PH值的利用連續(xù)二幀圖像中障礙物區(qū)域的H相關(guān)性進行障礙物區(qū)域的匹配.令mr為同一障礙物的形心點PT到點PT+3T的矢量，則該障礙物相對于機器人的速度V=3r3T,即為第2個避障參數(shù).⑵①為比例系數(shù)(取值大于1),-3V的方向在第三象?1994-2010ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.◎712控制與決策第21卷限，與Z軸負(fù)方向的夾角為arctank2;當(dāng)arctank3-arctank2>(arctank1-arctank2)2時，有舊Vll=①xlVllxsin(arctank1-arctank3).上分量的方向.注意，如果在Z軸正向且機器人的速度已經(jīng)是最大，則應(yīng)該采用第1避障策略.最后給出完整的避障算法描述：Stepl:判斷當(dāng)前所處位置是不是目標(biāo)點,如果是，算法停止,否則進入下一步；Step2:判斷當(dāng)前是否存在碰撞可能，如果存⑶-3V的方向在第一象限，與Z軸正方向的夾角為arctank1.在,轉(zhuǎn)入下一步,不存在則跳到Step6;Step3:判斷是否滿足第2避障策略，如果滿足,進入Step5,;Stepl,一個5:3)中的特殊情況,如Step4,否則使用第2避障策略實現(xiàn)動態(tài)避障，一個決策周期后跳回Stepl；Step6:朝向目標(biāo)點運動,一個決策周期后跳回Stepl.圖3中障礙物的碰撞時間t的計算如下：t=t=Wksin(arctan(k3))IMxco( 3)_T+3T,k3kCa3>kCa.(4)T+3T式中kCa為線段Ca的斜率.為了減少圖像處理消耗的時間，提高決策的實時性，規(guī)定障礙物為稀疏分布.機器人如果檢測到障礙物可能與自己發(fā)生碰撞，馬上分析哪個障礙物最先發(fā)生碰撞，然后針對該障礙物先進行避障，接著在下一個決策周期再對此時最先發(fā)生碰撞的障礙物進行避碰，最終實現(xiàn)多障礙物的避碰.本文稱之為第1避障策略.當(dāng)兩個障礙物與機器人發(fā)生碰撞的時間間隔較小，比如在一個決策周期內(nèi)時，此策略并不理想，所以必須引入第2避障策略.在第2避障策略中，應(yīng)考慮最先發(fā)生碰撞的障礙物A和B分別引起的機器人的速度改變量-3VA和-3VB在X軸和Z軸方向的分量(A為最先發(fā)生碰撞的障礙物).然后按下面的策略計算機器人最終速度改變量3V,即：1)兩者在X軸和Z軸的分量均同向或均異向5仿真例子為了說明此避障方法的有效性,下面給出了仿真實驗結(jié)果.仿真環(huán)境是用VC開發(fā)的,運行于PC機.在仿真中，機器人為矩形淇長和寬為0.8m和0.6m,視覺傳感器探測范圍為3m,決策周期0.7s,機器人的最大速度為0.8ms（通過調(diào)整傳感器的探測范圍和決策周期可提高機器人的實際速度）.仿真動態(tài)障礙物1S 動態(tài)障礙物2過程中，一共有3個障礙物,離得最近的是正方形的靜態(tài)障礙物，兩個作勻速直線運動的動態(tài)障礙物外形均為圓形（便于構(gòu)造最大包圍盒）.仿真界面的單位是mm,采用1:100的比例，坐標(biāo)原點在工作窗口的左上角不軸向右遞增,y軸向下遞減.圖4中,自上向下運動的動態(tài)障礙物的速度為0.54m1向左上方運動的速度為0.57ms.從圖中可以看出機器人根據(jù)障礙物的速度差異而采取相應(yīng)的行為進行避障，最終成功到達終點.在仿真中，考慮到圖像處理和匹配的耗時，一個決策周期中前70%的時間機器人狀態(tài)不變，后30%的時間進行避障決策并改變運動狀態(tài).時JV取舊VA懷口口VB怕勺最大值,方向為WVA的方向；2）兩者在X軸的分量同向，在Z軸的分量異向時JV大小取舊VAIIsin(arctan(kA))和舊VBIsin（arctan（kB））的最大值,方向為X軸上分量的方向（kA和kB為計算3VA和mVB時所用的l1或l2的斜率）；3)兩者在Z軸的分量同向，在X軸的分量異圖4動態(tài)避障仿真結(jié)果向JV的大小為舊VAIIcos(arctan(kA))和舊VBIIcos(arctan(kB))的最大值,方向為Z軸6結(jié)語道路圖像處理結(jié)果及避障仿真結(jié)果表明，本文?1994-2010ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.第6期段華等:基于立體視覺的移動機器人導(dǎo)航方法的研究713設(shè)計的基于立體視覺的移動機器人導(dǎo)航方法是可行的、有效的.該方法對于類似于校園干道的、路況較好的準(zhǔn)結(jié)構(gòu)化水泥道路魯棒性較好，且能有效避讓靜態(tài)和動態(tài)障礙物.但是，本文的道路檢測方法目前只能識別陰影下的水泥道路,對于水跡及灰塵下的水泥道路不適合,只能作為可疑障礙物區(qū)域進行下一步檢測.為了提高實時性，在以后的研究中將進一步完善檢測算法.參考文獻(References)[1]ChowYH,RonaldC.ObstacleAvoidanceofLeggedRobotWithout3DReconstructionoftheSurroundings[7]BadalS,RavelaS.APracticalObstacleDetectionandAvoidanceSystem[A].ProcoftheSecondIEEEWorkshop[C].Sarasota,1994:972104.[8]MurrayD,LittleJ.UsingReal2timeStereoVisionforMobileRobotNavigation[J].AutonomousRobots,2000,8(2):1612171.[9]席志紅，原新，許輝.基于視覺的移動機器人實時避障和導(dǎo)航[J].哈爾濱工程大學(xué)學(xué)報,2002,23(5):1062107.(XiZH,YuanX,H.Vision2basedOn2lineOAvoNonofMobileRobot[J].JrbinEn,2002,23⑸:1062[R].HongKong:TheChineseUniversityofKong,1999:231622321.[2]MurrayD,JenningsC.isiMandNavigationfo].ProcofIEEEConfonRoboticsAtomation[C].Albuquerque,)口,強文義，陳興林.雙足機器人實時障礙檢測視覺系統(tǒng)[J].控制與決策,2004,19(1):40243.(CuiW,QiangWY,ChenXL.RealTimeObstacleDetectionSystemforBipedRobot[J].ControlandDecision,2004,19⑴:40243.)1997:169421699.[3]MathiesL,BrownE.MachineVisionforObstacleDetectionandOrdnanceRecognition[A].AnnualMeetingofProcoftheAssociationforUnmanned[11]唐國維，李井輝,趙建民.基于二維灰度圖像的道路區(qū)域獲取方法[J].計算機工程與應(yīng)用,2003,16(39):2302232.(TangGW,LiJH,ZhaoJM.ApproachtoGettingRoadAreaBasedon2DGrayImage[J].ComputerEngineeringandApplications,VehicleSystems[C].Orlando,1996:178021785.[4]XuYC,WangRB,LiB,etal.AVisionNavigationAlgorithmBasedonLinearLaneModel[A].ProcofIEEEIntelligentVehiclesSymposium2000[C].New2003,16(39):2302232.)[12]ZhangZ,DericheR,FaugerasO,etal.ARobustTechniqueforMatchingTwoUncalibratedImagesThroughtheRecoveryoftheUnknownEpipolarGeometry[J].ArtificialIntelligenceJ,1995,78:872119.[13]黃慶明，張?zhí)镂?潘少靜.基于色彩學(xué)習(xí)的彩色圖像分York,2000:2402245.[5]李慶忠，陳先華,顧偉康，等.基于彩色立體視覺的障礙物快速檢測方法[J].計算機科學(xué),2003,10(9):72275.(LiQZ,ChenXH,GuWK.FastMethodforObstacleDetectionBase