角點及邊緣混合檢測器

角點及邊緣混合檢測器對于使用圖像特征跟蹤算法進行圖像時序的3D譯碼來說，圖像邊緣濾波器的全都性是特別重要的。為了致力于對含有組織及離散特征點的圖像區(qū)域進行討論，一種基于本地自相關(guān)函數(shù)的混合角點及邊緣檢測器已經(jīng)投入使用，并且實際表明針對于自然圖像其具有良好的全都性。簡介阿爾維項目MMI149中，我們重點研討的問題是:如何使用計算機視覺去闡述自然3D世界。該3D世界中的場景一般都包含了太多種類的特征以致于上下識別技術(shù)無法湊效。例如，我們想要獲得一個自然場景的原理，其包含有道路、建筑、樹木、灌木叢等等，正如圖1中所描述的來自于同一時間序列的兩幅圖。解決我們所遇到問題的方案是：使用計算機視覺系統(tǒng)，該系統(tǒng)基于移動數(shù)碼中單眼圖像序列的運動分析。通過圖像特征的引進與跟蹤，所需場景的3D模擬再現(xiàn)便可以被構(gòu)建。圖1.來自于戶外鏡頭的一組圖像為了清楚呈現(xiàn)圖像特征的跟蹤，圖像特征必需是離散的，不能來于像組織、邊緣等連續(xù)體。鑒于此，我們早期的工作便集中于圖像特征點或角點的提取與跟蹤，由于他們是離散的、牢靠的且信息量豐富。然而，在我們獲得高級別描述體的工作中，如表面或物體，特征點關(guān)聯(lián)性的缺失是主要限制點。我們需要來自于邊緣的更豐富的信息。邊緣跟蹤問題由于已知的對極相機幾何構(gòu)造，逐一像素基礎(chǔ)上邊緣圖像的配準(zhǔn)是工作于立體的。然而，針對于相機運動未知的運動問題，光圈問題使我們難以進行明顯的邊緣線配準(zhǔn)，這些可以通過事先解決運動問題來克服。然而我們還是面臨跟蹤單一邊緣相素和估測3D定位的任務(wù)，如運用KalmanFiltering進行3D定位。但該方法與下述方法相比是不夠吸引力的:將邊緣線整合成邊緣部分，并將其作為特征去跟蹤這些部分。現(xiàn)在我們需要考慮的自然圖像包含了邊緣曲線和不同規(guī)模的組織。以一系列直線部分形式再現(xiàn)邊緣并將他們作為我們的離散特征是不合適的，由于曲線和組織邊緣可以被理解為每個鏡頭圖像上的不同框架，所以是無法跟蹤的。由于病態(tài)，參數(shù)化曲線的使用是無法供應(yīng)解決方案的，尤其是真實圖像。當(dāng)發(fā)覺以上所述解決3D邊緣理解問題的方案存在錯誤時，我們自然想到解決這個問題的必要性。一項心理視覺試驗，觀看旋轉(zhuǎn)的彎曲掛衣架產(chǎn)生視覺歧義，該試驗表明曲線邊緣的3D譯碼問題可能是無法有效解決的。該問題在現(xiàn)實生活中很少消失，由于作為跟蹤特征點的邊緣會存在肯定的缺陷和印跡。盡管可能無法獲得邊緣曲線的精確、清楚的3D形式，但是它所供應(yīng)的關(guān)聯(lián)性對于一些目的是很重要的，實際上邊緣關(guān)聯(lián)性可能要比清楚的3D測量更重要。跟蹤邊緣關(guān)聯(lián)性，結(jié)合角點及交點的3D定位，可以供應(yīng)線框的結(jié)構(gòu)形式，且為那些用于假設(shè)3D表面的圖形區(qū)域定界。這就留給我們一個展現(xiàn)牢靠性邊緣濾波器的問題。如五所述的邊緣濾波器，設(shè)計出來并不是用來解決交點和角點問題的，也難以供應(yīng)邊緣關(guān)聯(lián)性。針對Canny邊緣處理器，這些已在圖2中進行闡述，圖中上限閾值及下限閾值邊緣線分別以黑色和灰色的形式展現(xiàn)。留意到在灌木中有些邊緣，并不是全部邊緣，可以被眼睛清楚觀測到。對遲滯化進行處理后，接著去掉刺激和短的邊緣，交點完成算法的應(yīng)用導(dǎo)出的邊緣和交點狀況見圖3.其中邊緣有灰色表示，交點用黑色表示。在灌木中，只有很少的邊緣可以清楚可見。問題消失在與域值靠近處的邊緣：在邊緣強度或點素化上的微小變動會導(dǎo)致邊緣拓?fù)浣Y(jié)構(gòu)的很大變化。使用邊緣去描述灌木的方法是不行靠的，或許使用特征點的形式進行描述更好一些。圖2.戶外圖像無關(guān)聯(lián)Candy邊緣圖圖3.戶外圖相相關(guān)聯(lián)Candy邊緣圖解決該問題的方法是嘗摸索測圖形的邊緣和角點，交點包括在角點處聚合的邊緣。為了達到這個方法，我們需要從Moravec's角點探測算法。再談MORAVECMORAVEC角點探測是通過在圖形中設(shè)置窗口，并且在不同的方向上進行少量的窗□轉(zhuǎn)化，最終計算由此導(dǎo)致的圖形亮度的平均變化來實現(xiàn)的。以下三種方案需要考慮：A.假如窗口內(nèi)圖形是平的(或者在亮度上近似為常數(shù))，那么全部的轉(zhuǎn)換只會導(dǎo)致很小的變化；B.假如窗口橫跨一個邊緣，那么沿著邊緣的轉(zhuǎn)變會導(dǎo)致很小的變化，但是在垂直邊緣方向上的轉(zhuǎn)變會導(dǎo)致很大的變化；C.假如窗口內(nèi)是一個角點或離散點，那么全部方向上的轉(zhuǎn)變都會引起很大變化。因此當(dāng)發(fā)覺任何形式的轉(zhuǎn)變引起的最小變化很大的時候，就可以確定角點。接下來我們給出上述闡述具體的數(shù)學(xué)表達。用I表示圖像強度，由變化(x,y)引起的變化E表述如下：Ex,y=Z j其中w表示指定圖像窗口：它是在一個統(tǒng)一指定的別處是零的矩形區(qū)域。位移(x,y),被認(rèn)為是包括((1,0),(1,1),(0,1),(-1,l))o因此，莫拉維克的角落探測器很簡潔：查找高于一些閾值的最小(E)的局部極大值。自相關(guān)探測器MORAVEC角點探測器用于測試圖像之后的結(jié)果如圖4a所示；為了比較，同時也展現(xiàn)出Beaudet和Kitchen&Rosenfeld算子的運算結(jié)果(圖4b和4c分別所示)。MORAVEC處理器存在一些問題，它們將分別展現(xiàn)如下，并供應(yīng)合適的校正措施。圖4.測試圖形上的角點探測.響應(yīng)是各向異性的，由于每隔45度僅有一個離散轉(zhuǎn)變集被考慮-通過關(guān)于轉(zhuǎn)換源的解析性拓展，全部小的轉(zhuǎn)換都可以被掩蓋。Ex,y-〉:W",yx+u,y+v—II,V=Z%,+yY+0(/,y2)]2其中第一個梯度近似為x=1(8)(-1,0,1)Y=l(-W)r?dl/dy因此，對小的位移，E可以寫E(x/y)=Ax2+2Cxy+By2其中A=X20wB=Y2?wC=(XY)0w.響應(yīng)是帶有噪音的，由于窗口是雙邊且是矩形的-使用圓滑的圓形窗口，如高斯。Wu/exp%、".對于邊緣，算子響應(yīng)過于明顯-再規(guī)化角點測量，以采用隨著轉(zhuǎn)變方向而轉(zhuǎn)變的E的變化。對于E的這一微小變化可以表述為：E(x,y)=(x,y)M(x,y)T其中的2x2M是對稱矩陣ACM=CB留意到，E與本地自相關(guān)函數(shù)很相近，同時M描述了源處的外形(很明顯，用Taylor綻開的形式)。設(shè)a,廿是M的特征值，a和0與局部自相關(guān)函數(shù)的主曲率成正比，形成旋轉(zhuǎn)不變的M的描述。和前面一樣，有三種方案可考慮：A.假如兩個都是小曲率，使局部自相關(guān)函數(shù)是平滑的，那么窗口圖像區(qū)域近似是恒定強度的(例如圖像斑塊的任意位移造成E的微小變化)；B.假如一個曲率高，而其它低，使局部自相關(guān)函數(shù)成為脊形，則只有沿脊位移(即沿邊緣)E的變化才不大：說明這是一個邊緣；C.假如兩個曲率很高，使局部的自相關(guān)函數(shù)急劇達到高峰，則在任何方向的位移將使E增加：說明這是一個角點。分析（a,B）空間圖形。抱負(fù)的邊緣是a很大，8為0；然而實際上，由于噪音、點素化影響、強度等量化等影響，B僅僅比a小一些。a和B都大表示是一個角點，a和B都小表示一個平面圖像區(qū)域。由于圖像對比度系數(shù)P增加和a和B按P2的比例增加對比，那么，對于P為正數(shù)，（a,B）被認(rèn)為是邊緣區(qū)域，那么（ap2,BP2）也應(yīng)當(dāng)是。類似的狀況也適用于角點。因此，（a,B）的空間就在圖5中用粗線劃分出來。圖5.自相關(guān)主曲率大空間行賜予的角點/邊緣/平面的分類，細紋都是同響應(yīng)等高線角點/邊緣響應(yīng)函數(shù)我們不僅需要確定角點及邊緣分類區(qū)域，還需要對角點及邊緣的質(zhì)量或響應(yīng)進行測量。響應(yīng)的大小會被用來選擇離散角點像素且用于降低邊緣像素。讓我們首先考慮角點響應(yīng)的措施，由于旋轉(zhuǎn)不變的緣由，R是我們需要的一個只包括a和0的函數(shù)。在公式中，使用Tr（M）和Det（M）是可行的，由于這會明確的避開M的特征值分解，從而Tr（M）=A+3Det（M）=c^=AB-C2考慮下面的角點響應(yīng)激勵方程R=Det-Z:7y圖5所顯示的細紋就是常數(shù)R的等高線。R在角點區(qū)域是正的，在邊緣區(qū)域是負(fù)的，在平滑區(qū)域是很小的。留意到增加對比度（即徑向移動遠離原點）在任何狀況下提高了幅值響應(yīng)。該單位指定區(qū)域Tr低于一些選定的閾值。假如角點區(qū)域像素（其響應(yīng)為正）的響應(yīng)在八個方向上都是區(qū)域最大化，則其將會被選擇作為指定的角點像素：在測試圖形中如此探測到的角點如4d所示。假如邊緣區(qū)域像素是負(fù)的，且在x,y方向上區(qū)域最小，則不管兩個方向上第一梯度的幅值是否大，其都會被認(rèn)為是邊緣像素。這就會導(dǎo)致細的邊緣。這種新的角點邊緣分類結(jié)果見圖6,其中黑色表明角點區(qū)域，灰色指代細邊緣。圖6邊緣/戶外圖像的角點分類（灰二角點區(qū)域，白色二薄邊）。通過使用低閾值及高閾值，邊緣滯后就可以進行，且可以強化邊緣的連續(xù)性。該種分類導(dǎo)致5級圖像其中包括：背景，兩個角類和兩個邊類。進一步處理（類似于結(jié)點的完成）將刪除邊緣骨刺、孤立的邊緣和邊緣連續(xù)區(qū)域的小斷裂。這導(dǎo)致在一般終止角點區(qū)域消失連續(xù)薄邊。在角點區(qū)域中，邊緣終端與角點像素相互聯(lián)系，形成連接邊頂點圖，如圖7所示。留意：在叢林中很多的角點與邊緣無關(guān)，由于它們所在區(qū)域在本質(zhì)上是紋理區(qū)域。雖然在圖中不是顯而易見，但很多角點和邊緣是直接可以匹配的。進一步的工作是作關(guān)于連接點的完成算法，目前相當(dāng)簡陋，并在自適應(yīng)閾值區(qū)域。圖7已完成的戶外圖像邊緣(白二角點，黑色二邊緣)致謝作者們特別感謝使用JSherlockofRSRE供應(yīng)的的RSRE圖像(角點算子的比較，圖4)和依據(jù)國防部的合同取得的結(jié)果。在本文中使用的灰色圖像出自以下版權(quán)：版權(quán)全部?1988年英國倫敦掌握器文書局參考文獻Harris,CG&JMPike,3DPositionalIntegrationfromImageSequences,ProceedingsthirdAlveyVisionconference(AVC87),pp.233-236,1987;reproducedinImageandVisionComputing,vol6,no2,pp.87-90,May1988.Charnley,D&RJBlissett,SurfaceReconstructionfromOutdoorImageSequences^roceedingsfourthAlveyVisionClub(AVC88),1988.Stephens,MJ&CGHarris,3DWire-FramelntegrationfromImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.Ayache,N&FLustman,FastandReliablePassiveTrinocularStereovision,ProceedingsfirstICCV,1987.Canny,JF,FindingEdgesandLinesinImages,MITtechnicalreportAI-TR-720,1983.Moravec,H,ObstacleAvoidanceandNavigationintheRealWorldbyaSeeingRobotRover,TechReportCMU-RI-TR-3,Carnegie-MellonUniversity,Roboticsinstitute,September1980.Beaudet,PR,RotationallyInvariantImageOperators,InternationalJointConferenceonPatternRecognition