一種城區(qū)航空影像與機(jī)載lidar點(diǎn)云自動(dòng)配準(zhǔn)算法

一種城區(qū)航空影像與機(jī)載lidar點(diǎn)云自動(dòng)配準(zhǔn)算法

1基于點(diǎn)、線(xiàn)相似不變性的自動(dòng)配準(zhǔn)算法航空?qǐng)D像具有豐富的含義信息，是地物提取中最大的數(shù)據(jù)來(lái)源之一。由于缺乏直接的三維信息，使用圖像進(jìn)行數(shù)據(jù)處理有一定的限制。機(jī)載激光雷達(dá)(airbornelightdetectionandranging,LiDAR)是一種新型的航空對(duì)地觀(guān)測(cè)傳感器,具有主動(dòng)觀(guān)測(cè)、受天氣影響小、不受陰影影響、對(duì)地物間縫隙有一定穿透性并能直接獲取地表三維幾何信息等優(yōu)點(diǎn)。將航空影像和LiDAR點(diǎn)云配準(zhǔn)、融合,可同時(shí)獲取地物的空間信息及語(yǔ)義信息,有效彌補(bǔ)了單一數(shù)據(jù)源的不足,在災(zāi)害評(píng)估、真正射影像制作、道路、建筑物自動(dòng)建模等領(lǐng)域有很大的應(yīng)用前景。與傳統(tǒng)配準(zhǔn)算法不同,航空影像與機(jī)載LiDAR點(diǎn)云的配準(zhǔn),是二維與三維數(shù)據(jù)、連續(xù)影像與離散點(diǎn)云之間的配準(zhǔn)問(wèn)題,傳統(tǒng)影像之間的配準(zhǔn)方法收效甚微。近10年來(lái),國(guó)內(nèi)外學(xué)者對(duì)其進(jìn)行了一定的研究,大致可以歸結(jié)為3類(lèi)算法。①通過(guò)航空影像密集匹配獲取三維點(diǎn)集,然后通過(guò)ICP(iterativeclosestpoint)或其改進(jìn)方法建立其與機(jī)載LiDAR點(diǎn)云的對(duì)應(yīng)關(guān)系,這本質(zhì)上是一種3D-3D配準(zhǔn)變換。這類(lèi)算法無(wú)法進(jìn)行單張影像與點(diǎn)云的配準(zhǔn),同時(shí)密集匹配生成點(diǎn)云的過(guò)程會(huì)降低配準(zhǔn)精度。②將LiDAR點(diǎn)云按照高程或強(qiáng)度轉(zhuǎn)換為二維影像,再依據(jù)傳統(tǒng)的圖像配準(zhǔn)方法實(shí)現(xiàn)兩種數(shù)據(jù)的配準(zhǔn)。如基于互信息的全局配準(zhǔn)方法、基于SIFT(scaleinvariantfeaturetransform)算子的配準(zhǔn)方法、基于FFT變換的算法、6元組松弛法等。這類(lèi)算法充分利用了原有的成熟圖像配準(zhǔn)算法,自動(dòng)化程度高,然而規(guī)則化過(guò)程中的誤差、點(diǎn)位選取不準(zhǔn)的誤差,都會(huì)降低配準(zhǔn)精度。③部分學(xué)者嘗試建立遙感影像與機(jī)載LiDAR點(diǎn)云之間的直接配準(zhǔn)模型。文獻(xiàn)[15—16]用直線(xiàn)特征或平面特征建立遙感影像與激光點(diǎn)云的直接映射關(guān)系。文獻(xiàn)將空間三維點(diǎn)采用參數(shù)方程和輔助變量聯(lián)合表示,通過(guò)擴(kuò)展的共線(xiàn)方程,建立起二維影像點(diǎn)(2D)與的點(diǎn)云空間三維直線(xiàn)(3D)的直接映射關(guān)系,避免了LiDAR空間點(diǎn)位選取不準(zhǔn)的誤差、點(diǎn)云內(nèi)插誤差以及密集匹配的誤差,配準(zhǔn)模型嚴(yán)密、簡(jiǎn)單,具有一定的推廣價(jià)值。該算法的自動(dòng)化程度取決于配準(zhǔn)基元的選取與匹配的自動(dòng)化程度,需要進(jìn)一步的研究。基于上述分析,本文綜合第2類(lèi)和第3類(lèi)算法的優(yōu)點(diǎn),提出一種基于點(diǎn)、線(xiàn)相似不變性的自動(dòng)配準(zhǔn)算法。首先,將點(diǎn)云內(nèi)插成強(qiáng)度影像(和取反的強(qiáng)度影像),通過(guò)SIFT算法提取足夠多的匹配點(diǎn)對(duì),并實(shí)現(xiàn)點(diǎn)云與影像的粗配準(zhǔn);同時(shí)分別基于點(diǎn)云和航空影像提取邊緣特征,并通過(guò)一定規(guī)則將一條較長(zhǎng)的邊緣自動(dòng)的分割為若干較短的邊緣直線(xiàn);然后利用局部區(qū)域中點(diǎn)特征與線(xiàn)特征的相似不變性,通過(guò)匹配點(diǎn)對(duì)搜索匹配直線(xiàn)對(duì);最后采用基于擴(kuò)展共線(xiàn)方程的2D-3D嚴(yán)密配準(zhǔn)模型實(shí)現(xiàn)航空影像與LiDAR點(diǎn)云的精配準(zhǔn)。技術(shù)流程如圖1所示。2旋轉(zhuǎn)法影像與常規(guī)影像的對(duì)比SIFT算法通過(guò)在DOG尺度空間尋找極值點(diǎn)作為特征點(diǎn),并在鄰域計(jì)算梯度直方圖作為該點(diǎn)的局部特征描述符,它能夠較好地克服兩幅影像因旋轉(zhuǎn)、比例尺不一以及光源不同導(dǎo)致的差異。本文采用文獻(xiàn)的建議,分別利用LiDAR點(diǎn)云內(nèi)插距離影像、強(qiáng)度影像和取反后的強(qiáng)度影像與遙感圖像進(jìn)行匹配,提取足夠多的匹配點(diǎn),并利用RANSAC算法消除錯(cuò)配,最后對(duì)所有匹配點(diǎn)按可靠性進(jìn)行排序,選擇可靠性較高的匹配點(diǎn),基于DLT模型進(jìn)行粗配準(zhǔn)。3線(xiàn)屬性的提取3.1精確直線(xiàn)特征的獲取本文采用從粗到細(xì)的策略從LiDAR點(diǎn)云中提取線(xiàn)特征(主要指建筑物輪廓線(xiàn)),首先利用文獻(xiàn)提出的技術(shù)流程從LiDAR點(diǎn)云中快速提取建筑的大致輪廓線(xiàn)并進(jìn)行分割,然后根據(jù)建筑物的掃描特征,提出一種精確提取建筑物特征線(xiàn)的“微元特征分析法”。詳細(xì)步驟如下:(1)建筑物點(diǎn)檢測(cè)。將點(diǎn)云柵格化成距離影像DSM,再采用形態(tài)學(xué)濾波方法獲取DEM數(shù)據(jù),進(jìn)一步求得規(guī)則化的nDSM,最后利用高差閾值對(duì)nDSM進(jìn)行分割,求出建筑物區(qū)域及其對(duì)應(yīng)的建筑物點(diǎn)。(2)建筑物輪廓生成與規(guī)則化。采用AlphaSha[pes20]算法從檢測(cè)出的建筑物點(diǎn)中提取建筑物初始輪廓,采用袖子算法提取原始輪廓的關(guān)鍵點(diǎn),進(jìn)而得到輪廓線(xiàn)的骨架,再對(duì)骨架線(xiàn)進(jìn)行規(guī)則化處理,最后得到規(guī)則化后的建筑物輪廓。(3)特征直線(xiàn)提取。獲取規(guī)則化的建筑物輪廓后,依據(jù)線(xiàn)段的長(zhǎng)度與角度,將輪廓拆分為多條直線(xiàn)。(4)利用“微元特征分析法”提取精確直線(xiàn)特征。由于目前主流的機(jī)載LiDAR硬件所采集的點(diǎn)云空間分辨率不高,并非所用邊緣點(diǎn)都正好落在屋頂邊緣,同時(shí)考慮到建筑物點(diǎn)識(shí)別(特別是邊緣點(diǎn))可能存在誤差等原因,初步提取的建筑物輪廓通常不是嚴(yán)格分布在實(shí)際建筑物邊界,規(guī)則化后的邊緣線(xiàn)可能會(huì)向建筑物內(nèi)部收縮不超過(guò)點(diǎn)間距0.5倍的距離。由于LiDAR的掃描特性,航線(xiàn)兩側(cè)特征線(xiàn)偏移的方向不一致,內(nèi)縮誤差在平差運(yùn)算中可能得到一定的消減,文獻(xiàn)提出為控制點(diǎn)設(shè)定相應(yīng)的精度(權(quán)值),計(jì)點(diǎn)云高程精度為控制點(diǎn)高程精度,計(jì)0.5個(gè)點(diǎn)間距與點(diǎn)云平面精度之和為平面精度,然后代入平差方程求最優(yōu)解。該方法難以完全消除建筑物邊緣的內(nèi)縮誤差。本文利用LiDAR的掃描特性,通過(guò)“微元特征分析法”對(duì)精化一部分邊緣線(xiàn)。其理論為:當(dāng)掃描角大于一定的閾值時(shí)(如圖2(a)所示),激光光束打到建筑物墻立面形成點(diǎn)云,利用概略邊緣線(xiàn)及其在地面上的投影組成一個(gè)特征立面V,該特征平面沿其法線(xiàn)方向的微小移動(dòng)即為V在該特征上的微小變量(本文dv取點(diǎn)間距的0.6倍,如圖2(b)),定義為“微元特征”。統(tǒng)計(jì)“微元特征”內(nèi)點(diǎn)的個(gè)數(shù)是否達(dá)到給定的閾值,若滿(mǎn)足,則利用最小二乘原理擬合墻立面,然后以墻立面的水平位置為約束獲取精化的邊緣直線(xiàn)。具體步驟如下:(1)遍歷初始邊緣線(xiàn),搜索每條直線(xiàn)的“微元特征”。(2)統(tǒng)計(jì)微小立面的點(diǎn)云個(gè)數(shù),并計(jì)算出微元內(nèi)的點(diǎn)密度。(3)若點(diǎn)密度大于閾值,根據(jù)最小二乘原理擬合墻立面,以墻立面與建筑物頂面的交線(xiàn)為約束條件精化邊緣線(xiàn);反之,轉(zhuǎn)到(1)。(4)遍歷所有的邊緣線(xiàn),提取精化后的直線(xiàn)為特征線(xiàn)。建筑物是否存在立面點(diǎn)、立面點(diǎn)數(shù)量的多少與建筑物的高度、朝向、飛機(jī)的高度、飛行方向等眾多因素相關(guān)。LiDAR工程中,視場(chǎng)角一般在50°左右,即掃描角在-25°和+25°之間。試驗(yàn)發(fā)現(xiàn),當(dāng)掃描角絕對(duì)值大于5°時(shí),除特別小、密集的建筑(如棚屋區(qū))外,大部分建筑物至少有一個(gè)墻立面存在點(diǎn)云。因此,在城市地區(qū)利用“微元特征分析法”得到的精確特征線(xiàn),可以覆蓋大部分區(qū)域,滿(mǎn)足精配準(zhǔn)的要求。當(dāng)精確提取的特征線(xiàn)分布不足時(shí),可參考文獻(xiàn)的方案,將其他特征線(xiàn)賦以較小的權(quán)重,代入平差方程獲得最優(yōu)解。3.2基于特征線(xiàn)的優(yōu)化基于點(diǎn)云提取的線(xiàn)特征精度稍差但完整性好,基于影像提取的邊緣能準(zhǔn)確覆蓋建筑物內(nèi)外邊緣像素,但是比較破碎。本文采用LSD法提取特征直線(xiàn),與傳統(tǒng)的Canny算子結(jié)合Hough變換提取直線(xiàn)的方法相比,漏檢現(xiàn)象少,完整性也較好。同時(shí),為了提高自動(dòng)匹配算法的運(yùn)行效率,通過(guò)計(jì)算線(xiàn)段的長(zhǎng)度、長(zhǎng)度比、角度、端點(diǎn)間距離、線(xiàn)段間法向距離等參數(shù),對(duì)基于影像提取的特征線(xiàn)進(jìn)行優(yōu)化。具體可分下述幾種情況:(1)如圖3(a)所示的輪廓ABCD,通過(guò)角度閾值和長(zhǎng)度閾值,切割成AB、BC、CD3條線(xiàn)段。(2)如圖3(b)的輪廓ABCDE,簡(jiǎn)化成選段AE。(3)若一條明顯的線(xiàn)段被分割成幾條短小線(xiàn)段,如圖3(c)所示,線(xiàn)段AB、CD、EF可以合并為線(xiàn)段AF。(4)若多條線(xiàn)段平行且線(xiàn)段間距離非常相近,如圖3(d)所示,選段AB、CD可以合并為線(xiàn)段A′B′。4自動(dòng)匹配算法為了滿(mǎn)足共面條件,將基于LiDAR點(diǎn)云提取的特征線(xiàn)沿著Z軸投影到點(diǎn)云強(qiáng)度影像上,利用L1={q1,q2,…,qn}表示其集合,通過(guò)L2={p1,p2,…,pm}表示基于粗匹配后的航空影像提取的直線(xiàn)段集合,C={c1,c2,…,ck}表示匹配點(diǎn)對(duì)的集合,其中cm={(ai,bj),0≤m≤k}。本文中的直線(xiàn)通過(guò)系數(shù)矩陣表示,如直線(xiàn)Ax+By+C=0,表示為[ABC]T。如圖4所示,特征線(xiàn)q位于點(diǎn)云空間,特征線(xiàn)p是q在航空影像上的匹配直線(xiàn),由于粗匹配后的航空影像已被近似地投影到點(diǎn)云空間,大部分誤差已消除,同時(shí)一組匹配特征線(xiàn)對(duì)所涉及的范圍較小,可以假設(shè)它們之間只存在微小的角度差異和尺度差異,線(xiàn)對(duì)之間的關(guān)系可以通過(guò)式(1)表示式中,H表示變換矩陣;s表示比例因子,其大小由H和p決定。如圖4所示,特征點(diǎn)a1、a2位于q附近,a1、a2在航空影像上的匹配點(diǎn)b1、b2位于p周?chē)??？芍ヅ潼c(diǎn)對(duì)之間的關(guān)系也滿(mǎn)足用同一變換矩陣,用表示a1、a2、b1、b2的齊次坐標(biāo),可得將式(1)、式(2)代入式(4)可得式(5)的物理意義是:當(dāng)兩個(gè)特征點(diǎn)距離特征直線(xiàn)足夠近時(shí),特征點(diǎn)與特征直線(xiàn)之間的距離比相等,即滿(mǎn)足相似不變性。利用該特性,即可通過(guò)匹配點(diǎn)對(duì)搜索匹配的直線(xiàn)對(duì)。本文以點(diǎn)云空間的特征線(xiàn)q為例,介紹自動(dòng)匹配的步驟:(1)以特征線(xiàn)q的法線(xiàn)方向α·L(q)和與直線(xiàn)平行方向的β·L(q)為界設(shè)置搜索區(qū)域(如圖5所示,本文α、β各取2),找出搜索區(qū)域內(nèi)所有的匹配點(diǎn)對(duì),以及影像空間中與該區(qū)域有交集的全部“待匹配特征線(xiàn)”ΔP={Δp１,Δp２,…,Δpｎ}。(2)通過(guò)式(6)計(jì)算q與每條“待匹配直線(xiàn)”的相似性Sim(q,Δp),由式(6)可知,當(dāng)Δp與q相匹配且參與計(jì)算的兩個(gè)匹配點(diǎn)對(duì)也沒(méi)有錯(cuò)配時(shí),Sim(q,Δp)≈1。(3)為了盡可能地消除粗匹配中錯(cuò)匹配點(diǎn)的影響,本文針對(duì)每條“疑似匹配直線(xiàn)”Δp,與搜索區(qū)域內(nèi)所有的匹配點(diǎn)對(duì)一起,計(jì)算所有的相似性測(cè)度值,然后取最大值maxSim(q)作為相似性測(cè)度依據(jù)(4)重復(fù)(1)—(3),直到搜索出所有的匹配直線(xiàn)對(duì)。(5)本文提取建筑物邊緣直線(xiàn)為線(xiàn)配準(zhǔn)基元,因此有大量的平行線(xiàn)段存在,假設(shè)c1、c2為平行的特征線(xiàn)附近的匹配點(diǎn)對(duì),當(dāng)c1、c2組成的“線(xiàn)段”與線(xiàn)特征平行時(shí),僅僅通過(guò)maxSim(q)進(jìn)行判斷邏輯不夠嚴(yán)密,容易造成錯(cuò)判。為了增強(qiáng)算法的抗差性,引入直線(xiàn)之間的距離作為輔助的相似性測(cè)度參數(shù)。直線(xiàn)距離定義如圖6所示:q為點(diǎn)云空間的特征線(xiàn);Δp為影像空間的特征線(xiàn)在點(diǎn)云空間的投影直線(xiàn);O為Δp的中點(diǎn),取O一定距離(本文取2.5m)的端點(diǎn)A、B,A到q的距離為d1,B到q的距離為d2,則q與Δp的距離為(6)引入長(zhǎng)度比和角度差作為測(cè)度依據(jù)。理論上,同名特征線(xiàn)長(zhǎng)度基本一致,考慮到基于影像提取的直線(xiàn)完整性不如基于點(diǎn)云提取的直線(xiàn),本文限定點(diǎn)云特征線(xiàn)與影像特征線(xiàn)長(zhǎng)度比是1~3倍;特征線(xiàn)之間的夾角也可以起到有效的濾除效果,通過(guò)設(shè)定夾角閾值15°,可快速去除大部分不匹配的直線(xiàn)段。在(3)之前,通過(guò)(5)、(6)進(jìn)行明顯的非匹配直線(xiàn)濾除,可有效提高匹配效率。5云空間特征線(xiàn)的關(guān)系精配共線(xiàn)方程是攝影測(cè)量中的基本方程,其實(shí)質(zhì)是二維影像坐標(biāo)和三維物方坐標(biāo)之間的轉(zhuǎn)化關(guān)系。如果在影像空間特征線(xiàn)p上任取一點(diǎn)α,可以確定α在LiDAR點(diǎn)云空間的同名點(diǎn)β在p的匹配特征線(xiàn)q上,通過(guò)特征線(xiàn)端點(diǎn)A、B的坐標(biāo)并引入輔助參數(shù)λ可精確表示β的坐標(biāo),如式(9)所示將上述關(guān)系代入原始的共線(xiàn)方程,得到擴(kuò)展的共線(xiàn)方程模型(10),通過(guò)該模型實(shí)現(xiàn)航空影像與LiDAR點(diǎn)云的精配準(zhǔn)通過(guò)最小二乘平差迭代使得點(diǎn)云空間每條直線(xiàn)表示的空間點(diǎn)不斷接近真值,最后同時(shí)解算出航空影像外方位元素以及輔助參數(shù)λ,實(shí)現(xiàn)精確配準(zhǔn),當(dāng)初始外方位元素未知時(shí),可利用該思路擴(kuò)展多項(xiàng)式模型等其他配準(zhǔn)模型實(shí)現(xiàn)精配準(zhǔn)。6配準(zhǔn)精度評(píng)價(jià)為了驗(yàn)證本文算法的實(shí)際效果,采用長(zhǎng)春某地區(qū)的航空影像與LiDAR點(diǎn)云試驗(yàn)(如圖7所示),測(cè)區(qū)人工地物豐富,分布合理,典型性較高。其中,LiDAR點(diǎn)云平均點(diǎn)間距約0.7m,高程精度約0.15m,水平精度約0.4m。相機(jī)的CCD像元大小為0.0068mm,焦距60mm,航高約1500m,地面分辨率約0.2m。其中,粗配準(zhǔn)的結(jié)果如表1所示,基于點(diǎn)云提取的匹配點(diǎn)和特征線(xiàn)(精化后)的分布如圖8所示,粗配準(zhǔn)后的點(diǎn)云與影像疊加效果如圖9所示。由表1可知:1由于距離影像與航空影像紋理差異太大,錯(cuò)匹配率過(guò)高,匹配結(jié)果不具備實(shí)用性;2點(diǎn)云強(qiáng)度影像能取得較好的匹配效果,可能是機(jī)載LiDAR所采用的激光屬于紅外波段而光學(xué)影像屬于可見(jiàn)光波段的緣故,將強(qiáng)度值取反再與光學(xué)影像進(jìn)行匹配,獲取的匹配點(diǎn)數(shù)量更多、可靠性更高;3盡管試驗(yàn)中采取RANSAC算法進(jìn)行了去噪,但無(wú)論采用哪種數(shù)據(jù),都難以避免較大的錯(cuò)配率。由圖8、圖9可知:1特征線(xiàn)分布比較均勻,分布密度與人工建筑的分布呈近似的正相關(guān)關(guān)系;2每條特征線(xiàn)周?chē)幸欢〝?shù)量的匹配點(diǎn)集,基本保證相似不變性的判斷條件;3粗匹配后的影像已經(jīng)近似投影到點(diǎn)云空間,但是通過(guò)圖9發(fā)現(xiàn),屋頂面沒(méi)有完全套合,尚存在一定的偏差。為了對(duì)比精配準(zhǔn)和粗配準(zhǔn)之間的差別,分別截取幾個(gè)不同角落的點(diǎn)云,與通過(guò)精配準(zhǔn)模型轉(zhuǎn)化后的正射影像疊加,如圖10所示。上邊是基于SIFT算法的粗配準(zhǔn)結(jié)果,下面為精細(xì)配準(zhǔn)后的結(jié)果,從圖中可以看出,上面的點(diǎn)云與影像位置存在著較明顯的錯(cuò)位,精配準(zhǔn)后影像與點(diǎn)云的套合度均得到一定程度的改善。由于點(diǎn)云的特殊性,傳統(tǒng)光學(xué)影像之間的配準(zhǔn)精度評(píng)價(jià)方法(相關(guān)系數(shù)、互信息等),不適用于影像與LiDAR點(diǎn)云的配準(zhǔn)精度的精確評(píng)價(jià)。