碩士論文移動(dòng)機(jī)器人基于三維激光測(cè)距與單目視覺(jué)的室內(nèi)場(chǎng)景認(rèn)知

1、碩 士 學(xué) 位 論 文移動(dòng)機(jī)器人基于三維激光測(cè)距與單目視覺(jué)的室內(nèi)場(chǎng)景認(rèn)知the mobile robot indoor scene cognition using 3d laser scanning and monocular vision 大連理工大學(xué)dalian university of technology大連理工大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明作者鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用內(nèi)容和致謝的地方外，本論文不包含其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，也不包含其他已申請(qǐng)學(xué)位或其他用途使用過(guò)的成果。與我一同工作的同志對(duì)本研究所做的貢獻(xiàn)

2、均已在論文中做了明確的說(shuō)明并表示了謝意。若有不實(shí)之處，本人愿意承擔(dān)相關(guān)法律責(zé)任。學(xué)位論文題目： 移動(dòng)機(jī)器人基于三維激光測(cè)距和單目視覺(jué)的室內(nèi)場(chǎng)景認(rèn)知 作 者 簽 名 ： 日期： 年 月 日摘 要機(jī)器人在工作中需要實(shí)時(shí)獲取環(huán)境信息，而如何實(shí)現(xiàn)對(duì)這些環(huán)境信息的有效理解和認(rèn)知是實(shí)現(xiàn)其自主環(huán)境適應(yīng)的關(guān)鍵。激光傳感器具有抗干擾能力強(qiáng)、受光線影響小等特點(diǎn)，適于三維空間幾何信息的獲取。而視覺(jué)傳感器是一種獲取圖像信息的成熟手段。本文以激光測(cè)距儀和單目視覺(jué)作為移動(dòng)機(jī)器人的外部傳感器，研究移動(dòng)機(jī)器人在室內(nèi)三維環(huán)境中的場(chǎng)景認(rèn)知問(wèn)題。在室內(nèi)環(huán)境中，地面、墻壁等室內(nèi)場(chǎng)景的框架具有結(jié)構(gòu)化的特性，可以使用簡(jiǎn)單的平面等幾何特征

3、來(lái)表示。平面特征的提取可以借助激光數(shù)據(jù)的存儲(chǔ)順序首先從中提取出線段特征，然后利用相鄰線段的關(guān)系將其合并從而得到完整的平面區(qū)域。本文使用了一種基于區(qū)域擴(kuò)張的平面特征提取算法，從室內(nèi)場(chǎng)景的激光數(shù)據(jù)中提取出平面特征。利用平面特征的自身屬性及其相互間的空間關(guān)系，完成室內(nèi)場(chǎng)景框架的認(rèn)知。在剔除室內(nèi)場(chǎng)景框架之后，剩余數(shù)據(jù)中物體的形狀具有不確定性和不規(guī)則性，難以使用簡(jiǎn)單的幾何特征來(lái)描述。本文提出一種基于點(diǎn)云連續(xù)性的物體分割算法，實(shí)現(xiàn)室內(nèi)場(chǎng)景中物體的有效分割。markov隨機(jī)場(chǎng)是一種普遍應(yīng)用于圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的理論。本文利用室內(nèi)場(chǎng)景框架及物體之間的鄰域關(guān)系，將已完成認(rèn)知的場(chǎng)景框架元素及分割后的物體作為

4、markov隨機(jī)場(chǎng)的結(jié)點(diǎn)，提出了一種基于map-mrf體系的場(chǎng)景室內(nèi)物體認(rèn)知算法。物體結(jié)點(diǎn)特征的選擇和設(shè)計(jì)是實(shí)現(xiàn)物體有效認(rèn)知的關(guān)鍵和難點(diǎn)。本文使用物體的高度信息作為區(qū)分物體的基本特征。為了更準(zhǔn)確的描述物體，本文提出了一種描述物體形狀的形狀直方圖，有效的表達(dá)了物體的三維信息。三維激光數(shù)據(jù)雖然精確地表達(dá)了物體結(jié)點(diǎn)的空間信息，但卻缺乏基本的圖像和顏色信息。為了準(zhǔn)確的使用攝像頭獲取的圖像信息，本文將單目視覺(jué)與激光測(cè)距數(shù)據(jù)在像素級(jí)進(jìn)行準(zhǔn)確融合。本文在hsi顏色空間下，統(tǒng)計(jì)物體點(diǎn)云的顏色分布并構(gòu)建物體的顏色直方圖，將物體的顏色信息用于物體結(jié)點(diǎn)的認(rèn)知。移動(dòng)機(jī)器人基于場(chǎng)景框架與物體的認(rèn)知結(jié)果可實(shí)現(xiàn)室內(nèi)語(yǔ)義地圖

5、的構(gòu)建。利用實(shí)際機(jī)器人平臺(tái)所獲得的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性。關(guān)鍵詞：三維激光測(cè)距，數(shù)據(jù)融合，map-mrf，場(chǎng)景認(rèn)知，語(yǔ)義地圖the mobile robot indoor scene cognition using 3d laser scanning and monocular visionabstractmobile robot need to acquire environment information in real time during its movement, so how to implement effective understanding and cogniti

6、on about the environment information is of great importance. laser range finder is extensively used to acquire 3d information from environment for its high abilities of prevent interference and low influence of light. additionally，camera has mature application in image acquisition. this paper takes

7、laser range finder and camera as robot visual system and studies the indoor environment cognition problem for mobile robot.for the structure of indoor environment is structural, it can be represented by simple geometry feature. line features can be extracted from the laser data by its storage order,

8、 and then neighbor lines are combined to get plane features. in our work, planes are extracted from 3d laser data using regional expansion algorithm, and the properties as well as the relationship of these planes are used for structure cognition. when the structure of the indoor scene is removed, th

9、e shapes of the objects in the remaining data are uncertain and rregular so it is hard to represent by simple geometry feature. we propose an object segment algorithm based on the continuity of the points, to implement effective segmentation of the objects in the indoor scene.markov random filed the

10、ory is widely used in image processing and computer vision. according to the relations of the neighbored structures and objects of the scene, this paper takes the structure elements and segmented objects as the mrf nodes and propose an indoor scene object segment algorithm base on map-mrf. the selec

11、tion and design of the object nodes is essential for the effective cognition of the objects. this paper takes height as the basic feature for the object. to describe the object more accurately, we propose a shape histogram to represent the 3d shape of the object. although 3d laser data describe the

12、3d information, it lacks image and color information. to utilize the image from camera precisely, we fuse the information of 3d laser scanner and monocular vision in pixel level. under hsi color space, we build color histogram of the object by computing the color distribution of the object points. a

13、s the result of scene cognition, the semantic map can be constructed by mobile robot autonomously. experiment results implemented on real mobile robot platform show the validity of the proposed method. key words：3d laser scanning, data fusion, map-mrf, scene cognition, semantic map目 錄摘 要iabstractii1

14、 緒論11.1 研究背景與意義11.2 室內(nèi)場(chǎng)景認(rèn)知的現(xiàn)狀與發(fā)展趨勢(shì)21.3 本文的主要工作及創(chuàng)新點(diǎn)31.3.1 本文的主要工作31.3.2 本文的主要?jiǎng)?chuàng)新點(diǎn)42 三維環(huán)境信息的獲取及數(shù)據(jù)處理62.1 三維激光數(shù)據(jù)的獲取62.1.1 激光測(cè)距儀62.1.2 三維激光測(cè)距原理72.2 單目視覺(jué)與三維激光數(shù)據(jù)的融合82.3 數(shù)據(jù)處理113 室內(nèi)場(chǎng)景框架的認(rèn)知和室內(nèi)物體分割143.1 平面特征的提取143.1.1 基于線段合并的平面特征提取143.1.2 基于區(qū)域擴(kuò)張的平面特征提取173.2 室內(nèi)場(chǎng)景框架的認(rèn)知203.3 室內(nèi)場(chǎng)景物體的分割234 基于markov隨機(jī)場(chǎng)的室內(nèi)場(chǎng)景認(rèn)知264.1 ma

15、rkov隨機(jī)場(chǎng)理論264.1.1 markov隨機(jī)場(chǎng)概念274.1.2 map-mrf體系284.2 物體結(jié)點(diǎn)的特征選擇294.2.1物體的高度特征304.2.2物體的顏色特征314.2.3物體的形狀特征354.3 基于map-mrf的室內(nèi)場(chǎng)景認(rèn)知374.3.1 基于map-mrf的室內(nèi)場(chǎng)景認(rèn)知過(guò)程374.3.2室內(nèi)場(chǎng)景認(rèn)知實(shí)驗(yàn)結(jié)果404.3.3基于場(chǎng)景認(rèn)知的室內(nèi)語(yǔ)義地圖構(gòu)建42結(jié) 論44參 考 文 獻(xiàn)46攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況49課題資助情況49致 謝50大連理工大學(xué)學(xué)位論文版權(quán)使用授權(quán)書(shū)511 緒論1.1 研究背景與意義隨著人類計(jì)算機(jī)科學(xué)和科技的進(jìn)步，機(jī)器人的技術(shù)的發(fā)展日趨成熟。

16、機(jī)器人的應(yīng)用涉及到工業(yè)、農(nóng)業(yè)、救援和軍事等等領(lǐng)域1。移動(dòng)智能機(jī)器人相對(duì)于工業(yè)機(jī)器人來(lái)說(shuō)，可以融合當(dāng)今先進(jìn)的人工智能技術(shù)，能夠完成復(fù)雜的自主運(yùn)動(dòng)、路徑規(guī)劃等行為，有著更廣闊的應(yīng)用場(chǎng)景。與一般機(jī)器人相比，移動(dòng)機(jī)器人具有移動(dòng)功能，在危險(xiǎn)、惡劣、輻射和有毒的環(huán)境以及人類所不及的宇宙、水下環(huán)境中，它可以代替人進(jìn)行操作，具有很大的靈活性、機(jī)動(dòng)性。近年來(lái)，美國(guó)等發(fā)達(dá)國(guó)家已經(jīng)將移動(dòng)機(jī)器人應(yīng)用于掃雷等軍事領(lǐng)域。在地震發(fā)生后的后續(xù)救援中，移動(dòng)機(jī)器人可以代替人直接進(jìn)入現(xiàn)場(chǎng)，完成移動(dòng)、定位、目標(biāo)搜索、救援等行動(dòng)，保證了救援人員的人身安全。移動(dòng)機(jī)器人涉及的基本技術(shù)有傳感器、控制和人工智能等方面。本文使用的機(jī)器人側(cè)重于人

17、工智能，機(jī)器人的運(yùn)動(dòng)主要基于其對(duì)環(huán)境自主的理解。 圖1.1 兩種具有不同運(yùn)動(dòng)機(jī)構(gòu)的移動(dòng)機(jī)器人fig. 1.1 two mobile robots with different movement mechanism移動(dòng)機(jī)器人自主的運(yùn)動(dòng)，需要獲取其前方環(huán)境的信息，所以它離不開(kāi)視覺(jué)系統(tǒng)的支持。激光傳感器和攝像頭都可以作為機(jī)器人的視覺(jué)系統(tǒng)。在當(dāng)今的科學(xué)領(lǐng)域中，激光傳感器的測(cè)距技術(shù)逐漸成熟。相對(duì)于紅外，超聲等傳感器，激光測(cè)距具有精度高，受環(huán)境干擾小等優(yōu)點(diǎn)。激光測(cè)距的基本原理是發(fā)射激光脈沖并回收，利用之間的時(shí)間差計(jì)算傳感器與目標(biāo)點(diǎn)的距離。將激光安裝在可旋轉(zhuǎn)的云臺(tái)上，利用云臺(tái)及激光的一些硬件參數(shù)標(biāo)定，可以將

18、測(cè)得的距離轉(zhuǎn)化成三維的激光坐標(biāo)。將多組激光數(shù)據(jù)按照一定順序存儲(chǔ)，即得到了被掃描環(huán)境的三維數(shù)據(jù)。使用普通的數(shù)碼相機(jī)獲得的圖像是按照行列存儲(chǔ)的像素，激光測(cè)距系統(tǒng)獲取的數(shù)據(jù)存儲(chǔ)于圖像類似。不同的是在每一個(gè)激光點(diǎn)存儲(chǔ)的不是像素，而是一個(gè)三維的坐標(biāo)。相對(duì)于激光傳感器，單目視覺(jué)是另一個(gè)可以作為移動(dòng)機(jī)器人視覺(jué)的方案。視覺(jué)是人類與世界溝通的最重要手段，人類獲取的信息中大部分都來(lái)自眼睛獲取的視覺(jué)信息。隨著傳感器以及計(jì)算機(jī)科學(xué)的進(jìn)步，使用攝像機(jī)可以實(shí)現(xiàn)人類的部分視覺(jué)模擬。借助于計(jì)算機(jī)數(shù)字技術(shù)，攝像機(jī)獲取的輸入轉(zhuǎn)化為數(shù)字信號(hào)，并可以在計(jì)算機(jī)內(nèi)部進(jìn)行分析、處理、辨識(shí)和識(shí)別，使得移動(dòng)機(jī)器人能夠?qū)σ曈X(jué)信息進(jìn)行理解并做出相

19、應(yīng)的決策。由此也形成了一門(mén)獨(dú)立的科學(xué)，即計(jì)算機(jī)視覺(jué)。借助于環(huán)境的視覺(jué)圖像信息，移動(dòng)機(jī)器人可以實(shí)現(xiàn)對(duì)場(chǎng)景一定程度上的認(rèn)知。對(duì)于一幅場(chǎng)景的激光數(shù)據(jù)，激光點(diǎn)的個(gè)數(shù)往往數(shù)以萬(wàn)計(jì)。雖然這在很大程度上高精度的表達(dá)了場(chǎng)景的表面信息，但是這在計(jì)算機(jī)中將占據(jù)很大空間，使用起來(lái)也會(huì)對(duì)計(jì)算機(jī)的性能要求苛刻。另一方面，移動(dòng)機(jī)器人對(duì)于離散的激光點(diǎn)云數(shù)據(jù)是無(wú)法理解的。正是因?yàn)檫@些原因，激光點(diǎn)的精簡(jiǎn)，激光數(shù)據(jù)中幾何特征的提取，以及基于激光數(shù)據(jù)的場(chǎng)景認(rèn)知在這個(gè)領(lǐng)域中顯得十分重要。在移動(dòng)機(jī)器人領(lǐng)域，激光傳感器充當(dāng)了機(jī)器人的視覺(jué)系統(tǒng)。安裝在移動(dòng)機(jī)器人上的激光傳感器對(duì)周圍環(huán)境的有效觀測(cè)和檢測(cè)是實(shí)現(xiàn)其自主控制和路徑規(guī)劃的基礎(chǔ)。移動(dòng)機(jī)

20、器人不僅要獲取周圍環(huán)境的原始激光數(shù)據(jù)，還要能夠?qū)@些數(shù)據(jù)進(jìn)行進(jìn)一步辨識(shí)和認(rèn)知，以實(shí)現(xiàn)其對(duì)環(huán)境更高層次的理解。在室內(nèi)搜索和救援的任務(wù)中，機(jī)器人需要實(shí)時(shí)的判別前方的路況是否滿足行進(jìn)的要求，并且能夠有效地躲避障礙物準(zhǔn)確的到達(dá)目標(biāo)。另外，機(jī)器人還要能夠識(shí)別搜尋目標(biāo)，并規(guī)劃出到達(dá)目標(biāo)的路徑。這些行為對(duì)機(jī)器人“大腦”，即軟件算法的支持提出了很高的要求。本文正是研究了激光數(shù)據(jù)的認(rèn)知和辨識(shí)算法，來(lái)支持移動(dòng)機(jī)器人的環(huán)境認(rèn)知及運(yùn)動(dòng)規(guī)劃。1.2 室內(nèi)場(chǎng)景認(rèn)知的現(xiàn)狀與發(fā)展趨勢(shì) 如何實(shí)現(xiàn)針對(duì)場(chǎng)景中物體的有效分類與識(shí)別是移動(dòng)機(jī)器人場(chǎng)景認(rèn)知的核心問(wèn)題。環(huán)境認(rèn)知的基礎(chǔ)是特征提取。根據(jù)三維激光數(shù)據(jù)行列的存儲(chǔ)方式，可以從中提取出

21、最簡(jiǎn)單的直線特征，如文獻(xiàn)2。由于場(chǎng)景中的一些物體如室外的地面，室內(nèi)的墻壁包含平面特征，這些物體表面的激光數(shù)據(jù)中將會(huì)提取出許多直線特征。利用這些直線特征的近鄰平行關(guān)系，可以將這些直線進(jìn)行合并，這樣最終會(huì)擴(kuò)張出平面特征。這也是文獻(xiàn)2中，提取激光數(shù)據(jù)中簡(jiǎn)單的平面幾何特征的一種方法。另外一種廣泛使用的提取平面的方法是，首先擬合局部鄰域的一個(gè)平面片段，然后將這些平面片段進(jìn)行合并生長(zhǎng)，最終得到完整的平面特征，如文獻(xiàn)3。ransac(random sample consensus)算法4也是一種常用的擬合平面的方法5?；谝曈X(jué)圖像處理技術(shù)來(lái)進(jìn)行場(chǎng)景的認(rèn)知是該領(lǐng)域的重要方法678。基于圖像處理的物體識(shí)別與場(chǎng)景

22、認(rèn)知算法有很多種，但其通常計(jì)算復(fù)雜度高，難于滿足移動(dòng)機(jī)器人對(duì)實(shí)時(shí)性能的較高要求。此外圖像處理算法受光線變化影響較大，特別是在光線較暗的場(chǎng)景更難以應(yīng)用。與視覺(jué)傳感器相比，三維激光測(cè)距具有精度較高且不受光線影響等特點(diǎn)，因而近些年引起國(guó)內(nèi)外很多學(xué)者的關(guān)注，并開(kāi)展了一系列的相關(guān)研究。其中a. nchter和j. hertzberg等學(xué)者將獲取的三維激光數(shù)據(jù)轉(zhuǎn)化為二維圖像，并使用支持向量機(jī)從這些二維圖片中訓(xùn)練并識(shí)別出物體9，但該方法訓(xùn)練過(guò)程較為繁瑣。m. himmelsbach等學(xué)者利用柵格的思想分割物體，然后在原始激光數(shù)據(jù)上提取特征，并使用svm分類器對(duì)物體進(jìn)行分類10。d. anguelov等人完整

23、的描述了一種基于markov隨機(jī)場(chǎng)的物體分類方法11。該方法將整幅場(chǎng)景視為一個(gè)markov隨機(jī)場(chǎng)，每一個(gè)激光點(diǎn)視為一個(gè)結(jié)點(diǎn)，在激光點(diǎn)上提取特征。相比較，論文12中雖然也采用markov隨機(jī)場(chǎng)模型來(lái)對(duì)物體進(jìn)行認(rèn)知，但是該方法首先利用激光點(diǎn)的鄰居關(guān)系從激光數(shù)據(jù)中提取多邊形集，然后以此作為結(jié)點(diǎn)進(jìn)行物體的分類處理。激光測(cè)距數(shù)據(jù)雖然提供了豐富的場(chǎng)景三維空間量測(cè)信息，但也存在著環(huán)境信息單一的不足?？紤]視覺(jué)傳感器能夠提供豐富的色彩信息，因而將三維激光與視覺(jué)信息進(jìn)行有效融合，可實(shí)現(xiàn)兩種傳感器的優(yōu)勢(shì)互補(bǔ)，能夠有效提高移動(dòng)機(jī)器人進(jìn)行三維場(chǎng)景認(rèn)知的能力。例如b. douillard等學(xué)者就將激光和攝像頭的獲取的視覺(jué)

24、信息融合在一起，利用多種傳感器信息來(lái)實(shí)現(xiàn)場(chǎng)景中物體的有效識(shí)別13。1.3 本文的主要工作及創(chuàng)新點(diǎn)1.3.1 本文的主要工作本文工作屬于國(guó)家863項(xiàng)目課題“基于多傳感器的野外環(huán)境實(shí)時(shí)建模與自主控制”和國(guó)家重點(diǎn)實(shí)驗(yàn)室研究課題“廢墟搜救機(jī)器人三維廢墟環(huán)境自主建模與重構(gòu)研究”的一個(gè)部分。使用美國(guó)先鋒公司的pioneer3-dx移動(dòng)機(jī)器人為平臺(tái)，本文實(shí)現(xiàn)了移動(dòng)機(jī)器人基于三維激光測(cè)距和單目視覺(jué)的室內(nèi)場(chǎng)景認(rèn)知。借鑒上述研究工作，本文提出了一種基于三維激光和單目視覺(jué)的室內(nèi)場(chǎng)景認(rèn)知新方法。室內(nèi)場(chǎng)景一般可視為封閉的三維空間，并且由室內(nèi)場(chǎng)景框架（包括墻壁、天花板、地面等框架元素）和各種不同形狀物體構(gòu)成。室內(nèi)場(chǎng)景框架

25、屬于結(jié)構(gòu)化環(huán)境，因此可以使用平面幾何特征來(lái)表述。本文所提出的場(chǎng)景框架認(rèn)知算法，首先利用區(qū)域擴(kuò)張算法從三維激光數(shù)據(jù)中提取出平面特征，再利用平面特征的法向量和重心等屬性及其空間關(guān)系將其分類，從而完成室內(nèi)框架的認(rèn)知。利用物體表面點(diǎn)云的連續(xù)性特點(diǎn)，提出一種物體分割算法，從室內(nèi)框架認(rèn)知剩余的激光數(shù)據(jù)中分割出相互獨(dú)立的物體。本文將室內(nèi)場(chǎng)景的框架信息(如墻體，地面等)和分割得到的物體視為結(jié)點(diǎn)。由于物體結(jié)點(diǎn)和框架信息結(jié)點(diǎn)之間具有鄰域的關(guān)系，可以把這些結(jié)點(diǎn)看作是一個(gè)markov隨機(jī)場(chǎng)。于是物體的認(rèn)知問(wèn)題可以轉(zhuǎn)化為markov隨機(jī)場(chǎng)中結(jié)點(diǎn)的語(yǔ)義標(biāo)記問(wèn)題。由于已完成認(rèn)知的框架結(jié)點(diǎn)可作為已知信息，因此這里只需要考慮物

26、體結(jié)點(diǎn)的認(rèn)知標(biāo)記。本文提出了一種基于map-mrf體系的物體識(shí)別方法。作為識(shí)別的依據(jù)，物體結(jié)點(diǎn)特征的選擇十分關(guān)鍵。本文不僅使用了物體的空間度量特征，而且還使用了與物體對(duì)應(yīng)的視覺(jué)信息，構(gòu)建了物體顏色的直方圖，有效地提高了物體識(shí)別的準(zhǔn)確性。通過(guò)對(duì)室內(nèi)場(chǎng)景框架信息以及室內(nèi)物體有效認(rèn)知，可以構(gòu)建室內(nèi)環(huán)境的語(yǔ)義地圖，這將有效地提高移動(dòng)機(jī)器人與環(huán)境的交互能力。本文的主要內(nèi)容及章節(jié)安排如下：第一章，緒論。主要講述了本文的背景，室內(nèi)場(chǎng)景認(rèn)知的意義，以及室內(nèi)場(chǎng)景認(rèn)知的國(guó)內(nèi)外現(xiàn)狀和未來(lái)的發(fā)展趨勢(shì)。第二章，三維環(huán)境信息的獲取和數(shù)據(jù)處理。主要講述了激光測(cè)距儀獲取環(huán)境三維激光數(shù)據(jù)的原理，使用攝像頭獲取圖像信息的原理以及

27、單目視覺(jué)與三維激光數(shù)據(jù)的融合。并且簡(jiǎn)述了激光與圖像信息數(shù)據(jù)處理的上位機(jī)軟件平臺(tái)的構(gòu)造，及軟件系統(tǒng)與移動(dòng)機(jī)器人的通訊等等。第三章，室內(nèi)場(chǎng)景框架的認(rèn)知和室內(nèi)物體的分割。首先講述了平面特征的兩種提取方法，然后介紹了基于平面特征的室內(nèi)場(chǎng)景框架的認(rèn)知。然后進(jìn)一步介紹了一種基于點(diǎn)云連續(xù)性的物體分割方法。第四章，基于markov隨機(jī)場(chǎng)的室內(nèi)場(chǎng)景認(rèn)知。這是本文的重點(diǎn)章節(jié)。首先介紹了markov隨機(jī)場(chǎng)的基本原理和map-mrf體系的推導(dǎo)過(guò)程。其次介紹了markov隨機(jī)場(chǎng)中物體結(jié)點(diǎn)的特征選擇。最后著重討論了基于map-mrf體系的室內(nèi)場(chǎng)景認(rèn)知和基于認(rèn)知結(jié)果的室內(nèi)語(yǔ)義地圖構(gòu)建。最后是結(jié)論部分。對(duì)本文室內(nèi)場(chǎng)景認(rèn)知的方

28、法進(jìn)行了總結(jié)和分析，并對(duì)今后的工作方向進(jìn)行了展望。1.3.2 本文的主要?jiǎng)?chuàng)新點(diǎn)國(guó)內(nèi)外移動(dòng)機(jī)器人領(lǐng)域涉及場(chǎng)景認(rèn)知的方法有多種，針對(duì)室內(nèi)環(huán)境的特點(diǎn)，本文將室內(nèi)場(chǎng)景的認(rèn)知分為室內(nèi)框架和物體兩個(gè)部分分別進(jìn)行處理，主要?jiǎng)?chuàng)新點(diǎn)包含以下幾個(gè)方面：（1）在室內(nèi)場(chǎng)景框架完成認(rèn)知以后，針對(duì)剩余數(shù)據(jù)中物體點(diǎn)云的特點(diǎn)，提出了一種基于物體點(diǎn)云連續(xù)性的物體分割算法，有效地完成了室內(nèi)物體的分割。為了實(shí)現(xiàn)物體結(jié)點(diǎn)的有效識(shí)別，根據(jù)室內(nèi)物體的特點(diǎn)，提出了一種描述三維物體形狀的形狀直方圖，用于表達(dá)物體的三維空間特征。雖然三維激光數(shù)據(jù)精確的表達(dá)了場(chǎng)景的空間信息，但是缺乏圖像等信息的支持。本文將三維激光和單目視覺(jué)在像素級(jí)別實(shí)現(xiàn)準(zhǔn)確的融

29、合，將場(chǎng)景的圖像信息用于室內(nèi)物體的認(rèn)知。（2）本文將markov隨機(jī)場(chǎng)理論成功的應(yīng)用于室內(nèi)場(chǎng)景的認(rèn)知中。對(duì)于markov隨機(jī)場(chǎng)中結(jié)點(diǎn)的選擇，以激光點(diǎn)為結(jié)點(diǎn)往往可提取的特征有限，且分類的結(jié)果區(qū)域界限不明顯。本文首先實(shí)現(xiàn)室內(nèi)場(chǎng)景框架元素和物體的分割，然后將他們作為markov隨機(jī)場(chǎng)的結(jié)點(diǎn)，大大增加了可提取的特征，物體認(rèn)知的效果也有了很大改進(jìn)。在完成室內(nèi)物體的認(rèn)知以后，本文提出一種置信度的方法，用于表示物體認(rèn)知的程度。置信度的數(shù)值越高，則表示物體認(rèn)知的結(jié)果越準(zhǔn)確，認(rèn)知的結(jié)果可信度越高。這可以有效的幫助機(jī)器人根據(jù)不同的置信度對(duì)不同的物體做出不同的決策。2 三維環(huán)境信息的獲取及數(shù)據(jù)處理本文移動(dòng)機(jī)器人認(rèn)知

30、系統(tǒng)的框架圖如圖2.1所示。首先，激光傳感器可以獲取場(chǎng)景的三維激光數(shù)據(jù)。由于獲取的數(shù)據(jù)僅僅是一個(gè)距離值，這需要通過(guò)硬件標(biāo)定的方法將其轉(zhuǎn)化成三維空間坐標(biāo)，這個(gè)將在后面講到。另外激光數(shù)據(jù)采集的過(guò)程中會(huì)產(chǎn)生失敗的數(shù)據(jù)，比如發(fā)射的脈沖信號(hào)沒(méi)有得到回收，這樣的噪聲數(shù)據(jù)需要使用程序?qū)λ麄冞M(jìn)行過(guò)濾，比如將他們統(tǒng)一轉(zhuǎn)化成原點(diǎn)坐標(biāo)。與此同時(shí)，安裝在激光上面的攝像頭可以獲取當(dāng)前場(chǎng)景的視覺(jué)圖像，使用攝像頭和激光標(biāo)定的方法，可以確定圖像和激光數(shù)據(jù)的位置關(guān)系，實(shí)現(xiàn)圖像和激光數(shù)據(jù)的融合。在本文中，融合有圖像信息的激光數(shù)據(jù)即是實(shí)現(xiàn)室內(nèi)場(chǎng)景認(rèn)知的數(shù)據(jù)源。圖2.1 系統(tǒng)框架圖fig. 2.1 the system framew

31、ork激光和圖像信息的獲取是本文的基礎(chǔ)，本章節(jié)將簡(jiǎn)要介紹三維激光測(cè)距的原理，激光的標(biāo)定，以及視覺(jué)圖像的獲取和攝像頭的標(biāo)定等等。2.1 三維激光數(shù)據(jù)的獲取2.1.1 激光測(cè)距儀激光測(cè)距儀具有高精度，高解析度的特點(diǎn)。其原理是它首先發(fā)射一束紅外激光束脈沖，如果遇到物體則返回，并被激光測(cè)距儀的接收器所記錄。由于激光測(cè)距儀與物體的距離和脈沖運(yùn)行的時(shí)間成正比，可以通過(guò)計(jì)算時(shí)間的方法求出物體與激光測(cè)距儀之間的距離。為了使得激光測(cè)距儀的掃描范圍增大，激光測(cè)距儀的內(nèi)部安裝了一個(gè)旋轉(zhuǎn)光鏡，旋轉(zhuǎn)光鏡的偏轉(zhuǎn)使得周圍環(huán)境形成了一個(gè)扇形的掃描區(qū)域。僅僅一個(gè)激光測(cè)距儀在不借助電機(jī)的情況下掃描的結(jié)果為一條二維的輪廓線，如如圖

32、2.2右圖所示。 圖2.2 激光測(cè)距儀工作原理fig. 2.2 the principles of laser scanning本文使用的激光測(cè)距儀為德國(guó)sick公司生產(chǎn)的lms 291。lms可以對(duì)物體進(jìn)行獨(dú)立的非接觸的精確位置測(cè)量，在工業(yè)現(xiàn)場(chǎng)和科學(xué)研究中有廣泛的應(yīng)用。固定靜止的lms291傳感器可以在二維的范圍內(nèi)進(jìn)行掃描，掃描的范圍是180，因此它是一個(gè)二維傳感器(如圖2.2右所示)。最大測(cè)量的距離可以設(shè)置為8m/32m/80m。角度和距離的分辨率可以達(dá)到0.5/1（對(duì)應(yīng)的激光點(diǎn)掃描個(gè)數(shù)為361/181）和10mm。掃描的周期為13.3ms。傳感器獲取的距離數(shù)據(jù)可以用極坐標(biāo)的形式表示： （

33、2.1）其中，n代表掃描激光點(diǎn)的個(gè)數(shù)。lms系統(tǒng)獲取的激光數(shù)據(jù)對(duì)光線并不敏感，因?yàn)樗褂枚祷姆椒梢蕴幚矸瓷涔獾拇笮?qiáng)度，這有效的減小了反射光強(qiáng)度不均帶來(lái)的影響。對(duì)該系統(tǒng)能造成影響的主要是被測(cè)物體的材料以及表面光滑度等因素。激光傳感器獲取的激光數(shù)據(jù)通過(guò)高速的串行接口傳送給上位機(jī)電腦進(jìn)行處理，上位機(jī)同樣也可以發(fā)送控制指令實(shí)現(xiàn)對(duì)激光傳感器的實(shí)時(shí)控制。2.1.2 三維激光測(cè)距原理雖然單純的激光測(cè)距儀僅僅能實(shí)現(xiàn)二維數(shù)據(jù)掃描，但是如果安裝一個(gè)旋轉(zhuǎn)方向與激光掃描方向垂直的電機(jī)，則可以實(shí)現(xiàn)對(duì)環(huán)境的三維掃描。本文使用lms291激光傳感器和安裝有步進(jìn)電機(jī)的旋轉(zhuǎn)云臺(tái)共同組成一個(gè)三維激光數(shù)據(jù)的采集系統(tǒng)（如圖2

34、.3左圖）。 圖2.3 3d激光測(cè)距系統(tǒng)（左）和坐標(biāo)關(guān)系示意圖（右）fig. 2.3 3d laser ranging system (left) and the relationship of parameter coordinates如圖2.3左圖所示，本系統(tǒng)中激光傳感器的二維掃描數(shù)據(jù)線是沿著豎直方向的。電機(jī)控制傳感器沿著水平方面旋轉(zhuǎn)，旋轉(zhuǎn)的范圍是任意的，所以它可以獲取360的三維全景激光數(shù)據(jù)。由激光測(cè)距儀獲取的數(shù)據(jù)為極坐標(biāo)形式的，為了計(jì)算方便，需要轉(zhuǎn)換到直角坐標(biāo)系下(如圖2.3右圖)，轉(zhuǎn)換的公式如下： (2.1)其中，c為電機(jī)旋轉(zhuǎn)中心到激光束發(fā)射中心投影到水平面上的距離，；為lms激光掃

35、描平面與兩中心點(diǎn)所在直線的夾角，。為激光發(fā)射中心到測(cè)得物體的距離；為激光束在掃描平面上的偏向角度；為電控旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)的角度。將激光數(shù)據(jù)按照掃描順序保存到二維容器中： (2.2)其中表示第i行、第j列個(gè)激光點(diǎn)。表示激光點(diǎn)的空間坐標(biāo)值。m表示電機(jī)旋轉(zhuǎn)方向激光行數(shù)，n表示每一行激光掃描的激光點(diǎn)的個(gè)數(shù)。2.2 單目視覺(jué)與三維激光數(shù)據(jù)的融合通過(guò)激光測(cè)距儀獲取三維場(chǎng)景信息有其自身的不足，它能準(zhǔn)確獲取場(chǎng)景的距離信息但無(wú)法得到場(chǎng)景的顏色信息。攝像頭可以獲取場(chǎng)景的視覺(jué)信息，彌補(bǔ)了這一缺陷。攝像頭可以分為模擬和數(shù)字兩種，現(xiàn)在人們使用的大多數(shù)是數(shù)字式的攝像頭。攝像頭工作的基本原理是：場(chǎng)景通過(guò)鏡頭生成光學(xué)圖像并投影到圖

36、像傳感器的表面，由此轉(zhuǎn)換成電信號(hào)，經(jīng)過(guò)模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字圖像信號(hào)，即可獲取現(xiàn)實(shí)場(chǎng)景的數(shù)字圖像。將數(shù)字圖像傳輸?shù)接?jì)算機(jī)上，可以實(shí)現(xiàn)圖像的處理等操作。本文使用的是flycapture 單目攝像頭(如圖2.4所示)。其圖像可選為16001200，1024768，800600，320240，160120等。采集圖像格式為可選：rgb, bgr, yuv422, yuv444等。攝像頭采集速率可選：60fps, 30fps, 15fps, 7.5fps, 3.75fps, 1.875 fps。本文選用1024768rgb圖像，采集速率為1.875fps。圖2.4 flycapture 攝像頭fig.

37、2.4 flycapture camera為了彌補(bǔ)三維激光信息的不足，這里對(duì)激光信息和圖像信息進(jìn)行融合。本文通過(guò)對(duì)攝像頭和三維激光測(cè)距儀的標(biāo)定完成激光場(chǎng)景染色以實(shí)現(xiàn)兩傳感器的像素級(jí)信息融合。標(biāo)定過(guò)程分為兩步：攝像機(jī)內(nèi)標(biāo)定和攝像機(jī)激光外標(biāo)定。內(nèi)標(biāo)定獲取攝像機(jī)內(nèi)參數(shù)以確定攝像機(jī)坐標(biāo)到圖像坐標(biāo)的轉(zhuǎn)換對(duì)應(yīng)關(guān)系，使用小孔成像模型作為攝像機(jī)的投影模型(如圖2.5所示)，它是被普遍采用的視覺(jué)成像的一個(gè)理想模型14。圖2.5 針孔攝像機(jī)模型fig. 2.5 pinhole camera model外標(biāo)定用來(lái)確定攝像機(jī)和激光測(cè)距儀之間，也就是攝像機(jī)坐標(biāo)和世界坐標(biāo)之間的轉(zhuǎn)換對(duì)應(yīng)關(guān)系。通過(guò)內(nèi)外參數(shù)的標(biāo)定，最終確立激

38、光測(cè)距儀獲取到得激光點(diǎn)云和攝像機(jī)獲取到得圖像間的對(duì)應(yīng)關(guān)系。然后將顏色信息投射到激光點(diǎn)云上，完成激光點(diǎn)的染色。圖像和攝像機(jī)坐標(biāo)間的對(duì)應(yīng)關(guān)系轉(zhuǎn)換為公式(2.3)，其中矩陣a包含了攝像機(jī)全部的6個(gè)內(nèi)參數(shù),稱a為攝像機(jī)內(nèi)參數(shù)矩陣。內(nèi)參數(shù)是由攝像機(jī)本身結(jié)構(gòu)決定的，但這些參數(shù)可能會(huì)隨著溫度、濕度、氣壓等環(huán)境因素的變化而改變，因此本文使用張正友提出的方法15進(jìn)行攝像機(jī)內(nèi)參標(biāo)定。 (2.3)攝像機(jī)內(nèi)標(biāo)定完成后，就可以確定攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換對(duì)應(yīng)關(guān)系。為了進(jìn)一步確定激光測(cè)距儀所在的世界坐標(biāo)系同攝像機(jī)坐標(biāo)系的對(duì)應(yīng)關(guān)系，還需要進(jìn)一步對(duì)攝像機(jī)和三維激光測(cè)距儀進(jìn)行外標(biāo)定，求出旋轉(zhuǎn)矩陣和平移矩陣。 (2.4)在

39、已知內(nèi)參數(shù)的前提下，可以使用多種標(biāo)定的方法求取外參數(shù)。本文采用手動(dòng)點(diǎn)選的方式獲取圖像和激光數(shù)據(jù)間的對(duì)應(yīng)點(diǎn)對(duì)，然后采用最大似然估計(jì)的方法來(lái)優(yōu)化計(jì)算和。有了旋轉(zhuǎn)平移矩陣，攝像頭獲取的圖像可以準(zhǔn)確的匹配到場(chǎng)景的激光數(shù)據(jù)中，實(shí)現(xiàn)激光與視覺(jué)的融合，即激光點(diǎn)云的染色。如圖2.6所示為一幅室內(nèi)場(chǎng)景和室外場(chǎng)景的激光數(shù)據(jù)染色效果： 圖2.6 室內(nèi)點(diǎn)云數(shù)據(jù)染色效果(左)，與室外點(diǎn)云數(shù)據(jù)染色效果(右)fig. 2.6 colored 3d laser of indoor scene and outdoor scene2.3 數(shù)據(jù)處理移動(dòng)機(jī)器人的控制，離不開(kāi)軟件的支持。為了實(shí)現(xiàn)對(duì)移動(dòng)機(jī)器人發(fā)送控制指令和通訊，實(shí)現(xiàn)場(chǎng)景

40、的可視化與人機(jī)交互，以及三維激光數(shù)據(jù)的預(yù)處理和認(rèn)知，研究小組開(kāi)發(fā)了移動(dòng)機(jī)器人基于windows操作系統(tǒng)的軟件系統(tǒng)。本軟件的環(huán)境為visual studio 2005，使用了mfc框架，使用的編程語(yǔ)言為面向?qū)ο蟮腸+。如圖2.7所示，軟件的主要模塊為移動(dòng)機(jī)器人硬件通訊模塊，室內(nèi)場(chǎng)景認(rèn)知模塊和三維場(chǎng)景顯示與人機(jī)交互模塊等等。 圖2.7 系統(tǒng)模塊fig.2.3 modules of software system硬件通訊模塊負(fù)責(zé)上位機(jī)與移動(dòng)機(jī)器人傳感器之間傳輸激光和圖像數(shù)據(jù)。另外移動(dòng)機(jī)器人的控制信號(hào)通過(guò)軟件界面按鈕觸發(fā)，并通過(guò)通訊模塊發(fā)送給機(jī)器人。主要的控制信號(hào)有激光掃描控制信號(hào)，電機(jī)旋轉(zhuǎn)控制信號(hào)，

41、攝像頭傳輸信號(hào)。數(shù)據(jù)融合模塊涉及激光數(shù)據(jù)與圖像的標(biāo)定，以及激光數(shù)據(jù)的染色。融合后的數(shù)據(jù)是室內(nèi)場(chǎng)景認(rèn)知的數(shù)據(jù)源。室內(nèi)場(chǎng)景認(rèn)知模塊是本軟件的核心模塊，主要實(shí)現(xiàn)室內(nèi)場(chǎng)景的認(rèn)知。三維場(chǎng)景顯示與人機(jī)交互模塊主要是實(shí)現(xiàn)程序結(jié)果及中間過(guò)程的可視化以及對(duì)移動(dòng)機(jī)器人的控制提供操作界面。顯示模塊中主要利用了opengl開(kāi)發(fā)庫(kù)，來(lái)處理三維數(shù)據(jù)的顯示。opengl全稱是open graphics library，它是一個(gè)跨編程語(yǔ)言、跨平臺(tái)的3d圖形程序接口。opengl是一個(gè)與硬件無(wú)關(guān)的軟件接口，可以在不同的平臺(tái)之間進(jìn)行移植。所以opengl具有很好的可移植性，可以獲得廣泛的使用。opengl具有的幾大功能有：建模、

42、變換、顏色模式設(shè)置、光照材質(zhì)設(shè)置、紋理映射等等。opengl是一個(gè)開(kāi)放的三維圖形軟件包，他可以與visual c+緊密的連在一起，實(shí)現(xiàn)本文中三維激光數(shù)據(jù)的計(jì)算和顯示等功能。本軟件分為在線和離線兩種模式，在線狀態(tài)下可以采集數(shù)據(jù)并處理，同時(shí)獲取的數(shù)據(jù)可以保存在文件中。離線狀態(tài)下，可以加載激光數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)的離線處理，這些功能在文件存儲(chǔ)模塊中實(shí)現(xiàn)。 圖2.8 實(shí)驗(yàn)中所使用的移動(dòng)機(jī)器人平臺(tái)（左圖）；環(huán)境認(rèn)知軟件（右圖）fig.2.8 mobile robot in experiment (left), software for environment cognition(right)如圖2.8所示，左圖

43、為實(shí)驗(yàn)中使用的移動(dòng)機(jī)器人平臺(tái)，右圖為本文使用的軟件系統(tǒng)界面。軟件界面中顯示的是一幅室內(nèi)全景的染色激光數(shù)據(jù)。在右側(cè)的對(duì)話欄中，上半部分是與移動(dòng)機(jī)器人的進(jìn)行通訊的操作接口，包括激光和電機(jī)串口的選擇，連接，以及激光掃描的各種參數(shù)等。下半部分窗口是攝像頭獲取視頻的實(shí)時(shí)顯示窗口，底部按鈕可以對(duì)視頻進(jìn)行操作，包括截圖，標(biāo)定和對(duì)激光數(shù)據(jù)染色等功能。另外，經(jīng)過(guò)切換，右側(cè)對(duì)話欄可以顯示點(diǎn)選的激光點(diǎn)坐標(biāo)，并且可以實(shí)現(xiàn)和顯示兩點(diǎn)之間的測(cè)距等功能。頂部菜單系統(tǒng)中可以導(dǎo)入或保存激光數(shù)據(jù)，程序退出等功能。視圖菜單用于切換顯示和隱藏工具欄，對(duì)話欄，并且切換不同的激光數(shù)據(jù)場(chǎng)景等。視覺(jué)染色用于激光數(shù)據(jù)和圖像的融合。場(chǎng)景重構(gòu)菜單

44、中為三維激光數(shù)據(jù)的重構(gòu)的觸發(fā)按鈕，包括柵格劃分，路徑規(guī)劃，構(gòu)建高程圖，特征提取和室內(nèi)場(chǎng)景認(rèn)知等。訓(xùn)練按鈕為后面將要介紹的室內(nèi)物體分類參數(shù)的訓(xùn)練觸發(fā)按鈕。幫助菜單為程序使用的文檔介紹。3 室內(nèi)場(chǎng)景框架的認(rèn)知和室內(nèi)物體分割3.1 平面特征的提取平面特征的提取是室內(nèi)框架信息提取的基礎(chǔ)。許多文獻(xiàn)都涉及到了平面特征的提取。文獻(xiàn)2中提到了一種從激光數(shù)據(jù)中首先提取線段特征，然后由線段特診合并得到平面特征的方法。一種比較普遍的方法是，首先選取一個(gè)初始鄰域平面，然后將周圍相鄰的鄰域平面不斷的迭代合并，得到完整的平面特征。另外一個(gè)著名的平面提取算法是ransac算法，ransac首先隨機(jī)選取n個(gè)點(diǎn)，根據(jù)它們來(lái)估計(jì)

45、一個(gè)平面的參數(shù)。然后計(jì)算滿足該平面參數(shù)的點(diǎn)并歸屬到其中，以此來(lái)不斷的擴(kuò)張平面。因?yàn)槠拗?，本文主要介紹兩種提取平面的方法，一種是2中提到的基于線段合并的平面提取方法，另一種是3中涉及的基于區(qū)域擴(kuò)張的平面提取方法。3.1.1 基于線段合并的平面特征提取由本文第2章可以得知，三維激光數(shù)據(jù)是以行列的方式存儲(chǔ)的，每組激光數(shù)據(jù)有mn個(gè)激光點(diǎn)。激光傳感器每次掃描獲取的激光點(diǎn)個(gè)數(shù)為361。圖3.1為激光傳感器完后曾一次掃描的數(shù)據(jù)。從全局看，這一組掃描由若干條線段構(gòu)成，具有簡(jiǎn)單的線段幾何特征。但是通過(guò)局部放大(圖3.1右)可以看出，激光點(diǎn)的分布是混亂和不完全規(guī)則的。 圖3.1 一次掃描的激光點(diǎn)(左)以及放大

46、后的點(diǎn)云分布(右)fig. 3.1 laser points on one scan line(left) and enlarged points distributing(right)為了從每一組掃描的激光數(shù)據(jù)中提取出線段特征，線段提取算法需要有對(duì)一定噪聲的適應(yīng)性。本文采用了將一組激光數(shù)據(jù)分段處理的線段特征檢測(cè)的方法，如圖3.2所示。該算法的核心思想是判斷一個(gè)點(diǎn)到一條直線的距離，如果距離小于一定的閾值則認(rèn)為該點(diǎn)屬于這一條直線。否則的話將這條直線以該點(diǎn)位中間點(diǎn)，把此條直線分為兩段。以此不斷的迭代處理，知道一組激光數(shù)據(jù)處理完畢。針對(duì)圖3.2，算法的處理步驟為：step 1：首先取得激光數(shù)據(jù)的起點(diǎn)

47、和終點(diǎn)，即a點(diǎn)和b點(diǎn)。step 2：依次計(jì)算a點(diǎn)和b點(diǎn)之間的點(diǎn)到ab連線的距離，并求取距離的最大值，假若最大值大于距離閾值，則將該點(diǎn)作為中間點(diǎn)，將整條線段分為ac和cb兩段。step 3：同理，計(jì)算ac之間的點(diǎn)到ac線段的距離，計(jì)算cb之間的點(diǎn)到線段cb的距離。最終迭代的結(jié)果是每一條線段之間的點(diǎn)到線段的距離都小于距離閾值。step 4：根據(jù)線段的平行等特點(diǎn)將求得的線段進(jìn)行合并，并存儲(chǔ)。圖3.2 線段提取示意圖fig. 3.2 schematic of line feature extraction在整個(gè)算法過(guò)程中，距離閾值的選擇很關(guān)鍵。如果距離閾值選取過(guò)小，則線段劃分過(guò)于精細(xì)，造成線段數(shù)量巨大

48、，缺乏實(shí)際意義。如果距離閾值選擇過(guò)大，則線段的劃分過(guò)于粗略甚至錯(cuò)誤，造成曲線劃分為線段的情況。所以線段提取算法應(yīng)該針對(duì)不同的數(shù)據(jù)選取合適的距離閾值。圖3.3(c)是線段提取算法的實(shí)驗(yàn)效果?？梢钥闯鼋?jīng)過(guò)線段提取過(guò)程，激光數(shù)據(jù)在每組掃描的方向上提取出許多豎直的線段。這不僅僅使得散亂的激光點(diǎn)云實(shí)現(xiàn)了一個(gè)精簡(jiǎn)，只用一條線段的起點(diǎn)和終點(diǎn)就可以代表許多數(shù)據(jù)。平面提取的思想是線段的合并，這是以上一步的實(shí)驗(yàn)結(jié)果為基礎(chǔ)的。經(jīng)過(guò)上一步的處理，激光數(shù)據(jù)簡(jiǎn)化為線段特征。如圖3.4(c)可以看出，提取出的線段與線段之間是近似平行的，本文利用這種平行的關(guān)系將線段進(jìn)行合并，最終得到平面特征。具體的步驟為：step 1：遍歷

49、提取得到的線段特征。將第一條線段的兩個(gè)端點(diǎn)作為一個(gè)新平面的兩個(gè)端點(diǎn)并進(jìn)行存儲(chǔ)。step 2：從繼續(xù)遍歷線段特征。判斷本條線段與之前的平面特征中的線段是否滿足合并條件，如果滿足合并條件則將本條直線合并到原來(lái)的平面當(dāng)中，實(shí)現(xiàn)平面的合并。如果不滿足合并的條件則將本線段視為一個(gè)新平面的兩個(gè)端點(diǎn)進(jìn)行存儲(chǔ)。step 3：繼續(xù)遍歷剩余的線段并進(jìn)行平面合并，直到線段特征處理完畢。在上述過(guò)程中，一個(gè)很關(guān)鍵的步驟是判斷線段與線段的合并的條件，這是一個(gè)影響平面提取效果的重要步驟，具體的條件如下：1、 當(dāng)前線段與要匹配的線段要平行，如果二者夾角過(guò)大則視為不滿足合并條件；2、 當(dāng)前線段與要匹配的線段同側(cè)的端點(diǎn)都要臨近，

50、即如果兩條線段雖然平行但是發(fā)生嚴(yán)重錯(cuò)位，距離較遠(yuǎn)則同樣不滿足合并的條件。圖3.3 線段合并示意圖fig. 3.3 line feature combination線段合并完成之后即可得到平面特征，實(shí)驗(yàn)結(jié)果如圖3.4(d)所示。本文使用了opengl以平面的端點(diǎn)為參數(shù)將平面結(jié)果繪制出來(lái)。不同的顏色代表不同的平面特征?？梢钥闯鲈搱?chǎng)景的地面墻壁等處平面特征的提取結(jié)果基本令人滿意，但是天花板的平面提取效果不理想。這主要由算法的局限性導(dǎo)致的。在線段合并的步驟并沒(méi)有問(wèn)題，線段的提取效果理想，但是在線段合并的階段由于線段的類型多種多樣，參差不齊，線段的同側(cè)端點(diǎn)距離較遠(yuǎn)導(dǎo)致合并失敗。盡管可以條件同側(cè)端點(diǎn)距離的

51、閾值，但是這樣會(huì)導(dǎo)致其他問(wèn)題的產(chǎn)生，例如一些小平面的線段合并誤差過(guò)大甚至錯(cuò)誤。另外線段之間的夾角也是問(wèn)題產(chǎn)生的原因，如圖可以看出，天花板處的線段與線段之間是不完全平行的。(a) (b) (c) (d)圖3.4 (a)室內(nèi)場(chǎng)景圖片；(b)室內(nèi)場(chǎng)景的激光數(shù)據(jù)；(c)線段提取結(jié)果；(d)平面提取結(jié)果fig. 3.4 image of indoor scene; (a) laser data of indoor scene; (b) line feature extraction result; (c) plane feature extraction result3.1.2 基于區(qū)域擴(kuò)張的平面特征提

52、取基于區(qū)域擴(kuò)張的平面提取方法與基于線段的方法思想是不一樣的。本文使用ioannis stamos3提到的方法擬合局部鄰域平面，然后將局部平面合并得到完整的平面特征。由于激光數(shù)據(jù)存儲(chǔ)在二維的容器中，每個(gè)激光點(diǎn)有8個(gè)鄰居（邊界除外），直接反映了激光在空間的鄰域關(guān)系。定義一個(gè)的鄰域，將鄰域內(nèi)的激光點(diǎn)進(jìn)行平面擬合?？梢愿鶕?jù)實(shí)際情況取不同的值，一般情況下取。如圖3.5中用藍(lán)色方框和紅色方框圈出的部分，即是兩個(gè)的鄰域。其中，綠色的激光點(diǎn)表示為兩個(gè)鄰域的公共點(diǎn)云，公共點(diǎn)云是區(qū)域擴(kuò)張算法的基礎(chǔ)。圖3.5 鄰域平面擬合示意圖fig.3.5 plane fitting of neighbor points每個(gè)鄰域

53、包含共個(gè)激光點(diǎn)，每個(gè)點(diǎn)用向量表示。設(shè)它們的重心為，有 (3.1)設(shè)擬合后平面的法向?yàn)閱挝换模瑪M合的目標(biāo)是使得下式取得最小值 (3.2)實(shí)際中為設(shè)置一個(gè)閾值，當(dāng)時(shí)我們認(rèn)為該鄰域是一個(gè)平面。這是一個(gè)可以調(diào)節(jié)的地方，可以根據(jù)不同的場(chǎng)景設(shè)置不同的閾值。由于鄰域平面只是一個(gè)平面的片段，相鄰的鄰域平面需要合并，以提取出完整的平面（見(jiàn)圖3.5）。之所以稱之為領(lǐng)域擴(kuò)張是因?yàn)槠矫娴暮喜⑹且韵噜彽钠矫鏋榛A(chǔ)，不斷的擴(kuò)張而最終實(shí)現(xiàn)平面特征的提取的。兩個(gè)相鄰的鄰域如果都是平面則考慮它們是否可以合并。合并的條件是兩鄰域平面的法向夾角足夠小。定義二維數(shù)組nbr存儲(chǔ)鄰域內(nèi)的點(diǎn)，定義一個(gè)planes容器存儲(chǔ)平面。于是鄰域平

54、面合并算法的偽代碼可以如下所示：鄰域平面合并算法：1：為每一個(gè)激光點(diǎn)添加一個(gè)標(biāo)簽，初始化為-1；2：for to ，為激光點(diǎn)云的行數(shù)3： for to ，為激光點(diǎn)云的列數(shù)4： 矩形框的激光點(diǎn)nbr；5： if nbr內(nèi)點(diǎn)云擬合平面成功6： if nbr內(nèi)存在大于等于0的點(diǎn)7： if nbr平面的法向與planes法向平行8： 將nbr內(nèi)的點(diǎn)歸屬到planes，將nbr內(nèi)點(diǎn)的標(biāo)簽更新為；9： end if10： else / nbr內(nèi)點(diǎn)的都小于011： 發(fā)現(xiàn)新平面，增加1，將nbr內(nèi)的點(diǎn)歸屬到新平面planes；12： end if13： end if14： end for 15：end for

55、為了方便后續(xù)使用，提取出的平面包含多種屬性，如平面的重心，平面包含的點(diǎn)云，平面的法向，平面的數(shù)學(xué)方程等等。圖3.6顯示了基于平面擴(kuò)張的平面特征提取結(jié)果。由于該算法只是將屬于每個(gè)平面的點(diǎn)云歸屬到相應(yīng)的平面當(dāng)中，每一個(gè)平面的邊緣并沒(méi)有提取出來(lái)，所以圖中顯示的平面特征是以顏色區(qū)分的。不同的平面中的點(diǎn)云以不同的顏色表示?？梢钥闯?，相對(duì)于基于線段合并的方法，基于區(qū)域擴(kuò)張的方法平面提取的結(jié)果較準(zhǔn)確。地面，墻壁，天花板和門(mén)等室內(nèi)框架上面提取出了完整的平面特征。另外一些小的物體例如圖中的紅色凳子、紙箱等也提取了一些平面特征。(a) (b)圖3.6 (a)室內(nèi)場(chǎng)景的圖片；(b) 平面特征提取結(jié)果 fig.3.6 (a)picture of indoor scene; (b)the result of plane feature extraction3.2