《點(diǎn)云庫(kù)PCL學(xué)習(xí)教程》-第1章-概述

第1章概述簡(jiǎn)介本書(shū)的取材、編寫(xiě)表達(dá)了PCL強(qiáng)大的功能模塊、統(tǒng)一易學(xué)的C++調(diào)用接口兩個(gè)特點(diǎn)。全書(shū)共分為16章，第1~3章介紹了PCL的概述、入門與根底，第4~7章詳細(xì)介紹PCL根底功能模塊輸入/輸出I/O、kd-tree、八叉樹(shù)、可視化，第4章為后續(xù)章節(jié)模塊的根底，第8~15章詳細(xì)介紹PCL高級(jí)處理功能模塊點(diǎn)云濾波、深度圖像、關(guān)鍵點(diǎn)、采樣一致性、點(diǎn)云特征描述與提取、點(diǎn)云配準(zhǔn)、點(diǎn)云分割、點(diǎn)云曲面重建，第16章介紹了一些典型綜合應(yīng)用，讓讀者感受PCL的強(qiáng)大與易用。概述點(diǎn)云處理技術(shù)廣泛應(yīng)用在逆向工程、CAD/CAM、機(jī)器人學(xué)、激光遙感測(cè)量、機(jī)器視覺(jué)、虛擬現(xiàn)實(shí)、人機(jī)交互、立體3D影像等諸多領(lǐng)域。由于其涉及計(jì)算機(jī)學(xué)、圖形學(xué)、人工智能、模式識(shí)別、幾何計(jì)算、傳感器等諸多學(xué)科，但一直以來(lái)由于點(diǎn)云獲取手段的昂貴，嚴(yán)重阻礙其在各個(gè)行業(yè)上的廣泛應(yīng)用，也造成國(guó)內(nèi)點(diǎn)云處理的理論性和工具性書(shū)籍匱乏。在2010年，隨著消費(fèi)級(jí)RGBD設(shè)備〔低本錢點(diǎn)云獲取〕的大量上市，以微軟的Kinect為前導(dǎo)，目前已有華碩、三星等多家公司開(kāi)始量產(chǎn)此類產(chǎn)品，正在形成基于RGBD的新一代機(jī)器視覺(jué)生態(tài)鏈，PCL〔PointCloudLibrary〕應(yīng)運(yùn)而生。PCL是在吸收了前人點(diǎn)云相關(guān)研究根底上建立起來(lái)的跨平臺(tái)開(kāi)源庫(kù)，可在Windows、Linux、Android、MacOSX、局部嵌入式實(shí)時(shí)系統(tǒng)上運(yùn)行，它實(shí)現(xiàn)了大量通用算法和數(shù)據(jù)結(jié)構(gòu)，涉及點(diǎn)云獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識(shí)別、追蹤、曲面重建、可視化等根底模塊以及人體骨骼識(shí)別提取、動(dòng)作跟蹤識(shí)別等應(yīng)用，并且新的其他應(yīng)用正在大量增加。如果說(shuō)OpenCV是2D信息獲取與處理的結(jié)晶，那么PCL就在3D信息獲取與處理上具有同等地位。筆者深信隨著各大廠商對(duì)RGBD設(shè)備的大力推出，基于此設(shè)備的各種應(yīng)用將會(huì)大量涌現(xiàn)，而PCL不僅是這類應(yīng)用的核心關(guān)鍵技術(shù)，而且基于它進(jìn)行擴(kuò)展，將會(huì)極大地提高應(yīng)用系統(tǒng)開(kāi)發(fā)效率和穩(wěn)定性。三維信息的獲取與處理是筆者所在研究團(tuán)隊(duì)的重要方向之一，在農(nóng)業(yè)對(duì)象的三維信息獲取與重建、虛擬農(nóng)業(yè)等領(lǐng)域不斷探索新的獲取技術(shù)和處理方法，在2011年7月發(fā)現(xiàn)了OpenCV的姐妹PCL及其網(wǎng)站的RSS更新，時(shí)刻關(guān)注PCL在3D信息獲取和處理方面的新動(dòng)向，并與PCL結(jié)緣。在跟蹤過(guò)程中發(fā)現(xiàn)，PCL對(duì)RGBD數(shù)據(jù)的獲取和處理提供了強(qiáng)大支持，并有大量的機(jī)器人、虛擬現(xiàn)實(shí)、人機(jī)交互、機(jī)器視覺(jué)等領(lǐng)域的應(yīng)用案例，目前幾乎每半個(gè)月就有新的開(kāi)發(fā)方案，或者有新的資助者或開(kāi)發(fā)者參加。參加PCL開(kāi)發(fā)的團(tuán)隊(duì)來(lái)自包括全球的AIST，UCBerkeley，UniversityofBonn，UniversityofBritishColumbia，ETHZurich等等。同時(shí)我們團(tuán)隊(duì)已經(jīng)把PCL作為開(kāi)發(fā)出實(shí)際應(yīng)用的根底平臺(tái)，用于跨平臺(tái)支持嵌入式設(shè)備的3D農(nóng)業(yè)信息獲取與處理的根底庫(kù)。目前PCL正在快速成長(zhǎng)階段，國(guó)內(nèi)外尚無(wú)相關(guān)的中英文系統(tǒng)學(xué)習(xí)書(shū)籍，鑒于此，經(jīng)過(guò)團(tuán)隊(duì)討論，把我們學(xué)習(xí)和開(kāi)發(fā)應(yīng)用期間整理的資料與國(guó)內(nèi)讀者一起分享，加快PCL在其他各行業(yè)中的應(yīng)用，推動(dòng)3D信息快速獲取與處理的開(kāi)展。PCL的潛在讀者群：機(jī)器人研究或應(yīng)用開(kāi)發(fā)者機(jī)器視覺(jué)的研究或應(yīng)用開(kāi)發(fā)者。人機(jī)交互研究或應(yīng)用開(kāi)發(fā)者。交互式體感游戲開(kāi)發(fā)者。虛擬現(xiàn)實(shí)研究或應(yīng)用開(kāi)發(fā)者。CAD/CAM和逆向工程工作者。工業(yè)自動(dòng)化測(cè)量、檢測(cè)領(lǐng)域的研究或應(yīng)用開(kāi)發(fā)者。激光雷達(dá)遙感的研究或應(yīng)用開(kāi)發(fā)者。本書(shū)概況本書(shū)分為三大局部，其中第三局部以接近實(shí)戰(zhàn)的實(shí)例來(lái)講解工程應(yīng)用，相比于前兩局部更獨(dú)立。如果讀者是一名經(jīng)驗(yàn)豐富的資深用戶，已經(jīng)知道PCL的相關(guān)根底知識(shí)和使用方法，那么讀者可以直接閱讀測(cè)試這局部?jī)?nèi)容。但如果讀者是一名初學(xué)者，請(qǐng)一定從第1章的根底理論知識(shí)開(kāi)始學(xué)習(xí)。第一局部為根底篇從第1章到第3章，簡(jiǎn)單介紹PCL的相關(guān)背景資料和根本使用方式，幫助讀者了解一些根底背景知識(shí)，感受自己的研究應(yīng)用領(lǐng)域在PCL根底上有哪些應(yīng)用前景，并熟悉PCL的使用方法以及編程標(biāo)準(zhǔn)，為讀者使用PCL做好前期準(zhǔn)備工作。第二局部為模塊篇從第4章到第15章，著重講解PCL各個(gè)模塊中涉及的3D點(diǎn)云處理的概念、模塊API、實(shí)例應(yīng)用。每章結(jié)構(gòu)都是先簡(jiǎn)單介紹本章涉及的相關(guān)概念，再重點(diǎn)介紹一些模塊相關(guān)的類和函數(shù)，最后分析幾個(gè)典型的模塊應(yīng)用實(shí)例，讓讀者不需要太多點(diǎn)云處理根底，也能輕松掌握PCL各個(gè)功能模塊。第二局部涵蓋點(diǎn)云獲取、濾波、分割、配置、檢索、特征提取、識(shí)別、追蹤、曲面重建、可視化等全部已根本定型的模塊，骨骼識(shí)別與跟蹤模塊還正在開(kāi)發(fā)，本書(shū)未包含。第三局部是綜合應(yīng)用篇第16章，通過(guò)基于PCL的典型應(yīng)用案例進(jìn)行介紹，讓讀者進(jìn)一步能夠體驗(yàn)PCL的強(qiáng)大，同時(shí)了解一些虛擬現(xiàn)實(shí)和人機(jī)交互領(lǐng)域的新事物。光盤收集PCL1.51的開(kāi)發(fā)資源及本書(shū)中涉及的實(shí)例程序和數(shù)據(jù)。PCL版本PCL的發(fā)布更新以1.5X的小版本號(hào)來(lái)表示，本書(shū)針對(duì)的是1.51版本。PCL正在不斷開(kāi)發(fā)和完善中，但根本架構(gòu)和設(shè)計(jì)思路根本確定，相信讀者對(duì)本書(shū)介紹了解之后，對(duì)其他版本就輕車熟路了。請(qǐng)參照網(wǎng)站地址：。雖然本書(shū)中參考所用的API文檔，仍然在不斷更新新的類、函數(shù)，但模塊根本確定，不會(huì)對(duì)PCL的理解產(chǎn)生困難。源代碼本書(shū)的所有源代碼和工程文件大多數(shù)整理來(lái)自于PCL官方網(wǎng)站，都以BSD〔BerkeleySoftwareDistribution〕許可協(xié)議或者〔CCA〕CreativeCommonsAttribution3.0的形式發(fā)布，讀者可以自由使用和分享，如果需要應(yīng)用于商業(yè)領(lǐng)域，請(qǐng)注明版權(quán)所有者。目錄第1章概述第2章PCL入門第3章PCL根底第4章輸入/輸出(I/O)第5章kd-tree第6章八叉樹(shù)第7章可視化第8章濾波第9章深度圖像第10章關(guān)鍵點(diǎn)第11章采樣一致性算法第12章點(diǎn)云特征描述與提取第13章點(diǎn)云配準(zhǔn)第14章點(diǎn)云分割第15章點(diǎn)云曲面重建第16章綜合應(yīng)用本章各小節(jié)目錄1.1什么是PCL1.2PCL的開(kāi)展與創(chuàng)景1.3PCL的潛在應(yīng)用領(lǐng)域1.4PCL在中國(guó)1.5PCL的結(jié)構(gòu)和內(nèi)容1.1什么是PCLPCL是PointCloudLibrary的簡(jiǎn)稱，是一個(gè)開(kāi)源的用C++語(yǔ)言開(kāi)發(fā)的點(diǎn)云庫(kù)，它實(shí)現(xiàn)了大量點(diǎn)云相關(guān)的通用算法和高效數(shù)據(jù)結(jié)構(gòu)，涉及到點(diǎn)云獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識(shí)別、追蹤、曲面重建、可視化等。而且支持多種操作平臺(tái)，可在Windows、Linux、Android、MacOSX、局部嵌入式實(shí)時(shí)系統(tǒng)上運(yùn)行。如果說(shuō)OpenCV是2D信息獲取與處理的結(jié)晶，那么PCL就是在3D信息獲取與處理上的結(jié)晶，具有同等地位。PCL也是BSD授權(quán)方式，可以免費(fèi)進(jìn)行商業(yè)和學(xué)術(shù)應(yīng)用。1.2PCL的開(kāi)展與創(chuàng)景隨著參加組織的增多，PCL官方目前的方案是繼續(xù)參加很多新的功能模塊和算法的實(shí)現(xiàn)，包括當(dāng)前最新的3D相關(guān)的處理算法和相關(guān)設(shè)備的支持，如基于PrimeSensor3D設(shè)備，微軟Kinect或者華碩的XTionPRO智能交互應(yīng)用等，詳細(xì)讀者可以參考官方網(wǎng)站每期的新聞，而且也方案進(jìn)一步支持使用CUDA和OpenCL等基于GPU的高性能計(jì)算的技術(shù)。筆者相信在近幾年內(nèi)會(huì)有更多的人和組織參加到這個(gè)工程中來(lái)，共享開(kāi)源PCL帶來(lái)的各自領(lǐng)域的成果。1.3PCL的潛在應(yīng)用領(lǐng)域1.3.1機(jī)器人領(lǐng)域移動(dòng)機(jī)器人對(duì)其工作環(huán)境的有效感知、辨識(shí)與認(rèn)知，是其進(jìn)行自主行為優(yōu)化并可靠完成所承擔(dān)任務(wù)的前提和根底。如何實(shí)現(xiàn)場(chǎng)景中物體的有效分類與識(shí)別是移動(dòng)機(jī)器人場(chǎng)景認(rèn)知的核心問(wèn)題，目前基于視覺(jué)圖像處理技術(shù)來(lái)進(jìn)行場(chǎng)景的認(rèn)知是該領(lǐng)域的重要方法。但移動(dòng)機(jī)器人在線獲取的視覺(jué)圖像質(zhì)量受光線變化影響較大，特別是在光線較暗的場(chǎng)景更難以應(yīng)用，隨著RGBD獲取設(shè)備的大量推廣，在機(jī)器人領(lǐng)域勢(shì)必掀起一股深度信息結(jié)合2D信息的應(yīng)用研究熱潮，深度信息的引入能夠使機(jī)器人更好地對(duì)環(huán)境進(jìn)行認(rèn)知、辨識(shí)，與圖像信息在機(jī)器人領(lǐng)域的應(yīng)用一樣，需要強(qiáng)大智能軟件算法支撐，PCL就為此而生。最重要的是PCL本身就是為機(jī)器人而發(fā)起的開(kāi)源工程，PCL中不僅提供了對(duì)現(xiàn)有的RGBD信息的獲取設(shè)備的支持，還提供了高效的分割、特征提取、識(shí)別、追蹤等最新的算法，最重要的是它可以移植到ROS、Android、Ubuntu等主流Linux平臺(tái)上，PCL無(wú)疑將會(huì)成為機(jī)器人應(yīng)用領(lǐng)域一把“瑞士軍刀”。1.3.2CAD/CAM、逆向工程大局部工業(yè)產(chǎn)品是根據(jù)二維或三維CAD模型制造而成，但有時(shí)因?yàn)閿?shù)據(jù)喪失、設(shè)計(jì)屢次更改、實(shí)物引進(jìn)等原因，產(chǎn)品的幾何模型無(wú)法獲得，因而常常需要根據(jù)現(xiàn)有產(chǎn)品實(shí)物生成物體幾何模型。逆向工程技術(shù)能夠?qū)Ξa(chǎn)品實(shí)物進(jìn)行測(cè)繪，重構(gòu)產(chǎn)品外表三維幾何模型，生成產(chǎn)品制造所需的數(shù)字化文檔。在一些工業(yè)領(lǐng)域，如汽車制造業(yè)，許多零件的幾何模型都通過(guò)逆向工程由油泥模型或?qū)嵨锪慵@得，目前在CAD/CAM領(lǐng)域利用激光點(diǎn)云進(jìn)行高精度測(cè)量與重建成為趨勢(shì)，同時(shí)引來(lái)了新的問(wèn)題，通過(guò)獲取的海量點(diǎn)云數(shù)據(jù)，來(lái)提取重建模型的幾何參數(shù)或者形狀模型，對(duì)模型進(jìn)行智能檢索，從點(diǎn)云數(shù)據(jù)獲取模型的曲面模型等，諸如此類的問(wèn)題解決方案在PCL中都有涉及。例如kd-tree和oc-tree對(duì)海量點(diǎn)運(yùn)進(jìn)行高效壓縮存儲(chǔ)與管理，其中濾波、配準(zhǔn)、特征描述與提前根底處理，可以應(yīng)用于模型的智能檢索以及后期的曲面重建和可視化都在PCL中有相應(yīng)的模塊?？傊S點(diǎn)云數(shù)據(jù)的處理是逆向工程中比較重要的一環(huán)，PCL中間所有的模塊正是為此而生的。1.3.3激光遙感測(cè)量能夠直接獲取高精度三維地面點(diǎn)數(shù)據(jù)，是對(duì)傳統(tǒng)測(cè)量技術(shù)在高程數(shù)據(jù)獲取及自動(dòng)化快速方面的重要技術(shù)補(bǔ)充。激光遙感測(cè)量系統(tǒng)在地形測(cè)繪、環(huán)境檢測(cè)、三維城市建模、地球科學(xué)、行星科學(xué)等諸多領(lǐng)域具有廣泛的開(kāi)展前景，是目前最先進(jìn)的能實(shí)時(shí)獲取地形外表三維空間信息和影像的遙感系統(tǒng)。目前，在各種提取地面點(diǎn)的算法中，算法結(jié)果與實(shí)際結(jié)果之間差異較大，違背了實(shí)際情況，PCL中強(qiáng)大的模塊可以助力解決此問(wèn)題。1.3.4虛擬現(xiàn)實(shí)、人機(jī)交互虛擬現(xiàn)實(shí)技術(shù)〔VR〕又稱靈境技術(shù)，是以沉浸性、交互性和設(shè)想性為根本特征的計(jì)算機(jī)高級(jí)人機(jī)界面。它綜合利用了計(jì)算機(jī)圖形學(xué)、仿真技術(shù)、多媒體技術(shù)、人工智能技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)和多傳感器技術(shù)，模擬人的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感覺(jué)器官功能，使人能夠沉浸在計(jì)算機(jī)生成的虛擬境界中，并能夠通過(guò)語(yǔ)言、手勢(shì)等自然的方式與之進(jìn)行實(shí)時(shí)交互，創(chuàng)立了一種適人化的多維信息空間，具有廣闊的應(yīng)用前景。目前各種交互式體感應(yīng)用的推出，讓虛擬現(xiàn)實(shí)與人機(jī)交互開(kāi)展非常迅速，以微軟、華碩、三星等為例，目前諸多公司推出的RGBD解決方案，勢(shì)必會(huì)讓虛擬現(xiàn)實(shí)走出實(shí)驗(yàn)室，因?yàn)楝F(xiàn)在的RGBD設(shè)備已經(jīng)開(kāi)始大量推向市場(chǎng)，只是缺少其他應(yīng)用的跟進(jìn)，這正是在為虛擬現(xiàn)實(shí)和人機(jī)交互應(yīng)用鑄造生態(tài)鏈的底部，筆者認(rèn)為這也正是PCL為何在此時(shí)才把自己與世人分享的重要原因所在，它將是基于RGBD設(shè)備的虛擬現(xiàn)實(shí)和人機(jī)交互應(yīng)用生態(tài)鏈中最重要的一個(gè)環(huán)節(jié)。讓我們抓住這一個(gè)節(jié)點(diǎn)，立足于交互式應(yīng)用的一片小天地，但愿本書(shū)來(lái)的不是太遲。1.4PCL在中國(guó)PCL雖然在國(guó)際上有如此多的組織和公司參與，由于開(kāi)展如此迅速，目前〔2012年4月〕在Google中檢索出中文相關(guān)的PCL探討，有且只有一條，當(dāng)然這也是筆者出書(shū)原因之一了。事實(shí)上，如圖1-2所示，在全球范圍內(nèi)，唯獨(dú)沒(méi)有中國(guó)參與組織，這里希望廣闊讀者可以為中國(guó)板塊上添加一個(gè)小旗幟。當(dāng)然，肯定有科研工作者在應(yīng)用或者學(xué)習(xí)PCL了，筆者依托于中國(guó)農(nóng)業(yè)大學(xué)農(nóng)業(yè)部信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，在與創(chuàng)始人Radu博士交流后，深感PCL在復(fù)雜的農(nóng)業(yè)對(duì)象中有不可估量的作用，例如對(duì)動(dòng)植物的重建測(cè)度、果蔬等分級(jí)檢測(cè)等應(yīng)用領(lǐng)域，決定把PCL作為根底研究平臺(tái)來(lái)開(kāi)展實(shí)際應(yīng)用。同時(shí)用學(xué)習(xí)筆記撰寫(xiě)了本書(shū)把PCL與國(guó)人分享，相信在不久的將來(lái)，與2D信息處理庫(kù)OpenCV一樣，中國(guó)將是PCL最大的用戶和奉獻(xiàn)者基地。1.5PCL的結(jié)構(gòu)和內(nèi)容PCL架構(gòu)圖如圖1-3所示，對(duì)于3D點(diǎn)云處理來(lái)說(shuō)，PCL完全是一個(gè)模塊化的現(xiàn)代C++模板庫(kù)。其基于以下第三方庫(kù)：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，實(shí)現(xiàn)點(diǎn)云相關(guān)的獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識(shí)別、追蹤、曲面重建、可視化等。PCL利用OpenMP、GPU、CUDA等先進(jìn)高性能計(jì)算技術(shù)，通過(guò)并行化提高程序?qū)崟r(shí)性。K近鄰搜索操作的構(gòu)架是基于FLANN(FastLibraryforApproximateNearestNeighbors)所實(shí)現(xiàn)的，速度也是目前技術(shù)中最快的。PCL中的所有模塊和算法都是通過(guò)Boost共享指針來(lái)傳送數(shù)據(jù)，因而防止了屢次復(fù)制系統(tǒng)中已存在圖1-3PCL架構(gòu)圖的數(shù)據(jù)的需要，從0.6版本開(kāi)始，PCL就已經(jīng)被移入到Windows、MacOS和Linux系統(tǒng)，并且在Android系統(tǒng)也已經(jīng)開(kāi)始投入使用，這使得PCL的應(yīng)用容易移植與多方發(fā)布。從算法的角度，PCL是指納入了多種操作點(diǎn)云數(shù)據(jù)的三維處理算法，其中包括過(guò)濾、特征估計(jì)、外表重建、模型擬合和分割、定位搜索等。每一套算法都是通過(guò)基類進(jìn)行劃分的，試圖把貫穿整個(gè)流水線處理技術(shù)的所有常見(jiàn)功能整合在一起，從而保持了整個(gè)算法實(shí)現(xiàn)過(guò)程中的緊湊和結(jié)構(gòu)清晰，提高代碼的重用性、簡(jiǎn)潔可讀。在PCL中一個(gè)處理管道的根本接口程序如下：〔1〕創(chuàng)立處理對(duì)象：〔例如過(guò)濾、特征估計(jì)、分割等〕?！?〕使用setInputCloud通過(guò)輸入點(diǎn)云數(shù)據(jù)，處理模塊?！?〕設(shè)置算法相關(guān)參數(shù)?！?〕調(diào)用計(jì)算得到輸出。為了進(jìn)一步簡(jiǎn)化和開(kāi)發(fā)，PCL被分成一系列較小的代碼庫(kù)，使其模塊化，以便能夠單獨(dú)編譯使用提高可配置性，特別適用于嵌入式處理中：〔1〕libpclfilters：如采樣、去除離群點(diǎn)、特征提取、擬合估計(jì)等數(shù)據(jù)實(shí)現(xiàn)過(guò)濾器。〔2〕libpclfeatures：實(shí)現(xiàn)多種三維特征，如曲面法線、曲率、邊界點(diǎn)估計(jì)、矩不變量、主曲率，PFH和FPFH特征，旋轉(zhuǎn)圖像、