《點(diǎn)云庫(kù)PCL學(xué)習(xí)教程》概述PPT課件

第1章概述 1 簡(jiǎn)介 本書(shū)的取材 編寫(xiě)體現(xiàn)了PCL強(qiáng)大的功能模塊 統(tǒng)一易學(xué)的C 調(diào)用接口兩個(gè)特點(diǎn) 全書(shū)共分為16章 第1 3章介紹了PCL的概述 入門(mén)與基礎(chǔ) 第4 7章詳細(xì)介紹PCL基礎(chǔ)功能模塊輸入 輸出I O kd tree 八叉樹(shù) 可視化 第4章為后續(xù)章節(jié)模塊的基礎(chǔ) 第8 15章詳細(xì)介紹PCL高級(jí)處理功能模塊點(diǎn)云濾波 深度圖像 關(guān)鍵點(diǎn) 采樣一致性 點(diǎn)云特征描述與提取 點(diǎn)云配準(zhǔn) 點(diǎn)云分割 點(diǎn)云曲面重建 第16章介紹了一些典型綜合應(yīng)用 讓讀者感受PCL的強(qiáng)大與易用 2 概述 點(diǎn)云處理技術(shù)廣泛應(yīng)用在逆向工程 CAD CAM 機(jī)器人學(xué) 激光遙感測(cè)量 機(jī)器視覺(jué) 虛擬現(xiàn)實(shí) 人機(jī)交互 立體3D影像等諸多領(lǐng)域 由于其涉及計(jì)算機(jī)學(xué) 圖形學(xué) 人工智能 模式識(shí)別 幾何計(jì)算 傳感器等諸多學(xué)科 但一直以來(lái)由于點(diǎn)云獲取手段的昂貴 嚴(yán)重阻礙其在各個(gè)行業(yè)上的廣泛應(yīng)用 也造成國(guó)內(nèi)點(diǎn)云處理的理論性和工具性書(shū)籍匱乏 在2010年 隨著消費(fèi)級(jí)RGBD設(shè)備 低成本點(diǎn)云獲取 的大量上市 以微軟的Kinect為前導(dǎo) 目前已有華碩 三星等多家公司開(kāi)始量產(chǎn)此 3 類(lèi)產(chǎn)品 正在形成基于RGBD的新一代機(jī)器視覺(jué)生態(tài)鏈 PCL PointCloudLibrary 應(yīng)運(yùn)而生 PCL是在吸收了前人點(diǎn)云相關(guān)研究基礎(chǔ)上建立起來(lái)的跨平臺(tái)開(kāi)源庫(kù) 可在Windows Linux Android MacOSX 部分嵌入式實(shí)時(shí)系統(tǒng)上運(yùn)行 它實(shí)現(xiàn)了大量通用算法和數(shù)據(jù)結(jié)構(gòu) 涉及點(diǎn)云獲取 濾波 分割 配準(zhǔn) 檢索 特征提取 識(shí)別 追蹤 曲面重建 可視化等基礎(chǔ)模塊以及人體骨骼識(shí)別提取 動(dòng)作跟蹤識(shí)別等應(yīng)用 并且新的其他應(yīng)用正在大量增加 如果說(shuō)OpenCV是2D信息獲取與處理的結(jié)晶 那么PCL就在3D信息獲取與處理上具有同等地位 筆者深信隨著各大廠商對(duì)RGBD設(shè)備的大力推出 基于此設(shè)備的各種應(yīng)用將會(huì)大量涌現(xiàn) 而PCL不僅是這類(lèi)應(yīng)用的核心關(guān)鍵技術(shù) 而且基于它進(jìn)行擴(kuò)展 將會(huì)極大地提高應(yīng)用系統(tǒng)開(kāi)發(fā)效率和穩(wěn)定 4 性 三維信息的獲取與處理是筆者所在研究團(tuán)隊(duì)的重要方向之一 在農(nóng)業(yè)對(duì)象的三維信息獲取與重建 虛擬農(nóng)業(yè)等領(lǐng)域不斷探索新的獲取技術(shù)和處理方法 在2011年7月發(fā)現(xiàn)了OpenCV的姐妹PCL及其網(wǎng)站的RSS更新 時(shí)刻關(guān)注PCL在3D信息獲取和處理方面的新動(dòng)向 并與PCL結(jié)緣 在跟蹤過(guò)程中發(fā)現(xiàn) PCL對(duì)RGBD數(shù)據(jù)的獲取和處理提供了強(qiáng)大支持 并有大量的機(jī)器人 虛擬現(xiàn)實(shí) 人機(jī)交互 機(jī)器視覺(jué)等領(lǐng)域的應(yīng)用案例 目前幾乎每半個(gè)月就有新的開(kāi)發(fā)計(jì)劃 或者有新的資助者或開(kāi)發(fā)者加入 加入PCL開(kāi)發(fā)的團(tuán)隊(duì)來(lái)自包括全球的AIST UCBerkeley UniversityofBonn UniversityofBritishColumbia ETHZurich等等 同時(shí)我們團(tuán)隊(duì)已經(jīng)把PCL作為開(kāi)發(fā)出實(shí)際應(yīng)用的基礎(chǔ)平臺(tái) 用于跨平臺(tái)支持嵌 5 入式設(shè)備的3D農(nóng)業(yè)信息獲取與處理的基礎(chǔ)庫(kù) 目前PCL正在快速成長(zhǎng)階段 國(guó)內(nèi)外尚無(wú)相關(guān)的中英文系統(tǒng)學(xué)習(xí)書(shū)籍 鑒于此 經(jīng)過(guò)團(tuán)隊(duì)討論 把我們學(xué)習(xí)和開(kāi)發(fā)應(yīng)用期間整理的資料與國(guó)內(nèi)讀者一起分享 加快PCL在其他各行業(yè)中的應(yīng)用 推動(dòng)3D信息快速獲取與處理的發(fā)展 PCL的潛在讀者群 機(jī)器人研究或應(yīng)用開(kāi)發(fā)者機(jī)器視覺(jué)的研究或應(yīng)用開(kāi)發(fā)者 人機(jī)交互研究或應(yīng)用開(kāi)發(fā)者 交互式體感游戲開(kāi)發(fā)者 虛擬現(xiàn)實(shí)研究或應(yīng)用開(kāi)發(fā)者 CAD CAM和逆向工程工作者 工業(yè)自動(dòng)化測(cè)量 檢測(cè)領(lǐng)域的研究或應(yīng)用開(kāi)發(fā)者 激光雷達(dá)遙感的研究或應(yīng)用開(kāi)發(fā)者 6 本書(shū)概況 本書(shū)分為三大部分 其中第三部分以接近實(shí)戰(zhàn)的實(shí)例來(lái)講解工程應(yīng)用 相比于前兩部分更獨(dú)立 如果讀者是一名經(jīng)驗(yàn)豐富的資深用戶(hù) 已經(jīng)知道PCL的相關(guān)基礎(chǔ)知識(shí)和使用方法 那么讀者可以直接閱讀測(cè)試這部分內(nèi)容 但如果讀者是一名初學(xué)者 請(qǐng)一定從第1章的基礎(chǔ)理論知識(shí)開(kāi)始學(xué)習(xí) 第一部分為基礎(chǔ)篇從第1章到第3章 簡(jiǎn)單介紹PCL的相關(guān)背景資料和基本使用方式 幫助讀者了解一些基礎(chǔ)背景知識(shí) 感受自己的研究應(yīng)用領(lǐng)域在PCL基礎(chǔ)上有哪些應(yīng)用前景 并熟悉PCL的使用方法以 7 及編程規(guī)范 為讀者使用PCL做好前期準(zhǔn)備工作 第二部分為模塊篇從第4章到第15章 著重講解PCL各個(gè)模塊中涉及的3D點(diǎn)云處理的概念 模塊API 實(shí)例應(yīng)用 每章結(jié)構(gòu)都是先簡(jiǎn)單介紹本章涉及的相關(guān)概念 再重點(diǎn)介紹一些模塊相關(guān)的類(lèi)和函數(shù) 最后分析幾個(gè)典型的模塊應(yīng)用實(shí)例 讓讀者不需要太多點(diǎn)云處理基礎(chǔ) 也能輕松掌握PCL各個(gè)功能模塊 第二部分涵蓋點(diǎn)云獲取 濾波 分割 配置 檢索 特征提取 識(shí)別 追蹤 曲面重建 可視化等全部已基本定型的模塊 骨骼識(shí)別與跟蹤模塊還正在開(kāi)發(fā) 本書(shū)未包含 第三部分是綜合應(yīng)用篇第16章 通過(guò)基于PCL的典型應(yīng)用案例進(jìn)行介紹 讓讀者進(jìn)一步能夠體驗(yàn)PCL的強(qiáng)大 同時(shí)了解一些虛擬現(xiàn)實(shí)和人機(jī)交互領(lǐng)域的新事物 光盤(pán)收集PCL1 51的開(kāi)發(fā)資源及本書(shū)中涉及的實(shí)例程序和數(shù)據(jù) 8 PCL版本PCL的發(fā)布更新以1 5X的小版本號(hào)來(lái)表示 本書(shū)針對(duì)的是1 51版本 PCL正在不斷開(kāi)發(fā)和完善中 但基本架構(gòu)和設(shè)計(jì)思路基本確定 相信讀者對(duì)本書(shū)介紹了解之后 對(duì)其他版本就輕車(chē)熟路了 請(qǐng)參照網(wǎng)站地址 http docs pointclouds org trunk modules html 雖然本書(shū)中參考所用的API文檔 仍然在不斷更新新的類(lèi) 函數(shù) 但模塊基本確定 不會(huì)對(duì)PCL的理解產(chǎn)生困難 9 源代碼本書(shū)的所有源代碼和工程文件大多數(shù)整理來(lái)自于PCL官方網(wǎng)站 都以BSD BerkeleySoftwareDistribution 許可協(xié)議或者 CCA CreativeCommonsAttribution3 0的形式發(fā)布 讀者可以自由使用和分享 如果需要應(yīng)用于商業(yè)領(lǐng)域 請(qǐng)注明版權(quán)所有者 10 目錄 第1章概述第2章PCL入門(mén)第3章PCL基礎(chǔ)第4章輸入 輸出 I O 第5章kd tree第6章八叉樹(shù)第7章可視化第8章濾波第9章深度圖像第10章關(guān)鍵點(diǎn)第11章采樣一致性算法第12章點(diǎn)云特征描述與提取第13章點(diǎn)云配準(zhǔn)第14章點(diǎn)云分割第15章點(diǎn)云曲面重建第16章綜合應(yīng)用 11 本章各小節(jié)目錄 1 1什么是PCL1 2PCL的發(fā)展與創(chuàng)景1 3PCL的潛在應(yīng)用領(lǐng)域1 4PCL在中國(guó)1 5PCL的結(jié)構(gòu)和內(nèi)容 12 1 1什么是PCL PCL是PointCloudLibrary的簡(jiǎn)稱(chēng) 是一個(gè)開(kāi)源的用C 語(yǔ)言開(kāi)發(fā)的點(diǎn)云庫(kù) 它實(shí)現(xiàn)了大量點(diǎn)云相關(guān)的通用算法和高效數(shù)據(jù)結(jié)構(gòu) 涉及到點(diǎn)云獲取 濾波 分割 配準(zhǔn) 檢索 特征提取 識(shí)別 追蹤 曲面重建 可視化等 而且支持多種操作平臺(tái) 可在Windows Linux Android MacOSX 部分嵌入式實(shí)時(shí)系統(tǒng)上運(yùn)行 如果說(shuō)OpenCV是2D信息獲取與處理的結(jié)晶 那么PCL就是在3D信息獲取與處理上的結(jié)晶 具有同等地位 PCL也是BSD授權(quán)方式 可以免費(fèi)進(jìn)行商業(yè)和學(xué)術(shù)應(yīng)用 13 1 2PCL的發(fā)展與創(chuàng)景 隨著加入組織的增多 PCL官方目前的計(jì)劃是繼續(xù)加入很多新的功能模塊和算法的實(shí)現(xiàn) 包括當(dāng)前最新的3D相關(guān)的處理算法和相關(guān)設(shè)備的支持 如基于PrimeSensor3D設(shè)備 微軟Kinect或者華碩的XTionPRO智能交互應(yīng)用等 詳細(xì)讀者可以參考官方網(wǎng)站每期的新聞 而且也計(jì)劃進(jìn)一步支持使用CUDA和OpenCL等基于GPU的高性能計(jì)算的技術(shù) 筆者相信在近幾年內(nèi)會(huì)有更多的人和組織加入到這個(gè)項(xiàng)目中來(lái) 共享開(kāi)源PCL帶來(lái)的各自領(lǐng)域的成果 14 1 3PCL的潛在應(yīng)用領(lǐng)域 15 1 3 1機(jī)器人領(lǐng)域移動(dòng)機(jī)器人對(duì)其工作環(huán)境的有效感知 辨識(shí)與認(rèn)知 是其進(jìn)行自主行為優(yōu)化并可靠完成所承擔(dān)任務(wù)的前提和基礎(chǔ) 如何實(shí)現(xiàn)場(chǎng)景中物體的有效分類(lèi)與識(shí)別是移動(dòng)機(jī)器人場(chǎng)景認(rèn)知的核心問(wèn)題 目前基于視覺(jué)圖像處理技術(shù)來(lái)進(jìn)行場(chǎng)景的認(rèn)知是該領(lǐng)域的重要方法 但移動(dòng)機(jī)器人在線獲取的視覺(jué)圖像質(zhì)量受光線變化影響較大 特別是在光線較暗的場(chǎng)景更難以應(yīng)用 隨著RGBD獲取設(shè)備的大量推廣 在機(jī)器人領(lǐng)域勢(shì)必掀起一股深度信息結(jié)合2D信息的應(yīng)用研究熱潮 深度信息的引入能夠使機(jī)器人更好地對(duì)環(huán)境進(jìn)行認(rèn)知 辨識(shí) 與圖像信息在機(jī)器人領(lǐng)域的應(yīng)用一樣 需要強(qiáng)大智能軟件算法支撐 PCL就為此而生 最重要的是PCL本身就是為機(jī)器 16 人而發(fā)起的開(kāi)源項(xiàng)目 PCL中不僅提供了對(duì)現(xiàn)有的RGBD信息的獲取設(shè)備的支持 還提供了高效的分割 特征提取 識(shí)別 追蹤等最新的算法 最重要的是它可以移植到ROS Android Ubuntu等主流Linux平臺(tái)上 PCL無(wú)疑將會(huì)成為機(jī)器人應(yīng)用領(lǐng)域一把 瑞士軍刀 17 1 3 2CAD CAM 逆向工程大部分工業(yè)產(chǎn)品是根據(jù)二維或三維CAD模型制造而成 但有時(shí)因?yàn)閿?shù)據(jù)丟失 設(shè)計(jì)多次更改 實(shí)物引進(jìn)等原因 產(chǎn)品的幾何模型無(wú)法獲得 因而常常需要根據(jù)現(xiàn)有產(chǎn)品實(shí)物生成物體幾何模型 逆向工程技術(shù)能夠?qū)Ξa(chǎn)品實(shí)物進(jìn)行測(cè)繪 重構(gòu)產(chǎn)品表面三維幾何模型 生成產(chǎn)品制造所需的數(shù)字化文檔 在一些工業(yè)領(lǐng)域 如汽車(chē)制造業(yè) 許多零件的幾何模型都通過(guò)逆向工程由油泥模型或?qū)嵨锪慵@得 目前在CAD CAM領(lǐng)域利用激光點(diǎn)云進(jìn)行高精度測(cè)量與重建成為趨勢(shì) 同時(shí)引來(lái)了新的問(wèn)題 通過(guò)獲取的海量點(diǎn)云數(shù)據(jù) 來(lái)提取重建模型的幾何參數(shù)或者形狀模型 對(duì)模型進(jìn)行智能檢索 從點(diǎn)云數(shù)據(jù)獲取模型的曲面模型等 諸如此類(lèi)的問(wèn)題 18 解決方案在PCL中都有涉及 例如kd tree和oc tree對(duì)海量點(diǎn)運(yùn)進(jìn)行高效壓縮存儲(chǔ)與管理 其中濾波 配準(zhǔn) 特征描述與提前基礎(chǔ)處理 可以應(yīng)用于模型的智能檢索以及后期的曲面重建和可視化都在PCL中有相應(yīng)的模塊 總之 三維點(diǎn)云數(shù)據(jù)的處理是逆向工程中比較重要的一環(huán) PCL中間所有的模塊正是為此而生的 19 1 3 3激光遙感測(cè)量能夠直接獲取高精度三維地面點(diǎn)數(shù)據(jù) 是對(duì)傳統(tǒng)測(cè)量技術(shù)在高程數(shù)據(jù)獲取及自動(dòng)化快速方面的重要技術(shù)補(bǔ)充 激光遙感測(cè)量系統(tǒng)在地形測(cè)繪 環(huán)境檢測(cè) 三維城市建模 地球科學(xué) 行星科學(xué)等諸多領(lǐng)域具有廣泛的發(fā)展前景 是目前最先進(jìn)的能實(shí)時(shí)獲取地形表面三維空間信息和影像的遙感系統(tǒng) 目前 在各種提取地面點(diǎn)的算法中 算法結(jié)果與實(shí)際結(jié)果之間差別較大 違背了實(shí)際情況 PCL中強(qiáng)大的模塊可以助力解決此問(wèn)題 20 1 3 4虛擬現(xiàn)實(shí) 人機(jī)交互虛擬現(xiàn)實(shí)技術(shù) VR 又稱(chēng)靈境技術(shù) 是以沉浸性 交互性和構(gòu)想性為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面 它綜合利用了計(jì)算機(jī)圖形學(xué) 仿真技術(shù) 多媒體技術(shù) 人工智能技術(shù) 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù) 并行處理技術(shù)和多傳感器技術(shù) 模擬人的視覺(jué) 聽(tīng)覺(jué) 觸覺(jué)等感覺(jué)器官功能 使人能夠沉浸在計(jì)算機(jī)生成的虛擬境界中 并能夠通過(guò)語(yǔ)言 手勢(shì)等自然的方式與之進(jìn)行實(shí)時(shí)交互 創(chuàng)建了一種適人化的多維信息空間 具有廣闊的應(yīng)用前景 目前各種交互式體感應(yīng)用的推出 讓虛擬現(xiàn)實(shí)與人機(jī)交互發(fā)展非常迅速 以微軟 華碩 三星等為例 目前諸多公司推出的RGBD解決方案 勢(shì)必會(huì)讓虛擬現(xiàn)實(shí)走出實(shí)驗(yàn)室 因?yàn)楝F(xiàn)在的RGBD設(shè)備已經(jīng)開(kāi)始大 21 量推向市場(chǎng) 只是缺少其他應(yīng)用的跟進(jìn) 這正是在為虛擬現(xiàn)實(shí)和人機(jī)交互應(yīng)用鑄造生態(tài)鏈的底部 筆者認(rèn)為這也正是PCL為何在此時(shí)才把自己與世人分享的重要原因所在 它將是基于RGBD設(shè)備的虛擬現(xiàn)實(shí)和人機(jī)交互應(yīng)用生態(tài)鏈中最重要的一個(gè)環(huán)節(jié) 讓我們抓住這一個(gè)節(jié)點(diǎn) 立足于交互式應(yīng)用的一片小天地 但愿本書(shū)來(lái)的不是太遲 22 1 4PCL在中國(guó) PCL雖然在國(guó)際上有如此多的組織和公司參與 由于發(fā)展如此迅速 目前 2012年4月 在Google中檢索出中文相關(guān)的PCL探討 有且只有一條 當(dāng)然這也是筆者出書(shū)原因之一了 事實(shí)上 如圖1 2所示 在全球范圍內(nèi) 唯獨(dú)沒(méi)有中國(guó)參與組織 這里希望廣大讀者可以為中國(guó)板塊上添加一個(gè)小旗幟 當(dāng)然 肯定有科研工作者在應(yīng)用或者學(xué)習(xí)PCL了 筆者依托于中國(guó)農(nóng)業(yè)大學(xué)農(nóng)業(yè)部信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室 在與創(chuàng)始人Radu博士交流后 深感PCL在復(fù)雜的農(nóng)業(yè)對(duì)象中有不可估量的作用 例如對(duì)動(dòng)植物的重建測(cè)度 果蔬等分級(jí)檢測(cè)等應(yīng)用領(lǐng)域 23 決定把PCL作為基礎(chǔ)研究平臺(tái)來(lái)開(kāi)展實(shí)際應(yīng)用 同時(shí)用學(xué)習(xí)筆記撰寫(xiě)了本書(shū)把PCL與國(guó)人分享 相信在不久的將來(lái) 與2D信息處理庫(kù)OpenCV一樣 中國(guó)將是PCL最大的用戶(hù)和貢獻(xiàn)者基地 24 1 5PCL的結(jié)構(gòu)和內(nèi)容 PCL架構(gòu)圖如圖1 3所示 對(duì)于3D點(diǎn)云處理來(lái)說(shuō) PCL完全是一個(gè)模塊化的現(xiàn)代C 模板庫(kù) 其基于以下第三方庫(kù) Boost Eigen FLANN VTK CUDA OpenNI Qhull 實(shí)現(xiàn)點(diǎn)云相關(guān)的獲取 濾波 分割 配準(zhǔn) 檢索 特征提取 識(shí)別 追蹤 曲面重建 可視化等 PCL利用OpenMP GPU CUDA等先進(jìn)高性能計(jì)算技術(shù) 通過(guò)并行化提高程序?qū)崟r(shí)性 K近鄰搜索操作的構(gòu)架是基于FLANN FastLibraryforApproximateNearestNeighbors 所實(shí)現(xiàn)的 速度也是目前技術(shù) 25 中最快的 PCL中的所有模塊和算法都是通過(guò)Boost共享指針來(lái)傳送數(shù)據(jù) 因而避免了多次復(fù)制系統(tǒng)中已存在 圖1 3PCL架構(gòu)圖 26 的數(shù)據(jù)的需要 從0 6版本開(kāi)始 PCL就已經(jīng)被移入到Windows MacOS和Linux系統(tǒng) 并且在Android系統(tǒng)也已經(jīng)開(kāi)始投入使用 這使得PCL的應(yīng)用容易移植與多方發(fā)布 從算法的角度 PCL是指納入了多種操作點(diǎn)云數(shù)據(jù)的三維處理算法 其中包括過(guò)濾 特征估計(jì) 表面重建 模型擬合和分割 定位搜索等 每一套算法都是通過(guò)基類(lèi)進(jìn)行劃分的 試圖把貫穿整個(gè)流水線處理技術(shù)的所有常見(jiàn)功能整合在一起 從而保持了整個(gè)算法實(shí)現(xiàn)過(guò)程中的緊湊和結(jié)構(gòu)清晰 提高代碼的重用性 簡(jiǎn)潔可讀 在PCL中一個(gè)處理管道的基本接口程序如下 1 創(chuàng)建處理對(duì)象 例如過(guò)濾 特征估計(jì) 分割等 2 使用setInputCloud通過(guò)輸入點(diǎn)云數(shù)據(jù) 處理模塊 27 3 設(shè)置算法相關(guān)參數(shù) 4 調(diào)用計(jì)算得到輸出 為了進(jìn)一步簡(jiǎn)化和開(kāi)發(fā) PCL被分成一系列較小的代碼庫(kù) 使其模塊化 以便能夠單獨(dú)編譯使用提高可配置性 特別適用于嵌入式處理中 1 libpclfilters 如采樣 去除離群點(diǎn) 特征提取 擬合估計(jì)等數(shù)據(jù)實(shí)現(xiàn)過(guò)濾器 2 libpclfeatures 實(shí)現(xiàn)多種三維特征 如曲面法線 曲率 邊界點(diǎn)估計(jì) 矩不變量 主曲率 PFH和FPFH特征 旋轉(zhuǎn)圖像