大模型具身智能機(jī)器人ORB-SLAM3基本原理與安裝運(yùn)行

大模型具身智能機(jī)器人ORB-SLAM3基本原理與安裝運(yùn)行1主要內(nèi)容23ORB-SLAM3基本原理ORB-SLAM3庫文件安裝ORB-SLAM3編譯安裝與運(yùn)行4UMI示例數(shù)據(jù)集1ORB-SLAM3基本原理ORB-SLAM3系列算法演進(jìn)4PTAM（ParallelTrackingandMapping），首次實(shí)現(xiàn)了跟蹤和建圖的并行化，使用非線性優(yōu)化，引入了關(guān)鍵幀機(jī)制ORB-SLAM（ParallelTrackingandMapping），在PTAM架構(gòu)基礎(chǔ)上，增加了地圖初始化和回環(huán)檢測的功能，優(yōu)化了關(guān)鍵幀選取和地圖構(gòu)建的方法ORB-SLAM2，在ORB-SLAM架構(gòu)基礎(chǔ)上，增加了地圖初始化和回環(huán)檢測的功能，優(yōu)化了關(guān)鍵幀選取和地圖構(gòu)建的方法VI-ORB-SLAM，ORB-SLAM2基礎(chǔ)上，增加了慣性測量單元IMU（InertialMeasurementUnit）ORB-SLAM-Atlas，在ORB-SLAM2基礎(chǔ)上，增加了無限量斷開的子地圖管理系統(tǒng)并可以將它們無縫合并ORB-SLAM3，在ORB-SLAM2基礎(chǔ)上，增加了對單目、雙目、RGB-D和魚眼相機(jī)的支持，引入了慣性測量單元(IMU)來輔助單目視覺SLAM并且增加了Atlas多地圖的支持；同時，回環(huán)檢測為了支持多地圖的模式，提供了一種叫WeldingBA的優(yōu)化方式。PTAM（ParallelTrackingandMapping）算法5跟蹤線程：不修改地圖，只是利用已知地圖來快速跟蹤；建圖線程：專注于地圖的建立、維護(hù)和更新PTAM架構(gòu)及流程1.并行化跟蹤和建圖：PTAM成功地將相機(jī)跟蹤和環(huán)境建圖的過程并行化處理，這提高了處理效率和實(shí)時性。傳統(tǒng)的方法通常是串行處理跟蹤和建圖的步驟，而PTAM通過并行化這兩個過程，能夠在進(jìn)行跟蹤的同時不斷更新地圖。2.使用非線性優(yōu)化：PTAM是第一個在后端使用非線性優(yōu)化方法，而不是傳統(tǒng)的濾波器（如卡爾曼濾波器）的方案。非線性優(yōu)化方法能夠更準(zhǔn)確地處理復(fù)雜的相機(jī)運(yùn)動和環(huán)境變化，從而提高系統(tǒng)的穩(wěn)定性和精度。3.關(guān)鍵幀機(jī)制：PTAM引入了關(guān)鍵幀機(jī)制，而不是處理每一幀圖像。關(guān)鍵幀機(jī)制的核心思想是只選擇一些重要的圖像幀（關(guān)鍵幀）進(jìn)行精細(xì)處理和建圖。通過連接這些關(guān)鍵幀，可以有效地估計相機(jī)軌跡和構(gòu)建環(huán)境地圖。不僅減少了計算量，還能保持地圖和軌跡的準(zhǔn)確性。ORB-SLAM（OrientedFASTandRotatedBRIEFSLAM）算法6基于特征點(diǎn)的單目視覺SLAM，在PTAM架構(gòu)基礎(chǔ)上，增加了地圖初始化和回環(huán)檢測的功能，優(yōu)化了關(guān)鍵幀選取和地圖構(gòu)建的方法ORB-SLAM架構(gòu)及流程1.特征提取和匹配使用ORB(OrientedFASTandRotatedBRIEF)特征，ORB是一種高效且具有旋轉(zhuǎn)不變性的特征描述子。提取關(guān)鍵點(diǎn)并計算其描述子，用于跟蹤和匹配圖像幀之間的特征點(diǎn)。2.跟蹤（Tracking）線程通過提取ORB特征點(diǎn)，在視頻流中逐幀跟蹤這些特征點(diǎn)。使用初始位姿估計和重定位技術(shù)來確定相機(jī)的初始位置。跟蹤局部地圖并進(jìn)行優(yōu)化，根據(jù)規(guī)則輸出關(guān)鍵幀。3.局部建圖（LocalMapping）線程插入新關(guān)鍵幀，并驗(yàn)證和修剪最近生成的地圖點(diǎn)。使用局部BA(BundleAdjustment)進(jìn)行優(yōu)化，創(chuàng)建新的地圖點(diǎn)并修剪冗余的關(guān)鍵幀。4.回環(huán)檢測（LoopClosing）線程分為回環(huán)檢測和回環(huán)校正。使用BOW(BagofWords)快速匹配回環(huán)閉合。使用Sim3計算和轉(zhuǎn)換，最后進(jìn)行回環(huán)融合和優(yōu)化，實(shí)現(xiàn)地圖的全局一致性。ORB-SLAM2算法7在ORB-SLAM架構(gòu)基礎(chǔ)上，增加了地圖初始化和回環(huán)檢測的功能，優(yōu)化了關(guān)鍵幀選取和地圖構(gòu)建的方法ORB-SLAM2架構(gòu)及核心優(yōu)化1.多類型相機(jī)支持支持單目、雙目和RGB-D相機(jī)2.完整的SLAM方案不僅能實(shí)時構(gòu)建地圖，還能重復(fù)使用已創(chuàng)建的地圖，提供回環(huán)檢測和重新定位功能，增強(qiáng)系統(tǒng)的魯棒性和長期性能。3.光束法平差優(yōu)化（BA）在后端采用光束法平差（BA）來優(yōu)化相機(jī)軌跡和地圖。BA方法在單目和雙目攝像頭輸入下都能實(shí)現(xiàn)米級尺度的精確軌跡評估。4.輕量級定位模式此模式允許系統(tǒng)在未知區(qū)域中進(jìn)行視覺里程計追蹤，即使在未建圖的情況下也能保持定位。VIORB-SLAM（Visual-InertialMonocularSLAMwithMapReuse）算法8在ORB-SLAM2基礎(chǔ)上，增加了慣性測量單元（InertialMeasurementUnit），實(shí)現(xiàn)了一種緊耦合的視覺慣性同步定位與建圖（Visual-InertialSLAM）系統(tǒng)VIORB-SLAM優(yōu)化方法1.閉環(huán)重用提出了一種緊耦合的視覺慣性同步定位與建圖（Visual-InertialSLAM）系統(tǒng)，能夠?qū)崿F(xiàn)閉環(huán)和地圖重用，從而在已經(jīng)映射的區(qū)域?qū)崿F(xiàn)零漂移定位。2.IMU初始化方法提出了一種新的IMU初始化方法，能夠在幾秒鐘內(nèi)高精度地計算尺度、重力方向、速度以及陀螺儀和加速度計的偏差。ORB-SLAM-Atlas算法9在ORB-SLAM2基礎(chǔ)上，增加了無限量斷開的子地圖管理系統(tǒng)并可以將它們無縫合并等操作。ORB-SLAM-Atlas架構(gòu)及流程1.多地圖管理Atlas擁有不限數(shù)量的子地圖關(guān)鍵幀的詞袋數(shù)據(jù)庫。詞袋數(shù)據(jù)庫（BagofWords,BoW）技術(shù)通過描述子地圖中的關(guān)鍵幀，確保了高效的場景重識別。這樣，當(dāng)相機(jī)重新進(jìn)入已建圖區(qū)域時，系統(tǒng)能夠迅速識別并定位。Atlas可以管理多個不相連的子地圖，提升在追蹤丟失或動態(tài)場景下的魯棒性和準(zhǔn)確性。2.多地圖操作新地圖生成：相機(jī)跟蹤丟失時，系統(tǒng)不會停止建圖，而是立即生成一個新的子地圖。地圖融合：Atlas能夠無縫地融合不同子地圖，將多個子地圖（或局部地圖）合并成一個全局一致的地圖?；旌系貓D中的重定位：當(dāng)相機(jī)在環(huán)境中丟失跟蹤后，Atlas能夠重新確定相機(jī)在地圖中的位置和姿態(tài)。ORB-SLAM3算法10在ORB-SLAM2基礎(chǔ)上，增加了對于IMU融合的支持，兼容魚眼相機(jī)模型，并且增加了Atlas多地圖的支持；同時，回環(huán)檢測為了支持多地圖的模式，提供了一種叫WeldingBA的優(yōu)化方式。ORB-SLAM3架構(gòu)及流程1.多種相機(jī)類型支持單目相機(jī)：單個相機(jī)；雙目相機(jī)：兩個相機(jī)立體視覺，能夠更準(zhǔn)確地感知深度信息；RGB-D相機(jī)：RGB-D相機(jī)，既獲取顏色信息（RGB），又獲取深度信息（D），提供更豐富的環(huán)境感知能力；魚眼相機(jī)：能夠獲取更大視角的圖像。2.慣性測量單元(IMU)結(jié)合了慣性測量單元（IMU），特別是與單目相機(jī)結(jié)合使用。IMU提供加速度和角速度數(shù)據(jù)，可以補(bǔ)充視覺信息。3.Atlas多地圖支持系統(tǒng)可以同時管理和使用多個地圖。4.WeldingBA算法用于回環(huán)檢測（loopclosure）線程，在多地圖模式下優(yōu)化地圖之間的連接和一致性，確保整體地圖的準(zhǔn)確性和優(yōu)化效果。2ORB-SLAM3庫文件安裝ORB-SLAM3相關(guān)庫文件安裝流程112ORB-SLAM3需安裝的依賴項(xiàng)包括：Eigen3、Pangolin、Boost、OpenCVEigen是C++開源的線性代數(shù)庫，提供了快速的有關(guān)矩陣的線性代數(shù)運(yùn)算,包括解方程等功能。許多上層的軟件庫都使用Eigen進(jìn)行矩陣運(yùn)算，包括DBoW2、g2o、Sophus等優(yōu)化方法，因此版本要求3.1.0以上。兩種安裝方式：1.apt安裝方式；2.源碼編譯安裝方式下載：gitclone/eigenteam/eigen-git-mirror編譯以及安裝：cdeigen-git-mirrormkdirbuildcdbuildcmake..sudomakeinstall移動頭文件：sudocp-r/usr/local/include/eigen3/Eigen/usr/local/includeDBoW2、g2o和Sophus在Thirdparty文件夾里面;DBoW2是一個圖像數(shù)據(jù)庫，離線訓(xùn)練好了ORB庫和SIFT庫;g2o是一個圖優(yōu)化庫，將非線性優(yōu)化與圖論結(jié)合起來;Sophus是基于Eigen開發(fā)的李代數(shù)庫，支持關(guān)于李群和李代數(shù)運(yùn)算。ORB-SLAM3相關(guān)庫文件安裝流程213ORB-SLAM3需安裝的依賴項(xiàng)包括：Eigen3、Pangolin、Boost、OpenCVPangolin是基于OpenGL的計算機(jī)圖像學(xué)的函數(shù)庫，用于3D繪圖。下載：gitclone/stevenlovegrove/Pangolin安裝Pangolin所需依賴項(xiàng)：sudoapt-getinstalllibglew-devsudoapt-getinstalllibboost-devlibboost-thread-devlibboost-filesystem-dev3.編譯以及安裝：mkdirbuildcdbuildcmake..make-jsudomakeinstallORB-SLAM3相關(guān)庫文件安裝流程314ORB-SLAM3需安裝的依賴項(xiàng)包括：Eigen3、Pangolin、Boost、OpenCVBoost是為C++語言標(biāo)準(zhǔn)庫提供擴(kuò)展的一些C++程序庫的總稱。Boost庫是一個可移植、提供源代碼的C++庫，為標(biāo)準(zhǔn)庫的后備，是C++標(biāo)準(zhǔn)化進(jìn)程的開發(fā)引擎之一。官網(wǎng)下載下載后解壓：tar-xzvfboost_1_83_0.tar.gz3.進(jìn)入解壓完的文件開始安裝：sudo./bootstrap.shsudo./b2installORB-SLAM3相關(guān)庫文件安裝流程415ORB-SLAM3需安裝的依賴項(xiàng)包括：Eigen3、Pangolin、Boost、OpenCVOpenCV是圖像處理、計算機(jī)視覺的函數(shù)庫，由一系列C函數(shù)和少量C++類構(gòu)成，同時提供了Python、Ruby、MATLAB等語言的接口，實(shí)現(xiàn)了圖像處理和計算機(jī)視覺方面的很多通用算法。版本建議安裝4.4.0及以上。（演示使用的為4.8.0）官網(wǎng)下載opencv,GitHub下載opencv_contrib將Opencv4.8.0及opencv_contrib壓縮包解壓（注意解壓完的文件要到opencv_contrib-4.8.0），：

安裝依賴項(xiàng)：sudoapt-getinstallbuild-essentialsudoapt-getinstallcmakegitlibgtk2.0-devpkg-configlibavcodec-devlibavformat-devlibswscale-devsudoapt-getinstallpython-devpython-numpylibtbb2libtbb-devlibjpeg-devlibpng-devlibtiff-devlibjasper-devlibdc1394-22-devsudoaptinstallcmake-qt-gui在opencv4.8.0文件夾中新建文件，命名為build；打開build文件夾，在終端中執(zhí)行以下命令（最好在build文件下打開終端執(zhí)行，并且如果多次執(zhí)行下面cmake指令可能出現(xiàn)問題，解決方法就是直接將build文件夾刪除，重新運(yùn)行）：mkdirbuildcdbuildcmake-DCMAKE_BUILD_TYPE=Release-DCMAKE_INSTALL_PREFIX=/usr/local-DOPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-4.8.0/modules-DOPENCV_GENERATE_PKGCONFIG=ON..ORB-SLAM3相關(guān)庫文件安裝流程416ORB-SLAM3需安裝的依賴項(xiàng)包括：Eigen3、Pangolin、Boost、OpenCV完成build之后，執(zhí)行下面的指令進(jìn)行編譯及安裝：make-j$(nproc)sudomakeinstallsudoldconfig設(shè)置：PKG_CONFIG_PATH:exportPKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig驗(yàn)證opencv4是否安裝完成（查看版本信息）：pkg-config--modversionopencv4最終測試，為了驗(yàn)證OpenCV是否正確安裝好，在opencv-4.8.0/samples/cpp/example_cmake文件夾下打開終端，輸入指令：cmake.make./opencv_example3ORB-SLAM3編譯安裝與運(yùn)行ORB-SLAM3編譯安裝18打開源碼文件，開始分步安裝：1.在ORB-SLAM3文件夾下，執(zhí)行下面命令完成DBoW2的編譯：cdThirdparty/DBoW2mkdirbuildcdbuildcmake..-DCMAKE_BUILD_TYPE=Releasemake-j2.在ORB-SLAM3文件夾下，執(zhí)行下面命令完成g2o的編譯：cdThirdparty/g2omkdirbuildcdbuildcmake..-DCMAKE_BUILD_TYPE=Releasemake-j3.在ORB-SLAM3文件夾下，執(zhí)行下面命令完成Sophus的編譯：cdThirdparty/Sophusmk