5.雙目視覺(jué)里程計(jì).ppt_第1頁(yè)
5.雙目視覺(jué)里程計(jì).ppt_第2頁(yè)
5.雙目視覺(jué)里程計(jì).ppt_第3頁(yè)
5.雙目視覺(jué)里程計(jì).ppt_第4頁(yè)
5.雙目視覺(jué)里程計(jì).ppt_第5頁(yè)
已閱讀5頁(yè),還剩12頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、An Overview to Stereo Visual Odometry,謝曉佳 2016/04/30,Why stereo Visual Odometry?,雙目沒(méi)有單目的尺度問(wèn)題,能夠完全的恢復(fù)相機(jī)的運(yùn)動(dòng)軌跡(單目恢復(fù)的軌跡是up to scale) 不需要單目中的初始化階段來(lái)恢復(fù)landmark的深度,Algorithm Overview,Input左圖像、右圖像序列、左右相機(jī)的內(nèi)參、外參 Output圖像對(duì)之間的位姿關(guān)系、相機(jī)軌跡(基于特征點(diǎn)的稀疏3d地圖,optional),獲得左右圖像、圖像校正 提取圖像特征點(diǎn) 左右圖像特征匹配、獲取特征點(diǎn)坐標(biāo) 前后圖像特征匹配 增量式的運(yùn)動(dòng)估計(jì)

2、,1. 獲得左右圖像、圖像校正,2. 提取圖像特征點(diǎn),要求detector找到的特征點(diǎn)具有重復(fù)性和穩(wěn)定性,differents viewpoint 光照、尺度、旋轉(zhuǎn),3. 左右圖像特征匹配、獲取特征點(diǎn)坐標(biāo),SAD,SSD,NCC,Stereo matching algorithm 對(duì)于校正的左右圖像,其基線是水平的,選取左圖特征點(diǎn)臨近的N*N個(gè)像素組成patch,進(jìn)行相似性檢驗(yàn),Triangulation 獲得(ul,ur,v)之后,計(jì)算特征點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo),B為baseline,單位m u_c, v_c分別為principal point 在圖像的橫縱坐標(biāo) d為視差,單位均為pix,4

3、. 前后圖像特征匹配,根據(jù)描述子距離在限定區(qū)域內(nèi)進(jìn)行匹配,5. 增量式的運(yùn)動(dòng)估計(jì),根據(jù)匹配后的特征點(diǎn)和特征點(diǎn)的坐標(biāo),恢復(fù)兩個(gè)時(shí)刻相機(jī)的運(yùn)動(dòng),在匹配過(guò)程中,存在大量的誤匹配,需要用RANSAC(MLESAC)! 從M中選取3個(gè)點(diǎn)對(duì) 由3個(gè)點(diǎn)對(duì)估計(jì)參數(shù) 根據(jù)估計(jì)參數(shù)得到的模型計(jì)算誤差,如果小于給定誤差,則認(rèn)為是inlier 重復(fù)S次,找到inliers最大的點(diǎn)集 對(duì)該點(diǎn)集進(jìn)行計(jì)算,得到最終T,3D-3D,3D-2D,Can be solved by SVD or MLE,Tricks,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time

4、IV 2011,1.采用自己定義的檢測(cè)子和描述子,SSE指令集優(yōu)化,2.魯棒性的匹配策略 using motion model 前后幀匹配 two pass matching 對(duì)圖像區(qū)域的運(yùn)動(dòng)進(jìn)行統(tǒng)計(jì) circular matching 一個(gè)匹配需要4個(gè)點(diǎn) remove outliers by voting 三角剖分并投票,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time IV 2011,3. 對(duì)匹配進(jìn)行精細(xì)化定位和篩選(網(wǎng)格) 4. 計(jì)算重投影誤差時(shí)對(duì)像素點(diǎn)增加了權(quán)重,SSLAM Robust Selective Stereo

5、SLAM without Loop Closure and Bundle Adjustment ICIAP 2013,1. 特征檢測(cè)與描述 HarrisZ detector、sGLOH descriptor 2. 環(huán)形匹配 3. Pose Estimation Constrained by Temporal Flow 圖像的分辨率決定了匹配后特征點(diǎn)位置的不確定性 只有這些match之間Temporal Flow較大時(shí),不確定才小 因此當(dāng)flow大于特定值的匹配對(duì)所占比率 較大時(shí)才做運(yùn)動(dòng)估計(jì),2FO-CC Improving the Egomotion Estimation by Correct

6、ing the Calibration Bias VISAPP 2015,重投影誤差在左右圖像中不是均勻分布(inaccurate calibration),完美的匹配在圖像上只有1pix的誤差,理論上其重投影誤差應(yīng)該很小的,然而根據(jù)ground truth計(jì)算的重投影誤差有7pix!,ok,統(tǒng)計(jì)一下,d():根據(jù)deformation matrix,將圖像上的點(diǎn)的位置映射到另一個(gè)位置,TLBBA High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度實(shí)時(shí)視覺(jué)定位的關(guān)鍵技術(shù)研

7、究 盧維,1. 利用的GPU加速的SiftGPU 只計(jì)算兩個(gè)scale 圖像輸入為480*300 2. 估計(jì)特征點(diǎn)的不確定性 3. 兩階段的local BA,3D-3D,這個(gè)方程存在兩個(gè)問(wèn)題 3d點(diǎn)的誤差分布不是均勻的,例如遠(yuǎn)的點(diǎn)誤差很大 將每一個(gè)點(diǎn)都均等的對(duì)待,3D-2D,First stage,Second stage,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,1. 統(tǒng)計(jì)分析了特征點(diǎn)跟蹤的誤差 對(duì)檢測(cè)到的新的特征點(diǎn),計(jì)算其3d坐標(biāo)(original 3D point) 在其后的幾幀中對(duì)這個(gè)特征點(diǎn)進(jìn)行跟蹤

8、,得到其坐標(biāo)u、v 根據(jù)ground truth motion計(jì)算這個(gè)特征點(diǎn)在這幾幀的3d點(diǎn)(ground truth 3D point),計(jì)算重投影坐標(biāo)u、 v 統(tǒng)計(jì)u-u、v-v、d-d的分布,Laplacian-like distribution, zero-mean.,容易跟丟的特征,其誤差一般很大,相鄰幀特征跟蹤的誤差是 零均值、獨(dú)立于age、同分布的!,age為40的特征,累計(jì)誤差 vs Age,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,相鄰幀特征跟蹤的誤差是零均值、獨(dú)立于age、同分布的!,2

9、.feature propagation technique,傾向于最小化age大的誤差項(xiàng),W1/RMSE(age),integrated feature可以看做是經(jīng)過(guò)濾波器得到的,每次觀測(cè)作為更新的量,3. A predictor/corrector technique to detect and correct tracking errors,方形和圓形的距離過(guò)大,將特征替換為方形位置的特征。 當(dāng)替換次數(shù)過(guò)多,認(rèn)為該特征不穩(wěn)定,直接剔除。,S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015

10、 S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015,cv4xv1-sc Robust Stereo Visual Odometry from Monocular Techniques. IV2015,1.采用和單目的方法對(duì)特征進(jìn)行跟蹤 FAST-ANMS-BRIEEF提取特征 將上一幀Triangulation的Map point根據(jù)motion model投影到當(dāng)前幀的左圖,根據(jù)特征

11、描述進(jìn)行匹配 3D-2D、PNP-RANSAC計(jì)算T 將上一幀Triangulation的Map point根據(jù)T投影到當(dāng)前幀的左圖,根據(jù)特征描述再一次進(jìn)行匹配 按照相同方法找到Map point(在左圖上有匹配的)在右圖的匹配 左右匹配,驗(yàn)證重投影誤差 2.運(yùn)動(dòng)模型 3.,SOFT Stereo odometry based on careful feature selection and tracking ECMR , 2015,1.特征匹配,blob and corner,nonmaximum suppression,SAD,Circular matching,NCC,3.特征選擇 將圖像按50*50分割成多個(gè)buckets,每個(gè)bucket: 1) 特征分為4類 (corner max, corner min, blob max and blob min). 2) 每一類按強(qiáng)度排列 3) 每一類強(qiáng)度最大的特征將會(huì)到list中 4) 重復(fù)第三部 5) list中前n個(gè)特征將用來(lái)運(yùn)動(dòng)估計(jì),2.特征表示: ID, age,

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論