5.雙目視覺里程計.ppt

1、An Overview to Stereo Visual Odometry,謝曉佳 2016/04/30,Why stereo Visual Odometry?,雙目沒有單目的尺度問題，能夠完全的恢復(fù)相機(jī)的運(yùn)動軌跡（單目恢復(fù)的軌跡是up to scale） 不需要單目中的初始化階段來恢復(fù)landmark的深度,Algorithm Overview,Input左圖像、右圖像序列、左右相機(jī)的內(nèi)參、外參 Output圖像對之間的位姿關(guān)系、相機(jī)軌跡（基于特征點(diǎn)的稀疏3d地圖，optional）,獲得左右圖像、圖像校正 提取圖像特征點(diǎn) 左右圖像特征匹配、獲取特征點(diǎn)坐標(biāo) 前后圖像特征匹配 增量式的運(yùn)動估計

2、,1. 獲得左右圖像、圖像校正,2. 提取圖像特征點(diǎn),要求detector找到的特征點(diǎn)具有重復(fù)性和穩(wěn)定性,differents viewpoint 光照、尺度、旋轉(zhuǎn),3. 左右圖像特征匹配、獲取特征點(diǎn)坐標(biāo),SAD,SSD,NCC,Stereo matching algorithm 對于校正的左右圖像，其基線是水平的，選取左圖特征點(diǎn)臨近的N*N個像素組成patch，進(jìn)行相似性檢驗(yàn),Triangulation 獲得(ul,ur,v)之后，計算特征點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo),B為baseline，單位m u_c, v_c分別為principal point 在圖像的橫縱坐標(biāo) d為視差，單位均為pix,4

3、. 前后圖像特征匹配,根據(jù)描述子距離在限定區(qū)域內(nèi)進(jìn)行匹配,5. 增量式的運(yùn)動估計,根據(jù)匹配后的特征點(diǎn)和特征點(diǎn)的坐標(biāo)，恢復(fù)兩個時刻相機(jī)的運(yùn)動,在匹配過程中，存在大量的誤匹配，需要用RANSAC（MLESAC）！ 從M中選取3個點(diǎn)對 由3個點(diǎn)對估計參數(shù) 根據(jù)估計參數(shù)得到的模型計算誤差，如果小于給定誤差，則認(rèn)為是inlier 重復(fù)S次，找到inliers最大的點(diǎn)集 對該點(diǎn)集進(jìn)行計算，得到最終T,3D-3D,3D-2D,Can be solved by SVD or MLE,Tricks,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time

4、IV 2011,1.采用自己定義的檢測子和描述子，SSE指令集優(yōu)化,2.魯棒性的匹配策略 using motion model 前后幀匹配 two pass matching 對圖像區(qū)域的運(yùn)動進(jìn)行統(tǒng)計 circular matching 一個匹配需要4個點(diǎn) remove outliers by voting 三角剖分并投票,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time IV 2011,3. 對匹配進(jìn)行精細(xì)化定位和篩選（網(wǎng)格） 4. 計算重投影誤差時對像素點(diǎn)增加了權(quán)重,SSLAM Robust Selective Stereo

5、SLAM without Loop Closure and Bundle Adjustment ICIAP 2013,1. 特征檢測與描述 HarrisZ detector、sGLOH descriptor 2. 環(huán)形匹配 3. Pose Estimation Constrained by Temporal Flow 圖像的分辨率決定了匹配后特征點(diǎn)位置的不確定性 只有這些match之間Temporal Flow較大時，不確定才小 因此當(dāng)flow大于特定值的匹配對所占比率 較大時才做運(yùn)動估計,2FO-CC Improving the Egomotion Estimation by Correct

6、ing the Calibration Bias VISAPP 2015,重投影誤差在左右圖像中不是均勻分布（inaccurate calibration）,完美的匹配在圖像上只有1pix的誤差，理論上其重投影誤差應(yīng)該很小的，然而根據(jù)ground truth計算的重投影誤差有7pix！,ok，統(tǒng)計一下,d()：根據(jù)deformation matrix，將圖像上的點(diǎn)的位置映射到另一個位置,TLBBA High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度實(shí)時視覺定位的關(guān)鍵技術(shù)研

7、究 盧維,1. 利用的GPU加速的SiftGPU 只計算兩個scale 圖像輸入為480*300 2. 估計特征點(diǎn)的不確定性 3. 兩階段的local BA,3D-3D,這個方程存在兩個問題 3d點(diǎn)的誤差分布不是均勻的，例如遠(yuǎn)的點(diǎn)誤差很大 將每一個點(diǎn)都均等的對待,3D-2D,First stage,Second stage,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,1. 統(tǒng)計分析了特征點(diǎn)跟蹤的誤差 對檢測到的新的特征點(diǎn)，計算其3d坐標(biāo)（original 3D point） 在其后的幾幀中對這個特征點(diǎn)進(jìn)行跟蹤

8、，得到其坐標(biāo)u、v 根據(jù)ground truth motion計算這個特征點(diǎn)在這幾幀的3d點(diǎn)（ground truth 3D point），計算重投影坐標(biāo)u、 v 統(tǒng)計u-u、v-v、d-d的分布,Laplacian-like distribution, zero-mean.,容易跟丟的特征，其誤差一般很大,相鄰幀特征跟蹤的誤差是 零均值、獨(dú)立于age、同分布的！,age為40的特征，累計誤差 vs Age,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,相鄰幀特征跟蹤的誤差是零均值、獨(dú)立于age、同分布的！,2

9、.feature propagation technique,傾向于最小化age大的誤差項(xiàng),W1/RMSE（age）,integrated feature可以看做是經(jīng)過濾波器得到的，每次觀測作為更新的量,3. A predictor/corrector technique to detect and correct tracking errors,方形和圓形的距離過大，將特征替換為方形位置的特征。 當(dāng)替換次數(shù)過多，認(rèn)為該特征不穩(wěn)定，直接剔除。,S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015

10、 S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015,cv4xv1-sc Robust Stereo Visual Odometry from Monocular Techniques. IV2015,1.采用和單目的方法對特征進(jìn)行跟蹤 FAST-ANMS-BRIEEF提取特征 將上一幀Triangulation的Map point根據(jù)motion model投影到當(dāng)前幀的左圖，根據(jù)特征

11、描述進(jìn)行匹配 3D-2D、PNP-RANSAC計算T 將上一幀Triangulation的Map point根據(jù)T投影到當(dāng)前幀的左圖，根據(jù)特征描述再一次進(jìn)行匹配 按照相同方法找到Map point（在左圖上有匹配的）在右圖的匹配 左右匹配，驗(yàn)證重投影誤差 2.運(yùn)動模型 3.,SOFT Stereo odometry based on careful feature selection and tracking ECMR , 2015,1.特征匹配,blob and corner,nonmaximum suppression,SAD,Circular matching,NCC,3.特征選擇 將圖像按50*50分割成多個buckets，每個bucket： 1) 特征分為4類 (corner max, corner min, blob max and blob min). 2) 每一類按強(qiáng)度排列 3) 每一類強(qiáng)度最大的特征將會到list中 4) 重復(fù)第三部 5) list中前n個特征將用來運(yùn)動估計,2.特征表示： ID, age,