5.雙目視覺里程計.ppt

1、An Overview to Stereo Visual Odometry,謝曉佳 2016/04/30,Why stereo Visual Odometry?,雙目沒有單目的尺度問題，能夠完全的恢復相機的運動軌跡（單目恢復的軌跡是up to scale） 不需要單目中的初始化階段來恢復landmark的深度,Algorithm Overview,Input左圖像、右圖像序列、左右相機的內參、外參 Output圖像對之間的位姿關系、相機軌跡（基于特征點的稀疏3d地圖，optional）,獲得左右圖像、圖像校正 提取圖像特征點 左右圖像特征匹配、獲取特征點坐標 前后圖像特征匹配 增量式的運動估計

2、,1. 獲得左右圖像、圖像校正,2. 提取圖像特征點,要求detector找到的特征點具有重復性和穩(wěn)定性,differents viewpoint 光照、尺度、旋轉,3. 左右圖像特征匹配、獲取特征點坐標,SAD,SSD,NCC,Stereo matching algorithm 對于校正的左右圖像，其基線是水平的，選取左圖特征點臨近的N*N個像素組成patch，進行相似性檢驗,Triangulation 獲得(ul,ur,v)之后，計算特征點在相機坐標系下的坐標,B為baseline，單位m u_c, v_c分別為principal point 在圖像的橫縱坐標 d為視差，單位均為pix,4

3、. 前后圖像特征匹配,根據(jù)描述子距離在限定區(qū)域內進行匹配,5. 增量式的運動估計,根據(jù)匹配后的特征點和特征點的坐標，恢復兩個時刻相機的運動,在匹配過程中，存在大量的誤匹配，需要用RANSAC（MLESAC）！ 從M中選取3個點對 由3個點對估計參數(shù) 根據(jù)估計參數(shù)得到的模型計算誤差，如果小于給定誤差，則認為是inlier 重復S次，找到inliers最大的點集 對該點集進行計算，得到最終T,3D-3D,3D-2D,Can be solved by SVD or MLE,Tricks,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time

4、IV 2011,1.采用自己定義的檢測子和描述子，SSE指令集優(yōu)化,2.魯棒性的匹配策略 using motion model 前后幀匹配 two pass matching 對圖像區(qū)域的運動進行統(tǒng)計 circular matching 一個匹配需要4個點 remove outliers by voting 三角剖分并投票,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time IV 2011,3. 對匹配進行精細化定位和篩選（網(wǎng)格） 4. 計算重投影誤差時對像素點增加了權重,SSLAM Robust Selective Stereo

5、SLAM without Loop Closure and Bundle Adjustment ICIAP 2013,1. 特征檢測與描述 HarrisZ detector、sGLOH descriptor 2. 環(huán)形匹配 3. Pose Estimation Constrained by Temporal Flow 圖像的分辨率決定了匹配后特征點位置的不確定性 只有這些match之間Temporal Flow較大時，不確定才小 因此當flow大于特定值的匹配對所占比率 較大時才做運動估計,2FO-CC Improving the Egomotion Estimation by Correct

6、ing the Calibration Bias VISAPP 2015,重投影誤差在左右圖像中不是均勻分布（inaccurate calibration）,完美的匹配在圖像上只有1pix的誤差，理論上其重投影誤差應該很小的，然而根據(jù)ground truth計算的重投影誤差有7pix！,ok，統(tǒng)計一下,d()：根據(jù)deformation matrix，將圖像上的點的位置映射到另一個位置,TLBBA High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度實時視覺定位的關鍵技術研

7、究 盧維,1. 利用的GPU加速的SiftGPU 只計算兩個scale 圖像輸入為480*300 2. 估計特征點的不確定性 3. 兩階段的local BA,3D-3D,這個方程存在兩個問題 3d點的誤差分布不是均勻的，例如遠的點誤差很大 將每一個點都均等的對待,3D-2D,First stage,Second stage,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,1. 統(tǒng)計分析了特征點跟蹤的誤差 對檢測到的新的特征點，計算其3d坐標（original 3D point） 在其后的幾幀中對這個特征點進行跟蹤

8、，得到其坐標u、v 根據(jù)ground truth motion計算這個特征點在這幾幀的3d點（ground truth 3D point），計算重投影坐標u、 v 統(tǒng)計u-u、v-v、d-d的分布,Laplacian-like distribution, zero-mean.,容易跟丟的特征，其誤差一般很大,相鄰幀特征跟蹤的誤差是 零均值、獨立于age、同分布的！,age為40的特征，累計誤差 vs Age,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,相鄰幀特征跟蹤的誤差是零均值、獨立于age、同分布的！,2

9、.feature propagation technique,傾向于最小化age大的誤差項,W1/RMSE（age）,integrated feature可以看做是經(jīng)過濾波器得到的，每次觀測作為更新的量,3. A predictor/corrector technique to detect and correct tracking errors,方形和圓形的距離過大，將特征替換為方形位置的特征。 當替換次數(shù)過多，認為該特征不穩(wěn)定，直接剔除。,S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015

10、 S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015,cv4xv1-sc Robust Stereo Visual Odometry from Monocular Techniques. IV2015,1.采用和單目的方法對特征進行跟蹤 FAST-ANMS-BRIEEF提取特征 將上一幀Triangulation的Map point根據(jù)motion model投影到當前幀的左圖，根據(jù)特征

11、描述進行匹配 3D-2D、PNP-RANSAC計算T 將上一幀Triangulation的Map point根據(jù)T投影到當前幀的左圖，根據(jù)特征描述再一次進行匹配 按照相同方法找到Map point（在左圖上有匹配的）在右圖的匹配 左右匹配，驗證重投影誤差 2.運動模型 3.,SOFT Stereo odometry based on careful feature selection and tracking ECMR , 2015,1.特征匹配,blob and corner,nonmaximum suppression,SAD,Circular matching,NCC,3.特征選擇 將圖像按50*50分割成多個buckets，每個bucket： 1) 特征分為4類 (corner max, corner min, blob max and blob min). 2) 每一類按強度排列 3) 每一類強度最大的特征將會到list中 4) 重復第三部 5) list中前n個特征將用來運動估計,2.特征表示： ID, age,