5.雙目視覺(jué)里程計(jì).ppt

1、An Overview to Stereo Visual Odometry,謝曉佳 2016/04/30,Why stereo Visual Odometry?,雙目沒(méi)有單目的尺度問(wèn)題，能夠完全的恢復(fù)相機(jī)的運(yùn)動(dòng)軌跡（單目恢復(fù)的軌跡是up to scale） 不需要單目中的初始化階段來(lái)恢復(fù)landmark的深度,Algorithm Overview,Input左圖像、右圖像序列、左右相機(jī)的內(nèi)參、外參 Output圖像對(duì)之間的位姿關(guān)系、相機(jī)軌跡（基于特征點(diǎn)的稀疏3d地圖，optional）,獲得左右圖像、圖像校正 提取圖像特征點(diǎn) 左右圖像特征匹配、獲取特征點(diǎn)坐標(biāo) 前后圖像特征匹配 增量式的運(yùn)動(dòng)估計(jì)

2、,1. 獲得左右圖像、圖像校正,2. 提取圖像特征點(diǎn),要求detector找到的特征點(diǎn)具有重復(fù)性和穩(wěn)定性,differents viewpoint 光照、尺度、旋轉(zhuǎn),3. 左右圖像特征匹配、獲取特征點(diǎn)坐標(biāo),SAD,SSD,NCC,Stereo matching algorithm 對(duì)于校正的左右圖像，其基線是水平的，選取左圖特征點(diǎn)臨近的N*N個(gè)像素組成patch，進(jìn)行相似性檢驗(yàn),Triangulation 獲得(ul,ur,v)之后，計(jì)算特征點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo),B為baseline，單位m u_c, v_c分別為principal point 在圖像的橫縱坐標(biāo) d為視差，單位均為pix,4

3、. 前后圖像特征匹配,根據(jù)描述子距離在限定區(qū)域內(nèi)進(jìn)行匹配,5. 增量式的運(yùn)動(dòng)估計(jì),根據(jù)匹配后的特征點(diǎn)和特征點(diǎn)的坐標(biāo)，恢復(fù)兩個(gè)時(shí)刻相機(jī)的運(yùn)動(dòng),在匹配過(guò)程中，存在大量的誤匹配，需要用RANSAC（MLESAC）！ 從M中選取3個(gè)點(diǎn)對(duì) 由3個(gè)點(diǎn)對(duì)估計(jì)參數(shù) 根據(jù)估計(jì)參數(shù)得到的模型計(jì)算誤差，如果小于給定誤差，則認(rèn)為是inlier 重復(fù)S次，找到inliers最大的點(diǎn)集 對(duì)該點(diǎn)集進(jìn)行計(jì)算，得到最終T,3D-3D,3D-2D,Can be solved by SVD or MLE,Tricks,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time

4、IV 2011,1.采用自己定義的檢測(cè)子和描述子，SSE指令集優(yōu)化,2.魯棒性的匹配策略 using motion model 前后幀匹配 two pass matching 對(duì)圖像區(qū)域的運(yùn)動(dòng)進(jìn)行統(tǒng)計(jì) circular matching 一個(gè)匹配需要4個(gè)點(diǎn) remove outliers by voting 三角剖分并投票,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time IV 2011,3. 對(duì)匹配進(jìn)行精細(xì)化定位和篩選（網(wǎng)格） 4. 計(jì)算重投影誤差時(shí)對(duì)像素點(diǎn)增加了權(quán)重,SSLAM Robust Selective Stereo

5、SLAM without Loop Closure and Bundle Adjustment ICIAP 2013,1. 特征檢測(cè)與描述 HarrisZ detector、sGLOH descriptor 2. 環(huán)形匹配 3. Pose Estimation Constrained by Temporal Flow 圖像的分辨率決定了匹配后特征點(diǎn)位置的不確定性 只有這些match之間Temporal Flow較大時(shí)，不確定才小 因此當(dāng)flow大于特定值的匹配對(duì)所占比率 較大時(shí)才做運(yùn)動(dòng)估計(jì),2FO-CC Improving the Egomotion Estimation by Correct

6、ing the Calibration Bias VISAPP 2015,重投影誤差在左右圖像中不是均勻分布（inaccurate calibration）,完美的匹配在圖像上只有1pix的誤差，理論上其重投影誤差應(yīng)該很小的，然而根據(jù)ground truth計(jì)算的重投影誤差有7pix！,ok，統(tǒng)計(jì)一下,d()：根據(jù)deformation matrix，將圖像上的點(diǎn)的位置映射到另一個(gè)位置,TLBBA High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度實(shí)時(shí)視覺(jué)定位的關(guān)鍵技術(shù)研

7、究 盧維,1. 利用的GPU加速的SiftGPU 只計(jì)算兩個(gè)scale 圖像輸入為480*300 2. 估計(jì)特征點(diǎn)的不確定性 3. 兩階段的local BA,3D-3D,這個(gè)方程存在兩個(gè)問(wèn)題 3d點(diǎn)的誤差分布不是均勻的，例如遠(yuǎn)的點(diǎn)誤差很大 將每一個(gè)點(diǎn)都均等的對(duì)待,3D-2D,First stage,Second stage,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,1. 統(tǒng)計(jì)分析了特征點(diǎn)跟蹤的誤差 對(duì)檢測(cè)到的新的特征點(diǎn)，計(jì)算其3d坐標(biāo)（original 3D point） 在其后的幾幀中對(duì)這個(gè)特征點(diǎn)進(jìn)行跟蹤

8、，得到其坐標(biāo)u、v 根據(jù)ground truth motion計(jì)算這個(gè)特征點(diǎn)在這幾幀的3d點(diǎn)（ground truth 3D point），計(jì)算重投影坐標(biāo)u、 v 統(tǒng)計(jì)u-u、v-v、d-d的分布,Laplacian-like distribution, zero-mean.,容易跟丟的特征，其誤差一般很大,相鄰幀特征跟蹤的誤差是 零均值、獨(dú)立于age、同分布的！,age為40的特征，累計(jì)誤差 vs Age,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,相鄰幀特征跟蹤的誤差是零均值、獨(dú)立于age、同分布的！,2

9、.feature propagation technique,傾向于最小化age大的誤差項(xiàng),W1/RMSE（age）,integrated feature可以看做是經(jīng)過(guò)濾波器得到的，每次觀測(cè)作為更新的量,3. A predictor/corrector technique to detect and correct tracking errors,方形和圓形的距離過(guò)大，將特征替換為方形位置的特征。 當(dāng)替換次數(shù)過(guò)多，認(rèn)為該特征不穩(wěn)定，直接剔除。,S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015

10、 S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015,cv4xv1-sc Robust Stereo Visual Odometry from Monocular Techniques. IV2015,1.采用和單目的方法對(duì)特征進(jìn)行跟蹤 FAST-ANMS-BRIEEF提取特征 將上一幀Triangulation的Map point根據(jù)motion model投影到當(dāng)前幀的左圖，根據(jù)特征

11、描述進(jìn)行匹配 3D-2D、PNP-RANSAC計(jì)算T 將上一幀Triangulation的Map point根據(jù)T投影到當(dāng)前幀的左圖，根據(jù)特征描述再一次進(jìn)行匹配 按照相同方法找到Map point（在左圖上有匹配的）在右圖的匹配 左右匹配，驗(yàn)證重投影誤差 2.運(yùn)動(dòng)模型 3.,SOFT Stereo odometry based on careful feature selection and tracking ECMR , 2015,1.特征匹配,blob and corner,nonmaximum suppression,SAD,Circular matching,NCC,3.特征選擇 將圖像按50*50分割成多個(gè)buckets，每個(gè)bucket： 1) 特征分為4類 (corner max, corner min, blob max and blob min). 2) 每一類按強(qiáng)度排列 3) 每一類強(qiáng)度最大的特征將會(huì)到list中 4) 重復(fù)第三部 5) list中前n個(gè)特征將用來(lái)運(yùn)動(dòng)估計(jì),2.特征表示： ID, age,