rgbd direct方法原理介紹

閆志鑫博世（BOSCH）北美研發(fā)中心7/31/20211RGBD

Direct

方法簡述前端：RGBD視覺里程計基礎(chǔ)Direct方法基于貝葉斯的Direct方法基于相機噪聲的Direct方法后端：優(yōu)化與相機重定位Pose

Graph與Photometric

Bundle

Adjustment攝像機重定位RGBD

Direct方法展望27/31/2021RGBD

相機Kinect，Intel

RealSense，Xtion

etc.Structure

light，time

of

flight（ToF）Direct方法利用所有像素最小化Photometric

ErrorDirect方法常見問題與誤會缺乏全局約束？沒有攝像機重定位方法？37/31/2021Reprojection

Error

（Sparse/Indirect方法）???

=

???

?

??

??

???,G

??Photometric

Error

&

Geometric

Error

（Direct方法）???

=????????=???

??

???,

?? ?

???

????????

??

???,

??

? ??

??

???,

???

???

,G

?????

???,

?? =

?? ??

????

???,

???

???,G

????

=

∑?∈?

???

?????

+???

??????

?

?

?47/31/2021=

∑??????????∈?

?Linearization

線性化求解Photometric

error是非線性的，需要線性化后迭代求解例如泰勒展開逼近等數(shù)值求解常用方法常見線性化方式非常接近image

alignment?Forward

Additive：???

?????

=

???

?????,

???

?Δ???

???

???求導(dǎo)時需要考慮???，相對復(fù)雜?Forward

Compositional：

???

?????

=

???

????

???,

Δ??

,

????

???

???57/31/2021???作為常量，不需要考慮在求導(dǎo)過程中。取Δ??=0的位置線性化，相對簡單。具體求導(dǎo)過程請參見之前的公開課以貝葉斯形式表達image

alignment誤差與相機姿態(tài)間的關(guān)系??

??|?? =?

??|?

?(?)=∏?∈?

??

????|??

?(?)，假定每個像素誤差獨立?(??)≡

argmin

?

∑?∈?

log

??

????|??

??(??)?????

=

argmax

∏?∈?

??

????|?? ??

??log

??

??線性化與求導(dǎo)?

?

∑?∈?

???

?

????|?

????

?

???=

?

∑?∈?????

??

???

???

?

????|?

????

?

????

=

?

∑?

?

??∈???

??

??

?

??????????

?????|????????????????

=

∑?∈?67/31/2021Student-t

distribution

（經(jīng)驗?zāi)Ｐ蚚1,2]）???

??

|

??

=?

???

/??

?/?

??

???1+????Σ??????

?

??

???

/?????

=????????????????

??Σ???Gaussian

distribution

（常用假設(shè)）??

????|?? ～

??

??,

Σ?????

=???????????

??00??????????? ????=

Σ??77/31/2021計算

photometric

error

分布

??

??|??

時，student-tdistribution只是一個經(jīng)驗?zāi)Ｐ停狈碚摶A(chǔ)引入相機噪聲模型，進一步逼近

??

??|??

的真實分布Structure

Light

RGBD：??-DVO[3]Time

of

flight

RGBD：DNA-SLAM[4]87/31/2021??-DVOStructure

light

深度相機在深度圖的誤差滿足高斯分布三維空間的高斯分布可以投影到二維空間（UnscentedTransform或簡單線性化）Geometric

error的分布滿足引入相機噪聲的高斯分布97/31/2021??-DVOPhotometric

error采用t

distributionGeometric

error采用由相機噪聲得到的高斯分布（距離敏感）假設(shè)photometric

error和geometricerror相互獨立DNA-SLAM將ToF相機噪聲標(biāo)示為灰度圖、深度圖以及深度圖上一階導(dǎo)上的誤差的函數(shù)（邊緣敏感）107/31/2021誤會：Direct方法無法建立全局約束？原因1：Direct方法不提取特征點，無法建立幀與幀之間的共視約束原因2：Direct方法通常使用pose-graph做全局優(yōu)化，場景信息無法在優(yōu)化中利用起來解：利用Loop

Closure提供非連續(xù)/鄰近幀之間的關(guān)系在關(guān)鍵幀中提取少量RGBD像素建立共視約束如何選取像素？117/31/2021Pose

Graph??

=

∑

???

?

???

?Δ?

?

????,?

∈?速度快，非基于圖像約束Photometric

Bundle

Adjustment??

=

∑

??????????∈?

????

=????????=????????????

??

???,

????

??

???,

?? ?

??

???? ??

???,

???速度慢，難以建立約束關(guān)系，基于圖像的約束127/31/2021Dense

VisualSLAM

with

PSM[5]不斷收集可靠的RGBD點并添加到Map中(probabilistic

surfels)利用全局和局部信息計算每一幀的相機姿態(tài)在最后優(yōu)化時同時優(yōu)化pose-graph和photometric

BA共視約束來源于probabilisticsurfels在關(guān)鍵幀中的有效投影137/31/2021誤會：Direct沒有攝像機重定位方法？Indirect/sparse方法可以將每一幀的特征描述子組織成kd樹或語義樹的形式，在重定位時進行檢索解：利用RGBD像素建立Fern或Random

Forest進行關(guān)鍵幀檢索基于深度學(xué)習(xí)的相機姿態(tài)估計147/31/2021Fern或Random

Forest攝像機重定位[6]在圖片中均勻隨機篩選出m個點，每個點通過對比n=4個通道（RGBD）的閾值??得到二進制編碼（mx4）只在構(gòu)建Fern的時候隨機篩選m個點，隨后使用相同的點集閾值??在顏色和深度范圍內(nèi)隨機得出每一個點在經(jīng)過Fern編碼后會記錄符合編碼的一系列關(guān)鍵幀用Hamming

Distance計算關(guān)鍵幀之間的距離157/31/2021PoseNet:基于深度學(xué)習(xí)的攝像機重定位[7]22層GoogLeNet提取圖片中的特征并轉(zhuǎn)化為7維相機姿態(tài)3維位置信息，四元數(shù)旋轉(zhuǎn)表示（Inference結(jié)果需要歸一化）第一篇用深度學(xué)習(xí)方法計算相機姿態(tài)的工作，重定位精度有限167/31/2021依然存在的問題和解決方法需要好的相機姿態(tài)初值（高度非線性）圖像金字塔等計算量大，在缺少并行計算資源時難以實時累計誤差問題基于語義的SLAM技術(shù)（平面等基本幾何體或Instance

recognition）攝像機重定位技術(shù)還不夠完善Ferns等方法對內(nèi)存要求較大基于深度學(xué)習(xí)的方法還不夠完善177/31/2021[1]

Kerl,

Christian,

Jürgen

Sturm,

and

Daniel

Cremers.

"Robust

odometry

estimation

for

RGB-D

cameras."

Robotics

andAutomation

(ICRA),

2013

IEEE

International

Conference

on.

IEEE,

2013.[2]

Kerl,

Christian,

Jurgen

Sturm,

and

Daniel

Cremers.

"Dense

visual

SLAM

for

RGB-D

cameras."

Intelligent

Robots

andSystems

(IROS),

2013

IEEE/RSJ

International

Conference

on.

IEEE,

2013.[3]

Babu,

Benzun

Wisely,

et

al.

"σ-dvo:

Sensor

noise

modelmeetsdensevisual

odometry."

Mixed

and

AugmentedReality

(ISMAR),

2016

IEEE

International

Symposium

on.

IEEE,

2016.[4]

Wasenmüller,

Oliver,

Mohammad

Dawud

Ansari,

and

Didier

Stricker.

"Dna-slam:

Dense

noise

aware

slam

for

tof

rgb-d

cameras."Asian

Conference

on

Computer

Vision.

Springer,

Cham,

2016.[5]

Yan,Zhixin,

Mao

Ye,

and

Liu

Ren.

"Dense

Visual

SLAM

with

Probabilistic

Surfel

Map."

IEEE

Trans