計算機(jī)視覺的多視幾何

計算機(jī)視覺的多視幾何

吳毅紅

中國科學(xué)院自動化研究所

模式識別國家重點(diǎn)實(shí)驗(yàn)室

主要內(nèi)容

?1.單視幾何（應(yīng)用單幅圖像測量）

?2.兩視幾何（EpipolarGeometry約束）

空間平面與Homography

?3.二視幾何（TrifocalGeometry約束）

1.單視幾何

xzmz=K[R5t]Mz

1.單視測量

?目標(biāo)、內(nèi)容

?研究的意義

?國內(nèi)外研究的現(xiàn)狀

?算法

1.單視測量

目標(biāo)、內(nèi)容

?從單幅圖像中恢復(fù)場景的全部或部分三

維信息\

?運(yùn)用射影幾何理論，探索利用單幅圖像

實(shí)現(xiàn)場景測量所需的圖像信息以及場景

信息，從而實(shí)現(xiàn)對場景中距離、面積、

體積等的測量

1.單視測量

研究的意義

?利用超聲波、激光等來測量，很容易受

到外界不可預(yù)測反射等因素的影響

?基于圖像的測量技術(shù)，因其所需的只是

場景圖像，所以更靈活、方便、即時、

準(zhǔn)確

?具有非常廣泛的應(yīng)用前景，如法庭取證、

交通事故現(xiàn)場的測量、建筑物測量等等

很多方面

研究現(xiàn)狀/單視測量

?用兩幅或多幅圖像對場景進(jìn)行重建以后

進(jìn)行測量的方法以及攝影測量學(xué)的方法

有很大的局限性

?利用單幅圖像對場景進(jìn)行測量，已引起

人們的關(guān)注

?A.CriminisiUniversityofOxford

?目前，國內(nèi)外在此方面還沒有系統(tǒng)的研

究

,單視測量

算法1

平面測量

攝

像

機(jī)

坐

標(biāo)

系

空間平面與其圖像間的關(guān)系可由平面Homography:

H來表示（一個3x3的矩陣）.一般將空間平面假設(shè)

為Z，”=0即KY平面,則：

r

M=[XM,YM,\]

吊二[〃,刈/■

1.單視測量

算法___________

平面測量

如果4個空間點(diǎn)M,已知，則由它們可線性求解H:

smi=HMZ;123,4

然后通過將圖像點(diǎn)反投到空間平面，實(shí)現(xiàn)空間平面上的測量

55M5=Hm5s6M6=HTm6

o距離'面積'夾角

1.單視測量

算法

空間測量

已知一個空間平面的homography和此平面法向

量方向的一組平行線、某個線段的距離，或已知

另一個平面的位置，可測：

體積、身高、兩個平面的距離、兩個平

面內(nèi)的兩個點(diǎn)之間的距離

1.單視測量

算法

物體體積的測量結(jié)果:

Realvolume:109265.0cm3

Measuredvalue:110018.9cm3

Relativeerror:0.69%.

Realvolume:26826.7cm3

Measuredvalue:26628.2cm3

Relativeerror:0.74%

2.兩視幾何

主要內(nèi)容

?夕卜(對)極幾何(Epipolargeometry)

?基本矩陣、本質(zhì)矩陣

?重建

?景物平面與單應(yīng)矩陣(Homography)

2.兩視幾何

外極幾何________________________________________

外極幾何是研究兩幅圖像之間存在的幾何。它和場

景結(jié)構(gòu)無關(guān)，只依賴于攝像機(jī)的內(nèi)外參數(shù)。研究這

種幾何可以用在圖像匹配、三維重建方面。

基本概念：

基線；外極點(diǎn)；外極線；外極平面；基本矩陣；本質(zhì)矩陣

2-兩視幾何

外極幾何

2.兩視幾何

外極幾何

?基線：連接兩個攝象機(jī)光心o(o')的直線

?外極點(diǎn)：基線與像平面的交點(diǎn)

?外極平面：過基線的平面

?外極線：對極平面與圖像平面的交線

?基本矩陣F：對應(yīng)點(diǎn)對之間的約束mTFm=0

2.兩視幾何

世界坐標(biāo)系

總m'=KIR/]M,

如果將世界坐標(biāo)系取在第一個攝像機(jī)

坐標(biāo)系上，貝

ximi=K[I90]MZ-

Hm,產(chǎn)

2.兩視幾何

外極幾何

光心：0=[0001『O!=[-Rrt,l]r

基本矩陣F：F=K'-^tLRK-1

是一秩為2的3X3矩陣，自由度為7

外極點(diǎn)：：

e=PO-p[-Rt9if?KRt，=P'O=P[。00『=Kt

2.兩視幾何

外極幾何

=K[I,0]M,=PMZ

==P'M,

./11

m'TFm

二0

對象的數(shù)學(xué)表達(dá):0,?O,

外極線:1=exmr=eW（用法向量表示）

本質(zhì)矩陣E：E=[t]xR

是一秩為2的3X3矩陣，自由度為5

對象之間的關(guān)系式：

1=Frm1=FmFe=0eTF=0

2.兩視幾何

外極幾何

Fe=0e，rF=0F=KrEK1

如果，m,nf是一對對應(yīng)點(diǎn)，貝！J：mrrFm=0

反之，不成立。

2.兩視幾何

基本矩陣

毛m,=K[I,O]M,=PMZ*m,=K[R,t]Mz=P'M”

-r-1

F=K'[t]xRK

巧叫=K[I,O]HM,=PHMZx\m\=K[R,t]HM,=P'H〃

H是一個4x4射影變換矩陣，投影矩陣對(P,P)和

(PH,PH)對應(yīng)相同的基本矩陣F=K'"[t]xRKT。

2.兩視幾何

基本矩陣的變換作用

1=Frm1=FmFe=0e'rF=0

在兩幅圖像之間，基本矩陣將點(diǎn)m映射為對應(yīng)的對極線,

將對極點(diǎn)映射為0。不能提供對應(yīng)點(diǎn)間的一一對應(yīng)。

0

2.兩視幾何

基本矩陣的代數(shù)推導(dǎo)

空間中一點(diǎn)屈=/『在兩幅圖像上的成像分別為:

7

sm=P[Xl]=KXs'mf=P\x1\=K'RX+Kft

極點(diǎn)

d=pc=p[oooiy=K't

極線

/=[，]x4=K4[KM+KY]

,Ti

=K-[t]xRK-m=Fm

因此:KhRK-m

cc

—mTFm—0

2.兩視幾何

基本矩陣F的估計方法

基于代數(shù)誤差的線性估計一8、7點(diǎn)算法

基于幾何誤差的非線性優(yōu)化

基于RANSAC思想的自動估計算法

2.兩視幾何

基本矩陣F的估計方法8點(diǎn)算法:

一對對應(yīng)點(diǎn)in,=[%#"了,「=[”，口正之間滿

足約束：m/Fm,=0

f215-f22^23

_f31^32^33

展開可以得到約束方程為:

%1+U\V/2+〃:耳3+V、”￡1+V、4&2+V1凡3+

+匕82+%二°

2.兩視幾何

基本矩陣F的估計方法8點(diǎn)算法:

對于n對對應(yīng)的圖像點(diǎn)對m,一m.Z-1..72

可得到〃個這樣的方程

構(gòu)造向量:f=[耳1，耳2，耳3『21『22『23』31』32禺3],

u\%u\V]u\V；u}V；4V；ux%1

構(gòu)造矩陣:A=

%%%%%VnVnV；UnVn!

從而:Af=0

當(dāng)n>=8時，可以線性求解f。

2.兩視幾何

基本矩陣F的估計方法8點(diǎn)算法:__________

?基于代數(shù)誤差的估計方法是滿足某些約束下使

|Af||最小的算法

?8點(diǎn)算法：min||^/||約束條件川=1

?步驟：1)由對應(yīng)點(diǎn)(〃>=8)集構(gòu)造矩陣，；2)對

A進(jìn)行將異值分解/=u。尸，由向量/=%構(gòu)造

r

矩陣F(3)對F進(jìn)彳丁SVD分解尸=UdhgGs253)K

r

得到基本矩陣的估計F-Udiag(sxs20)K

2.兩視幾何

基本矩陣F的估計方法8點(diǎn)算法:

?8點(diǎn)算法估計基本矩陣F的結(jié)果與圖像點(diǎn)的

坐標(biāo)系有關(guān)。當(dāng)圖像數(shù)據(jù)有噪聲，即對應(yīng)點(diǎn)

不精確時，由8點(diǎn)算法給出的基本矩陣F的

解精度很低。

?存在一種規(guī)一化坐標(biāo)系，在此坐標(biāo)系下估計

的基本矩陣優(yōu)于其它坐標(biāo)系。

2.兩視幾何

基本矩陣F的估計方法8點(diǎn)算法:

?規(guī)一化變換：1）對圖像點(diǎn)做位移變換，使得圖像

的原點(diǎn)位于圖像點(diǎn)集的質(zhì)心；2）對圖像點(diǎn)做縮放

變換，使得圖像點(diǎn)分布在以質(zhì)心為圓心半徑為行

的圓內(nèi)。

H

2.兩視幾何

基本矩陣F的估計方法8點(diǎn)算法:__________

?規(guī)一化8點(diǎn)算法：由對應(yīng)點(diǎn)叫一m：,求F

L1/\

1）對兩幅圖像分別做規(guī)一化變換H,得到新的

對應(yīng)點(diǎn)集;

2）有新的對應(yīng)點(diǎn)集和8點(diǎn)算法估計京；

3）基本矩陣F=H，TfHT

2.兩視幾何

基本矩陣F的估計方法7點(diǎn)算法：

?如果求解的基本矩陣F不滿足約束det(F)=O,

即det(F)wO那么不存在向量e使得Fe=O,則

在圖像中的對極線不交于同一點(diǎn)(對極點(diǎn)e)。

?由于基本矩陣的秩為2,因此基本矩陣僅具有7

個自由度，所以已知7對匹配點(diǎn)便足以確定基本

矩陣。

2.兩視幾何

基本矩陣F的估計方法7點(diǎn)算法:__________

?利用SVD分解的方法得到兩個對應(yīng)于系數(shù)矩陣A

的右零空間的基向量L和f2的矩陣基可和F2，

然后利用det(F)=O性質(zhì)來解出F通解尸=畿耳+(1-6Z)F2

中的比例因子a來確定所要估計的基本矩陣。

?由于基本矩陣行列式為零所對應(yīng)的約束是一個

三次方程，因此最后所可能得到的基本矩陣的

解的個數(shù)對應(yīng)于上述三次方程實(shí)數(shù)解的個數(shù)，

最多可以得到3個解。

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優(yōu)化:

將估計基本矩陣的問題化為數(shù)學(xué)的最優(yōu)化問題，然

后使用某種優(yōu)化迭代算法求解.算法如下:

(1)構(gòu)造基于幾何意義的目標(biāo)函數(shù)

(2)選取8點(diǎn)算法的結(jié)果作為迭代算法的初始值

(3)選取一種迭代方法(L?M方法)，迭代求解最

小化問題

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優(yōu)化:

構(gòu)造基于幾何意義的目標(biāo)函數(shù)

常用準(zhǔn)則：(1)點(diǎn)到對應(yīng)極線距離的平方和

(2)反投影距離

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優(yōu)化:

準(zhǔn)則⑴點(diǎn)到對應(yīng)極線距離的平方和

n

2

Z(d)2+d(m；,Fmz))=

iy((m/Fm.(mrFm,)2

7

+(Fm,)；商mB產(chǎn)i原

2.兩視幾何

基本矩陣F的估計方法基于幾何誤差的優(yōu)化:

基于準(zhǔn)則(2)步驟：

1.由線性算法求出基本矩陣的初始值F；

2.由對應(yīng)點(diǎn)m,一叫和基本矩陣F射影重建得

到三維空間點(diǎn)坐標(biāo)而，；

3.由三維空間點(diǎn)得到新的圖像點(diǎn)：m,^mz.

2.兩視幾何

基本矩陣F的估計方法RANSAC估計

例：利用RANSAC思想估計直線

給定7點(diǎn)，找最匹配的直線，使有效點(diǎn)到直線的距離

小于0.8個單位,找到的點(diǎn)集為{1,2,3,4,5,6},然后

用最小二乘法計算直線方程。.________

POINT；XY

100

21

32

4￥2

53〕3

644

7102

2-兩視幾何

基本矩陣F的估計方法RANSAC估計

?前面所講的所有的方法都假設(shè)沒有錯誤匹配點(diǎn)

(Outliers)o實(shí)際處理過程中可能會出現(xiàn)錯誤的

匹配點(diǎn)。可以用RANSAC方法剔除錯誤的匹配點(diǎn)

?基本思想：1.通過迭代地隨機(jī)抽取最小點(diǎn)集來找

出能夠使得所謂Inliers所占比例最高的最小點(diǎn)集

2.用此最小點(diǎn)集估計的基本矩陣和所識別出的

Inliers一起進(jìn)行進(jìn)一步非線性優(yōu)化，從而得到最

終的基本矩陣估計值

2.兩視幾何

本質(zhì)矩陣E

本質(zhì)矩陣E(EssentialMatrix)由攝像機(jī)的外參

數(shù)確定，與攝像機(jī)內(nèi)參數(shù)無關(guān)。

E=[t]xR\-

2.兩視幾何

本質(zhì)矩陣E

當(dāng)攝像機(jī)內(nèi)參數(shù)K已知時，當(dāng)F被求出時，重

建即要求出R,仁\

x

m=PX=K[R[t]Mi=Km=[R,t]M

P=[l,o]P=[R,t]

F=K'-^tLRK-1-E=KTFK

IER=[t]x[t]：

E=[t]R

Rxt

2,兩視幾何

重建

?給定一基本矩陣F,構(gòu)造投影矩陣對

P=[0]P'=[[e]xFe;

?有了投影矩陣和圖像點(diǎn)就可以通過三角化實(shí)現(xiàn)重建

2m=PMM

2m=PM

2,兩視幾何

重建

H是一個4X4的可逆射影變換矩陣，則

sm=PM=(PH)(H1)M

P=[lo]P'=[[e]xFe\

h叫

K[L0]K[R51]

2.兩視幾何

景物平面與單應(yīng)矩陣

?概念

?已知基本矩陣F確定單應(yīng)矩陣H

?已知單應(yīng)矩陣H確定基本矩陣F

?無窮遠(yuǎn)平面的單應(yīng)矩陣

2.兩視幾何

景物平面與單應(yīng)矩陣概念

建立世界坐標(biāo)系，使得星丫平面為空間平面，即

為2=o平面，則

2m=H二HMm=

1M=[YX,1]

2.兩何

景物平面與單應(yīng)矩陣概念

m=H]Xm=H2Xm=電再喘

?若m=,vifm=?vif是空間平面上的點(diǎn)

在兩幅圖像上對應(yīng)點(diǎn)對，則存在矩陣H使得

sm=Hm

?s為非零常數(shù)因子，H是一3X3矩陣，一般可由4對對

應(yīng)點(diǎn)求得。

2.兩何

景物平面與單應(yīng)矩陣概念

若兩視點(diǎn)投影矩陣為

P=K[IO]P=K[Rt]

則空間平面7r=(nTd)，的單應(yīng)矩陣H可表示為

H=K(R-tnr/d)K1

2.兩何

景物平面與單應(yīng)矩陣由F確定H

給定三對對應(yīng)點(diǎn)：mzom；i=1,2,3

它們對應(yīng)的空間的景物點(diǎn)為：Mi,M2,M3

則這三個景物點(diǎn)唯一確定了一個空間平面

如果F已求出，則這個平面的H也可以求出：

Fe=0e"F=0'e,e5

sm；=Hmzse=He'H

i=1,2,3

2.兩何

景物平面與單應(yīng)矩陣由F確定H

2.兩視幾何

景物平面與單應(yīng)矩陣由H確定F

由6個點(diǎn)，其中4個點(diǎn)共面，來求解基本矩陣F：

一.由共面的4對對應(yīng)點(diǎn)求得H

二.由直線Hn^xm；和Hm6xm6確定極點(diǎn)e'

三?F=[e]H

2.兩幾何

景物平面與單應(yīng)矩陣無窮遠(yuǎn)平面的單應(yīng)矩陣

?當(dāng)空間平面為無窮遠(yuǎn)平面時，對應(yīng)的單應(yīng)矩陣

為無窮遠(yuǎn)平面的Hoc：\、

H=K(R-tnr/d)K1乩=limH=KRK1

?如果Hoc已知后，則可進(jìn)行標(biāo)定、重建。

KH^K=R

r

H00KleH以=KK

3?三視幾何

主要內(nèi)容

?引言

?點(diǎn)、線關(guān)聯(lián)關(guān)系

?基本矩陣、投影矩陣

3.三視幾何

引言

?兩幅圖像之間存在約束：基本矩陣F；

?三幅圖像之間存在約束：三焦張量T(Trifocal

Tensor)；

?四幅或更多幅圖像之間不存在獨(dú)立的約束，它

們可以由F和T生成。

上三視幾何

引言

kssa幾何

引言

三焦張量由三個3x3矩陣｛%,T2,T3｝組成。

在兩幅圖像之間有約束：m"Fm=0

Tr

在三幅圖像之間有約束：i=i,[T1