計(jì)算機(jī)視覺課件筆記

第一講：介紹

1什么是視覺:Visionistheprocessofdiscoveringfromimageswhatispresentintheworld,andwhereitis.

2研究視覺的用處：對象識(shí)別、空間定位、運(yùn)動(dòng)跟蹤、動(dòng)作識(shí)別

3什么是II0機(jī)視'覺：ComputerVisionisthestudyofanalysisofpicturesandvideosinordertoachieve

resultssimilartothoseasbymen.即為了近似于人眼觀察結(jié)果而進(jìn)行的圖像和視頻的分析研究

4MARil算:機(jī)視覺評論：將視覺過程看做一個(gè)信息加工過程，把視覺圖像的形成劃分為三個(gè)階段：

1)二維基素圖(2-Dsketch)：視覺過程的第一階段，由輸入圖

像而獲得基素圖。基素圖主要指圖像中強(qiáng)度變化劇烈處的位置

及其幾何分布和組織結(jié)構(gòu)，其中用到的基元包括斑點(diǎn)、端點(diǎn)、

邊緣片斷、有效線段、線段組、曲線組織、邊界等.目的在于把

原始二維圖像中的重要信息更清楚地表示出來。

⑵2.5維要素圖：視覺過程的第二階段，通過符號(hào)處理，將線

條、點(diǎn)和斑點(diǎn)以不同的方式組織起來而獲得2.5維圖。視覺過

程的這一階段也稱為中期視覺。2.5維圖指的是在以觀察者為

中心的坐標(biāo)系中，可見外表的法線方向、大致的深度以及它們

的不連續(xù)輪廓等。其中用到的基元包括可見外表上各點(diǎn)的法線

方向、和各點(diǎn)離觀察者的距離(深度)、深度上的不連續(xù)點(diǎn)、外

表法線方向上的不連續(xù)點(diǎn)等等。視覺的這一階段是由一系列相

對獨(dú)立的處理模塊組成的。這些處理模塊包括：表達(dá)、運(yùn)動(dòng)、

由外表明暗恢復(fù)形狀、由外表輪廓線恢復(fù)形狀、由外表紋理恢

復(fù)形狀等。它的作用是揭示一個(gè)圖像的外表特征。Marr聲稱,

早期視覺加工的目標(biāo)就是要建立一個(gè)2.5維的要素圖，這是把

一個(gè)外表解釋為一個(gè)特定的物體或一組物體之前的最后一步。

圖視覺系統(tǒng)的三個(gè)表象層次

(3)三維模型表征(3-Dmodelrepresentation)：

視覺過程的第三階段，由輸入圖像、基素圖、2.5維圖而獲得物體的三維表示。視覺過程的這一階段，

也稱為后期視覺。明謂物體的三維表示指的是在以物體為中心的坐標(biāo)系中，用含有體積基兀(即表不

形狀所占體積的基元)和面積基元的模塊化分層次表象，描述形狀和形狀的空間組織形式，其表征包括

容積、大小和形狀。當(dāng)三維模型表征建立起來時(shí)，其最終結(jié)果是對我們能夠區(qū)別的物體的一種獨(dú)特的描

述。

第二講：視覺通路簡介

1可見光譜范圍：380nm~780nm

2眼球根本結(jié)構(gòu)和功能：

3視網(wǎng)腴：將光信號(hào)轉(zhuǎn)變成電脈沖信號(hào)

1光感受體：包括視錐細(xì)胞和視肝細(xì)

胞。作用是將光信號(hào)轉(zhuǎn)換為電脈沖信

號(hào)。

視錐細(xì)胞：亮視覺

視桿細(xì)胞：暗視覺

2中間層：構(gòu)成視覺信息傳輸?shù)闹苯雍?/p>

間接通道。

3神經(jīng)節(jié)細(xì)胞層：視覺信息在這里形成

纖維束,離開人眼。

4視覺通路概述:

視覺傳導(dǎo)通路：九線一角膜一瞳孔一晶狀體一玻璃體一電

視網(wǎng)膜

網(wǎng)膜色素上皮細(xì)胞層一視徘視桿細(xì)胞層一雙極神經(jīng)原-

節(jié)細(xì)胞一視神經(jīng)一視交叉一視束一外側(cè)膝狀體一視輻射-

外側(cè)膝狀體大腦半球枕葉皮質(zhì)。

視覺反射通路：光線一角膜一瞳孔一晶狀體一玻璃體一包

網(wǎng)膜色素上皮細(xì)胞層一視錐視桿細(xì)胞層一雙極神經(jīng)原-

視皮層

節(jié)細(xì)胞一視神經(jīng)一視交叉一視束一外側(cè)膝狀體一上丘臂-

雙側(cè)上丘一中腦動(dòng)眼神經(jīng)副交感核一動(dòng)眼神經(jīng)一睫狀卬

經(jīng)節(jié)一節(jié)后纖維一瞳孔、睫狀體一調(diào)節(jié)瞳孔對光反射和用

覺反射

視束交叉：視束神經(jīng)交叉的關(guān)鍵是內(nèi)側(cè)信號(hào)傳輸?shù)綄γ?，外?cè)信號(hào)傳輸方向不變

3視覺通道假說模型

大量的動(dòng)物實(shí)驗(yàn)說明，靈長類動(dòng)物視覺

系統(tǒng)將圖像的不同特征（例如，形狀、運(yùn)

動(dòng)、顏色、空向位置等）分成不同通路

并行處理，各通路為串行的等級結(jié)構(gòu).在

所有并行處理通路2,最重要的兩條通

路是背側(cè)通路（DorsalPathway）和腹側(cè)

通路（VentralPathway）.前者完成“在哪

JL（Where）功能，后者完成“是什么

第三講：數(shù)學(xué)根底

1線性代數(shù)知識(shí)復(fù)習(xí)：齊次坐標(biāo)系、普通二維坐標(biāo)和二維齊次坐標(biāo)之間進(jìn)行轉(zhuǎn)換、行列式、行列式幾何

意義（二階行列式：平面平行四邊形的有向面積；三階行列式：平行六面體的有向體積；n階行列式：

n維平行多面體的有向容積）、行列式性質(zhì)、兩個(gè)三維向量叉積、矩陣、任意?個(gè)矩陣其本身蘊(yùn)含?個(gè)變

換、矩陣與線性變換之間的關(guān)系（矩陣變換就是線性變換）、二階矩陣對應(yīng)線性變換的平面幾何圖形小

結(jié)、矩陣的秩[初等變換不改變矩陣的秩）、矩陣的K階子式、滿秩矩陣、滿秩矩陣的逆矩陣、反對稱

矩陣、二元/三元線性方程組解的行列式表示、Gramer（克拉姆）法則、三點(diǎn)共線的判定（三點(diǎn)的齊次坐標(biāo)

行列式的值為0）、

***反對稱矩陣***

性質(zhì)

⑴對任意兩個(gè)三維向量xl,x2：=[x,]xx2

⑵[x]xx=0,Z[.t]x=0

T

⑶yMxy=0

***結(jié)束***

***二階矩陣對應(yīng)線性變換的平面幾何圖形小結(jié)*"

***結(jié)束***

***矩陣蘊(yùn)含變換***

3*3矩陣A把一個(gè)三維向量d映射到一個(gè)三維向量e：

2*3矩陣A把一個(gè)三維向量d映射到一個(gè)一維向量。；

1*3矩陣A把一個(gè)三維向量d映射到一個(gè)一維向量e：

***結(jié)束***

***關(guān)于向量叉積***

向量的叉積：

假設(shè)存在向量U(Ux,Uy,Uz),V(Vx,Vy,Vz),求同時(shí)垂直于向量U,V的向量W(Wx,Wy,Wz).

因?yàn)閣與u垂直，同時(shí)w與v垂直，所以w.u=0,w.v=0;即

UxWx+UyWy+UZWz=0；

VxWx+VyWy+VZWZ=0；

分別削去方程組的Wy和Wx變量的系數(shù)，得到如下兩個(gè)等價(jià)方程式；

(uXVy-UyVX)wX=(uyVZ-UZVy)WZ

(UxVy-UyVx)Wy=(UZVX-UxV2)WZ

于是向量w的一般解形式為：

W=(wX,Wy,Wz)=((uyVz-UZVy)w2/(UXVy-UyVX),(uZVX-UXVZ)W2/(UXVy-UyVx),wz)

=(Wz/(UxVy-UyVx)*(UyV2-U2Vy/U2Vx-UxV2/UxVv-U/Vx))

因?yàn)?

Ux(UyV2-UzVy)+Uy(U2Vx-UxV2)+U2(UXVy-UyVx)

=UxUyVZ-UxUzVy+UyUZVx-UyUxVZ+UZUXVY-UZUyVx

=(UxUyV2-UyUxVz)+(UyU2Vx-U2UyVx)+(UzUxVv-UxU2Vy)

=0+0+0=0

Vx(UyVZ-UZVy)+Vy(UZVx-UxVz)+VZ(UxVy-UyVX)

=VxUyVz-VxU2Vy+VyUzVx-VyUxV2+V2UxVy-VzUyVx

=(VxUyVZ-VZUyVx)+(VyUZVx-VxUZVy)+(VZUxVy-VyUxVZ)

=0+0+0=0

由此可知,向量(UyVz-UzVY，UzVx-UxVz,UxVy-UYVx)是同時(shí)垂直于向量u和V的。

為此，定義向量u=(llx,Uy,Uz：和向量"=付乂，丫丫，丫2)的叉積運(yùn)算為：11乂丫=(11丫曠2?112"丫，112"*?11*曠

Z/UxVy-UyVx)

上面計(jì)算的結(jié)果可簡單概拈為：向量UXV垂直十向量U和V。

根據(jù)叉積的定義，沿x坐標(biāo)軸的向量i=(1,0,0)和沿y坐標(biāo)軸的向量j=(0,1,0)的叉積為：

ixj=(1,0,0)x(0,1,0)=(0*0-0*1,0*0-1*0z1*1-0*0)=(0,0,1)=k

同理可計(jì)算jxk:

jxk=(0,1,0)x(0,0,1)=(1*1-0*0z0*0-0*1,0*0-0*0)=(1,0,0)=i

以及kxi:

kxi=(0,0,1)x(1,0,0)=(0*0-1?0,1*1-0*0,0?0-0*0)=(0,1,0)=j

由叉積的定義，可知：

VXU=(VyU2-V2Uy/V2Ux-VxUz/VxUy-VyUx)=-(UXV)

***結(jié)束***

2無窮遠(yuǎn)點(diǎn)：齊次坐標(biāo):億0="，)，，0)'x,y至少有一個(gè)不是0；無窮遠(yuǎn)點(diǎn)沒有歐式坐標(biāo)；無窮遠(yuǎn)點(diǎn)被視

為“理想點(diǎn)〃。=(0,0』)丁

無窮遠(yuǎn)直線：齊次坐標(biāo)平面上所有無窮遠(yuǎn)點(diǎn)構(gòu)成的直線

通常的直線加一個(gè)無窮遠(yuǎn)點(diǎn)就是無窮遠(yuǎn)直線

直線平行：通過同一無窮遠(yuǎn)點(diǎn)的所有直線平行。一平面內(nèi)兩條平行的直線交于無窮遠(yuǎn)點(diǎn)。

無窮遠(yuǎn)點(diǎn)和無窮遠(yuǎn)直線的引入打破了原本只有兩條直線不平行才可求交點(diǎn)的限制。

3射影平面(二維射影空間,：歐式平面與無窮遠(yuǎn)直線的并集所形成的擴(kuò)展平面

對偶原理：在射影平面內(nèi)，點(diǎn)和線是一對互為對偶元素。在包含“點(diǎn)”和"線”元素的命題中如果將兩

個(gè)元素的角色互換，則對應(yīng)的命題也成立，并稱它們是一對互為對偶命題。

如果pl,p2是射影平面上的兩個(gè)點(diǎn)，則/=p,x%表示通過這兩點(diǎn)的直線。

命題1.1：兩點(diǎn)pl,p2連線的坐標(biāo)是/=[pl]xp2

三點(diǎn)共線的充要條件是〃；[pJxP3=6

命題1.2：兩直線pl,p2的交點(diǎn)坐標(biāo)是P=[ZJXZ2

三線共點(diǎn)的充要條件是=0

4共線點(diǎn)的參數(shù)化：直線上的點(diǎn)只看一個(gè)自由度因此用二維齊次坐標(biāo)來表示。給定直線I上兩個(gè)不同點(diǎn)

的齊次坐標(biāo)pi,P2,則直線上任何一個(gè)點(diǎn)P的坐標(biāo)均@及君爾為廠2直線上所有點(diǎn)都可以用P=?，y）

f

二維向量表示：P,=（l,o）p2=（0,1）7

此二維向量為直線上點(diǎn)的參數(shù)化表示。顯然P1的參數(shù)化為P2的參數(shù)化為

這種參數(shù)化過程實(shí)際上是建立宜線坐標(biāo)系的過程，直線上點(diǎn)的參數(shù)化不唯一，不同的參數(shù)化對應(yīng)不同的

坐標(biāo)系。Pl，P2，，3，P4pj—,Uj）',j=1,2,3,4

5共線點(diǎn)的交比：設(shè)為四個(gè)共線點(diǎn)，他們在某種參數(shù)化的其次坐標(biāo)分別為

交比定義:

共線點(diǎn)的交比不依賴點(diǎn)的參數(shù)化選擇，直線坐標(biāo)系的選擇

將p3,p4在平面上的其次坐標(biāo)分別表示為P\=PI+4〃2；〃4=Pl+4〃2；

筋用時(shí)劉游隼維0），業(yè)="=（1，4）7

6共點(diǎn)直線的交比：給定共點(diǎn)直線束的兩條不同直線的齊次坐標(biāo)，則直線束中任一條直線I的坐標(biāo)都

可以表示為i=（a,b）T

1=叫+"，這樣利用直線束中的兩條直線，其他的直線都可以用二維向鼠來表示：

設(shè)/p/2,/3^4為四個(gè)共線點(diǎn)，他們在某種參數(shù)化的其次坐標(biāo)分別為。=（3，d）T,/=123,4

命題13如果四條有窮點(diǎn)直線的斜率分別為，則他們的交比為：

命題1.4：如果4條直線被任意直線截于四點(diǎn)則

交比是射影變換的不變量

7二次曲線：

二次曲線方程表示：ax2+by2+2cxy+2dx+2ey+/=0

矩陣形式：令：

則C為乙？邛稱嚙,不欠曲線的矩陣表不5

d

我的繼■h個(gè)r,汽確定的金J參數(shù)為a/f,b/f,c/f,d/f,e/f

）多（催:q灌’的二次油密E是褊鐫

其露退化二次曲線-先，血I過該點(diǎn)的直線/為c的切線,

3l=Cp

退化.次I也線：C不滿秩，由兩條直線構(gòu)成或是兩條重合直線構(gòu)成A

魚飽3

可以由3X3的矩陣來表示:x2=hi

4〃32八

射影變換：投影中心不在物體平面上的中心投

中心投影將物體平面上的點(diǎn)投影到圖像平面

上得到像點(diǎn)，像點(diǎn)是物體平面點(diǎn)和投影中心的

連線與像平面的交點(diǎn)。物體平面點(diǎn)到像點(diǎn)之間

的變換是一個(gè)射影變換。

射影變換：點(diǎn)?點(diǎn)；直線一直線；點(diǎn)共線-點(diǎn)共線;

任何射影變換的逆變換（對應(yīng)與單應(yīng)矩陣的

逆）都是射影變換，任意兩個(gè)合成（對應(yīng)兩個(gè)

單應(yīng)矩陣的積）也都是射影變換，因此射影變

換的全體構(gòu)成射影平面上的?個(gè)變換群。

圖1.3.1：投影中心不在物體平面卜?的中心投影

9變換群與不變量

第m.變換：保持距離不變的變換.相當(dāng)于是平移變換和旋轉(zhuǎn)變換的復(fù)合。

R={{rll,rl2,tx},'cos。一sin，X。丫工、

{r21,r22,ty},sin0cos。y()

(0,0,1))10o1

方向平移、方向號(hào)城

三個(gè)自由度：旋轉(zhuǎn)、xy不變量：兩點(diǎn)的距離，兩線的夾角，圖形的面積

"J!變換科：等距變換的逆變換、合成變換都是等距變換，等距變換的全體構(gòu)成一個(gè)等距變換群

相似變換：等距變換和均勻伸縮變換的夕臂換

S={{s*rll,s*rl2,tx},5cos6?-5sin<9x0x

{s*r21,s*r22,ty},ssin0scos。%

[0,0,1))1001

四個(gè)自由度：旋轉(zhuǎn)、x方向平移、y方向平移、縮放因子不變量：兩線的夾角，長度的比值，面積

的比值

相似變換群：相似變換的全體

仿射變換：平移變換和非均勻變換的復(fù)合。

A={{all/al2,txLabx

{a21,a22,ty},A'H）*三對不共線對應(yīng)點(diǎn)唯一確

0r1

定仿射變換(001

(0,0,1})

對A作奇異值分解,得到A=UDVT-U,V為正交矩陣，D為對角為正數(shù)的對角矩陣。

S

(x仿射變換是一個(gè)等距變換VT和一個(gè)均

D=勻伸縮變換D以及另一個(gè)等距變換U

的合成。

*******

與相似變換差異在于非均伸縮

六個(gè)自由度：旋轉(zhuǎn)4個(gè)，X方向+4?夕、yZHTT小夕

不變量：平行性、面積比不變、共線線段和平行線段長度比不變、矢量線性組合不變、面積被縮放det（A）

倍

仿射變換群：仿射變換的全體.*是射影變換的特例

射形變換:但凡利用中心投影或平行投影把一個(gè)圖形映成另一個(gè)圖形的映射都叫做射影變換

討論：k=0：當(dāng)且僅當(dāng)這個(gè)攝影變換把無窮遠(yuǎn)直線變換為通過坐標(biāo)原點(diǎn)的直線。

k!=0：一股情況，此時(shí)H分解為：其中k為行列式等于1的上三角正數(shù)矩陣，R為正交陣

Hp:改變無窮遠(yuǎn)直線的射影變換

H"保持面積比不變的仿射變換

Hs相似變換

自由度：8個(gè)

不變量：變換前后共點(diǎn)，共線，交比，相切，拐點(diǎn)，切線的不連續(xù)性和岐點(diǎn)保持不變。是一個(gè)最為廣義

的線性變換

第四講空間射影幾何一數(shù)學(xué)根底知識(shí)

對上一講的知識(shí)回憶和補(bǔ)充：

1空間點(diǎn)：（0。。。）/在三維射影空間中沒有定義，不能作為三維射影空間中點(diǎn)的齊次坐標(biāo)

2空間平面：平面方程：%|X+%y+乃3Z+44卬即乃『x二（）

空間點(diǎn)的齊次坐標(biāo)X=（x,y,z,w），

平面的齊次坐標(biāo)乃=（勺，乃2,43，%）’無窮遠(yuǎn)平面：乃=（。，0,0,1）'

AAA

空間點(diǎn)（xOzyO,zO）到直線Ax+By+Cz+D=0的距離:d=|AxO+ByO+CzO|/sqrt（A2+B2+C2）

*平面上的無窮遠(yuǎn)直線代表了該平面的法向

結(jié)論：（1）兩平面平行的充要條件是，他們的交線為無窮遠(yuǎn)直線，或他們有相同的方向。

12）直線與直線（平面）平行的充要條件是他們相交于無窮遠(yuǎn)點(diǎn)

三點(diǎn)確定一個(gè)平面計(jì)算：三平面確定一點(diǎn)：

如果三面不共線，則系數(shù)矩陣的秩為3,

否則共線于

1,系數(shù)矩陣的秩為2,則不能唯一確定一

點(diǎn)，而是在

直線上的所有點(diǎn)。

*面共線：面的法線共面

空間平面點(diǎn)的參數(shù)化：給定平面五上不共線三個(gè)點(diǎn)的齊次坐標(biāo)XI,X2,X3,則平面上任一點(diǎn)可表示為：

a、

X=aX1+3X2+yX3=（Xl,X2,X3）ftx=（a,B,丫）為點(diǎn)X的參數(shù)化表示，也是平面點(diǎn)的齊次坐標(biāo)。

3空間直線:

點(diǎn)表?。簩⒅本€作為兩個(gè)點(diǎn)的連線

假設(shè)X1,X?是空間中不重合的點(diǎn)，令W是這兩個(gè)點(diǎn)的齊次坐標(biāo)作為點(diǎn)束:

行所形成的2x4矩陣41］,于是有以下結(jié)論:(xl*a+x2*3,yl*a+y2*B

zl*a+z2*3,o+B)

\X2）1工2必Z2V

即各個(gè)分量都是線性組合

茶束1=｛*=""［：］｝|30€儲(chǔ)｝是連接兩個(gè)空間點(diǎn)工乂,的直線。

而表示：將直線作個(gè)平面的交

碘!倒建就可以由江面］三維射影變換是三維空間中可逆的齊次線性變換，用4*4的矩陣H來描述

仿射變換群：

H為射影變換，或單應(yīng)矩陣。X=HX有15個(gè)自由度。可由15個(gè)參數(shù)確定。

AX,4是三刷避蝴松軍曬臂冊（線、面）變換到點(diǎn)（線、面），并保持點(diǎn)的共線共面性,

UrX線的共面性。

嗣小-變-l.°"是二L階正夕-

任何三維射影變換的逆變換也是三維射影變換。

鬻翻襁籟蠹建雌懿麒雪需器聾變換群，稱為三維射影變換群。

第里講計(jì)算機(jī)視覺中的多視幾3

X2）保持叁線與直線，直綃平面以及平面與平面

之詢的珅毛牲。中心：

⑶保持物體的體積比侗-拜面）平行圖形的面積空間中某一點(diǎn)的非齊次坐標(biāo)為：（Xc,Yc,Zc）

攝像機(jī)坐標(biāo)系與圖像平面坐標(biāo)系之間的關(guān)系:f000

*P：攝像機(jī)矩陣。表示一或空4到曲卜齊次線性變換

主像點(diǎn)偏離圖像平面中心：0010

設(shè)主點(diǎn)在以圖像平面坐標(biāo)系下的坐標(biāo)為：

〃="0,），0,1）7■則空間中的點(diǎn)在圖像平面中的

x=A-

非齊次坐標(biāo)變化為：，

fy

e+）'。

Z,

攝像機(jī)坐標(biāo)系與圖像平面坐標(biāo)系之間的關(guān)系:

攝像機(jī)矩陣的形式闿=K（/,0）,其中

2CCD攝像機(jī)：

f0

假設(shè)CCD攝像機(jī)的每個(gè)像素是矩形,長為dx,寬中的齊次（x,y,i）’

0y。為攝像機(jī)內(nèi)參數(shù)矩陣

坐標(biāo)（〃,匕1）,f

離散化后為001

1/<0A0

\1d

v0K=<04%其中fx=f/dx;fy=f/dy;

I000o1

0

一般CCD攝像機(jī)的像素是一個(gè)平行四邊形，如:

則在攝像機(jī)坐標(biāo)系中空間點(diǎn)在圖像平面中的齊次坐標(biāo)（x,y,I），離散化后為（〃,匕1）

則：

fx$

*K（I,O）為攝顰顰丹＞

3攝像機(jī)矩陣的咿“1

世界坐標(biāo)系：

令空間點(diǎn)在曲屋寐味國旗像就朔,?翔勺坐標(biāo)分別為：

世界坐標(biāo)系9的眼到攝像軸娜魄的變腰聞駢一個(gè)正交變換矩陣R和一個(gè)平移變換矩陣T表示:

齊次坐標(biāo)表示：

其中，丁=（儀"），,々）丁是世界坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)，矩陣R是正交旋轉(zhuǎn)矩陣，其矩陣元素

滿足：

正交旋轉(zhuǎn)矩陣實(shí)際上只含有3個(gè)獨(dú)立變量，再加上tx,ty和tz,總共有六個(gè)參數(shù)決定了攝像機(jī)光軸在世界

坐標(biāo)系中空間位置，因此這六個(gè)參數(shù)稱為攝像機(jī)外部參數(shù)

其中表示攝像機(jī)中心在世界坐標(biāo)系中的非齊次坐標(biāo)。

小結(jié)：?

攝像機(jī)矩陣的一般形式KR（/,-忑），是3x41的矩陣

攝像機(jī)外參數(shù)矩陣：R（i-c）

攝像機(jī)內(nèi)參數(shù)矩陣：K(IZO)

4世界坐標(biāo)系與圖像坐標(biāo)系變換關(guān)系:

世界坐標(biāo)系與圖像坐標(biāo)系變換關(guān)系:

X二〃一〃0二+小。+4

</A5九++,334+4

YV-V臼兀+「22工+「23乙+\

—=----------o=-----------------------------------------------

fA，3及+電兒+，33八+八

齊次坐標(biāo)表示為：

/；00

R

=0fyV00=M1MX=MX

O'2

0010

z是什么含義?

*M1:攝像機(jī)的內(nèi)部參數(shù)矩陣0

M2:攝像機(jī)的外部參數(shù)矩陣

*上式就是攝影測量學(xué)中最根本的共線方程。說明物點(diǎn)、光心和像點(diǎn)這三點(diǎn)必須在同一條直線上。這是

針孔模型或者中心投影的數(shù)學(xué)表達(dá)式。根據(jù)共線方程在攝像機(jī)內(nèi)部參數(shù)確定的條件下，利用假設(shè)十個(gè)的

物點(diǎn)和相應(yīng)的像點(diǎn)坐標(biāo)，就可以求出攝像機(jī)的六個(gè)外部參數(shù)。

5攝像機(jī)矩陣的元素(攝像機(jī)矩陣的幾何意義)

攝像機(jī)的中心：

攝像機(jī)矩陣的一般形式「二是3x4的矩陣

因?yàn)镻C=KRUY)=KR(C-C)=O,所以C=(C,l)r是方程PC=O的一個(gè)解。

故在攝像機(jī)矩陣的情況下，可以通過求解PX=O得到攝像機(jī)中心在世界坐標(biāo)系下的坐標(biāo)。

求解：令P=(〃.〃4),其中H為P的前三列構(gòu)成的3*3矩陣，為第四維向量，從PX=O可以解出

-H'p4

攝像機(jī)中心在世界坐標(biāo)系中的齊次方程C=

坐標(biāo)原點(diǎn)與坐標(biāo)軸方向;

記攝像機(jī)矩陣為。=(P|，P2，〃3，PJ)，其中Pj為P的第j列向量。世界坐標(biāo)系的原點(diǎn)坐標(biāo)為

X=(0,0,0,1)7,所以它的圖像坐標(biāo)為：

即：攝像機(jī)矩陣的第四列向量是世界坐標(biāo)原點(diǎn)圖像的齊次坐標(biāo)

三個(gè)坐標(biāo)軸與無窮遠(yuǎn)平面的交點(diǎn)分別為：

所以他們的圖像坐標(biāo)為：

*s0,sl,s2,s3都是可相差常數(shù)倍數(shù)因子

即：攝像機(jī)矩陣的前三個(gè)欠向量分別是世界坐標(biāo)系3個(gè)坐標(biāo)軸方向的圖像點(diǎn)的齊次坐標(biāo)

主平面與軸平面：

6具體求解攝像機(jī)矩陣：

六點(diǎn)法：

7平面測量：

8歐式空間與射影空間：

一般來說，攝像機(jī)模型可以被看做從三維射影空間到一維射影平面的映射，可用下面的合成矩陣表達(dá):

1）如果其中rank（A）=3,表示三維空間的仿射變換，則

是世界坐標(biāo)系為仿射坐標(biāo)系的攝像機(jī)矩陣，稱它為放射空間中的攝像機(jī)矩陣。

2）如果1其中R是旋轉(zhuǎn)矩陣，s為非零常數(shù)，表示三維空間的相似變換，則

是世界坐標(biāo)系為歐式坐標(biāo)系的攝像機(jī)矩陣，稱它為相似空間中的攝像機(jī)矩陣。

/R八

3）如果〃=T其中R是旋轉(zhuǎn)矩陣，表示三維空間的歐式變換，則

是世界坐標(biāo)系為歐式坐標(biāo)系（量度為絕對量度）的攝像機(jī)矩陣，稱它為歐式空間中的攝像機(jī)矩陣。即前

面所講的攝像機(jī)矩陣。

4）如果"=（1,0）,則

是攝像機(jī)坐標(biāo)系為世界坐標(biāo)系的攝像機(jī)矩陣.

9兩視幾何

1）外極兒何：研究兩幅圖像之間存在的兒何，和場景結(jié)構(gòu)無關(guān)，只依賴于?攝像機(jī)的內(nèi)外參數(shù)。研究這

種幾何可以用在圖像匹配、三維重建方面。

根本概念：

基線：連接兩個(gè)攝象機(jī)光心0（O'）的直線

外極點(diǎn)：基線與像平面的交點(diǎn)

外極平面：過基線的平面

?外極線：對極平面與圖像平面的交線

根本矩陣F：對應(yīng)點(diǎn)對之間的約束m7Fm=0

根本性質(zhì)：

極平囿上任意一點(diǎn)

X在第一個(gè)攝像機(jī)平面上的投影m必位于極線上I

X在第二個(gè)攝像機(jī)平面上的投影m，必位于極線上r

e是第二個(gè)攝像機(jī)光心e，在第一個(gè)攝像機(jī)平面的投影

e，是第一個(gè)攝像機(jī)光心e在第二個(gè)攝像機(jī)平面的投影

m的反投影線I2與m'的反投影線噌必相交于一個(gè)空間點(diǎn)X,

因此反投影線/,?,喀確定一張通過兩攝像機(jī)光心的平面n

極線/；?是反投影線*在第二個(gè)攝像機(jī)下的投影，

極線/“是反投影線/：?在第一個(gè)攝像機(jī)下的投影。

命題一：，

令m<->ni是點(diǎn)對應(yīng)，則mY立于m對應(yīng)的極線,用上，m位于nV對應(yīng)的極線上，即〃?￡/,”,〃?e/,??

給定兩攝像機(jī)下的圖像（1,1'）,極幾何約束說明：

*極幾何約束與場景幾何結(jié)構(gòu)無關(guān)，是兩幅圖像

V〃2￡/,在廠上存在一條極緘“與之對應(yīng)

邸臉的像點(diǎn)加，；

射影性質(zhì)。

Vw'e「，在/上存在一條極級”/與之對應(yīng)

并且對應(yīng)的像點(diǎn)加￡乙；

極幾何的代數(shù)表示：

根本矩陣:描述圖像點(diǎn)與其極線的對應(yīng)關(guān)系

假設(shè)兩個(gè)攝像機(jī)矩陣為p,P',攝像機(jī)平面為IJ,則兩幅圖像之間關(guān)系推導(dǎo)：

令X(S)=P'm+sC,SG(-CO,00)

其中：X(s)是世界坐標(biāo)系下的X坐標(biāo)1m=PX,.(第一個(gè)攝像機(jī)坐標(biāo)系下X坐標(biāo))標(biāo)準(zhǔn)的，s是畸變因子,

一般的X,=X(s)—sC=，〃P+,其中P'是P的廣義逆，即

P+P=J]

C是第一個(gè)攝像機(jī)的光心，即PC=0.

于是.lm.=e'x加=(PC)X(PX⑸)=(PC)X(Pp+m+sP'C)

+

l?t=\e']xP'Pm---------------(2)

記：F=[?1P'P+--------------(3)

小結(jié)：

根本矩陣描述了點(diǎn)m與其對應(yīng)極線I,m的對應(yīng)關(guān)系：lm=Fm-----------------(4)

由于圖像點(diǎn)在第二幅圖像上的對應(yīng)點(diǎn)在極線人上，所以必有：m,TFm=0--------------(5)

Fe=^Fre'=0…--(6)

F:把第一個(gè)圖像平面上的二維空間點(diǎn)齊次線性映射到第二個(gè)圖像平面的共點(diǎn)線束上。

F是齊次變換，3*3矩陣，8個(gè)參數(shù)。

對于每個(gè)圖像點(diǎn)對應(yīng)，(5)為根本矩陣提供一個(gè)線性約束，，8對以上的點(diǎn)對應(yīng)可以線性求解根本矩陣。

根本矩陣F的估計(jì)方法：

8點(diǎn)算法：時(shí)用，F(xiàn)；

rF=FFF

一對對應(yīng)點(diǎn)：mz=[w/,v/J],匕[,1],滿足約束：mjFmj=0其中：2r22?23

_?31?^32??33.

展開得到約束方程^I+%匕式2+%63+也UiF2\+V，i匕G+也居3++匕居2+居3=0

r

對于n對對應(yīng)的圖像點(diǎn)對可以得到n個(gè)這樣的方程，構(gòu)造向量：f=[F11,Fl2,FI3,F2I,F22,F23,F31,F32,F33]

構(gòu)造矩陣：

從而：Af=0

評價(jià)：

8點(diǎn)算法估計(jì)根本矩陣F的結(jié)果與圖像點(diǎn)的坐標(biāo)系有關(guān)。當(dāng)圖像數(shù)據(jù)有噪聲，即對應(yīng)點(diǎn)不精確時(shí)，由8

點(diǎn)算法給出的根本矩陣F的解精度很低。

10三視幾何：三幅圖像之間存在約束:三焦張量T(*四幅或更多圖像之間不存在獨(dú)".的約束，它們可以由

F和T生成。)

根本概念：

三焦張量由三個(gè)3x3矩陣｛Ti，T2,T3｝組成。一共有27個(gè)元素。

三幅圖像之間的約束：17=17",12，13]1"其中：I,r,r為在三幅圖像中對應(yīng)的直線。

根本矩陣與三焦張量之間存在的關(guān)系：

由三焦張量和外極點(diǎn)可得瑪港瞰健螂仁T；,T:]e

rT

P=llT1.T2.T3]Ce]P=[(ee-I)[T,,Tf,T；]ee]

第六講：光學(xué)系統(tǒng)的近軸成像

1小孔成像：

小孔成像的特點(diǎn)：

1小孔成像是由光的直線傳播形成的

2小孔成像與小孔形狀無關(guān)

3小孔成像中像就是光斑

4像是倒立的實(shí)像

2成像：

光線分類：物理光線：光從一個(gè)由兩個(gè)光孔限制的細(xì)長空間（即光管）中通過，假設(shè)光管的截面跟其長

度比可以忽略

時(shí)，這樣的光管叫做物理光線。有直徑有體積。

幾何光線：無直徑無體積的純幾何線

波而：光傳播的空間（波場）中，振動(dòng)相位相同的點(diǎn)在某一時(shí)刻所構(gòu)成的曲面稱為波面。

在各向同性媒質(zhì)中，光沿著波面法線傳播。因此，通常說的幾何光線實(shí)際指的就是波面的法線；

跟波面對應(yīng)的法線束就是通常說的光束。

可以認(rèn)為光束是光能的載體，在同一波面上通過的光束愈寬，其所攜帶的光能就愈多，

單心光束（同心光束）：各光線（或反向延長線）交于同一點(diǎn)的光束。

物點(diǎn)&像點(diǎn)：

?個(gè)以Q點(diǎn)為中心的同心光束經(jīng)光具組（可以是透鏡組，也可以是透鏡跟面鏡的組合等等）：斤射（或反

射）后，轉(zhuǎn)化為另一個(gè)以Q'點(diǎn)為中心的同心光束。Q為物點(diǎn)；Q'為像點(diǎn)。

實(shí)像&虛像：

假設(shè)出射光束是會(huì)聚的，則為實(shí)像；假設(shè)出射同心光束是發(fā)散的，則為虛像。

實(shí)物&虛物：

虛物常出現(xiàn)在光具組聯(lián)合成像的問題中。如一個(gè)光具組出射的是會(huì)聚光束，在會(huì)聚前就遇到了另一個(gè)光

具組，那么，原來的那個(gè)會(huì)聚中心就是后一個(gè)光具組的虛物。

物方&像方：

物方（物空間）：物得光線所在的空間

像方（像空間）：像的光線所在的空間

理想成像：對任何一個(gè)物點(diǎn)成像后仍是一個(gè)點(diǎn)，即同心光束到同心光束

理想光線系統(tǒng)（光具組：：能到達(dá)理想成像的光學(xué)系統(tǒng)，即使任何同心光束保持同心性的光具組，只有平

面鏡可做到

理想成像，其他系統(tǒng)在一定限制下可接近理想成像

像差：如果同心光束的像不成一點(diǎn)，這種情況就稱系統(tǒng)有像差。

物象之間的等光程性：

根據(jù)費(fèi)馬原理，在均勻介質(zhì)中的兩點(diǎn)間（直線傳播）、經(jīng)平面反射的兩點(diǎn)間，以及經(jīng)平面折射的兩點(diǎn)間

的實(shí)際光路均是光程取極小值的情形。即成象系統(tǒng)的物點(diǎn)和像點(diǎn)之間各光線的光程相等。

*推論：任意兩波面間的光程相等

*透鏡在成像過程中只會(huì)改變波面的形狀；不會(huì)引入附加相位差。

3共軸球面組的傍軸（近軸）成像

共鉆球面光具組：由球心在同一直線上的一系列折射或反射球面組成的光學(xué)系統(tǒng)叫共軸光具組。

各球心的連線為光軸

傍對光線：在共軸球面系統(tǒng)中，假設(shè)入射光線和出射光線靠近主光軸，且與主光軸的夾角口很小，使sin

y^tg112u,

cosu"l近似成立，則相應(yīng)的光線稱為傍軸光線。此條件稱為傍軸條件。

在傍軸條件下共軸球面系統(tǒng)可近似看做理想光學(xué)系統(tǒng)。

單個(gè)球面成像公式：

引入S和s',如下列圖：

物象成像公式推導(dǎo)：

根本關(guān)系式：/2sin/=^si