第03章 投影變換圖像校正數(shù)字圖像處理 北航

1、第三章第三章 投影變換圖像校正投影變換圖像校正 3.1 投影變換：投影變換： 任一兩坐標系： YX, ：P=X1,X2,X3T ：P1=Y1,Y2,Y3T 令兩坐標系方向余弦為： L11y1與x1之間的方向余弦（夾角余弦） L12y1與x2之間的方向余弦 L13y1與x3之間的方向余弦 Lijyi與xj之間的方向余弦 X Y 得 與 間關(guān)系： YX y1= L11 X1+ L12 X2+ L13 X3 y2= L21 X1+ L22 X2+ L23 X3 y3= L31 X1+ L32 X2+ L33 X3 如： y1 L1 L11 L12 L13 x1 Y= y2 R= L2 = L21 L

2、22 L23 X= x2 y3 L3 L31 L32 L33 x3 則有Y = R X x1 y1= L1 X=L11 L12 L13 x2 = x3 L1 為X與y1之間的方向余弦 到二維空間來理解: x1=x cos(+) x2=x sin(+) y1= x1 cos+ x2 cos(90-) = x cos y2= - x1 sin+ x2 cos 三維坐標中饒x3轉(zhuǎn)角 則有: L11= cos L12= cos(90-) = sin L13=0 L21= cos(90+) = -sin L22= cos L23= L31= L32= 0 = cos90 L33=1 x1 x2 y1 y

3、2 x x1 x2 y1 y2 x2 x3 x1 y1 y2 n k kjki n k jkik ji ji aa ji ji aa 1 1 0 1 0 1 或： -sin cos 0 0 0 1 矩陣正交條件: 即：R= cos sin 0 旋轉(zhuǎn)陣R為正交矩陣 二維時: y1 = cos sin x1 y2 -sin cos x2 有： x1 = cos sin y1 x2 sin cos y2 三維時： 有：L112 + L122 + L132 =1 A 有： A2（cos2+ cos2+ cos2）= A2 正交陣 RT = R-1 有： X = RTY x1= L11y1+ L21y2

4、+ L31y3 x2= L12y1+ L22y2+ L32y3 x3= L13y1+ L23y2+ L33y3 繞x3、x2、x1旋轉(zhuǎn)的矩陣、轉(zhuǎn)角逆時針為正： 繞x3軸轉(zhuǎn)角 cos sin 0 R3= -sin cos 0 0 0 1 繞x2軸轉(zhuǎn)角 cos 0 -sin R2= 0 1 0 sin 0 cos 繞x1軸轉(zhuǎn)角 1 0 0 R1= 0 cos sin 0 - sin cos x2 y2 x1 y1 x3 y3 x2 y2 x1 y1 x3 y3 任意旋轉(zhuǎn)： 3 , 2 , 1, kjiRRRR kji 注意到： m11 m12 m13 R = m21 m22 m23 只包括旋轉(zhuǎn)。

5、m31 m32 m33 進一步的（旋轉(zhuǎn)、位移、透視、縮放）如何呢？進一步的（旋轉(zhuǎn)、位移、透視、縮放）如何呢？ 我們引入齊次坐標系，擴展了非線性項透視、位移 m11 m12 m13 m14 x向 H = m21 m22 m23 m24 y向 m31 m32 m33 m34 z向透視變換結(jié)果 m41 m42 m43 m44 x向位移 展開理解： 位移：|x y z 1| 1 1 = |x+ Tx,y+ Ty,z+ Tz , 1| 1 Tx Ty Tz 1 透視： zf y f y zf x f x 1212 , f z x zf fx x 1 : 11 2 得 y1 x1 y2 x2 p1 p2

6、焦點 f z Z | x1 y1 z 1 | 1 1 = | x1 y1 0 1+z/f| 0 1/f 1 z的透視變換結(jié)果 H HH H H Wyx W y W x W f z yx f z W 101010 1 22 11 11 縮放： | x1 y1 z1 1| m11 m22 m33 m44 =| m11x1 m22y1 m33z1 m44 | 分項比 總比例 由三維變到二維空間： | x1 y1 z1 1| m11 m12 0 m14 m21 m22 0 m24 = WH|x2 y2 0 1 | m31 m32 0 m34 m41 m42 0 m44 矩陣A 矩陣B 矩陣C 討論：討

7、論： 給定mij及空間點A，可求C，即由三維求二維投影結(jié)果。 由B、C求A，即由兩組不同的二維投影，可以算出三維空間坐 標，用于立體測距（兩個相機相對關(guān)系確定，如二目測距） 由A、C求B，由足夠的空間點對及其二維投影可算出兩坐標系 間的變換關(guān)系（mij） 展開: WH x2 = m11x1+ m21y1+ m31z1+ m41 WH y2 = m12x1+ m22y1+ m32z1+ m42 WH = m14x1+ m24y1+ m34z1+ m44 令m44=1，消去WH得： m11x1+ m21y1+ m31z1+ m41m14x1x2m24y1x2m34z1x2 = x2 m12x1+

8、m22y1+ m32z1+ m42m14x1y2m24y1y2m34z1y2= y2 12個系數(shù)，僅有二個方程，需要6對點可解。 立體測量原理：立體測量原理： 立體測量參照系統(tǒng)的標定：立體測量參照系統(tǒng)的標定： 3.2 幾何變換幾何變換 研究典型的變換關(guān)系、典型線性變換、二維面上的線性變換含義表 示及特征。 1) 點變換 比例變換：x y a 0 = ax, by=x* y* 0 b 新坐標 舊坐標 原點變換：x y a b = 0 0 c d 翻轉(zhuǎn)： 繞x軸x y 1 =x, -y=x* y* -1 繞y軸x y -1 0 =-x, y=x* y* 0 1 繞x=y軸x y 0 1 =y, x

9、=x* y* 1 0 剪移：x y 1 b = x, bx+y 0 1 = x* y* 同樣：x y 1 0 = cx+y ,y c 1 = x* y* x y bx y p*(x,bx+y) bx p(x,y) 2)2)直線變換兩個點的變換直線變換兩個點的變換 A a b = A* B c d B* 兩條平行線變換后是否仍平行？ x1 y1 a b = ax1+cy1 bx1+dy1 = x1* y1* = A* x2 y2 c d ax2+cy2 bx2+dy2 x2* y2* B* 1 12 12 1 另一條平行線斜率m xx yy m 1 1 1122 1122 12 12 2 cma

10、 dmb cyaxcyax dybxdybx xx yy m 原來線的斜率： A* 、 B*的斜率： 同理m1線變換后 1 1 2 cma dmb m 故故m2= m2 平行線變換后，仍平行！平行線變換后，仍平行！ 3 3）面）面三個點的關(guān)系，方位面積關(guān)系三個點的關(guān)系，方位面積關(guān)系 注意：任意情況可由任意序列變換矩陣的組合，但順序是不可變換 的，否則結(jié)果是不同的。 下面討論一下單位正方形變換前后面積變化單位正方形變換前后面積變化。 單位正方形：經(jīng) a b 變換后面積關(guān)系： c d A 0 0 0 0 A* B 1 0 a b = a b = B* C 1 1 c d a+c b+d C* D

11、0 1 c d D* 變換后面積： AT = (a+c)(b+d)1/2 ab1/2 cd c/2(b+b+d)b/2(c+a+c) = ad bc = detT-變換矩陣的行列式的值 注：此式可適用于任意形狀 任意多邊形可理解為無數(shù)個小正方形組成。 前面沒有討論位移，加入位移后增加擴展項 x y 1 1 0 0 = x+m y+n 1 0 1 0 m n 1 3.3 圖像校正：圖像校正： 原因：原因：有畸變。清除畸變一般多用于遙感圖像 變形因素：變形因素：輻射量引起畸變 幾何形狀畸變 遙感器：光學邊緣減光中間亮兩邊暗 電子系統(tǒng)，靈敏度偏移 輻射量畸變輻射量畸變： 太陽高度影響 地形變化 大氣

12、（復雜） 幾何畸變幾何畸變：透視效應，光學系統(tǒng)畸變，視角，機械系統(tǒng)速度不均勻。 校正兩種途徑：校正兩種途徑： 根據(jù)畸變原因，建立數(shù)學模型（實際情況復雜不適用） 參考點校正法推算全圖變形函數(shù)，前提是足夠多的參考點。 3.4幾何校正方法：幾何校正方法： 1)模型校正和綜合校正： AB DC A C B D B（舊）實際采到 A（新） 可建立：A = H B 校正后 變換矩陣 待校正 AA對應點對，由4個對應點對，求H，一般為N對 模型校正模型校正：即直接找出變換H 由h、V、 (相機安裝角) 、 - 模型H （X、Y、Z） 同地面點校準 評價：參數(shù)誤差大，不好確定 如：衛(wèi)星600KM高，角誤差是0

13、.001弧度 (千分之一弧度) 地面誤差：60010000.001=600M h 地面 衛(wèi)星 綜合校正：綜合校正： a) 局部插值法局部插值法：任一小三角形，三對對應點對關(guān)系已知 x = a b u + c x=au+bv+c y d e v f y=du+ev+f 只要3個對應點對，即可求得a,b,c,d,e,f系數(shù) 分析缺點： 線性關(guān)系實際中不一定是 線性 外插效果不好，所以 要求 對應點對足夠多，能覆蓋全圖 1 23 1 2 3 * o o 舊圖新圖 b)擬合法：擬合法： 全圖：x = f1(u,v) y = f2(u,v) 更復雜的，全圖是一個函數(shù)一般用三階函數(shù) 。 2）基本問題：）基

14、本問題： 兩種途徑： 給定舊圖坐標（x,y） 找 （u,v）u = f1(x,y) v = f2(x,y) 給定新圖坐標（u,v） 找 （x,y）x = g1(u,v) (可免去多余或缺少點) y = g2(u,v) 舊：1 2 3 4 5 6 7 新：1 2 3 4 5 6 7 舊：1 2 3 4 5 6 7 新：1 2 3 4 5 6 7 （ 整數(shù)點才有意義） （可免去多余或缺少點 ） 新-舊圖帶來非整數(shù)點問題： Y X 舊圖 v u 新圖 解決此問題，需要坐標變換、灰度插值。 3)典型坐標變換方法：典型坐標變換方法： x = g1(u,v) y = g2(u,v) g1，g2函數(shù)函數(shù)可逼

15、近任意函數(shù) N i iN j ji ij N i iN j ji ij vuky vukx 00 2 00 1 N: 多項式階數(shù)，一般N=3 假設(shè)N=2時： x = k100+ k110u + k101v+ k120u2+ k102v2+ k111uv y = k200+ k210u + k201v+ k220u2+ k202v2+ k211uv k12個 (x,y) (u,v) 6對即可（實際上用12對） 設(shè)坐標點數(shù)R ，當R 6，寫成矩陣形式。 RRRRRR Rvuvuvu vuvuvu vuvuvu U k k k k k k U x x x x UKY UKX 22 22 2 2 2

16、222 11 2 1 2 111 111 102 120 101 110 100 3 2 1 2 1 1 1 1 U維數(shù)：R * 6 當R 6時超定方程求解，用最小二乘解： 誤差： YUUUK XUUUK XUKU k J XUKKJ XUKe TT TT T 1 2 1 1 1 1 2 11 1 )( )(: 0)(2 )( 求得 R對對應點對取法：N=2 時 R6 N=3 時 R10 X = a+bu+cv+du2+ev2+fuv+gu2v+huv2+Iu3+Jv3 Y = 給定 （u,v）（x,y）需20次2=40乘法 如何加速？如何加速？ 4) 灰度插值灰度插值 Y X 舊圖 v u

17、新圖 非整數(shù)坐標，灰度如何選取 ？ 三種途徑： 近鄰法近鄰法：（u,v）（x,y） (int)(x+0.5)；(int)(y+0.5) 整數(shù) 小數(shù) 缺點：校正后的圖象亮度有明顯的不連續(xù)性 雙線性插值雙線性插值 f(0,y)=f(0,0)+yf(0,1)-f(0,0) f(1,y)=f(1,0)+yf(1,1)-f(1,0) f(x,y)=f(0,y)+xf(1,y)-f(0,y) = f(0,0)+f(1,0)-f(0,0)x +f(0,1)-f(0,0)y+f(1,1)+f(0,0) -f(0,1)-f(1,0)xy = ax+by+cxy+d 雙曲拋物面 雙線性內(nèi)插法具有低通濾波性質(zhì)，使

18、高頻分量受損，圖象輪廓模糊 f(0,y) f(1,y) f(x,y) y x (0,0)(1,0) (0,1) (1,1) (x,y) 立方卷積插值立方卷積插值 理論上最佳的函數(shù)。Sinc(s) s s sc sin )(sin 用三次多項式W(S)來逼近它 S3 - 2S2 + 1 0S1 W（S）= -S3 + 5S2 - 8S+ 4 1S2 -2 -1 0 1 2 W(s) s 計算時周圍16個鄰點 u方向上 I（u）= w(u)I2+w(1+u) I1+ w(1-u) I3 + w(2-u) I4 = ( I4- I3+ I2- I1)u3-( I4 - I3 + 2 I2 - 2I1)u2 + ( I3 -I1)u+ I2 分別在行列方向樣條插值 二維：二維：f(u,v) = A B C j-1 j j+1 j+2 i-1 i i+1 i+2 v u 1+u u 1-u2-u I1 I2 I3 I4 I(u) w(1+u) T A = w(u) w(1-u) w