基于結(jié)構(gòu)光與雙目視覺.ppt

2D和3D的關(guān)系 現(xiàn)實(shí)存在的問題一般的物體 Objects 都是三維的 圖像 Images 卻是有關(guān)灰度 顏色等信息的陣列 3D的深度 Depth 信息在一幅圖像上不能明顯的顯示出來 2D的分析需要3D的信息物體表面是連續(xù) 平滑 Smooth 的 物體都有特定的形狀和邊界 3D的信息可以通過2D的圖像計(jì)算出來視差 Disparity 深度 Depth 信息等等 為什么需要兩個(gè)眼睛 物體的深度信息可以通過雙眼的觀察得到 亞像素 Sub pixel 在某些對(duì)精度要求較高的場合 需要對(duì)視差進(jìn)一步精細(xì)化 Refinement 亞像素是其中的一種方法 立體視覺 StereoVision 由兩幅或多幅從不同視點(diǎn)拍攝的圖像恢復(fù)場景三維信息的技術(shù)兩個(gè)主要的子問題匹配問題 視差圖 DisparitySpaceImage 相似而不是相同遮擋問題 場景的某些部分只在一幅圖像中可見重建問題 3D重建所需要的攝像機(jī)參數(shù)立體攝像機(jī)標(biāo)定 極線幾何 EpipolarGeometry 動(dòng)機(jī) 在哪尋找匹配點(diǎn) 極平面極線極點(diǎn)極線約束匹配點(diǎn)必須在極線上 極線幾何 EpipolarGeometry 基線 左右兩像機(jī)光心的連線 極平面 空間點(diǎn) 兩像機(jī)光心決定的平面 極點(diǎn) 基線與兩攝像機(jī)圖像平面的交點(diǎn) 極線 極平面與圖像平面的交線 基線 Essential矩陣 左右兩幅圖像相對(duì)應(yīng)的點(diǎn)之間的關(guān)系可以通過Essential矩陣或是Fundamental矩陣來表明 Essential矩陣是攝像機(jī)標(biāo)定情況下用的 公式 pr和pl分別是齊次攝像機(jī)坐標(biāo)向量 公式描述了點(diǎn)pr位于與向量Epl相關(guān)的外極線上 Essential矩陣是奇異矩陣 并有兩個(gè)相等的非零奇異值 秩為2 Fundamental矩陣 當(dāng)內(nèi)部參數(shù)未知 非標(biāo)定的攝像機(jī) 公式可表示為 M為內(nèi)參矩陣ql qr為圖像坐標(biāo)Fundamental矩陣秩同樣為2 Fundamental矩陣是攝像機(jī)非標(biāo)定的情況用的 Reference LearningOpenCV 圖像校正 RectifiedImages 目的 規(guī)范化極線約束中的極線分布 使得匹配效率得到進(jìn)一步的提高 校正后的圖像不需要求極線方程 因?yàn)橄鄬?duì)應(yīng)的匹配點(diǎn)在圖像相對(duì)應(yīng)的掃描線 Scan line 上 圖像校正 RectifiedImages 在校正圖像中所有極線都平行 關(guān)鍵點(diǎn) A 圖像獲取B 相機(jī)標(biāo)定C 特征提取D 立體匹配E 三維重建 圖像獲取 在進(jìn)行圖像處理之前 先要用攝像機(jī)獲取三維物體的二維圖像 光照條件 相機(jī)的幾何特性等對(duì)后續(xù)的圖像處理造成很大的影響 相機(jī)標(biāo)定 通過攝像機(jī)標(biāo)定來建立有效的成像模型 求解出攝像機(jī)的內(nèi)外參數(shù) 這樣就可以結(jié)合圖像的匹配結(jié)果得到空間中的三維點(diǎn)坐標(biāo) 從而達(dá)到進(jìn)行三維重建的目的 特征提取 特征主要包括特征點(diǎn) 特征線和區(qū)域 大多數(shù)情況下都是以特征點(diǎn)為匹配基元 特征點(diǎn)以何種形式提取與用何種匹配策略緊密聯(lián)系 因此在進(jìn)行特征點(diǎn)的提取時(shí)需要先確定用哪種匹配方法 特征點(diǎn)提取算法可以總結(jié)為 基于方向?qū)?shù)的方法 基于圖像亮度對(duì)比關(guān)系的方法 基于數(shù)學(xué)形態(tài)學(xué)的方法三種 立體匹配 立體匹配 三維重建 有了比較精確的匹配結(jié)果 結(jié)合攝像機(jī)標(biāo)定的內(nèi)外參數(shù) 就可以恢復(fù)出三維場景信息 由于三維重建精度受匹配精度