基于結(jié)構(gòu)光與雙目視覺.ppt

2D和3D的關(guān)系 現(xiàn)實存在的問題一般的物體 Objects 都是三維的 圖像 Images 卻是有關(guān)灰度 顏色等信息的陣列 3D的深度 Depth 信息在一幅圖像上不能明顯的顯示出來 2D的分析需要3D的信息物體表面是連續(xù) 平滑 Smooth 的 物體都有特定的形狀和邊界 3D的信息可以通過2D的圖像計算出來視差 Disparity 深度 Depth 信息等等 為什么需要兩個眼睛 物體的深度信息可以通過雙眼的觀察得到 亞像素 Sub pixel 在某些對精度要求較高的場合 需要對視差進一步精細化 Refinement 亞像素是其中的一種方法 立體視覺 StereoVision 由兩幅或多幅從不同視點拍攝的圖像恢復(fù)場景三維信息的技術(shù)兩個主要的子問題匹配問題 視差圖 DisparitySpaceImage 相似而不是相同遮擋問題 場景的某些部分只在一幅圖像中可見重建問題 3D重建所需要的攝像機參數(shù)立體攝像機標定 極線幾何 EpipolarGeometry 動機 在哪尋找匹配點 極平面極線極點極線約束匹配點必須在極線上 極線幾何 EpipolarGeometry 基線 左右兩像機光心的連線 極平面 空間點 兩像機光心決定的平面 極點 基線與兩攝像機圖像平面的交點 極線 極平面與圖像平面的交線 基線 Essential矩陣 左右兩幅圖像相對應(yīng)的點之間的關(guān)系可以通過Essential矩陣或是Fundamental矩陣來表明 Essential矩陣是攝像機標定情況下用的 公式 pr和pl分別是齊次攝像機坐標向量 公式描述了點pr位于與向量Epl相關(guān)的外極線上 Essential矩陣是奇異矩陣 并有兩個相等的非零奇異值 秩為2 Fundamental矩陣 當內(nèi)部參數(shù)未知 非標定的攝像機 公式可表示為 M為內(nèi)參矩陣ql qr為圖像坐標Fundamental矩陣秩同樣為2 Fundamental矩陣是攝像機非標定的情況用的 Reference LearningOpenCV 圖像校正 RectifiedImages 目的 規(guī)范化極線約束中的極線分布 使得匹配效率得到進一步的提高 校正后的圖像不需要求極線方程 因為相對應(yīng)的匹配點在圖像相對應(yīng)的掃描線 Scan line 上 圖像校正 RectifiedImages 在校正圖像中所有極線都平行 關(guān)鍵點 A 圖像獲取B 相機標定C 特征提取D 立體匹配E 三維重建 圖像獲取 在進行圖像處理之前 先要用攝像機獲取三維物體的二維圖像 光照條件 相機的幾何特性等對后續(xù)的圖像處理造成很大的影響 相機標定 通過攝像機標定來建立有效的成像模型 求解出攝像機的內(nèi)外參數(shù) 這樣就可以結(jié)合圖像的匹配結(jié)果得到空間中的三維點坐標 從而達到進行三維重建的目的 特征提取 特征主要包括特征點 特征線和區(qū)域 大多數(shù)情況下都是以特征點為匹配基元 特征點以何種形式提取與用何種匹配策略緊密聯(lián)系 因此在進行特征點的提取時需要先確定用哪種匹配方法 特征點提取算法可以總結(jié)為 基于方向?qū)?shù)的方法 基于圖像亮度對比關(guān)系的方法 基于數(shù)學(xué)形態(tài)學(xué)的方法三種 立體匹配 立體匹配 三維重建 有了比較精確的匹配結(jié)果 結(jié)合攝像機標定的內(nèi)外參數(shù) 就可以恢復(fù)出三維場景信息 由于三維重建精度受匹配精度