D感知與目標(biāo)位姿計(jì)算ppt課件

1、Chapter 10 3D Sensing and Object Pose Computation 第十章 3D感知與目的位姿計(jì)算.舉例多攝像機(jī)丈量系統(tǒng)經(jīng)過計(jì)算機(jī)視覺來識(shí)別目的并確定目的位置.經(jīng)過立體視覺求深度放置兩臺(tái)攝像機(jī)，使它們的X軸重合，Y軸和Z軸分別相互平行。Y軸垂直于紙面。右側(cè)攝像機(jī)的原點(diǎn)或投影中心的偏移量為b，b是立體視覺系統(tǒng)的基線(baseline)。目的點(diǎn)P在左圖像中對(duì)應(yīng)點(diǎn)為Pl，在右圖像中對(duì)應(yīng)點(diǎn)為Pr，可以確定點(diǎn)P位于光線LPl和RPr的交點(diǎn)處。根據(jù)類似三角形：.經(jīng)過立體視覺求深度由于坐標(biāo)yl和yr一樣。所以點(diǎn)P的兩個(gè)未知坐標(biāo)x和z可以表示為：d=xl-xr定義：當(dāng)同一個(gè)3D

2、點(diǎn)投影到不同的兩臺(tái)攝像機(jī)圖像上時(shí)，對(duì)應(yīng)點(diǎn)在圖像上的位置差稱為視差(disparity)。留意：到點(diǎn)P的間隔隨著視差的減小而添加，隨著視差的增大而減小。隨著視差趨近零時(shí)，間隔趨近無窮。.建立對(duì)應(yīng)關(guān)系1交叉相關(guān) 對(duì)于知圖像I1(立體圖像對(duì)中的第一幅圖像)中的點(diǎn)P1，假設(shè)在圖像I2(立體圖像對(duì)中第二幅圖像)中存在某個(gè)固定區(qū)域，在該區(qū)域中一定可以找到與P1對(duì)應(yīng)的點(diǎn)P2. 區(qū)域的大小由拍攝這些圖像的攝像機(jī)設(shè)備信息決議。對(duì)于圖像I1的像素P1，搜索I2上的選定區(qū)域，對(duì)P1和P2的鄰域進(jìn)展交叉相關(guān)運(yùn)算，把交叉相關(guān)影響最大的像素，作為P1的最正確匹配點(diǎn)，并用該像素尋覓對(duì)應(yīng)3D點(diǎn)的深度。.2圖符匹配和相關(guān)約束

3、在一幅圖像中尋覓與另一幅圖像特征相匹配的特征。典型特征有銜接類型、線段或區(qū)域。 可以采用一致性標(biāo)志尋覓匹配。部件集合P是第一幅圖像I1中的特征集合。標(biāo)志集L是第二幅圖像I2的特征集合。P上的空間關(guān)系RP要與L上的空間關(guān)系RL一樣。建立對(duì)應(yīng)關(guān)系采用銜接點(diǎn)關(guān)系對(duì)特征進(jìn)展匹配圖中的L銜接和箭頭銜接是能夠的匹配點(diǎn)。普通防止運(yùn)用T銜接，由于它們通常是遮擋的結(jié)果，而不是3D構(gòu)造的實(shí)踐特征。.2圖符匹配和相關(guān)約束 存在問題： 1) 并非第一幅圖像中一切特征都可以在第二幅圖像中檢測(cè)到. 2) 從第一幅圖像特征到第二幅圖像特征映射后，銜接點(diǎn)的對(duì)應(yīng)關(guān)系產(chǎn)生的是一個(gè)稀疏深度映射，不能完全表示三維信息. 處理方法：

4、1) 允許出現(xiàn)一定的誤差，尋覓一種最小誤差映射，或利用延續(xù)松弛法得到近似解. 2) 在求得的稀疏深度映射點(diǎn)上進(jìn)展線性插值運(yùn)算，使稀疏深度映射變得稠密.建立對(duì)應(yīng)關(guān)系.3)外極線約束 兩圖像面位于同一平面并且與基線平行。知圖像I1中的點(diǎn)P1=(x1,y1)，那么圖像I2中的對(duì)應(yīng)點(diǎn)P2=(x2,y2)將與P1位于一樣的掃描線上，也就是y1=y2。這對(duì)圖像為規(guī)范圖像對(duì)。建立對(duì)應(yīng)關(guān)系規(guī)范圖像對(duì)的外極線幾何。3D點(diǎn)P在圖像I1中的投影為P1，在圖像I2中的投影為P2，二幅圖像位于同一平面，與兩攝像機(jī)間的基線平行。光軸垂直于基線并相互平行。.3)外極線約束 建立對(duì)應(yīng)關(guān)系定義：包含3D點(diǎn)P、兩個(gè)光心(或攝像機(jī)

5、)C1和C2，以及P在兩幅圖像中的投影點(diǎn)P1和P2的平面稱為外極面(epipolar plane).定義：外極面與兩幅圖像平面I1和I2的交線e1和e2稱為外極線(epipolar line).定義：立體圖像對(duì)的外極點(diǎn)(epipole)就是一切外極線的交點(diǎn).4順序約束知場(chǎng)景中兩個(gè)點(diǎn)和它們?cè)趦煞鶊D像中的投影點(diǎn)。假設(shè)這兩點(diǎn)位于場(chǎng)景中的延續(xù)外表上，那么在每幅圖像中，它們以一樣的順序位于外極線上。5誤差與場(chǎng)景覆蓋場(chǎng)景覆蓋與計(jì)算深度誤差間尋求平衡。假設(shè)基線很短，確定圖像點(diǎn)P1和P2的位置時(shí)誤差就較小，但在計(jì)算3D點(diǎn)P的深度時(shí)誤差就較大。增大基線可以改良搜索精度，但隨攝像機(jī)彼此遠(yuǎn)離，圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系將

6、喪失。建議兩臺(tái)攝像機(jī)光軸間最好是45度角。建立對(duì)應(yīng)關(guān)系.普通體視構(gòu)造兩臺(tái)攝像機(jī)C1和C2察看一樣的3D任務(wù)區(qū)。工件上的點(diǎn)P在第一幅圖像中的投影為1P，在第二幅圖中的投影為2P。兩臺(tái)攝像機(jī)察看任務(wù)臺(tái)上一樣的工件區(qū)時(shí)，任務(wù)臺(tái)就是一個(gè)完好的3D世界，并且有本人的世界坐標(biāo)系W。任務(wù)區(qū)中3D點(diǎn)wP=wPx, wPy, wPz的位置，可以經(jīng)過兩條投影線wP1O和wP2O的交點(diǎn)確定。.為了進(jìn)展立體視覺計(jì)算，需求知以下條件：要知道攝像機(jī)C1在任務(wù)區(qū)W中的位姿，以及攝像機(jī)的一些內(nèi)部參數(shù)，如焦距。這些信息用攝像機(jī)矩陣(camera matrix)來表示，對(duì)每個(gè)圖像點(diǎn)1P經(jīng)過該矩陣確定3D空間中的一條光線。要知道C

7、2在任務(wù)區(qū)W中的位姿以及它的內(nèi)部參數(shù)。要找出3D點(diǎn)與兩個(gè)2D圖像點(diǎn)(wP,1P,2P)之間的對(duì)應(yīng)關(guān)系。要有公式來計(jì)算兩條投影線wP1O和wP2O的交點(diǎn)wP。普通體視構(gòu)造.基于多攝像機(jī)的3D點(diǎn)計(jì)算根據(jù)兩個(gè)像點(diǎn)r1,c1和r2,c2算出未知的3D點(diǎn)x,y,z，兩個(gè)像點(diǎn)由標(biāo)定好的兩臺(tái)攝像機(jī)攝取。去掉齊次坐標(biāo)s和t,可以得到含3個(gè)未知數(shù)的4個(gè)線性方程。4個(gè)方程中恣意3個(gè)聯(lián)立都可以求出未知點(diǎn)x,y,z，但求出的坐標(biāo)值會(huì)產(chǎn)生微小的差別。.問題：由于攝像機(jī)模型和圖像點(diǎn)的近似誤差，兩臺(tái)攝像機(jī)的投影線并沒有在數(shù)學(xué)的3D空間相交于一點(diǎn)。處理方案：計(jì)算這兩條空間斜交投影線之間的最短間隔，也就是計(jì)算它們公垂線段的長(zhǎng)度

8、。 假設(shè)公垂線比較短，就取公垂線的中點(diǎn)作為兩條投影線的交點(diǎn)。假設(shè)公垂線比較長(zhǎng)，就要斷定在進(jìn)展像點(diǎn)對(duì)應(yīng)計(jì)算時(shí)出現(xiàn)了問題?；诙鄶z像機(jī)的3D點(diǎn)計(jì)算P1和P2是一條直線上的兩個(gè)點(diǎn)，而Q1和Q2是另外一條直線上的兩個(gè)點(diǎn)。u1和u2是沿兩條直線的單位向量。向量V=P1+a1u1-Q1+a2u2就是延續(xù)兩條直線的最短間隔向量，其中a1和a2是兩個(gè)要確定的比例系數(shù)。.利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個(gè)含未知數(shù)a1和a2的線性方程：利用消元法或者行列式法可以很容易解出a1和a2。假設(shè)sV小于某個(gè)閾值，就以為兩條直線相交于點(diǎn)x,y,zt=(1/2)(P1+a1u1)+(Q1+a2u2)?；?/p>

9、多攝像機(jī)的3D點(diǎn)計(jì)算.3D目的重建目的建模的過程可分為四個(gè)步驟： 13D數(shù)據(jù)獲取 普通需求8-10張不同角度的視圖來獲得一系列物體外表的深度數(shù)據(jù)。 2圖像配準(zhǔn) 將深度數(shù)據(jù)轉(zhuǎn)換到一個(gè)3D坐標(biāo)系的過程為圖像配準(zhǔn)過程。 3外表重建 將3D點(diǎn)云用3D網(wǎng)格及格點(diǎn)間聯(lián)絡(luò)表示；用一組3D體素表示目的的整個(gè)體積。 4優(yōu)化 平滑外表等過程.視圖配準(zhǔn)問題提出：為了覆蓋物體的整個(gè)外表，必需根據(jù)多幅視圖得到深度數(shù)據(jù)。處理方法：視圖1到視圖2的變換，要么經(jīng)過準(zhǔn)確的機(jī)械運(yùn)動(dòng)得到，要么經(jīng)過圖像對(duì)應(yīng)求出。從圖像對(duì)應(yīng)求?。合喈?dāng)于完成從一幅視圖映射到另一幅視圖的剛性變換。將其轉(zhuǎn)換到同一坐標(biāo)系下。 1可以借助3D特征如角點(diǎn)和線段特

10、征自動(dòng)完成，基于特征得到3D-3D的對(duì)應(yīng)點(diǎn)，從而計(jì)算出變換關(guān)系。 2利用交互方式，允許用戶在一對(duì)目的圖像上選擇對(duì)應(yīng)點(diǎn)。.視圖配準(zhǔn)(左上)對(duì)兩組深度數(shù)據(jù)進(jìn)展配準(zhǔn)(右上)用戶交互選取4個(gè)對(duì)應(yīng)點(diǎn)(右下)存在少量偏向的初始變換(左下)幾次迭代后，兩組深度數(shù)據(jù)得到很好的對(duì)齊最近點(diǎn)迭代法：得到初始變換，經(jīng)過迭代方法，使對(duì)應(yīng)3D點(diǎn)之間的間隔之和最小化。.外表重建目的：希望重建目的與實(shí)踐物體在外形上盡能夠類似并且堅(jiān)持其拓?fù)錁?gòu)造。(a)配準(zhǔn)的椅子深度數(shù)據(jù)(b)重建過程出現(xiàn)的問題(c)具有正確拓?fù)錁?gòu)造的粗略網(wǎng)格模型.圖片: 可以作為建模的靈感來源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片的三維重建.根本流程.部件一致性分割

11、Xu et al. 2021Input model setModels in part correspondence預(yù)分析候選模型集.形變控制單元 Zheng et al. 2021控制單元: 長(zhǎng)方形和廣義圓柱體相互關(guān)系: 對(duì)稱, 銜接, etc.預(yù)分析候選模型集.第一步:模型驅(qū)動(dòng)的圖像空間構(gòu)造分析基于單幅圖片的三維重建.檢索代表模型模型驅(qū)動(dòng)的標(biāo)號(hào)分割圖割法模型驅(qū)動(dòng)的特征空間構(gòu)造分析.基于單幅圖片的三維重建第二步:候選模型檢索.QueryTop 5 retrieved results全局描畫子檢索候選模型檢索.QueryTop 5 retrieved results部件級(jí)描畫子 候選模型也可恣

12、意選擇候選模型檢索.關(guān)鍵第三步:輪廓驅(qū)動(dòng)的構(gòu)造堅(jiān)持形變基于單幅圖片的三維重建.輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的構(gòu)造堅(jiān)持形變.輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng).輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng).輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng).輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的構(gòu)造堅(jiān)持形變.輪廓驅(qū)動(dòng)的構(gòu)造堅(jiān)持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變.輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變Before optimizationAfter optimization輪廓驅(qū)動(dòng)的構(gòu)造堅(jiān)持形變.輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變B

13、efore optimizationAfter optimizationFinal geometry輪廓驅(qū)動(dòng)的構(gòu)造堅(jiān)持形變.Initial controller reconstructionFront-view構(gòu)造優(yōu)化.單獨(dú)控制對(duì)稱交互控制對(duì)稱臨近約束最初構(gòu)造iterative最終構(gòu)造構(gòu)造優(yōu)化.結(jié)果.?結(jié)果.原始數(shù)據(jù)噪聲點(diǎn)云數(shù)據(jù)未分割有遮擋工具: Microsoft Kinect實(shí)時(shí)提供深度和圖像信息 小而廉價(jià)42數(shù)據(jù)獲取.學(xué)習(xí): 利用多角度拍攝結(jié)果學(xué)習(xí)根本模型translationalrotational43室內(nèi)場(chǎng)景重構(gòu)識(shí)別: 用學(xué)習(xí)到的模型在場(chǎng)景中識(shí)別物體.44室內(nèi)場(chǎng)景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):

14、 利用多角度拍攝結(jié)果學(xué)習(xí)根本模型 用不同基元進(jìn)展根本模型表示.基元長(zhǎng)方體、圓柱體、輻射狀構(gòu)造連通性剛性旋轉(zhuǎn)平移附屬關(guān)系位置信息contacttranslationalrotational45根本模型表示.地平面和書桌物體單獨(dú)聚類部件經(jīng)過一致性分類分割與其類似，后面還需修正46點(diǎn)云數(shù)據(jù)分層表示.初始分配部件 vs. 基元簡(jiǎn)單的對(duì)比高度，法矢量，大小魯棒的形變低漏報(bào)精細(xì)分配部件 vs. 模型迭代的處理位置、形變和分割低漏報(bào)parts47室內(nèi)場(chǎng)景重構(gòu)-識(shí)別階段.初始分配部件 vs. 基元節(jié)點(diǎn)精細(xì)分配部件 vs. 模型Input pointsInitial objectsModels matchedRefined objectsobjectspartsmatched48室內(nèi)場(chǎng)景重構(gòu)-識(shí)別階段.Recognition s