圖像拼接維維

圖像拼接維維第1頁，課件共92頁，創(chuàng)作于2023年2月1基礎知識1圖形學的研究內(nèi)容23Ddatatypes32?-DData4Reconstruction5RangeAcquisitionMethods第2頁，課件共92頁，創(chuàng)作于2023年2月2第3頁，課件共92頁，創(chuàng)作于2023年2月3MainThemesImagingRepresenting2DimagesModelingRepresenting3DobjectsRenderingConstructing2Dimagesfrom3DmodelsAnimationSimulatingchangesovertime第4頁，課件共92頁，創(chuàng)作于2023年2月4Modeling--DesignGraphicsforEngineeringandArchitecturalSystemAutoCAD2002InteriorDesign第5頁，課件共92頁，創(chuàng)作于2023年2月5Modeling--Reconstruction第6頁，課件共92頁，創(chuàng)作于2023年2月63DDataTypesPointData“Pointclouds”Advantage:simplestdatatypeDisadvantage:noinformationonadjacency/connectivityVolumetricDataRegularly-spacedgridin(x,y,z):“voxels”Foreachgridcell,storeOccupancy(binary:occupied/empty)DensityOtherpropertiesPopularinmedicalimagingCATscansMRI第7頁，課件共92頁，創(chuàng)作于2023年2月73DDataTypesAdvantages:Can“seeinside”anobjectUniformsampling:simpleralgorithmsDisadvantages:LotsofdataWastesspaceifonlystoringasurfaceMost“vision”sensors/algorithmsreturn

pointorsurfacedata第8頁，課件共92頁，創(chuàng)作于2023年2月83DDataTypesSurfaceDataPolyhedralPiecewiseplanarPolygonsconnectedtogetherMostpopular:“trianglemeshes”SmoothHigher-order(quadratic,cubic,etc.)curvesBézierpatches,splines,NURBS,subdivisionsurfaces,etc.第9頁，課件共92頁，創(chuàng)作于2023年2月93DDataTypesAdvantages:UsuallycorrespondstowhatweseeUsuallyreturnedbyvisionsensors/algorithmsDisadvantages:Howtofind“surface”fortranslucentobjects?Parameterizationoftennon-uniformNon-topology-preservingalgorithmsdifficultImplicitsurfaces(cf.parametric)Zerosetofa3DfunctionUsuallyregularlysampled(voxelgrid)Advantage:easytowritealgorithmsthatchangetopologyDisadvantage:wastedspace,time第10頁，課件共92頁，創(chuàng)作于2023年2月102?-DDataImagestoresanintensity/coloralong

eachofasetofregularly-spacedraysinspaceRangeimagestoresadepthalongeachofasetofregularly-spacedraysinspaceNotacomplete3Ddescriptiondoesnotstoreobjectsoccluded(fromsomeviewpoint)View-dependentscenedescription第11頁，課件共92頁，創(chuàng)作于2023年2月112?-DDataThisiswhatmostsensors/algorithms

reallyreturnAdvantagesUniformparameterizationAdjacency/connectivityinformationDisadvantagesDoesnotrepresententireobjectViewdependent第12頁，課件共92頁，創(chuàng)作于2023年2月122?-DDataRangeimagesRangesurfacesDepthimagesDepthmapsHeightfields2?-DimagesSurfaceprofilesxyzmaps…第13頁，課件共92頁，創(chuàng)作于2023年2月13RelatedFieldsComputerVisionPassiverangesensingRarelyconstructcomplete,accuratemodelsApplication:recognitionMetrologyMaingoal:absoluteaccuracyHighprecision,provableerrorsmoreimportantthanscanningspeed,completecoverageApplications:industrialinspection,qualitycontrol,modeling第14頁，課件共92頁，創(chuàng)作于2023年2月14RelatedFieldsComputerGraphicsOftenwantcompletemodelLownoise,geometricallyconsistentmodelmoreimportantthanabsoluteaccuracyApplication:animatedCGcharacters第15頁，課件共92頁，創(chuàng)作于2023年2月15TerminologyRangeacquisition,shapeacquisition,rangefinding,rangescanning,3DscanningAlignment,registrationSurfacereconstruction,3Dscanmerging,scanintegration,surfaceextraction3Dmodelacquisition第16頁，課件共92頁，創(chuàng)作于2023年2月16RangeAcquisitionTaxonomyRange

acquisitionContactTransmissiveReflectiveNon-opticalOpticalIndustrialCTMechanical(CMM,jointedarm)RadarSonarUltrasoundMRIUltrasonictrackersMagnetictrackersInertial(gyroscope,accelerometer)第17頁，課件共92頁，創(chuàng)作于2023年2月17RangeAcquisitionTaxonomyOptical

methodsPassiveActiveShapefromX: stereo motion shading texture focus defocusActivevariantsofpassivemethods Stereow.projectedtexture Activedepthfromdefocus PhotometricstereoTimeofflightTriangulation第18頁，課件共92頁，創(chuàng)作于2023年2月18TouchProbesJointedarmswithangularencodersReturnposition,orientationoftipFaroArm–FaroTechnologies,Inc.第19頁，課件共92頁，創(chuàng)作于2023年2月19OpticalRangeAcquisitionMethodsAdvantages:Non-contactSafeUsuallyinexpensiveUsuallyfastDisadvantages:SensitivetotransparencyConfusedbyspecularityandinterreflectionTexture(helpssomemethods,hurtsothers)第20頁，課件共92頁，創(chuàng)作于2023年2月20StereoFindfeatureinoneimage,searchalongepipolarlineinotherimageforcorrespondence第21頁，課件共92頁，創(chuàng)作于2023年2月21StereoAdvantages:PassiveCheaphardware(2cameras)EasytoaccommodatemotionIntuitiveanaloguetohumanvisionDisadvantages:Onlyacquiregooddataat“features”Sparse,relativelynoisydata(correspondenceishard)BadaroundsilhouettesConfusedbynon-diffusesurfacesVariant:multibaselinestereotoreduceambiguity第22頁，課件共92頁，創(chuàng)作于2023年2月22ActiveOpticalMethodsAdvantages:UsuallycangetdensedataUsuallymuchmorerobustandaccuratethanpassivetechniquesDisadvantages:Introduceslightintoscene(distracting,etc.)Notmotivatedbyhumanvision第23頁，課件共92頁，創(chuàng)作于2023年2月23PulsedTimeofFlightBasicidea:sendoutpulseoflight(usuallylaser),timehowlongittakestoreturn第24頁，課件共92頁，創(chuàng)作于2023年2月24PulsedTimeofFlightAdvantages:Largeworkingvolume(upto100m.)Disadvantages:Not-so-greataccuracy(atbest~5mm.)Requiresgettingtimingto~30picosecondsDoesnotscalewithworkingvolumeOftenusedforscanningbuildings,rooms,archeologicalsites,etc.第25頁，課件共92頁，創(chuàng)作于2023年2月25AMModulationTimeofFlightModulatealaseratfrequencym,

itreturnswithaphaseshiftNotetheambiguityinthemeasuredphase!

Rangeambiguityof1/2mn第26頁，課件共92頁，創(chuàng)作于2023年2月26AMModulationTimeofFlightAccuracy/workingvolumetradeoff

(e.g.,noise~1/500workingvolume)Inpractice,oftenusedforroom-sizedenvironments(cheaper,moreaccuratethanpulsedtimeofflight)第27頁，課件共92頁，創(chuàng)作于2023年2月27TriangulationMostscannersmountcameraandlightsourcerigidly,movethemasaunitMovingtheCameraandIllumination第28頁，課件共92頁，創(chuàng)作于2023年2月28Triangulation:Extendingto3DPossibility#1:addanothermirror(flyingspot)Possibility#2:projectastripe,notadotObjectLaserCamera第29頁，課件共92頁，創(chuàng)作于2023年2月29TriangulationScannerIssuesAccuracyproportionaltoworkingvolumeScalesdowntosmallworkingvolume

(e.g.5cm.workingvolume,50m.accuracy)Two-line-of-sightproblem(shadowingfromeithercameraorlaser)Triangulationangle:non-uniformresolutioniftoosmall,shadowingiftoobig(usefulrange:15-30)第30頁，課件共92頁，創(chuàng)作于2023年2月30TriangulationScannerIssuesMaterialproperties(dark,specular)SubsurfacescatteringLaserspeckleEdgecurlTextureembossing第31頁，課件共92頁，創(chuàng)作于2023年2月31Multi-StripeTriangulationTogofaster,projectmultiplestripesButwhichstripeiswhich?Answer#1:assumesurfacecontinuityAnswer#2:coloredstripes(ordots)第32頁，課件共92頁，創(chuàng)作于2023年2月32Multi-StripeTriangulationAnswer#3:time-codedstripes第33頁，課件共92頁，創(chuàng)作于2023年2月33Time-CodedLightPatternsAssigneachstripeauniqueilluminationcode

overtime[Posdamer82]SpaceTime第34頁，課件共92頁，創(chuàng)作于2023年2月34InSpeck3D-DF

第35頁，課件共92頁，創(chuàng)作于2023年2月35內(nèi)容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉(zhuǎn)型曲面碎片旋轉(zhuǎn)軸和母曲線的估計5旋轉(zhuǎn)型曲面碎片的拼接6總結(jié)與展望第36頁，課件共92頁，創(chuàng)作于2023年2月36文物文物是人類在歷史發(fā)展過程中遺留下來的具有歷史、藝術(shù)、科學價值的遺物和遺跡。珍貴的文物經(jīng)受了不同程度的破壞和損害。每一次考古發(fā)現(xiàn)都會帶來大量殘缺、破碎的文物。第37頁，課件共92頁，創(chuàng)作于2023年2月37文物修復文物修復是指從殘缺、破碎的文物碎片中清理、修復出完整的文物，還原其本來面目。修復后的文物可以用于考古研究、博物館展覽、商業(yè)文化交流等活動中文物修復一般經(jīng)過清理、拼接、粘合、補缺、全色幾道工序。第38頁，課件共92頁，創(chuàng)作于2023年2月38文物修復的困難文物修復技術(shù)性強。修復任務十分繁重，全國現(xiàn)有2000多萬件破損文物。操作不當會造成珍貴文物的進一步磨損和破壞。大型文物的搬運、拼接、粘合都比較困難。第39頁，課件共92頁，創(chuàng)作于2023年2月39考古現(xiàn)場的文物碎片第40頁，課件共92頁，創(chuàng)作于2023年2月40計算機輔助文物復原加快文物復原的速度避免修復過程對文物的損害降低文物修復的難度把復原文物的數(shù)字模型直接應用于數(shù)字博物館的文物展示和檢索中，實現(xiàn)資源共享。在古生物學、事故分析、醫(yī)學手術(shù)、刑事偵查、娛樂游戲、地理分析、自動裝配、計算機輔助設計、化學等領(lǐng)域也有應用背景。第41頁，課件共92頁，創(chuàng)作于2023年2月41輔助修復的內(nèi)容拼接、補缺和全色可以利用計算機輔助進行。數(shù)據(jù)獲取二維圖像:圖像配準三維數(shù)據(jù):多視數(shù)據(jù)配準缺片填補Imageinpainting技術(shù)基于樣本的紋理合成幾何數(shù)據(jù)的空洞填充碎片拼接預處理、提取特征局部拼接整體重建第42頁，課件共92頁，創(chuàng)作于2023年2月42國內(nèi)外研究現(xiàn)狀美國stanford大學的FormaUrbisRomae項目美國Brown大學的SHAPE項目英國Brunel大學與歐洲十幾所大學3DMuraleSiggraph2005上MarkPauly的反問題浙江大學潘云鶴院士敦煌壁畫保護與修復西北大學周明全教授兵馬俑復原第43頁，課件共92頁，創(chuàng)作于2023年2月43平面碎片拼接的研究現(xiàn)狀自動拼版游戲(jigsawpuzzle)

拼版大小均勻，形狀規(guī)則邊界拼版完全匹配AndrewGlassner彩色照片碎片利用了顏色信息曲線匹配計算碎片間連續(xù)匹配的子曲線碎片之間是完全匹配嗎？

第44頁，課件共92頁，創(chuàng)作于2023年2月44曲面碎片拼接的研究現(xiàn)狀多視數(shù)據(jù)配準（multiviewregistration）依據(jù)視圖的重疊部分空間曲線曲面匹配曲線的曲率和撓率曲面的特殊性質(zhì)如何提取碎片的邊界線？如何計算邊界線的曲率？第45頁，課件共92頁，創(chuàng)作于2023年2月45邊界檢測的研究現(xiàn)狀沒有被三角形鏈包圍的點基于采樣點的Voronoi圖遞歸最小二乘法Pearson卡方檢驗和遺傳算法最小生成樹法精確、整體最優(yōu)的邊界？

第46頁，課件共92頁，創(chuàng)作于2023年2月46旋轉(zhuǎn)型曲面碎片旋轉(zhuǎn)型曲面碎片出土最多，使用最廣泛最容易破碎可靠的記時器形制和裝飾的變化反映了文化的分布和傳播考古學家認為陶器是歷史的脊柱第47頁，課件共92頁，創(chuàng)作于2023年2月47旋轉(zhuǎn)型曲面碎片的研究現(xiàn)狀三維Hough變換估計旋轉(zhuǎn)軸M-estimator方法估計旋轉(zhuǎn)軸向量枚舉法估計旋轉(zhuǎn)軸分兩步求解兩個自由參數(shù)的最小化問題，實現(xiàn)拼接陶器表面的小裝飾物？

重疊檢測？最優(yōu)拼接？第48頁，課件共92頁，創(chuàng)作于2023年2月48本文的工作基礎山東大學考古數(shù)字博物館1萬余件文物藏品的數(shù)字化100多件文物精品三維數(shù)據(jù)文物信息管理系統(tǒng)網(wǎng)站內(nèi)容采編系統(tǒng)虛擬展館及交互漫游系統(tǒng)基于Web的多媒體展示系統(tǒng)計算機輔助文物建模系統(tǒng)第49頁，課件共92頁，創(chuàng)作于2023年2月49計算機輔助文物建模系統(tǒng)第50頁，課件共92頁，創(chuàng)作于2023年2月50本文的研究內(nèi)容平面碎片的特征提取邊界線的特征點邊界線的曲率平面碎片的拼接曲面碎片的特征提取邊界線的提取邊界線的曲率旋轉(zhuǎn)型曲面碎片的旋轉(zhuǎn)軸和母曲線旋轉(zhuǎn)型曲面碎片的拼接第51頁，課件共92頁，創(chuàng)作于2023年2月51內(nèi)容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉(zhuǎn)型曲面碎片旋轉(zhuǎn)軸和母曲線的估計5旋轉(zhuǎn)型曲面碎片的拼接6總結(jié)與展望第52頁，課件共92頁，創(chuàng)作于2023年2月52平面碎片的拼接非常薄的平面文物碎片一般采用二維圖像表示重點考慮碎片之間一般是不完全匹配的特點第53頁，課件共92頁，創(chuàng)作于2023年2月53拼接流程碎片的接合一般有Y和T兩種類型接合點至少是其中一條曲線的特征點

第54頁，課件共92頁，創(chuàng)作于2023年2月54基于移動向量的數(shù)字曲線曲率計算利用曲線的Taylar展開第55頁，課件共92頁，創(chuàng)作于2023年2月55第56頁，課件共92頁，創(chuàng)作于2023年2月56數(shù)字曲線特征點的提取構(gòu)造尺度－特征曲線用雙曲線擬合尺度－特征曲線雙曲線頂點對應的尺度作為自適應尺度值，計算特征點第57頁，課件共92頁，創(chuàng)作于2023年2月57所有最長公共子序列的檢測最長公共子序列問題是最長公共子串問題的一般形式，在匹配字符串時允許插入、刪除字符，可以用來估計兩個字符串的相似程度，相當于允許對曲線進行拉伸、縮短操作，符合物體碎片的拼接情況。但是一般的LCS算法，只能求出其長度和一個LCS。為了避免丟失正確的拼接情況，需要找出碎片之間所有可能的合理拼接情況，需要檢測所有的最長公共子序列(ALCS)?；趩挝凰脑獢?shù)的絕對定位方法，根據(jù)找出的LCS，計算剛體變換矩陣。第58頁，課件共92頁，創(chuàng)作于2023年2月58重疊檢測第59頁，課件共92頁，創(chuàng)作于2023年2月59度量標準距離度量：變換后的匹配點之間的剩余距離之和越小越好。長度度量：輪廓曲線的匹配部分越長越好。變化度量：曲率變化比較大的同樣的兩條子輪廓曲線，更可能是正確的匹配。第60頁，課件共92頁，創(chuàng)作于2023年2月60實驗結(jié)果第61頁，課件共92頁，創(chuàng)作于2023年2月61第62頁，課件共92頁，創(chuàng)作于2023年2月62內(nèi)容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉(zhuǎn)型曲面碎片旋轉(zhuǎn)軸和母曲線的估計5旋轉(zhuǎn)型曲面碎片的拼接6總結(jié)與展望第63頁，課件共92頁，創(chuàng)作于2023年2月63曲面碎片用三維掃描儀對碎片表面采樣，可以得到稠密均勻的采樣點集，稱為點云點集開曲面表示的碎片是指外表面為曲面、厚度非常薄的空心文物的碎片。點云表示三維碎片比網(wǎng)格表示具有很多優(yōu)勢第64頁，課件共92頁，創(chuàng)作于2023年2月64主要步驟根據(jù)一個點周圍的k個最鄰近點，計算每個點的邊界概率。為了找到真正的邊界點，根據(jù)點的邊界概率和局部鄰近關(guān)系構(gòu)造一個賦權(quán)無向圖。利用最大圈算法尋找邊界線，保證提取的邊界線是封閉的，且是整體最優(yōu)的。第65頁，課件共92頁，創(chuàng)作于2023年2月65度量標準最大角度量半圓盤度量形狀度量綜合標準第66頁，課件共92頁，創(chuàng)作于2023年2月66典型數(shù)據(jù)的邊界概率值第67頁，課件共92頁，創(chuàng)作于2023年2月67封閉邊界線的提取對鄰近點在最小二乘平面上的投影進行Delaunay三角化，如果兩個點屬于同一個三角形，則定義為相鄰。點云作為無向圖的頂點集合點的局部鄰接關(guān)系作為無向圖的邊集合邊的權(quán)值提取封閉邊界曲線就轉(zhuǎn)換為在賦權(quán)無向圖中尋找最大圈問題第68頁，課件共92頁，創(chuàng)作于2023年2月68最大圈算法構(gòu)造另外一個賦權(quán)無向圖

第69頁，課件共92頁，創(chuàng)作于2023年2月69第70頁，課件共92頁，創(chuàng)作于2023年2月70實驗結(jié)果第71頁，課件共92頁，創(chuàng)作于2023年2月71第72頁，課件共92頁，創(chuàng)作于2023年2月72最小生成樹方法vs最大圈方法第73頁，課件共92頁，創(chuàng)作于2023年2月73內(nèi)容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉(zhuǎn)型曲面碎片旋轉(zhuǎn)軸和母曲線的估計5旋轉(zhuǎn)型曲面碎片的拼接6總結(jié)與展望第74頁，課件共92頁，創(chuàng)作于2023年2月74旋轉(zhuǎn)體通過旋轉(zhuǎn)軸、母曲線可以完全描述旋轉(zhuǎn)體的幾何結(jié)構(gòu)避免陶器表面小裝飾物的影響第75頁，課件共92頁，創(chuàng)作于2023年2月75主要步驟計算碎片上各個點的法線，并用Plucker坐標表示采用RANSAC方法估計旋轉(zhuǎn)軸的自由參數(shù)把三維點及其法向量變換到一個通過旋轉(zhuǎn)軸的二維平面上，采用多項式曲線擬合母曲線。第76頁，課件共92頁，創(chuàng)作于2023年2月76法向量的計算基于Delaunay或Voronoi性質(zhì)的組合方法采用最優(yōu)化的數(shù)值計算方法二次曲面片法完全最小二乘法奇異值分解，其最小的奇異值對應的單位向量就是要估計的單位法向量第77頁，課件共92頁，創(chuàng)作于2023年2月77直線的Plucker坐標三維歐氏空間中的一條直線可以由直線上的一個點和單位方向向量確定。直線的矩向量與直線上點的選擇無關(guān)。單位方向向量和矩向量組成的拼六小組稱為直線的標準Plucker坐標。

第78頁，課件共92頁，創(chuàng)作于2023年2月78RANSAC算法RANSAC(RANdomSAmplingConsensus)是一種健壯的估計方法。基本思想：針對問題設計一個目標函數(shù)隨機取樣估計該函數(shù)的參數(shù)值把所有的數(shù)據(jù)劃分為所謂的“內(nèi)點”和“外點”尋找最大內(nèi)點數(shù)對應的參數(shù)值。用所有的“內(nèi)點”重新計算和估計函數(shù)的參數(shù)值。第79頁，課件共92頁，創(chuàng)作于2023年2月79母曲線的擬合把每個點及其法向量繞著旋轉(zhuǎn)軸旋轉(zhuǎn)到平面坐標中

平面次隱式多項式的一般形式線性最小二乘問題第80頁，課件共92頁，創(chuàng)作于2023年2月80實驗結(jié)果

第81頁，課件共92頁，創(chuàng)作于2023年2月81

第82頁，課件共92頁，創(chuàng)作于2023年2月82內(nèi)容1緒論2平面碎片的拼接3曲面碎片邊界線的提取4旋轉(zhuǎn)型曲面碎片旋轉(zhuǎn)軸和母曲線的估計5旋轉(zhuǎn)型曲面碎片的拼接6總結(jié)與展望第83頁，課件共92頁，創(chuàng)作于2023年2月83旋轉(zhuǎn)型曲面碎片的拼接流程檢測碎片的邊界線估計旋轉(zhuǎn)軸和母曲線把兩塊碎片的旋轉(zhuǎn)軸對齊在兩個自由度的搜索空間中，利用邊界線、母曲線匹配實現(xiàn)拼接。