江蘇省高等學(xué)校

江蘇省高等學(xué)校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目申報(bào)表（創(chuàng)新訓(xùn)練項(xiàng)目）推薦學(xué)校：南京信息工程大學(xué)（蓋章）項(xiàng)目名稱：基于MATLAB的SFM三維重建算法研究項(xiàng)目類型：■重點(diǎn)項(xiàng)目□一般項(xiàng)目□校企合作基金項(xiàng)目所屬一級(jí)學(xué)科名稱：08工學(xué)所屬重點(diǎn)領(lǐng)域：項(xiàng)目負(fù)責(zé)人：余鋮洋聯(lián)系電話導(dǎo)教師：曹爽聯(lián)系電話報(bào)日期：2023/3/20江蘇省教育廳制二○二三年四月填表說明一、申報(bào)表要按照要求逐項(xiàng)認(rèn)真填寫，填寫內(nèi)容必須實(shí)事求是表述準(zhǔn)確嚴(yán)謹(jǐn)。空缺項(xiàng)要填“無”。二、格式要求：表格中的字體采用小四號(hào)宋體，單倍行距；需簽字部分由相關(guān)人員以黑色鋼筆或簽字筆簽名。三、項(xiàng)目類型為重點(diǎn)項(xiàng)目、一般項(xiàng)目和校企合作基金項(xiàng)目等。四、項(xiàng)目來源：1.“A”為學(xué)生自主選題，來源于自己對(duì)課題的長期積累與興趣；“B”為學(xué)生來源于教師科研項(xiàng)目選題；“C”為學(xué)生承擔(dān)社會(huì)、企業(yè)委托項(xiàng)目選題。2.“來源項(xiàng)目名稱”和“來源項(xiàng)目類別”欄限“B”和“C”的項(xiàng)目填寫；“來源項(xiàng)目類別”欄填寫“863項(xiàng)目”、“973項(xiàng)目”、“國家自然科學(xué)基金項(xiàng)目”、“省級(jí)自然科學(xué)基金項(xiàng)目”、“教師橫向科研項(xiàng)目”、“企業(yè)委托項(xiàng)目”、“社會(huì)委托項(xiàng)目”以及其他項(xiàng)目標(biāo)識(shí)。五、所屬重點(diǎn)領(lǐng)域：省級(jí)重點(diǎn)項(xiàng)目選填，如果屬于重點(diǎn)領(lǐng)域的則填報(bào)。具體包括10類：泛終端芯片及操作系統(tǒng)應(yīng)用開發(fā)、重大應(yīng)用關(guān)鍵軟件、云計(jì)算和大數(shù)據(jù)、人工智能、無人駕駛、新能源與儲(chǔ)能技術(shù)、生物技術(shù)與生物育種、綠色環(huán)保與固廢資源化、第五代通信技術(shù)和新一代IP網(wǎng)絡(luò)通信技術(shù)、社會(huì)事業(yè)與文化傳承。六、表格欄高不夠可增加。七、填報(bào)者須注意頁面的排版。項(xiàng)目名稱基于MATLAB的SFM三維重建算法研究項(xiàng)目所屬一級(jí)學(xué)科08工學(xué)項(xiàng)目所屬二級(jí)學(xué)科0812測繪類項(xiàng)目類型（√）重點(diǎn)項(xiàng)目（）一般項(xiàng)目（）校企合作基金項(xiàng)目所屬重點(diǎn)領(lǐng)域（省級(jí)重點(diǎn)項(xiàng)目選填）項(xiàng)目來源ABC來源項(xiàng)目名稱來源項(xiàng)目類別√教師橫向科研項(xiàng)目項(xiàng)目實(shí)施時(shí)間起始時(shí)間：2023年4月完成時(shí)間：2024年4月項(xiàng)目簡介(限200字)隨著圖像處理和計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，三維重建在多個(gè)領(lǐng)域的應(yīng)用越來越廣泛。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法（StructureFromMotion，SFM）是目前三維重建的主流方式，但SFM算法存在計(jì)算量大耗時(shí)長的問題。MATLAB平臺(tái)簡單易于操作，利用MATLAB環(huán)境運(yùn)行可以解決SFM算法存在的問題。本項(xiàng)目將實(shí)現(xiàn)一個(gè)基于MATLAB的SFM三維重建算法框架，極大降低了運(yùn)算時(shí)間，通過真實(shí)場景的圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證和性能評(píng)估，最終得到高精度的三維重建結(jié)果。申請(qǐng)人或申請(qǐng)團(tuán)隊(duì)姓名年級(jí)學(xué)號(hào)所在院系/專業(yè)聯(lián)系電話QQ郵箱主持人余鋮洋2021級(jí)202113500049遙感與測繪工程學(xué)院測繪工程專業(yè)158866835512661099500@成員曲冰若2021級(jí)202113500040遙感與測繪工程學(xué)院測繪工程專業(yè)137705865221943947908@彭程2021級(jí)20213500060遙感與測繪工程學(xué)院測繪工程專業(yè)158504544983179762460@指導(dǎo)教師第一指導(dǎo)教師姓名曹爽單位遙感與測繪工程學(xué)院年齡46博士主要成果科研文章吉宸佳，曹爽，張杰，李虹穎，顧沖，郭奕.無人機(jī)航測虛擬仿真實(shí)驗(yàn)系統(tǒng)開發(fā)與設(shè)計(jì)[J].地理空間信息，2022，20（9）：58-62.顧沖，曹爽，吉宸佳，張杰，郭奕.基于多元回歸隨機(jī)抽樣一致性算法的圓柱擬合[J].工程勘察,2022,50(5)：49-54+68.（3）ShuangCao,BaoSong,FuyangKeandXingwangZhao.IntelligentInspectionoftheHigh-SpeedRailwaySparePartsUsingThree-DimensionalLaser[C].IC32019:TheSecondInternationalCognitiveCitiesConference,2019,9.（4）曹爽,潘鎖艷,管海燕.機(jī)載多光譜LiDAR的隨機(jī)森林地物分類[J].測繪通報(bào)，2019(11):

79-84.（5）ShuangCao,YongtaoYu,HaiyanGuan,DaifengPeng,WanqianYan.Affine-FunctionTransformation-BasedObjectMatchingforVehicleDetectionfromUnmannedAerialVehicleImagery[J].RemoteSensing,2019,11（14):1708;doi:10.3390/rs11141708.（6）曹爽,馬劍,馬文.基于單鏡頭無人機(jī)傾斜攝影的建筑物三維模型構(gòu)建[J].桂林理工大學(xué)學(xué)報(bào)，2019,39(3):643-649.（7）曹爽,趙顯富,馬文.一種基于曲面變化的工業(yè)構(gòu)件點(diǎn)云數(shù)據(jù)精簡方法[J].測繪通報(bào),2018(11):20-24.二、專利1、曹爽、趙軒、趙顯富、張育鋒、王新志、孫景領(lǐng)，基于兩臺(tái)激光掃描儀的異型構(gòu)件幾何數(shù)據(jù)檢測裝置，實(shí)用新型，2013.08.28，中國，ZL201320124884.22、曹爽、趙軒、趙顯富、孫景領(lǐng)、王新志、張育鋒（學(xué)生），基于直線空間距離的異型構(gòu)件幾何軸線空間位置關(guān)系確定及檢測方法，發(fā)明專利，2015.11.18授權(quán)，中國，ZL201310128614.33、曹爽、趙顯富、管海燕，基于點(diǎn)云數(shù)據(jù)的工業(yè)構(gòu)件仿真安裝方法，發(fā)明專利，2018.5.29，ZL201610840339.1。專利授權(quán)（2018.3.7），專利轉(zhuǎn)讓（2018.5.29）5、軟件著作權(quán)：云處理軟件V1.0，曹爽，王新志，馬文，趙好好。2011.5.31，登記號(hào)：2011SR033299。三、指導(dǎo)學(xué)生獲獎(jiǎng)1、2022年全國大學(xué)生測繪學(xué)科創(chuàng)新創(chuàng)業(yè)智能大賽測繪技能競賽團(tuán)體二等獎(jiǎng)。2、2022年全國大學(xué)生測繪學(xué)科創(chuàng)新創(chuàng)業(yè)智能大賽測繪技能競賽——無人機(jī)航測虛擬仿真比賽一、二等獎(jiǎng)各一項(xiàng)。3、2020年江蘇省測繪學(xué)科優(yōu)秀畢業(yè)論文一等獎(jiǎng)。4、2019年江蘇省測繪學(xué)科優(yōu)秀畢業(yè)論文一、三等獎(jiǎng)各一項(xiàng)。5、2018年第五屆全國高校大學(xué)生測繪技能大賽二等水準(zhǔn)測量（二等獎(jiǎng)），團(tuán)體二等獎(jiǎng)。6、2018年江蘇省測繪學(xué)科優(yōu)秀畢業(yè)論文一等獎(jiǎng)。7、2017年第九屆全國南方優(yōu)立杯測繪學(xué)科論文競賽二等獎(jiǎng)。四、教學(xué)獲獎(jiǎng)1、2022年首屆全國高等學(xué)校測繪類專業(yè)教師教學(xué)創(chuàng)新大賽一等獎(jiǎng)。指導(dǎo)學(xué)生大創(chuàng)1、“基于三維激光掃描技術(shù)的工業(yè)構(gòu)件仿真安裝研究”，江蘇省高等學(xué)校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃省級(jí)一般項(xiàng)目，2016.6-2018.6，魏懂、葛勁文、唐子閏、馬峻、馬劍。2、“無人機(jī)航空攝影測量虛擬仿真實(shí)驗(yàn)系統(tǒng)開發(fā)與設(shè)計(jì)”，江蘇省高等學(xué)校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃省級(jí)重點(diǎn)項(xiàng)目，2019.4-2021.4，吉宸佳、顧沖、郭奕、張杰、李虹穎。3、“基于多波束測深數(shù)據(jù)及無人機(jī)影像的水陸三維地形融合”，校級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃省級(jí)重點(diǎn)項(xiàng)目，2022.4-2023.4，朱麗、唐婉、葉欣宇、陳筱、王彤彤。第二指導(dǎo)教師姓名單位年齡主要成果一、申請(qǐng)理由（包括自身具備的知識(shí)條件、自己的特長、興趣、已有的實(shí)踐創(chuàng)新成果等）目前，三維數(shù)據(jù)已廣泛應(yīng)用于測量、虛擬現(xiàn)實(shí)等多種領(lǐng)域，是認(rèn)識(shí)環(huán)境、感知世界的重要工具。三維數(shù)據(jù)需要通過三維重建技術(shù)獲得。廣義三維重建是指通過測量工具與解算方法，獲取目標(biāo)局部點(diǎn)三維坐標(biāo)、面三維結(jié)構(gòu)乃至整體三維模型；狹義三維重建指通過重建技術(shù)，獲取包括結(jié)構(gòu)、紋理、尺度等的目標(biāo)完整三維信息，其是廣義三維重建的最高形式?；谌S重建方法眾多,如何依據(jù)不同的實(shí)際需求和條件選擇合適的方法,是獲得所需三維重建問題的關(guān)鍵。目前三維重建方法包括單目三維重建、雙目三維重建和RGB-D三維重建，其中單目三維重建方法中的SFM方法是主流趨向?，F(xiàn)階段SFM處理方法主要為COLMAP，MATLAB作為數(shù)學(xué)軟件，在用于數(shù)據(jù)分析、圖像處理與計(jì)算機(jī)視覺等領(lǐng)域效果頗好，它將數(shù)值分析、矩陣計(jì)算、科學(xué)數(shù)據(jù)可視化以及非線性動(dòng)態(tài)系統(tǒng)的建模和仿真等諸多強(qiáng)大功能集成在一個(gè)易于使用的視窗環(huán)境中，為科學(xué)研究、工程設(shè)計(jì)以及必須進(jìn)行有效數(shù)值計(jì)算的眾多科學(xué)領(lǐng)域提供了一種全面的解決方案，并在很大程度上擺脫了傳統(tǒng)非交互式程序設(shè)計(jì)語言（如C、Fortran）的編輯模式，更加方便高效。故本項(xiàng)目將利用MATLAB平臺(tái)進(jìn)行基于SFM算法的三維重建研究。項(xiàng)目指導(dǎo)教師曹爽老師從事攝影測量教學(xué)多年，主要研究方向?yàn)閿z影測量數(shù)據(jù)處理，擁有足夠經(jīng)驗(yàn)以及豐富的專業(yè)理論知識(shí)。項(xiàng)目組成員已經(jīng)熟練掌握了MATLAB平臺(tái)的使用方法以及SFM方面的相關(guān)專業(yè)知識(shí)，有一定的編程基礎(chǔ)，具備了完成該項(xiàng)目的基本條件，可以達(dá)到該項(xiàng)目的預(yù)期目標(biāo)。余鋮洋：遙感與測繪工程學(xué)院2021級(jí)測繪工程學(xué)生，入學(xué)一年多來努力學(xué)習(xí)，對(duì)自己要求嚴(yán)格，獲得校二等獎(jiǎng)學(xué)金。大一時(shí)期獲得英語四級(jí)證書和六級(jí)證書以及計(jì)算機(jī)二級(jí)證書。能夠靈活運(yùn)用專業(yè)知識(shí)完成并熟悉查詢資料和收集資料的方法。掌握C語言、C#語言、MATLAB等編程語言。做事認(rèn)真。參加過一些團(tuán)體活動(dòng)，有良好的團(tuán)隊(duì)協(xié)作能力以及動(dòng)手操作能力。在課外時(shí)間熱愛音樂，擔(dān)任大藝團(tuán)管弦樂團(tuán)副團(tuán)長。希望通過此次創(chuàng)新項(xiàng)目來鍛煉自己，提升自己的研究創(chuàng)新能力。曲冰若：遙感與測繪學(xué)院2021級(jí)測繪工程學(xué)生，是本次項(xiàng)目的成員之一。專業(yè)學(xué)習(xí)成績優(yōu)秀，很好掌握了所學(xué)的專業(yè)知識(shí)，具備一定的實(shí)踐動(dòng)手能力，對(duì)科研項(xiàng)目有濃厚興趣?；菊莆誄語言等編程語言，同時(shí)在課外也學(xué)習(xí)了Python語言和MATLAB軟件，正在學(xué)習(xí)ArcGIS專業(yè)軟件以及編程語言。平日在學(xué)習(xí)方面專注力強(qiáng)、認(rèn)真耐心、不怕吃苦，善于發(fā)現(xiàn)問題和解決問題，遇到困難能夠沉著面對(duì)，在班級(jí)中擔(dān)任團(tuán)支書一職，工作認(rèn)真負(fù)責(zé)擁有組織活動(dòng)的經(jīng)驗(yàn)，有良好的溝通能力和團(tuán)隊(duì)協(xié)作意識(shí)。本次申請(qǐng)大學(xué)生實(shí)踐創(chuàng)新項(xiàng)目旨在提高個(gè)人的專業(yè)素質(zhì)，鍛煉個(gè)人的實(shí)踐能力。彭程：遙感與測繪工程學(xué)院2021級(jí)測繪工程專業(yè)學(xué)生，是團(tuán)隊(duì)成員之一。曾作為遙測院組織部一員開展過系列主題活動(dòng)，具有良好的統(tǒng)籌組織能力；學(xué)習(xí)方面，專業(yè)課成績優(yōu)異，曾獲校三好學(xué)生、校一等獎(jiǎng)學(xué)金、優(yōu)秀實(shí)習(xí)生等榮譽(yù)。很好地掌握了所學(xué)的專業(yè)知識(shí)并具有一定的實(shí)踐動(dòng)手能力，對(duì)此類創(chuàng)新實(shí)踐類科研項(xiàng)目感興趣；基本掌握ArcGis、Blender等軟件，基本掌握C語言、C#、MATLAB等編程語言，善于思考，意志力堅(jiān)定，專注力強(qiáng)，善于與人交流，溝通能力強(qiáng)，具有較強(qiáng)的團(tuán)隊(duì)協(xié)作意識(shí)。本次申請(qǐng)大學(xué)生實(shí)踐創(chuàng)新項(xiàng)目旨在對(duì)專業(yè)有更進(jìn)一步的深刻了解，提高個(gè)人的專業(yè)素養(yǎng)，增加知識(shí)的積累。二、項(xiàng)目方案1、項(xiàng)目研究背景（國內(nèi)外的研究現(xiàn)狀及研究意義、項(xiàng)目已有的基礎(chǔ)，與本項(xiàng)目有關(guān)的研究積累和已取得的成績，已具備的條件，尚缺少的條件及方法等）1.1研究現(xiàn)狀近年來，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，三維重建技術(shù)也得到了廣泛應(yīng)用和研究。無論是在國內(nèi)還是國際上，人們都在不斷地探索新的三維重建技術(shù)，以應(yīng)對(duì)日益增長的應(yīng)用需求。在這種背景下，國內(nèi)外在三維重建技術(shù)的研究和應(yīng)用方面都取得了顯著進(jìn)展，不僅在制造、醫(yī)療、文化遺產(chǎn)保護(hù)等領(lǐng)域得到了廣泛應(yīng)用，還在智能交通、無人機(jī)、虛擬現(xiàn)實(shí)等領(lǐng)域展現(xiàn)出廣闊的發(fā)展前景?；诙嘁晥D三維重建的研究最早起源于20世紀(jì)70年代發(fā)達(dá)國家，Longuet-Higgins提出該研究后，眾多研究者紛紛開始對(duì)其進(jìn)行更深一步的研究。早期的SFM技術(shù)在進(jìn)行重建時(shí)，需對(duì)攝像機(jī)提前進(jìn)行標(biāo)定(即計(jì)算攝像機(jī)的內(nèi)外參數(shù))，才可以輸出場景三維結(jié)構(gòu)的信息[1]。近年來，國內(nèi)學(xué)者雷成[2]通過研究得到了在圖像采集過程中基于Kurppa原理實(shí)現(xiàn)攝像機(jī)自動(dòng)標(biāo)定的方法。國外學(xué)者在三維重建的算法和技術(shù)方面同樣取得了許多成果，如Kinect技術(shù)、激光掃描、結(jié)構(gòu)光掃描等。此外，還有一些開源軟件，如Blender、Meshlab、OpenCV等，可以用于三維建模、處理和分析。1.1.1三維重建技術(shù)隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，機(jī)器視覺學(xué)科蓬勃發(fā)展，三維重建學(xué)科應(yīng)運(yùn)興起。三維重建是一門融合了機(jī)器視覺、圖像處理和計(jì)算機(jī)制圖學(xué)領(lǐng)域知識(shí)的新技術(shù)，相較于二維圖片來說，三維的數(shù)據(jù)模型具有類似真實(shí)的效果，可以從不同的位置直觀地觀察，有實(shí)時(shí)虛擬、交互等特點(diǎn)。這使得三維重建技術(shù)應(yīng)用范圍不斷擴(kuò)大，從測繪行業(yè)到建筑行業(yè)、醫(yī)療行業(yè)、人工智能行業(yè)、虛擬現(xiàn)實(shí)行業(yè)等等。因此，對(duì)三維重建技術(shù)進(jìn)行深入研究具有重要的理論與現(xiàn)實(shí)意義。三維重建技術(shù)主要研究三維空間中點(diǎn)云的稀疏和稠密重建，基于多幅圖像的點(diǎn)云重建，以及三維重建后的圖像處理。目前有基于光流、基于機(jī)器學(xué)習(xí)和基于特征檢測的三維重建算法。其中，基于特征檢測的重建算法應(yīng)用最廣泛。基于圖像進(jìn)行三維重建研究一直是計(jì)算機(jī)視覺領(lǐng)域的熱門課題，僅通過二維圖像的變化就可得到具有真實(shí)感的三維模型。利用圖像進(jìn)行三維建模的技術(shù)從獲取多視圖圖像開始，逐步通過相應(yīng)的算法恢復(fù)場景中物體的三維結(jié)構(gòu)。國內(nèi)的三維重建技術(shù)研究起步相對(duì)較晚，但近年來也在不斷追趕和超越。目前國內(nèi)在三維重建領(lǐng)域的主要研究方向包括立體視覺、深度學(xué)習(xí)、光線跟蹤等。國內(nèi)學(xué)者王楠[3]基于SFM原理，將改進(jìn)的隨機(jī)抽樣一致(RandomSampleConsensus，RANSAC)算法應(yīng)用到匹配點(diǎn)優(yōu)化和建筑物的三維重建中，最終恢復(fù)出攝像機(jī)的相對(duì)位姿及三維場景位置信息。李永露[4]以大型無人機(jī)航拍影像作為數(shù)據(jù)輸入，綜合改進(jìn)SFM算法和其他三維重建開源技術(shù)構(gòu)建出了無人機(jī)影像三維重建原型系統(tǒng)，該系統(tǒng)能自動(dòng)處理人機(jī)影像的各種數(shù)據(jù)，可有效滿足一定的大型無人機(jī)航拍影像三維重建模型的需求。張昕[5]在基于視頻序列的三維模型重建研究中，優(yōu)化了傳統(tǒng)特征匹配方法，最后創(chuàng)建出不同角度的地球儀和愛因斯坦雕塑的稠密點(diǎn)云模型[1]。同時(shí)也出現(xiàn)了一些優(yōu)秀的三維重建軟件，如SketchUp、Rhino、Maya等。采用基于不同視角的二維圖像進(jìn)行三維重建的方法憑借其設(shè)備成本低、條件約束少和建模精度高等優(yōu)勢迅速成為一個(gè)熱點(diǎn)研究方向，而運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(StructureFromMotionSFM)是該技術(shù)的關(guān)鍵內(nèi)容[6-7]。1.1.2運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）算法運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(StructureFromMotion，SFM)方法是一種廣泛使用的三維稀疏點(diǎn)云重建算法。早期SFM方法主要基于相對(duì)定位的原理，通過解決相對(duì)位置關(guān)系來重建三維場景。這些方法通常需要使用多個(gè)相機(jī)拍攝同一場景，并在計(jì)算過程中進(jìn)行相對(duì)位姿估計(jì)和三角化等操作[8]。這些方法雖然可以在特定條件下重建三維場景，但存在諸多局限性，如需要多個(gè)相機(jī)拍攝同一場景、計(jì)算過程中易受到誤差干擾等。隨著計(jì)算機(jī)視覺和圖像處理技術(shù)的發(fā)展，SFM方法逐漸從基于相對(duì)定位的方法轉(zhuǎn)向基于特征的方法。這些方法通常需要從圖像中提取關(guān)鍵點(diǎn)和特征，并通過匹配這些特征點(diǎn)來計(jì)算相機(jī)位姿和場景三維結(jié)構(gòu)。這些方法具有較高的魯棒性和精度，可以處理不同角度、不同尺度和部分遮擋等情況。這種方法仍然存在誤差累積和計(jì)算復(fù)雜度高等問題[9-13]。為了解決這些問題，基于優(yōu)化的SFM方法應(yīng)運(yùn)而生。這些方法通常將SFM問題轉(zhuǎn)化為一個(gè)優(yōu)化問題，通過最小化重投影誤差或其他約束來優(yōu)化相機(jī)位姿和場景三維結(jié)構(gòu)。這些方法可以在更高的精度和魯棒性下進(jìn)行場景重建，但需要更多的計(jì)算資源和優(yōu)化策略[14-17]。近年來，深度學(xué)習(xí)技術(shù)的發(fā)展對(duì)SFM算法的研究和應(yīng)用產(chǎn)生了重要影響。許多研究者通過使用深度學(xué)習(xí)技術(shù)輔助特征提取、匹配和場景重建等步驟來提高SFM算法的性能和效率。這些方法通常需要大量的標(biāo)注數(shù)據(jù)和計(jì)算資源，但可以在復(fù)雜的場景下實(shí)現(xiàn)更高的精度和魯棒性[18-20]。目前隨著三維重建技術(shù)的發(fā)展，SFM算法也在許多領(lǐng)域展現(xiàn)出優(yōu)勢。包括增強(qiáng)現(xiàn)實(shí)、自主導(dǎo)航、運(yùn)動(dòng)捕捉、手眼標(biāo)定、影像視頻處理、基于影像的三維建模、遙感、圖像組織與瀏覽、分割與識(shí)別、軍事應(yīng)用等[21-23]。國內(nèi)外出現(xiàn)了很多優(yōu)秀的算法軟件、以及相關(guān)的基準(zhǔn)數(shù)據(jù)集；同時(shí)對(duì)SFM技術(shù)中的數(shù)據(jù)關(guān)聯(lián)建立、光束法平差、多視立體視覺與融合等方面進(jìn)行很多的研究。算法軟件除了前面提及的增量式SFM的三個(gè)典型算法與軟件外，在全局式SFM方面，出現(xiàn)了Theia、OpenMVG。在數(shù)據(jù)關(guān)聯(lián)環(huán)節(jié)，除了COLMAP提出的場景圖方法外，還有提出的StreamingConnectedComponentDiscovery；在光束法平差環(huán)節(jié)出現(xiàn)了CeresSolver、PBA、SSBA等優(yōu)秀的算法;在多視立體視覺與融合方面，除了COLMAP算法外，還有OpenMVS等算法。雖然SFM算法在許多應(yīng)用場景下具有優(yōu)勢，但SFM算法需要在多個(gè)步驟中處理圖像，包括特征提取、匹配、三維重建等，其中每一步驟都需要參數(shù)調(diào)整和優(yōu)化。這些操作需要耗費(fèi)大量的時(shí)間和精力，需要專業(yè)的計(jì)算機(jī)視覺知識(shí)和技能。此外，對(duì)于不同的應(yīng)用場景和數(shù)據(jù)集，需要對(duì)算法進(jìn)行不同的調(diào)整和適應(yīng)。此外，算法的計(jì)算復(fù)雜度也會(huì)受到數(shù)據(jù)規(guī)模、計(jì)算資源和優(yōu)化策略等因素的影響，需要合理的優(yōu)化和調(diào)整[24-26]。1.2研究意義三維重建技術(shù)通過深度數(shù)據(jù)獲取、預(yù)處理、點(diǎn)云配準(zhǔn)與融合、生成表面等過程，將真實(shí)場景轉(zhuǎn)化為數(shù)學(xué)模型。這種模型可以在文物保護(hù)、游戲開發(fā)、建筑設(shè)計(jì)、臨床醫(yī)學(xué)等領(lǐng)域發(fā)揮輔助作用。在景物深度信息已知的條件下，三維重建技術(shù)只需要進(jìn)行點(diǎn)云數(shù)據(jù)的配準(zhǔn)和融合即可實(shí)現(xiàn)場景的三維重建，并且基于三維重建模型的深層次應(yīng)用研究也可以隨即展開。因此，三維重建技術(shù)在各個(gè)領(lǐng)域的應(yīng)用前景十分廣泛，對(duì)于推動(dòng)科學(xué)技術(shù)的發(fā)展和社會(huì)進(jìn)步都具有重要意義。目前三維重建主要有3種方法:第1種是使用三維建模軟件創(chuàng)建三維模型，常用軟件如3dsMax、Maya等，此方法成本低，但耗時(shí)大且模型較粗糙。第2種是通過三維掃描設(shè)備獲取目標(biāo)模型，該設(shè)備一般采用激光、結(jié)構(gòu)光及紅外深度傳感等技術(shù)，這種重建方法掃描快速且精準(zhǔn)度高，但設(shè)備價(jià)格高昂、體積大，因而無法實(shí)現(xiàn)對(duì)目標(biāo)物體隨時(shí)隨地進(jìn)行數(shù)據(jù)采集。第3種是基于圖像的三維重建，其主要思想是通過手機(jī)或攝像機(jī)拍攝不同視角的二維圖像，來重建物體或場景的三維模型。相較于前2種建模方法，該方法只需要普通的RGB攝像頭來采集圖像或視頻，人力物力資源消耗少，在室內(nèi)和室外均能使用，極大地彌補(bǔ)了三維掃描儀不便攜帶和受環(huán)境約束多的缺點(diǎn)，因此，近年來采用SFM技術(shù)進(jìn)行三維重建的應(yīng)用越來越廣泛[27]。在COLMAP環(huán)境中進(jìn)行SFM算法實(shí)驗(yàn)往往只能獲得稀疏點(diǎn)云，進(jìn)行稀疏重建，而如果希望得到精度更好的結(jié)果則需要利用MVS算法進(jìn)行額外的密集重建[28]。MVS算法計(jì)算量大，耗時(shí)很長，在實(shí)際應(yīng)用中沒有那么經(jīng)濟(jì)?；谶@個(gè)問題，本項(xiàng)目選擇利用MATLAB環(huán)境進(jìn)行SFM算法處理?；贛ATLAB平臺(tái)利用新的函數(shù)算法對(duì)SFM實(shí)現(xiàn)三維重建的方式更加經(jīng)濟(jì)。1.3項(xiàng)目已有的基礎(chǔ)矩陣計(jì)算：SFM算法中涉及到大量的矩陣計(jì)算，需要熟練掌握MATLAB中的矩陣運(yùn)算、線性方程組求解等相關(guān)函數(shù)。特征點(diǎn)提取：SFM算法需要在圖像中提取出特征點(diǎn)，常用的特征點(diǎn)包括SIFT、SURF等。需要掌握MATLAB中的相關(guān)特征點(diǎn)提取函數(shù)。特征點(diǎn)匹配：SFM算法需要對(duì)不同圖像中提取的特征點(diǎn)進(jìn)行匹配，以建立它們之間的對(duì)應(yīng)關(guān)系。需要掌握MATLAB中的特征點(diǎn)匹配函數(shù)。三角測量：SFM算法需要對(duì)圖像中的特征點(diǎn)進(jìn)行三角測量，以確定它們?cè)谌S空間中的位置。需要掌握MATLAB中的三角測量函數(shù)。優(yōu)化算法：SFM算法中需要對(duì)估計(jì)的相機(jī)位姿和三維點(diǎn)坐標(biāo)進(jìn)行優(yōu)化，以提高重建精度。需要掌握MATLAB中的非線性優(yōu)化算法函數(shù)相機(jī)標(biāo)定：SFM算法需要知道相機(jī)內(nèi)參和畸變參數(shù)才能進(jìn)行姿態(tài)估計(jì)和三維重建，因此需要進(jìn)行相機(jī)標(biāo)定。MATLAB提供了相機(jī)標(biāo)定工具箱[3-5]。1.4參考文獻(xiàn)[1]王巧麗,徐增波,張玲.基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)三維重建的應(yīng)用與研究進(jìn)展[J].毛紡科技,2021,49(07):95-98.DOI:10.19333/j.mfkj.20201102805.[2]雷成，吳福朝，胡占義．Kruppa方程與攝像機(jī)自標(biāo)定［J］.自動(dòng)化學(xué)報(bào)，2001(5):621－630．[3]王楠.基于SFM的建筑物三維重建技術(shù)研究及應(yīng)用[D].東北石油大學(xué),2017.[4]李永露.基于無人機(jī)影像的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)（SfM）研究[D].哈爾濱理工大學(xué),2017.[5]張昕.基于視頻序列的三維模型重建研究[D].中國石油大學(xué)(華東),2016.[6]WEIY,KANGL,YANGB,etal.Applicationsofstructurefrommotion:asurvey[J].JournalofZhejiangUniversity-ScienceC(Computers&Electronics),2013,14(07):486-494.[7]LiuZhendongetal.AnEfficientandRobustHybridSFMMethodforLarge-ScaleScenes[J].RemoteSensing,2023,15(3):769-769.[8]王子,吳振宇.SFM算法在無人機(jī)航拍影像中的應(yīng)用研究[J].科技創(chuàng)新與生產(chǎn)力,2021(08):104-107.[9]Jing

Zhou

et

al.

Evaluating

Geometric

Measurement

Accuracy

Based

on

3D

Reconstruction

of

Automated

Imagery

in

a

Greenhouse[J].

Sensors,

2018,

18(7)

:

2270-2270.

[10]DeGol

Joseph

and

Bretl

Timothy

and

Hoiem

Derek.

Improved

Structure

from

Motion

Using

Fiducial

Marker

Matching[M].

Springer

International

Publishing,

2018

:

281-296.[11]ChrisSweeneyetal.LargeScaleSFMwiththeDistributedCameraModel.[J].CoRR,2016,abs/1607.03949[12]BiRuietal.Multi-ViewAnalysisofHigh-ResolutionGeomorphicFeaturesinComplexMountainsBasedonUAV–LiDARandSfM–MVS:ACaseStudyoftheNorthernPitRimStructureoftheMountainsofLufeng,China[J].AppliedSciences,2023,13(2):738-738.[13]YusoffIntanNorsheiraetal.Discontinuitypatterndetectionandorientationmeasurementfortunnelfacesbyusingstructurefrommotionphotogrammetry[J].Displays,2023,76[14]MeyerJoachimetal.MappingsnowdepthandvolumeatthealpinewatershedscalefromaerialimageryusingStructurefromMotion[J].FrontiersinEarthScience,2022,[15]LiangYubinetal.EfficientandAccurateHierarchicalSfMBasedonAdaptiveTrackSelectionforLarge-ScaleObliqueImages[J].RemoteSensing,2023,15(5):1374-1374.[16]TengPochingetal.AccuracyEvaluationandBranchDetectionMethodof3DModelingUsingBackpack3DLidarSLAMandUAV-SfMforPeachTreesduringthePruningPeriodinWinter[J].RemoteSensing,2023,15(2):408-408.[17]WangTaoetal.AQuadrifocalTensorSFMPhotogrammetryPositioningandCalibrationTechniqueforHOFSAerialSensors[J].RemoteSensing,2022,14(15):3521-3521.[18]蔣華強(qiáng),蔡勇,張建生,李自勝.基于改進(jìn)SFM的三維重建算法研究[J].電子技術(shù)應(yīng)用,2019,45(02):88-92.DOI:10.16157/j.issn.0258-7998.183096.[19]MarioMicheliniandHelmutMayer.Structurefrommotionforcompleximagesets[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2020,166:140-152.[20]趙云皓,賀賽先.增量式SFM中特征點(diǎn)檢測與匹配方法的改進(jìn)[J].激光雜志,2020,41(03):59-66.DOI:10.14016/ki.jgzz.2020.03.059.[21]LauriaGabrieleandSineoLucaandFicarraSalvatore.Adetailedmethodforcreatingdigital3Dmodelsofhumancrania:anexampleofclose-rangephotogrammetrybasedontheuseofStructure-from-Motion(SfM)invirtualanthropology[J].ArchaeologicalandAnthropologicalSciences,2022,14(3)[22]MaliVijayKisanetal.Demonstrationofstructure-from-motion(SfM)andmulti-viewstereo(MVS)closerangephotogrammetrytechniqueforscourholeanalysis[J].Sādhanā,2021,46(4)[23]Jing

Zhou

et

al.

Evaluating

Geometric

Measurement

Accuracy

Based

on

3D

Reconstruction

of

Automated

Imagery

in

a

Greenhouse[J].

Sensors,

2018,

18(7)

:

2270-2270.[24]李美燕.增量式SfM方法在航拍圖像三維重建中的應(yīng)用[J].中國科技信息,2023(01):36-38.[25]吳文琪,孫增圻.機(jī)器視覺中的攝像機(jī)定標(biāo)方法綜述[J].計(jì)算機(jī)應(yīng)用研究,2004(02):4-6.[26]DeGol

Joseph

and

Bretl

Timothy

and

Hoiem

Derek.

Improved

Structure

from

Motion

Using

Fiducial

Marker

Matching[M].

Springer

International

Publishing,

2018

:

281-296.[27]ElkhrachyIsmail.3DStructurefrom2DDimensionalImagesUsingStructurefromMotionAlgorithms[J].Sustainability,2022,14(9):5399-5399.[28]PaoloDaboveandNivesGrassoandMarcoPiras.Smartphone-BasedPhotogrammetryforthe3DModelingofaGeomorphologicalStructure[J].AppliedSciences,2019,9(18)2、項(xiàng)目研究目標(biāo)及主要內(nèi)容2.1研究目標(biāo)鑒于目前SFM算法在三維重建領(lǐng)域中存在計(jì)算量巨大，耗費(fèi)時(shí)間長等問題，本項(xiàng)目在深入研究SFM算法的原理、理論的基礎(chǔ)上，進(jìn)一步學(xué)習(xí)MATLAB開發(fā)語言，探索基于MATLAB的SFM三維重建算法方法，最終實(shí)現(xiàn)基于MATLAB的SFM三維重建算法的三維重建，用以解決目前存在的問題。本申請(qǐng)的研究目標(biāo)是：探索基于MATLAB的SFM三維重建算法方法使用基于MATLAB的SFM三維重建算法實(shí)現(xiàn)三維重建2.2研究內(nèi)容（1）相機(jī)成像幾何關(guān)系的研究在計(jì)算機(jī)視覺領(lǐng)域中，可以使用各種坐標(biāo)系表示圖像中指定位置。坐標(biāo)系用于放置相互關(guān)聯(lián)的元素、像素和空間坐標(biāo)系中的坐標(biāo)與圖像中的位置有關(guān)。3D坐標(biāo)系中的坐標(biāo)描述了系統(tǒng)的3D定位和原點(diǎn)。坐標(biāo)系分為像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系。需要根據(jù)不同坐標(biāo)系之間的關(guān)系，推導(dǎo)出相機(jī)成像的幾何關(guān)系。（2）增量式SFM算法SFM算法對(duì)兩視圖進(jìn)行特征點(diǎn)檢測和匹配，求解該圖像間的幾何關(guān)系;其次選取一對(duì)匹配較好的兩視圖進(jìn)行初始化重建，通常采用隨機(jī)采樣一致性算法剔除錯(cuò)誤的匹配點(diǎn);再次對(duì)初始化生成的相機(jī)位姿和3D點(diǎn)集進(jìn)行BA優(yōu)化。此后，不斷添加新圖像，進(jìn)行相機(jī)位姿求解和特征點(diǎn)的三角定位，同時(shí)每添加一次新圖像并重建完成后都需要進(jìn)行一次光束平差以減少誤差累積，增加SFM的魯棒，直到所有圖像添加完畢，最終整個(gè)場景重建完成。（3）MATLAB密集重建實(shí)驗(yàn)的研究采用MATLAB軟件計(jì)算機(jī)視頻工具箱編寫增量式SFM算法實(shí)現(xiàn)相機(jī)位置估計(jì)和稀疏點(diǎn)云重建。研究從使用MATLAB相機(jī)校準(zhǔn)器校準(zhǔn)的相機(jī)拍攝的一系列2D視圖重建3D場景。實(shí)驗(yàn)主要分為兩個(gè)部分：相機(jī)運(yùn)動(dòng)估計(jì)和密集場景重建。3、項(xiàng)目創(chuàng)新特色概述SFM是三維重建主流應(yīng)用手段，但通常使用COLMAP平臺(tái)實(shí)現(xiàn)。MATLAB作為數(shù)學(xué)軟件，在用于數(shù)據(jù)分析、圖像處理與計(jì)算機(jī)視覺等領(lǐng)域效果頗好，它將數(shù)值分析、矩陣計(jì)算、科學(xué)數(shù)據(jù)可視化以及非線性動(dòng)態(tài)系統(tǒng)的建模和仿真等諸多強(qiáng)大功能集成在一個(gè)易于使用的視窗環(huán)境中，為科學(xué)研究、工程設(shè)計(jì)以及必須進(jìn)行有效數(shù)值計(jì)算的眾多科學(xué)領(lǐng)域提供了一種全面的解決方案，并在很大程度上擺脫了傳統(tǒng)非交互式程序設(shè)計(jì)語言（如C、Fortran）的編輯模式，更加方便高效?；贛ATLAB的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)三維重建算法是一種新的處理方式，為研究高效SFM構(gòu)建三維重建算法提供了新的機(jī)遇。（1）利用MATLAB算法實(shí)現(xiàn)增量SFM算法應(yīng)用采用MATLAB軟件計(jì)算機(jī)視頻工具箱編寫增量式SFM算法實(shí)現(xiàn)相機(jī)位置估計(jì)和稀疏點(diǎn)云重建。（2）利用相機(jī)位姿和三維點(diǎn)云，開展SFM算法應(yīng)用使用成對(duì)點(diǎn)匹配來估計(jì)當(dāng)前視圖相對(duì)于前一個(gè)視圖的相機(jī)姿態(tài)，然后使用MATLAB將成對(duì)匹配連接到跨越多個(gè)視圖且更長的點(diǎn)軌跡。這些軌跡用作多視圖三角測量的輸入，并使用BundleAdjustment函數(shù)對(duì)相機(jī)姿態(tài)和3D場景點(diǎn)進(jìn)行優(yōu)化。項(xiàng)目研究技術(shù)路線針對(duì)基于MATLAB的SFM三維重建算法研究的研究內(nèi)容，本課題擬采用的技術(shù)路線與實(shí)驗(yàn)手段如REF_Ref130137817\h圖1所示。圖SEQ圖\*ARABIC1基于MATLAB的SFM三維重建算法研究技術(shù)路線（1）相機(jī)成像幾何關(guān)系相機(jī)成像幾何關(guān)系REF_Ref129875879\h圖2所示，Qw-XwYwZw為世界坐標(biāo)系，描述了相機(jī)的位置，單位m。Qc-XcYcZc為相機(jī)坐標(biāo)系，以光學(xué)中心為原點(diǎn)，單位m。o-xy為圖像坐標(biāo)系，光軸Zc與圖像交叉點(diǎn)為原點(diǎn)，o單位為mm。uv像素坐標(biāo)系，原點(diǎn)為圖像左上角，單位pixel。點(diǎn)P(Xw,Yw,Zw)為世界坐標(biāo)系中的真實(shí)的點(diǎn)。點(diǎn)P(Xc,Yc,Zc)為相機(jī)坐標(biāo)系中觀察到的點(diǎn)，即與出界坐標(biāo)系下的點(diǎn)P是同一點(diǎn)。點(diǎn)P(x,y)是點(diǎn)P在圖像中的成像點(diǎn)，在像素坐標(biāo)系中的坐標(biāo)為(u,v)。圖SEQ圖\*ARABIC2相機(jī)成像幾何關(guān)系圖假設(shè)在相機(jī)坐標(biāo)系下，觀察點(diǎn)P(Xc,Yc,Zc)在圖像坐標(biāo)系中的投影為點(diǎn)P(x,y),它們的投影齊次矩陣關(guān)系如下式：p=KI0式中，p為圖像坐標(biāo)，Pc為相機(jī)坐標(biāo)，K不同相機(jī)位置觀察點(diǎn)P(Xw,Yw,Zw)得到各個(gè)相機(jī)坐標(biāo)系下是不同的P(Xc,Yc,Zc)，為了客觀描述目標(biāo)在世界坐標(biāo)系中的現(xiàn)實(shí)客觀位置，需要將相機(jī)坐標(biāo)系與世界坐標(biāo)系進(jìn)行旋轉(zhuǎn)(R)和平移(T)變換，它們的齊次矩陣關(guān)系如下式：Pc=RT0式中，R為旋轉(zhuǎn)矩陣，T為平移矩陣，Pc為相機(jī)坐標(biāo)，P將式（2）代入式（1），求得世界坐標(biāo)系下的點(diǎn)P(Xw,Yw,Zw)投影到圖像坐標(biāo)系中點(diǎn)P(x,y)的投影關(guān)系，其齊次矩陣如下所示：p=KRT式中，RT將式（3）中內(nèi)參數(shù)矩陣K和p=p=Mpw式中：M稱為投影矩陣。使用外部參數(shù)將世界點(diǎn)轉(zhuǎn)換為相機(jī)坐標(biāo)，使用內(nèi)在參數(shù)將相機(jī)坐標(biāo)映射到圖像平面。（2）SFM算法原理SFM算法是一種基于各種收集到的無序圖片進(jìn)行三維重建的離線算法，在完成圖像的特征點(diǎn)提取與匹配工作之后，就可以對(duì)目標(biāo)物體進(jìn)行稀疏點(diǎn)云重建。SFM算法的原理如REF_Ref129875894\h圖3。圖圖SEQ圖\*ARABIC3SFM算法原理REF_Ref129875894\h圖3為同一個(gè)世界坐標(biāo)系下的某一空間點(diǎn)在多個(gè)相機(jī)不同坐標(biāo)系下所成的圖像，空間點(diǎn)X與投影點(diǎn)X1，X2，X3滿足的關(guān)系式為：uv=K×R式中：uv為圖像上定義的一個(gè)直角坐標(biāo)系；K為內(nèi)參矩陣且不同相機(jī)具有相同的內(nèi)參數(shù)；RsTs為相機(jī)拍攝的影像位姿；xX1TFX2式中：F為基礎(chǔ)矩陣，然后利用基礎(chǔ)矩陣F與本征矩陣E分解計(jì)算圖像的位姿RT，從而計(jì)算出空間點(diǎn)的三維坐標(biāo)，獲得建筑物的稀疏點(diǎn)云。但是在進(jìn)行稀疏三維重建過程中，由于陸續(xù)不斷添加新的圖像，計(jì)算所產(chǎn)生的誤差會(huì)逐漸積累，此時(shí)需要采用光束平差（BundleAdjustment，BA）算法，其目的是最小化重投影誤差。根據(jù)誤差公式minxipif式中：pi為損失函數(shù)；fi為代價(jià)函數(shù)；xin為需要優(yōu)化的參數(shù)。BA（3）MATLAB密集重建實(shí)驗(yàn)該部分由兩個(gè)主要部分組成：相機(jī)運(yùn)動(dòng)估計(jì)和密集場景重建。1.相機(jī)運(yùn)動(dòng)估計(jì)拍攝多張不同角度的圖像。利用MATLAB平臺(tái)成對(duì)點(diǎn)匹配，估計(jì)當(dāng)前視圖相對(duì)于前一個(gè)視圖的相機(jī)姿態(tài)，并將成對(duì)匹配連接到跨越多個(gè)視圖，得到長的點(diǎn)軌跡，用以估計(jì)每個(gè)視圖的相機(jī)姿勢。2.密集場重建迭代視圖序列，利用MATLAB平臺(tái)工具箱中的函數(shù)跟蹤視圖中的一組密集點(diǎn)，得到密集點(diǎn)云，以計(jì)算場景的密集3D重建。5、研究進(jìn)度安排2023年4月—6月，可行性方案制定；熟練掌握MATLAB平臺(tái)相關(guān)的函數(shù)使用；SFM算法深入研究。2023年7月—9月，影像數(shù)據(jù)采集；基于MATLAB進(jìn)行三維重建項(xiàng)目實(shí)現(xiàn)。2023年10月—2023年12月，實(shí)驗(yàn)分析，完善成果。2024年1月—2024年4月，研究成果的整理和項(xiàng)目驗(yàn)收。6、項(xiàng)目組成員分工1）余鋮洋：利用MATLAB進(jìn)行數(shù)據(jù)分析處理，得到點(diǎn)云等數(shù)據(jù)，進(jìn)行3D建模，撰寫論文。2）曲冰若：獲取實(shí)驗(yàn)圖片數(shù)據(jù)，利用MATLAB進(jìn)行數(shù)據(jù)匹配，計(jì)算初始3D點(diǎn)位數(shù)據(jù)，撰寫論文。3）彭程：使用MATLAB進(jìn)行3D建模，對(duì)建模數(shù)據(jù)進(jìn)行優(yōu)化處理，撰寫論文。三、學(xué)校提供條件（包括項(xiàng)目開展所需的實(shí)驗(yàn)實(shí)訓(xùn)情況、配套經(jīng)費(fèi)、相關(guān)扶持政策等）學(xué)校十分重視大學(xué)生創(chuàng)新精神和創(chuàng)新能力的培養(yǎng)，積極鼓勵(lì)學(xué)生申報(bào)大學(xué)生實(shí)踐創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目，并積極地調(diào)動(dòng)教師來指導(dǎo)我們進(jìn)行自主研究性學(xué)習(xí)、參與實(shí)驗(yàn)或?qū)嵺`活動(dòng)。學(xué)校教務(wù)處以及學(xué)院認(rèn)真組織，精心謀劃，加強(qiáng)實(shí)驗(yàn)室實(shí)訓(xùn)設(shè)備設(shè)施建設(shè)，取得