機(jī)器人雙目識別系統(tǒng)原理與搭建

機(jī)器人雙目識別系統(tǒng)原理與搭建第1頁，共21頁，2023年，2月20日，星期五閱讀文獻(xiàn)的前期思想：方法內(nèi)容思想可行精確懷疑學(xué)習(xí)目標(biāo)機(jī)器人雙目：利用仿生學(xué)模擬人眼視覺標(biāo)定與定位：利用已有技術(shù)，對機(jī)器人視野范圍內(nèi)的事物進(jìn)行空間立體分析，找到所要三維坐標(biāo)，從而實現(xiàn)機(jī)器人對物體的具體操作。第2頁，共21頁，2023年，2月20日，星期五匯報提綱一、所讀論文二、國內(nèi)外關(guān)于該課題的研究現(xiàn)狀三、研究內(nèi)容和解決的關(guān)鍵問題四、采取的研究方法步驟、技術(shù)路線和可行性分析五、疑問與想法第3頁，共21頁，2023年，2月20日，星期五所讀文獻(xiàn)1、機(jī)器人雙目視覺系統(tǒng)的標(biāo)定與定位算法2、基于雙目立體視覺的三維定位技術(shù)研究3、基于雙目立體視覺的三維信息獲取技術(shù)研究4、基于雙目立體視覺的移動機(jī)器人目標(biāo)定位5、基于雙目立體視覺技術(shù)的成熟番茄識別與定位第4頁，共21頁，2023年，2月20日，星期五國內(nèi)外關(guān)于該課題的研究現(xiàn)狀立體視覺的開創(chuàng)性工作是從60年代中期開始的，美國MIT的Roberts首先成功地用程序完成了對三維積木世界的解釋，把過去的二維圖像分析推廣到了三維，并且在隨后的20年中迅速發(fā)展并形成了一門新的學(xué)科。1、華盛頓大學(xué)與微軟公司寬基線立體視覺系統(tǒng)：對跨越的幾千米內(nèi)的地形進(jìn)行精確的定位導(dǎo)航2、麻省理工學(xué)院計算機(jī)系提出了一種新的用于智能交通工具的傳感器融合方法，能夠在高速環(huán)境下對視頻圖像中的目標(biāo)位置進(jìn)行分割3、CMU大學(xué)基于圖像的三維重構(gòu)系統(tǒng)4、Katholieke大學(xué)可變內(nèi)參數(shù)下的攝像機(jī)自標(biāo)定技術(shù)：可自動實現(xiàn)自標(biāo)定和分層重構(gòu)5、日本大阪大學(xué)自適應(yīng)的雙目視覺伺服系統(tǒng)：對運(yùn)動方式未知的目標(biāo)的自適應(yīng)跟蹤6、浙江大學(xué)透視成像原理：采用雙目體視方法實現(xiàn)了對多自由度機(jī)械裝置的動態(tài)、精確位姿檢測第5頁，共21頁，2023年，2月20日，星期五該課題的研究現(xiàn)狀涉及面廣（航空測繪、軍事應(yīng)用、醫(yī)學(xué)診斷及工業(yè)檢測等）可用性研究趨勢評估指標(biāo)的轉(zhuǎn)變（重視內(nèi)容、智能分析、多領(lǐng)域的應(yīng)用）方法多樣（邊緣檢測、區(qū)域圖像分割及最小二乘算法等）第6頁，共21頁，2023年，2月20日，星期五研究內(nèi)容：實現(xiàn)該過程一般包括如下幾個功能模塊：圖像獲取、攝像機(jī)標(biāo)定、識別、定位、立體匹配。主要研究雙目立體視覺系統(tǒng)的各項關(guān)鍵技術(shù)及其具體實現(xiàn)，使之能夠精確定位手術(shù)器械，從而為機(jī)器人具體操作提供一定的輔助作用。第7頁，共21頁，2023年，2月20日，星期五解決的關(guān)鍵問題：機(jī)器人雙目視覺的可用性指標(biāo)標(biāo)定的要求定位的要求識別的要求第8頁，共21頁，2023年，2月20日，星期五采取的研究方法步驟和技術(shù)路線需求評估構(gòu)建研究個案優(yōu)化驗證驗證方法的有效性標(biāo)定內(nèi)部參數(shù)兩攝像機(jī)之間的位置關(guān)系++外部參數(shù)定位（目標(biāo)點(diǎn)的深度測量）平臺構(gòu)建（兩臺攝像機(jī)、兩個圖像采集卡以及兩臺驅(qū)動電機(jī)）識別彩色圖像轉(zhuǎn)換灰質(zhì)圖像閾值圖像分割第9頁，共21頁，2023年，2月20日，星期五機(jī)器人雙目視覺的機(jī)構(gòu)平臺如圖所示，兩臺攝像機(jī)位置相對固定，同時拍攝同一場景的圖像，水平軸和豎直軸分別裝有驅(qū)動電機(jī)以實現(xiàn)系統(tǒng)的仰俯和旋轉(zhuǎn)動作。第10頁，共21頁，2023年，2月20日，星期五機(jī)器人雙目視覺的機(jī)構(gòu)平臺或者使用雙目攝像機(jī)更便捷，但是需要一塊視頻采集卡/item.htm?spm=686.1000925.0.0.hxqXcX&id=45072212067雙目攝像機(jī)購買鏈接/item.htm?spm=686.1000925.0.0.hxqXcX&id=45378827214視頻采集卡購買鏈接第11頁，共21頁，2023年，2月20日，星期五標(biāo)定攝像機(jī)針孔成像數(shù)學(xué)模型：式中：s為比例常數(shù),A為攝像機(jī)內(nèi)部參數(shù)(固定不變),[R

t]為攝像機(jī)外部參數(shù)(表示攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系,隨世界坐標(biāo)系的選定而變化),Mw和m分別表示目標(biāo)點(diǎn)世界坐標(biāo)及其對應(yīng)的像點(diǎn)像素坐標(biāo)的極坐標(biāo)。第12頁，共21頁，2023年，2月20日，星期五識別實時準(zhǔn)確地識別采集到的圖像中的目標(biāo)對象，是機(jī)器人視覺系統(tǒng)的關(guān)鍵，而目標(biāo)識別的實質(zhì)是圖像分割。在圖像分割之前，要將彩色圖像進(jìn)行灰度變換，例如可以將彩色圖像變換為灰度圖像。式中I——灰度值；R，G和B——RGB顏色空間中像素的3個分量第13頁，共21頁，2023年，2月20日，星期五識別目標(biāo)圖像和背景圖像必須存在較大的色差，根據(jù)這個特征，對圖像中的每個像素進(jìn)行了色差處理，以增強(qiáng)背景和目標(biāo)對象的反差，圖像中每一個像素的色差表示為C=R-I，即：第14頁，共21頁，2023年，2月20日，星期五識別根據(jù)灰度圖像的直方圖，采用合適的閾值進(jìn)行圖像分割，設(shè)T是所取閾值，閾值分割理論如下公式所示。當(dāng)圖像中像素的色差值小于所設(shè)定的閾值時，將像素的灰度值設(shè)置為0；當(dāng)圖像中像素的色差值大于或等于所設(shè)定的閾值時，將像素的灰度值設(shè)置為255。目標(biāo)對象與背景之間的色差值存在較大的差異。只要閾值選擇恰當(dāng)，就可以得到較好的分割效果。第15頁，共21頁，2023年，2月20日，星期五定位雙目立體視覺計算目標(biāo)點(diǎn)深度值的模型如圖所示，f為CCD攝像機(jī)的焦距，b為兩攝像機(jī)的中心距離，R為目標(biāo)點(diǎn)的深度值，XL和XR分別是目標(biāo)點(diǎn)在左右圖中的位置。第16頁，共21頁，2023年，2月20日，星期五定位目標(biāo)點(diǎn)在立體圖像對中的視差為其在兩圖中水平方向上的距離，即視差D=|XL－XR|。根據(jù)三角測量原理，可獲得深度值R與視差D的關(guān)系：第17頁，共21頁，2023年，2月20日，星期五立體匹配

立體匹配是在兩幅存在視點(diǎn)差異，幾何、灰度畸變和噪聲干擾的圖像間進(jìn)行，尋求同一空間景物在不同視點(diǎn)下投影圖像的像素間的一一對應(yīng)關(guān)系，亦即給定一幅圖像中的一點(diǎn)，尋找另一幅圖像中的對應(yīng)點(diǎn)，使得這兩點(diǎn)為空間同一物體點(diǎn)的投影，進(jìn)而可以求出二者視差，用以恢復(fù)圖像的深度信息，并可以進(jìn)一步求得某些特征的空間坐標(biāo)以及由稀疏的三維數(shù)據(jù)恢復(fù)整個曲面。第18頁，共21頁，2023年，2月20日，星期五立體匹配立體匹配方法很多，但無論對于哪一種立體匹配方法的設(shè)計，都必須解決以下三個方面問題：匹配基元選擇：選擇適當(dāng)?shù)膱D像特征作為匹配基元，如點(diǎn)、直線、區(qū)域、相位等；匹配準(zhǔn)則：將關(guān)于物理世界的某些固有特性表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實反映景物的本來面目；算法結(jié)構(gòu)：利用適當(dāng)?shù)臄?shù)學(xué)方法設(shè)計能正確匹配所選基元的穩(wěn)定算法。第19頁，共21頁，2023年，2月20日，星期五疑問和想法疑問和想法：雙目視