《攝像機(jī)自標(biāo)定》課件

攝像機(jī)自標(biāo)定課程概述相機(jī)標(biāo)定介紹相機(jī)標(biāo)定理論，包括相機(jī)內(nèi)參數(shù)、外參數(shù)和畸變參數(shù)的含義及作用。自標(biāo)定技術(shù)重點(diǎn)講解攝像機(jī)自標(biāo)定的原理和方法，以及在實(shí)際應(yīng)用中的重要意義。應(yīng)用場(chǎng)景闡述攝像機(jī)自標(biāo)定在機(jī)器人視覺、三維重建、虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用。課程目標(biāo)理解攝像機(jī)標(biāo)定原理。掌握張正友標(biāo)定法的步驟。運(yùn)用OpenCV庫(kù)進(jìn)行攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定概述攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)基礎(chǔ)而重要的技術(shù)，其目的是確定攝像機(jī)內(nèi)部和外部參數(shù)。內(nèi)部參數(shù)是指攝像機(jī)自身的屬性，例如焦距、主點(diǎn)坐標(biāo)和畸變系數(shù)等。外部參數(shù)是指攝像機(jī)在世界坐標(biāo)系中的位置和姿態(tài)，包括平移向量和旋轉(zhuǎn)矩陣。攝像機(jī)標(biāo)定的必要性1三維重建準(zhǔn)確的相機(jī)參數(shù)是三維重建的基礎(chǔ)，用于獲得物體的真實(shí)尺寸和形狀。2機(jī)器人視覺機(jī)器人視覺系統(tǒng)依賴于相機(jī)標(biāo)定，才能準(zhǔn)確識(shí)別目標(biāo)，完成抓取、操作等任務(wù)。3增強(qiáng)現(xiàn)實(shí)AR應(yīng)用需要將虛擬物體疊加到現(xiàn)實(shí)場(chǎng)景中，相機(jī)標(biāo)定確保虛擬物體與現(xiàn)實(shí)環(huán)境的精確融合。攝像機(jī)成像原理攝像機(jī)成像原理基于針孔模型。光線穿過攝像機(jī)鏡頭，在成像傳感器上形成倒立的圖像。成像過程涉及光學(xué)透鏡、成像傳感器以及數(shù)字信號(hào)處理等步驟。攝像機(jī)成像原理是計(jì)算機(jī)視覺的基礎(chǔ)，用于理解和解釋圖像信息。相機(jī)內(nèi)參數(shù)焦距鏡頭焦距決定了成像的大小和視角。主點(diǎn)圖像中心，與鏡頭光軸的交點(diǎn)。傾斜系數(shù)傳感器與圖像平面不平行時(shí)的校正參數(shù)。相機(jī)外參數(shù)旋轉(zhuǎn)矩陣描述了相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系。它是一個(gè)3x3的正交矩陣，用于將世界坐標(biāo)系中的點(diǎn)旋轉(zhuǎn)到相機(jī)坐標(biāo)系中。平移向量描述了相機(jī)坐標(biāo)系原點(diǎn)在世界坐標(biāo)系中的位置。它是一個(gè)3x1的向量，表示相機(jī)坐標(biāo)系原點(diǎn)相對(duì)于世界坐標(biāo)系原點(diǎn)的偏移量。相機(jī)畸變參數(shù)徑向畸變鏡頭中心到邊緣的距離越大，畸變?cè)矫黠@切向畸變由鏡頭安裝不正導(dǎo)致，使直線彎曲變形標(biāo)定原理和方法標(biāo)定原理標(biāo)定原理是利用已知世界坐標(biāo)系中的點(diǎn)，通過相機(jī)成像得到對(duì)應(yīng)的像素坐標(biāo)系中的點(diǎn)，并根據(jù)兩者的對(duì)應(yīng)關(guān)系，計(jì)算出相機(jī)內(nèi)參數(shù)、外參數(shù)和畸變參數(shù)。標(biāo)定方法常用的標(biāo)定方法包括直接線性變換法（DLT）、張正友標(biāo)定法、基于深度學(xué)習(xí)的標(biāo)定方法等。張正友標(biāo)定法經(jīng)典算法張正友標(biāo)定法是一種經(jīng)典的相機(jī)標(biāo)定方法，它利用平面棋盤格作為標(biāo)定目標(biāo)，通過求解圖像中棋盤格角點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)之間的對(duì)應(yīng)關(guān)系，來估計(jì)相機(jī)內(nèi)參數(shù)、外參數(shù)和畸變參數(shù)。簡(jiǎn)單易行該方法簡(jiǎn)單易行，只需要一張棋盤格標(biāo)定板和若干張不同角度拍攝的標(biāo)定圖像即可，不需要復(fù)雜的設(shè)備和環(huán)境，因此在實(shí)際應(yīng)用中得到廣泛應(yīng)用。張正友標(biāo)定法步驟1準(zhǔn)備標(biāo)定板使用標(biāo)定板，并確保其在圖像中清晰可見。2采集圖像從不同角度拍攝標(biāo)定板，獲取多張圖像。3提取角點(diǎn)使用圖像處理技術(shù)自動(dòng)提取標(biāo)定板的角點(diǎn)。4計(jì)算相機(jī)參數(shù)根據(jù)提取的角點(diǎn)信息，計(jì)算相機(jī)內(nèi)參數(shù)、外參數(shù)和畸變參數(shù)。標(biāo)定板簡(jiǎn)介標(biāo)定板是攝像機(jī)標(biāo)定中必不可少的工具，它是一個(gè)具有特定幾何特征的平面物體，通常由黑白方格組成。標(biāo)定板的尺寸和方格大小會(huì)影響標(biāo)定精度，選擇合適的標(biāo)定板對(duì)于獲得準(zhǔn)確的標(biāo)定結(jié)果至關(guān)重要。標(biāo)定板設(shè)計(jì)要求1尺寸和分辨率標(biāo)定板的尺寸應(yīng)與相機(jī)視野匹配，分辨率足夠高，以保證每個(gè)角點(diǎn)的清晰識(shí)別。2角點(diǎn)間距角點(diǎn)間距應(yīng)均勻，且易于識(shí)別，常用的間距為10mm或20mm。3角點(diǎn)數(shù)量角點(diǎn)數(shù)量應(yīng)足夠多，至少應(yīng)有10個(gè)以上角點(diǎn)，以提高標(biāo)定精度。4材料標(biāo)定板的材料應(yīng)易于加工，且表面應(yīng)平整，避免反光。標(biāo)定圖像采集1準(zhǔn)備標(biāo)定板確保標(biāo)定板清晰可見，背景簡(jiǎn)單，光線充足。2移動(dòng)標(biāo)定板從不同角度拍攝標(biāo)定板圖像，保證標(biāo)定板在圖像中占有一定比例，并覆蓋相機(jī)視野的不同區(qū)域。3保存圖像將采集到的標(biāo)定圖像保存為圖像格式，例如JPG或PNG。標(biāo)定數(shù)據(jù)處理1圖像校正消除畸變影響2特征點(diǎn)提取識(shí)別標(biāo)定板特征點(diǎn)3數(shù)據(jù)關(guān)聯(lián)匹配圖像和世界坐標(biāo)相機(jī)內(nèi)參數(shù)估計(jì)參數(shù)描述焦距(fx,fy)鏡頭焦距，決定圖像放大倍率。主點(diǎn)坐標(biāo)(cx,cy)圖像中心坐標(biāo)，決定圖像偏移。傾斜系數(shù)(s)鏡頭畸變，影響圖像幾何形狀。相機(jī)外參數(shù)估計(jì)相機(jī)外參數(shù)表示相機(jī)在世界坐標(biāo)系中的位置和姿態(tài)相機(jī)畸變參數(shù)估計(jì)1徑向畸變主要由透鏡的形狀導(dǎo)致的畸變2切向畸變由透鏡的制造誤差引起的畸變標(biāo)定結(jié)果評(píng)價(jià)重投影誤差衡量標(biāo)定結(jié)果準(zhǔn)確性的指標(biāo)，越小越好。內(nèi)參數(shù)一致性評(píng)估內(nèi)參數(shù)估計(jì)的可靠性，例如焦距和主點(diǎn)。外參數(shù)穩(wěn)定性驗(yàn)證外參數(shù)的精度，例如旋轉(zhuǎn)和平移矩陣。標(biāo)定精度影響因素標(biāo)定板精度標(biāo)定板的尺寸和位置精度直接影響標(biāo)定結(jié)果的精度。圖像分辨率圖像分辨率越高，標(biāo)定精度越高，但同時(shí)也會(huì)增加計(jì)算量。標(biāo)定圖像數(shù)量標(biāo)定圖像數(shù)量越多，標(biāo)定結(jié)果越穩(wěn)定，但同時(shí)也會(huì)增加標(biāo)定時(shí)間。相機(jī)鏡頭畸變相機(jī)鏡頭畸變會(huì)影響標(biāo)定結(jié)果的精度，需要進(jìn)行畸變校正。常見標(biāo)定誤差及解決1標(biāo)定板平面誤差標(biāo)定板的平面度誤差會(huì)導(dǎo)致內(nèi)參數(shù)估計(jì)偏差。2圖像采集噪聲光線變化、傳感器噪聲都會(huì)引入誤差，影響標(biāo)定精度。3標(biāo)定點(diǎn)提取誤差角點(diǎn)檢測(cè)算法誤差會(huì)導(dǎo)致標(biāo)定點(diǎn)坐標(biāo)偏差，影響外參數(shù)估計(jì)。OpenCV標(biāo)定實(shí)現(xiàn)1準(zhǔn)備標(biāo)定數(shù)據(jù)加載標(biāo)定板圖像和角點(diǎn)坐標(biāo)。2執(zhí)行標(biāo)定過程使用OpenCV提供的函數(shù)，計(jì)算相機(jī)內(nèi)參數(shù)、外參數(shù)和畸變參數(shù)。3驗(yàn)證標(biāo)定結(jié)果評(píng)估標(biāo)定精度并可視化標(biāo)定結(jié)果。標(biāo)定結(jié)果可視化通過可視化工具，例如OpenCV的`drawChessboardCorners`函數(shù)，可以直觀地觀察標(biāo)定結(jié)果。可視化包括顯示標(biāo)定板上的角點(diǎn)，以及根據(jù)標(biāo)定結(jié)果重建的3D空間場(chǎng)景。非標(biāo)定平面標(biāo)定無需標(biāo)定板通過提取場(chǎng)景中的平面特征點(diǎn)，如直線和角點(diǎn)，進(jìn)行標(biāo)定。平面特征提取利用邊緣檢測(cè)和角點(diǎn)檢測(cè)算法提取平面特征。幾何約束利用平面幾何約束和相機(jī)成像模型估計(jì)相機(jī)參數(shù)。手眼標(biāo)定原理1相機(jī)坐標(biāo)系相機(jī)的坐標(biāo)系2機(jī)器人坐標(biāo)系機(jī)器人的坐標(biāo)系3世界坐標(biāo)系外部參考系手眼標(biāo)定步驟11.數(shù)據(jù)采集采集機(jī)器人末端位姿和相機(jī)觀測(cè)到的標(biāo)定板圖像22.特征提取提取標(biāo)定板特征點(diǎn)并計(jì)算其在圖像中的像素坐標(biāo)33.標(biāo)定模型求解根據(jù)采集的數(shù)據(jù)和標(biāo)定模型求解手眼變換矩陣44.精度評(píng)估評(píng)估標(biāo)定結(jié)果的精度，并進(jìn)行必要的優(yōu)化機(jī)器人應(yīng)用實(shí)例工業(yè)機(jī)器人，例如焊接機(jī)器人，可通過攝像機(jī)自標(biāo)定獲取自身姿態(tài)信息，實(shí)現(xiàn)更精準(zhǔn)的焊接操作。視覺導(dǎo)航機(jī)器人，例如AGV，可利用攝像機(jī)自標(biāo)定