Python圖像處理與機器視覺入門 課件 第22章 增強現(xiàn)實

圖像處理應用技術李欽深圳信息職業(yè)技術學院軟件學院科技樓1703D室1295254769@1增強現(xiàn)實增強現(xiàn)實技術是一種將虛擬信息融合到真實世界的技術，將計算機生成的文字、圖像、三維模型等虛擬信息模擬仿真后，應用到真實世界中，兩種信息相互補充，從而實現(xiàn)對真實世界的效果增強。增強現(xiàn)實通過定位或者識別的方式來確定此刻觀察者的位置和視角，從而獲取相機的姿勢估計，通俗一點來說就是確定觀察者的眼睛往哪個方向看。本項目主要關注基于標記的增強現(xiàn)實背后用到的技術，來簡單地實現(xiàn)在棋盤上的3D模型展示。2實驗1相機矯正增強現(xiàn)實通常需要使用到攝像頭或者相機，而往往由于相機的內(nèi)源因素，鏡頭對平面上不同區(qū)域的放大率不同導致拍攝的圖像會出現(xiàn)幾何畸變，而這種畸變成都會從畫面中央往畫面邊緣逐漸遞增。由于畸變主要源自鏡頭本身的物理因素，所以在使用攝像頭之前首先對其進行矯正是很有必要的。本實驗旨在了解相機矯正的過程，并提供同一攝像頭下的照片作為實驗素材，條件允許的話同學們也可以用其他攝像頭的數(shù)據(jù)完成實驗。2實驗1相機矯正步驟1讀取圖片 首先我們先讀取需要矯正的圖片，這里會用到Python自帶的glob模塊完成讀取一系列類似文件名的文件，同學們可以自行查看不同圖片。2實驗1相機矯正步驟2設置目標點 為了解決畸變模型，我們需要提供一些真實點以及其在圖片上的對應點以便求解。由于三維時間真實點包含x,y,z軸，但是我們可以默認所有棋盤上的真實點在一個平面上，只用考慮x,y軸的部分。通過mgrid來生成目標點。2實驗1相機矯正步驟3尋找圖像點 為了找到這些真實點對應的圖像上的左邊點，我們需要用到OpenCV中的findChessboardCorners函數(shù)，指定網(wǎng)格的大小，從而獲得一個成功與否的返回值以及對應的坐標點。由于需要對每一張圖片進行處理，且記錄是否存在合適的對應網(wǎng)格點，這里需要用到for循環(huán)。另外我們也可以使用drawChessboardCorners來查看這些點的具體位置信息。2實驗1相機矯正步驟4相機矯正矩陣 我們已經(jīng)獲取到足夠多的對應點信息，這里可以用calibrateCamera直接完成相機的矯正，輸入真實點坐標，圖像點的坐標以及源圖像的大小。返回值我們主要關注相機矩陣mtx以及失真系數(shù)dist。步驟5矯正圖像 當我們已經(jīng)獲取到相機的上述參數(shù)，便可以直接對該攝像頭下的畸變圖像進行矯正了，這里需要使用undistort函數(shù)來輸入相機矩陣以及失真系數(shù)，最后可以看到明顯的差異，圖中的方格之間的連線明顯從曲線變?yōu)橹本€。大家可以嘗試對其他范例圖片進行矯正。練習1實現(xiàn)相機矯正作答正常使用主觀題需2.0以上版本雨課堂主觀題10分2實驗2姿勢估計在上一個實驗中，我們已經(jīng)學習了如何對相機畸變進行矯正，接下來我們需要完成姿態(tài)估計，即判斷目標平面的位置以及方向，從而完成簡單的投影過程。姿態(tài)估計同樣需要找到圖像的真實點以及對應點，同時還需要在已知相機各種參數(shù)的情況下進行，從而判斷圖像所處的姿態(tài)。本實驗將使用上一個實驗學習到的一些方法繼續(xù)完成姿態(tài)估計，并介紹一些簡單的繪圖方法。2實驗2姿勢估計步驟1獲取相機參數(shù) 由于處于同樣的攝像機下，所以參數(shù)條件需要保持一致，我們需要讀取上一個實驗的相機矩陣參數(shù)以及失真系數(shù)。步驟2讀取圖像并尋找目標點 類似相機矯正，我們需要真實點以及對應的圖像點來幫助完成當前圖像的姿態(tài)估計，這里用到的都是之前學到的函數(shù)。我們可以查看目標點在圖像中的位置。2實驗2姿勢估計步驟3姿態(tài)估計 這里我們將使用到solvePnPRansac函數(shù)來求解姿態(tài)，即尋找此時圖像的旋轉(zhuǎn)和平移參數(shù)。另外我們還需要使用到projectPoints找到一個小的坐標軸對應在此圖像中的投影點,可以查看投影點的坐標情況。步驟4繪出坐標軸 最后我們使用OpenCV中自帶的畫圖功能來完成坐標軸的繪制，這里會用到line函數(shù)繪出不同顏色的直線。注意這里并沒有對圖像進行校正，當然同學們可以自行嘗試在矯正后的圖像上繪出坐標軸。2實驗2姿勢估計步驟5繪出小方塊 當然OpenCV的繪圖功能遠不止直線，如果想嘗試繪出更復雜一點的幾何體，需要更多的點和直線，以及使用drawContours來繪