基于嵌入式平臺(tái)的雙目主動(dòng)測(cè)距系統(tǒng)的中期報(bào)告

基于嵌入式平臺(tái)的雙目主動(dòng)測(cè)距系統(tǒng)的中期報(bào)告一、項(xiàng)目背景隨著機(jī)器人、自動(dòng)駕駛、虛擬現(xiàn)實(shí)等技術(shù)的發(fā)展，對(duì)場(chǎng)景深度信息的需要越來(lái)越大。傳統(tǒng)的單目相機(jī)、激光雷達(dá)等設(shè)備雖然具有一定的測(cè)距能力，但仍然存在精度不高、盲區(qū)多等問(wèn)題。而雙目視覺(jué)系統(tǒng)可以通過(guò)左右兩個(gè)相機(jī)同時(shí)拍攝場(chǎng)景，通過(guò)計(jì)算像素差異得到深度信息，具有高精度、低盲區(qū)等優(yōu)點(diǎn)，因此被廣泛使用。本項(xiàng)目旨在通過(guò)嵌入式平臺(tái)實(shí)現(xiàn)一個(gè)雙目主動(dòng)測(cè)距系統(tǒng)，包括硬件和軟件部分。硬件部分需要設(shè)計(jì)一個(gè)雙目相機(jī)模塊，軟件部分需要實(shí)現(xiàn)測(cè)距算法和前端顯示界面。二、硬件設(shè)計(jì)本系統(tǒng)采用兩個(gè)相同的OV5640相機(jī)和一顆FPGA芯片進(jìn)行雙目圖像采集和處理。OV5640是一款常用的Cmos圖像傳感器，可以拍攝1280x720分辨率的彩色圖像。FPGA芯片則負(fù)責(zé)對(duì)圖像進(jìn)行預(yù)處理、匹配、測(cè)距等操作。具體的硬件設(shè)計(jì)如下：1.電源模塊系統(tǒng)的電源模塊包括一個(gè)5VDC穩(wěn)壓器和一個(gè)3.3VDC穩(wěn)壓器。5VDC穩(wěn)壓器為相機(jī)、FPGA等模塊提供5V電源，3.3VDC穩(wěn)壓器為FPGA提供3.3V電源。2.OV5640相機(jī)模塊OV5640相機(jī)模塊包括OV5640傳感器、晶振、濾波器、接口電路等部分。傳感器拍攝到的圖像通過(guò)接口電路發(fā)送給FPGA芯片進(jìn)行處理。3.FPGA芯片F(xiàn)PGA芯片采用AlteraCycloneIV系列，主要負(fù)責(zé)圖像預(yù)處理、相機(jī)參數(shù)調(diào)節(jié)、圖像匹配和距離計(jì)算。其架構(gòu)如下：4.顯示模塊顯示模塊采用7寸LCD顯示屏，用于顯示測(cè)距結(jié)果及實(shí)時(shí)圖像。三、軟件設(shè)計(jì)系統(tǒng)的軟件部分主要包括驅(qū)動(dòng)程序和測(cè)距算法。驅(qū)動(dòng)程序負(fù)責(zé)與硬件部分進(jìn)行數(shù)據(jù)交互，測(cè)距算法則通過(guò)對(duì)預(yù)處理后的圖像進(jìn)行匹配和像素差分析計(jì)算目標(biāo)距離。具體流程如下：1.驅(qū)動(dòng)程序驅(qū)動(dòng)程序主要包括相機(jī)驅(qū)動(dòng)和FPGA驅(qū)動(dòng)。相機(jī)驅(qū)動(dòng)負(fù)責(zé)從OV5640相機(jī)中讀取圖像數(shù)據(jù)并發(fā)送至FPGA芯片；FPGA驅(qū)動(dòng)負(fù)責(zé)控制FPGA芯片進(jìn)行圖像預(yù)處理、圖像匹配和測(cè)距算法等操作，并將測(cè)距結(jié)果發(fā)送至顯示模塊進(jìn)行顯示。2.測(cè)距算法測(cè)距算法采用雙目視覺(jué)三角測(cè)量方法，具體分為以下幾個(gè)步驟：（1）校準(zhǔn)首先需要對(duì)相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)部參數(shù)矩陣和外部參數(shù)矩陣。（2）預(yù)處理對(duì)左右圖像進(jìn)行預(yù)處理，包括去噪、直方圖均衡化、Sobel邊緣檢測(cè)等。預(yù)處理后的左右兩幅圖像如下圖所示：（3）特征提取利用SIFT算法提取圖像中的關(guān)鍵點(diǎn)和描述子，從而將圖像轉(zhuǎn)換為高維空間中的向量。（4）特征匹配通過(guò)對(duì)左右兩個(gè)圖像中的關(guān)鍵點(diǎn)進(jìn)行匹配，找到其在另一幅圖像中的對(duì)應(yīng)點(diǎn)。匹配后的結(jié)果如下圖所示：（5）三角測(cè)量利用匹配點(diǎn)的像素坐標(biāo)和相機(jī)內(nèi)參、外參等參數(shù)進(jìn)行三角測(cè)量，得到目標(biāo)離相機(jī)的距離。（6）結(jié)果顯示最終的測(cè)距結(jié)果通過(guò)顯示模塊顯示在LCD屏幕上，如下圖所示：四、目前進(jìn)展目前我們已經(jīng)完成了硬件部分的設(shè)計(jì)和制造，包括電源模塊、OV5640相機(jī)模塊、FPGA芯片和LCD顯示屏等模塊。軟件部分我方已經(jīng)初步完成了驅(qū)動(dòng)程序和部分測(cè)距算法的實(shí)現(xiàn)，可以讀取相機(jī)拍攝的圖像