550-基于XCZU3EG的雙目視覺(jué)開(kāi)發(fā)套件

基于XCZU3EG的雙目視覺(jué)開(kāi)發(fā)套件雙目視覺(jué)平臺(tái)概述本平臺(tái)主要針對(duì)電子、計(jì)算機(jī)、自動(dòng)化、光電子、通信等專業(yè)高年級(jí)本科、碩士等同學(xué)的深入學(xué)習(xí)，通過(guò)完整的雙目視覺(jué)平臺(tái)硬件（包括攝像頭模組、MPSOC核心板、接口板），理解整個(gè)圖像傳輸、處理的硬件系統(tǒng)，通過(guò)整體的雙目視覺(jué)軟件（包括PL端固件程序、ARM端裸跑程序、PC機(jī)網(wǎng)絡(luò)程序）理解視頻的同步傳輸、AXI總線的中斷、VDMA視頻傳輸、網(wǎng)絡(luò)LWIP協(xié)議棧、視頻傳輸與視頻顯示等，深入理解底層數(shù)據(jù)流的傳輸過(guò)程、連續(xù)流中中斷、內(nèi)存管理機(jī)制，網(wǎng)絡(luò)TCP/UDPIP機(jī)制。通過(guò)該套件的學(xué)習(xí)，為同學(xué)們打下良好的嵌入式底層硬軟件結(jié)合的基礎(chǔ)，為未來(lái)從事圖像處理、人工智能、芯片設(shè)計(jì)、云智能視頻等領(lǐng)域的工作做好充分準(zhǔn)備。該平臺(tái)也可以為初入職的員工深度理解視頻采集、傳輸、處理的整個(gè)過(guò)程，及雙目視覺(jué)接入的基本思路，并通過(guò)硬件和底層代碼的學(xué)習(xí)，快速體會(huì)軟硬件結(jié)合的思想及實(shí)踐過(guò)程。雙目視覺(jué)軟件內(nèi)容以厚實(shí)的軟件代碼內(nèi)容及詳細(xì)講解帶來(lái)遠(yuǎn)超開(kāi)發(fā)板的價(jià)值雙目視覺(jué)軟件通過(guò)工程化的案例，以圖像傳輸?shù)倪^(guò)程，雙目視頻接入、轉(zhuǎn)DP顯示、AXI總線的VDMA視頻傳輸、ARM的LWIP協(xié)議網(wǎng)絡(luò)傳輸、PC的網(wǎng)絡(luò)圖像接入與顯示通過(guò)完整的軟件代碼深度的介紹了視頻傳輸體系。代碼分模塊學(xué)習(xí)和介紹如下：序號(hào)程序名稱程序內(nèi)容1雙目視頻PL端圖像接入通過(guò)PL的sensor設(shè)置、接入雙目視覺(jué)行場(chǎng)、數(shù)據(jù)信息，體會(huì)行場(chǎng)分辨率等概念，了解雙目同步的特點(diǎn)。2單路CMOS圖像Sensor轉(zhuǎn)DP顯示實(shí)驗(yàn)通過(guò)PL端的代碼學(xué)習(xí)視頻顯示的數(shù)據(jù)特征，RGB信號(hào)特點(diǎn)，數(shù)據(jù)與顯示的對(duì)應(yīng)關(guān)系。3AXI總線的VDMA圖像傳輸通過(guò)PL端程序和PS端的交互，了解視頻幀傳輸?shù)腄MA傳輸機(jī)制，DDR緩存，中斷交互關(guān)系，連續(xù)圖像存儲(chǔ)和算法應(yīng)用的數(shù)據(jù)流機(jī)制。4ARM的LWIP網(wǎng)絡(luò)傳輸實(shí)驗(yàn)基于裸跑的C程序代碼如何完整呈現(xiàn)UDP/TCP，IP協(xié)議數(shù)據(jù)收發(fā)，網(wǎng)絡(luò)組包機(jī)制和傳輸機(jī)制，圖像網(wǎng)絡(luò)傳輸數(shù)據(jù)組包協(xié)議。5雙路視頻網(wǎng)絡(luò)PC傳輸實(shí)驗(yàn)上位機(jī)的QT程序，如何網(wǎng)絡(luò)接收?qǐng)D像數(shù)據(jù)，實(shí)現(xiàn)網(wǎng)絡(luò)協(xié)議的解析，數(shù)據(jù)流緩存機(jī)制，顯示器連續(xù)圖像顯示與連續(xù)接收包的互動(dòng)關(guān)系。雙目視覺(jué)平臺(tái)硬件介紹雙目視覺(jué)平臺(tái)套件，以最先進(jìn)的MPSOC芯片為基礎(chǔ)，通過(guò)核心板+擴(kuò)展板的模式來(lái)設(shè)計(jì)，核心板和擴(kuò)展板之間使用高速板間連接器連接。搭建起了從攝像頭到主處理器、到接口電路的完整結(jié)構(gòu)。其整體框架如下：這款MPSoCs開(kāi)發(fā)平臺(tái)采用核心板加擴(kuò)展板的模式，方便用戶對(duì)核心板的二次開(kāi)發(fā)利用。2.1核心板核心板使用XILINXZynqUltraScale+CG芯片ZU3EG的解決方案，它采用ProcessingSystem(PS)+ProgrammableLogic(PL)技術(shù)將雙核ARMCortex-A53和FPGA可編程邏輯集成在一顆芯片上。另外核心板上PS端帶有4片共2GB高速DDR4SDRAM芯片，1片8GB的eMMC存儲(chǔ)芯片和2片共512Mb的QSPIFLASH芯片；核心板上PL端帶有1片512MB的DDR4SDRAM芯片。2.2底板在底板設(shè)計(jì)上我們?yōu)橛脩魯U(kuò)展了豐富的外圍接口，比如1個(gè)FMCLPC接口、1路SATAM.2接口、1路DP接口、1個(gè)USB3.0接口、1路千兆以太網(wǎng)接口、1路UART串口接口、1路SD卡接口、2個(gè)40針擴(kuò)展接口、2路CAN總線接口，2路RS485接口等等。滿足用戶各種高速數(shù)據(jù)交換，數(shù)據(jù)存儲(chǔ)，視頻傳輸處理，深度學(xué)習(xí)，人工智能以及工業(yè)控制的要求，是一款"專業(yè)級(jí)“的ZYNQ開(kāi)發(fā)平臺(tái)。為高速數(shù)據(jù)傳輸和交換，數(shù)據(jù)處理的前期驗(yàn)證和后期應(yīng)用提供了可能。相信這樣的一款產(chǎn)品非常適合從事MPSoCs開(kāi)發(fā)的學(xué)生、工程師等群體。核心板核對(duì)底板結(jié)構(gòu)示意圖：通過(guò)這個(gè)示意圖，我們可以看到，我們這個(gè)開(kāi)發(fā)平臺(tái)所能含有的接口和功能。2.3OV5642雙目攝像頭模組OV5642攝像頭模組采用2片美國(guó)OmniVision(豪威)CMOS芯片圖像傳感器OV5640，支持兩路獨(dú)立或者同時(shí)顯示的功能。CMOSOV5640芯片支持DVP和MIPI接口,在OV5642模組上是通過(guò)DVP接口和FPGA連接實(shí)現(xiàn)圖像的傳輸。OV5642攝像頭模組的參數(shù)說(shuō)明以下為OV5642模組的詳細(xì)參數(shù):接口：40針母座，2路攝像頭采用單獨(dú)的DVP接口間距：2路攝像頭之間的間距為40mm;像素：硬件像素500W;感光芯片：2片OV5640;感光尺寸：1/4;模組內(nèi)容：含OV5640電源電路和時(shí)鐘;功能支持：手動(dòng)對(duì)焦,自動(dòng)曝光控制(AEC),自動(dòng)白平衡(AWB);圖像格式:RAWRGB,RGB565/555/444,CCIR656,YUV422/420,YCbCr422和壓縮;捕獲畫(huà)