基于FPGA和雙DSP的高速視頻圖像處理系統(tǒng)設(shè)計(jì)

1、第39卷,增刊 V01.39Supplement紅外與激光工程Infrared and Laser Engineering2010年05月 Mav.2010基于FPGA和雙DSP的高速視頻圖像處理系統(tǒng)設(shè)計(jì)苑愛博,魯新平,李吉成,張志龍,楊衛(wèi)平(國防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院ATR重點(diǎn)實(shí)驗(yàn)室,湖南長沙410073摘要:介紹了基于XC5VSX95T和兩片TMS320C6455的高速實(shí)時(shí)視頻圖像處理系統(tǒng)的設(shè)計(jì)原 理.其中Ff,GA模塊主要完成圖像實(shí)時(shí)采集和傳輸?shù)倪壿嬁刂萍皥D像預(yù)處理任務(wù),雙DSP模塊承擔(dān) 特征提取、目標(biāo)識(shí)別、跟蹤等任務(wù)。工程應(yīng)用表明,該系統(tǒng)實(shí)時(shí)性和穩(wěn)定性均達(dá)到了設(shè)計(jì)要求,能夠 實(shí)

2、現(xiàn)快速傅里葉變換、邊緣檢測、識(shí)別,跟蹤等圖像處理算法。關(guān)鍵詞:圖像處JE;DSP; FPGA中圈分類號(hào)l TP391. 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007.2276(2010增(信息處理一0647.04Design of high speed video image processor based onFPGA and dual DSPsYUAN Aibo,LU Xinping,LI Jicheng,ZHANG Zhi-long,YANG Wei-ping(KeyLaboratoryforATR.CollegeofElectronic Science andEngineering.Nation

3、alUmve體ityofDefenseTechnology,ChangSha410073,ChinaAbstract:This paper designed a high speed realtime system of video image processing based on two chips of TMS320C6455and Xilinx FPGA of XC5VSX95T.The system uses DSPs to process the image data and accomplishes logic control of data catching and trans

4、mission with FPGA.which combines merit such US rapidity,agility and currency.Application of engineering shows that hardware architecture is effective and feasible;the performance meets the requirement of realtime processing.The system can realize the algorithm of image processing such as Fast Fourie

5、r Transform(FFT,edge detection, recognizing,tracking and SO on.Key words:Image processing;DSP;FPGA0引言圖像處理技術(shù)已經(jīng)被廣泛應(yīng)用于視頻圖像處理 的各個(gè)領(lǐng)域,可獨(dú)立運(yùn)行的高速實(shí)時(shí)數(shù)字圖像處理平 臺(tái)己成為圖像處理領(lǐng)域的一個(gè)發(fā)展趨勢。然而由于圖 像處理和自動(dòng)目標(biāo)識(shí)別的算法復(fù)雜,運(yùn)算量巨大,圖 像處理系統(tǒng)通常包括分割、檢測、標(biāo)記、識(shí)別、跟蹤 等復(fù)雜的過程12l,處理實(shí)時(shí)性要求高,同時(shí)系統(tǒng)的體 積也有嚴(yán)格的限制,因此在設(shè)計(jì)系統(tǒng)時(shí)必須綜合考慮 這些特點(diǎn),合理選用芯片并保留一定的余度。本文從 硬件設(shè)計(jì)的角度出

6、發(fā)研究高速實(shí)時(shí)圖像處理系統(tǒng)。 以雙DSP+FPGA的結(jié)構(gòu)組成滿足實(shí)時(shí)性要求的圖像 處理系統(tǒng),充分發(fā)揮FPGA加通用DSP結(jié)構(gòu)的靈活 性及實(shí)時(shí)處理能力1。1核心芯片的功能和特點(diǎn)主CPU采用TI公司的TMS320C6455定點(diǎn)DSP 芯片。該芯片采用90am工藝,先進(jìn)的VelociTlTM VLIW架構(gòu),擁有8個(gè)獨(dú)立的功能單元,其中有2個(gè)收日期2010-04-08作介苑愛博(1985.男.黑龍江卉齊哈爾人,碩士.主要從事圖像佰息處理方面的研究。竺 彗蘭皇蘭耋三壘耋蘭蘭量蘭量 量:!童 t6位乘法器和0個(gè)算術(shù)邏輯單元,其最大峰值速度96410MIPS,最高主頗高達(dá)I 2GHz。它有16Mbit片內(nèi)集

7、成大容最SRAM.擁有“位高性能外部存儲(chǔ)器接口,可與多種同步或異步存儲(chǔ)器直接相連,可接八大容量的SDRAM存儲(chǔ)器.EMlFA的四個(gè)CE空間能接入高逃l G寧節(jié);TMS320C6455擁有2個(gè)多通個(gè)EDMA通道以及HPI、GPIO等可靈活使用的資源bl。因此可吼很好地滿足圖像處理算法的復(fù)雜性、實(shí)時(shí)性承靈活性要求。系統(tǒng)使用的是Xilinx公司的Virtex5系列XCSVSX95T,Viaex5系列是H前最新、功能最強(qiáng)大的Flea,Viaex-5系列采用第.代ASMBLTM(高級(jí)硅片nl臺(tái)模塊列式架構(gòu),除了最先進(jìn)的高性能邏輯架柑,Viaex.5FFGA還包含多種硬lP系統(tǒng)級(jí)模塊.包括強(qiáng)大的36Kb

8、Block RAM/FIFO,第二代25x18DSPSlice、帶訂內(nèi)置數(shù)擰m抗的SelectIOrH技術(shù)、ChipSyncTM源同步接口模塊、系統(tǒng)監(jiān)視器功能、帶有集成DCM(數(shù)字時(shí)鐘管理器和鎖相環(huán)(PLL時(shí)鐘發(fā)生器的增強(qiáng)型時(shí)鐘符理模塊以厘高級(jí)配置進(jìn)項(xiàng)19o Virtex.5SXT為縣有高級(jí)串行連接功能的高性能信號(hào)處理應(yīng)用的子系列。XC5VSX95T具有14720個(gè)Viaex-5Slice 1每個(gè)Viaex.5Slice包含四個(gè)LuT和四個(gè)觸發(fā)器.640個(gè)dr州I/O管腳,可滿足系統(tǒng)邏輯連接要求。2系統(tǒng)結(jié)構(gòu)和工作原理基于雙DSP+FPGA框架的宴時(shí)圖像處理系統(tǒng)結(jié)構(gòu)如圖1所示.該系統(tǒng)由預(yù)處理與控

9、制模塊、高速處理器模塊,視頻輸出模塊、通信模塊、電潭模塊等部分組成。各功能模塊特點(diǎn)及技術(shù)途徑如下:囊熹-:一.疊。、xc;=;t.,.”.。%i.: 。二,、目 Fig.1 實(shí)時(shí)稅額雷管趕系統(tǒng)結(jié)構(gòu)框圖2.1FPGA噩處理噩控曩塊FPGA芯片是整個(gè)目標(biāo)信息處理機(jī)預(yù)處理和控 制的核心,所有的數(shù)據(jù)都經(jīng)過FPGA控制.并且FFGA 還直接承擔(dān)著圖像處理底層的大量的卷積和乘加運(yùn) 算。所虬該芯片的設(shè)計(jì)直接決定若整個(gè)系統(tǒng)的運(yùn)算速 度。在FPGA內(nèi)部構(gòu)建基于FIFO方式的EMIF接口 模式.片使能信號(hào)CE和異步輸出使能信號(hào)AOE用十 產(chǎn),上FIFO的讀、寫使能信號(hào)。同時(shí),Xilinx Virtex系 列FFG

10、A內(nèi)部塑成BlockRAM.可以配置成兩個(gè)端12完全獨(dú)立的真正的雙口RAM。雙端口Block RAM的 一側(cè)被用來實(shí)現(xiàn)與上位機(jī)的通信,另一側(cè)用于實(shí)現(xiàn)與 FPGA內(nèi)部邏輯電路與通信”J。在接個(gè)圖像處理的過程札前端的紅外圈像預(yù)處理 主要任務(wù)是對(duì)圖像進(jìn)行濾波提高圖像信噪比或進(jìn)行邊 界提取和閾值分割。本設(shè)計(jì)采用基于Nevafia-Babu算 子的方法進(jìn)行邊緣檢測”該方法使用6個(gè)5x5的濾 渡模塊(如圖2所小在曠,30。,60。.坩,120。. 150等方向?qū)D像邊緣進(jìn)r檢測。.一_R_.。:_L。,上,.上。L 。上a【iIi.j_i L_i_上i_Li上叭上。.,L 廣山氘k扯可k_山-J,一, .

11、 .一, L。1上=:=上i上i上if圈2方彤窗定義肛磋件實(shí)現(xiàn)渣程圈R92ql鰣叫c“耐呻耐Hw0flowd叫 為了使5行5刊共”個(gè)像素能夠在一個(gè)時(shí)刻同 時(shí)輸出.便于之后的核心算法模塊進(jìn)行流水線處理, 在5x5方形宙的硬件設(shè)計(jì)中,文采用了四個(gè)FIFO存 儲(chǔ)器。其中FIFO地址寬度為WOe為圖像寬度,這增刊 苑愛博等:基于FPGA和雙DSP的高速視頻圖像處理系統(tǒng)設(shè)計(jì) 649樣每個(gè)FIFO正好可以存儲(chǔ)一行共W個(gè)圖像數(shù)據(jù),使得5x5方形窗生成模塊的輸出W11.W55正好構(gòu)成5x5模板所對(duì)應(yīng)的5行5列共25個(gè)圖像數(shù)據(jù)值。經(jīng)過寄存器R和FIFO的作用后,在每一個(gè)時(shí)鐘周期時(shí),.1 .1 O.1 .I0.1

12、 .I0.1 .10.1 .100000l I l 100 00 .1 .I .1 .1l ll lO O.1 .1.1 .190.1 匏.1 .討.1 .I.1 .I.1 .I5x5窗函數(shù)生成模塊同時(shí)輸出WI 1.W55共25個(gè)待處 理圖像的像素?cái)?shù)據(jù),構(gòu)成了5x5方形窗,輸出數(shù)據(jù)與 模板進(jìn)行卷積運(yùn)算,計(jì)算梯度并找l最大值,并與預(yù) 置的閾值進(jìn)行比較,判斷是否為邊界像素。l ll ll l討 l.芤 l.蛇.100l,o.圖3Nevatia.Babu算子梯度計(jì)算模板Fig.3Templates for detection of image gradients with Nevada-Babu2.

13、2雙DSP高速處理器模塊高速處理器模塊主要是進(jìn)行圖像的高層算法,其任 務(wù)是對(duì)經(jīng)過預(yù)處理的數(shù)字圖像進(jìn)行目標(biāo)檢測、識(shí)別和跟 蹤等算法。DSPI主要承擔(dān)目標(biāo)特征提取及目標(biāo)識(shí)別任 務(wù),DSP2完成圖像跟蹤功能。系統(tǒng)采用兩片TI公司的 TMS320C6455為核心處理器,最大峰值速率為 19200MIPS,DSPI的64bit EMIFA連接FPGA與兩片 FLASH存儲(chǔ)器。用于加載DSP的啟動(dòng)信息、FPGA的 初始化配置和預(yù)加載基準(zhǔn)圖。DSP通過EMIF接口總線 連接到FPGA,EMIFA口的數(shù)據(jù)線、地址線、片選信號(hào) 等與FPGA的I/O連接。將FPGA內(nèi)部存儲(chǔ)器映射到 DSP地址空間。實(shí)現(xiàn)高速數(shù)據(jù)交

14、換13J。兩片C6455之間 通過全雙工串行多通道緩沖串口McBSP進(jìn)行控制信號(hào) 的傳送,通過兩片C6455的EMIFA口連接至FPGA的 EMIF總線接口,可達(dá)到800MB/s的數(shù)據(jù)傳輸速率。 2.3視頻輸出模塊號(hào)、消隱信號(hào)疊加后便可以在顯示器上顯示處理后 的結(jié)果。2.4串行通信模塊模塊要求實(shí)現(xiàn)2個(gè)422串口:傳輸速率為115.2Kbps、230.4Kbps。RS422轉(zhuǎn)換器件采Jj MAX3490。 MAX3490采用單一的3.3V電源供電;可兼容5V 的信號(hào)輸入:共模電壓輸入范圍為.7+12V:支持 半雙工和全雙工:過載時(shí)具有電流限制和熱關(guān)斷的 功能;傳輸速率最大為12Mbps。2.5電

15、源模塊圖像處理系統(tǒng)需要多路數(shù)字電路電源及模擬 電路電源。為提高電源效率,降低板卡總功耗,數(shù) 字電路電源采用高效率的BUCK開關(guān)電源;為降 低模擬電路電源的噪聲,設(shè)計(jì)采用BUCK+端濾 波器+LDO方式,高動(dòng)態(tài)特性LDO能很好的濾除 中、低頻分最噪盧。電源設(shè)計(jì)采用商頻特性(ESR、 ESL比較好的陶瓷電容,三端濾波采用高頻專朋 濾波器,再配合有損耗鐵氧體磁珠吸收島頻EMI。3仿真試驗(yàn)結(jié)果本系統(tǒng)在實(shí)際的研制過程中,我們充分考慮了 電磁兼,容性的要求:采川磁珠隔離模擬電源j數(shù)字 電源,采_f濾波電容等降低電源的十?dāng)_與噪聲。不 同功能模塊采削獨(dú)立的開關(guān)電源供電,不|Ii】模塊之 間4i形成電流環(huán)路。板

16、卡的外部接U除射頻輸入外, 其他接口均采刖ESD保護(hù)I乜路加以保護(hù)。系統(tǒng)配有 啪m啪虬。搬橢" 啪!i! 蘭:!皇蘭蘭三圣i查量蘭蘭蘭量 莖:!童 RS422信號(hào)傳輸系統(tǒng),n,在主控計(jì),9:機(jī)的掙制下對(duì)各a口件進(jìn)行監(jiān)測.井將監(jiān)測結(jié)果上報(bào)給主掙計(jì)算機(jī),為驗(yàn)證本硬件系統(tǒng)(如圖4所示的有效性.我們進(jìn)行了大量仿真鍘試試驗(yàn)。圖3、圖4分別為光學(xué)圖像中機(jī)場跑道和油庫的邊緣檢測與目標(biāo)識(shí)別實(shí)驗(yàn)結(jié)糶。其中,邊緣檢澍算法(圖5(b和圈6(btll FPGA頇處理模塊完成.特征提取和日標(biāo)釀別(吲5(c和豳“c由DSP高速赴理器實(shí)現(xiàn),機(jī)場跑道椅測及識(shí)別運(yùn)行時(shí)間為328ms.油庫榆女i及識(shí)別運(yùn)行時(shí)間為363瞄

17、。山j(luò):迷仿真測試試驗(yàn)結(jié)果可知:凌圖像處理系統(tǒng)具有良好的嘲像處理功能和實(shí)I甘處理能力,/一月4Fig 4陌l(fā) 二圈,邊沿揎剝&lJ標(biāo)識(shí)別仿真結(jié)果l(機(jī)蝻跑道Rg 5Bd臚deteoi帥and【眥u雌(terodmmemnway 4績柬語本文深入研究,稅頻圈像的實(shí)時(shí)采集、圈像處理與 分析、數(shù)字囂像臺(tái)成與宴時(shí)顯示等關(guān)鍵技術(shù).井在此基 礎(chǔ)上構(gòu)建了基于'FPGA+裂Dsr架構(gòu)的視頻宴時(shí)瞬像 處理系統(tǒng)。(c腳6邊沿檢剝廈目杯識(shí)別仿真結(jié)果“油庫Fig 6目p&andnc“ng(“smrage 該系統(tǒng)己獲得實(shí)際應(yīng)用,實(shí)現(xiàn)了基于紅外圖像 序列的目標(biāo)檢測、識(shí)別、跟蹤等算法。該系統(tǒng)處理 速

18、度快,系統(tǒng)穩(wěn)定性高,通用性好.完全滿足設(shè)計(jì) 要求。考立:m聃XJhax FPGA&女#【Ml*¨*扎刪 12】 圳M*#fF吣+捫P¨tNmn*8n*口q*W¨w囅蜮螄s 目&%,l FFPaP女日目*#*I¨“m 口自voI 4207-瑚.o刪 *§fDsP和R%#目*&itIJItt*“ 镕e"l 7”28&2艦zoos151*m.自*#DSp+F虻;A%nW镕*月§&*itm ¨L*nt*q"L12雕睇帆礬舊 ,.一Hf附+璐瞄*|H口t4ttt* 5鯽J1n目n【,I *d、腳+岵P“”目t#*2i叭“*St m8州12*螂l抽7懶刪5F啊附m卿“gB口一IhIZl Texasl一hrmrl腳拋19I5r-,tmttymdm【zIXitiaI_lac 110tt