服務(wù)機器人的視覺感知研究

服務(wù)機器人的視覺感知研究

1模塊化機器人技術(shù)的應(yīng)用模塊是一種思維方式。廣泛應(yīng)用于機械工程、電子、計算機和其他行業(yè)的創(chuàng)造性設(shè)計。把產(chǎn)品系統(tǒng)中含有相同或相似的功能單元分離出來,用標準化原理進行統(tǒng)一、歸并、簡化,以通用單元的形式獨立存在,這就是模塊。然后用不同的模塊組合成新產(chǎn)品,這就是模塊化。因此,模塊化技術(shù)主要包含2個方面的內(nèi)容:一是模塊的合理分解;二是模塊的有效組合。上個世紀90年代日本就開始了可重構(gòu)模塊化機器人的研究。這里模塊化的概念是多個具有相同結(jié)構(gòu)、組成及功能的單元通過組成不同的機械形式、不同的空間結(jié)構(gòu),來實現(xiàn)不同的運動、功能等。典型的服務(wù)機器人視覺系統(tǒng)應(yīng)用包括室內(nèi)機器人自主定位導(dǎo)航、基于視覺信息的目標物體的抓取、基于視覺信息的人臉識別、基于視覺信息的障礙物檢測與運動估計、服務(wù)機器人視覺伺服等。涉及了圖像采集、圖像處理、模式識別、特征匹配、三維重建和視覺跟蹤等領(lǐng)域。既要做到圖像的準確采集還要做到對外界變化反應(yīng)的實時性,同時還需要對外界運動的目標實時跟蹤。根據(jù)視覺模塊的性能出發(fā),查閱相關(guān)文獻對服務(wù)機器人視覺系統(tǒng)的關(guān)鍵技術(shù):系統(tǒng)組成和圖像采集處理模塊作論述。2視覺系統(tǒng)模塊化設(shè)計目前服務(wù)機器人的研究處于快速發(fā)展的階段,其發(fā)展前景和市場非常廣闊,如何占領(lǐng)這廣闊的市場,國家863組提出機器人模塊化體系結(jié)構(gòu)設(shè)計,按組成機器人的功能構(gòu)件分為:機械標準件、智能控制模塊、驅(qū)動模塊、感知模塊、通訊模塊、人機交互模塊等。機器人感知功能構(gòu)件中視覺是機器人獲取環(huán)境信息的主要途徑,而且其獲取環(huán)境信息量豐富,研究出能夠軟硬件一體的視覺模塊,不僅可以減輕服務(wù)機器人上位機的工作,提高機器人實時性指標,而且為將來服務(wù)機器人再開發(fā)、批量生產(chǎn)奠定基礎(chǔ)。隨著服務(wù)機器人應(yīng)用領(lǐng)域的日益普及,功能的不斷完善,機器人自身結(jié)構(gòu)和控制也變得越來越復(fù)雜。服務(wù)機器人已經(jīng)在生活中起到了越來越重要的作用,為了使服務(wù)機器人的設(shè)計及應(yīng)用更加快速有效,能夠勝任更復(fù)雜的工作,以應(yīng)對不斷變化的市場需求,傳統(tǒng)的設(shè)計和開發(fā)方法已經(jīng)逐漸顯示出了制約機器人的應(yīng)用和發(fā)展,為此,研究者們尋求機器人模塊化和組件化設(shè)計新方法。提出服務(wù)機器人模塊化視覺系統(tǒng)由視覺傳感器、圖像采集處理單元、輸入輸出接口、面向特定應(yīng)用的算法以及運動控制單元幾部分組成,其結(jié)構(gòu)框圖,如圖1所示。服務(wù)機器人常用的視覺傳感器是CCD和CMOS類型的攝像機。圖像采集處理單元是服務(wù)機器人視覺系統(tǒng)的核心,其主要任務(wù)是將攝像頭輸出的視頻信號轉(zhuǎn)換成適合處理單元處理的格式,執(zhí)行設(shè)定的視覺算法。輸入輸出接口也是模塊化設(shè)計中重要的環(huán)節(jié),一個通用簡便且能滿足傳輸速度的輸入輸出接口是視覺信息傳輸過程忠穩(wěn)定性和實時性的基礎(chǔ),目前在視覺系統(tǒng)模塊化設(shè)計中常用的視頻信號的輸入端有:S端子、VGA、USB、1394等接口形式,輸出端主要有:PCI總線、USB、CAN總線、RS232等。視覺算法的主要作用是根據(jù)機器人需要完成的任務(wù),對獲取的圖像信息進行相應(yīng)的處理,提取相應(yīng)特征,完成目標識別以及環(huán)境理解等,將處理結(jié)果輸出給服務(wù)機器人的控制系統(tǒng)/執(zhí)行單元。運動控制單元是控制服務(wù)機器人視覺平臺的運動,控制視覺平臺的俯仰和旋轉(zhuǎn)兩個自由度的運動,從而實現(xiàn)視覺系統(tǒng)動態(tài)的感知環(huán)境信息,滿足服務(wù)機器人實時跟蹤目標等要求。就模塊化視覺系統(tǒng)核心部分:圖像采集處理單元作如下論述。3機器人圖像采集和處理模塊3.1上位機系統(tǒng)結(jié)構(gòu)簡單傳統(tǒng)的視覺系統(tǒng)由攝像頭+圖像采集卡+計算機組成,采集卡的作用是對攝像頭采集到的模擬視頻信號進行A/D轉(zhuǎn)換,并且通過計算機總線接口傳入計算機內(nèi)存,用軟件實現(xiàn)對數(shù)字化圖像的處理分析,再把計算機對圖像信息的處理結(jié)果,如提取的目標物體的特征參量等信息通過串行/并行總線傳給機器人的驅(qū)動/控制單元。這種視覺系統(tǒng)結(jié)構(gòu)簡單,圖像的處理工作完全由計算機完成,上位機在完成圖像處理的同時,對于服務(wù)機器人來說,還需要完成整個機器人系統(tǒng)的任務(wù)規(guī)劃、各子系統(tǒng)的協(xié)調(diào)控制、其它感知功能構(gòu)件的信息處理等任務(wù)。上位機需要處理完成的任務(wù)比較多,為了滿足系統(tǒng)功能和實時性的要求,多數(shù)服務(wù)機器人不得不采用高性能通用計算機作為機器人的上位機,從而造成機器人整體功耗過大,持續(xù)工作時間縮短。因此研發(fā)具有高性能低功耗特點的嵌入式圖像采集處理模塊成為服務(wù)機器人研究的重要研究方向之一。3.2視頻采集處理模塊嵌入式視頻采集處理系統(tǒng)具有可靠性高、速度快、成本低、體積小、功耗低、環(huán)境適應(yīng)性強等優(yōu)點。機器人技術(shù)是與嵌入式系統(tǒng)的發(fā)展緊密聯(lián)系在一起的。由于嵌入式系統(tǒng)的高速發(fā)展,機器人視覺技術(shù)獲得了更大的發(fā)展機遇。基于嵌入式設(shè)計的圖像采集模塊由:電源模塊、圖像采集模塊、高速緩存單元、配置/下載模塊、輸入輸出接口模塊和MPU處理單元組成。電源模塊為整個系統(tǒng)提供工作所需的電壓,其組成框圖,如圖2所示。這類采集處理系統(tǒng)仍然采用模擬視頻輸入,而它的特點是視頻信號的采集、處理集成到一塊板卡上,這種結(jié)構(gòu)設(shè)計大大減輕了服務(wù)機器人上位機的處理負荷,不過增加了電路設(shè)計實現(xiàn)的難度,但這種一體化的系統(tǒng)符合模塊化設(shè)計的要求。幾乎每個大的硬件廠商都推出了自己的嵌入式處理器,因而現(xiàn)今市面上有1000多種嵌入式處理芯片,其中以ARM,ASIC,DSP,FPGA等在機器人視覺中應(yīng)用最為廣泛。FPGA、DSP和ARM這些集成芯片都有很強大的功能,其應(yīng)用做視覺處理系統(tǒng)都有各自的優(yōu)缺點。3.2.1教育機器人視覺系統(tǒng)ASIC芯片具有高性能、低功耗、可以提供大的數(shù)據(jù)吞吐量等特點,因此,可以用于嵌入式機器人視覺系統(tǒng)的研制開發(fā)。文獻設(shè)計了一種快速邊緣檢測的芯片,可以跟蹤圖像的邊緣,實時提供邊緣的位置和方位信息,用于機器人視覺系統(tǒng)的特征提取和模式識別。文獻中的移動機器人視覺系統(tǒng)采用運動圖像編解碼(MPEG)芯片和運動估計協(xié)處理器對圖像處理進行加速,通過計算光流場檢測運動物體,用于機器人的導(dǎo)航和避障。采用ASIC設(shè)計開發(fā)視覺系統(tǒng)的主要缺點是靈活性較差,研制開發(fā)周期較長。ASIC設(shè)計一般都針對一個特定應(yīng)用,增減功能和升級都很不方便。為了克服這種缺點,文獻中提出了可重新配置的多處理器網(wǎng)絡(luò)結(jié)構(gòu),這種結(jié)構(gòu)在網(wǎng)絡(luò)直徑和處理器之間連接數(shù)限制之間進行折中,它可以執(zhí)行快速傅立葉變換(FIT)、邊緣提取、模版匹配、Hough變換等多種圖像處理算法,方便了嵌入式視覺系統(tǒng)的研制開發(fā)。3.2.2體視覺模塊設(shè)計數(shù)字信號處理器(DSP)是一類具有專門為數(shù)字信號處理任務(wù)而優(yōu)化設(shè)計的體系結(jié)構(gòu)和指令系統(tǒng)的通用處理器件。具有處理速度快和有復(fù)合功能的單周期指令等特點,在高速圖像處理中得到了越來越多的應(yīng)用。通常情況下基于DSP的智能圖像處理單元面向某種特定應(yīng)用,如文獻中的立體視覺模塊利用DSP實現(xiàn)基于區(qū)域相關(guān)的立體算法,可以從大小為320x240的圖像實時計算深度圖,并通過并口和上位機進行通訊。文獻用CMOS圖像板和TI公司的DSP-DSK板構(gòu)建的視覺系統(tǒng)采用C6416定點數(shù)字信號處理器(600MHz,4800MIPS),該系統(tǒng)能夠以較高的實時性完成目標搜索和避障信息計算等任務(wù)。文獻采用DSP圖像處理系統(tǒng)作為足球機器人的底層視覺系統(tǒng),用于圖像分割、目標搜索和定位以及機器人的自定位任務(wù),實現(xiàn)了較高的實時性。根據(jù)參閱的文獻發(fā)現(xiàn),一個完整的視覺系統(tǒng)采用DSP還不夠,還要有FPGA或CPLD來完成系統(tǒng)中所有芯片的接口和各種控制邏輯,這樣無疑提高了系統(tǒng)的成本和開發(fā)難度,FPGA的內(nèi)部資源未得到充分的利用,而且目前的FPGA芯片其邏輯門達到了500萬,內(nèi)部可配置豐富的IP核資源、乘法器和DSP塊,為嵌入式系統(tǒng)的搭建,提供很多方便。3.2.3fpga技術(shù)實現(xiàn)了“同頻共振”的視覺反饋系統(tǒng)FPGA的在線可編程性可以實現(xiàn)處理算法的柔性選擇,是大數(shù)據(jù)量、實時信號處理系統(tǒng)的理想選擇。FPGA具有靜態(tài)可重復(fù)編程和動態(tài)在系統(tǒng)重構(gòu)的特性,使得硬件的功能可以像軟件一樣通過編程來修改。FPGA內(nèi)置的豐富的IP核資源、乘法器和DSP塊以及豐富的可編程邏輯資源,可以實現(xiàn)將圖像處理算法“軟件硬件化”,兩大FPGA芯片生產(chǎn)商Altera和Xilix開發(fā)的軟件平臺功能強大,DSPBuilder、SOPC、Nios開發(fā)工具為搭建嵌入式圖像處理系統(tǒng)提供條件,同時QuartusⅡ軟件支持C語言,只要在相應(yīng)的函數(shù)上右擊,點擊“C2H”就可以將C語言轉(zhuǎn)換成硬件語言,以前視覺算法大都是用VC開發(fā)環(huán)境,大都是C語言,有了這樣的轉(zhuǎn)換功能,為我們設(shè)計開發(fā)基于FPGA的模塊化的視覺平臺提供了極大的方便。文獻通過設(shè)計不同的模板對圖像進行處理和匹配,用FPGA實現(xiàn)快速目標識別和跟蹤算法。文獻實現(xiàn)的視覺反饋系統(tǒng)中,FPGA主要用來計算圖像的特征,視覺系統(tǒng)的實時性同微機相比得到了很大程度的提高。文獻利用FPGA實現(xiàn)了水下機器人視覺系統(tǒng),該系統(tǒng)能夠通過兩幅圖像之間的點匹配進行運動估計,進而對水下機器人進行定位操作,處理速度比基于通用微機的方法提高了50倍。文獻利用FPGA所實現(xiàn)的立體視覺系統(tǒng)能夠以視頻速率生成稠密深度圖和進行障礙物檢測。文獻在FPGA中實現(xiàn)了粒子濾波算法和目標跟蹤算法。3.2.4arm的圖像調(diào)節(jié)ARM具有比較強的任務(wù)管理能力,其優(yōu)勢主要體現(xiàn)在控制方面和運行應(yīng)用程序,比如圖形界面的操作系統(tǒng)。ARM用作機器人視覺采集處理系統(tǒng)還比較少,文獻系統(tǒng)能夠從背景中識別出目標圖像,但是由于光照等影響,目標反光部分和果蒂部分,算法未能較好識別。文獻基于ARM的視覺系統(tǒng)能夠跟蹤簡單場景中的靜止目標。文獻中實驗結(jié)果:圖像采集170ms,RGB轉(zhuǎn)換58ms,障礙物檢測7ms,目標物檢測55ms。這些研究表明ARM明顯沒有DSP和FPGA的優(yōu)勢。主要表現(xiàn)在:(1)運算速度沒有DSP快,對圖像處理中的算法ARM不能滿足實時性要求;(2)FPGA具有豐富的可編程邏輯資源,可以實現(xiàn)將圖像處理算法“軟件硬件化”,即將算法用專用的硬件邏輯實現(xiàn)(如FPGA),這樣可以更進一步地提高系統(tǒng)的實時性。3.2.5圖像采集和智能圖像卡復(fù)合型圖像處理模塊是指采用能夠相互協(xié)調(diào)和發(fā)揮各自優(yōu)點的兩種不同的處理器構(gòu)成的圖像采集處理系統(tǒng)。這種技術(shù)的優(yōu)點是能夠揚長避短,充分發(fā)揮各自優(yōu)勢,從而拓寬可實時實現(xiàn)的視覺算法的范圍,提高系統(tǒng)可靠性和靈活性。文獻采用FPGA和DSP相結(jié)合的方法實現(xiàn)雙目機器人圖像采集處理功能,該系統(tǒng)利用FPGA實現(xiàn)圖像采集和底層圖像處理,而DSP則據(jù)此完成高層算法,并可根據(jù)不同的任務(wù)重新加載FPGA配置和DSP代碼。該系統(tǒng)未做軟件優(yōu)化的條件下,每秒鐘可以采集并處理完12幀圖像。而在PC+采集卡模式上運行程序時,PC機每秒鐘只能處理并發(fā)送2幀雙目圖像的信息。文獻針對服務(wù)機器人的性能需求,研制開發(fā)了一種基于FPGA和DSP的智能圖像卡。該智能圖像卡不但可以完成視覺信息的采集,而且能夠根據(jù)上位機的指令通過FPGA實時完成圖像預(yù)處理、邊緣檢測、直線檢測等任務(wù),并在此基礎(chǔ)上利用DSP或上位機實現(xiàn)目標檢測和跟蹤等算法。復(fù)合型視覺信息處理單元通常同時具有高性能和低功耗的優(yōu)點,可以降低對機器人上位機處理速度的要求,從而使整個服務(wù)機器人控制系統(tǒng)可以很好地滿足機器人對性能和功耗的要求。4視覺系統(tǒng)模塊化設(shè)計的需要機器人視覺系統(tǒng)設(shè)計的研究多集中在特定應(yīng)用環(huán)境下某個特定機器人。主要體現(xiàn)在底層硬件抽象、系統(tǒng)內(nèi)功能劃分、接口定義,資源管理等方面,而對系統(tǒng)各模塊的可擴展性、互操作性及動態(tài)結(jié)構(gòu)自組織方面研究較少。它所能完成的任務(wù)范圍是受其自身的軟硬件結(jié)構(gòu)限制的,可是對于服務(wù)機器人,其面對的不再是確定的目標,固定環(huán)境了,同時又要求機器人能實現(xiàn)多種工作,這就要求機器人視覺系統(tǒng)模塊能夠根據(jù)環(huán)境信息實時改變,并做出響應(yīng)。雖然機器人視覺技術(shù)近年已經(jīng)有了長足進步,但其發(fā)展水平仍然不能滿足服務(wù)機器人模塊化思想,這也是服務(wù)機器人目前不能得到推廣和應(yīng)用的主要原因。為了滿足模塊化設(shè)計要求,服務(wù)機器人視覺系統(tǒng)模塊化還需要解決以下問題:(1)研制開發(fā)通用性好、便于使用和具有良好交互界面的圖像采集與處理單元,并使其在滿足視覺處理運算量要求和實時處理要求的前提下盡可能保持較低功耗,以達到提高服務(wù)機器人持續(xù)工作能力的目的。同時視覺系統(tǒng)應(yīng)能提供良好的編程接口,以供主控系統(tǒng)方便的調(diào)用,滿足不同的任務(wù)需求。(2)研制通用性好,運算簡單的圖像處理算法,通過并行結(jié)構(gòu)的視覺系統(tǒng)以及視覺系統(tǒng)內(nèi)部的并行處理算法來處理圖像中的大量數(shù)據(jù),提高系統(tǒng)的處理能力和實時性,從而提高機器人的環(huán)境感知能力。(3)對服務(wù)機器人的環(huán)境感知方法以及相應(yīng)算法進行深人研究,使機器人視覺系統(tǒng)能夠在動態(tài)環(huán)境中能夠很好地克服光照變化、遮擋等因素的影響,準確地實現(xiàn)環(huán)境感知。合理設(shè)計與使用人工標志,使服務(wù)機器人能夠在復(fù)雜環(huán)境中準確、快速地利用人工標志進行目標識別和環(huán)境感知,以克服實際環(huán)境中自然目標特征提取