基于aer的實時視覺cs傳感器的設(shè)計

基于aer的實時視覺cs傳感器的設(shè)計

1aer多時間域量化以往的視覺圖像采集方法基于固定頻率采集的“場景”，存在高冗余、高延遲、高噪聲、低動態(tài)面積、高數(shù)據(jù)等缺點?；诘刂?事件表達(AER)的視覺圖像傳感器模仿生物視覺的工作機理,像素異步工作,僅輸出光強發(fā)生變化像素的地址和信息,而不是被動依次讀出“幀”內(nèi)每個像素信息,從源頭上消除冗余數(shù)據(jù),具有場景變化實時動態(tài)響應(yīng)、圖像超稀疏表示、事件異步輸出等特點,可廣泛應(yīng)用于高速目標跟蹤、實時監(jiān)控、工業(yè)自動化和機器人視覺等領(lǐng)域。AER方式可與時間脈沖(TTFS)、脈沖寬度調(diào)制(PWM)、脈沖頻率調(diào)制(PFM)和ON/OFF事件等時間域像素結(jié)構(gòu)結(jié)合,實現(xiàn)異步輸出,應(yīng)用于視覺傳感器。但是進行片外時間域量化過程中,輸出延時將引起量化誤差;采用片內(nèi)像素單獨存儲陣列的方式雖然可避免輸出延時,但會增加系統(tǒng)開銷;采用分區(qū)處理時間對比方式可減小輸出數(shù)據(jù)量,但小區(qū)域內(nèi)事件發(fā)生不同步將帶來冗余數(shù)據(jù)。同時,采用片外輸出時間標記,標記點為輸出數(shù)據(jù)時間,而不是事件發(fā)生時間,不能精確反映光強變化,且在數(shù)據(jù)輸出發(fā)生沖突,需要仲裁的情況下,數(shù)據(jù)與時間的不匹配更加顯著。本文提出了一種基于AER方式的實時視覺CMOS傳感器實現(xiàn)方法,集成了多模式行仲裁方式、實時時間標記功能,可有效減小輸出數(shù)據(jù)量,解決AER異步輸出方式帶來的事件-時間不匹配問題,并具有高幀頻、大動態(tài)范圍(DR)的特點。2事件輸出模式AER方式以仿生神經(jīng)學(xué)為原型,傳感器像素陣列內(nèi)某單元發(fā)生特定事件后,輸出脈沖信號。脈沖信號觸發(fā)外圍的地址編碼電路編碼事件發(fā)生地址,并且通過量化脈沖時間間隔或脈沖頻率來反映脈沖信號的屬性。AER方式由事件主動觸發(fā),各像素間異步工作,真正實現(xiàn)非“幀”圖像采集,并且未發(fā)生事件的像素?zé)o輸出,從源頭上消除了冗余信息,減小硬件開銷、功率消耗,大大提高系統(tǒng)工作速度。發(fā)生特定事件的像素對控制模塊發(fā)出通信請求,請求獲準后輸出量為該像素所在坐標位置(x,y)及發(fā)生的事件。如圖1所示,對于一維單一事件異步并行輸出,事件以脈沖形式輸出,引起其所在行的地址編碼器實時輸出行地址,后續(xù)接收處理電路根據(jù)接收到的行地址及接收編碼的時間還原事件屬性及所在地址。AER方式消除冗余數(shù)據(jù)、減小數(shù)據(jù)量,在不發(fā)生嚴重競爭的情況下,不同像素的事件可實時輸出,可被認為是一個實時系統(tǒng)。但對于同時發(fā)生的傳輸請求將產(chǎn)生沖突,需要控制模塊進行仲裁處理。36ar漸進式視覺傳感器結(jié)構(gòu)3.1復(fù)位電壓的輸出基于AER方式的像素結(jié)構(gòu)由感知光強變化的光強變化感知電路(CD)和量化光強的雙采樣PWM電路兩部分組成,其結(jié)構(gòu)及時序邏輯關(guān)系如圖2、3所示。CD電路僅負責(zé)感知光強是否變化,由光電流探測、比較及放大、輸出比較及邏輯修正三部分組成。光電二極管PD1感知光強變化,放大器A1的輸出端與復(fù)位管MP源極相連,輸出電壓Vph可迅速反映光電流變化,并進行保持。VG為復(fù)位電壓,由CD控制電路進行控制。比較及放大電路采用開關(guān)電容放大器,開關(guān)S0由事件探測輸出信號CD及仲裁模塊進行控制。放大后的采樣差值,分別與正向閾值Vr及負向閾值Va進行比較,一旦超過閾值即表示本像素發(fā)生光強變化超出閾值范圍,需要測量及輸出,判斷結(jié)果存儲于1bit存儲器中。雙采樣PWM電路接收到CD信號后開始光強量化工作。復(fù)位管MRst2復(fù)位后,光電二極管PD2開始曝光。此時,開關(guān)S1閉合,S2斷開,比較器的負端接高參考電壓Vref_H。隨著曝光的過程,Vint電壓線性下降,降至Vref_H時,比較器輸出翻轉(zhuǎn)。隨后,經(jīng)像素內(nèi)部邏輯控制,開關(guān)S1斷開,S2閉合,比較器的負端接低參考電壓Vref_L。計數(shù)器量化比較器兩次翻轉(zhuǎn)的時間差tint,將量化結(jié)果存儲于8bit存儲器中,等待輸出。3.2動態(tài)范圍調(diào)整本文提出的視覺傳感器由像素陣列(128pixel×128pixel)、CD控制電路、雙采樣PWM控制電路、行仲裁電路、時間標記電路、行/列地址編碼電路和讀出電路組成,如圖4所示。像素單元由CD電路和雙采樣PWM電路組成。CD電路判斷結(jié)果存儲于像素內(nèi)1bit存儲器中,共用列總線。雙采樣PWM電路量化結(jié)果存儲于像素內(nèi)8bit存儲器中,經(jīng)仲裁后按行輸出,同樣采用列總線共用輸出方式。CD_reset信號控制各像素CD電路的復(fù)位,控制信號x_Rst為列共用信號。雙采樣PWM控制電路控制各像素中雙采樣PWM電路的復(fù)位及比較器參考電壓、計數(shù)器時鐘模式的轉(zhuǎn)換。通過輸入不同的比較器參考高/低電壓、計數(shù)器時鐘周期可實現(xiàn)動態(tài)范圍的調(diào)整。CD電路和雙采樣PWM電路的復(fù)位外部分別設(shè)置,這樣的好處是當光強變化劇烈時,CD電路輸出頻率遠大于雙采樣PWM電路量化頻率,傳感器進入“快照”模式,CD電路停止工作,轉(zhuǎn)為雙采樣PWM電路同步并行曝光工作方式。某一像素(m,n)的CD電路探測到光強變化后,將是否需要量化的判斷結(jié)果存儲于像素內(nèi)1bit存儲器中。若結(jié)果有效,雙采樣PWM電路量化光強,將結(jié)果存于8bit存儲器中,并向行仲裁電路發(fā)出請求信號y_Req。同時,時間標記電路將接收到的y_Req信號進行精確時間標記,標記結(jié)果存儲于行共用的20bit存儲器中。行仲裁電路收到請求信號y_Req后,決定輸出優(yōu)先權(quán)。假設(shè)選定第m行輸出,仲裁電路在向該行發(fā)出確認信號y_Ack的同時,向行地址編碼電路發(fā)送行選中信號。行地址編碼電路輸出第m行的行地址y_add[0:6]及該行中存儲的標記時間TS_code[0:19]。第m行的像素接受確認信號y_Ack,僅當此像素的CD判斷信號為有效值時,該像素向列地址編碼電路發(fā)送CD判斷信號及量化結(jié)果,輸出7bit列地址x_add[0:6]及8bit量化結(jié)果Q_result[0:7]。采用AER方式,僅對光強變化超過閾值的像素信息進行輸出,從源頭上消除了冗余數(shù)據(jù)的產(chǎn)生;每個像素的工作狀態(tài)由外部光強“主動”觸發(fā),相對于傳統(tǒng)“幀”采集模式,規(guī)定同步采樣周期的“被動”采集,可獲得更大的動態(tài)幀頻及動態(tài)范圍;通過時間標記反映光強變化的時間點,可精確反映連續(xù)視覺信息。4動態(tài)范圍和仲裁模式4.1hdmi視頻采集過程視覺圖像采集的圖像質(zhì)量在動態(tài)范圍方面有著很大的改進空間,特別在高速圖像采集方面,需折衷幀頻與視頻動態(tài)范圍的關(guān)系。傳統(tǒng)的CMOS有源圖像傳感器中每個像素的曝光時間為定值,動態(tài)范圍由讀出信號大小所限制:式中Vsat為光電二極管復(fù)位電壓,Vdark、Vreset、Vout分別為暗電流、復(fù)位噪聲和讀出噪聲引起的噪聲電壓。rDR受到復(fù)位電壓限制,并且隨著工藝尺寸的不斷減小,電壓隨之降低,成為限制傳統(tǒng)圖像傳感器圖像質(zhì)量的瓶頸。而本設(shè)計中采用的時域PWM方式,rDR由曝光時間決定,大大提高了動態(tài)范圍。PWM方式中由量子效率公式,光照強度公式ηQ=Iph/eP0/(hν),(3)P0=LA,(4)ηQ=Ιph/eΡ0/(hν),(3)Ρ0=LA,(4)可得Iph=ηQP0hνe=LAηQehν.(5)Ιph=ηQΡ0hνe=LAηQehν.(5)由(2)、(5)式得到γDR=20lgImaxImin=20lgtmaxtmin,(6)γDR=20lgΙmaxΙmin=20lgtmaxtmin,(6)式中Imax,Imin分別為最大可測非飽和光強及最小可測光強,Imin由暗電流決定,tmax,tmin分別為最長、最短光時間。由(6)式可知,PWM方式的動態(tài)范圍由曝光時間所決定,不受復(fù)位電壓影響。圖5為量子效率ηQ=0.7,光電二極管面積A=81μm2,CPD=36.98fF,Idark=1nA/cm2條件下曝光時間tint與光強的關(guān)系,其中ΔVth為雙采樣PWM電路比較器高/低參考電壓的差值。在同一ΔVth下,光強1lx的曝光時間為105lx下的105倍。為了獲得較高的“等效幀頻”,在視頻采集過程中,同一“等效幀”內(nèi)的量化精度為ρQ=ΔVthCPDIph0×10lmin×2K=ΔVthCPDIph0×10lmax,(7)ρQ=ΔVthCΡDΙph0×10lmin×2Κ=ΔVthCΡDΙph0×10lmax,(7)式中Imax=10lmax為最大可測非飽和光強,Imin=10lmin為最小可測光強,K為量化位數(shù)。由(7)式可得則一“等效幀”的動態(tài)范圍為與傳統(tǒng)“幀”視頻模式不同的是,PWM量化方式中視頻模式下的一“等效幀”動態(tài)范圍受量化位數(shù)K影響,K越高,一“等效幀”采集過程中的動態(tài)范圍越大。4.2圖像的實時圖像獲取基于AER方式的視覺傳感器每個像素曝光、量化、輸出的過程異步,且事件發(fā)生頻率不固定,無法預(yù)測。若同時發(fā)生的傳輸請求產(chǎn)生沖突,各像素產(chǎn)生競爭,則需要控制模塊進行仲裁處理。根據(jù)特征信息提取、高速拍攝和高速目標跟蹤等不同需求,可采用不同的仲裁方式,動態(tài)分配帶寬,提高數(shù)據(jù)的輸出速度。本設(shè)計采用輪權(quán)仲裁、中間區(qū)域優(yōu)先、事件集中優(yōu)先三種模式進行仲裁,滿足對實時視覺獲取的不同需求:1)輪權(quán)仲裁:遵循“先進先出”的原則,每次仲裁按照第一行依次至最后一行的順序決定優(yōu)先權(quán)。輪權(quán)仲裁可使每行優(yōu)先權(quán)相對平均。但是,即使一行中只有一個事件也需輸出,輸出時間較長。適用于需要對全景信息采集,但對幀頻要求較低的視覺圖像采集領(lǐng)域;2)中間區(qū)域優(yōu)先:優(yōu)先輸出中間N行,上下邊緣各行輸出優(yōu)先權(quán)低,每K(K>1)個“等效幀”輸出一次。其優(yōu)勢在于弱化對周圍固定環(huán)境信息的采集,減小無用信息。但是,采用此方式信息采集不完全,在優(yōu)先區(qū)域外出現(xiàn)的變化不能及時采集。適用于高速目標跟蹤,特別是高速公路安全監(jiān)測領(lǐng)域;3)事件集中優(yōu)先:根據(jù)每行需輸出變化像素的個數(shù)決定輸出優(yōu)先權(quán),可迅速反映圖像主要信息,但光強劇烈變化的像素行會多次占用輸出,使其他變化不強的行不能輸出。適用于需要快速反映圖像變化,但對精確度要求不高的領(lǐng)域。根據(jù)不同需求采用上述不同的仲裁方式,可全面或迅速地獲得圖像信息。結(jié)合時間標記模塊,修正時間與輸出數(shù)據(jù)的不匹配,可精確反映連續(xù)視覺信息。5汽車行駛圖像的檢測采用Matlab軟件/Simulink對本文提出的基于AER方式的實時視覺傳感器實現(xiàn)方法進行仿真。傳感器結(jié)構(gòu)包括128pixel×128pixel陣列、CD控制電路、雙采樣PWM控制電路、行仲裁電路、時間標記電路、行/列地址編碼電路、讀出電路,采用8bit量化精度。在100lx光強下,獲得最小等效幀頻1000frame/s,10lx光強下為100frame/s,靜態(tài)動態(tài)范圍大于133dB,視頻動態(tài)范圍48.16dB,可滿足高速視覺圖像獲取的需求。主要參數(shù)如表1所示。通過拍攝公路汽車行駛圖像,表示視覺圖像信息的輸入過程。這類圖像特點為背景信息變化小,且不作為圖像采集主要對象,圖像的重要信息集中于橫向特定區(qū)域。圖6(a)～(c)分別為等時間間隔采集的圖像信息,事件發(fā)生率(即需要量化輸出的像素數(shù)量/像素陣列總數(shù))為88.59%,88.10%。圖6(d)、(g)為在輪權(quán)仲裁(Rotationarbitration)下獲得的第二、第三“等效幀”圖像。完整輸出全部圖像信息,但輸出數(shù)據(jù)量最大,占用全部輸出帶寬。圖6(e)、(h)為在中間區(qū)域優(yōu)先模式(Intermediary-areaspriority)下獲得的圖像。優(yōu)先輸出中間80行,上下邊緣各24行輸出優(yōu)先權(quán)低。中間區(qū)域優(yōu)先輸出行數(shù)62.5%,與原始圖像對比,圖像準確率動態(tài)浮動,由原圖像信息決定,輸出信息量最小。圖6(f)、(i)為在事件集中優(yōu)先模式(Events-focuspriority)下獲得的圖像。按行事件數(shù)量由多到少優(yōu)先權(quán)輸出,且僅輸出前93.75%行,忽略微小變化。與原圖像對比,圖像準確率