面陣圖像傳感器lupa4000的性能測試與分析

面陣圖像傳感器lupa4000的性能測試與分析

0apec圖像傳感器的應(yīng)用前景在宇宙光學(xué)遙感領(lǐng)域，sd設(shè)備在高靈敏度、低噪聲、高動態(tài)面積、良好成像質(zhì)量等方面一直占據(jù)著主導(dǎo)地位。近年來,隨著大規(guī)模集成電路技術(shù)和制造工藝的發(fā)展進(jìn)步,CMOS圖像傳感器的讀出噪聲越來越小,成像質(zhì)量不斷提高。與CCD器件相比,CMOS圖像傳感器具有驅(qū)動簡單、單電源低電壓供電、集成度高、功耗低、抗輻射能力強(qiáng)等優(yōu)勢,因此具有極大的應(yīng)用開發(fā)潛力。由于CMOS圖像傳感器應(yīng)用于航天遙感領(lǐng)域還不普遍,缺乏工程試驗(yàn)數(shù)據(jù)和經(jīng)驗(yàn)積累。因此選擇一款性能指標(biāo)較高的CMOS圖像傳感器并以其為基礎(chǔ)進(jìn)行CMOS成像系統(tǒng)的開發(fā),通過工程實(shí)踐了解CMOS圖像傳感器的性能特點(diǎn)和圖像處理方法,積累一定的試驗(yàn)數(shù)據(jù)和經(jīng)驗(yàn),對CMOS圖像傳感器在航天領(lǐng)域的應(yīng)用具有重大的參考價值。在航天遙感應(yīng)用領(lǐng)域,亟需大規(guī)模、高讀出速度、大動態(tài)范圍的圖像傳感器,而LUPA4000圖像傳感器正是一款高性能的高速大面陣CMOS面陣圖像傳感器,因此選擇LUPA4000作為研究對象,對其性能進(jìn)行評估測試,并根據(jù)測試結(jié)果探討圖像處理方法。1性能特點(diǎn):單斜率積分+高速激光采集+數(shù)字音頻提取/同頻共振LUPA4000是CYPRESS公司生產(chǎn)的一款400萬像素CMOSAPS面陣傳感器,芯片內(nèi)部集成了模擬圖像信號的獲取、模數(shù)轉(zhuǎn)換和數(shù)字信號處理功能。該器件的性能特點(diǎn)如下:(1)有效像元數(shù)為2048×2048,像元尺寸為12μm×12μm;(2)在最大分辨率下的最大幀速率為15幀/s;(3)單斜率積分模式下,動態(tài)范圍為66dB,在多斜率積分模式下,最高可達(dá)90dB;(4)片上集成了2路10bitA/D轉(zhuǎn)換器;(5)具有隨機(jī)開窗與亞采樣功能,幀速率可大幅提高;(6)具有同步電子快門功能,積分時間可調(diào);(7)可選擇單抽頭或雙抽頭讀出,單抽頭最大像元讀出速率為66MHz。2圖像傳感器及積分時間控制以LUPA400圖像傳感器為核心開發(fā)了一套成像測試系統(tǒng),如圖1所示,包括LUPA4000圖像傳感器及外圍電路、測控計(jì)算機(jī)、積分球光源等。測試系統(tǒng)如圖1所示,其中外圍電路提供LUPA4000工作所需的時序和電壓,并將數(shù)字圖像數(shù)據(jù)傳送給測控計(jì)算機(jī)處理;測控計(jì)算機(jī)利用CameraLink圖像采集卡實(shí)現(xiàn)數(shù)據(jù)采集、存儲、顯示、圖像處理及積分時間控制功能。在測試系統(tǒng)中,LUPA4000圖像傳感器的工作狀態(tài)如下:(1)全窗口讀出,一幀數(shù)據(jù)像元數(shù)目為2048×2048;(2)單斜率積分模式;(3)單抽頭讀出,像元讀出速率為20MHz;(4)數(shù)字圖像數(shù)據(jù)10bit并行輸出;(5)積分時間可調(diào),調(diào)節(jié)范圍0.01ms~20s,調(diào)節(jié)步長0.1ms。為了對LUPA4000的性能進(jìn)行摸底,對LUPA4000圖像傳感器的缺陷像元、光響應(yīng)非均勻性、信噪比等技術(shù)指標(biāo)進(jìn)行了測試。2.1圖像傳感器檢測由于在制造工藝和材料等方面存在的不足,圖像傳感器總會存在一少部分感光不正常的單元,一般稱之為缺陷像元。這些缺陷像元通常表現(xiàn)為暗點(diǎn)或者亮點(diǎn)。參考CCD壞點(diǎn)檢測和紅外探測器盲元檢測,CMOS圖像傳感器缺陷像元檢測的方法如下:(1)在無光照條件下,采集多幀圖像,設(shè)所有像元的平均響應(yīng)為Vd,每個像元的平均響應(yīng)為Vdi;(2)調(diào)節(jié)積分球光強(qiáng),使器件處于半飽和輸出,采集多幀圖像,設(shè)所有像元的平均響應(yīng)為V軍R,每個像元的平均響應(yīng)為VRi;(3)將符合公式(1)的像元標(biāo)記為缺陷像元。式中:X、Y、Z的取值,根據(jù)大量實(shí)驗(yàn)和缺陷像元替換效果分析,選取X=10,Y=1.3,Z=0.7。在環(huán)境溫度24℃,積分時間20ms的情況下,對LUPA4000圖像傳感器進(jìn)行了缺陷像元檢測。測試結(jié)果如表1所示。由表1可知,缺陷像元數(shù)為17371,占總像元數(shù)的0.41%,其中在暗背景下響應(yīng)過亮的缺陷像元居多。根據(jù)缺陷像元的坐標(biāo)位置,將缺陷像元在圖像中用亮點(diǎn)表示(灰度值255),其他非缺陷像元用暗點(diǎn)表示(灰度值0)形成一幅缺陷像元分布圖像,如圖2所示。從缺陷像元分布圖可看出,參加測試的LUPA4000圖像傳感器的缺陷像元是零星分布的,無明顯缺陷簇。2.2圖像傳感器的光響應(yīng)光響應(yīng)非均勻性通常采用以下兩種測試方法。(1)標(biāo)準(zhǔn)均方根偏差:有效像元輸出信號的均方根偏差與有效像元輸出信號的平均值的比值,通常用百分比表示。(2)峰峰值:有效像元輸出信號的最大值減去最小值與平均值之比值。通常用百分比表示。在此采用標(biāo)準(zhǔn)均方根偏差法進(jìn)行測試,按照公式(2)計(jì)算CMOS圖像傳感器的光響應(yīng)非均勻性PRNU。式中:V軍O為器件平均輸出信號;M為光敏面像元數(shù)目;V軍Oi為第i像元的輸出信號。按照以上方法,在環(huán)境溫度24℃,器件處于半飽和狀態(tài)時,參加測試的LUPA4000圖像傳感器的光響應(yīng)非均勻性為2.09%。2.3圖像傳感器測試改變圖像傳感器的曝光量,在不同曝光量下測試信噪比。按照公式(3)計(jì)算器件的信噪比。設(shè)LUPA4000的飽和時的輸出信號為Vsat,對LUPA4000圖像傳感器測試其輸出信號值為10%Vsat、30%Vsat、50%Vsat、70%Vsat和90%Vsat等情況下的信噪比。測試結(jié)果如表2所示。3內(nèi)鏡噪聲的影響CMOS圖像傳感器在實(shí)際應(yīng)用中的主要問題是噪聲較大,通過對CMOS圖像傳感器的性能測試也驗(yàn)證了該問題,參加測試的LUPA4000圖像傳感器缺陷像元數(shù)量多、光響應(yīng)非均勻性較大、信噪比低,若要將該圖像傳感器應(yīng)用于航天領(lǐng)域,需要對其進(jìn)行圖像處理。CMOS圖像傳感器的噪聲包括隨機(jī)噪聲和固定圖形噪聲,在實(shí)際應(yīng)用中,固定模式噪聲的影響要大于隨機(jī)噪聲,降低固定模式噪聲對改善圖像質(zhì)量至關(guān)重要。固定模式噪聲主要包含暗信號非均勻性噪聲和光響應(yīng)非均勻性噪聲。結(jié)合CMOS圖像傳感器的固定模式噪聲特點(diǎn)和缺陷像元數(shù)目較多的情況,對成像圖像進(jìn)行缺陷像元替換以減小缺陷像元的影響,利用暗背景扣除降低暗信號固定模式噪聲、利用非均勻校正降低光響應(yīng)非均勻性固定模式噪聲。3.1去除暗信號固定模式圖像噪聲CMOS圖像傳感器與CCD相比,暗電流要大得多,由于各像素間的暗電流不均勻,因此即使沒有入射光也會造成暗信號固定模式噪聲。此外,造成CMOS圖像傳感器暗信號固定模式圖像噪聲最大的因素是像素放大器的偏差,其中與光通量無光的偏移性偏差影響較大。無光照情況下拍攝的暗背景圖像含有像素放大器閾值偏差與暗電流偏差的成分,如果從成像圖像中減去暗背景圖像,從理論上講即可有效的去除大部分暗信號固定模式噪聲。由于暗背景圖像與積分時間及溫度相關(guān),在環(huán)境變化的條件下需要重新采集暗背景圖像,這給該方法的實(shí)際操作帶來了困難。3.2缺陷像元檢測當(dāng)缺陷像元被標(biāo)定后,其數(shù)量和位置一般情況下不會發(fā)生改變,除非是器件性能劣變或受到破壞時,需要重新標(biāo)定。一旦缺陷像元被檢測標(biāo)定后,就可采用盲元替換算法進(jìn)行替換。通過對LUPA4000的缺陷像元檢測可知,其缺陷像元皆為孤立的,不存在缺陷像元簇,所以采用缺陷像元周圍的8個像元進(jìn)行線性插值補(bǔ)償。如圖3所示,對應(yīng)于不同位置的缺陷像元,第i行、第j列的缺陷像元的處理方法分別如下。3.3航天遙感成像系統(tǒng)的校正算法對圖像傳感器的非均勻校正技術(shù)主要包括基于標(biāo)定的校正方法和基于場景的校正方法。由于CMOS圖像傳感器在一段時間內(nèi)的特性比較穩(wěn)定,所以適合采用基于標(biāo)定的校正方法。其中兩點(diǎn)非均勻校正技術(shù)是最直接、最基本的技術(shù),在航天遙感成像系統(tǒng)中獲得了廣泛的應(yīng)用。對于兩點(diǎn)校正算法,校正公式如下:其中:式中:Xi,j為原始輸出;Yi,j為校正后的輸出;Gi,j為增益校正系數(shù),Oi,j為偏置校正系數(shù)。校正系數(shù)Gi,j和Oi,j可通過器件在不同亮度均勻光源下的定標(biāo)結(jié)果計(jì)算得出。定標(biāo)點(diǎn)一般為兩點(diǎn),一個低亮度定標(biāo)點(diǎn)準(zhǔn)L和一個高亮度定標(biāo)點(diǎn)準(zhǔn)H,YH和YL分別為低亮度定標(biāo)點(diǎn)準(zhǔn)L和高亮度定標(biāo)點(diǎn)準(zhǔn)H下整幅圖像的平均輸出值,Xi,j(準(zhǔn)L)和Xi,j(準(zhǔn)H分別為低亮度定標(biāo)點(diǎn)準(zhǔn)L和高亮度定標(biāo)點(diǎn)準(zhǔn)H的第i行、第j列像元的輸出值。3.4不同處理方法對噪聲的影響對均勻光照下,不同積分時間的圖像(圖像信號均值覆蓋10%Vsat~90%Vsat)分別進(jìn)行暗背景扣除、缺陷像元替換、非均勻校正處理以及不同處理組合的研究,不同處理方式下的信噪比改善情況如圖4所示。根據(jù)圖像信噪比和圖像成像質(zhì)量的改善情況,針對不同處理方法有如下結(jié)論:(1)單獨(dú)采用背景扣除的處理方法:在低照度成像時,能在一定程度上提高圖像信噪比,從圖像上看能消除大部分白點(diǎn)噪聲和小部分條紋噪聲,大部分條紋噪聲仍比較明顯;在高照度成像時,圖像信噪比不升反降,從圖像上看能消除小部分條紋噪聲,但增加了眾多黑點(diǎn),因此圖像成像效果不如原始圖像。造成此現(xiàn)象的原因是,原始圖像中雖然也存在白點(diǎn)噪聲,但由于在高照度時圖像整體亮度較大,所以白點(diǎn)噪聲顯得并不明顯,該白點(diǎn)噪聲通過背景扣除處理后,信號值大幅降低,所以在圖像上顯示為比較明顯的黑點(diǎn)。對于CMOS圖像傳感器,在低照度時暗信號非均勻性引起的固定模式噪聲是主要噪聲源,隨著光強(qiáng)的增加,光響應(yīng)非均勻性引起的固定模式噪聲的影響越來越大,所以想單獨(dú)利用背影扣除處理就在整個成像區(qū)間達(dá)到較好的處理結(jié)果是不現(xiàn)實(shí)的。(2)單獨(dú)采用缺陷像元替換的處理方法:信噪比無太大改善,平均約有0.5dB的提高,在圖像接近飽和時,信噪比改善極微小。從圖像上看主要去除了亮度較大的白點(diǎn)噪聲,還有大部分白點(diǎn)噪聲未去除,對條紋噪聲無改善。(3)單獨(dú)采用非均勻校正的處理方法:在整個響應(yīng)區(qū)間,對信噪比和成像質(zhì)量均有較大改善。利用非均勻校正處理可以去除大部分白點(diǎn)噪聲和條紋噪聲,只有部分亮度較大的白點(diǎn)噪聲未能完全去除,這些白點(diǎn)處理后有部分仍保持為白點(diǎn),有部分校正后亮度降低很多,表現(xiàn)為偏暗的暗點(diǎn),但都與周圍像元差別不大,看上去不太明顯,所以整幅圖像目視效果較好。(4)不同組合的處理方法:對三種處理方法兩兩組合和三種處理方法聯(lián)合使用的進(jìn)行研究。從信噪比看,暗背景扣除+非均勻校正、暗背景扣除+非均勻校正+缺陷像元替換和非均勻校正+缺陷像元替換這三種組合對信噪比的改善較大,與單獨(dú)采用非均勻校正處理的方法相當(dāng),相同輸出信號值時信噪比差值在1dB以內(nèi)。從數(shù)值上細(xì)分,對信噪比的改善程度依次為非均勻校正+缺陷像元替換>非均勻校正>暗背景扣除+非均勻校正+缺陷像元替換>暗背景扣除+非均勻校正。其中三種處理方法聯(lián)合使用與非均勻校正+缺陷像元替換處理對噪聲的改善程度大致相同,由于扣除背景造成信號值降低,所以三種方法聯(lián)合使用時的信噪比不如非均勻校正+缺陷像元替換處理的信噪比。從成像圖像上看三種方法聯(lián)合使用與非均勻校正+缺陷像元替換處理后的圖像質(zhì)量大致相同,處理效果最佳,目視圖像平滑,無明顯白點(diǎn)、黑點(diǎn)和條紋噪聲。暗背景扣除+非均勻校正與非均勻校正處理大致相同,處理效果較佳,圖像平滑,無明顯條紋噪聲,圖像放大瀏覽時可發(fā)現(xiàn)有小部分的亮點(diǎn)和黑點(diǎn)噪聲存在,由此可見缺陷像元替換可以去除非均勻校正處理無法完全消除的瑕疵點(diǎn)噪聲。綜合以上分析,三種方法聯(lián)合使用和非均勻校正+缺陷像元替換的處理方法能取得最佳的處理效果。由于暗背景扣除在不同積分時間和溫度發(fā)生變化時,需要進(jìn)行采集背景,這樣會大大加大工作量,且實(shí)際應(yīng)用時不易操作,所以從工程實(shí)踐方面考慮,不建議采用包含背景扣除的聯(lián)合處理方法,非均勻校正+缺陷像元替換的處理方法是最佳的選擇。均勻光照下,利用非均勻校正+缺陷像元替換處理方法對成像圖像進(jìn)行處理,處理前后成像效果對比圖見圖5。從圖5可看出,通過圖像處理,原始圖像中的白點(diǎn)噪聲和條紋噪聲被消除,圖像平滑均勻,圖像灰度值分布更加集中。經(jīng)過數(shù)值計(jì)算,原始圖像,信號均值=447.89DN,均方差噪聲=11.42DN,信噪比SNR=31.87dB,光響應(yīng)非均勻性PRNU=2.56%;處理后的圖像,信號均值=447.84DN,均方差噪聲=4.63DN,信噪比SNR=39.71dB,光響應(yīng)非均勻性PRNU=1.04%。4圖像數(shù)據(jù)處理面陣CMOS圖像傳感器LUPA4000