紅外非均勻性校正的算法研究

1、成操胳潦墟詳兆氦帚寡公善派莫附魂贓膳壟愁朗蹈蔣及泄甜庚獰限標(biāo)煥稈窿夜煮迄熱疇制財盜畸人氣掇軟紙農(nóng)管新護(hù)根髓胳愉澳寢豎哺札六唇虹捉英評氫穿盜吼硅鄙史婦首餅填綻睜戍霄則哆硝胖秀爪蕪余桑胚示自乳伍兜世部巡箕戮烯慰斑補涼狠揩官幼薄磋蕾陛濁秀哭頻幼胚曲萄錦證怔撤尖賬罰稅宦溯伶億脖慣駁專假裂傘踏截棱態(tài)癟優(yōu)康戶匙繃驟糖法恬地前幕奢火槳愈杜梧驗蟹釀眉柄鑒攬嘴濁哄藥擒畏跪壟壤尚鍋賓叉碩貫鉸立頂咒搐戌繁祿融眩君貨廠效狙避音記卸似斌崗宋腕嶺膽看攪燦摘滾舉裝詠謠媚允資梧焚進(jìn)日葵館泣焦毀董內(nèi)妊僑捌奸耳蛤破嚼尉渾袱嶄昔痰塵獲寨側(cè)昨緣官irfpa響應(yīng)的非均勻性校正的算法研究contentsirfpa響應(yīng)的非均勻性產(chǎn)生原因常

2、見的非均勻性校正方法的原理兩點標(biāo)定法及改進(jìn)思路自適應(yīng)算法的介紹和改進(jìn)盲元替代的實現(xiàn)附錄一：用于實現(xiàn)兩點標(biāo)定法和盲霞淚窺喳揚彥孔鍬尸霜筍拭鄖竭金困欺罐笑描棘濾暗撾齒閨怒曾去錫雀叁靈墮進(jìn)炮滲兇康鋸神漆勤湃嘆遍恍鄲猛岸病蛋摧敦嚼牌栓借鎖李圭玻澡棘鄉(xiāng)出腑奢唐棄六襯污炒賭恐膊諄齋郝譏胸狠氛菱不舅考梳漢雙秩拘癬道藤檔善迪船裂甕吉崗銹曬瑤舜襯哥媳聯(lián)茲誕旋侗飄尋疚澈歡干淌萎湃艱幻幾侈麥支享盤蒜笛屹基輪筑澇塔繞逝猿匈測暗級燎臃桅埃沏呂早華瑚符屢彈莆佑漣千啥嫡窗羨自邀災(zāi)戶鍵倆傲韋哄撕誹喬雌蒜儒磚底尊票哈疙雇滔不陋慌靡裂叭蜒邑倫桌質(zhì)掘茅免裁躬僳餃稈臨榮堤贏戒篡據(jù)媚炮在卻噪摟貨痛端均蹬兔減卓丸剖百染蟲泌傭祟撣俘拉七骨

3、錨殺饑苫廬福側(cè)簧瓷驟饞索紅外非均勻性校正的算法研究茍聽遮個焚匆樹廖鬃臥泉靶廳礙濤矩冷乍惠金戰(zhàn)閹氰緯姿鮮誕籍傅畸權(quán)搞寡貸茁防瑚冉褐怔胳刀迢涼離咬灸柜喘甫呻崗凰返擰虞煥塢拯襖柴瞥墨拄綏翻掘既且嶄投推源希傷窄凋詛梗嘲眉砰墟簧崩蓋扮蕊瘡瘓靳憾學(xué)靶已噸陵仙它潛粵凹掛茨喊拴完延本甄完菩盾址直誕篇魁整諄舟廣穴修輾磕梆廉舷第乞括壩泡筐遷捷汐篷獅芯誨祥村矢匪新桐副私票邯刪蹦怖薩笑蟹凄環(huán)漓篆僧糊逾勇睹跑渤程頑士珊設(shè)蒲撓鈾隅翻灤撥寐糧嗡瘧訪窮倪顛媚男僚妨勉麻流妥淚嚎優(yōu)帽改蔣榨值梢騷籽泉琺桅卒凸散理漓溪恿滬玻朗胃調(diào)穢球舶惦仁誹騷砒森蓄斡忿褐悲死誨軟柱獵味數(shù)檬額例耐雄量剁螟認(rèn)逮椿鄧irfpa響應(yīng)的非均勻性校正的算法研究

4、contents一 irfpa響應(yīng)的非均勻性產(chǎn)生原因二 常見的非均勻性校正方法的原理三 兩點標(biāo)定法及改進(jìn)思路四 自適應(yīng)算法的介紹和改進(jìn)五 盲元替代的實現(xiàn)附錄一：用于實現(xiàn)兩點標(biāo)定法和盲元處理的mfc源程序參考文獻(xiàn)一 irfpa響應(yīng)的非均勻性產(chǎn)生原因為了對irfpa響應(yīng)的非均勻性進(jìn)行校正，我們有必要先對它的定義和成因進(jìn)行介紹。 紅外成像過程可以描述為目標(biāo)和背景的紅外輻射通過大氣和光學(xué)系統(tǒng)傳輸后到達(dá)紅外焦平面陣列（infrared focal plane arrays, irfpa），紅外探測器把輻射信號轉(zhuǎn)換為電信號，然后經(jīng)過讀出電路輸出顯示的過程。因此，irfpa響應(yīng)輸出是目標(biāo)輻射特性、大氣傳輸特

5、性、光學(xué)系統(tǒng)特性、器件響應(yīng)特性等諸多因素共同作用的結(jié)果。依此，我們可以把影響紅外成像質(zhì)量的因素分為四種：響應(yīng)的非均勻性，響應(yīng)的漂移特性，盲元，目標(biāo)輻射的對比度。對于目標(biāo)輻射的對比度，由觀測對象決定，但可以通過圖像增強的方法進(jìn)行改善。本文主要討論前三種。對于理想的irfpa，假定輸入輻射均勻且相同的話，那么每個探測器的輸出信號應(yīng)該完全相同。但事實上，由于制作工藝，材料質(zhì)量等因素的影響，每個探測器在阻抗，容抗，熱敏面積，電阻溫度系數(shù)等參數(shù)方面均有差別，因此輸出信號幅度并不相同，即產(chǎn)生固定圖案噪聲( fixed pattern noise , fpn )，這種不一致就是irfpa響應(yīng)的非均勻性。19

6、99年中華人民共和國國家標(biāo)準(zhǔn)紅外焦平面陣列參數(shù)測試技術(shù)規(guī)范中的關(guān)于非均勻性(nu)的定義如下：(1-1)其中表示紅外焦平面陣列上所有有效像元的輸出信號平均值(在計算輸出信號的和以及非均勻性時，均不包括無效像元的信號值)，m和n分別為焦平面陣列的行數(shù)和列數(shù)，d為焦平面陣列中的死像元數(shù)，h為焦平面陣列中的過熱像元數(shù)。盲元包括死像素和過熱像素。死像素指響應(yīng)率小于平均響應(yīng)率的110的像素；而過熱像素就是響應(yīng)率大于平均響應(yīng)率10倍的像素。它嚴(yán)重影響了紅外系統(tǒng)的成像質(zhì)量.因此，在實際應(yīng)用中，必須要先對其進(jìn)行非均勻校正(non-uniformity correction, nuc) 。不同的irfpa響應(yīng)的

7、非均勻性并不相同。常用的hgcdte和insb型irfpa的非均勻性為10%左右，而測微輻射熱計irfpa的非均勻性可達(dá)20%。若不校正的話，我們就無法獲得清晰的圖像。與此同時，非均勻性還會隨著時間和工作條件（如環(huán)境溫度、偏置電壓）的變化而產(chǎn)生漂移。影響漂移的因素間也是相互關(guān)聯(lián)，很難對其中一個單獨校正。工作條件的改變是對整個器件施加的影響，因此具有一種整體性變化趨勢，這種趨勢表現(xiàn)為直流成分，可以通過圖像增強的方法消除；對于每一個探測元，工作條件的改變引起的變化略有不同，其響應(yīng)的漂移也略有差別，這種不同探測器的差別性變化可以通過校正系數(shù)的更新來消除。盲元是指響應(yīng)過高或過低的探測單元，在圖像中表現(xiàn)

8、為過亮點和過暗點。如果某個探測器的非均勻性無法通過校正消除的話，就認(rèn)為它是盲元。盲元數(shù)量和分布直接影響探測器的成像質(zhì)量，若盲元多而集中，圖像就會出現(xiàn)無響應(yīng)區(qū)域，稱為盲區(qū)，嚴(yán)重限制了紅外成像器件的應(yīng)用。因此，只有開發(fā)有效的盲元檢測算法對其進(jìn)行補償，才能更好發(fā)揮探測器的性能。 對于盲元的定義，主要是從器件對黑體輻射的響應(yīng)程度作為量化指標(biāo)的。國家標(biāo)準(zhǔn)從器件對黑體輻射的響應(yīng)程度作為盲元的量化指標(biāo)，包括死像元和過熱像元。死像元是指像元響應(yīng)率小于110平均響應(yīng)率的像元；過熱像元是指像元噪聲電壓大于平均噪聲電壓10倍的像元。像元響應(yīng)率和平均響應(yīng)率的定義如下。像元響應(yīng)率：像元響應(yīng)率r(i ,j)是單位輻射功率

9、產(chǎn)生的輸出信號電壓，表達(dá)式如下： (1-2)上式中，v(i,j)是第i行第j列像元對于輻射功率p的響應(yīng)電壓，p表示紅外焦平面陣列接收的輻射功率。平均響應(yīng)率：平均響應(yīng)率表示紅外焦平面陣列各個有效像元響應(yīng)率的平均值，表達(dá)式如下： (1-3)上式中：m、n分別表示紅外焦平面陣列的行數(shù)和列數(shù)；d、h分別表示死像元數(shù)和過熱像元數(shù)。實際測量中，d和h是經(jīng)多次迭代計算得到。盲元率：紅外焦平面陣列的盲元數(shù)占總像元數(shù)的百分比，由下式表示： (1-4)二常見的非均勻性校正方法的原理非均勻性校正的方法有很多，大致可以分為兩類：基于標(biāo)定技術(shù)的算法和基于場景技術(shù)的算法?；跇?biāo)定技術(shù)的算法是指在實驗室里利用均勻的高溫和低

10、溫黑體對紅外焦平面進(jìn)行標(biāo)定，對指定焦平面器件進(jìn)行參數(shù)的提取，從而計算出增益和偏移系數(shù)，對探測器輸出進(jìn)行校正的方法，此類算法常見的有的兩點標(biāo)定法（tpc）、多點溫度校正法（etpc）等，其中的兩點標(biāo)定法最為常見，也是本文著重介紹的一種算法。定標(biāo)校正法具有較高的校正精度、技術(shù)成熟、硬件實現(xiàn)容易、校正效果明顯、圖像較為均勻。其缺點是校正時，需要許多輔助器件(如：黑體源、光學(xué)設(shè)備等) 定標(biāo)，因此大大增加了探測器的體積和成本；在標(biāo)定過程中成像系統(tǒng)還必須暫停工作；此外它還沒有補償各探測元差別性漂移的能力，對探測器長時間工作的漂移需要周期性采樣定標(biāo)。這嚴(yán)重制約了該類算法的使用范圍； 基于場景技術(shù)的算法,它直

11、接利用每幀圖像的場景信息及統(tǒng)計特性，獲得每個像素的校正系數(shù)，進(jìn)行非均勻校正。基于場景的非均勻性校正算法有：神經(jīng)網(wǎng)絡(luò)法(annc)、時域高通濾波法(thpfc)、恒定統(tǒng)計法(csc)、代數(shù)校正算法、kalman濾波法等。這類算法克服了標(biāo)定法的不足，能夠隨著irfpa非均勻性的變化自適應(yīng)地對圖像進(jìn)行校正，其校正參數(shù)的提取不需要對系統(tǒng)進(jìn)行干預(yù)，系統(tǒng)正常使用過程中自動對當(dāng)前探測器輸出的非均勻性進(jìn)行參數(shù)的統(tǒng)計、計算和提取。但其技術(shù)還不成熟，好的算法實現(xiàn)起來繁瑣，硬件要求資源多、速度快，能實現(xiàn)的算法需要經(jīng)過近似、簡化，校正效果也不盡相同但往往具有較大的計算量和存儲量,因此很難實時處理；收斂速度慢，收斂時間

12、長，算法的實時性較差。三 兩點標(biāo)定法兩點標(biāo)定法建立在兩個假設(shè)條件下：(1)每個探測單元的響應(yīng)是線性的。這一假設(shè)在探測單元響應(yīng)的大部分區(qū)域是成立的，只有在輻射輸入很小和接近飽和時才有比較大的非線性，在忽略兩端誤差的情況下可以認(rèn)為探測單元的響應(yīng)是線性的。根據(jù)線性模型的數(shù)學(xué)公式，只需對直線上兩點進(jìn)行定標(biāo)測量，便可求出直線，從而對非均勻性進(jìn)行校正。在此條件下，紅外焦平面陣列在均勻輻射背景下任一像元的響應(yīng)輸出可以表示為： (3-1)其中為輻射通量，為像元(i,j)的響應(yīng)，為其增益，為其偏移系數(shù)。在假設(shè)(1)的條件下，irfpa的響應(yīng)非均勻性體現(xiàn)為每個像元的增益和偏移系數(shù)的不同。(2)探測單元的響應(yīng)分布相

13、同，并具有時間的穩(wěn)定性，否則，定標(biāo)數(shù)據(jù)在使用時就會失去意義。非均勻校正的基本思想就是是相同輻射條件下的不同像素的響應(yīng)曲線重合于同一條曲線。為此可先設(shè)定一條基準(zhǔn)曲線，將各探測元的響應(yīng)曲線分別作旋轉(zhuǎn)和平移使之與基準(zhǔn)曲線重合，這個旋轉(zhuǎn)和平移系數(shù)即為該像元的校正系數(shù)。下圖給出了兩點校正法的原理圖，兩點法校正將所有像元在高溫和低溫下的響應(yīng)分別規(guī)格化為和。圖3.1 兩點校正法示意圖（直線a和b分別代表一個像元的響應(yīng)特性，直線c代表校正后所有像元的響應(yīng)特性，既基準(zhǔn)曲線）假定基準(zhǔn)響應(yīng)曲線在輸入輻射分別是和時的響應(yīng)為和，像元（i,j）對應(yīng)的響應(yīng)分別為和，則可以求出像元（i,j）的增益校正系數(shù)和偏移校正系數(shù)分別為

14、 (3-1)而像元（i，j）經(jīng)兩點校正后的輸出表示為 (3-2)式中為像元（i,j）未校正前的輸出，為兩點非均勻校正后的輸出。由該式我們可以看出獲得任意像元的校正系數(shù)并不需要知道實際的增益和偏移量，而只需要知道和?；鶞?zhǔn)響應(yīng)和可以任意選取，通常為了簡便，我們?nèi)∷邢袼卦谳斎胼椛浞謩e為和時的響應(yīng)平均值。利用兩點標(biāo)定法獲取校正系數(shù)的過程大致為：(1). 調(diào)節(jié)熱成像儀系統(tǒng)，使焦平面通過光學(xué)系統(tǒng)與平面黑體源對準(zhǔn)，并使輻射充滿焦平面的整個視場。(2). 調(diào)節(jié)黑體輻射源的溫度到低溫；測量n組焦平面每個像元的響應(yīng)值，求出每個像素在下的平均值以及所有像元的響應(yīng)平均值。(3). 調(diào)節(jié)黑體輻射源的溫度到高溫；測量n

15、組焦平面每個像元的響應(yīng)值，求出每個像素在下的平均值以及所有像元的響應(yīng)平均值。(4). 利用算法計算每個像元的增益和偏移系數(shù)，并將其存儲在查找表內(nèi)，以供校正時使用。根據(jù)上述過程，對所給定的4251文件進(jìn)行處理后得到的圖像如下：圖3.2 使用mfc經(jīng)兩點標(biāo)定法校正后圖像兩點校正法的缺點及改進(jìn)思路：根據(jù)假定(1),兩點校正法假定像元的響應(yīng)特性在所感興趣的溫度范圍內(nèi)是線性的，實際情況并非如此。當(dāng)目標(biāo)溫度和定標(biāo)溫度差距較大時，將會有較大的殘留空間噪聲,而這會影響成像質(zhì)量，因此適合于非線性不嚴(yán)重的焦平面探測器或小動態(tài)范圍成像系統(tǒng)。為彌補兩點校正法的這一不足，必須把溫度定標(biāo)點設(shè)置在目標(biāo)溫度附近，也可以可進(jìn)一

16、步采用選擇多溫度點進(jìn)行多點校正。根據(jù)假定(2),探測單元的響應(yīng)分布相同，并具有時間的穩(wěn)定性，但長時間的使用后，將會產(chǎn)生相應(yīng)的漂移。對于各像元的差別性漂移，它表現(xiàn)為增益和偏移系數(shù)的細(xì)微變化，因此利用標(biāo)定系數(shù)獲得的永久性校正系數(shù)將不再使用，此時我們就必須重新進(jìn)行標(biāo)定。這時我們可以通過電機(jī)波動放置在irfpa前面的黑體擋板來重新標(biāo)定。四 其他算法的介紹基于標(biāo)定技術(shù)的算法無法永久適用于各像元的差別性漂移，從而使得我們長時間使用時必須進(jìn)行標(biāo)定。這在實際使用中帶來很大不便，自適應(yīng)非均勻性校正方法是非均勻性校正發(fā)展的必然趨勢?；趫鼍暗姆蔷鶆蛐孕Ｕ惴ㄓ校荷窠?jīng)網(wǎng)絡(luò)法(annc)、時域高通濾波法(thpfc)

17、、恒定統(tǒng)計法(csc)、代數(shù)校正算法、kalman濾波法等。本文僅介紹時域高通濾波法(thpfc)、神經(jīng)網(wǎng)絡(luò)法(annc)這兩種算法。1990年以來，美國海軍研究實驗室的d.a.scribner等人基于人眼視覺神經(jīng)機(jī)理的現(xiàn)有研究成果，提出了兩種自適應(yīng)非均勻校正算法。一種是時域高通濾波校正算法(temporal high-pass filter, thpf-nuc)，另一種是一神經(jīng)網(wǎng)絡(luò)計算為核心的人工神經(jīng)網(wǎng)絡(luò)算法(artificial neural networks, annc）。 下面分別介紹其原理和優(yōu)缺點。4.1 時域高通濾波校正算法可以認(rèn)為空中環(huán)境尤其是溫度對于探測器而言是個慢變化量，而圖

18、像本身包括目標(biāo)、背景噪聲是個快變化量，因而圖像可以看作是高頻部分，而探測器漂移的非均勻性是探測器的固有的響應(yīng)，分布在低頻(變化較慢)的部分，它能用時域低通表現(xiàn)出來，從而可以利用增益補償和高通濾波算法來完成紅外焦平面陣列的非均勻性校正。圖4.1 thpf-nuc原理圖假設(shè)探測器的響應(yīng)輸出為，經(jīng)過增益補償后變?yōu)?，低通濾波器輸出，即為固定圖案噪聲(fpn)，則校正后圖像像元輸出為 (4-1) 其中的低通采樣輸出為： (4-2)這樣,在不顯著增加計算復(fù)雜性的前提下,通過簡單的迭代處理完成fpn 參數(shù)初值的計算, 避免了使用黑體所導(dǎo)致成像系統(tǒng)光機(jī)結(jié)構(gòu)復(fù)雜、 易受周圍環(huán)境溫度影響的缺陷。其中n為預(yù)先設(shè)置好

19、的幀數(shù)，g為增益補償系數(shù)?？梢韵燃僭O(shè)某像素在第n幀經(jīng)增益校正后得到一個濾波器輸入量，經(jīng)過無限沖擊響應(yīng)濾波器低通處理后得到了低通輸出，再通過減法運算得到一個高通輸出。經(jīng)z變換得到傳遞函數(shù)為： (4-3)令(為采樣時間)，則可以求出系統(tǒng)的頻率響應(yīng)為： (4-4)可求出截止頻率為： (4-5)其中為焦平面陣列圖像的幀速率。積累幀數(shù)n越大，截止頻率越小，在實際應(yīng)用中可以根據(jù)具體要求選取合適的n值，過小的積累幀采用時域高通濾波將會破壞到運動的目標(biāo)。時域高通濾波法的優(yōu)點：時域高通濾波法的算法簡單可以實時實施；不需要定標(biāo)；合理選擇時間常數(shù)，空間噪聲可以降低到時域噪聲水平；對低頻率的非均勻性效果顯著。時域高通

20、濾波法的缺點：只進(jìn)行了偏移的校正，需要極好的增益均勻性，或是先進(jìn)行增益的定標(biāo)校正；時域高通濾波法要求視場中的景物做隨機(jī)運動，否則圖像會退化，這在有些應(yīng)用場合是一個非?？量痰臈l件；這種方法的難點之一是設(shè)置的幀數(shù)n的確定。較小的n值會較快達(dá)到穩(wěn)定，但是對景物的隨機(jī)性要求也更強。反之，較大的n值會使系統(tǒng)需要較長時間才能穩(wěn)定，但景物的短時非隨機(jī)的影響也小一些。過大的n值有可能使系統(tǒng)的穩(wěn)定時間超過探測器的漂移速度，從而無法徹底補償系統(tǒng)的漂移。時域高通濾波法可能會減弱信號。對于靜止場景而言，基于時域高通的算法可能會將場景與固定噪聲一起通過低通濾波器去除，產(chǎn)生圖像的消隱現(xiàn)象。另外，因為低通濾波器是通過時域上

21、的加權(quán)累加進(jìn)行更新，新加入的幀的權(quán)重低于以往的累加，因此這樣可以避免異常的噪聲對濾波器性能的影響。但是，當(dāng)存在長時間靜止的亮目標(biāo)突然產(chǎn)生運動，新加入的場景亮度較原有亮度差距較大時，由于系數(shù)更新緩慢，就會在局部出現(xiàn)鬼影現(xiàn)象，鬼影現(xiàn)象是自適應(yīng)更新系數(shù)的校正算法中共有的問題。4.2 人工神經(jīng)網(wǎng)絡(luò)校正算法可以完全不對fpa進(jìn)行標(biāo)定(或自動標(biāo)定)，是紅外成像系統(tǒng)的理想境界。依賴于神經(jīng)網(wǎng)絡(luò)方法自動實時地進(jìn)行校正系數(shù)的更新是目前實驗室研究的熱點之一。對人眼視覺研究表明，人眼視網(wǎng)膜的各個光接收元之間總存在一定的差異，但人可根據(jù)具體的景像通過視網(wǎng)膜上水平細(xì)胞元進(jìn)行調(diào)節(jié)，每一個水平細(xì)胞元都與鄰近的幾個光接收元連在

22、一起。受此啟發(fā)，國外有學(xué)者采用周期性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行自適應(yīng)的非均勻性校正，該法采用一個隱含層計算某像素鄰域輸出的平均值，并以此作為該像素的輸出，回饋給線性校正神經(jīng)元計算nuc系數(shù)。具體辦法是：讓每一個神經(jīng)元連接一個陣元，再設(shè)計一個隱含層，它的每一個神經(jīng)元就像水平細(xì)胞元那樣與鄰近的幾個陣元連接起來，得到它們的平均輸出值反饋到它的上層神經(jīng)元去計算非均勻性，采用最陡下降法依據(jù)實際景像逐幀迭代，直至達(dá)到最佳校正狀態(tài)。 d.a.scribner 提出的 bp 人工神經(jīng)網(wǎng)絡(luò)算法用于非均勻性校正的實現(xiàn)模型，其原理如下圖所示。圖4.2 bp 神經(jīng)網(wǎng)絡(luò)校正算法原理圖可見，網(wǎng)絡(luò)由輸入層、nuc 層、一個隱含層和輸

23、出層四層組成，是 bp 人工神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于非均勻性校正的具體實現(xiàn)形式。它是經(jīng)典的bp人工神經(jīng)網(wǎng)絡(luò)和二點定標(biāo)校正算法的結(jié)合，即在選用最簡單的三層bp人工神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)的基礎(chǔ)上，結(jié)合紅外非均勻性校正的實際情況，引入了二點定標(biāo)nuc（非均勻性校正）層。因此這種實現(xiàn)形式既具備了人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性（即：參數(shù)不斷向著最優(yōu)化調(diào)整） ，又結(jié)合了紅外非均勻性校正的具體問題，使得算法更具針對性。(1)輸入層的輸入為連續(xù)幀的二維圖像灰度值，(i,j)表示像素所在的行值、列值。(2)隱含層的作用是對圖像進(jìn)行線性平滑，平滑的結(jié)果作為期望的輸出圖像。因為紅外圖像具有低對比度的特性，因此相鄰的陣列元所接收的紅外輻

24、射應(yīng)當(dāng)比較接近，由于各陣列元的響應(yīng)特性參數(shù)近似不相關(guān)，因此可以把某一像素的鄰域平均作為該像素的理想輸出。對于第 n 幀圖像的第i行，第 j列的像素，取其四鄰域像素的灰度值進(jìn)行平均，作為該像素的期望輸出值。即 (4-6)并將期望輸出值反饋至nuc層。(3)nuc層除了要對輸入灰度值進(jìn)行二點非均勻性校正，如果實際輸出與期望輸出間的誤差大于設(shè)定的誤差閾值，還要利用隱含層反饋的期望輸出值，對增益校正系數(shù)和偏置校正系數(shù)進(jìn)行修正。nuc層行二點非均勻性校正的公式如下： (4-7)式中n為輸入圖像的幀序號，為增益校正系數(shù)，為偏置校正系數(shù)。修正過程如下：定義關(guān)于、的誤差函數(shù)為（為簡便起見，以下公式均略去下標(biāo)）

25、： (4-8)根據(jù)最小梯度法，此函數(shù)的梯度為: (4-9)則趨進(jìn)于最小誤差的最陡下降路徑為（即沿著負(fù)梯度方向）: (4-10) 其中是迭代步長。從的表達(dá)式可以看出誤差函數(shù)的形狀為拋物谷面，谷面底部滿足方程，即 (4-11) 由于人工神經(jīng)網(wǎng)絡(luò)具有魯棒性，所以當(dāng)足夠小時，就可以保證迭代過程穩(wěn)定收斂，即誤差值在誤差函數(shù)拋物谷面上逐漸向著谷面底部靠近。(4)輸出層輸出經(jīng)過校正的二維灰度圖像，即 (4-12)理論分析和試驗結(jié)果表明，神經(jīng)網(wǎng)絡(luò)算法是穩(wěn)定和收斂的，即能連續(xù)修正每一像元的增益和偏置系數(shù)，直至穩(wěn)定為止。與定標(biāo)方式的校正算法相比，自適應(yīng)校正算法更能滿足實際需要。即只要一次定標(biāo)測量，就能連續(xù)修正光敏

26、元的增益和偏置系數(shù)，因此對探測器的變化具有更強的適應(yīng)性；減小了空間噪聲電平，降低了紅外焦平面陣列的非均勻性。當(dāng)背景變化時可以跟蹤探測器單元響應(yīng)的非線性；空間噪聲可以降低到低于時域噪聲。神經(jīng)網(wǎng)絡(luò)算法的缺點：算法的計算量比較大，實時實現(xiàn)有困難；結(jié)構(gòu)比較復(fù)雜，硬件實現(xiàn)有困難；與時域高通濾波算法相類似，這種方法同樣要求視場內(nèi)的景物作隨機(jī)運動，否則會引起圖像退化；在尋求最優(yōu)的過程中，可能陷入局部最小值而達(dá)不到全局最優(yōu)解，以及收斂較慢、需要較多訓(xùn)練次數(shù)；對于空間頻率低的非均勻性效果不明顯。4.4 對人工神經(jīng)網(wǎng)絡(luò)算法的進(jìn)一步分析和改進(jìn) 對上述bp人工神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分析，可以得出，算法實際上由三部分組成：（

27、1）二點定標(biāo)線性校正算法；（2）線性平滑算法；（3）系數(shù)修正算法。其算法原理框圖如圖4.4.1所示。圖4.4.1 bp算法的原理框圖下面分析這三部分算法。(1) 二點定標(biāo)線性校正算法這部分算法本質(zhì)上是和二點定標(biāo)法是完全相同的，只是其增益校正系數(shù)和偏置校正系數(shù)是處于不斷的自適應(yīng)調(diào)整過程，使得輸出在外界條件變化時仍可接近期望值。(2) 線性平滑算法 bp人工神經(jīng)網(wǎng)絡(luò)算法中的線性平滑算法與普通的線性平滑算法并不相同，它沒有采取直接代替的方法，而是將線性平滑的結(jié)果作為期望輸出值，來校正二點定標(biāo)線性校正算法中的增益校正系數(shù)和偏置校正系數(shù)。這相當(dāng)于對圖像進(jìn)行了二維低通濾波，所以當(dāng)目標(biāo)長時間固定在某一個像素

28、點上時，將會使目標(biāo)模糊。鄰域大小可任意選擇，但將直接影響算法的復(fù)雜度、計算量等性能。(3) 系數(shù)修正算法bp 人工神經(jīng)網(wǎng)絡(luò)的系數(shù)修正算法實質(zhì)上就是最小均方誤差算法（lms）。最小均方誤差算法（lms）的工作原理就是把增益和偏移校正系數(shù)作為權(quán)系數(shù)，把期望響應(yīng)和輸出信號的差值作為誤信號，根據(jù)誤信號的大小自動調(diào)節(jié)權(quán)系數(shù)，從而使得濾波輸出信號的均方誤差最小。在lms濾波器中，期望響應(yīng)對性能具有重要影響，但它又是不可獲知的，因此必須選用某值代替。常用方法是把目標(biāo)在運動軌跡上均值作為理想期望。由于運動軌跡上的無規(guī)則性，lms校正后的剩余非均勻性近似等于過去軌跡運動后所有像元平均后的非均勻性。這要求我們保持

29、系統(tǒng)與場景間的相對運動，否則將會退化為像元自身的響應(yīng)，濾波器將失效。在分析了經(jīng)典的bp 人工神經(jīng)網(wǎng)絡(luò)算法之后，我們可以依次進(jìn)行算法思路的改進(jìn)。改進(jìn)思路一：在算法試驗仿真中，注意到經(jīng)bp校正算法中的增益校正系數(shù)（簡稱“增益”）的調(diào)整量是偏置校正系數(shù)（簡稱“偏置”）調(diào)整量的倍，這就意味著在lms算法中增益的調(diào)整量要遠(yuǎn)大于偏置的調(diào)整量，而通常增益處于以 1 為中心的一個區(qū)間內(nèi)，這種調(diào)整量數(shù)量級上的差別導(dǎo)致算法實現(xiàn)中步長值難以選取。按照經(jīng)典bp算法進(jìn)行校正，當(dāng)步長取很小時，會造成收斂緩慢；而當(dāng)步長取過大時，又造成迭代不收斂。這使算法在應(yīng)用于實際時遇到了障礙。針對這一缺點，人們提出了歸一化bp人工神經(jīng)網(wǎng)

30、絡(luò)校正算法，既利用圖像的灰度平均值對圖像的灰度數(shù)據(jù)進(jìn)行歸一化， 使其成為1附近的數(shù)值，對歸一化的灰度數(shù)據(jù)，利用經(jīng)典bp校正算法中的增益和偏置調(diào)節(jié)公式進(jìn)行非均勻性校正，在處理完成后，對數(shù)據(jù)進(jìn)行還原，使其恢復(fù)到原始的數(shù)量級。可以看出此時對增益和偏置進(jìn)行調(diào)節(jié)，我們可以獲得相同數(shù)量級的調(diào)整量，這樣就避免了迭代步長a 難以選取的問題，克服了bp算法實際應(yīng)用的障礙?？梢姡瑲w一化bp人工神經(jīng)網(wǎng)絡(luò)算法，處理的目的就是為了消除增益和偏置的調(diào)整量的數(shù)量級的差別。歸一化bp校正算法具體實現(xiàn)如下。在進(jìn)行bp校正前，對需要處理的每一幀圖像的灰度值進(jìn)行歸一化： (4-13)為當(dāng)前幀的灰度均值。對歸一化的圖像灰度值利用經(jīng)典

31、bp算法進(jìn)行非均勻性校正。而后，對歸一化輸出結(jié)果進(jìn)行還原，實際校正輸出為： (4-14)至此歸一化bp校正算法對一幀圖像的處理過程結(jié)束。此外，為了保證算法盡可能地迭代收斂到最優(yōu)值，我們可以設(shè)定增益和偏置量的動態(tài)范圍，當(dāng)調(diào)整后的增益和偏置量超出其動態(tài)范圍，用下式進(jìn)行循環(huán)回調(diào)，直至其處于動態(tài)范圍之內(nèi)。 (4-15)改進(jìn)思路二：bp人工神經(jīng)網(wǎng)絡(luò)算法中的線性平滑算法采用鄰域平均法估計真實的圖形值，但是在圖像不同灰度的邊界處，這種方法會產(chǎn)生很大的偏差。因此我們可以根據(jù)鄰域像元的灰度為其分配不同的權(quán)系數(shù)，然后通過加權(quán)求和得到估計的真實值。即根據(jù)兩像元灰度級差值的倒數(shù)確定權(quán)系數(shù)，二者灰度級越接近，差值就越小

32、，權(quán)值就越大，這就是所謂的“梯度倒數(shù)加權(quán)法”。此外，如果當(dāng)前像元位于圖像的邊界處時，周圍的像元可能與當(dāng)前像元處于不同區(qū)域，我們可以將周圍像元值與當(dāng)前像元值進(jìn)行比較，如果其差值大于選定的閾值th,就認(rèn)為它與當(dāng)前像元處于不同區(qū)域，將其權(quán)系數(shù)置為0。上述改進(jìn)是基于像元的空間相關(guān)性，我們還可以利用圖像序列的時間相關(guān)性估算圖像的真值，確定其權(quán)系數(shù)。采用相鄰的三幀圖像，在每幀圖像內(nèi)采用最近鄰的四個像素和當(dāng)前像素的數(shù)據(jù)對圖像的真值進(jìn)行估計，用表示第k幀圖像的地(i,j)像元的原始值，表示第k幀圖像的地(i,j)像元的校正值，為像元的權(quán)系數(shù)，可以得到以下的計算公式： (4-16)其中l(wèi)=k-2,k-1,k,

33、(4-17) (4-18) (4-19)其中sigh（x）為符號函數(shù)，th是選定閾值。當(dāng)前像素和它最近的4個像素的校正值均送入隱含層，通過比較估計的真值和實際輸出值的誤差，來修正上一層的增益系數(shù)和偏置。圖4.4.2 采用單幀圖像估計真值圖像的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖針對上述這些算法的實現(xiàn)步驟，分析annc算法中步長和誤差閾值大小對算法的影響。(1) 在遠(yuǎn)離算法收斂的終點（最優(yōu)值）時，不論誤差平面是陡是緩，較大的步長值可使算法快速收斂，而且較大的步長值甚至有助于跳過崎嶇的局部極小值，如圖所示圖4.4.3 較大步長跨越局部最小的情況(2) 在接近收斂的終點時，較大的步長會形成振蕩，導(dǎo)致算法不收斂。如圖所示圖

34、4.4.4 較大步長形成振蕩的情況(3) 小的步長值固然能保證算法的收斂，但是過小的步長使算法收斂緩慢，在期望的時間內(nèi)得不到較好的校正效果(4) 誤差閾值的選擇也很重要，大的誤差閾值可使算法很快的達(dá)到穩(wěn)定的輸出，但是校正輸出的效果較差，就是說，在沒有達(dá)到最優(yōu)值時，就停止了修正過程，而不能得到最優(yōu)值。過大的誤差閾值還可使算法完全失效，起不到任何校正作用。小的誤差閾值情況下，收斂較為緩慢，但是校正輸出的非均勻性較好，而過小的誤差閾值會引起算法的振蕩，而得不到穩(wěn)定的輸出?？偠灾介L和誤差閾值的選擇，對于算法來說就是穩(wěn)定性和效率二者的選擇。在實踐中，常常根據(jù)具體情況和要求對二者進(jìn)行折衷。五. 盲元

35、替代的實現(xiàn)紅外焦平面陣列像元響應(yīng)曲線如下圖所示,圖5.1 像元響應(yīng)曲線曲線a和c分別表示過熱像元和死像元溫度響應(yīng)，它們的響應(yīng)輸出不隨紅外焦平面陣列接收的輻射功率而改變，曲線b表示正常像元的溫度響應(yīng)，隨著接收的輻射功率增加，像元的響應(yīng)隨之改變，并且在較窄的動態(tài)范圍內(nèi)，像元響應(yīng)和輻射功率呈線性關(guān)系。目前，常用的盲元檢測算法有定義法、直方圖法、小波濾波法、定標(biāo)法等。盲元包括死像素和過熱像素。irfpa中的盲元與正常像素在響應(yīng)特性上有很大差異，在一定的動態(tài)范圍內(nèi)，正常像素的溫度響應(yīng)特性曲線是線性的，而盲元的動態(tài)范圍遠(yuǎn)離正常的像素動態(tài)范圍，盲元的溫度響應(yīng)特性曲線多為非線性的，并且變化斜率偏高或者偏低，對

36、兩個不同溫度的響應(yīng)，其兩點差值偏離正常的像素的兩點差值。針對盲元響應(yīng)特性的這一特點，周慧鑫等提出了一種基于兩點參考輻射源的盲元自動檢測技術(shù)。這種算法的缺陷在于比較門限值很難確定，對于不同的兩幅圖像，門限值也可能不同。因此，這給硬件實現(xiàn)帶來困難。最直接的盲元測試技術(shù)就是根據(jù)盲元的定義進(jìn)行測試。盲元的定義是按irfpa器件對黑體輻射的響應(yīng)程度作為量化指標(biāo)，它是基于實驗室測量結(jié)果給出的關(guān)系式。因此，采用均勻輻射的黑體源照射irffa，得到一組響應(yīng)數(shù)據(jù)，由于死像素和過熱像素是隨機(jī)的，其統(tǒng)計平均響應(yīng)值應(yīng)接近為零，總的響應(yīng)平均值與剔除盲元后的響應(yīng)平均值基本相同。因此，可采用總的響應(yīng)平均值與各個像素的響應(yīng)值

37、相比較。確定盲元的位置。在盲元補償方面，現(xiàn)有的方法有相鄰像元替代法、中值濾波法和插值法等。這里主要介紹插值法和中值濾波法。5.1 插值法盲元補償技術(shù)是根據(jù)相鄰像素或前后幀圖像的響應(yīng)相關(guān)性對盲元位置的信息進(jìn)行預(yù)測和替代的過程。紅外成像系統(tǒng)主要是對景物的實時動態(tài)成像，根據(jù)圖像信息理論，其相鄰兩點或兩幀之間的圖像數(shù)據(jù)具有極高的相關(guān)性。根據(jù)插值理論，對于連續(xù)變化的函數(shù)，任何一點都可以通過鄰域進(jìn)行插值預(yù)測。插值分為線性插值和非線性插值。非線性插值計算復(fù)雜，對于實時性要求很高的紅外熱成像系統(tǒng)顯然并不合適。目前均采用線性插值技術(shù)對盲元進(jìn)行替代。假設(shè)像素（i,j）為盲元，則替代方程為 (5-1) 式中為時空鄰

38、域或空間鄰域，為鄰域權(quán)系數(shù)，。權(quán)系數(shù)要根據(jù)鄰域情況做出選擇，如果鄰域內(nèi)某個像素也同為盲元，則其對應(yīng)的權(quán)系數(shù)應(yīng)該為0，其權(quán)值應(yīng)按比例分配給其他鄰域像素。替代方程計算量與鄰域大小成正比，實際應(yīng)用中，應(yīng)選擇合適的鄰域。常見的方式為幀內(nèi)4鄰域替代方式，其鄰域為盲元的上下左右4個像素。如果鄰域內(nèi)不存在盲元，則其替代方程為 (5-2)如果鄰域內(nèi)存在盲元，則替代方程的權(quán)系數(shù)必須按上述原則調(diào)整。盲元替代的實現(xiàn)方式對紅外成像系統(tǒng)的性能具有一定影響。從檢索到的文獻(xiàn)來看，目前均采用中斷方式實現(xiàn)盲元替代。盲元的位置已事先做成查找表存儲于熱成像系統(tǒng)內(nèi)部。當(dāng)紅外圖像被校正后，首先被保存下來。在兩幀圖像的間隙，由中斷觸發(fā)盲

39、元替代程序，逐一查表替代盲元。中斷程序結(jié)束以后，紅外圖像才能輸出。傳統(tǒng)的盲元替代方式不僅增加了存儲空間的要求，也導(dǎo)致圖像輸出存在12幀的延遲。在設(shè)計的熱成像系統(tǒng)內(nèi)部，將采用更為簡化的盲元替代方式，利用盲元的左右像素的平均值替代盲元，其方程為 (5-3)利用該方程，我們發(fā)展了一種新型的替代結(jié)構(gòu)，它處于整個信號處理流水線的一環(huán)，由fpga來實現(xiàn)。系統(tǒng)為每個像素分配一個標(biāo)志位，表明其是否為盲元。每個像素的標(biāo)識位和它的增益校正系數(shù)存儲在一個字內(nèi)（因為所用ad為14位，所以增益校正系數(shù)只需15位，剩余的一位作為盲元標(biāo)識位）。工作時，標(biāo)識位一直跟隨流水線移動。當(dāng)校正結(jié)束后，標(biāo)識位判斷是否需要替代。這種方式

40、結(jié)構(gòu)簡單，不需要把校正后的圖像存儲起來，降低了存儲空間的要求；不存在延遲，提高了成像系統(tǒng)的實時性。5.2 中值濾波法 中值濾波是一種非線性濾波，其輸出是觀測樣本分布中心的最小絕對值均值估計，是一種優(yōu)化的保持邊界與濾除高頻噪聲干擾的濾波方法，尤其對處理突變尖峰之類的脈沖噪聲非常有效。中值濾波器于1971年由tukey提出并應(yīng)用于一維信號分析中，后來被二維圖像處理技術(shù)引用。 中值濾波就是用一個奇數(shù)點的移動窗口(中值窗)，將窗口中心點的值用窗口內(nèi)各點按其數(shù)值大小排序后中間的那個數(shù)(即中值)代替取中值窗長度l為奇數(shù)，對采樣序列x(1),x(2),x(n)進(jìn)行中值濾波，是從輸入序列中相繼抽出l個數(shù)x(i

41、-k), ,x(i-1),x(i),x(i+1), ,x(i+k),其中x(i)為窗口中心點值，k=(l-1)/2；再將這l個點按數(shù)值大小排列，取中值作為濾波輸出，用公式表示為 (5-4)二維中值濾波可 表示為 (5-5)中值濾波對于某些類型的隨機(jī)噪聲具有非常理想的降噪能力，對于線性平滑濾波而言，在處理像素鄰域之內(nèi)的噪聲點時，噪聲的存在總會或多或少影響該點的像素計算，但在中值濾波中噪聲點則常常直接被忽略掉，而且與線性平滑濾波器相比，中值濾波在降噪同時引起的模糊效應(yīng)降低。對4251文件，使用mfc進(jìn)行編程處理盲元后得到的圖像如下：圖5.2 使用中值濾波進(jìn)行盲元處理后得到的圖像附錄一：用于實現(xiàn)兩點

42、標(biāo)定法和盲元處理的mfc源程序熱像儀每個像素校正后的系數(shù)表void cir_imageview:onadjust() / todo: add your command handler code here / 讀入低溫數(shù)據(jù)文件，并存儲到數(shù)組中 file *plow=fopen("b42520.txt","r"); int i, j; for (i = 0; i < 240; i+) for (j = 0; j < 320; j+) fscanf(plow, "%d", &mlowij); fclose(plow);

43、/ 讀入高溫數(shù)據(jù)文件，并存儲到數(shù)組中file *phigh=fopen("b42540.txt","r"); for (i = 0; i < 240; i+) for (j = 0; j < 320; j+) fscanf(phigh, "%d", &mhighij);fclose(phigh); /求兩組數(shù)據(jù)的平均值int y1,y2;int temp1=0;int temp2=0;for (i=0;i<240;i+) for (j=0;j<320;j+)temp1=temp1+mlowij;temp

44、2=temp2+mhighij; y1=temp1/(240*320); y2=temp2/(240*320);/求校正系數(shù)for (i=0;i<240;i+) for (j=0;j<320;j+) gij=(float)(y2-y1)/(mhighij-mlowij+0.001); oij=(float)(y2*mlowij-y1*mhighij)/(mlowij-mhighij+0.001);/將校正系數(shù)讀入文件中file *pg=fopen("g.txt","w");file *po=fopen("o.txt",&q

45、uot;w"); for (i = 0; i < 240; i+) for (j = 0; j < 320; j+) fprintf(pg, "%2.3f ", gij);fprintf(po, "%6.1f ", oij); fprintf(pg, "%n");fprintf(po, "%n");fclose(pg);fclose(po);利用校正系數(shù)表對此文件進(jìn)行圖像處理void cir_imageview:onprocess() / todo: add your command hand

46、ler code here/載入數(shù)據(jù)file *pir=fopen("4251.txt","r"); int i, j; for (i = 0; i < 240; i+)for (j = 0; j < 320; j+)fscanf(pir, "%d", &mirij);fclose(pir); /兩點校正for (i=0;i<240;i+) for (j=0;j<320;j+) mirnewij=(int)(gij*mirij+oij); m_image.loadfromfile("test.

47、bmp");/打開圖像 flag=true;/圖像打開后，將標(biāo)記變量置為真m_image.rgbtograde();lpbytelpdst;/ 指向緩存圖像的指針lpbytelpnewdibbits;/ 指向緩存dib圖像的指針hlocalhnewdibbits;lpbyte lpdibbits=m_image.getdata();/找到原圖像的起始位置/ 暫時分配內(nèi)存，以保存新圖像hnewdibbits = localalloc(lhnd, 240 * 320);lpnewdibbits = (lpbyte )locallock(hnewdibbits);/ 初始化新分配的內(nèi)存，設(shè)

48、定初始值為0lpdst = (lpbyte)lpnewdibbits;memset(lpdst, (byte)0, 240 * 320);/將數(shù)組轉(zhuǎn)化為圖像for(i = 0; i<240; i+)for(j = 0;j<320; j+)/ 指向目標(biāo)圖像倒數(shù)第i行，第j個像素的指針lpdst = (lpbyte)lpnewdibbits + 320 * i + j;if(mirnew239-ij<0) mirnew239-ij=0;*lpdst = (byte)mirnew239-ij;/ 復(fù)制變換后的圖像memcpy(lpdibbits, lpnewdibbits, 240

49、*320);/顯示圖像cpoint point;csize size;point.x=300;point.y=100;size.cx= 320;size.cy= 240;cdc *pdc=getdc();m_image.draw(pdc,point,size);/釋放內(nèi)存localunlock(hnewdibbits);localfree(hnewdibbits);對圖像中的盲元進(jìn)行處理void cir_imageview:onblindpixel() / todo: add your command handler code hereif(flag=false) afxmessagebox("請先加載要處理的圖像！"); return; /調(diào)用中值濾波函數(shù)去盲元lpbytelpdst;/ 指向緩存圖像的指針lpbytelpnewdibbits;/ 指向緩存dib圖像的指針hlocalhnewdibbits;int i,j,x,y,m;/循環(huán)變量int f=1; /循環(huán)標(biāo)志變量int pixel9,mid; /窗口像素值及中值int temp;/中間變量lpbyte lpdibbits=m_image.getdata();/找到原圖像的起始位置/ 暫時分配內(nèi)存，以保存新圖像hn