基于bp神經(jīng)網(wǎng)絡(luò)的衛(wèi)星云檢測技術(shù)

基于bp神經(jīng)網(wǎng)絡(luò)的衛(wèi)星云檢測技術(shù)

云檢測是衛(wèi)星數(shù)據(jù)反演的重要內(nèi)容。檢測結(jié)果直接影響全球和地表各種參數(shù)的反演質(zhì)量。一般來說,云比下墊面有較高的反射率和較低的溫度,所以可以通過采用可見光波段和紅外窗區(qū)的閾值法來進行檢測。隨著MODIS等高光譜分辨率探測器的相繼出現(xiàn),國內(nèi)外學(xué)者研究了各種多光譜綜合的方法,使判別云與晴空的閾值更加精確,誤差大大減小。然而,閾值的確定具有一定的主觀性,而且也有時間和區(qū)域上的局限性,即由于不同時相、不同地區(qū)的光譜性質(zhì)的差異,其云檢測閾值也不可能相同。并且由于設(shè)置多組閾值判別,使檢測速度較慢。目前,雖然有許多學(xué)者在多通道閾值基礎(chǔ)上研究了更加精確的檢測方法,如同態(tài)濾波法、空間相關(guān)檢測法、統(tǒng)計分析法、聚類法等,但這些方法對高光譜分辨率衛(wèi)星觀測數(shù)據(jù)的光譜利用率低,且算法復(fù)雜,檢測速度慢。因此,美國MODIS技術(shù)開發(fā)小組仍主要采用多光譜閾值法作為業(yè)務(wù)應(yīng)用方法。本文運用人工神經(jīng)網(wǎng)絡(luò)自動云檢測算法對MODIS數(shù)據(jù)進行了云與晴空的分離實驗。結(jié)果表明,與閾值法相比,效果較好,且具有時間和空間上的靈活性,使用經(jīng)過訓(xùn)練后的網(wǎng)絡(luò)進行云檢測的過程簡單易行,可使檢測速度比閾值算法有所提高,具有一定的實用意義。1bp算法原理人工神經(jīng)網(wǎng)絡(luò)模型及學(xué)習算法目前已有幾十種,根據(jù)本文的實際問題,并考慮算法的實用性,選擇了結(jié)構(gòu)規(guī)范且易于實現(xiàn)的多層前饋網(wǎng)絡(luò)MFNN(multilayerfeedforwardneuralnetworks)的反向傳播BP(backpropagation)學(xué)習算法,簡稱BP算法。BP學(xué)習算法由正向傳播和反向傳播組成。正向傳播中,輸入信號從輸入層經(jīng)隱含層到輸出層,若輸出層得到了期望的值,學(xué)習算法結(jié)束;否則,進行反向傳播。反向傳播是將誤差信號(即期望輸出與實際輸出的誤差)按原連接通路反向計算,由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值和閾值,使誤差信號減小。前層結(jié)點至后層節(jié)點通過權(quán)和作用函數(shù)連接,本文選擇對稱型Sigmoid函數(shù)為作用函數(shù),算法學(xué)習步驟如下:(1)設(shè)置各初始權(quán)值和閾值的初始值:wji(0)、θji(0)為小的隨機數(shù),i為前層結(jié)點,j為后層結(jié)點;(2)提供訓(xùn)練樣本:輸入特征矢量Xk,k=1,2,…,p;期望輸出dk,k=1,2,…,p;對每個輸入樣本進行迭代。(3)計算網(wǎng)絡(luò)隱層單元的狀態(tài),實際輸出及指標函數(shù):oki=fi(∑i∑iwjioki+θj);k為輸出層時,實際輸出yk=oki,指標函數(shù)e=12e=12∑Ρ∑P(dk-yk)2,若e滿足精度要求,結(jié)束迭代,否則繼續(xù)。本文f(x)=a×1-exp(-bx)1+exp(-bv)f(x)=a×1?exp(?bx)1+exp(?bv),其中:a=1.716;b=2/3。(4)計算局部梯度δkj:當k為輸出層時,δkj=fj′(dk-yk);當k為隱含層時,δkj=fj′∑δkmwmj。(5)修正權(quán)值和閾值:wji(t+1)=wji(t)+ηδjokj+α[wji(t)-wji(t-1)]?θj(t+1)=θj(t)+ηδj+α[θj(t)-θj(t-1)]。wji(t+1)=wji(t)+ηδjokj+α[wji(t)?wji(t?1)]?θj(t+1)=θj(t)+ηδj+α[θj(t)?θj(t?1)]。其中:η為學(xué)習步長;α為動量因子。BP算法是多層神經(jīng)網(wǎng)絡(luò)的一個非常有效的算法,它完成了一個從輸入n維到輸出m維的非線形映射。用這種算法解決云與晴空的判識問題,只要提取云與晴空的差異明顯的n維特征,不管這些特征統(tǒng)計分布是怎樣的,也無須由分布特征尋求判別閾值。只要將其輸入神經(jīng)網(wǎng)絡(luò),則網(wǎng)絡(luò)通過充分恰當?shù)膶W(xué)習便能夠自動將其判識為云或晴空。2云檢測的方法及應(yīng)用本文云檢測實驗的衛(wèi)星云圖數(shù)據(jù)為中分辨率成像光譜儀(MODIS)1km分辨率觀測數(shù)據(jù)。MODIS在0.412～14.24μm內(nèi)有36個波段(其中:可見光～近紅外波段20個,熱紅外波段16個),為云檢測提供了針對性強的波段數(shù)據(jù),其多光譜特性大大提高了云晴空分離的準確性。根據(jù)以往國內(nèi)外學(xué)者對針對云檢測波段數(shù)據(jù)的研究成果,并結(jié)合MODIS波段數(shù)據(jù)特點反復(fù)實驗觀察后,選取以下特征。(1)可見光波段0.66μm及0.87μm反照率R0.66和R0.87單一通道反射率云檢測在檢測黑暗背景亮云時很有效,并且0.66μm云和植被的反照率有很大差異,而0.87μm兩者反射特征相似。利用R0.66/R0.87及歸一化植被指數(shù)ΙΝDV(R0.87-R0.66R0.87+R0.66)INDV(R0.87?R0.66R0.87+R0.66)進行云檢測的方法也得到廣泛使用。(2)近紅外1.38μm反照率R1.381.38μm位于水汽吸收帶,由于在該波段有水汽的強烈吸收,因此地面的輻射很難達到傳感器。利用這一點可進行高云檢測,并且1.38μm對薄卷云有很好的敏感性。(3)歸一化雪蓋指數(shù)ΙΝDS(R0.55-R1.6R0.55+R1.6)較低的薄云與冰雪下墊面的分離是云檢測的一大難點,可見光0.55μm與近紅外1.6μm對冰雪下墊面的反射特征差異較大。實驗表明將INDS與檢測低云的紅外波段亮溫相結(jié)合,可以較好的檢測冰雪下墊面的低云薄云。(4)紅外波段11μm與12μm亮溫差DTB(11,12),11μm與8.6μm亮溫差DTB(11,8.6),11μm與3.7μm亮溫差DTB(11,3.7),6.7μm亮溫TB6.7。在紅外光譜區(qū),同一下墊面在8.6、11和12μm3個波段上的發(fā)射輻射相差不大,但這3個波段對大氣的水汽吸收不同,因此可以利用11μm與8.6、12μm的亮溫差檢測水汽含量較高的厚云。3.7μm波段透明度高,該波段的亮溫受水汽的影響較11μm要弱得多,通常3.7μm波段的亮溫比11μm的高。但是,層狀低云的云頂亮溫TB3.7卻低于TB11,利用這一特點可進行層狀低云的檢測。TB6.7與大氣層的溫度和濕度相關(guān),地面和低云的輻射不會被觀測到,因此可用來檢測高云。綜上所述,本文共選取了R0.66、R0.87、R1.38、INDS、DTB(11,3.7)、DTB(11,12)、DTB(11,8.6)、TB6.7等8個特征量利用MODIS的高光譜特性,充分包含了進行云檢測的有效信息數(shù)據(jù),且各個特征量間相關(guān)性較小。3神經(jīng)網(wǎng)絡(luò)的設(shè)計和研究3.1隱層控制個數(shù)神經(jīng)網(wǎng)絡(luò)的輸入和輸出結(jié)點數(shù)一般根據(jù)具體問題的要求,分別由輸入特征向量的維數(shù)和要區(qū)分的類別數(shù)目決定。本文以8個特征量為網(wǎng)絡(luò)的輸入特征向量,輸入結(jié)點個數(shù)與特征量個數(shù)一致;將分類結(jié)果,即云或晴空分別以-1和+1來代表作為網(wǎng)絡(luò)的輸出目標值,輸出結(jié)點個數(shù)為1。隱層結(jié)點個數(shù)的確定是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的一大難點,目前還沒有理論上的指導(dǎo)。隱層結(jié)點個數(shù)并不簡單地與分類問題的外在特性相關(guān),但它決定了網(wǎng)絡(luò)的表達能力,從而決定了判別邊界的復(fù)雜度。如果模式較易分開或線形可分,隱層結(jié)點個數(shù)可以較少;反之,需要更多的隱層結(jié)點數(shù)。在沒有更多信息的情況下,沒有簡單方法可以在訓(xùn)練之前設(shè)置隱層結(jié)點數(shù)的。理論上,單隱層網(wǎng)絡(luò)能完成任何復(fù)雜的N維映射,但多隱層可使收斂加快,如何選擇也缺乏理論指導(dǎo)?；谝陨蠁栴},本文通過反復(fù)學(xué)習訓(xùn)練來確定隱層結(jié)點及隱層個數(shù)。圖1為部分網(wǎng)絡(luò)結(jié)構(gòu)測試的誤差曲線圖。實驗表明,單隱層8個結(jié)點的網(wǎng)絡(luò)收斂性較好,與單隱層的8-10-1結(jié)構(gòu)相比,在更加簡單的結(jié)構(gòu)下達到相近的收斂誤差;而多隱層結(jié)構(gòu)盡管誤差曲線較陡,收斂較快,但其誤差過高。因此,本文選擇8-8-1網(wǎng)絡(luò)結(jié)構(gòu)。3.2基于網(wǎng)絡(luò)泛化能力的學(xué)習過程進行神經(jīng)網(wǎng)絡(luò)學(xué)習之前,首先要通過人工判識的方法采集大量樣本數(shù)據(jù),從而獲得監(jiān)督樣本對集合S={(Xi,Wi)}。其中:Wi表示樣本種類,即網(wǎng)絡(luò)的期望輸出,Wi∈{+1,-1};Xi為輸入特征向量,向量長度為8,即Xi=(R0.66R0.87R1.38ΙΝDSDΤB(11?3.7)DΤB(11?12)DΤB(11?8.6)ΤB6.7)。神經(jīng)網(wǎng)絡(luò)的學(xué)習過程就是依據(jù)監(jiān)督樣本對網(wǎng)絡(luò)權(quán)值進行調(diào)整的過程,因此為使網(wǎng)絡(luò)能通過較少的樣本訓(xùn)練而能對未經(jīng)訓(xùn)練的輸入給出一定誤差范圍的輸出,即使網(wǎng)絡(luò)能有較強的泛化能力,采集的樣本要具有代表性,并盡可能含蓋可能輸入的數(shù)值范圍,同時還要選擇測試樣本集來測試網(wǎng)絡(luò)的泛化能力。本文為增強網(wǎng)絡(luò)對時相和空間的適應(yīng)能力,從覆蓋我國大部分地區(qū),多時段,多季節(jié),具有代表性的多個MODIS數(shù)據(jù)中提取了8500多個樣本數(shù)據(jù),包含了不同時相多種下墊面類型(林區(qū)、草場、沙漠、山地、裸土、雪地、海域海岸及湖泊江河等)的晴空樣本5000多個,不同時相各云類(卷云、積雨云、中云、濃積云、層積云、層云等)樣本3500多個。其中選擇6000多個樣本對作訓(xùn)練集,其余2500多個作測試集。3.3網(wǎng)絡(luò)權(quán)值和閾值將采集的樣本對數(shù)據(jù)輸入網(wǎng)絡(luò),通過觀察每次訓(xùn)練的誤差曲線、調(diào)整迭代次數(shù)、初始學(xué)習步長等網(wǎng)絡(luò)參數(shù)進行訓(xùn)練。獲得滿意收斂誤差后,通過測試集進行檢驗,以尋求最大正確率下的網(wǎng)絡(luò)權(quán)值和閾值。設(shè)將測試樣本集中某一8維的特征數(shù)據(jù)Xi輸入網(wǎng)絡(luò),得到的輸出結(jié)果為Yi,則有{|Yi-1.0|＜√2e?Xi為睛空數(shù)據(jù)；|Yi-(-1.0)|＜√2e?Xi為云區(qū)數(shù)據(jù)；其他?不確定。其中:不確定數(shù)據(jù)與誤判數(shù)據(jù)均為出錯數(shù)據(jù),e為最終收斂的目標函數(shù)。正確率=正確判識數(shù)據(jù)數(shù)據(jù)總數(shù)×100％本文通過反復(fù)訓(xùn)練,在迭代次數(shù)為5000,初始學(xué)習步長為0.04,動量因子為0.7時,網(wǎng)絡(luò)的誤差達到0.005,測試正確率為90.12%,并使用此權(quán)值和閾值確定的網(wǎng)絡(luò)進行云晴空分離。4云檢測結(jié)果分析首先以NASAMODIS數(shù)據(jù)下載中心提供的2003年11月25日12時的MODISL1B數(shù)據(jù)為例。如圖2所示,該數(shù)據(jù)的地理范圍為88°48′～119°30′E,24°41′～46°03′N,覆蓋了我國華北、華中、華南、西南等大范圍地區(qū),地表情況復(fù)雜多變,且云類較多。圖2(a)(b)分別為0.67μm可見光圖像和11μm紅外圖像。圖中顯見:B區(qū)主要為卷云,C區(qū)為較厚高云,D區(qū)及C區(qū)下方則覆蓋大范圍的層云。圖2(c)為雪蓋指數(shù)圖,圖中較亮區(qū)域為覆雪區(qū),從而可知A區(qū)下墊面為雪,上空覆蓋較低層云,是云檢測的難點。圖2(d)為使用該人工神經(jīng)網(wǎng)絡(luò)模型進行云檢測的結(jié)果,白色區(qū)域為云區(qū),黑色區(qū)域為晴空區(qū)。從圖可以看出,模型檢測卷云、高云以及高原D區(qū)所覆蓋的層云的效果都很好,并且能夠較好的將A區(qū)的覆雪地表同低層云相分離,同時該例表明神經(jīng)網(wǎng)絡(luò)檢測模型對空間變化較大云圖的云檢測有很好的適應(yīng)能力。圖3為2004年5月20日11時03分的MODISL1B數(shù)據(jù)示例,地理范圍為102°02′～130°58′E,19°45′～40°58′N。圖3(a)(b)分別為可見光圖像和紅外圖像,從圖中可見,左上和右上部分主要覆蓋有少量的低云和中云,圖像的下部覆蓋有大范圍的卷云和部分積雨云。使用所建BP神經(jīng)網(wǎng)絡(luò)模型進行檢測,得到圖3(c)所示的云檢測結(jié)果。從結(jié)果上看,該模型對中云、低云、卷云及卷云邊界的薄卷云都有良好的檢測能力,云圖右上部分的云線也可以清楚的檢測出來。以上數(shù)據(jù)分別選自2003年11月和2004年5月,季節(jié)變化較大,而使用該模型進行檢測都獲得較好結(jié)果,表明該云自動檢測模型具有很好的時間適應(yīng)性。并且這兩個數(shù)據(jù)均為MODIS5min觀測數(shù)據(jù),空間分辨率為1km,使用該模型進