遙感產(chǎn)品算法測評-第1部分-測評方法與流程導(dǎo)則 編制說明

1編制說明科學(xué)院空天信息創(chuàng)新研究院牽頭完成本規(guī)范的制定任務(wù)。該標(biāo)準(zhǔn)由中國遙感應(yīng)用協(xié)會1中國科學(xué)院空天信2中國科學(xué)院空天信與標(biāo)準(zhǔn)文本及編制說明的起草、撰集專家意見；根據(jù)意見和建議進(jìn)行23中國科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說明的起草、4參與標(biāo)準(zhǔn)文本及編制說明的起草、5中國科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說明的起草、6中國科學(xué)院空天信7中國科學(xué)院空天信8中國科學(xué)院空天信參與標(biāo)準(zhǔn)文本及編制說明的起草、9中國科學(xué)院空天信相關(guān)資料查閱、收集；標(biāo)準(zhǔn)文本修中國科學(xué)院空天信相關(guān)資料查閱、收集；標(biāo)準(zhǔn)文本修相關(guān)資料查閱、收集；標(biāo)準(zhǔn)文本修中國科學(xué)院地理科中國科學(xué)院空天信集、整理和歸納相關(guān)的意見和建議以及行業(yè)內(nèi)征求意見和標(biāo)準(zhǔn)送審；32.2021年2月-5月，形成基礎(chǔ)內(nèi)容框架，擬重點解決的科學(xué)問題與標(biāo)準(zhǔn)化關(guān)鍵技術(shù)為遙感產(chǎn)品算法測評方收到中國遙感應(yīng)用協(xié)會標(biāo)準(zhǔn)化分會、中國科學(xué)院空天信息送交中國遙感應(yīng)用協(xié)會標(biāo)準(zhǔn)化分會，并提交《中4本標(biāo)準(zhǔn)的編制以遙感產(chǎn)品算法測評的科學(xué)實踐為目標(biāo)，以規(guī)范性和可操作性為第從中凝練遙感產(chǎn)品算法測評的概念和問題，并流程標(biāo)準(zhǔn)化和規(guī)范化遙感產(chǎn)品算法測評5本文件規(guī)定的遙感產(chǎn)品算法測評的方法與流程提供了一種通用的算法測評技術(shù)流于遙感產(chǎn)品算法的測評，包括但不限于幾何產(chǎn)品、輻射基礎(chǔ)產(chǎn)品、土地覆蓋/土地利用6測評指標(biāo)體系標(biāo)準(zhǔn)輸入數(shù)據(jù)集測評指標(biāo)體系標(biāo)準(zhǔn)輸入數(shù)據(jù)集算法監(jiān)控參數(shù)算法監(jiān)控參數(shù)輸出共性產(chǎn)品輸出共性產(chǎn)品算法測評指標(biāo)算法測評指標(biāo)構(gòu)建算法測評的指標(biāo)體系主要包括（1）選擇測評指標(biāo)2）確定指標(biāo)權(quán)重3）通過文獻(xiàn)調(diào)研和已有的研究成果，對指標(biāo)體系中的各級指標(biāo)進(jìn)行了初步的挑選與7對算法在遙感產(chǎn)品生產(chǎn)過程中的表現(xiàn)，算法效率評判某種算法是否可以高效地產(chǎn)出遙率的二級指標(biāo)既要考慮算法在生產(chǎn)一定量產(chǎn)品時所需時間多少及占用運行空間的大小，也要考慮到該算法在生產(chǎn)過程中是否需要額外的輔助數(shù)據(jù)；算法魯棒性需要評價算法一級指標(biāo)二級指標(biāo)說明算法精度幾何類產(chǎn)品類別類產(chǎn)品數(shù)值類產(chǎn)品根據(jù)不同的產(chǎn)品類別選擇相對應(yīng)的精度指標(biāo)，評價算法的精度算法適用性地表類型適用性地形適用性空間尺度適用性算法是否適用于不同地表類型算法是否適用于不同地形條件算法是否適用于不同空間尺度算法效率運算時間復(fù)雜度運算空間復(fù)雜度算法計算的輔助數(shù)據(jù)需求算法運行時間算法運行占用內(nèi)存大小算法運行所需輔助數(shù)據(jù)多少算法魯棒性算法的容錯性算法長時間穩(wěn)定性算法不同數(shù)據(jù)穩(wěn)定性算法結(jié)果時空完整性算法出現(xiàn)故障時正常運作的能力算法長時間運行過程中的穩(wěn)定性算法引入不同數(shù)據(jù)時處理結(jié)果穩(wěn)定性算法運行結(jié)果是否保留完整時空信息8產(chǎn)品類別與級別序號共性產(chǎn)品精度指標(biāo)幾何產(chǎn)品1DOM平面位置中誤差、平均偏差2DSM/DEM高程中誤差輻射基礎(chǔ)產(chǎn)品3地表反射率平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r4歸一化離水輻射率均方根誤差RMSE5雷達(dá)后向散射系數(shù)平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r6地表發(fā)射率均方根誤差RMSE和平均絕對誤差MAE7云掩膜像元精度Pa和總體分類精度Pt組合、正確率、錯誤率、誤檢率和漏檢率組合8氣溶膠光學(xué)厚度絕對誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r9大氣水汽含量均方根誤差RMSE和相關(guān)系數(shù)r土地覆蓋/土地利用產(chǎn)品土地覆蓋總體精度OA、制圖精度PA、用戶精度UA和Kappa系數(shù)土地利用總體精度OA、制圖精度PA、用戶精度UA和Kappa系數(shù)能量平衡參量產(chǎn)品地表反照率平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r地表溫度均方根誤差RMSE、相關(guān)系數(shù)r、絕對誤差Bias和標(biāo)準(zhǔn)差STD海表溫度均方根誤差RMSE、相關(guān)系數(shù)r、絕對誤差Bias和標(biāo)準(zhǔn)差STD土壤熱通量均方根誤差RMSE、相關(guān)系數(shù)r和平均絕對誤差MAE光合有效輻射均方根誤差RMSE、相關(guān)系數(shù)r和平均偏差ME下行短波輻射均方根誤差RMSE、相關(guān)系數(shù)r和平均偏差ME下行長波輻射絕對誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r地表凈輻射均方根誤差RMSE、相關(guān)系數(shù)r、絕對誤差Bias和標(biāo)準(zhǔn)差STD植被參量產(chǎn)品20植被指數(shù)平均誤差Me、均方根誤差RMSE和相關(guān)系數(shù)r21葉面積指數(shù)絕對誤差Bias、均方根誤差RMSE和相關(guān)系數(shù)r22植被覆蓋度均方根誤差RMSE和相關(guān)系數(shù)r23光合有效輻射吸收比例均方根誤差RMSE和相關(guān)系數(shù)r24植被凈初級生產(chǎn)力均方根誤差RMSE和相關(guān)系數(shù)r25植被物候均方根誤差RMSE、相關(guān)系數(shù)r、相對誤差RE和平均絕對誤差MAE26植被葉綠素含量均方根誤差RMSE和相關(guān)系數(shù)r27葉綠素?zé)晒饩礁`差RMSE和相關(guān)系數(shù)r28森林地上生物量均方根誤差RMSE和相關(guān)系數(shù)r29森林樹高均方根誤差RMSE、相關(guān)系數(shù)r和標(biāo)準(zhǔn)差SD水分參量產(chǎn)品土壤水分均方根誤差RMSE、相關(guān)系數(shù)r和平均絕對誤差MAE蒸散發(fā)相關(guān)系數(shù)r和平均絕對誤差MAE干旱指數(shù)相關(guān)系數(shù)r水體面積總體分類精度OA、Kappa系數(shù)、錯分誤差、漏分誤差和噪聲統(tǒng)計冰川覆蓋誤差指標(biāo)IU和IO、總體精度指標(biāo)Qc和Qa積雪覆蓋誤差指標(biāo)IU和IO、總體精度指標(biāo)Qc和Qa雪被指數(shù)相關(guān)系數(shù)r和平均絕對誤差MAE水體懸浮物濃度均方根誤差RMSE、相關(guān)系數(shù)r和相對誤差RE水體葉綠素濃度均方根誤差RMSE、相關(guān)系數(shù)r和相對誤差RE水體透明度均方根誤差RMSE、相關(guān)系數(shù)r和相對誤差RE9b）平均絕對誤差meanabsold）平均相對誤差meanrelatie）平均絕對相對誤差meanabsoluterel兩個隨機變量之間相互依賴性的度量，等于兩個變量間的協(xié)方差除以各自方差之2）幾何類產(chǎn)品精度指標(biāo)DEM)是描述地形起伏形態(tài)特征的一種要評價高程值與地表真實值得接近程度，即高程精度。②數(shù)字表面模型DSM(DigitalSurfaceModel)，是一種包含了地表建筑物、橋梁和樹木等高度的表面高程模幾何類型產(chǎn)品常用的精度指標(biāo)為高程中誤差（DEM/DSM）和平面位置中誤差（DOM另外還有無效值檢查、剖面分析法等Bd=(Hj?Hd)3）類別類產(chǎn)品精度指標(biāo)TP+TNTP+TNTP+FN+FP+TNTP+FN+FP+TNFN為分類錯誤的正樣本N2?∑=1(xi+×x+i)kappa=N∑=1xN2?∑=1(xi+×x+i)）：漏檢率=total_cllc_as_cloud?100%）：度評價指標(biāo)應(yīng)選擇對應(yīng)的類別，同時其評分轉(zhuǎn)化基準(zhǔn)也應(yīng)根據(jù)該類型產(chǎn)品主流的精度f(x)={(1?,≤x≤bx越接近a分?jǐn)?shù)越高）f(x)={?1bx≤bx越接近b分?jǐn)?shù)越高）fBias=fRMSE=fcoTT=0,4）算法適用性指標(biāo)運算時間復(fù)雜度計算公式為運行時間除以數(shù)據(jù)量,空間復(fù)雜度則通過統(tǒng)計算法運行時 算法魯棒性指算法在各類擾動因素作用下保持自身穩(wěn)定性的能力，其評價指標(biāo)包容錯性指算法出現(xiàn)故障時正常運作的能力，需要測試各類極限情況下算法是否能本數(shù)據(jù)和驗證數(shù)據(jù)，對該條件下算法的精度進(jìn)行檢驗，根據(jù)該結(jié)果評價該算法的容錯算法時空穩(wěn)定性指算法長時間運行過程中的穩(wěn)定性，通過統(tǒng)計算法最大無故障運結(jié)果時空完整性表征算法運行結(jié)果是否保留完整的時空信息，需要對算法結(jié)果進(jìn)要是在對已有研究基礎(chǔ)充分調(diào)研的基礎(chǔ)上進(jìn)行的主觀選擇，但各評價指標(biāo)的定量計算層次結(jié)構(gòu)模型是構(gòu)建判斷矩陣的前提，判斷矩陣是反映下層影響因子對于上層影0;uij=;uij=1。根據(jù)建立的層次結(jié)構(gòu)模型進(jìn)行專家打分，采用的方法為分別對同一層次的指標(biāo)進(jìn)標(biāo)度含義1Ai和Aj同等重要3Ai比Aj重要一點5Ai比Aj更重要7Ai比Aj重要得多9Ai比Aj極端重要當(dāng)5個等級不夠用時可作為補充nj=1 ,...,/0k矩陣一致性。CR的表達(dá)式為：CR==。確定判斷矩陣一致性是否滿足的標(biāo)準(zhǔn)為：若n12345678900如上文所述，層次分析法的判斷矩陣是反映下層影響因子對于上層影響因子的相9977553311一級指標(biāo)二級指標(biāo)二級指標(biāo)權(quán)重一級指標(biāo)權(quán)重算法精度（三類選一）幾何類產(chǎn)品0.3164（對于某一類產(chǎn)品，可選擇適當(dāng)?shù)木戎笜?biāo)）面積類產(chǎn)品數(shù)值類產(chǎn)品算法適用性地表類型適用性地形適用性空間尺度適用性0.3163算法效率運算時間復(fù)雜度運算空間復(fù)雜度算法計算的輔助數(shù)據(jù)需求0.1153算法魯棒性算法容錯性算法長時間穩(wěn)定性算法不同數(shù)據(jù)穩(wěn)定性算法結(jié)果時空完整性0.2519不同的站點也可以確保算法在不同的站點條件下進(jìn)行檢測，以達(dá)到對算法進(jìn)行全面評(λ隨后對輻射定標(biāo)后的影像進(jìn)行正射校正，以確保衛(wèi)星配準(zhǔn)的精度滿足產(chǎn)品生產(chǎn)需求。利用高分?jǐn)?shù)據(jù)內(nèi)部鑲嵌的RPC數(shù)據(jù)，對高分?jǐn)?shù)像和地面的同名點，建立影像和實際位置的模型關(guān)系，對粗校正后的影像進(jìn)行手動校當(dāng)?shù)卣鐣r刻需要根據(jù)當(dāng)?shù)氐牡乩砦恢糜嬎愕玫?。選擇當(dāng)?shù)卣鐣r刻前后的上下行輻參數(shù)輸入需要由算法測評系統(tǒng)規(guī)定，基本輸入應(yīng)為該產(chǎn)品生產(chǎn)所需標(biāo)準(zhǔn)產(chǎn)品或者共性產(chǎn)品的全路徑文件名。算法測評系統(tǒng)方面應(yīng)要求算法開發(fā)者明確描述參數(shù)輸入形文件情形，應(yīng)當(dāng)對多個文件以時間有序進(jìn)行文件名組織，文件名之間以英文逗號“,”隔“,”隔開，不同輸入?yún)?shù)間遵循操作系統(tǒng)規(guī)定，以空格隔開。算法的輸入?yún)?shù)應(yīng)采用統(tǒng)算法輸出參數(shù)可根據(jù)算法測評系統(tǒng)的規(guī)定提供，應(yīng)包括算法輸出結(jié)果的完整文件b）分幅命名規(guī)范。分幅命名規(guī)范一般需要包含的要素包括產(chǎn)品級別、產(chǎn)品名稱、算法所有其他輸入均由算法開發(fā)者提供，如外來產(chǎn)品中成體系的共用產(chǎn)品一般可在明確算法輸入數(shù)據(jù)查找規(guī)則的情況下由系統(tǒng)管理。算法單獨使用的查找表、輔助數(shù)在構(gòu)建了算法測評指標(biāo)體系、針對各項指標(biāo)確立了評價標(biāo)準(zhǔn)并建立了算法測評數(shù)將算法測評指標(biāo)體系中所有二級指標(biāo)的集合稱為X={X1,X2,X3,?,Xn?1,Xn}，其中第i項二級指標(biāo)在算法測評指標(biāo)體系中的權(quán)重為pi(1≤i≤n)，根據(jù)系各二級指標(biāo)的評價標(biāo)準(zhǔn)，可以得到某一類算法產(chǎn)品第i項二級指標(biāo)在算法測評中的得一級指標(biāo)二級指標(biāo)一級指標(biāo)權(quán)重二級指標(biāo)權(quán)重算法精度偏差0.1055均方根誤差0.31650.1055相關(guān)系數(shù)0.1055算法適用性地表類型適用性0.1335地形適用性0.31630.0605空間尺度適用性0.1223算法效率運算時間復(fù)雜度0.0372運算空間復(fù)雜度0.0313算法計算的輔助0.1153數(shù)據(jù)0.0468算法魯棒性容錯性0.0686抗噪聲穩(wěn)定性0.0626不同數(shù)據(jù)穩(wěn)定性0.25190.0514結(jié)果時空完整性0.0693其中參考數(shù)據(jù)為覆蓋中國科學(xué)院河北懷來遙感站、黑河遙感站和凈月潭站觀測的算法效率和算法適用性和三類型一級指標(biāo)進(jìn)行測試。我們在樣本數(shù)據(jù)和參考數(shù)據(jù)計算fBias=fRMSE=fcorr=,cor..≤1使用待測評算法計算結(jié)果后按適用性的類型分別統(tǒng)計，有n類情況下產(chǎn)品精度落在針對反照率算法效率打分，采用占用的空間、時間和數(shù)據(jù)量大小進(jìn)行打分（式5-一級指標(biāo)二級指標(biāo)二級指標(biāo)評分加權(quán)分?jǐn)?shù)算法精度偏差10.55均方根誤差43.34.5682相關(guān)系數(shù)59.756.3036算法適用性地表類型適用性13.35地形適用性6.05空間尺度適用性12.23算法效率運算時間復(fù)雜度3.72運算空間復(fù)雜度752.3475算法計算的輔助數(shù)據(jù)3.744算法魯棒性容錯性0抗噪聲穩(wěn)定性0不同數(shù)據(jù)穩(wěn)定性0結(jié)果時空完整性0算法測評評分62.8633(0~25.19)遙感產(chǎn)品算法測評方法與流程導(dǎo)則是遙感產(chǎn)品算法測評的指導(dǎo)性依據(jù)之一，可為的遙感產(chǎn)品算法測評方法與流程，對于遙感產(chǎn)品生產(chǎn)流程中標(biāo)準(zhǔn)算法的測試和選取具明確遙感產(chǎn)品算法測評方法與流程規(guī)范，有利于構(gòu)建標(biāo)準(zhǔn)化的遙感產(chǎn)品算法測評遙感產(chǎn)品算法測評的方法與流程標(biāo)準(zhǔn)規(guī)范目前國內(nèi)外沒有成體系的資料。現(xiàn)有的上述兩種現(xiàn)有測評方式的不足在于缺乏算法測評方法與流程的完整體系，只適用于給定的數(shù)據(jù)集和特定的算法橫向比較，針對每一種算法或數(shù)據(jù)集都需要單獨設(shè)計一因此，國內(nèi)外現(xiàn)有的遙感產(chǎn)品算法測評方法與流程相關(guān)的工作在對特定算法的測序號12