開放地球引擎（OGE）研究進展與應(yīng)用

研究進展與應(yīng)用>5petabytesofdata谷歌地球引擎發(fā)展新型時空信息應(yīng)用范式Al就緒服務(wù)深度耦合開放共享的北斗規(guī)模應(yīng)用重要新型基礎(chǔ)設(shè)施”1)高性能管理與服務(wù)2)云原生分布式計算3)算法-算力自適應(yīng)調(diào)度4)多模數(shù)據(jù)融合可視化5)融合AI遙感大模型6)構(gòu)建全棧國產(chǎn)地球引擎O彈性伸架構(gòu)系架模設(shè)計彈性伸縮和多層次就緒的系統(tǒng)架構(gòu)，支持數(shù)據(jù)、算力、算法的靈活接入，動態(tài)匯聚多源、海量、異構(gòu)的地球時空大數(shù)據(jù)，彈性聚合地球時空分析領(lǐng)域的處理方法、分析算法和Al模型地程座廣品決策制定攣生世界時空模擬攣生世界時空模擬分析就緒基礎(chǔ)設(shè)施。企開標光理/&計幕統(tǒng)地云計賽/的計賽多分新遺程峨我合并行分新旁切片旁切片有據(jù)季不有據(jù)季不國產(chǎn)云士的企國產(chǎn)云士的企阿里云阿里云E份折地形分新岳用支樣R購反|代四陽理理碩璃璃關(guān)鍵技術(shù)2--多源融合表達與一體管理的關(guān)鍵技術(shù)2--多源融合表達與一體管理的GeoCube產(chǎn)品_波段表-產(chǎn)品鍵-數(shù)據(jù)類型傳感器表-傳感器鍵-傳感器名稱-衛(wèi)星平臺名稱-波段類型-工作模式層級表-瓦片分率-像素分率-層級波段表-波段名稱-極化方式產(chǎn)品表-傳感器鍵-層級鍵-參考坐標系-瓦片計算強度SAR瓦片光學(xué)瓦片-瓦片質(zhì)量鍵-瓦片計算強度紅波段云量40%海矢量事實表矢量D序列-矢量特征-矢量計算強度質(zhì)量表-云層遮擋空間表-網(wǎng)格編碼-網(wǎng)格行號-城市編碼-城市名稱-層級鍵矢量數(shù)據(jù)表關(guān)鍵技術(shù)3--可擴展、高性能的開放時空算子體系構(gòu)關(guān)鍵技術(shù)3--可擴展、高性能的開放時空算子體系構(gòu)建基于標準化、可擴展、高性能的開放時空算子體系，內(nèi)置提供了一套覆蓋矢量、柵格計算，滿足常見時空分析場景的云原生時空算子集，也可以集成豐富的開源軟件算法，還可以導(dǎo)入用戶開發(fā)的專業(yè)模型時空時空多維數(shù)據(jù)2網(wǎng)囟時空多維時空多維數(shù)據(jù)1內(nèi)存CPU地圖代數(shù)疊加分析空間連接空間插值干旱分析模型土地利用分類植被變化檢測專業(yè)模型云原生幾何操作路徑分析網(wǎng)絡(luò)分析水文模擬空間統(tǒng)計地形渲染顏色管理鄰域計算地形分析類型轉(zhuǎn)換時序分析開源算法JIASET,支持我集成遙感領(lǐng)域自主可控的專用深度學(xué)習(xí)框架LUOJIANETJIASET,支持我們在OGC提出的首個地理人工智能國際開放標準TrainingDML-Al多框架混合編程模型中間表示執(zhí)行引擎嵌入用戶友好的可視化交互遙感數(shù)據(jù)特性嵌入遙感數(shù)據(jù)與框架協(xié)同硬件/數(shù)據(jù)融合處理和集成管理多源感知數(shù)據(jù)，充分利用OGE的海量數(shù)據(jù)管理、分布式計算與分析能力，實現(xiàn)陸、海、空環(huán)境的立體仿真與決策分析程序指令輸出?；A(chǔ)圖輸入，程序指令輸出。基礎(chǔ)圖輸入，片著色機載激光點云多波來海底…輸入色器位置位置操作系統(tǒng)操作系統(tǒng)3D硬件驅(qū)動器仁GLSL編譯器GLSL3D硬件驅(qū)動器仁頂點看]頂點看著色器程序(色器色器二進制)3D圖形處理器硬件關(guān)鍵技術(shù)5—多維時空信息孿生建?；诤Ａ?基于海量3D數(shù)據(jù)管理與服務(wù)技術(shù)，融合G3DBIM精細模型等，實現(xiàn)全球多尺度復(fù)雜場景的高性能渲染服務(wù)。數(shù)據(jù)模型基礎(chǔ)數(shù)據(jù)BIM數(shù)據(jù)模型基礎(chǔ)數(shù)據(jù)BIM模型影像數(shù)據(jù)影像數(shù)據(jù)矢量數(shù)據(jù)格式轉(zhuǎn)化傾斜攝傾斜模型文件組織維幾何數(shù)據(jù)靜態(tài)網(wǎng)格體渲染影數(shù)據(jù)(osgb)與讀關(guān)鍵技術(shù)5—多維時空信息孿生建模關(guān)鍵技術(shù)5—多維時空信息孿生建模SfMPoints1.5平臺總覽開放代碼數(shù)據(jù)資源數(shù)據(jù)資源應(yīng)用中心談天說地向數(shù)求智模型資源模型資源資源中心OGEOGE平臺應(yīng)用OGE首頁游源中心，開發(fā)中心應(yīng)用中心賽事中心：管理中心中文ENGLSH山②xiang經(jīng)濟地理數(shù)據(jù)查詢所在的位置>數(shù)據(jù)資源資源名稱/別名：不限注冊時間：個標盜：高分系列嚴品Landsat系列產(chǎn)品(14)Landsat系列產(chǎn)品(14)Sentinel系列產(chǎn)品(3)MODIS系列產(chǎn)品(7)標簽：高分系列產(chǎn)品所屬人：admin搭數(shù)平臺：GF-2描述：高分二號衛(wèi)星0.8米全色和3.2米多光語相機(PMS注冊時間：2022/10/5傳感器：PMS2描述：高分二號衛(wèi)星0.8米全色和3.2米多光道相機(PMS.注冊時間：2022/10/5傳感器：PMS1嚴品別稱：高分二號L1級PMS2更新時間：2023/11/14影像數(shù)：40冊產(chǎn)品別稱：高分二號L1級PMS1更新時間：2023/11/14影像數(shù)：32量LJOLL2產(chǎn)品別稱：Luolia產(chǎn)品別稱：Luolia1號夜光通感數(shù)據(jù)更新時間：2022/10/25影像數(shù)：14景標簽：珞聊系列產(chǎn)品搭載平臺：注冊時間：2022/11/14傳感器：經(jīng)濟地理數(shù)據(jù)(122)注冊時間：2022/11/14傳感器：頁10條/頁跳至頁10條/頁跳至資源中心—數(shù)據(jù)資源OGE首頁資源中心。開發(fā)中心應(yīng)用中心賽事中心管理中心瞪格處理(112)瞪格處理(112)矢里處理(86)模型別名重命名創(chuàng)建時間修改時間◎O★乙10條/頁跳至頁Vegetationindex(NDVI)是用于評估格被狀況指數(shù)，該模塊使用NOV態(tài)醫(yī)量的準確評估，支持衣業(yè)監(jiān)源生硬解罐述：NormaizedDiferenceWaterIndex(NDWI)雖一種用于檢水體的數(shù)，通過比較近燈外波段和綠色波段的反射率，NDW可以有效區(qū)分水體和其他地物，該接塊利用NOW榴型屋途：利用兩個不時網(wǎng)點3NDVI值，實現(xiàn)柏被交化的檢測分第.提型榴途：根ENDV數(shù)，佳用LCo6L1TPARD_60數(shù)據(jù)(分析歐培andcat8數(shù)概)對多時相剝像進行水體時間序的計分析。利不用8t的彩像分別控取水體，并統(tǒng)計水援型成途?NormalzedDifferenceBuilt-upIndex(NDB1)是一種用于檢測建填物的臨數(shù)，該模塊使用ND61地利用管理等投供了可的筑物信息關(guān)閑landat8順影像反演肺法，快速準確地生產(chǎn)出南省每手應(yīng)的怕幢指數(shù)(NOV0.怕被服蓋度(FVO和格被凈初吸生產(chǎn)力(NPP),在此基礎(chǔ)上生成每年的南省全墻餡被生態(tài)質(zhì)量臨教授榴途：WeightedNormalizedIndex(WNDIWI)層在NDW基礎(chǔ)上皿.WNDWI提高了水體檢測的晴下效果，該模塊專注于水體分析，為型通采用OSNetConwNeXx1NOSDatavet69梗型，專注于交化檢飄通過深應(yīng)學(xué)習(xí)技術(shù)，該模塊實現(xiàn)了對圖像中變化的效識別，為監(jiān)測市發(fā)應(yīng)，環(huán)安化等提供強大的分析工且領(lǐng)型播述：tuoluNet遙領(lǐng)白主可控的證像機器學(xué)習(xí)相架，針對謠變化大等特性，備內(nèi)存司礦、R度湯道獎活建、數(shù)眠通道自主優(yōu)選、糕架與數(shù)露地同處理的特點，可容已有拖隆的交互酸配罐述：利用網(wǎng)個不同間點的NOWI值，實現(xiàn)水體變化的檢5分聽，通過比較兩個時s的水體留數(shù),用戶可以獲得笑于水體變化的詳細力支陳.coprecogswinonrx模型，專門用能夠準確地識和提取圖像中的耕地結(jié)被型途：構(gòu)律益?zhèn)€知R增的地學(xué)領(lǐng)城大操型，用新一代人工智址技不提供地學(xué)領(lǐng)0識問答服務(wù)，助用戶快定白身的時空計算業(yè)務(wù)早和的狀況的臨標、該臨數(shù)考虛了降水和減發(fā)隔輛的響，過標準化處理這酷回素，其在時間和空間上具有可比性，正值SPE表示相樹的條件提型描途采用土地利用分類，通過深度學(xué)技術(shù)，模動分類，為地資源董理、環(huán)境溫等領(lǐng)域撐供有力的十損型貓途利用OGE平臺所提供的一意resthut酸務(wù)接口開發(fā)的，基于能耗數(shù)就計42015-2020年長江流域城市砌排放，利用傳統(tǒng)的放因子法和每市的農(nóng)業(yè)工業(yè)、建饑業(yè)的產(chǎn)值以及城填OGEOGE平臺開發(fā)中心為用戶設(shè)計了腳本式編程、圖形化構(gòu)建兩種任務(wù)編排模式命0GE首頁資源中心開發(fā)中心應(yīng)用中心首中心NCISH◎xiang0pae◎四志四N國居營理器國居營理器命0GE頁中心開心l航用中心首理中心DmhrR11 /i/mmOGE平臺應(yīng)用中心基于后端的數(shù)據(jù)與計算能力，提供干旱分析、水體提取、植被指數(shù)等應(yīng)用模型，用戶可以開發(fā)自己的應(yīng)用系統(tǒng)。數(shù)據(jù)空間范圍時間范圍備注全國2023年5月-8月共計約1793余景Landsat8長時序湖北省每年5-8月份覆蓋一共計約495余景高分高分1全國2023年5月-8月共計約2013余景高分6全國2023年5月-8月共計約581片全國2023年5月-8月共計約984景全國2023年5月-8月共計約903景全國2023年5月-8月，每月形成一次覆蓋共計約7351景全球30米分辨率全球12.5米分辨率數(shù)據(jù)空間范圍時間范圍備注地表反照率LST全球共計約2727余景凈輻射NR全球共計約61360余景蒸散發(fā)ET全球共計約6944余景葉面積指數(shù)LAl全球共計約10440余景光合有效輻射比FAPAR全球共計約10440余景總初級生產(chǎn)力GPP全球共計約50300余景增強型植被指數(shù)EVI全球共計約2392余景植被覆蓋度FVC全球共計約2304余景歸一化植被指數(shù)NDVI全球共計約2392余景凈初級生產(chǎn)力NPP全球共計約2392余景2.22.2OGE資源匯聚(已入庫數(shù)據(jù))1)GF1數(shù)據(jù)覆蓋情況(2013景)1)GF6數(shù)據(jù)覆蓋情況(581片)2.2OGE資源匯聚(已入庫數(shù)據(jù))2)Sentinel-2數(shù)據(jù)覆蓋情況數(shù)據(jù)產(chǎn)品類別地區(qū)時間地表反射率單景結(jié)果湖北省云掩膜單景結(jié)果湖北省地表反照率單景結(jié)果湖北省氣溶膠光學(xué)厚度切片結(jié)果湖北省歸一化植被指數(shù)單景結(jié)果湖北省植被覆蓋度單景結(jié)果湖北省季度合成結(jié)果中國數(shù)據(jù)產(chǎn)品地區(qū)時間范圍FY-3D中分辨率光譜成像儀L1數(shù)據(jù)中國FY-3D中分辨率光譜成像儀L1數(shù)據(jù)(GEO)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)(白天)2020年(20天)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)(GEO)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)格陵蘭2020年(3個月)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)(GEO)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)美國2020年(4個月)FY-3D中分辨率光譜成像儀L1數(shù)據(jù)(GEO)FY-3F中分辨率光譜成像儀L1數(shù)據(jù)全球2024年(2~7月，每月前5號)FY-3F中分辨率光譜成像儀L1數(shù)據(jù)(GEO)圓盤2020年(4個月)全天2020年剩余8個月(UTC22點到第二天7點)子2.1概賞application-develop.html#application-develop.html#wwi(/reso■交互式計算的需求■現(xiàn)有Web端云計算平臺的支持度與適應(yīng)性不夠n●任務(wù)流編排存在整體性和靜態(tài)性約束r反復(fù)嘗試不斷優(yōu)化●任務(wù)流計算未考慮鏈路冗余處理問題用戶與系統(tǒng)的交互過程多輪次構(gòu)建流程→腳本解析→執(zhí)行作業(yè)→返回結(jié)果有策略針對上述需求與問題，開展時空任務(wù)流編排、計算優(yōu)化與調(diào)度優(yōu)化策略的研究空間空間動態(tài)腳本1動態(tài)腳本?動態(tài)腳本3由一動態(tài)腳本?動態(tài)腳本3空間空間空間@由一系列時空任務(wù)單元有序組合而成時空任務(wù)流圖G2時空任務(wù)流圖G2(3)時空算子序列：算子a算子a笪子算子、算子(4)分布式時空計算作業(yè)：由一系列以數(shù)據(jù)塊為核心的分布式計算任務(wù)組合而成基于基于前序任務(wù)流圖之間的結(jié)構(gòu)相似性與任務(wù)共現(xiàn)性，梳理了四種基礎(chǔ)可復(fù)用情形及綜合可復(fù)用情形，并設(shè)計了應(yīng)對策略(a)裁剪前序圖a1相關(guān)邏輯并復(fù)用其結(jié)果；(b)分別裁剪b1與b2的邏輯并復(fù)用其結(jié)果；!(c)先進行冗余化操作再分別裁剪與復(fù)用；I(d)裁剪前序圖d1相關(guān)邏輯并復(fù)用其結(jié)果；1(e)綜合應(yīng)用多種處理機制，同時注意重水體提取的交互式計算過程輸出結(jié)果影像濾波調(diào)整方法In[12]:In[12]:影的化交互增2-leafmap2-leafmapMap(enter[30.S7,L.28],ton-6sdi-serviee.getProeess(Covras.aormliaeDIfterenee”).exeautendeiervie,aetProcess(Coverogemltiplyhu),execute(ndri,100.0二化nd置ribrisparan2Iain'+-1.palett:[hit,blme7binres2ndei_binarization.styles(visparams2.etMop(ndri_bimrization)2adl_tile_layerlhinures2,nane"_bimriration",attrlbation"ndbim2tnt41:設(shè)新過方法adbiarization,Medianservice.gatProcessCtoverass.focallediam").oxecute(ndni_biaarizatres2ni_binarization,JMedian.atyles(isparans2),getMapCndsi,binariratlon,ldi2adt_tile_layerfres2,aae"2√√分階段構(gòu)建時空代碼流程√針對性查看時空計算結(jié)果√迭代式執(zhí)行局部分析流程，對局部代碼參數(shù)的調(diào)整與修改,只會影響到依賴于它的時空任務(wù)流圖，不會影響到全時空代碼流程中不依賴于它的時空任務(wù)流圖類型特換類型特換樹n畫評價指標評價指標實驗環(huán)境實驗數(shù)據(jù)案例：植被提取類型轉(zhuǎn)換獲取數(shù)據(jù)數(shù)據(jù)放縮案例：植被提取類型轉(zhuǎn)換獲取數(shù)據(jù)數(shù)據(jù)放縮渲染中值濾波查看植被提取結(jié)果調(diào)整二值化參數(shù)√相較于非增量式計算，增量式計算的執(zhí)行時間有了顯著的降低，各地圖層級下的優(yōu)化指數(shù)均在6左右。關(guān)鍵技術(shù)點：1通信用戶在JupyterNotebook中執(zhí)行時空處理任務(wù)的時序圖(含數(shù)據(jù)類型)UserlupyterNotebook編寫代碼子UserupyterNotebookFieEdtViowInsertCellKemolWdgetsHalperDataSet=service,getCoverage(coverageID=1081220392015278LG300°,producDM15_datap.array(rasterDataSel4_datanp.arry(rarterDataSet[1]).adata_sark=band4_datal:,0]=9999原t=(band5_data-band4_data)/(band5_data出精果rcale化開且凝加odata/_outputlno_datask]=-9999對影像邊齡ne_dataFark范i_binarization=service.getProcea(Coverage.binariration).erebinuizationlMedian=arvice.etProca(coversefocaLNadian).rncute(NNpar=(ain':-1,aax:1,palette':rald°,yellov',brem",lightblun,"ayi_binarization_Modian.atyle(vie_params)OGEOGE平臺應(yīng)用GPU算力和百PB感數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等地球時空彈性資源分配天大百P級GPU算力千核CPU算力數(shù)據(jù)計算與分析一即pok數(shù)據(jù)組織與管理等FF百PB級存儲能力食二②數(shù)據(jù)匯聚百PB級存儲能力食二②數(shù)據(jù)匯聚與百度合作針對開放獲取數(shù)據(jù)，設(shè)計實現(xiàn)了自動化并行入庫工具候下大并發(fā)下能大并發(fā)下能從信息門戶網(wǎng)站自動獲取數(shù)據(jù)立即較下概的文位的切所從信息門戶網(wǎng)站自動獲取數(shù)據(jù)aaX個切所進程計露上上數(shù)據(jù)切片e第一武段T文上師光列條上—不向型：就緒型數(shù)字地球管理框架設(shè)計負載均衡的分布式存儲，提供海量觀測數(shù)據(jù)的低延時訪問，并基于云環(huán)境計算對象映射和計算資源自適應(yīng)調(diào)度，實現(xiàn)大規(guī)模遙感數(shù)據(jù)的并行計算，提供高并發(fā)的遙感分析響應(yīng)能力聖在開放地球引擎(OGE)核心能力的基礎(chǔ)上，研發(fā)OGE遙感教育云平臺，為高等院校提供測繪遙感類課程在線實習(xí)/實訓(xùn)云平臺，支持實習(xí)課程管理、實習(xí)進度管理，以及測繪遙感創(chuàng)新比賽?？旖萑肟诳傮w概覽快捷入口實習(xí)課程能的實習(xí)(門)我的實習(xí)課程能的實習(xí)(門)實習(xí)概覽習(xí)課程四胞資道用PP√平臺在線提供數(shù)據(jù)資源和實習(xí)課程，支持云端更新√管理員在線管理實習(xí)課程；老師在線創(chuàng)建實習(xí)課程、發(fā)布實習(xí)任務(wù)；學(xué)生在線參加實習(xí)、提交實習(xí)成果進行中的實習(xí)實習(xí)任務(wù)視計進行中的實習(xí)實習(xí)任務(wù)視計四=990時時OGE教育云平臺打造了賽事中心，為測繪遙感類學(xué)生提供應(yīng)用創(chuàng)新比賽平臺，支持遙感解譯、算法設(shè)計和應(yīng)用開發(fā)等多個賽道的比賽?！獎?chuàng)新賽道空天信息組數(shù)智空天創(chuàng)新無限——創(chuàng)新賽道空天信息組數(shù)智空天創(chuàng)新無限出出r國家自然科學(xué)基金委員會信息科學(xué)部r國家自然科學(xué)基金委員會信息科學(xué)部2024“東方航天港·地衛(wèi)二杯”溫感影像智能處理算法大賽3.3國家自然科學(xué)基金重大項目3.3國家自然科學(xué)基金重大項目OGE集成高分等國產(chǎn)衛(wèi)星遙感數(shù)據(jù)，項目基于OGE和國產(chǎn)數(shù)據(jù)開展陸表能量平衡、水循環(huán)、碳循環(huán)參量和土地覆蓋智慧化定量反演，解決國產(chǎn)衛(wèi)星遙感數(shù)據(jù)應(yīng)用瓶頸3.3國家自然科學(xué)基金重大項目3.3國家自然科學(xué)基金重大項目■多源遙感數(shù)據(jù)“時-空-譜-角”一致性預(yù)處理技術(shù)建立多源數(shù)據(jù)的按需接入機制，支