氣象行業(yè)氣象數(shù)據(jù)存儲(chǔ)管理解決方案

氣象行業(yè)氣象數(shù)據(jù)存儲(chǔ)管理解決方案行業(yè)綜述：氣象業(yè)務(wù)的涵義概念：指在氣象和與之相關(guān)的領(lǐng)域中，從信息的采集、數(shù)據(jù)的傳輸存儲(chǔ)和加工處理到應(yīng)用服務(wù)的全過程包括的具體內(nèi)容：氣象綜合觀測(cè)業(yè)務(wù)（地基、空基和天基）氣象信息網(wǎng)絡(luò)業(yè)務(wù)（通信網(wǎng)絡(luò)、數(shù)據(jù)存儲(chǔ)管理和共享等）氣象信息加工業(yè)務(wù)（天氣/氣候/農(nóng)業(yè)/專業(yè)氣象預(yù)報(bào)、預(yù)測(cè)和評(píng)價(jià)）公益氣象信息服務(wù)（決策、公眾及專業(yè)專項(xiàng)服務(wù)等）國家級(jí)（氣象中心、衛(wèi)星中心、氣候中心、氣象信息中心、大氣探測(cè)中心，…）區(qū)域氣象中心?。▍^(qū)、市）氣象臺(tái)地（市、州、盟）氣象臺(tái)縣（市、區(qū)、旗）氣象站北京區(qū)域氣象中心沈陽區(qū)域氣象中心上海區(qū)域氣象中心武漢區(qū)域氣象中心廣州區(qū)域氣象中心成都區(qū)域氣象中心：重慶、四川、貴州、云南、西藏蘭州區(qū)域氣象中心烏魯木齊區(qū)域氣象中心行業(yè)綜述：中國氣象局體系國家級(jí)全國災(zāi)害性天氣監(jiān)測(cè)、短時(shí)預(yù)報(bào)，全球短中期和延伸期天氣預(yù)報(bào)及全國天氣會(huì)商和災(zāi)害性天氣聯(lián)防等；精細(xì)化氣象要素客觀指導(dǎo)預(yù)報(bào)；區(qū)域中心區(qū)域內(nèi)短時(shí)及中短期天氣預(yù)報(bào)及會(huì)商指導(dǎo)、災(zāi)害天氣聯(lián)防；區(qū)域海洋、水文預(yù)報(bào)指導(dǎo)；省級(jí)災(zāi)害天氣監(jiān)測(cè)、短時(shí)和臨近預(yù)報(bào)；精細(xì)化的氣象要素預(yù)報(bào)；開展與鄰省的災(zāi)害性天氣聯(lián)防；地市級(jí)災(zāi)害天氣短時(shí)和臨近預(yù)警，補(bǔ)充訂正省臺(tái)中短期預(yù)報(bào)和專業(yè)氣象預(yù)報(bào)；縣級(jí)災(zāi)害天氣短時(shí)和臨近預(yù)警，補(bǔ)充訂正省臺(tái)中短期預(yù)報(bào)；行業(yè)綜述：各級(jí)氣象局職責(zé)信息網(wǎng)絡(luò)計(jì)算機(jī)技術(shù)保障教育培訓(xùn)決策氣象服務(wù)公眾氣象服務(wù)專業(yè)氣象服務(wù)

業(yè)務(wù)系統(tǒng)平臺(tái)

數(shù)值預(yù)報(bào)系統(tǒng)天氣監(jiān)測(cè)災(zāi)害性天氣短時(shí)臨近預(yù)報(bào)精細(xì)化天氣預(yù)報(bào)專業(yè)氣象應(yīng)用研究和成果轉(zhuǎn)化環(huán)境交通水文海洋

地基探測(cè)

天基探測(cè)

空基探測(cè)綜合觀測(cè)基礎(chǔ)預(yù)報(bào)預(yù)測(cè)核心公共服務(wù)根本行業(yè)綜述：氣象服務(wù)體系數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)2.區(qū)域模式3.精細(xì)模式1.全球模式4770km3500km3000km1000km水平分辨率60公里預(yù)報(bào)時(shí)效未來十天區(qū)域范圍全球水平分辨率20公里預(yù)報(bào)時(shí)效未來2天區(qū)域范圍93～1230E

20～450N水平分辨率5公里預(yù)報(bào)時(shí)效未來2天區(qū)域范圍115～1200E37～420N數(shù)值預(yù)報(bào)的業(yè)務(wù)分工國家級(jí)數(shù)值預(yù)報(bào)業(yè)務(wù)區(qū)域中心數(shù)值預(yù)報(bào)業(yè)務(wù)省級(jí)數(shù)值預(yù)報(bào)業(yè)務(wù)全球中期數(shù)值天氣預(yù)報(bào)5~10公里分辨率區(qū)域數(shù)值天氣預(yù)報(bào)1~3公里分辨率的區(qū)域精細(xì)數(shù)值天氣預(yù)報(bào)數(shù)值天氣預(yù)報(bào)產(chǎn)品解釋和應(yīng)用行業(yè)綜述氣象部門是國內(nèi)各政府部門中最早進(jìn)行信息化建設(shè)的部門，對(duì)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的需求和依賴強(qiáng)烈，核心業(yè)務(wù)也是依托信息化技術(shù)建設(shè)。氣象、水利、地震、地質(zhì)、海洋這些部門的技術(shù)需求有非常類似的特征，都是通過各種采集設(shè)備如地面站、衛(wèi)星、放空氣球、浮標(biāo)、雷達(dá)、探針等獲取地球自然數(shù)據(jù)，預(yù)測(cè)和分析自然現(xiàn)象。具有數(shù)據(jù)量大，維度相對(duì)固定，區(qū)域特征明顯，計(jì)算復(fù)雜，數(shù)據(jù)有強(qiáng)烈的科學(xué)規(guī)律等特點(diǎn)。各級(jí)氣象局的部門和業(yè)務(wù)相對(duì)統(tǒng)一，但是因?yàn)榈貐^(qū)氣象特征不同，不同地區(qū)的氣象部門對(duì)氣象業(yè)務(wù)的需求也不一樣（比如沿海地區(qū)關(guān)注臺(tái)風(fēng)的預(yù)報(bào)，內(nèi)地和關(guān)注寒流的預(yù)警等）行業(yè)綜述氣象局組織結(jié)構(gòu)和業(yè)務(wù)訴求國家氣象局氣象中心氣候中心衛(wèi)星中心信息中心公共服務(wù)中心氣象科學(xué)研究院海量衛(wèi)星數(shù)據(jù)存儲(chǔ)氣象數(shù)據(jù)業(yè)務(wù)公眾服務(wù)中短期氣象預(yù)報(bào)長期氣象預(yù)測(cè)氣象信息化建設(shè)管理氣象信息化建設(shè)的關(guān)鍵需求管理基礎(chǔ)資源池（計(jì)算、存儲(chǔ)）高效統(tǒng)一數(shù)據(jù)環(huán)境數(shù)據(jù)加工流水線業(yè)務(wù)系統(tǒng)集約整合挖掘氣象數(shù)據(jù)服務(wù)價(jià)值2級(jí)架構(gòu)的1+31混合云氣象部門的核心業(yè)務(wù)系統(tǒng)CIMISS：統(tǒng)一數(shù)據(jù)存儲(chǔ)系統(tǒng)CIMISS氣象中心：

交互式預(yù)報(bào)系統(tǒng)MICAPS（國家局）/SWIFT（廣東局）/各地方氣象預(yù)報(bào)系統(tǒng)

氣象模式預(yù)報(bào)高性能計(jì)算系統(tǒng)氣候中心：

氣候信息處理與分析系統(tǒng)（CIPAS）

災(zāi)害天氣短時(shí)臨近預(yù)報(bào)系統(tǒng)（SWAN）衛(wèi)星中心： SWAP(衛(wèi)星天氣應(yīng)用平臺(tái)) SMART(衛(wèi)星監(jiān)測(cè)分析與遙感應(yīng)用軟件系統(tǒng))可擴(kuò)展性容量、服務(wù)性能可擴(kuò)展可靠性穩(wěn)定、容錯(cuò)、安全性能高并發(fā)低延時(shí)CIMISS需要云數(shù)據(jù)和存儲(chǔ)產(chǎn)品存儲(chǔ)關(guān)系數(shù)據(jù)庫表格存儲(chǔ)NOSQL文件存儲(chǔ)（NAS）塊存儲(chǔ)（云盤）緩存Redis對(duì)象存儲(chǔ)分布式數(shù)據(jù)庫DRDS氣象業(yè)務(wù)系統(tǒng)面臨的數(shù)據(jù)存儲(chǔ)挑戰(zhàn)系統(tǒng)MICAPS后臺(tái)集中式存儲(chǔ)，使用DataService接口訪問格點(diǎn)數(shù)據(jù)調(diào)用底層接口采用獲取最新，讀取數(shù)據(jù)，上翻數(shù)據(jù)，下翻數(shù)據(jù)，不夠靈活數(shù)據(jù)傳輸量比較大時(shí)，延遲導(dǎo)致體驗(yàn)差SWIFT異步獲取CIMISS數(shù)據(jù)，分鐘級(jí)別更新使用NetCDF的精確讀取，本地緩存數(shù)據(jù)，延遲低由于IO發(fā)生在本地磁盤，高并發(fā)下會(huì)導(dǎo)致性能下降數(shù)據(jù)站點(diǎn)數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中多維條件查詢比較多大范圍查詢耗時(shí)較長格點(diǎn)數(shù)據(jù)存儲(chǔ)在文件或者Cassandra中文件的讀取方式太慢，體驗(yàn)差Cassandra方案中，長時(shí)間序列的讀取性能值得擔(dān)憂基于云存儲(chǔ)產(chǎn)品的應(yīng)對(duì)策略格點(diǎn)數(shù)據(jù)采用表格存儲(chǔ)（TableStore），使用切分與壓縮相結(jié)合的方式大幅提高性能。格點(diǎn)數(shù)據(jù)提供類NetCDF的訪問模式，精度讀取數(shù)據(jù)。站點(diǎn)數(shù)據(jù)短期業(yè)務(wù)系統(tǒng)采用RDS模式，獲取低延遲與高并發(fā)吞吐能力。長時(shí)間的站點(diǎn)數(shù)據(jù)導(dǎo)入到ADS，進(jìn)行后臺(tái)分析。低延遲的提供大數(shù)據(jù)量篩選和排序基于云技術(shù)的氣象數(shù)據(jù)存儲(chǔ)和訪問架構(gòu)格點(diǎn)數(shù)據(jù)管理與服務(wù)的整體架構(gòu)格點(diǎn)數(shù)據(jù)氣象應(yīng)用Docker模版數(shù)據(jù)發(fā)現(xiàn)精確讀取批量下載數(shù)據(jù)提交氣象微應(yīng)用計(jì)算源數(shù)據(jù)管理冷熱調(diào)度氣象應(yīng)用氣象數(shù)據(jù)管理界面表格存儲(chǔ)TableStore混合存儲(chǔ)(溫?cái)?shù)據(jù))對(duì)象存儲(chǔ)OSS(冷數(shù)據(jù))格點(diǎn)數(shù)據(jù)分發(fā)與轉(zhuǎn)換表格存儲(chǔ)TableStoreSSD(熱數(shù)據(jù))數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)控制可管理高性能高可用高可靠表格存儲(chǔ):切分與壓縮相結(jié)合的方式提高性能主鍵一主鍵二主鍵三屬性列(數(shù)據(jù))屬性列(屬性信息)氣象要素與日期timelevel對(duì)應(yīng)level、time下的二維數(shù)據(jù)(有壓縮)每一維度的長度、原數(shù)據(jù)大小等屬性信息Grid_0_0Grid_0_65Grid_0_130...Grid_0_585Grid_49_0Grid_49_65Grid_49_130...Grid_49_585...............Grid_441_0Grid_441_65Grid_441_130...Grid_441_585壓縮數(shù)據(jù)適合讀取某一特定時(shí)間（或某段特定時(shí)間），某一特定高度（或某些特定高度）的全部格點(diǎn)數(shù)據(jù)，壓縮可以減小50%