氣象數(shù)據(jù)一體化平臺(tái)設(shè)計(jì)方案

1、項(xiàng)目編號(hào)：RJ氣象數(shù)據(jù)一體化信息服務(wù)平臺(tái)設(shè)計(jì)方案2016年1月南京助事達(dá)軟件科技有限公司1概述31、背景與預(yù)期3。1、2 建設(shè)內(nèi)容42設(shè)計(jì)方案、52、仏系統(tǒng)架構(gòu)5。2、1、1、平臺(tái)總體架構(gòu)圖52、1、2、。數(shù)據(jù)流概覽62、2分布式解析引擎62、2、1、。分布式解析引擎概述62、2、2、。分布式解析設(shè)計(jì)架構(gòu)。72、3氣象分布式數(shù)據(jù)庫(kù)設(shè)計(jì)122、3、1、。氣象一體化平臺(tái)分布式數(shù)據(jù)庫(kù)設(shè)計(jì)概述J 22、3、2、分 布 式 數(shù) 據(jù) 庫(kù) 設(shè) if 架 構(gòu)1 52、4氣象資料云服務(wù)引擎1。72、4、1、。應(yīng)用授權(quán)機(jī)制172、4、2、授權(quán)認(rèn)證機(jī)制172、4、3、。服務(wù)請(qǐng)求基礎(chǔ)參數(shù)體系建立172、5。服務(wù)版本管

2、理體系建立18。2、5、1版本管理設(shè)計(jì)18,2、5、2、建 立 服 務(wù)API幫 助 文 檔18仏概述1.1背景與預(yù)期針對(duì)以往基礎(chǔ)數(shù)據(jù)庫(kù)建設(shè)分散、標(biāo)準(zhǔn)不統(tǒng)一、服務(wù)能力差等問(wèn)題, 按照“系統(tǒng)集成，數(shù)據(jù)集中，資源集約，功能完善，突出特色”得思路, 經(jīng)過(guò)兩年半得努力，依托江蘇預(yù)報(bào)業(yè)務(wù)一體化平臺(tái)項(xiàng)目建設(shè),初步建 成全省統(tǒng)一得基礎(chǔ)數(shù)據(jù)環(huán)境，有效提高了信息資源得利用率與數(shù)據(jù)服 務(wù)能力，為本省率先實(shí)現(xiàn)氣象現(xiàn)代化提供了有力支撐。信息中心在全省氣象信息業(yè)務(wù)建設(shè)得基礎(chǔ)上，先后出臺(tái)幾十項(xiàng)標(biāo) 準(zhǔn)或規(guī)范，為一體化體系提供標(biāo)準(zhǔn)支撐,完善了我省氣象信息得標(biāo)準(zhǔn) 規(guī)范體系;優(yōu)化數(shù)據(jù)傳輸流程，時(shí)效性可靠性提升顯著，省內(nèi)區(qū)域自 動(dòng)站

3、可實(shí)現(xiàn)60秒內(nèi)、雷達(dá)數(shù)據(jù)8分鐘之內(nèi)、省際共享上海市區(qū)域自 動(dòng)站100秒內(nèi)到達(dá)預(yù)報(bào)員桌而；通過(guò)“軟C AS T”同步機(jī)制,省市間 數(shù)據(jù)實(shí)現(xiàn)了秒級(jí)流轉(zhuǎn);完成了自動(dòng)站、土壤水份、精細(xì)化等50多類數(shù) 據(jù)得解析入庫(kù)，數(shù)據(jù)解析得種類與覆蓋范圍在不斷擴(kuò)充，確保了數(shù)據(jù) 得完整性、一致性。架設(shè)全省云平臺(tái)實(shí)現(xiàn)硬件資源得統(tǒng)一管理與分配, 達(dá)到資源集約化、應(yīng)用多樣化得目標(biāo)。為進(jìn)一步提高與增強(qiáng)氣象數(shù)據(jù)服務(wù)能力，科學(xué)準(zhǔn)確得做好數(shù)據(jù)服 務(wù)工作，結(jié)合前期預(yù)報(bào)業(yè)務(wù)一體化平臺(tái)使用與市縣推廣應(yīng)用情況，在 氣象數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)應(yīng)用方面，提出諸多改進(jìn)措施與方案, 旨在不斷得提高氣象數(shù)據(jù)服務(wù)能力與質(zhì)量。1.2建設(shè)內(nèi)容根據(jù)江蘇氣象

4、現(xiàn)代化發(fā)展得需求,在現(xiàn)有工作基礎(chǔ)上，進(jìn)一步完 善全省基礎(chǔ)資源配置與管理，開(kāi)展智能化、個(gè)性化得基礎(chǔ)數(shù)據(jù)環(huán)境信 息服務(wù)平臺(tái)得設(shè)計(jì)與開(kāi)發(fā),繼續(xù)優(yōu)化各類基礎(chǔ)資料得收集處理流程， 做好統(tǒng)一數(shù)據(jù)環(huán)境在市縣得推廣應(yīng)用，著手開(kāi)展適合木省得實(shí)時(shí)質(zhì)量 控制方法研究與質(zhì)控系統(tǒng)得設(shè)計(jì)與開(kāi)發(fā)工作,提高數(shù)據(jù)服務(wù)質(zhì)量。通 過(guò)建立團(tuán)隊(duì)協(xié)作機(jī)制，聯(lián)合進(jìn)行數(shù)據(jù)處理與信息技術(shù)應(yīng)用開(kāi)發(fā)，建立 數(shù)據(jù)規(guī)范;完成實(shí)時(shí)/歷史數(shù)據(jù)庫(kù)設(shè)計(jì)、解碼與入庫(kù)。2設(shè)計(jì)方案仁3系統(tǒng)架構(gòu)1.1丄平臺(tái)總體架構(gòu)圖訪問(wèn)層 PC.移動(dòng)設(shè)備表現(xiàn)層- 云服務(wù)分布式解析管理云存儲(chǔ)管理統(tǒng)一的規(guī)范標(biāo)準(zhǔn)r分布式處理氣象數(shù)據(jù)云云存儲(chǔ)管理駕駛艙應(yīng)用層云解析服務(wù)云解析引擎 報(bào)文解析組

5、件云存儲(chǔ)引華核心服務(wù)接口 分布式服務(wù)俎件 云服務(wù)適配器 云服務(wù)解秤器省市雙向同步 數(shù)據(jù)同步管理 數(shù)據(jù)定制同步 數(shù)據(jù)補(bǔ)調(diào)同步監(jiān)控及統(tǒng)計(jì)設(shè)備監(jiān)控 任務(wù)監(jiān)控 極值預(yù)警監(jiān)控 數(shù)據(jù)質(zhì)址監(jiān)控用戶及權(quán)限系統(tǒng)管理安全的保障體系數(shù)據(jù)層CB F 核心數(shù)據(jù)支撐庫(kù)業(yè)務(wù)數(shù)據(jù)支撐庫(kù)業(yè)務(wù)邏輯函數(shù)庫(kù)支撐層云解析引擎分布式檢索引擊 云存儲(chǔ)引擎 云適配引舉操作系統(tǒng)圖表1平臺(tái)總體架構(gòu)圖1丄2 數(shù)據(jù)流概覽分布式解析月艮務(wù)(0ktrilute Distributed Client Stack Data Index Struct數(shù)挹同步服務(wù)分布式數(shù)抽嬪哲SS(IX)HMS)全局?jǐn)?shù)挹結(jié)構(gòu)視找電理(5JMS全誘數(shù)錨査訓(xùn)分析器數(shù)拒推送股務(wù)數(shù)垢

6、陽(yáng)戶及權(quán)限己埋全局?jǐn)?shù)據(jù)字典(GDI)云存儲(chǔ)接LI分布弍解忻引堡一體化決務(wù)平臺(tái)U散據(jù)場(chǎng)地詢陀(LDBMSData Query Servic-eM Data Save ServiceData Node K T、j/Data Query Standard Libl)a:a Save Standard Lib圖表6分布式數(shù)據(jù)庫(kù)總體設(shè)計(jì)方案分布式數(shù)據(jù)庫(kù)得核心模塊分為:分布式數(shù)據(jù)庫(kù)通訊服務(wù)(CM)、分布式數(shù)據(jù)庫(kù)管理器(DDBMS)、云存儲(chǔ)接口(Cl oud Data API) D a ta Client Data Query St a n dard Lib 與 D a ta S ave S t an d

7、ard Lib。分布式數(shù)據(jù)庫(kù)通訊服務(wù):負(fù)責(zé)在分布式數(shù)據(jù)庫(kù)得各場(chǎng)地之間傳送全局對(duì)象、消息與數(shù)據(jù),核心得全局對(duì)象就是分布式數(shù)據(jù)索引對(duì)象(Da t a IndexStruc t),每個(gè)分布式客戶端上線后將自動(dòng)注冊(cè)到分布式數(shù)據(jù)庫(kù)通訊 服務(wù)，通訊服務(wù)自動(dòng)將其加入到Distr i bu t e d Cli e nt Stack中，同時(shí) 根據(jù)客戶端報(bào)送得數(shù)據(jù)節(jié)點(diǎn)名稱,服務(wù)自動(dòng)為其初始化局部數(shù)據(jù)庫(kù)數(shù) 據(jù)索引對(duì)象，并將關(guān)鍵索引存儲(chǔ)為H a sh T a ble得k e y- v al u e模 式。并為其訂閱全局?jǐn)?shù)據(jù)檢索與數(shù)據(jù)保存事件等，當(dāng)有數(shù)據(jù)檢索請(qǐng)求 時(shí)，服務(wù)通過(guò)并行化編程技術(shù)使所有分布式客戶端同時(shí)處理此事

8、件, 當(dāng)某個(gè)分布式客戶端處理發(fā)現(xiàn)本地索引中無(wú)相關(guān)key或不滿足其數(shù) 據(jù)分片條件時(shí)則直接退出響應(yīng)。如果相關(guān)條件都在其索引范圍內(nèi)，則 進(jìn)行本地化數(shù)據(jù)查詢操作，并將結(jié)果以Da t a Set得形式返回至事件 源。所有并行流程執(zhí)行完成后事件源將DataSet集反饋給查詢者。分布式數(shù)據(jù)庫(kù)管理系統(tǒng)（DDBMS）：分布式數(shù)據(jù)庫(kù)管理系統(tǒng)主要用于仁6氣象資料云服務(wù)引擎1丄7應(yīng)用授權(quán)機(jī)制即每一個(gè)接入服務(wù)得應(yīng)用都需要申請(qǐng)一個(gè)Ap p Key,此Key對(duì)應(yīng) 著一套數(shù)據(jù)訪問(wèn)授權(quán)，同時(shí)記錄應(yīng)用名稱、開(kāi)發(fā)者、軟件功能等信息。1.1.8授權(quán)認(rèn)證機(jī)制即所有服務(wù)請(qǐng)求都必須提交App Key,請(qǐng)求得數(shù)據(jù)訪問(wèn)權(quán)限都 必須在此App

9、Key得權(quán)限框架下。所有數(shù)據(jù)請(qǐng)求到達(dá)服務(wù)器端后進(jìn)入統(tǒng)一得認(rèn)證通道，認(rèn)證通過(guò)后 服務(wù)通過(guò)相關(guān)得請(qǐng)求參數(shù)反饋相應(yīng)得數(shù)據(jù)，否則提示應(yīng)用請(qǐng)求認(rèn)證失 敗。1.1.9服務(wù)請(qǐng)求基礎(chǔ)參數(shù)體系建立為規(guī)范化管理，每一個(gè)服務(wù)請(qǐng)求應(yīng)能夠包含部分基礎(chǔ)請(qǐng)求參數(shù)， 如區(qū)域來(lái)源（如地區(qū)標(biāo)記）、資料類型、返回值類型（JSON、XML、其 她格式文件）、等。仁7服務(wù)版本管理體系建立為保障服務(wù)得可擴(kuò)展性以及服務(wù)得兼容性，必須建立完善得版木 管理體系。1.1.10. 版本管理設(shè)計(jì)為保障后期服務(wù)功能得升級(jí)不會(huì)影響前期得使用，每一個(gè)服務(wù)得 升級(jí)都對(duì)應(yīng)一個(gè)不同得版本號(hào)。升級(jí)后得服務(wù)與升級(jí)前得服務(wù)都可以 獨(dú)立運(yùn)行。并通過(guò)統(tǒng)一服務(wù)管理查詢界面可以查詢到每一個(gè)服務(wù)各個(gè) 版木間升級(jí)得變化以及各個(gè)版木調(diào)用得參數(shù)列表。1.1.11. 建立服務(wù)API幫助文檔數(shù)據(jù)服務(wù)以REST架構(gòu)為核心,REST得請(qǐng)求一般分為兩種，即:G ET 與 POSTo使用get模式得請(qǐng)求僅需要定義完整得請(qǐng)求參數(shù)，使用者根據(jù) 參數(shù)得描述建立相應(yīng)