工程項(xiàng)目管理作業(yè)-氣象

基于消息驅(qū)動(dòng)的氣象圖形產(chǎn)品加工系統(tǒng)（（第一作者：王慕華，從事GIS及遙感技術(shù)在公共氣象服務(wù)領(lǐng)域內(nèi)的應(yīng)用。wangmuhua@）（通訊作者：唐衛(wèi)，從事公共氣象服務(wù)系統(tǒng)開(kāi)發(fā)關(guān)鍵技術(shù)研究，及氣象大數(shù)據(jù)技術(shù)的研究與應(yīng)用。tangw@）基金項(xiàng)目：公益性行業(yè)（氣象）科研專項(xiàng)（GYHY201406029）王慕華唐衛(wèi)豐德恩渠寒花王闊音鹿業(yè)濤（中國(guó)氣象局公共氣象服務(wù)中心，北京，100081）摘要：高質(zhì)量的氣象圖形產(chǎn)品是融媒體時(shí)代氣象信息服務(wù)的重要載體。本文綜合運(yùn)用并行計(jì)算和大數(shù)據(jù)等技術(shù)，構(gòu)建消息驅(qū)動(dòng)的氣象圖形產(chǎn)品加工系統(tǒng)（WeatherStudio）。分析了公共氣象服務(wù)圖形產(chǎn)品加工共性問(wèn)題，探討了基于消息驅(qū)動(dòng)的產(chǎn)品加工系統(tǒng)的優(yōu)勢(shì)，設(shè)計(jì)了基于消息驅(qū)動(dòng)和定時(shí)驅(qū)動(dòng)相融合的氣象圖形產(chǎn)品加工系統(tǒng)的框架和功能,并以高速公路交通氣象災(zāi)害風(fēng)險(xiǎn)預(yù)警業(yè)務(wù)為應(yīng)用實(shí)例進(jìn)行驗(yàn)證，顯示出了其較好的應(yīng)用前景。關(guān)鍵詞：氣象圖形；產(chǎn)品加工；消息驅(qū)動(dòng)TheMessageDrivenMakingSystemofMeteorologicalGraphicProductsWangMuhuaTangWeiFengDeenQuHanhuaWangKuoyinLuYetao（PublicMeteorologicalServiceCenterofCMA，100081）Abstract:Thehighqualityofmeteorologicalgraphicproductsisimportantespeciallyforthepublicmeteorologicalservice(PMS)inthetimingofmediaconvergence.Basedonthetechniquesofparallelcomputingandbigdata,messagedrivenmakingsystemofmeteorologicalgraphicproductswasdeveloped,namelyWeatherStudio.AfteranalyzingthecommonproblemsofmakinggraphicalproductsforPMS,itdiscussedtheadvantageofthemessagedrivenproductmakingsystem.AndthenitfocusedontheoverallinstructureofWeatherStudiobasedonthemessageandtimingdirventechniquesanddescribedthemainfunctionsindetail.TheapplicationofWeatherStudioinexpresswaymeteorologicaldisasterriskearlywarningserviceshowsitsgoodapplicationprospect.Keywords:Meteorologicalgraphic;Makingproduct;Messagedriven引言氣象圖形產(chǎn)品是融媒體時(shí)代氣象信息服務(wù)的重要載體，國(guó)內(nèi)外氣象部門(mén)已建設(shè)了適用于不同應(yīng)用場(chǎng)景的氣象圖形產(chǎn)品加工系統(tǒng)。國(guó)際上，美國(guó)馬里蘭大學(xué)開(kāi)發(fā)的GrADS、美國(guó)國(guó)家大氣研究中心的NCAR繪圖軟件（趙連偉，2000，劉旭林，2009），是美國(guó)大氣科學(xué)研究和業(yè)務(wù)工作通用的計(jì)算機(jī)繪圖工具,具有較強(qiáng)的專業(yè)性，但在三維圖形支持(張秀麗等，2002)和本地漢化方面（喬春貴等，2007）存在不足。美國(guó)TheWeatherCompany公司開(kāi)發(fā)的WeatherCentral軟件針對(duì)影視圖形圖像產(chǎn)品制作，具有較強(qiáng)的產(chǎn)品渲染能力和較好的可視化效果，并針對(duì)部分氣象業(yè)務(wù)場(chǎng)景實(shí)現(xiàn)了產(chǎn)品的多樣化制作功能（洪萍等，2014）。國(guó)內(nèi)而言，國(guó)家氣象中心研發(fā)的MICAPS（氣象信息綜合處理系統(tǒng)）（李月安等，2010）和MESIS（吳煥萍,

2010，吳林林等，2013，呂終亮等，2012，鄭衛(wèi)江等，2015），實(shí)現(xiàn)了多種氣象標(biāo)準(zhǔn)格式數(shù)據(jù)的交互分析、可視化和預(yù)報(bào)制作，并且以氣象預(yù)報(bào)業(yè)務(wù)邏輯為驅(qū)動(dòng)，專業(yè)性較強(qiáng)、自動(dòng)化程度較高；張振濤等人研發(fā)的基于天氣事件的公共氣象服務(wù)產(chǎn)品制作系統(tǒng)（張振濤等，2014），以天氣熱點(diǎn)事件為驅(qū)動(dòng)，依托GIS組件、計(jì)算機(jī)圖形學(xué)等技術(shù)開(kāi)展產(chǎn)品的交互式加工。上述系統(tǒng)在公共氣象服務(wù)發(fā)展前期發(fā)揮了重要作用，但面對(duì)新的服務(wù)需求，在性能、質(zhì)量和效率上又略顯不足。公共氣象服務(wù)對(duì)象多，包括公眾、決策和專業(yè)用戶；服務(wù)渠道多樣，既包括影視傳統(tǒng)媒體，又包括手機(jī)、網(wǎng)站、微博、微信等新媒體；服務(wù)領(lǐng)域廣，包括交通（公路、鐵路、航空）、森林草原火險(xiǎn)、能源電力、海洋等；服務(wù)時(shí)效高，從分鐘級(jí)到小時(shí)級(jí)的氣象服務(wù)產(chǎn)品；圖形質(zhì)量要求高，融媒體及專業(yè)服務(wù)產(chǎn)品，對(duì)產(chǎn)品的表現(xiàn)形式及質(zhì)量都有不同的要求。為了適應(yīng)新時(shí)代對(duì)氣象圖形產(chǎn)品的自動(dòng)化、個(gè)性化、高性能、高質(zhì)量、多源數(shù)據(jù)融合的要求，急需建立新一代高性能氣象服務(wù)圖形產(chǎn)品加工系統(tǒng)。1基于消息和定時(shí)驅(qū)動(dòng)融合的圖形產(chǎn)品加工技術(shù)1.1基于Kafka的分布式消息傳統(tǒng)的圖形產(chǎn)品加工多基于定時(shí)運(yùn)行的工作模式，多采用Ftp作為數(shù)據(jù)傳輸手段和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)和文件系統(tǒng)作為存儲(chǔ)介質(zhì)，效率較低，在面對(duì)分鐘級(jí)的雷達(dá)數(shù)據(jù)及新一代靜止衛(wèi)星數(shù)據(jù)加工時(shí)，無(wú)法滿足客戶對(duì)數(shù)據(jù)和產(chǎn)品實(shí)時(shí)性的要求。同時(shí)，傳統(tǒng)的單機(jī)、單線程系統(tǒng)架構(gòu)在性能、吞吐量和容錯(cuò)性等方面都存在缺陷，無(wú)法適應(yīng)海量氣象服務(wù)產(chǎn)品的加工需求。而基于消息的分布式系統(tǒng)具有解耦性、擴(kuò)展性、冗余性、高時(shí)效性和異步通信能力等優(yōu)點(diǎn)被廣泛應(yīng)用在準(zhǔn)實(shí)時(shí)性數(shù)據(jù)業(yè)務(wù)中。ApacheKafka（ApacheKafka，2016）是一種分布式的，基于發(fā)布/訂閱機(jī)制的消息系統(tǒng)，具有可水平擴(kuò)展、高吞吐率和實(shí)時(shí)性而被廣泛使用。一個(gè)簡(jiǎn)單的Kafka消息系統(tǒng)（圖1）包括三部分，消息的發(fā)布者稱作生產(chǎn)者（Producer），消息的訂閱者稱作消費(fèi)者（Consumer），中間的存儲(chǔ)陣列稱作代理者（Broker）。生產(chǎn)者將數(shù)據(jù)生產(chǎn)出來(lái)，推送（Push）給代理者進(jìn)行存儲(chǔ)，消費(fèi)者需要消費(fèi)數(shù)據(jù)時(shí)，就從代理者中拉?。≒ull）數(shù)據(jù)，然后完成一系列對(duì)數(shù)據(jù)的處理。圖1簡(jiǎn)單的Kafka消息系統(tǒng)Fig.1SimplestructureofKafkamessagesystem基于Kafka的消息驅(qū)動(dòng)氣象圖形產(chǎn)品加工技術(shù)框架如圖2所示。多源數(shù)據(jù)集（Laps、OCF、MinCast等）作為生產(chǎn)者生成消息日志文件；Zookeeper作為分布式應(yīng)用程序協(xié)調(diào)服務(wù)，通過(guò)設(shè)置Zookeeper心跳，實(shí)時(shí)采集日志內(nèi)容生成約定的Kafka集群的消息類別（Topic）并加入發(fā)送隊(duì)列，消息由生產(chǎn)者主動(dòng)推送給代理者。三臺(tái)代理服務(wù)器組成的Kakfa集群對(duì)不同消息進(jìn)行接收和分布式存儲(chǔ)管理。系統(tǒng)通過(guò)配置Laps、OCF、MinCast各產(chǎn)品加工任務(wù)相對(duì)應(yīng)的消息類別，從代理拉取相應(yīng)消息，進(jìn)行加工任務(wù)參數(shù)解譯和任務(wù)調(diào)度，從而完成消息驅(qū)動(dòng)的產(chǎn)品加工任務(wù)。圖2基于Kafka的消息驅(qū)動(dòng)產(chǎn)品加工技術(shù)Fig.2Message-drivenproductmakingtechniquebasedonKafka1.2定時(shí)驅(qū)動(dòng)的產(chǎn)品加工技術(shù)由于歷史原因，很多已有的系統(tǒng)和數(shù)據(jù)源都沒(méi)有基于消息的分布式架構(gòu)實(shí)現(xiàn)，為了對(duì)接這些數(shù)據(jù)源和系統(tǒng)，采用定時(shí)驅(qū)動(dòng)相補(bǔ)充的方式來(lái)設(shè)計(jì)圖形產(chǎn)品加工系統(tǒng)。Quartz（QUARTZ，2017）是Java編寫(xiě)的開(kāi)源作業(yè)調(diào)度框架，具有支持對(duì)應(yīng)時(shí)間點(diǎn)和精確定義時(shí)間點(diǎn)兩種方式的任務(wù)觸發(fā)機(jī)制，支持集群部署及多種錯(cuò)誤處理形式（如任務(wù)執(zhí)行錯(cuò)誤后下次不執(zhí)行、馬上重新執(zhí)行、下次繼續(xù)執(zhí)行等），支持多種任務(wù)漏觸發(fā)處理（如關(guān)機(jī)漏觸發(fā)、數(shù)據(jù)源未到漏觸發(fā)等）等特點(diǎn)，在解決多源、多時(shí)效的氣象服務(wù)產(chǎn)品定時(shí)加工任務(wù)時(shí)具有優(yōu)勢(shì)。Quartz主要包含調(diào)度器監(jiān)聽(tīng)、作業(yè)及觸發(fā)器監(jiān)聽(tīng)三部分。通過(guò)重載監(jiān)聽(tīng)類中處理函數(shù)實(shí)現(xiàn)具體的定時(shí)作業(yè)調(diào)度服務(wù)。調(diào)度器為框架的核心，為確保可伸縮性，Quartz采用了基于多線程的架構(gòu)。Quartz依賴一個(gè)松耦合的線程池來(lái)管理部件及線程環(huán)境，每個(gè)對(duì)象根據(jù)業(yè)務(wù)需求都是可配置的?？蚣軉?dòng)后，調(diào)度器初始化一套工作線程，該線程被用來(lái)執(zhí)行已預(yù)定好的作業(yè)?；赒uartz的定時(shí)驅(qū)動(dòng)產(chǎn)品加工技術(shù)，用戶根據(jù)產(chǎn)品加工任務(wù)需求，在前臺(tái)設(shè)置產(chǎn)品加工運(yùn)行時(shí)間規(guī)律，經(jīng)分析形成各類產(chǎn)品加工任務(wù)調(diào)度時(shí)間表達(dá)式持久化到數(shù)據(jù)庫(kù)中。系統(tǒng)啟動(dòng)后，Quartz根據(jù)服務(wù)器資源情況，將調(diào)度器總線程數(shù)采用3:1的分配原則分配給實(shí)時(shí)業(yè)務(wù)調(diào)度器和錯(cuò)誤補(bǔ)做調(diào)度器。實(shí)時(shí)業(yè)務(wù)調(diào)度器讀取數(shù)據(jù)庫(kù)中的時(shí)間表達(dá)式，監(jiān)聽(tīng)剩余時(shí)間，當(dāng)調(diào)度程序監(jiān)聽(tīng)到剩余時(shí)間小于某一臨界范圍時(shí)，Quartz框架將啟動(dòng)具體產(chǎn)品加工調(diào)度類的作業(yè)函數(shù)傳入相應(yīng)的任務(wù)參數(shù)。如果作業(yè)失敗，將該任務(wù)加入錯(cuò)誤補(bǔ)做調(diào)度器線程池，根據(jù)預(yù)設(shè)的錯(cuò)誤補(bǔ)做時(shí)間間隔重新作業(yè)。如果配置的作業(yè)在隨后的運(yùn)行中再次被調(diào)用，Quartz框架將在預(yù)定的時(shí)間再次調(diào)用它。通過(guò)調(diào)用Quartz框架，便捷的實(shí)現(xiàn)了定時(shí)任務(wù)的觸發(fā)、數(shù)據(jù)源未到等原因?qū)е碌穆┯|發(fā)、錯(cuò)誤補(bǔ)做等復(fù)雜的業(yè)務(wù)邏輯，實(shí)現(xiàn)系統(tǒng)的穩(wěn)定運(yùn)行。2系統(tǒng)架構(gòu)和功能2.1系統(tǒng)架構(gòu)氣象圖形產(chǎn)品加工系統(tǒng)（WeatherStudio）要具有對(duì)海量氣象產(chǎn)品高效率的加工能力，尤其是針對(duì)分鐘級(jí)時(shí)間分辨率的產(chǎn)品，要求基于消息驅(qū)動(dòng)，秒級(jí)完成一張圖形產(chǎn)品的加工；另一方面，WeatherStudio還需具備高穩(wěn)定性系統(tǒng)架構(gòu)，特別是面向?qū)崟r(shí)直播類的產(chǎn)品加工任務(wù)，系統(tǒng)一旦發(fā)生故障，能夠快速恢復(fù)，從而保障業(yè)務(wù)穩(wěn)定運(yùn)行；第三，面對(duì)融媒體的個(gè)性化需求，如圖形風(fēng)格、標(biāo)題、圖例等，WeatherStudio需具有強(qiáng)大的制圖能力；最后，從公共氣象服務(wù)產(chǎn)品加工業(yè)務(wù)一體化設(shè)計(jì)的角度，WeatherStudio需具有先進(jìn)的、開(kāi)放式的技術(shù)架構(gòu)，能夠適應(yīng)服務(wù)需求的不斷變化，達(dá)到精準(zhǔn)化、按需氣象服務(wù)的目的。利用大數(shù)據(jù)分布式處理架構(gòu)，并分別從以下五個(gè)方面予以具體實(shí)現(xiàn)：=1\*GB3①、采用Kafka分布式消息系統(tǒng)，實(shí)現(xiàn)基于消息驅(qū)動(dòng)的任務(wù)觸發(fā)機(jī)制，達(dá)到每秒百萬(wàn)級(jí)別的數(shù)據(jù)處理能力，滿足分鐘級(jí)產(chǎn)品高性能加工的要求；=2\*GB3②、高效率體現(xiàn)在對(duì)產(chǎn)品加工服務(wù)的分層設(shè)計(jì)上，包括下層的原子服務(wù)層和上層的組合服務(wù)層。原子服務(wù)層由最小單元的業(yè)務(wù)邏輯封裝而成，組合服務(wù)層由原子服務(wù)通過(guò)標(biāo)準(zhǔn)接口，按照一定的業(yè)務(wù)流程編排而成，從而實(shí)現(xiàn)業(yè)務(wù)解耦，高效率響應(yīng)業(yè)務(wù)需求的目的。=3\*GB3③、通過(guò)對(duì)數(shù)據(jù)庫(kù)的讀寫(xiě)分離，Kafka集群、ArcGISServer服務(wù)集群（彭濤，2009）的構(gòu)建和全業(yè)務(wù)流程的日志監(jiān)控實(shí)現(xiàn)系統(tǒng)的高可用性。=4\*GB3④、通過(guò)消息和計(jì)劃任務(wù)調(diào)度管理器實(shí)現(xiàn)消息與定時(shí)驅(qū)動(dòng)的產(chǎn)品加工任務(wù)自動(dòng)化運(yùn)行。=5\*GB3⑤、通過(guò)地圖制圖技術(shù)，配置不同的產(chǎn)品加工模板，滿足高質(zhì)量和個(gè)性化的產(chǎn)品加工需求。從技術(shù)架構(gòu)上看，系統(tǒng)分為三層結(jié)構(gòu)，如下圖所示：圖3總體架構(gòu)圖Fig.3GeneralstructurediagramofWeatherStudio持久層采用關(guān)系型數(shù)據(jù)庫(kù)Oracle與HDFS分布式文件系統(tǒng)兩種方式實(shí)現(xiàn)原始數(shù)據(jù)與生成產(chǎn)品的存儲(chǔ)和管理。關(guān)系型數(shù)據(jù)庫(kù)用來(lái)存放離散點(diǎn)類氣象數(shù)據(jù)（任芝花等，2015）。對(duì)于網(wǎng)格點(diǎn)類氣象數(shù)據(jù)，由于具有時(shí)間、空間的多維特征，用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)很難表征氣象要素間的關(guān)系，且檢索效率低下。HDFS具有高容錯(cuò)、高可靠性、高擴(kuò)展性、高吞吐率等特征為海量數(shù)據(jù)存儲(chǔ)提供了可靠的持久化功能(徐海榮等，2015)，為氣象數(shù)值模式產(chǎn)品及雷達(dá)分鐘級(jí)降水產(chǎn)品等超大數(shù)據(jù)集的應(yīng)用處理帶來(lái)了便利。服務(wù)層通過(guò)標(biāo)準(zhǔn)服務(wù)接口實(shí)現(xiàn)與持久層和表現(xiàn)層的貫通。首先，通過(guò)構(gòu)建統(tǒng)一的空間氣象數(shù)據(jù)模型，對(duì)氣象數(shù)據(jù)類型進(jìn)行邏輯抽象，研發(fā)多種氣象數(shù)據(jù)解析組件服務(wù)（即原子服務(wù)），實(shí)現(xiàn)對(duì)不同類型數(shù)據(jù)的解析處理，包括：MICIAPS系統(tǒng)定義的多種數(shù)據(jù)格式，數(shù)據(jù)庫(kù)（Oracle、MySQL、Access等）格式，WebService或Restful數(shù)據(jù)接口服務(wù)格式，NetCDF、GRIB、HDF格點(diǎn)類數(shù)據(jù)集等，從而實(shí)現(xiàn)數(shù)據(jù)解析處理業(yè)務(wù)邏輯的服務(wù)化管理。根據(jù)不同的產(chǎn)品加工業(yè)務(wù)需求，還封裝了插值分析服務(wù)、制圖整飭服務(wù)、圖形生成服務(wù)等。組合服務(wù)分為兩類，一類是ArcGISGeoProcessing服務(wù)（簡(jiǎn)稱GP服務(wù)），即將多個(gè)原子服務(wù)通過(guò)ArcGISModelBuilder編排成流水線式氣象加工模型形成GP組合服務(wù)；另一類則是自主研發(fā)的WebService服務(wù)，遵從服務(wù)標(biāo)準(zhǔn)規(guī)范，跟開(kāi)發(fā)語(yǔ)言無(wú)關(guān)。原子服務(wù)和組合服務(wù)統(tǒng)一由ArcGISServer服務(wù)容器進(jìn)行注冊(cè)和管理，并針對(duì)不同的服務(wù)類型提供多種服務(wù)接口。任務(wù)調(diào)度方面，利用Quartz技術(shù)，構(gòu)建計(jì)劃任務(wù)調(diào)度器，實(shí)現(xiàn)定時(shí)任務(wù)請(qǐng)求的參數(shù)解析和任務(wù)調(diào)度。針對(duì)消息任務(wù)，采用Kafka消息發(fā)布訂閱機(jī)制啟動(dòng)消息任務(wù)線程執(zhí)行加工任務(wù)。實(shí)時(shí)監(jiān)控方面，綜合利用Zookeeper、Flume、Kafka等技術(shù)完成。實(shí)時(shí)業(yè)務(wù)通過(guò)Flume收集系統(tǒng)中各個(gè)任務(wù)的運(yùn)行日志，發(fā)送到Kafka日志總線中，并由系統(tǒng)中的監(jiān)控模塊分析處理Kafka中各個(gè)任務(wù)的日志信息，將每個(gè)任務(wù)的起止運(yùn)行時(shí)間、任務(wù)運(yùn)行狀態(tài)（正在運(yùn)行、運(yùn)行成功、運(yùn)行失?。?、失敗原因等信息進(jìn)行可視化展示，從而實(shí)現(xiàn)系統(tǒng)監(jiān)控的實(shí)時(shí)性與穩(wěn)定性。表現(xiàn)層與服務(wù)層間采用Ajax/Http方式和WebSocket方式進(jìn)行通信。表現(xiàn)層實(shí)現(xiàn)了計(jì)劃任務(wù)配置、消息任務(wù)配置、運(yùn)行監(jiān)控顯示等功能，采用主流的Html5技術(shù)，并借鑒JavaScript開(kāi)源框架，例如，AngularJS實(shí)現(xiàn)數(shù)據(jù)綁定功能，Bootcss實(shí)現(xiàn)組件樣式的定制，Highcharts進(jìn)行統(tǒng)計(jì)圖表的展現(xiàn)，以及JavaScriptUI實(shí)現(xiàn)前端界面的設(shè)計(jì)。2.2功能設(shè)計(jì)和實(shí)現(xiàn)從系統(tǒng)邏輯結(jié)構(gòu)上看，WeatherStudio分為兩部分：產(chǎn)品加工模型構(gòu)建部分和任務(wù)配置調(diào)度部分。其中，產(chǎn)品加工模型構(gòu)建部分由可擴(kuò)充組件庫(kù)、加工服務(wù)裝配、服務(wù)注冊(cè)發(fā)布三部分組成，針對(duì)每一類產(chǎn)品的加工需求，通過(guò)工作流引擎構(gòu)建一套產(chǎn)品加工模型；任務(wù)配置調(diào)度部分由定時(shí)驅(qū)動(dòng)加工任務(wù)、消息驅(qū)動(dòng)加工任務(wù)以及業(yè)務(wù)監(jiān)控三部分組成，一方面通過(guò)用戶界面實(shí)現(xiàn)加工任務(wù)參數(shù)的配置，另一方面由統(tǒng)一的任務(wù)調(diào)度器實(shí)現(xiàn)加工任務(wù)的并行有序開(kāi)展。功能結(jié)構(gòu)圖如下所示：圖4WeatherStudio功能結(jié)構(gòu)圖Fig.4FunctionstructurediagramofWeatherStudio=1\*GB3①可擴(kuò)充模型組件庫(kù)，根據(jù)氣象圖形產(chǎn)品加工業(yè)務(wù)邏輯，將數(shù)據(jù)接入、數(shù)據(jù)分析、制圖整飭、產(chǎn)品生成四個(gè)環(huán)節(jié)進(jìn)行業(yè)務(wù)抽象，封裝為模型組件，并根據(jù)模型組件標(biāo)準(zhǔn)，擴(kuò)展新的業(yè)務(wù)模型服務(wù)。=2\*GB3②加工模型裝配，將基于業(yè)界主流技術(shù)標(biāo)準(zhǔn)的業(yè)務(wù)模型組件，通過(guò)定義良好的接口和契約聯(lián)系起來(lái)，使業(yè)務(wù)人員通過(guò)簡(jiǎn)單拖拽等操作實(shí)現(xiàn)加工流程的設(shè)計(jì)與編排。=3\*GB3③服務(wù)注冊(cè)發(fā)布，將模型組件進(jìn)行注冊(cè)，實(shí)現(xiàn)對(duì)產(chǎn)品加工模型和數(shù)據(jù)源的發(fā)布和管理，對(duì)產(chǎn)品加工制作服務(wù)連接池中的模型服務(wù)以SOAP服務(wù)和REST服務(wù)的形式提供調(diào)用。=4\*GB3④定時(shí)驅(qū)動(dòng)加工任務(wù)，將定常性的加工任務(wù)，通過(guò)參數(shù)化的配置，實(shí)現(xiàn)基于定時(shí)任務(wù)的觸發(fā)加工模式。=5\*GB3⑤消息驅(qū)動(dòng)加工任務(wù)，基于ApacheKafka消息系統(tǒng)，對(duì)高時(shí)效性的加工任務(wù)，采用消息發(fā)布訂閱機(jī)制進(jìn)行任務(wù)調(diào)度，實(shí)現(xiàn)基于消息的高效產(chǎn)品加工模式。=6\*GB3⑥全業(yè)務(wù)流程監(jiān)控，包括定時(shí)任務(wù)和消息任務(wù)的啟動(dòng)、暫停、執(zhí)行、結(jié)束等環(huán)節(jié)的監(jiān)控，以及數(shù)據(jù)庫(kù)、數(shù)據(jù)文件、產(chǎn)品分發(fā)的監(jiān)控，從而實(shí)現(xiàn)全業(yè)務(wù)流程的監(jiān)控。3業(yè)務(wù)應(yīng)用實(shí)例利用WeatherStudio對(duì)高速公路大風(fēng)、低能見(jiàn)度和強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品進(jìn)行自動(dòng)化加工（焦圣明等，2017），結(jié)果表明，系統(tǒng)的性能有了明顯的提高。下面以強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)產(chǎn)品的加工為例，分別從原子組件服務(wù)、產(chǎn)品加工模型、任務(wù)執(zhí)行時(shí)間三個(gè)方面進(jìn)行具體說(shuō)明。表1從數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)分析、制圖整飭和產(chǎn)品生成五個(gè)環(huán)節(jié)，分析高速公路強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品主要應(yīng)用的原子組件服務(wù)，并詳細(xì)說(shuō)明了組件的功能。表1高速公路強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品原子組件服務(wù)Table1Expresswayhighprecipitationdisasterriskearlywarningproductatomiccomponentservice序號(hào)流程環(huán)節(jié)原子組件服務(wù)說(shuō)明1數(shù)據(jù)接入Micaps數(shù)據(jù)解析將Micaps數(shù)據(jù)解析為矢量數(shù)據(jù)2數(shù)據(jù)處理數(shù)據(jù)篩選異常值排除柵矢轉(zhuǎn)換柵格數(shù)據(jù)轉(zhuǎn)換為矢量數(shù)據(jù)屬性刪除刪除不必要的屬性信息3數(shù)據(jù)分析反距離權(quán)重插值將氣象離散點(diǎn)插值生成柵格曲面分類根據(jù)產(chǎn)品分級(jí)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行分類處理柵格計(jì)算器利用柵格計(jì)算器編輯強(qiáng)降雨風(fēng)險(xiǎn)預(yù)警模型公式疊加分析對(duì)數(shù)據(jù)源進(jìn)行空間裁剪和空間疊加操作屬性操作對(duì)氣象要素屬性信息進(jìn)行計(jì)算操作4制圖整飭更新地圖模板地圖模板里定義了產(chǎn)品的背景圖片、標(biāo)題、圖例、地圖符號(hào)等樣式，將氣象產(chǎn)品作為專題圖層疊加到地圖模板上。5產(chǎn)品生成生成JPEG設(shè)置圖形的分辨率、圖幅大小高速公路強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品加工模型（圖5）的構(gòu)建思路如下：利用Micaps數(shù)據(jù)解析組件讀取強(qiáng)降雨預(yù)報(bào)數(shù)據(jù)，通過(guò)空間裁剪提取研究區(qū)域的數(shù)據(jù)，并排除奇異點(diǎn)值，對(duì)離散點(diǎn)數(shù)據(jù)進(jìn)行反距離權(quán)重插值生成柵格數(shù)據(jù)類型，按照產(chǎn)品分級(jí)標(biāo)準(zhǔn)對(duì)數(shù)值進(jìn)行危險(xiǎn)性分類，得到多值背景柵格數(shù)據(jù)，根據(jù)歷史10年的統(tǒng)計(jì)資料，建立強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)數(shù)學(xué)模型，通過(guò)柵格計(jì)算器組件實(shí)現(xiàn)數(shù)學(xué)模型的編輯，并利用屬性操作組件刪除不必要的屬性信息。至此，數(shù)據(jù)接入、數(shù)據(jù)處理和數(shù)據(jù)分析的工作已經(jīng)完成，后面針對(duì)產(chǎn)品的表現(xiàn)形式和輸出利用更新地圖模板和生成JPEG兩個(gè)組件完成。圖5高速公路強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品加工模型Figure5.Expresshighprecipitationdisasterriskearlywarningproductmodel利用WeatherStudio對(duì)高速公路強(qiáng)降雨災(zāi)害風(fēng)險(xiǎn)預(yù)警產(chǎn)品進(jìn)行自動(dòng)化加工，圖6給出了2016年9月10-20日期間該產(chǎn)品的加工任務(wù)運(yùn)行時(shí)間統(tǒng)計(jì)結(jié)果，最短耗時(shí)在48秒，最長(zhǎng)耗時(shí)在54秒，與傳統(tǒng)的單機(jī)加工模式對(duì)比，效率提高了3倍以上。除此之外，WeatherStudio支持并行調(diào)度策略，在多個(gè)任務(wù)并發(fā)執(zhí)行時(shí)性能更具有明顯的優(yōu)勢(shì)。圖6任務(wù)執(zhí)行時(shí)間統(tǒng)計(jì)對(duì)比Fig.6Thecomparisonoftaskexecutiontimestatistics4結(jié)論 基于消息驅(qū)動(dòng)的氣象圖形產(chǎn)品加工系統(tǒng)，在充分吸納MESIS軟件產(chǎn)品優(yōu)勢(shì)的基礎(chǔ)上，采用消息及分布式技術(shù)，滿足了公共氣象服務(wù)圖形產(chǎn)品加工效率、質(zhì)量、個(gè)性化等多方面的需求，在近一年的業(yè)務(wù)試運(yùn)行過(guò)程中，表現(xiàn)出了良好的應(yīng)用前景。但也存在一些不足，主要表現(xiàn)在：=1\*GB3①基于時(shí)間序列的動(dòng)畫(huà)產(chǎn)品加工功能尚不具備，在天氣過(guò)程性氣象服務(wù)表示時(shí)支撐不夠；=2\*GB3②大數(shù)據(jù)分析方法研發(fā)與集成較少，面向多源氣象數(shù)據(jù)的融合分析彰顯不足；=3\*GB3③氣象大數(shù)據(jù)可視化圖表類產(chǎn)品還未涉獵。參考文獻(xiàn)：洪萍，姚立峰，俞卡莉，等,

2014.浙江氣象，WeatherCentral系統(tǒng)在電視氣象節(jié)目中的應(yīng)用分析.\o"《浙江氣象》"浙江氣象,

35（1）:20-22.焦圣明，鄭媛媛，王宏斌，等，2017.災(zāi)害性天氣個(gè)例庫(kù)智能分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].氣象，43（3）：355-364.劉旭林，趙文芳，2009.氣象觀測(cè)數(shù)據(jù)等值線自動(dòng)繪制系統(tǒng)[J].氣象,

35（4）:102-107李月安，曹莉，高嵩，等，2010.Micaps預(yù)報(bào)業(yè)務(wù)平臺(tái)現(xiàn)狀與發(fā)展[J].氣象,

36（7）:50-55.呂終亮，羅兵，吳煥萍，等，2012.Mesis信息檢索及可視化產(chǎn)品制作平臺(tái)實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),

23（5）:631-637.吳煥萍,

2010.GIS技術(shù)在氣象領(lǐng)域中的應(yīng)用[J].氣象,

36（3）:90-100.彭濤，2009.基于ArcGISServer的城市公眾地理信息服務(wù)系統(tǒng)研究[D].贛州:江西理工大學(xué)：1