科學(xué)工作流kepler及其應(yīng)用

1、科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流kepler及其應(yīng)用 周園春、林小光、程潔周園春、林小光、程潔黃剛、王鵬飛、屈俠黃剛、王鵬飛、屈俠 2008-10-28科學(xué)工作流kepler及其應(yīng)用背景工作流概述科學(xué)工作流系統(tǒng)簡介Kepler系統(tǒng)及其應(yīng)用基于Web的科學(xué)工作流目錄科學(xué)工作流kepler及其應(yīng)用背景背景海量科學(xué)數(shù)據(jù)l數(shù)字化技術(shù)和無處不在的網(wǎng)絡(luò)發(fā)展推動(dòng)了數(shù)據(jù)的收集、產(chǎn)生、共享、與分析。l科學(xué)數(shù)據(jù)規(guī)模越來越龐大，科學(xué)實(shí)驗(yàn)過程也越來越復(fù)雜。l科學(xué)與工程研究日益成為數(shù)據(jù)密集型的工作。 科學(xué)工作流kepler及其應(yīng)用背景背景超級計(jì)算環(huán)境l與觀察實(shí)驗(yàn)、理論分析鼎足而立的科學(xué)計(jì)算已成為e-Scienc

2、e的核心。l現(xiàn)今很多交叉和前沿學(xué)科的研究越來越需要高性能計(jì)算，如大氣科學(xué)計(jì)算、生命科學(xué)計(jì)算、湍流計(jì)算、分子模擬等。l由于這些研究所需的數(shù)據(jù)資源和計(jì)算資源非常龐大，目前各研究機(jī)構(gòu)很難為這些科研需求提供足夠的資源，導(dǎo)致了很多研究無法往前推進(jìn)。 科學(xué)工作流kepler及其應(yīng)用背景背景科學(xué)密集型實(shí)驗(yàn)迭代的科學(xué)數(shù)據(jù)處理流程源數(shù)據(jù)獲取Web服務(wù)、SRB、數(shù)據(jù)輸入數(shù)據(jù)預(yù)處理數(shù)據(jù)運(yùn)算數(shù)據(jù)分析數(shù)據(jù)挖掘結(jié)果輸出結(jié)果數(shù)據(jù)集可視化圖片等科學(xué)工作流kepler及其應(yīng)用背景背景動(dòng)態(tài)的科學(xué)邏輯處理過程l雖然數(shù)據(jù)密集型科學(xué)問題的求解過程也遵循一定的基本流程，但是整個(gè)過程中的諸多細(xì)節(jié)卻是動(dòng)態(tài)的、不確定的，科學(xué)實(shí)驗(yàn)流程的定義往往

3、是不完整的，在執(zhí)行過程中也需要根據(jù)實(shí)驗(yàn)流程的運(yùn)行態(tài)勢做出動(dòng)態(tài)修改?？茖W(xué)工作流kepler及其應(yīng)用工作流概述工作流概述商業(yè)工作流l工作流的概念起源于辦公自動(dòng)化領(lǐng)域。它所關(guān)注的問題是處理過程的自動(dòng)化，它根據(jù)一系列定義的規(guī)則，把文檔、信息或任務(wù)在參與者之間傳遞，以達(dá)到某種目的。 l工作流管理聯(lián)盟（WfMC）對工作流的定義：一類能夠完全或者部分自動(dòng)執(zhí)行的經(jīng)營過程，根據(jù)一系列過程規(guī)則、文檔、信息或任務(wù)能夠在不同的執(zhí)行者之間傳遞、執(zhí)行。科學(xué)工作流kepler及其應(yīng)用工作流概述工作流概述商業(yè)工作流l經(jīng)營過程的一個(gè)計(jì)算機(jī)實(shí)現(xiàn)。l工作流管理軟件（WfMS）是一個(gè)軟件系統(tǒng)。用以完成工作流的定義和管理，并按照在計(jì)算

4、機(jī)中預(yù)先定義好的工作流邏輯推進(jìn)工作流實(shí)例的執(zhí)行。運(yùn)行在一個(gè)或多個(gè)工作流引擎上。與工作流執(zhí)行者交互，推進(jìn)工作流實(shí)例的執(zhí)行，并監(jiān)控工作流的運(yùn)行狀態(tài)。科學(xué)工作流kepler及其應(yīng)用工作流概述工作流概述科學(xué)工作流l2O世紀(jì)9O年代，隨著問題求解環(huán)境(PSE)在科學(xué)研究活動(dòng)中的應(yīng)用，科學(xué)工作流和科學(xué)工作流管理被引入到科學(xué)問題求解環(huán)境中。l科學(xué)工作流就是采用工作流的思想，用來描述和控制科學(xué)實(shí)驗(yàn)和過程的執(zhí)行，它是面向e-Science，服務(wù)于科學(xué)家，使得科學(xué)家能夠更容易的分析和管理科學(xué)數(shù)據(jù)?？茖W(xué)工作流kepler及其應(yīng)用工作流概述工作流概述科學(xué)工作流l科學(xué)工作流是獲取科學(xué)數(shù)據(jù)獲取科學(xué)數(shù)據(jù)（包括傳感器數(shù)據(jù)、醫(yī)

5、學(xué)影像、衛(wèi)星圖像、仿真輸出、各類觀測數(shù)據(jù)等等），并對所獲取到的數(shù)據(jù)執(zhí)行復(fù)雜分析執(zhí)行復(fù)雜分析的靈活的工具。 l目的在于組合組合一個(gè)廣闊領(lǐng)域的應(yīng)用程序，從實(shí)驗(yàn)的設(shè)計(jì)、執(zhí)行、監(jiān)控到歸檔，以及使得實(shí)驗(yàn)數(shù)據(jù)重用等的管理和分析流水線化。 科學(xué)工作流kepler及其應(yīng)用工作流概述工作流概述科學(xué)工作流lStreaming/pipelined executionlHighly data-centriclCompute-intensivelAnalysis-intensive lVisualization-intensivelInterconnection between multiple tools科學(xué)工作流k

6、epler及其應(yīng)用工作流概述工作流概述商業(yè)工作流 VS. 科學(xué)工作流l科學(xué)工作流面向數(shù)據(jù)量，以數(shù)據(jù)驅(qū)動(dòng)l商業(yè)工作流面向控制流，事務(wù)驅(qū)動(dòng)actor namedata (state)portsInput dataparameters Output dataWhat flows through an object is streams of datacallreturnclass namedatamethodsWhat flows through an object is sequential control科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流系統(tǒng)介紹科學(xué)工作流系統(tǒng)介紹國際上比較成熟的科學(xué)工作流

7、系統(tǒng)：l學(xué)術(shù)領(lǐng)域的：KeplerTavernaTrianal商業(yè)性質(zhì)的：DiscoveryNetPipeline-PilotLabView科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流系統(tǒng)介紹科學(xué)工作流系統(tǒng)介紹KeplerlOpen-Source，Javal圣地亞哥超算中心l地學(xué)、生物信息學(xué)、化學(xué)等科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流系統(tǒng)介紹科學(xué)工作流系統(tǒng)介紹TavernalOpen-source，JavalOMII-UK l生物信息學(xué)科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流系統(tǒng)介紹科學(xué)工作流系統(tǒng)介紹TrianalOpen-Source，JavalCardiff University, UKl信

8、號(hào)、文本、圖片處理科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流系統(tǒng)介紹科學(xué)工作流系統(tǒng)介紹商業(yè)性質(zhì)科學(xué)工作流科學(xué)工作流kepler及其應(yīng)用科學(xué)工作流系統(tǒng)介紹科學(xué)工作流系統(tǒng)介紹國內(nèi)相關(guān)研究現(xiàn)狀l目前，國內(nèi)在科學(xué)工作流領(lǐng)域的研究尚處于起步階段。l許多具體領(lǐng)域的研究機(jī)構(gòu)已經(jīng)開始著手使用國際上成熟的科學(xué)工作流系統(tǒng)（如Kepler等）進(jìn)行涉及科學(xué)數(shù)據(jù)處理的大規(guī)模復(fù)雜科學(xué)實(shí)驗(yàn)。l一些大學(xué)及研究所也開始對科學(xué)工作流系統(tǒng)進(jìn)行了針對性研究，比如武漢大學(xué)軟件工程國家重點(diǎn)實(shí)驗(yàn)室、南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室等。科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)Kepler允許科學(xué)家設(shè)計(jì)科學(xué)工作流，并使用基于網(wǎng)格

9、的分布式計(jì)算方法執(zhí)行這些工作流。Kepler是用于科學(xué)數(shù)據(jù)分析與建模的軟件應(yīng)用程序。Kepler使用一個(gè)可視化展現(xiàn)（科學(xué)工作流模型，用以展示離散分析和建模組件之間的數(shù)據(jù)流），使得創(chuàng)建可執(zhí)行模型的過程簡單化。 科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)Kepler用戶即使沒有計(jì)算機(jī)科學(xué)背景，也可以使用標(biāo)準(zhǔn)組件來生成工作流，或者修改現(xiàn)有的工作流模型以滿足需要。Kepler集成了一些通用數(shù)據(jù)分析及可視化軟件，如Matlab、R等，為領(lǐng)域科學(xué)家提供了方便。高級用戶也能從Kepler提供的大量優(yōu)良特性獲益，特別是當(dāng)使用一個(gè)方便理解地以及容易分享的方式呈現(xiàn)一個(gè)復(fù)雜程序和分析。 科學(xué)工作流keple

10、r及其應(yīng)用Kepler系統(tǒng)系統(tǒng)Kepler構(gòu)建于另一個(gè)開源可視化建模系統(tǒng)PtolemyII之上，為科學(xué)家提供了一個(gè)方便易用的工作平臺(tái)。Kepler是一個(gè)用戶友好的程序，允許科學(xué)家通過簡單地拖拉、連接一些特定的組件，建立滿足條件的科學(xué)工作流，而不用手工整合大量的軟件程序，也不用借助于計(jì)算機(jī)程序員的協(xié)助。 科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)Ptolemy系統(tǒng)由UC Berkeley大學(xué)開發(fā)，用于研究并發(fā)、實(shí)時(shí)以及嵌入式系統(tǒng)的建模、仿真和設(shè)計(jì)。Kepler系統(tǒng)很好地繼承和發(fā)展了Ptolemy面向角色建模的特性，并加入了大量新特性，用于支持科學(xué)工作流。主要體現(xiàn)在對科學(xué)數(shù)據(jù)的獲取、處理。

11、科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)術(shù)語術(shù)語l角色（actor）：執(zhí)行一系列復(fù)雜操作的組件，是SWF中處理科學(xué)數(shù)據(jù)的實(shí)體。l參數(shù)（parameter）：角色可配置的值。l端口（port）：角色間供相互連接的通道，有輸入端口和輸出端口。l連接（relation）：用于連接角色的端口，是數(shù)據(jù)傳遞的通道?？茖W(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)DirectorActorActorActorPortPortThe Director controls the sequence of actorexecution. Each actor takes data on itsinput p

12、orts, processes that data, and sendresults its output ports.Component TabWorkflow Display PanelSearchable Component List科學(xué)工作流kepler及其應(yīng)用An actor fires, placing the resulting data in acontainer called a token. The data token thenflows from the output port to the input port of connected actors.Data Tok

13、enData TokenBegin workflowexecution buttonActors transform input tokens into output datatokens which then get passed to the next actorunder control of the director.科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)在用Kepler/PtolemyII構(gòu)建的科學(xué)工作流中，獨(dú)立處理具體任務(wù)的組件實(shí)體被稱為“actor”?！癮ctor”之間通信的接口是“port”，有input port和output port兩種。actor使用“par

14、ameter”來配置和定制相關(guān)的行為。actor之間通過“channel”相互連接?？茖W(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)類型定義良好的面向角色工作流模型Define a workflow: W = lA: a set of ActorslD: a set of connectionsl: i/o-signature of WlM: a director (model of computation)l: a set of constraints科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)“director”指定了模型執(zhí)行的語義，定義了actor如何執(zhí)行，以及相互之間如何通信。

15、用戶定制好的工作流模型，包括一個(gè)特定領(lǐng)域的“director”，以及至少一個(gè)“actor”。工作流執(zhí)行的時(shí)候，“director”控制數(shù)據(jù)在“actor”中的流動(dòng)，按照定制好的流程，調(diào)度部署每個(gè)“actor”的迭代執(zhí)行。科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)在Kepler/PtolemyII系統(tǒng)中，定制好的科學(xué)工作流模型以XML文件形式存儲(chǔ)，該XML文件滿足MoML（Modeling Markup Language）XML模式要求。MoML使用DTD（文檔類型定義）定義。 科學(xué)工作流kepler及其應(yīng)用Kepler系統(tǒng)系統(tǒng)Contributors for Kepler科學(xué)工作流ke

16、pler及其應(yīng)用基于基于web的科學(xué)工作流系統(tǒng)的科學(xué)工作流系統(tǒng)該系統(tǒng)擬提供給用戶（具體領(lǐng)域研究人員）一個(gè)基于web的簡單易用的工具，用于對數(shù)據(jù)密集型科學(xué)實(shí)驗(yàn)的全過程。該方案使用Web服務(wù)、SRB、FTP等多種方式獲取研究所需要的科學(xué)數(shù)據(jù)，并通過實(shí)現(xiàn)在web瀏覽器上的VML/SVG可視化操作界面，定制滿足需求的工作流實(shí)例，提交給后臺(tái)Kepler/PtolemyII工作流引擎服務(wù)器，經(jīng)過對所獲取的數(shù)據(jù)調(diào)用科學(xué)數(shù)據(jù)專有的處理軟件（包括NCL、Matlab、CDO等）進(jìn)行分析計(jì)算，最終得到所需要的可視化結(jié)果或是將結(jié)果數(shù)據(jù)反饋給用戶。 科學(xué)工作流kepler及其應(yīng)用基于工作流的科學(xué)數(shù)據(jù)分析平臺(tái)分布式數(shù)據(jù)

17、分布式數(shù)據(jù)算法模型算法模型個(gè)性化的個(gè)性化的Web空間空間1)數(shù)據(jù)分析流程可視化定制2)數(shù)據(jù)和算法的管理 模型選擇數(shù)據(jù)資源定位工作流的計(jì)算數(shù)據(jù)和模型的結(jié)合計(jì)算結(jié)果返回應(yīng)用結(jié)果流程定制模型和數(shù)據(jù)管理根據(jù)結(jié)果評價(jià)根據(jù)結(jié)果評價(jià)不斷迭代不斷迭代科研人員科研人員模型管理數(shù)據(jù)管理科學(xué)工作流kepler及其應(yīng)用基于基于web的科學(xué)工作流系統(tǒng)的科學(xué)工作流系統(tǒng)體系架構(gòu)圖科學(xué)工作流kepler及其應(yīng)用數(shù)據(jù)資源層l完成對物理資源及分布式資源（大規(guī)模科學(xué)數(shù)據(jù)，如IPCC、NCAR等）的存取。l算法模型庫簡單算法：加、減、乘、除等復(fù)雜操作：統(tǒng)計(jì)、聚類分析等 l高性能計(jì)算環(huán)境基于基于web的科學(xué)工作流系統(tǒng)的科學(xué)工作流系統(tǒng)科

18、學(xué)工作流kepler及其應(yīng)用工作流引擎及中間件層l提供一個(gè)穩(wěn)定的工作流引擎 ，并支持資源、引擎、web等之間的通信。l使用Kepler：管理actor的分類信息；處理工作流實(shí)例的運(yùn)行；動(dòng)態(tài)添加算法模型（actor）。 基于基于web的科學(xué)工作流系統(tǒng)的科學(xué)工作流系統(tǒng)科學(xué)工作流kepler及其應(yīng)用Web接口層l提供給用戶一個(gè)設(shè)計(jì)良好、方便易用的接口，以組裝、查看、執(zhí)行、管理工作流實(shí)例。l提供給用于一個(gè)一站式服務(wù)的web環(huán)境，從數(shù)據(jù)資源獲取、結(jié)果數(shù)據(jù)反饋、用戶信息管理、及其它服務(wù)。l使用Ajax等web技術(shù)開發(fā)?；诨趙eb的科學(xué)工作流系統(tǒng)的科學(xué)工作流系統(tǒng)科學(xué)工作流kepler及其應(yīng)用數(shù)據(jù)數(shù)據(jù)Data manage