并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討

1、并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討內(nèi)容大綱n并行計(jì)算技術(shù)n集群及相關(guān)技術(shù)n網(wǎng)格計(jì)算如何滿足不斷增長的計(jì)算力需求？n用速度更快的硬件，也就是減少每一條指令所需時(shí)間n優(yōu)化算法（或者優(yōu)化編譯）n用多個(gè)處理機(jī)用多個(gè)處理機(jī)(器器)同時(shí)解決一個(gè)問題同時(shí)解決一個(gè)問題q并行計(jì)算并行計(jì)算串行計(jì)算與并行計(jì)算并行的層次n程序級并行n子程序級并行n語句級并行n操作級并行n微操作級并行并行粒度粗細(xì)共享內(nèi)存與分布式內(nèi)存P=處理器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備PMPPMPMS局部共享內(nèi)存SPMPPMPNodeNode實(shí)現(xiàn)并行計(jì)算的常見方法n1、多線程程序n2、基于OpenMP的并行程序n3、基于消息傳遞的并行程序qP

2、VMqMPIXPVMXPVM并行計(jì)算環(huán)境簡介nPVP（Parallel Vector Processor）q使用專用向量處理器q銀河I，CrayT90，NEC的地球模擬器。nSMP（Symmetric Multiprocessor）q同一主板上多個(gè)處理器可以等同訪問共享存儲(chǔ)器、I/O設(shè)備和操作系統(tǒng)服務(wù)qIBM RS6000。nClusterq由很多連接在一起的獨(dú)立計(jì)算機(jī)組成，像一個(gè)單獨(dú)的集成的計(jì)算機(jī)一樣協(xié)同工作q集群的節(jié)點(diǎn)可以是SMP（或者PVP）qCluster1350，藍(lán)色基因。在虛擬天文臺(tái)中的應(yīng)用情形n處理實(shí)時(shí)性要求很高的大量觀測數(shù)據(jù)n觀測數(shù)據(jù)的并行可視化處理n并行數(shù)據(jù)挖掘n并行數(shù)據(jù)服務(wù)

3、提供n。集群技術(shù)n集群概念最早由IBM于20世紀(jì)60年代提出n集群一般由高速網(wǎng)絡(luò)連接起來的高性能工作站或PC機(jī)組成。集群在工作中像一個(gè)統(tǒng)一的整合資源，所有節(jié)點(diǎn)使用單一界面。集群 Not a Cluster Cluster集群計(jì)算系統(tǒng)體系結(jié)構(gòu)集群相關(guān)技術(shù)n網(wǎng)絡(luò)層q網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號技術(shù)等。 n節(jié)點(diǎn)機(jī)及操作系統(tǒng)層q高性能PC或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。 n集群系統(tǒng)管理層q資源管理、資源調(diào)度、負(fù)載平衡、并行I/O、安全等。 n應(yīng)用層q并行程序開發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。Cluster1350nCluster1350是IBM公司目標(biāo)定位于高性能計(jì)算市場的Linux集群，包括一

4、套完整的解決方案，集成了眾多IBM與非IBM的先進(jìn)的軟硬件技術(shù)，有其特有的技術(shù)優(yōu)勢與強(qiáng)大的服務(wù)支持。Cluster1350邏輯結(jié)構(gòu)Cluster1350節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心）n管理節(jié)點(diǎn)qIBM eServer xSeries 345 (1)n計(jì)算節(jié)點(diǎn)qIBM eServer xSeries 335 (16)n網(wǎng)絡(luò)q千兆以太網(wǎng)n操作系統(tǒng)qRed Hat Linux 7.3CSM（Cluster System Management）nCSM是IBM公司開發(fā)，專門用于集群系統(tǒng)管理的中間件，在Cluster1350解決方案集成。qCSM的設(shè)計(jì)思想與體系結(jié)構(gòu)來自PSSP (IBM

5、 Parallel System Support Programs for AIX)與其它一些開源的集群管理軟件。還有一些中間件及技術(shù)，雖然不直接為用戶服務(wù)，但構(gòu)成了CSM的不可或缺的基礎(chǔ)，包括RMC、SRC、RSCT等。CSMCluster1350系統(tǒng)管理n整個(gè)集群由單一結(jié)點(diǎn)控制q所有結(jié)點(diǎn)的n開機(jī)、關(guān)機(jī)、狀態(tài)查詢n顯示遠(yuǎn)程控制臺(tái)n安裝操作系統(tǒng)n升級(安裝)各結(jié)點(diǎn)系統(tǒng)及應(yīng)用軟件n。q一個(gè)完整的集群只需一套外置輸入/輸出設(shè)備(鍵盤、鼠標(biāo)、顯示器)Linux 集群上可用的任務(wù)調(diào)度系統(tǒng)nMosix（Multicomputer Operating System for UnIX ）q可以自動(dòng)完成節(jié)點(diǎn)間

6、進(jìn)程遷移q需要重新編譯Linux內(nèi)核q對用戶來說是透明的nPBS（Portable Batch System）q由NASA的Ames研究中心開發(fā) q為了達(dá)到集群系統(tǒng)整體上的負(fù)載平衡，對各個(gè)節(jié)點(diǎn)上的任務(wù)進(jìn)行調(diào)度，但不進(jìn)行節(jié)點(diǎn)間任務(wù)遷移q不需要重新編譯內(nèi)核集群上的應(yīng)用程序（計(jì)算）開發(fā)n適于開發(fā)基于消息傳遞的并行應(yīng)用程序q可以使用PVM/MPIn步驟：q配置并行計(jì)算的編譯與運(yùn)行環(huán)境n主要是rsh/sshq設(shè)計(jì)、編寫、編譯程序n使用PVM/MPI提供的程序庫及編譯環(huán)境q部署應(yīng)用程序nftp、rcp、scp、CSM、NFS、GPFS等方式q運(yùn)行程序配置高可用集群n最大程度地減少服務(wù)中斷，而不是容錯(cuò)。qH

7、earbeatqLVS（Linux Virtual Sever）qIBM 的 Tivoli 和 WebSphere 系列軟件qHeartbeat 集群LVS集群集群在虛擬天文臺(tái)中的角色n高性能計(jì)算q構(gòu)成虛擬天文臺(tái)網(wǎng)格環(huán)境中強(qiáng)有力的計(jì)算資源n高可用服務(wù)q在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計(jì)算、調(diào)度等服務(wù)網(wǎng)格計(jì)算 “Resource sharing & coordinated problem solving in dynamic, multi-institutional virtual organizations”O(jiān)n Demand理想的網(wǎng)格理想的網(wǎng)格InternetStorage Ele

8、mentComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3InternetStorage ElementComputingElementWorker NodeUser InterfaceReplica Ca

9、talog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3InternetStorage ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexC

10、ertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3InternetStorage ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTB

11、ED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3InternetStorage ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3網(wǎng)格計(jì)算環(huán)境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridS