上海超級(jí)計(jì)算中心三期-作業(yè)調(diào)度系統(tǒng)軟件事項(xiàng)需求書

期--作業(yè)調(diào)度系統(tǒng)軟件項(xiàng)目需求書上海超級(jí)計(jì)算中心三期配套工程項(xiàng)目是引進(jìn)峰值速度為200Tflops的高效能可信計(jì)算培訓(xùn)等內(nèi)容，并繼續(xù)承擔(dān)國(guó)家863網(wǎng)格主結(jié)點(diǎn)建設(shè)任務(wù)。求所采購(gòu)作業(yè)調(diào)度系統(tǒng)，其配置滿足如下指標(biāo)要求：(一)基本指標(biāo)(1)安裝要求：可在上海超級(jí)計(jì)算中心三期200T主機(jī)系統(tǒng)全機(jī)范圍內(nèi)調(diào)度所有計(jì)算資源。(2)高可靠性：具有大規(guī)模集群商業(yè)系統(tǒng)可靠運(yùn)營(yíng)的成功案例，在國(guó)內(nèi)具有可靠運(yùn)營(yíng)的功案例(3)作業(yè)運(yùn)行正確性：在大規(guī)模集群的并行作業(yè)運(yùn)行環(huán)境中，作業(yè)調(diào)度和運(yùn)行正確性達(dá)(4)高可擴(kuò)展性：?jiǎn)我粰C(jī)群具有可管理5000個(gè)以上節(jié)點(diǎn)、10000個(gè)以上CPU的能力；并行運(yùn)行(5)良好的可操作性：可支持系統(tǒng)管理員根據(jù)實(shí)際需求變化，在線動(dòng)態(tài)調(diào)整系統(tǒng)配置參響作業(yè)運(yùn)行和用戶使用，同時(shí)確保作業(yè)運(yùn)行統(tǒng)計(jì)準(zhǔn)確性(6)多集群管理能力：可以同時(shí)在同一作業(yè)管理系統(tǒng)下管理多個(gè)物理或邏輯分割的集群集群間根據(jù)條件自動(dòng)遷移(7)統(tǒng)一的系統(tǒng)級(jí)管理平臺(tái)：提供系統(tǒng)監(jiān)控、計(jì)費(fèi)、作業(yè)調(diào)度等功能的統(tǒng)一管理平臺(tái)，web多個(gè)集群(8)Linux及windows混合機(jī)群的支持：具備統(tǒng)一管理單一機(jī)群中的WINDOWS服務(wù)CPU應(yīng)用程序在多路多核CPU可自動(dòng)擴(kuò)展調(diào)度策略處理(10)作業(yè)控制能力：可對(duì)作業(yè)的運(yùn)行時(shí)間、CPU時(shí)間、內(nèi)存大小、數(shù)據(jù)區(qū)大小、CPU文件大小等進(jìn)行設(shè)置和控制(11)支持并行文件系統(tǒng)，并可根據(jù)并行文件系統(tǒng)的技術(shù)架構(gòu)特點(diǎn)靈活部署：支持如(12)WebPortal開(kāi)發(fā)支持：支持二次開(kāi)發(fā)與用戶自行開(kāi)發(fā)，可根據(jù)用戶需求進(jìn)行二次開(kāi)發(fā)(13)基于XWindows的交互式圖形支持：提供基于XWindows的交互式作業(yè)的提交和且具有實(shí)際成熟客戶案例(14)動(dòng)態(tài)服務(wù)器(即無(wú)須重啟服務(wù))：支持服務(wù)器對(duì)調(diào)度規(guī)則的手工、自動(dòng)移出或者加服務(wù)或配置，操作不影響實(shí)際業(yè)務(wù)運(yùn)行(15)支持網(wǎng)格計(jì)算環(huán)境，如863國(guó)家網(wǎng)格環(huán)境的Globus網(wǎng)格計(jì)算平臺(tái)：支持主流網(wǎng)格計(jì)算平臺(tái)，提供詳細(xì)技術(shù)規(guī)范要求。(16)支持同構(gòu)、異構(gòu)機(jī)群系統(tǒng)互相提交作業(yè)：支持在同一的機(jī)群內(nèi)具有不同的操作系統(tǒng)相反。(17)與主機(jī)廠商建立良好合作關(guān)系；(18)支持并提供與如下系統(tǒng)軟件及商業(yè)應(yīng)用軟件的集成接口：NASTRAN、ISIGHT、PATRAN、PAM-CRASH、Analysis等(二)調(diào)度策略指標(biāo)進(jìn)行單獨(dú)控制，包括：(1)先來(lái)先服務(wù)FCFS：最基本、常用調(diào)度策略，可配置成單一的調(diào)度策略。(2)公平調(diào)度及份額控制Fairshare：對(duì)主機(jī)資源進(jìn)行公平競(jìng)爭(zhēng)。也可對(duì)用戶資源進(jìn)行一定的預(yù)分配，保證某些資源對(duì)特定用戶的需求。(3)搶占式調(diào)度Preemption：用戶按照不同的權(quán)限可進(jìn)行對(duì)主機(jī)資源的搶占式調(diào)度。尤其可采用搶占的計(jì)算資源來(lái)滿足特定需求(工程商業(yè)軟件)的用戶使用。(4)獨(dú)占式調(diào)度Exclusive：需支持(5)主機(jī)公平調(diào)度HostParation：需支持(6)資源預(yù)約調(diào)度ResourceReservation：需支持(7)高級(jí)處理器預(yù)約AdvanceReservation：需支持CPU存大小、數(shù)據(jù)區(qū)大小、CPU數(shù)量、文件大小等進(jìn)行控制。(三)軟件許可證管理指標(biāo)(1)許可證可預(yù)約：應(yīng)用程序啟動(dòng)前，可預(yù)約程序所需的許可證，避免互相沖突。(2)許可證搶占式調(diào)度：高優(yōu)先級(jí)的作業(yè)可搶占低優(yōu)先級(jí)作業(yè)正在使用的許可證。而低優(yōu)先級(jí)作業(yè)將被掛起直到有許可證可用為止。(3)許可證所有權(quán)控制：用戶可保留自己的許可證，確保需要時(shí)能立即獲得所需要的許可證。(4)使用份額控制：每個(gè)用戶可使用所分配的許可證份額。(四)統(tǒng)計(jì)報(bào)表分析指標(biāo)收集起來(lái)，通過(guò)數(shù)據(jù)庫(kù)管理，同時(shí)充分考慮所有數(shù)據(jù)的備份與容災(zāi)。 (1)、統(tǒng)計(jì)報(bào)表a)提供系統(tǒng)各種資源(CPU、內(nèi)存、許可證等)的全面使用情況統(tǒng)計(jì)報(bào)表b)對(duì)各種硬件性能(nice值)的統(tǒng)計(jì)c理:對(duì)每種報(bào)表，可規(guī)定用戶權(quán)限，只有滿足權(quán)限的用戶才能查看該報(bào)權(quán)限支持至少三級(jí)：系統(tǒng)管理員、主管領(lǐng)導(dǎo)、用戶 (2)、分析報(bào)表在商業(yè)軟件license昂貴的前提下，確保調(diào)度系統(tǒng)具有軟件許可證分析能力，確保使用合理化、最優(yōu)化，解決許可證的無(wú)效占用，獲得最大的投資回報(bào)。在提供各種分析報(bào)表的同時(shí)，系統(tǒng)支持分析報(bào)表定制。a包括峰值、平均值、利用率等情況：可按具體Feature統(tǒng)計(jì)的許可證統(tǒng)計(jì)使用情況，包括平均使用、峰值使用、平均利用率、峰值利用率和目b)許可證利用率峰值分析:可根據(jù)許可證利用率峰值排行榜分析。c)許可證拒絕分析：可根據(jù)許可證、服務(wù)器、用戶統(tǒng)計(jì)的許可證拒絕統(tǒng)計(jì)分析d按具體Feature統(tǒng)計(jì)的許可證使用情況e)按具體Feature統(tǒng)計(jì)的各用戶、部門使用情況f)按用戶統(tǒng)計(jì)的許可證使用情況a)基于機(jī)群的工作負(fù)載分析b)基于項(xiàng)目的工作負(fù)載分析c)基于用戶的工作負(fù)載分析d)基于主機(jī)的工作負(fù)載分析e)基于隊(duì)列的工作負(fù)載分析f)基于資源使用的負(fù)載分析g)用戶和項(xiàng)目的作業(yè)統(tǒng)計(jì)分析(五)計(jì)費(fèi)系統(tǒng)指標(biāo)的功能，同時(shí)具有靈活方便的管理賬單工具或者平臺(tái)，可以WEB界面方式進(jìn)行費(fèi)率設(shè)定相應(yīng)費(fèi)率，體現(xiàn)出不同的計(jì)算資源以及軟件的不同進(jìn)行收費(fèi)。所有計(jì)費(fèi)數(shù)據(jù)形成可定制報(bào)表，并以電子或紙質(zhì)方式輸出。a)以用戶使用計(jì)算資源進(jìn)行計(jì)費(fèi)b)以CPU時(shí)間進(jìn)行計(jì)費(fèi)c)以運(yùn)行時(shí)間進(jìn)行計(jì)費(fèi)d以CPU數(shù)目進(jìn)行計(jì)費(fèi)e)以作業(yè)隊(duì)列進(jìn)行計(jì)費(fèi)f)以存儲(chǔ)資源進(jìn)行計(jì)費(fèi)g)以商業(yè)軟件許可證資源進(jìn)行計(jì)費(fèi)(六)web管理平臺(tái)指標(biāo)基于WEB技術(shù)所提供的易用性，為系統(tǒng)管理員及用戶提供可視化的、統(tǒng)一的web管理平臺(tái)以及訪問(wèn)接口，同時(shí)根據(jù)要求進(jìn)行不同的用戶授權(quán)。 (1)、系統(tǒng)管理員遠(yuǎn)程管理和控制理員提供主機(jī)系統(tǒng)的web遠(yuǎn)程管理和控制：a)系統(tǒng)監(jiān)控：包括整個(gè)機(jī)群運(yùn)行狀況實(shí)時(shí)監(jiān)視以及單個(gè)計(jì)算節(jié)點(diǎn)的實(shí)時(shí)監(jiān)視。b)用戶管理：可對(duì)用戶信息，權(quán)限等以及所使用的主機(jī)資源進(jìn)行管理。c)隊(duì)列管理：可對(duì)隊(duì)列資源進(jìn)行管理d作業(yè)管理：用戶作業(yè)的在線監(jiān)視、查詢，殺除、監(jiān)控等e)節(jié)點(diǎn)管理：支持對(duì)節(jié)點(diǎn)的狀態(tài)等監(jiān)測(cè)及配置f)軟件管理：支持對(duì)軟件集成的配置、調(diào)整等g監(jiān)視和管理：通過(guò)WEB方式實(shí)時(shí)監(jiān)視各商業(yè)軟件許可證的使點(diǎn)。h)計(jì)算資源使用統(tǒng)計(jì)分析：i軟件許可證使用統(tǒng)計(jì)分析k)用戶使用及收費(fèi)查詢：根據(jù)不同的主機(jī)資源進(jìn)行查詢 (2)、用戶遠(yuǎn)程使用基本功能為用戶提供高性能計(jì)算資源使用基本功能：a)用戶作業(yè)的提交和管理：實(shí)現(xiàn)Web方式作業(yè)的提交和管理b)用戶作業(yè)查詢、殺除、監(jiān)控等：提供用戶在作業(yè)運(yùn)行中的在線操作c)XWindows交互作業(yè)的提交、管理：支持基于XWindows的交互式作業(yè)的提交和管理，且具有實(shí)際成熟客戶采用。、優(yōu)先級(jí)控制、強(qiáng)占式調(diào)度等e)用戶數(shù)據(jù)管理f)用戶作業(yè)統(tǒng)計(jì)與查詢：用戶可以通過(guò)Web界面進(jìn)行統(tǒng)計(jì)與查詢(七)二次開(kāi)發(fā)進(jìn)行二次開(kāi)發(fā)，并在實(shí)際運(yùn)行中，根據(jù)業(yè)務(wù)需求，配合上海超級(jí)計(jì)算中心進(jìn)行開(kāi)發(fā)。1)在主機(jī)采用作業(yè)調(diào)度軟件后可根據(jù)實(shí)際的需求變化對(duì)整個(gè)據(jù)安全可定制開(kāi)發(fā)，完善和提高系統(tǒng)架構(gòu)的健壯性。2)對(duì)提供的管理平臺(tái)可根據(jù)實(shí)際需求進(jìn)行改造、開(kāi)發(fā)定制。3)根據(jù)多核、多CPU、網(wǎng)絡(luò)通信等硬件結(jié)構(gòu)的特點(diǎn)，對(duì)基本功能的優(yōu)化開(kāi)發(fā)。1)自定義調(diào)度策略的開(kāi)發(fā)和定制：允許根據(jù)用戶需求進(jìn)行定制開(kāi)發(fā)調(diào)度策略。同時(shí)隨著實(shí)際業(yè)務(wù)的運(yùn)行的需求不斷改變提供不同的定制與開(kāi)發(fā)。2)多路多核CPU的調(diào)度和支持：可以根據(jù)硬件(多核、多CPU、網(wǎng)絡(luò)通信等)以及應(yīng)用軟件的情況開(kāi)發(fā)專用的、有針對(duì)性的調(diào)度策略。1)定期對(duì)主要商業(yè)應(yīng)用軟件版本升級(jí)提供集成、策略制定和優(yōu)化開(kāi)發(fā)：可根據(jù)商業(yè)軟件版本的升級(jí)，及時(shí)對(duì)新版本進(jìn)行集成、優(yōu)化等工作。2)根據(jù)不同軟件的特點(diǎn)提供許可證管理監(jiān)控、調(diào)度、統(tǒng)計(jì)、計(jì)費(fèi)等，根據(jù)需求定制開(kāi)發(fā)。1)統(tǒng)計(jì)報(bào)表的定制：提供方便的擴(kuò)展機(jī)制，從而可以根據(jù)用戶需要定制相應(yīng)的統(tǒng)計(jì)報(bào)表。2)計(jì)費(fèi)系統(tǒng)開(kāi)發(fā)：包括基于許可證、CPU、存儲(chǔ)份額等進(jìn)行開(kāi)發(fā)，并根據(jù)用戶實(shí)際業(yè)務(wù)需求開(kāi)發(fā)基于某些計(jì)算資源的計(jì)費(fèi)系統(tǒng)。5、web管理平臺(tái)指標(biāo)基于WEB技術(shù)所提供的易用性，為系統(tǒng)管理員及用戶提供可視化的、統(tǒng)一的web管理平臺(tái)以及訪問(wèn)接口，同時(shí)根據(jù)要求進(jìn)行不同的用戶授權(quán)。1)可根據(jù)實(shí)際業(yè)務(wù)特點(diǎn)管理定制web平臺(tái)，方便使用。包括系統(tǒng)管理、用戶管理、系統(tǒng)監(jiān)控、隊(duì)列管理、軟件管理、許可證的監(jiān)視和管理等。2)根據(jù)用戶應(yīng)用以及業(yè)務(wù)流程，定制不同行業(yè)軟件的提交方式。允許根據(jù)用戶實(shí)際需求定制web統(tǒng)計(jì)報(bào)表。(八)技術(shù)支持指標(biāo)(1)提供免費(fèi)技術(shù)支持服務(wù)：此期間保證技術(shù)支持服務(wù)質(zhì)量，配備專門的技術(shù)支持團(tuán)隊(duì)，保證技術(shù)支持力度和響應(yīng)速度，具有快速解決問(wèn)題的能力。(2)提供調(diào)度系統(tǒng)運(yùn)行主、備服務(wù)器、license管理服務(wù)器、報(bào)表分析計(jì)費(fèi)主、，并提供相關(guān)維保(3)7x24的電話或者郵件技術(shù)支持(4)現(xiàn)場(chǎng)響應(yīng)：有緊急救援現(xiàn)場(chǎng)支持服務(wù)，對(duì)于緊急情況可以在2小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)處置。(5)駐場(chǎng)服務(wù)：在系統(tǒng)部署、試運(yùn)行階段，對(duì)產(chǎn)品調(diào)試、模塊開(kāi)發(fā)提供至少1個(gè)月的專業(yè)工程師駐場(chǎng)服務(wù)。(6)專職維護(hù)工程師：為本項(xiàng)目設(shè)立專職維護(hù)工程師，專門負(fù)責(zé)超算中心的技術(shù)支持和維護(hù)事項(xiàng)，以便更好了解中心實(shí)際業(yè)務(wù)需求，有利于快速分析、解決問(wèn)題。(7)由專職工程師提供每半年一次定期全系統(tǒng)檢查及服務(wù)(8)免費(fèi)技術(shù)服務(wù)過(guò)期后，每年后續(xù)服務(wù)總費(fèi)用不超過(guò)系統(tǒng)總價(jià)的10%；(9)提供5年質(zhì)保期。(九)公司能力(1)本地技術(shù)支持團(tuán)隊(duì)：在國(guó)內(nèi)具有10~20人以上本地技術(shù)支持團(tuán)隊(duì)，包括一線技術(shù)支持、二線技術(shù)支持(源程序級(jí)問(wèn)題調(diào)查)和軟件維護(hù)團(tuán)隊(duì)(提供源程序級(jí)的問(wèn)題解決方案)(2)本地解決方案團(tuán)隊(duì)：在國(guó)內(nèi)具有