陜西雙友大業(yè)軟件公司仿真計(jì)算技術(shù)方案-一期

1、目錄 TOC o 1-5 h z 曙光HPC方案優(yōu)勢(shì) 76曙光公司簡(jiǎn)介 76 HYPERLINK l bookmark5 o Current Document 市場(chǎng)占有率高 77 HYPERLINK l bookmark7 o Current Document SUMA標(biāo)準(zhǔn)的完美體現(xiàn) 78 HYPERLINK l bookmark9 o Current Document 產(chǎn)品技術(shù)優(yōu)勢(shì)78 HYPERLINK l bookmark11 o Current Document 成熟方案78 HYPERLINK l bookmark13 o Current Document 高級(jí)技術(shù)服務(wù)和用戶應(yīng)用支持

2、 78 HYPERLINK l bookmark15 o Current Document 全面的用戶培訓(xùn) 79曙光高性能計(jì)算中心典型案例 80技術(shù)方案85 HYPERLINK l bookmark30 o Current Document 系統(tǒng)配置清單 85需求分析87項(xiàng)目背景87高性能計(jì)算的現(xiàn)狀與發(fā)展 87 HYPERLINK l bookmark36 o Current Document 系統(tǒng)需求分析 94方案總體設(shè)計(jì) 95系統(tǒng)拓?fù)鋱D95 HYPERLINK l bookmark41 o Current Document 系統(tǒng)優(yōu)勢(shì)96 HYPERLINK l bookmark43 o C

3、urrent Document 系統(tǒng)方案說(shuō)明96計(jì)算系統(tǒng)97計(jì)算系統(tǒng)需求分析97 HYPERLINK l bookmark48 o Current Document 刀片集群97 HYPERLINK l bookmark50 o Current Document 工作站節(jié)點(diǎn)99 HYPERLINK l bookmark52 o Current Document Intel E5-2600 v3 處理器性能優(yōu)勢(shì) 100 HYPERLINK l bookmark64 o Current Document 網(wǎng)絡(luò)系統(tǒng)101 HYPERLINK l bookmark66 o Current Docume

4、nt 千兆管理網(wǎng)絡(luò)102 HYPERLINK l bookmark68 o Current Document Infiniband 高速網(wǎng)102存儲(chǔ)系統(tǒng)103 HYPERLINK l bookmark72 o Current Document 高性能集群存儲(chǔ)的需求特點(diǎn) 103 HYPERLINK l bookmark75 o Current Document 并行文件系統(tǒng) 104管理調(diào)度系統(tǒng) 107管理/登陸節(jié)點(diǎn)107 HYPERLINK l bookmark82 o Current Document 曙光Gridview作業(yè)調(diào)度系統(tǒng)110集群基礎(chǔ)軟件環(huán)境 113編譯環(huán)境113 HYPERLI

5、NK l bookmark87 o Current Document 并行環(huán)境114 HYPERLINK l bookmark89 o Current Document 數(shù)學(xué)庫(kù)116 HYPERLINK l bookmark91 o Current Document 機(jī)柜配置及參數(shù)指標(biāo) 1 18 HYPERLINK l bookmark93 o Current Document 機(jī)柜擺放要求 1 18 HYPERLINK l bookmark95 o Current Document 曙光標(biāo)準(zhǔn)機(jī)柜特點(diǎn)120 HYPERLINK l bookmark97 o Current Document 曙

6、光機(jī)柜配電系統(tǒng)121 HYPERLINK l bookmark99 o Current Document 供配電及制冷需求122機(jī)房環(huán)境要求123項(xiàng)目實(shí)施及驗(yàn)收方案 124項(xiàng)目管理124項(xiàng)目計(jì)劃124項(xiàng)目跟蹤和匯報(bào) 125項(xiàng)目團(tuán)隊(duì)125項(xiàng)目系統(tǒng)集成 126實(shí)施計(jì)劃和時(shí)間進(jìn)度表 127安裝調(diào)試127硬件安裝127操作系統(tǒng)127存儲(chǔ)系統(tǒng)128集群網(wǎng)絡(luò)環(huán)境128系統(tǒng)管理軟件 128并行庫(kù)軟件128資源調(diào)度軟件128應(yīng)用軟件集成128安裝后驗(yàn)證129移交設(shè)備和技術(shù)材料129驗(yàn)收方案129設(shè)備考核129功能性考核130穩(wěn)定性考核130技術(shù)材料項(xiàng)目交付 130方案報(bào)告 130測(cè)試報(bào)告、運(yùn)行總結(jié)報(bào)告 130

7、產(chǎn)品使用手冊(cè)或維護(hù)操作指南 131出廠測(cè)試報(bào)告、產(chǎn)品合格證、保修卡 131產(chǎn)品權(quán)威性檢驗(yàn)報(bào)告131交付清單131系統(tǒng)管理說(shuō)明書，技術(shù)說(shuō)明書 131制造、安裝標(biāo)準(zhǔn)（含技術(shù)規(guī)范）131驗(yàn)收?qǐng)?bào)告（包括驗(yàn)收數(shù)據(jù)資料） 131人員培訓(xùn)方案132培訓(xùn)目標(biāo)132?熟練使用操作系統(tǒng)； 133培訓(xùn)方式、地點(diǎn)及對(duì)象 133培訓(xùn)方式133培訓(xùn)地點(diǎn)133培訓(xùn)對(duì)象133高性能計(jì)算培訓(xùn)課程內(nèi)容1 33售后服務(wù)方案135本項(xiàng)目售后服務(wù) 135售后服務(wù)承諾135保修服務(wù)內(nèi)容136服務(wù)流程和響應(yīng)時(shí)間 136備件支持138曙光公司售后服務(wù)體系（戰(zhàn)略客戶） 138曙光公司服務(wù)部門架構(gòu) 138曙光專業(yè)服務(wù)團(tuán)隊(duì)139戰(zhàn)略客戶服務(wù)流程1

8、41曙光公司服務(wù)網(wǎng)點(diǎn) 146曙光服務(wù)網(wǎng)點(diǎn)功能介紹 146曙光各級(jí)服務(wù)網(wǎng)點(diǎn)資源介紹 148曙光服務(wù)網(wǎng)點(diǎn)覆蓋能力 149曙光公司備件庫(kù)體系149遍布全國(guó)的四級(jí)響應(yīng)能力庫(kù)房 150曙光公司備件庫(kù)優(yōu)勢(shì) 151陜西雙友大業(yè)軟件開發(fā)有限公司售后服務(wù)介紹 152相關(guān)投標(biāo)產(chǎn)品說(shuō)明 155曙光刀片服務(wù)器 TC5600H技術(shù)資料 155曙光天闊服務(wù)器 W560-G10 159曙光HPC方案優(yōu)勢(shì)曙光公司簡(jiǎn)介曙光公司是在原國(guó)家科委和中國(guó)科學(xué)院支持下成立的高科技企業(yè)，于1995年6月正式成立，注冊(cè)基金 7500萬(wàn)元，目前已經(jīng)增資到 1.5億元，我國(guó)著名計(jì)算機(jī)專家、中國(guó)工程院 院士、國(guó)家智能計(jì)算機(jī)研究開發(fā)中心主任李國(guó)杰出

9、任董事長(zhǎng)兼總裁。曙光公司以中科院計(jì)算所、國(guó)家智能計(jì)算機(jī)研究開發(fā)中心和國(guó)家高性能計(jì)算機(jī)工程中心強(qiáng)大的技術(shù)和人才為后盾， 開發(fā)推出了三大系列 30多種型號(hào)的服務(wù)器，已經(jīng)實(shí)現(xiàn)了從巨型計(jì)算機(jī)和超級(jí)服務(wù)器的供應(yīng) 商到全系列服務(wù)器產(chǎn)品供應(yīng)商的角色轉(zhuǎn)變，向用戶提供了從PC服務(wù)器到RISC服務(wù)器、價(jià)格從一萬(wàn)元到幾千萬(wàn)元的全系列服務(wù)器產(chǎn)品，形成了以曙光天潮系統(tǒng)超級(jí)服務(wù)器、曙光天闊 PC服務(wù)器和曙光天演 UNIX系列服務(wù)器三大系列為主的30余款曙光全系列服務(wù)器產(chǎn)品。曙光天潮系列超級(jí)服務(wù)器以其卓越的性能在石油、教育、氣象、電信、生物基因、政府 部門等行業(yè)部門發(fā)揮著舉足輕重的作用，贏得了眾多用戶的贊譽(yù)。發(fā)展高技術(shù)，實(shí)

10、現(xiàn)產(chǎn)業(yè)化，是我國(guó)科技工作者和科學(xué)界一直在追求的目標(biāo)。在這一目標(biāo)指引下， 從1990年成立國(guó)家智能計(jì)算機(jī)研究開發(fā)中心，啟動(dòng)研制曙光計(jì)算機(jī)，到曙光3000超級(jí)服務(wù)器，以李國(guó)杰院士為首的曙光人，從關(guān)起門來(lái)搞研究到走出“象牙塔”做市場(chǎng)，20年間，走出了一條有自身特色的產(chǎn)業(yè)化道路。公司從95年創(chuàng)辦至今，歷時(shí)15年，取得了驕人的業(yè)績(jī)，銷售額逐年、穩(wěn)步、快速增長(zhǎng)，根據(jù)權(quán)威調(diào)研機(jī)構(gòu)CCID的報(bào)告表明，曙光已經(jīng)成為國(guó)產(chǎn)服務(wù)器前三甲。公司匯集了許多高學(xué)位、有計(jì)算機(jī)專業(yè)特長(zhǎng)、工程經(jīng)驗(yàn)和管理經(jīng)驗(yàn)豐富的優(yōu)秀人才，其中博士后15人、博士50人、碩士180多人。公司許多員工獲得過(guò)中國(guó)科學(xué)院科技進(jìn)步特等 獎(jiǎng)、國(guó)家科技進(jìn)步獎(jiǎng)、

11、優(yōu)秀青年科學(xué)家獎(jiǎng)、何梁何利獎(jiǎng)等。許多專家承擔(dān)著863高技術(shù)計(jì)劃重點(diǎn)項(xiàng)目、973項(xiàng)目研究、“九五”攻關(guān)計(jì)劃等與國(guó)民經(jīng)濟(jì)息息相關(guān)的國(guó)家級(jí)高科技項(xiàng)目的 研究和開發(fā)。曙光公司先后推出有自主知識(shí)產(chǎn)權(quán)的曙光1號(hào)、曙光1000、曙光1000A、曙光2000、曙光2000-II和曙光3000等大規(guī)模并行計(jì)算機(jī)系統(tǒng)，曙光TC150。TC1700等一系列達(dá)到或接近世界先進(jìn)水平的高技術(shù)產(chǎn)品，上述產(chǎn)品在國(guó)內(nèi)均處于領(lǐng)先地位。其中曙光1號(hào)曾被作為我們國(guó)家科技代表成就之一寫入1994年李鵬總理政府工作報(bào)告，并獲得中國(guó)科學(xué)院科技進(jìn)步特等獎(jiǎng)； 曙光3000超級(jí)服務(wù)器于2001年榮獲中國(guó)十大科技進(jìn)展殊榮，并成功完成舉世矚目的水稻

12、基因組測(cè)序工作。1990年3月，建立國(guó)家智能計(jì)算機(jī)研究開發(fā)中心，她是在 863-306主題專家組的領(lǐng)導(dǎo) 下，為實(shí)現(xiàn)國(guó)家高技術(shù)計(jì)劃在計(jì)算機(jī)領(lǐng)域的關(guān)鍵目標(biāo)而組建的研究開發(fā)實(shí)體，其宗旨是發(fā)展計(jì)算機(jī)高技術(shù)，實(shí)現(xiàn)高性能計(jì)算機(jī)產(chǎn)業(yè)化。的戰(zhàn)略高技術(shù)，關(guān)系到國(guó)家的戰(zhàn)略安全，高性能計(jì)算機(jī)是一項(xiàng)西方國(guó)家對(duì)我國(guó)仍實(shí)行禁運(yùn)對(duì)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展有重要作用，能廣泛應(yīng)用于科學(xué)研究、信息服務(wù)和事務(wù)處理。 智能中心成立后，陸續(xù)向市場(chǎng)推出了 曙光并行機(jī)系列產(chǎn) 品，為促進(jìn)我國(guó)高檔計(jì)算機(jī)產(chǎn)業(yè)化做出了重大貢獻(xiàn)。國(guó)家高性能計(jì)算中心（合肥）1996年7月建立并為用戶服務(wù)，時(shí)任國(guó)務(wù)委員兼國(guó)家科委主任的宋健院士指示，用曙光1000在全國(guó)建立一

13、批國(guó)家高性能計(jì)算中心，大力開展曙光1000的推廣應(yīng)用。此后，在北京、成都、武漢和上海相繼成立了四個(gè)國(guó)家高性能計(jì)算中心，在全國(guó)形成了一個(gè)以曙光天潮系列為主服務(wù)器的第一個(gè)全國(guó)性的高性能計(jì)算網(wǎng)絡(luò)，大規(guī)模地對(duì)全國(guó)眾多行業(yè)領(lǐng)域進(jìn)行高性能計(jì)算服務(wù)。國(guó)家高性能計(jì)算基金共支持了100多個(gè)國(guó)家自然科學(xué)基金、攀登計(jì)劃、國(guó)家攻關(guān)計(jì)劃、863計(jì)劃和各部委省市的重要課題在五個(gè)中心進(jìn)行計(jì)算。此外，這些中心還支持了其他 150余個(gè)課題完成了計(jì)算任務(wù)，取得了一批在國(guó)內(nèi)外有重要影響的成果。市場(chǎng)占有率高TOP100國(guó)內(nèi)廠商第一名,TOP10睇一名。2009、 2010、 2011、曙光已近連續(xù)多年占有中國(guó)高性能計(jì)算 2012年連

14、續(xù)四年超過(guò)所有國(guó)內(nèi)國(guó)際廠商，榮登游光36%曙光乃4%2口 1 0年制做德機(jī)器數(shù)量份羽圖圖9.1曙光機(jī)器數(shù)量份額圖SUMA標(biāo)準(zhǔn)的完美體現(xiàn)曙光公司是國(guó)內(nèi)服務(wù)器“ SUMA標(biāo)準(zhǔn)的倡導(dǎo)者，產(chǎn)品的設(shè)計(jì)和方案的設(shè)計(jì)充分體現(xiàn)了：可擴(kuò)展性；易使用性；易管理性；高可用性產(chǎn)品技術(shù)優(yōu)勢(shì)高性能、高密度第四代刀片服務(wù)器；曙光ClusKVM-OVER-IP系統(tǒng)，優(yōu)勢(shì)：連接方便，可擴(kuò)展性強(qiáng)，可以通過(guò)Internet 遠(yuǎn)程使用；曙光機(jī)群操作系統(tǒng)，為用戶使用維護(hù)機(jī)群提供了全面的工具。成熟方案專業(yè)的高性能計(jì)算機(jī)廠商；2009,2010,2011,2012 年連續(xù)4年在國(guó)內(nèi)高性能計(jì)算機(jī)排名（ TOP100排行榜） 中占據(jù)最大份額；

15、各行業(yè)（包括生物計(jì)算行業(yè)）有眾多的成功案例；曙光5000A、曙光4000A大型并行計(jì)算機(jī)的設(shè)計(jì)和使用維護(hù)經(jīng)驗(yàn)；高級(jí)技術(shù)服務(wù)和用戶應(yīng)用支持曙光公司實(shí)施服務(wù)超越戰(zhàn)略，把用戶服務(wù)提到了戰(zhàn)略的高度：全方位，立體化的服務(wù)。包括：售前售中售后尤其是售中和售后服務(wù)，是曙光服務(wù)的中心和重點(diǎn)。延長(zhǎng)的售后服務(wù)年限無(wú)限期的應(yīng)用支持。例如：用戶各種軟件的編譯，測(cè)試系統(tǒng)性能優(yōu)化幫助用戶解決使用中的難題幫助用戶分析系統(tǒng)瓶頸，尋找解決方法，如：和某地球物理公司的合作曙光公司對(duì)用戶提供的應(yīng)用支持完全免費(fèi)。全面的用戶培訓(xùn)曙光公司將為用戶提供全面的培訓(xùn)，為用戶培訓(xùn)系統(tǒng)管理員， 并為用戶的應(yīng)用提供技術(shù)培訓(xùn)。曙光公司培訓(xùn)聯(lián)合中科院計(jì)

16、算所進(jìn)行，將為用戶提供定制化服務(wù)，曙光公司為用戶提供的服務(wù)完全免費(fèi)。曙光高性能計(jì)算中心典型案例國(guó)家超級(jí)計(jì)算深圳中心一一曙光“星云”國(guó)家超級(jí)計(jì)算深圳中心（深圳云計(jì)算中心）曙光“星云”是在國(guó)家863計(jì)劃重大專項(xiàng)支持下，由曙光信息產(chǎn)業(yè)（北京）有限公司、 中國(guó)科學(xué)院計(jì)算技術(shù)研究所、國(guó)家超級(jí)計(jì)算深圳中心共同研制，由曙光集團(tuán)天津產(chǎn)業(yè)基地制造的一款擁有自主知識(shí)產(chǎn)權(quán)的超千萬(wàn)億次超級(jí)計(jì)算機(jī)；是國(guó)內(nèi)首臺(tái)實(shí)測(cè)性能超千萬(wàn)億次的超級(jí)計(jì)算機(jī)，其每秒系統(tǒng)峰值達(dá)三千萬(wàn)億次 （3PFlops），每秒實(shí)測(cè)Linpack值達(dá)1.271萬(wàn)億次。 在2010年6月第35屆全球高性能計(jì)算機(jī) Top 500排名中，“星云”位列世界第二，成

17、為世 界上第三臺(tái)實(shí)測(cè)性能超千萬(wàn)億次的超級(jí)計(jì)算機(jī)。星云系統(tǒng)還是國(guó)內(nèi)最綠色的超級(jí)計(jì)算機(jī)，每網(wǎng)光星云高就能計(jì)草機(jī)都交 PAWNING NEBUW瓦能耗實(shí)測(cè)性能4.8億次。i ：ii IJi JUi歸咽 1 川 .SinWIJ r IQ*-flKk ri/i H l1i *EpnAii熟3* h.閨 LM - iUrf M hi E切門一 HlVIE. MH曙光“星云”作為中國(guó)第一臺(tái)面向未來(lái)“云計(jì)算”環(huán)境設(shè)計(jì)的超級(jí)計(jì)算機(jī)系統(tǒng)，強(qiáng)調(diào)系 統(tǒng)的均衡設(shè)計(jì)和資源動(dòng)態(tài)調(diào)度能力，將成為我國(guó)新一代超級(jí)云計(jì)算中心建設(shè)的主力機(jī)種。“星云”高性能計(jì)算機(jī)系統(tǒng)已經(jīng)安裝在國(guó)家超級(jí)計(jì)算深圳中心，為我國(guó)華南、港澳乃至全國(guó)用戶提供計(jì)算

18、服務(wù)和信息服務(wù)。上海超級(jí)計(jì)算中心曙光“魔方”上海超級(jí)計(jì)算中心（Shanghai Supercomputer Center ）成立于2000年12月，是國(guó)內(nèi)第一個(gè)面向社會(huì)開放，資源共享、設(shè)施一流、功能齊全的高性能計(jì)算公共服務(wù)平臺(tái)，目前擁有曙光4000A （2004年世界排名第十）和“魔方”（曙光5000A, 2008年世界排名第十）等3臺(tái)超級(jí)計(jì)算機(jī)，同時(shí)配備豐富的科學(xué)和工程計(jì)算軟件，致力于為國(guó)家科技進(jìn)步和企業(yè)創(chuàng)新 提供高端計(jì)算服務(wù)。由中科院計(jì)算所和曙光公司聯(lián)合研制的曙光5000A高效能超級(jí)計(jì)算機(jī)于 2008年成功推出，峰值性能達(dá)到 230Tflops ,實(shí)際Linpack測(cè)試性能為 180.6T

19、flops ,進(jìn)入了世界前 10 名，成功部署于上海超級(jí)計(jì)算中心，代號(hào)“魔方”。曙光5000A的成功，極大縮小了國(guó)內(nèi)與美國(guó)在超級(jí)計(jì)算機(jī)領(lǐng)域的差距，并且在計(jì)算密度、系統(tǒng)效率、系統(tǒng)功耗等諸多方面達(dá)到當(dāng)時(shí)的世界先進(jìn)水平。曙光5000A實(shí)現(xiàn)了諸多創(chuàng)新，在體系結(jié)構(gòu)、多處理機(jī)芯片組、高性能節(jié)點(diǎn)操作系統(tǒng)、高 可擴(kuò)展互連網(wǎng)絡(luò)、高吞吐率通信軟件、多線程分割全局地址空間編程模型及編譯器等核心技 術(shù)上實(shí)現(xiàn)了較大突破；并提供高效能計(jì)算機(jī)的高密度節(jié)點(diǎn)、可靠的系統(tǒng)結(jié)構(gòu)、虛擬化軟件、 高效能海量存儲(chǔ)、并行文件系統(tǒng)、大規(guī)模系統(tǒng)的管理軟件、系統(tǒng)級(jí)魯棒性技術(shù)、超大規(guī)模并 行算法等產(chǎn)品及技術(shù)。曙光5000A具有“四高兩低”的技術(shù)特

20、點(diǎn)，“四高”具體表現(xiàn)為高性能、高效能、高密度、高可靠；“兩低”表現(xiàn)為低價(jià)格、低功耗。曙光5000A是定位于高效能的計(jì)算機(jī)系統(tǒng)，高效能包含了高性能、可編程性、可移植性、穩(wěn)定性等多個(gè)方面的要求，高效能代表了高性 能計(jì)算機(jī)研究的新方向。曙光5000A是完全自主知識(shí)產(chǎn)權(quán)的國(guó)產(chǎn)超級(jí)計(jì)算機(jī)，在系統(tǒng)的研制過(guò)程中，曙光公司已 申請(qǐng)了 50項(xiàng)發(fā)明、實(shí)用新型及外觀專利，并申請(qǐng)了近16項(xiàng)軟件著作版權(quán)登記。在曙光5000A的基礎(chǔ)上，曙光公司推出了曙光5000系列計(jì)算機(jī)及其應(yīng)用解決方案。北京市計(jì)算中心如京市H4中心IBeijing Computing Center北京市計(jì)算中心建立于一 九七三年，隸屬于北京市科學(xué) 技術(shù)

21、研究院。是國(guó)內(nèi)成立最早、最具影響力的從事計(jì)算機(jī)應(yīng)用技術(shù)研究及推廣的機(jī)構(gòu)，服務(wù)對(duì)象涉及工業(yè)、商業(yè)、交通、能 源、環(huán)保金融、稅務(wù)、社會(huì)事務(wù)等多個(gè)領(lǐng)域。北京市計(jì)算中心匯集了許多高學(xué)位、計(jì)算機(jī)與 網(wǎng)絡(luò)通信、物理、化學(xué)等交叉學(xué)科領(lǐng)域優(yōu)秀人才，曾獲得過(guò)國(guó)家科技進(jìn)步獎(jiǎng)、北京科技進(jìn)步 獎(jiǎng)等殊榮，許多專家承擔(dān)著“ 863”高技術(shù)計(jì)劃重點(diǎn)項(xiàng)目、“937”項(xiàng)目、“九五”攻關(guān)計(jì)劃等與國(guó)民經(jīng)濟(jì)息息相關(guān)的國(guó)家級(jí)高科技項(xiàng)目的研究和開發(fā)。中心現(xiàn)有計(jì)算服務(wù)平臺(tái)一期項(xiàng)目于2009年1月建成，選用曙光5000系列國(guó)產(chǎn)高性能計(jì)算機(jī)，采用 CPU+GP的混合異構(gòu)集群系統(tǒng)架本總體性能超過(guò)30TFLOPS 2010年開始進(jìn)行了二期擴(kuò)容，繼

22、續(xù)購(gòu)置了1套曙光6000系列高性能計(jì)算機(jī)，并進(jìn)行了系統(tǒng)整合，目前系統(tǒng)總體計(jì)算能力已經(jīng)超過(guò) 100TFLOPS支撐著中心的工業(yè)云計(jì)算平臺(tái)和生物計(jì)算平臺(tái)，滿足氣 象預(yù)報(bào)、分子動(dòng)力學(xué)、生物醫(yī)藥、CAE真以及動(dòng)漫等眾多高性能計(jì)算領(lǐng)域計(jì)算需求，同時(shí)也作為信息化服務(wù)平臺(tái)和云計(jì)算技術(shù)研發(fā)平臺(tái)。曙光5000、6000高性能計(jì)算機(jī)為中心的高性能計(jì)算服務(wù)以及云計(jì)算服務(wù)提供了強(qiáng)有力的支撐和保障，不僅計(jì)算性能強(qiáng)勁，計(jì)算資源的種類也豐富多樣，配置靈活，符合中心多樣性和綜合性的業(yè)務(wù)特點(diǎn)，滿足多領(lǐng)域計(jì)算服務(wù)對(duì)計(jì)算資源的差異化需求。計(jì)算服務(wù)平臺(tái)投入使用以來(lái)，系統(tǒng)運(yùn)行穩(wěn)定，已經(jīng)為全國(guó)眾多科研 機(jī)構(gòu)和企業(yè)提供了大量計(jì)算服務(wù)，支持

23、了多項(xiàng)重大科研項(xiàng)目，在眾多企業(yè)的關(guān)鍵產(chǎn)品研制過(guò)程中起到了關(guān)鍵作用。曙光公司不僅為北京市計(jì)算中心建設(shè)了計(jì)算服務(wù)基礎(chǔ)平臺(tái)，同時(shí)也與北京市計(jì)算中心在高性能計(jì)算技術(shù)和云計(jì)算技術(shù)研發(fā)方面建立了深入合作。2010年，北京市計(jì)算中心與曙光公司建立了 “北京市計(jì)算中心&曙光云計(jì)算聯(lián)合實(shí)驗(yàn)室”，為企業(yè)提供軟件應(yīng)用支持，提供高性能計(jì)算基礎(chǔ)平臺(tái)， 提供企業(yè)在成長(zhǎng)中所需要的科技支持等，全面解決中小企業(yè)的云計(jì)算需求難題，促進(jìn)中小企業(yè)的創(chuàng)新能力并壯大企業(yè)未來(lái)的發(fā)展。成都云計(jì)算中心由曙光集團(tuán)下屬“成都超級(jí)計(jì)算中心有限公司”建設(shè)并于成都云計(jì)算中心2009年底開通運(yùn)營(yíng)，一期建設(shè)規(guī)模達(dá)到30萬(wàn)億次每秒，并將于 2年內(nèi)擴(kuò)展至200

24、萬(wàn)億次每秒。中心依托中科院計(jì)算機(jī)技術(shù)研究所以及曙光集團(tuán)的優(yōu)勢(shì)資源， 在國(guó)內(nèi)率先將超級(jí)計(jì)算技 術(shù)用于云計(jì)算服務(wù)提供，并創(chuàng)新性的采用了 “政府指導(dǎo)、企業(yè)投資建設(shè)和運(yùn)營(yíng)”的全新模式, 具有里程碑式意義，標(biāo)志著超級(jí)計(jì)算（云計(jì)算）在國(guó)內(nèi)的發(fā)展進(jìn)入一個(gè)新的階段。復(fù)旦大學(xué)高性能計(jì)算中心復(fù)旦大學(xué)是教育部直屬全國(guó)重點(diǎn)大學(xué)之一，名列985工程、211工程，是國(guó)內(nèi)技術(shù)實(shí)力強(qiáng)、影響力巨大的技術(shù)研究、高等教育機(jī)構(gòu)。作為一所綜合性研究型大學(xué)，伴隨校內(nèi)物理、 化學(xué)、環(huán)境、生物、地理等不同學(xué)科的不斷發(fā)展，對(duì)高性能計(jì)算的迫切需求變得日益突出。2011年建設(shè)的復(fù)旦大學(xué)高性能計(jì)算中心是一個(gè)面向校內(nèi)各學(xué)科的計(jì)算平臺(tái)，主要運(yùn)行 物理、

25、化學(xué)、材料、流體、軟件、氣象開發(fā)相關(guān)領(lǐng)域的應(yīng)用，其中物理、化學(xué)、材料為主要 應(yīng)用。計(jì)算平臺(tái)應(yīng)用軟件種類繁多，各種軟件的應(yīng)用特點(diǎn)也各不相同，對(duì)計(jì)算資源的需求存在差別，方案的設(shè)計(jì)需要充分考慮到實(shí)際應(yīng)用的特點(diǎn)。基于對(duì)復(fù)旦大學(xué)用戶應(yīng)用需求分析，曙光提供了具有針對(duì)性的成熟穩(wěn)定、 高可靠、高性能的系統(tǒng)方案。全系統(tǒng)共計(jì)502臺(tái)計(jì)算節(jié) 點(diǎn)，理論峰值達(dá)到 64.3萬(wàn)億次每秒，在 2011年中國(guó)高性能計(jì)算機(jī)性能 TOP100排名第37。作為全球一流的計(jì)算機(jī)公司和開放系統(tǒng)的領(lǐng)導(dǎo)者，曙光公司擁有完善的信息處理技術(shù)和豐富的行業(yè)應(yīng)用經(jīng)驗(yàn)。在本項(xiàng)目中，曙光提出了一套先進(jìn)的高性能計(jì)算機(jī)系統(tǒng)設(shè)計(jì)方案，充分利用了計(jì)算機(jī)科學(xué)與網(wǎng)絡(luò)

26、技術(shù)的最新發(fā)展成果，考慮了系統(tǒng)的先進(jìn)性、 高可靠性、高可用性、系統(tǒng)的靈活擴(kuò)展能力、開放性以及高可管理性等原則對(duì)項(xiàng)目的具體需求提出了解決方案！ 曙光不僅限于提供高性能計(jì)算設(shè)備并保障其穩(wěn)定運(yùn)行上，曙光技術(shù)支持專家也在計(jì)算物理、化學(xué)、材料、熱能、流體、氣象、海洋、環(huán)保等專業(yè)方面與復(fù)旦大學(xué)應(yīng)用專家一起進(jìn)行共同 研究與合作。2技術(shù)方案2.1系統(tǒng)配置清單類別產(chǎn)品型號(hào)技術(shù)規(guī)格單位數(shù)量1計(jì)算系統(tǒng)CPL#算節(jié)點(diǎn)曙光TC5600-H 整 機(jī)柜刀片平 臺(tái)TC5600-H整機(jī)和刀片半百，含 TC5600-H整機(jī) 柜刀片系統(tǒng)框架（44U）、雙輸入供電系統(tǒng)、直 流母排套件、1*RMCf理模塊、2*4U節(jié)點(diǎn)倉(cāng)臺(tái)24U節(jié)點(diǎn)倉(cāng)

27、,含節(jié)點(diǎn)機(jī)框、風(fēng)扇模塊、背板等個(gè)122500W高效白金級(jí)（電源效率 93%電源模塊個(gè)24曙光SR60-T20 計(jì) 算刀片2*Xeon E5-2640v3 2.6G 20M 八核處理器 (2.6GHz);16GB DDR4 ECC REGW;2*300G 2.5寸SAS熱插拔硬盤；2*千兆以太網(wǎng)接口；1*56Gb FDR InfiniBand 接 口 ;片702網(wǎng)絡(luò)系統(tǒng)計(jì)算網(wǎng)絡(luò)InfiniBand交換機(jī)FDR 36端口舊交換機(jī)臺(tái)5InfiniBand線纜FDR Infiniband 線纜根145管理網(wǎng)絡(luò)以太網(wǎng)交換 模塊（千兆 帶萬(wàn)兆上 聯(lián)）48端口千兆以太網(wǎng)（帶萬(wàn)兆上聯(lián)）交換模塊，向下提供48*

28、1GE電口，向上提供 2*10GE SFP優(yōu) 口臺(tái)4視頻切換系 統(tǒng)Cluskvm100 菊花鏈KVM 主控端菊花鏈控制終端，每終端最大可支持 32個(gè)節(jié)點(diǎn)臺(tái)1Cluskvm100 CIM模塊節(jié)點(diǎn)USB模塊，每節(jié)點(diǎn)配置1個(gè)個(gè)10PDU機(jī)柜PDU每 PDIM 15 位 10A C13 插座 +12 位 16A C19 插座，3個(gè)32A單相空開，含 1個(gè)32A 3相5芯IEC60309工業(yè)連接器臺(tái)4PDM125A PDM 系 統(tǒng)（帶監(jiān)控）PDMK統(tǒng)作為集群配電分配模塊， 可提供最多4 個(gè)32A PDU勺統(tǒng)一配電管理，輸入采用125A三 相5芯IEC60309工業(yè)連接器，輸出為4個(gè)32A 三相5芯IEC

29、60309工業(yè)連接器個(gè)13存儲(chǔ)系統(tǒng)曙光ParaStor200 并行存儲(chǔ)系 統(tǒng)P200高性能64位處理器，64GB Cache, 2個(gè)管理網(wǎng) 絡(luò)接口，3.5 7.2krpm 4TB SATAX 15, 1 個(gè) 56Gb FDRInfiniband數(shù)據(jù)接口， 1+1冗余電源，內(nèi)嵌高性能數(shù)據(jù)存取引擎，用于并行處理所有客戶 端的數(shù)據(jù)訪問(wèn)請(qǐng)求，內(nèi)嵌高性能數(shù)據(jù)恢復(fù)引擎， 支持節(jié)點(diǎn)間replication （多副本）/N+M （糾刪 碼）數(shù)據(jù)冗余方式套14軟件系統(tǒng)操作系統(tǒng)LinuxRedhat 64bit 企業(yè)級(jí)Linux操作系統(tǒng)套11集群管理調(diào) 度系統(tǒng)（可 選）曙光Gridview （商業(yè)版）標(biāo)準(zhǔn)版（標(biāo)準(zhǔn)

30、組件）：支持資源配置、組資源管 理、實(shí)時(shí)告警、閾值管理、集群狀態(tài)視圖、總 體性能視圖、對(duì)比性能視圖、配置管理、賬戶個(gè)1設(shè)置、預(yù)定義報(bào)表、自定義報(bào)表功能。應(yīng)用開發(fā)環(huán) 境編譯器GNIBJ譯器，支持 C/C+/Fortran套一1Intel 編譯器，支持 C/C+/Fortran套1數(shù)學(xué)庫(kù)MKL BLAS LAPACK ScaLAPACK FFTW NCLGrads 等套1并行環(huán)境OpenM所行環(huán)境套一1OpenMP 1MPICH2 MVPAICH等 MPI 并行環(huán)境(支 持InfiniBand 和以太網(wǎng))套1GPLFF發(fā)環(huán) 境CUDA1動(dòng)、編譯器、調(diào)t端1、工具包、SDK;CUDA FFT CUD

31、A BLA第；套1MIC開發(fā)環(huán)境MIC編譯環(huán)境；Intel(R) Manycore Platform Software Stack (MPSS);套1自動(dòng)部署工 具軟件自動(dòng)部署工 具軟件高性能計(jì)算軟件環(huán)境自動(dòng)部署工具軟件套1三維設(shè)計(jì)系 統(tǒng)協(xié)同設(shè)計(jì) 軟件三維設(shè)計(jì)系 統(tǒng)協(xié)同設(shè)計(jì) 軟件三維設(shè)計(jì)系統(tǒng)協(xié)同設(shè)計(jì)軟件套15圖形工作站圖形工作站曙光W560-G10圖 形工作站塔式 /2*Xeon E5 2667v2 3.3G 25M 8C (主頻 3.3GHz,共 16 核)/32G DDR3ECCREG 內(nèi)存/2*1T 3.5 口寸 6GbSATA/NV QUADRO K620 2GBs卡 / 雙 千兆以太

32、網(wǎng)口 /DVD-RW/集成BMC片/單電源 /24寸寬屏黑色液晶顯示器套202.2需求分析 2.2.1項(xiàng)目背景上海衛(wèi)星工程研究所（簡(jiǎn)稱 509所）成立于1969年，隸屬于第八研究院，是一家適應(yīng) 多型號(hào)生產(chǎn)要求的衛(wèi)星總體研究所，屬科研生產(chǎn)事業(yè)單位，是我國(guó)氣象衛(wèi)星的搖籃和對(duì)地遙感、空間監(jiān)測(cè)、深空探測(cè)系列衛(wèi)星的主要研制基地。目前主要承擔(dān)了氣象、科學(xué)試驗(yàn)、微波 遙感、電子等系列衛(wèi)星的研制工作。40余年來(lái)共成功研制并發(fā)射了風(fēng)云系列，實(shí)踐系列、遙感系列等多顆衛(wèi)星，取得了100%勺發(fā)射成功率，在我國(guó)科學(xué)實(shí)驗(yàn)、國(guó)土資源普查、農(nóng)作物估產(chǎn)及防災(zāi)減災(zāi)等領(lǐng)域發(fā)揮了積極作用。其中氣象衛(wèi)星使我國(guó)在中長(zhǎng)期、多方位氣象觀測(cè)、

33、預(yù)報(bào)、研究領(lǐng)域取得了重大突破，也使我國(guó)成為少數(shù)幾個(gè)能同時(shí)研制、發(fā)射和管理靜止和極軌氣象衛(wèi)星，并由此形成氣象監(jiān)測(cè)應(yīng)用系統(tǒng)的國(guó)家之一。近十年來(lái)共成功研制并發(fā)射了3顆風(fēng)云二號(hào)氣象衛(wèi)星，1顆風(fēng)云三號(hào)氣象衛(wèi)星，3顆實(shí)踐六號(hào)A空間環(huán)境探測(cè)及技術(shù)試驗(yàn)衛(wèi) 星，1顆實(shí)踐七號(hào)科學(xué)技術(shù)試驗(yàn)衛(wèi)星，2顆遙感一號(hào)衛(wèi)星和 1顆遙感六號(hào)等衛(wèi)星，取得了 100%成功率。2008年抗震減災(zāi)、北京奧運(yùn)會(huì)以及 2010年上海世博會(huì)等國(guó)家重大活動(dòng)的氣象預(yù)報(bào) 中，遙感一號(hào)、風(fēng)云三號(hào)等衛(wèi)星作出了突出的貢獻(xiàn)。隨著應(yīng)用體量的增大，應(yīng)用工作者人數(shù)的增加，高性能計(jì)算平臺(tái)的擴(kuò)容迫在眉睫。為能使種類繁多的應(yīng)用軟件，依照各自的應(yīng)用特點(diǎn)，在一套完整、高效

34、、可靠、穩(wěn)定的平臺(tái)上成 熟運(yùn)行，設(shè)計(jì)了一套成熟建議方案。2.2.2高性能計(jì)算的現(xiàn)狀與發(fā)展高性能計(jì)算的應(yīng)用需求應(yīng)用需求是高性能計(jì)算技術(shù)發(fā)展的根本動(dòng)力。傳統(tǒng)的高性能計(jì)算應(yīng)用領(lǐng)域包括：量子化學(xué)、分子模擬、氣象預(yù)報(bào)、天氣研究、油氣勘探、流體力學(xué)、結(jié)構(gòu)力學(xué)、核反應(yīng)等。隨著經(jīng) 濟(jì)發(fā)展和社會(huì)進(jìn)步，科學(xué)研究、經(jīng)濟(jì)建設(shè)、國(guó)防安全等領(lǐng)域?qū)Ω咝阅苡?jì)算設(shè)施及環(huán)境提出了 越來(lái)越高的需求，不僅高性能計(jì)算的應(yīng)用需求急劇增大，而且應(yīng)用范圍從傳統(tǒng)領(lǐng)域不斷擴(kuò)大到資源環(huán)境、航空航天、新材料、新能源、醫(yī)療衛(wèi)生、金融、文化產(chǎn)業(yè)等經(jīng)濟(jì)和社會(huì)發(fā)展的 眾多領(lǐng)域。當(dāng)前，世界和中國(guó)面臨諸多重大挑戰(zhàn)性問(wèn)題。比如，全球氣候出現(xiàn)快速增溫的事實(shí)使“應(yīng)對(duì)

35、氣候變化”成為各國(guó)政治、經(jīng)濟(jì)和社會(huì)發(fā)展的重大課題，為了進(jìn)一步消減“溫室效應(yīng)”和 減少碳排放，實(shí)現(xiàn)可持續(xù)發(fā)展的低碳經(jīng)濟(jì)，新材料的發(fā)現(xiàn)、設(shè)計(jì)與應(yīng)用迫在眉睫；隨著化石能源的日益枯竭和環(huán)境的日趨惡化，新能源的開發(fā)勢(shì)在必行； 隨著科技的發(fā)展，人類邁向太空的腳步逐漸加快， 空間資源的爭(zhēng)奪和戰(zhàn)略性部署竟然愈發(fā)激烈，航空航天領(lǐng)域作為此項(xiàng)重大科研技術(shù)活動(dòng)的基礎(chǔ)支撐，投入將持續(xù)擴(kuò)大；為了攻克重大疾病、 進(jìn)一步提高人口健康質(zhì)量，生命科學(xué)與新藥制造已成為技術(shù)發(fā)展和經(jīng)濟(jì)投入的重要增長(zhǎng)點(diǎn)；在國(guó)際競(jìng)爭(zhēng)的大環(huán)境下，基礎(chǔ)科研實(shí)力是高新技術(shù)發(fā)展的重要源泉，是未來(lái)科學(xué)和技術(shù)發(fā)展的內(nèi)在動(dòng)力，也是實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)、社會(huì)和環(huán)境可持續(xù)性發(fā)展的

36、重要途徑，基礎(chǔ)科學(xué)研究的投入也將持續(xù)增長(zhǎng)。解決上述關(guān)系國(guó)家戰(zhàn)略和國(guó)計(jì)民生的重大挑戰(zhàn)性問(wèn)題都離不開高性能計(jì)算的強(qiáng)力支撐，可以預(yù)見在戰(zhàn)略層面， 各國(guó)對(duì)高性能計(jì)算的投入會(huì)持續(xù)增長(zhǎng)，而中國(guó)將更加發(fā)力； 在技術(shù)層面上，高性能計(jì)算的應(yīng)用范圍將越來(lái)越廣，發(fā)過(guò)來(lái)應(yīng)用需求也將催生高性能計(jì)算新技術(shù)的誕生與發(fā)展。Projectsd Pcirfoim biicq D eve I op me ntQ Ml則QSumttl Tiend Line一曲Q Trend Line一Sum TreiKl Line口得-我芯-9一將 S一行 zoe-2后 A京，二R ?看 rsR-S3 g-ss-旨將 二管 口息圖2-1全千HPC

37、TOP500統(tǒng)計(jì)數(shù)據(jù)顯示高性能計(jì)算能力呈指數(shù)型增長(zhǎng)國(guó)內(nèi)高性能計(jì)算發(fā)展現(xiàn)狀“九五”以來(lái)，在國(guó)家及相關(guān)政府的持續(xù)支持和IT企業(yè)的積極參與下，我國(guó)高性能計(jì)算機(jī)有了長(zhǎng)足的發(fā)展，研制隊(duì)伍不斷發(fā)展和壯大，主要的研制單位有：國(guó)家并行計(jì)算機(jī)工程 技術(shù)研究中心、中科院計(jì)算技術(shù)研究所國(guó)家智能中心、國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院、曙光公司等，是數(shù)十年積聚起來(lái)的我國(guó)高性能計(jì)算機(jī)技術(shù)研發(fā)的中堅(jiān)力量?！笆晃濉逼陂g，在國(guó)家863計(jì)劃“高效能計(jì)算機(jī)及網(wǎng)格服務(wù)環(huán)境”重大項(xiàng)目的支持下，我國(guó)先后研制成功若干臺(tái)百萬(wàn)億次和千萬(wàn)億次高性能計(jì)算機(jī)系統(tǒng)。2008年，曙光公司研制成功“曙光5000”百萬(wàn)億次計(jì)算機(jī)；2009年，國(guó)防科技大學(xué)研制成功“

38、天河一號(hào)”千萬(wàn)億 次計(jì)算機(jī)，使我國(guó)成為繼美國(guó)之后世界上第二個(gè)研制成功千萬(wàn)億次計(jì)算機(jī)的國(guó)家；2008年，曙光公司研制的“曙光 5000”百萬(wàn)億次高性能計(jì)算機(jī)位列全球 TOP500第十，亞洲第一；2010年，曙光公司研制成功“星云”千萬(wàn)億次計(jì)算機(jī)，性能列世界TOP500第二位；而升級(jí)后的“天河-1A”系統(tǒng)創(chuàng)造了中國(guó)高性能計(jì)算機(jī)全球排名第一的最好成績(jī)。中國(guó)高性能計(jì)算機(jī)在全球TOP500中的份額也在逐年增大，已經(jīng)成為僅次于美國(guó)的高性能計(jì)算大國(guó)。Couiitr1#w -雪y/t 的與物力|:MB9000300，圖2-2 TOP500系統(tǒng)國(guó)家分布?xì)v史統(tǒng)計(jì)我國(guó)在高性能計(jì)算機(jī)系統(tǒng)相關(guān)的基礎(chǔ)性支撐技術(shù)方面也有了

39、很大進(jìn)步。在處理器方面， 國(guó)內(nèi)自主研制的“龍芯”、“神威”、“飛騰”等系列的多核處理器方面已有所突破，相關(guān) 的生態(tài)環(huán)境正在逐步完善；在異構(gòu)協(xié)同與并行優(yōu)化方面，國(guó)內(nèi)在 CPU/GPU混合結(jié)構(gòu)的應(yīng)用 研究，比如生命科學(xué)領(lǐng)域的基因比對(duì)、分子動(dòng)力學(xué)、電鏡數(shù)據(jù)處理石油勘探領(lǐng)域的電子斷層三維重構(gòu)、疊前時(shí)間偏移等方面均取得突破。在系統(tǒng)軟件及環(huán)境方面，國(guó)內(nèi)在大規(guī)模異構(gòu)系統(tǒng)的管理和監(jiān)控、大規(guī)模系統(tǒng)的快速部署以及高效系統(tǒng)虛擬化等關(guān)鍵技術(shù)上也取得了很大進(jìn) 展?！笆晃濉逼陂g，在國(guó)家863計(jì)劃“高效能計(jì)算機(jī)及網(wǎng)格服務(wù)環(huán)境”重大項(xiàng)目的支持下，成功開發(fā)具有自主知識(shí)產(chǎn)權(quán)的中國(guó)國(guó)家網(wǎng)格軟件GOS (Grid Operatin

40、g System ),突破了廣域資源共享和協(xié)同工作的關(guān)鍵技術(shù)，其功能和性能已達(dá)到并超越國(guó)際同類軟件水平。此外， 863計(jì)劃還先后重點(diǎn)支持了化學(xué)、天文、氣象、生物醫(yī)藥、流體、激光聚變、大飛機(jī)、石油 勘探地震成像等領(lǐng)域的高性能計(jì)算應(yīng)用，形成了若干可利用上千以上的處理器核進(jìn)行計(jì)算模擬的應(yīng)用實(shí)例。高性能計(jì)算機(jī)關(guān)鍵技術(shù)發(fā)展現(xiàn)狀體系架構(gòu)作為高性能計(jì)算基礎(chǔ)設(shè)施的核心，現(xiàn)代高性能計(jì)算機(jī)的發(fā)展從20世紀(jì)70年代的向量計(jì)算機(jī)開始，也已經(jīng)有了幾十年的發(fā)展歷程。先后出現(xiàn)了向量機(jī)、多處理器并行向量機(jī)、MPP大規(guī)模并行處理機(jī)、SMP對(duì)稱多處理機(jī)、DSM分布式共享存儲(chǔ)計(jì)算機(jī)、Constellation星群系統(tǒng)、Cluste

41、r集群系統(tǒng)、混和系統(tǒng)等多種主體的體系架構(gòu)，并分別在不同的時(shí)期占據(jù)著應(yīng) 用的主流。其中，計(jì)算機(jī)集群（簡(jiǎn)稱集群、Cluster）是一種計(jì)算機(jī)系統(tǒng)，它通過(guò)一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作。在某種意義上，他們可以被看 作是一臺(tái)計(jì)算機(jī)。集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通過(guò)內(nèi)部網(wǎng)絡(luò)連接。高性能計(jì)算集群采用將計(jì)算任務(wù)分配到集群的不同計(jì)算節(jié)點(diǎn)而提高計(jì)算能力。比較流行的高性能計(jì)算集群采用Linux操作系統(tǒng)和其它一些標(biāo)準(zhǔn)軟件來(lái)完成并行運(yùn)算，這一集群配置通常被稱為 Beowulf集群。這類集群通常運(yùn)行特定的程序以發(fā)揮高性能計(jì)算集群的并行能力，這類程序 一般使用特定的運(yùn)行庫(kù)，比

42、如MPI等。相比于MPP等一些專有高性能計(jì)算系統(tǒng)，集群系統(tǒng)具有明顯的優(yōu)勢(shì)，包括： 集群的標(biāo)準(zhǔn)化程度高高性能計(jì)算集群一般都是采用工業(yè)標(biāo)準(zhǔn)的硬件和軟件系統(tǒng)，比如采用標(biāo)準(zhǔn)的x86架構(gòu)處理器；工業(yè)標(biāo)準(zhǔn)的互聯(lián)網(wǎng)絡(luò)，比如 InfiniBand、萬(wàn)兆網(wǎng)絡(luò)等；通用的 Linux操作系統(tǒng)；通用 的并行編程標(biāo)準(zhǔn)和模型；通用的作業(yè)分發(fā)調(diào)度系統(tǒng)等。靈活性、可擴(kuò)展性好集群是一個(gè)松散的架構(gòu)，由計(jì)算節(jié)點(diǎn)通過(guò)互聯(lián)網(wǎng)絡(luò)連接而成，一個(gè)集群可以方便地進(jìn)行擴(kuò)展；同樣的，一個(gè)集群也可以靈活的進(jìn)行物理或邏輯上的拆分。MPP等一些專有定制系統(tǒng)就很難做到這樣的靈活可擴(kuò)展性。 性能高集群?jiǎn)蝹€(gè)計(jì)算節(jié)點(diǎn)性能在不斷提升、集群互聯(lián)網(wǎng)絡(luò)技術(shù)發(fā)展迅猛、集

43、群可擴(kuò)展性也越來(lái)越好、集群的并行編程技術(shù)不斷進(jìn)步，集群已經(jīng)成為高性能計(jì)算的代名詞。性價(jià)比高由于集群采用的是標(biāo)準(zhǔn)化的軟硬件系統(tǒng)，采用的是大規(guī)模工業(yè)生產(chǎn)的設(shè)備部件，可以極 大程度降低高性能計(jì)算系統(tǒng)的建設(shè)成本，相應(yīng)的，集群的運(yùn)維和維護(hù)成本也要小很多。投資風(fēng)險(xiǎn)小集群技術(shù)經(jīng)過(guò)多年的發(fā)展，其硬件和軟件技術(shù)已經(jīng)發(fā)展得非常成熟， 建設(shè)和維護(hù)需要的 設(shè)備器件有充足的市場(chǎng)保障； 絕大部分高性能計(jì)算應(yīng)用在集群架構(gòu)上開發(fā)和調(diào)試， 應(yīng)用支持 程度高，可以確保高性能計(jì)算平臺(tái)的建設(shè)成功。正是因?yàn)榫哂械倪@些優(yōu)勢(shì)， 集群在高性能計(jì)算領(lǐng)域發(fā)展迅猛， 目前已經(jīng)成為高性能計(jì)算 的主流機(jī)構(gòu)，在TOP500中占據(jù)了 80%的市場(chǎng)份額，在

44、中小規(guī)模高性能計(jì)算系統(tǒng)中更是占統(tǒng)治地位。amt.WeSIMD5i崢PtDC.IW1 3001 2OC3 JtXM 2CO5 ZxM* 7007 20W W( 20W 3011 2(U2圖 2-3 TOP500中體系架構(gòu)份額歷史統(tǒng)計(jì).2處理器處理器是高性能計(jì)算機(jī)的計(jì)算核心，很大程度上決定了高性能計(jì)算機(jī)的計(jì)算性能。隨著x86處理器在PC消費(fèi)級(jí)市場(chǎng)的繁榮，其觸角逐漸延伸到高性能計(jì)算領(lǐng)域。另一方面，也隨著開放式集群架構(gòu)在高性能計(jì)算領(lǐng)域的統(tǒng)治地位確立，市場(chǎng)占有率大、性價(jià)比高的x86處理器也成為自然合理的選擇。自 2000年開始，Intel和AMD的x86處理器在高性能計(jì)算市場(chǎng) 占有率迅速擴(kuò)大，逐漸蠶食掉

45、了Alpha、MIPS、Power、SPARC、PA-RISC等RISC處理器的市場(chǎng)。40KProprietaryAlphaMIPSIBMHPJNTELAMDiw aniw iw moo emi moz 2M4 ms zom wot 婚力 xra* rav aou圖2-4 TOP500中處理器份額歷史統(tǒng)計(jì)此外,隨著GPU、Intel MIC等加速器/協(xié)處理器的出現(xiàn)，CPU不再是高性能計(jì)算領(lǐng)域計(jì)算單元的唯一選擇。相比于 CPU,這些協(xié)處理器的浮點(diǎn)運(yùn)算能力更強(qiáng)、任務(wù)處理模式更簡(jiǎn)單，非常適合部分高性能計(jì)算應(yīng)用。使用協(xié)處理器可以大大提升高性能計(jì)算機(jī)的計(jì)算性能, 分擔(dān)CPU的處理負(fù)載。全球 HPC TO

46、P500中協(xié)處理器的使用越來(lái)越多，其中包括 2012年 11月TOP500全球第一的Titan , 2010年11月全球第一的天河-1A,以及2010年6月全球第二的曙光星云系統(tǒng)。在協(xié)處理器的市場(chǎng)份額中，Nvidia GPU占據(jù)主導(dǎo)，AMD ATI GPU 也 有一定市場(chǎng)，近一兩年 Intel MIC (Xeon Phi)也開始發(fā)力，在未來(lái)可能會(huì)有較好市場(chǎng)表現(xiàn)。7C2004口國(guó)呻CSX600tW7ionHVIDIA2O5Ou1411InttlXccnPItiNVIDIA 20?0NVIDIA 2090NVIDIA K2Q2CU圖2-5 TOP500中使用協(xié)處理器的系統(tǒng)越來(lái)越多.3互聯(lián)網(wǎng)絡(luò)高性能

47、計(jì)算集群是一個(gè)通過(guò)內(nèi)部互聯(lián)網(wǎng)絡(luò)將松散的計(jì)算節(jié)點(diǎn)有效整合起來(lái)的系統(tǒng)架構(gòu), 內(nèi)部互聯(lián)網(wǎng)絡(luò)是高性能計(jì)算集群的核心技術(shù)之一。集群系統(tǒng)內(nèi)部互聯(lián)網(wǎng)絡(luò)主要用于以MPI為代表的并行計(jì)算程序節(jié)點(diǎn)間的數(shù)據(jù)網(wǎng)絡(luò)通信,從類型看，有的即作為計(jì)算網(wǎng)絡(luò)使用。不同計(jì)算方法和計(jì)算程序的數(shù)據(jù)通信特征不盡相同,數(shù)據(jù)交換以小數(shù)據(jù)包為主，有的大數(shù)據(jù)包交換較多。小數(shù)據(jù)包交換較多時(shí)，計(jì)算性能和效率對(duì)計(jì)算網(wǎng)絡(luò)的延遲非常敏感，大數(shù)據(jù)包交換較多時(shí),計(jì)算網(wǎng)絡(luò)的帶寬有關(guān)鍵性影響；從數(shù)據(jù)通信的頻率看，有的計(jì)算方法和程序數(shù)據(jù)通信不頻繁,對(duì)計(jì)算網(wǎng)絡(luò)的性能要求不高，有的數(shù)據(jù)通信密集，對(duì)計(jì)算網(wǎng)絡(luò)的性能要求很高?？偟膩?lái)說(shuō)，高性能計(jì)算機(jī)計(jì)算網(wǎng)絡(luò)的性能對(duì)并行計(jì)算程

48、序的并行加速比和并行擴(kuò)展性有重要的影響。計(jì)算網(wǎng)絡(luò)需要有高帶寬、低延遲的特點(diǎn)。與MPP等體系架構(gòu)一般使用高度定制化的私有內(nèi)部網(wǎng)絡(luò)不同，高性能計(jì)算集群系統(tǒng)一般采用標(biāo)準(zhǔn)通用的網(wǎng)絡(luò)技術(shù)和設(shè)備，比如以太網(wǎng)絡(luò)、Quadrics、Myrinet InfiniBand 。其中，千兆/萬(wàn)兆以太網(wǎng)絡(luò)技術(shù)發(fā)展成熟、通用性好，目前仍占有一部分市場(chǎng)份額；Quadrics和Myrinet在與InfiniBand的競(jìng)爭(zhēng)中敗下陣來(lái)，目前已基本在市場(chǎng)上消失，而 InfiniBand已經(jīng)成為通用高速網(wǎng)絡(luò)的代名詞，在高性能計(jì)算領(lǐng)域的市場(chǎng)份額逐年擴(kuò)大，已經(jīng)成為市場(chǎng)主流，特別是在大型、高端計(jì)算系統(tǒng)，InfiniBand幾乎成為標(biāo)配。i

49、ntFri ntiiixlshrtrp20i aoe* am imb seu miQu如 d.中 UtkcrK4b 域1 & FitMUM聞70%卜1+圖2-6 TOP500中互聯(lián)網(wǎng)絡(luò)份額歷史統(tǒng)計(jì).4作業(yè)調(diào)度系統(tǒng)作業(yè)調(diào)度系統(tǒng)是高性能計(jì)算機(jī)核心軟件系統(tǒng)之一，主要負(fù)責(zé)系統(tǒng)資源的統(tǒng)一管理和調(diào)度。作業(yè)調(diào)度系統(tǒng)一方面對(duì)系統(tǒng)軟硬件資源進(jìn)行監(jiān)控管理，另一方面負(fù)責(zé)對(duì)用戶提交任務(wù)進(jìn)行隊(duì)列管理，通過(guò)不同的調(diào)度算法和調(diào)度策略將合適的計(jì)算資源分配給用戶計(jì)算任務(wù)。通過(guò)作業(yè)調(diào)度系統(tǒng)，可以整合系統(tǒng)軟硬件資源，實(shí)現(xiàn)“單一系統(tǒng)映像”，對(duì)資源和計(jì)算任務(wù)的統(tǒng)一管理避免的資源沖突，此外，作業(yè)調(diào)度系統(tǒng)還能對(duì)多用戶、多隊(duì)列、異構(gòu)計(jì)算資源

50、等進(jìn)行不同的權(quán)限控制和精細(xì)管理,結(jié)合負(fù)責(zé)高效的調(diào)度算法，可以優(yōu)化高性能計(jì)算機(jī)的使用方式，提高資源的利用率。匚*-I-T L異* 1taBD JU 0mX T dOL、i_rlaiM. Brakrr圖2-7作業(yè)調(diào)度系統(tǒng)軟件的發(fā)展歷史作業(yè)調(diào)度系統(tǒng)的發(fā)展歷史比較悠久，目前使用廣泛的作業(yè)調(diào)度系統(tǒng)有Oracle Grid Engine（前身為 SGE： Sun Grid Engine ）、Portable Batch System （ PBS,包括開源的 OpenPBS、Torque 和商業(yè)版 PBS Pro）、IBM LoadLeveler、Condor、Simple Linux Utility fo

51、r Resource Management（SLURM）以及 EM Platform LSF等。在國(guó)內(nèi)，PBS系列的作業(yè)調(diào)度軟件具有最廣泛的用 戶群。2.2.3系統(tǒng)需求分析先進(jìn)性需求目前，世界IT技術(shù)發(fā)展迅速，按照摩爾定律，每 18個(gè)月計(jì)算性能發(fā)展一倍，所以對(duì)于IT設(shè)備采購(gòu)，保證系統(tǒng)的先進(jìn)性非常重要，只有先進(jìn)的系統(tǒng)才能保證用戶的IT投資具有更高的投入產(chǎn)出比，對(duì)于用戶的使用、總體擁有和擴(kuò)展才能有所保證。（Wj可晶、tWj可用需求本系統(tǒng)建成后將面向全校，提供一個(gè)高性能公共計(jì)算平臺(tái)，系統(tǒng)的高可靠高可用是保證服務(wù) 質(zhì)量和好的用戶體驗(yàn)的前提。適合用戶應(yīng)用軟件需求正如應(yīng)用需求分析中提到，系統(tǒng)建成后將提供數(shù)

52、十種高性能計(jì)算應(yīng)用軟件，必須保證這些應(yīng)用軟件在該平臺(tái)的高效運(yùn)行，才能讓系統(tǒng)建設(shè)的效果真正發(fā)揮出來(lái)。易使用需求Linux操作系統(tǒng)有一定的使用難度，必須使用工具或方法，降低用戶的使用難度，才能保證系統(tǒng)有較高的使用率。可擴(kuò)展性需求本次高性能計(jì)算為對(duì)原有系統(tǒng)進(jìn)行擴(kuò)展，同時(shí)，也要考慮到系統(tǒng)建成后的擴(kuò)展性，這樣，當(dāng)系統(tǒng)要更新時(shí)，不會(huì)造成投資的浪費(fèi)。易管理維護(hù)需求系統(tǒng)規(guī)模大，節(jié)點(diǎn)眾多、應(yīng)用復(fù)雜、用戶數(shù)量多，帶給管理員管理難度大、管理效率低，必須使用功能強(qiáng)大、易于操作的管理系統(tǒng)和提供培訓(xùn)、實(shí)習(xí)等方式保證系統(tǒng)能夠高效管理運(yùn)維。節(jié)能環(huán)保需求系統(tǒng)規(guī)模大，耗電量大，節(jié)能環(huán)保不但能夠大大降低用戶運(yùn)維成本，同時(shí)也是在相應(yīng)

53、國(guó)家節(jié)能減排、綠色低炭的號(hào)召。2.3方案總體設(shè)計(jì)2.3.1系統(tǒng)拓?fù)鋱D節(jié)防(2ft)IrvfimBanditff圖3-1系統(tǒng)拓?fù)鋱D2.3.2系統(tǒng)優(yōu)勢(shì)先進(jìn)性本系統(tǒng)中，我們使用的刀片集群架構(gòu)，為目前高性能發(fā)展的先進(jìn)趨勢(shì)。使用的最新一代Intel E5-2600 v3處理器，為目前性能最高的 X86處理器。使用的Infiniband 網(wǎng)絡(luò)，也為目前最為先進(jìn)的網(wǎng)絡(luò)技術(shù)。高可靠、高可用需求關(guān)鍵節(jié)點(diǎn)設(shè)計(jì)高可用，系統(tǒng)采用刀片服務(wù)器，冗余電源，并行存儲(chǔ)系統(tǒng)采用多副本、 全冗余技術(shù)，故障對(duì)象可自動(dòng)修復(fù)。同時(shí)，高效管理監(jiān)控系統(tǒng)也是保證系統(tǒng)高可靠、 高可用的保證。適合用戶應(yīng)用軟件需求用戶應(yīng)用軟件眾多， 用戶眾多，對(duì)計(jì)

54、算需求大，系統(tǒng)共配置104TFLOPS勺計(jì)算能力。針 對(duì)部分應(yīng)用對(duì)節(jié)點(diǎn)間網(wǎng)絡(luò)需求高，配置了高帶寬，低延時(shí)的Infiniband 網(wǎng)。帶寬達(dá)到40Gbps,延時(shí)小于3us。同時(shí)，海量計(jì)算時(shí)的 IO并發(fā)讀寫量巨大，對(duì)存儲(chǔ)的容量和性 能需求驚人，系統(tǒng)配置了并行存儲(chǔ)系統(tǒng)，能夠?qū)崿F(xiàn)所有存儲(chǔ)的統(tǒng)一地址和并發(fā)讀寫。 可擴(kuò)展性需求 集群的架構(gòu)可以保證計(jì)算系統(tǒng)的良好擴(kuò)展，同時(shí)，并行存儲(chǔ)的架構(gòu)也實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的擴(kuò)展。易管理維護(hù)需求配置高效管理系統(tǒng)，支持監(jiān)控、告警、管理、報(bào)表等多項(xiàng)功能，解決管理員的后顧之憂， 同時(shí)，對(duì)管理員的培訓(xùn)和對(duì)系統(tǒng)的運(yùn)維支持，也能有效提高系統(tǒng)的管理水平。 節(jié)能環(huán)保需求配置了刀片系統(tǒng)和高效節(jié)能

55、系統(tǒng)，支持空載節(jié)點(diǎn)的自動(dòng)待機(jī)，能夠有效降低能耗， 幫助用戶節(jié)省運(yùn)維成本。2.3.3系統(tǒng)方案說(shuō)明計(jì)算系統(tǒng)CPU整體峰值性能達(dá)到 46.59萬(wàn)億次；系統(tǒng)配置高性能、可擴(kuò)展的并行存儲(chǔ)系統(tǒng)，可以擴(kuò)展到PB級(jí)，能夠?qū)崿F(xiàn)全局文件的統(tǒng)一訪問(wèn)和并發(fā)讀寫； 主要產(chǎn)品都采用了冗余設(shè)計(jì)（電源、風(fēng)扇等），系統(tǒng)的可靠性有極高保證；提供曙光商用版高性能作業(yè)調(diào)度系統(tǒng)，可達(dá)到新舊資源整合、統(tǒng)一調(diào)度；曙光公司將為用戶提供完善的服務(wù)，包括安裝調(diào)試、系統(tǒng)優(yōu)化、用戶培訓(xùn)等，這些都不 單獨(dú)收費(fèi)，用戶不必考慮這些方面的費(fèi)用；曙光公司是領(lǐng)先的專業(yè)高性能機(jī)算機(jī)及方案提供商，擁有較多的成功案例， 包括千萬(wàn)億次超級(jí)機(jī)算機(jī)的成功案例，產(chǎn)品的可靠性

56、和穩(wěn)定性得到了充分驗(yàn)證。計(jì)算系統(tǒng)計(jì)算系統(tǒng)需求分析.計(jì)算性能高高性能計(jì)算應(yīng)用最為核心的需求仍然是計(jì)算能力，高性能計(jì)算機(jī)峰值計(jì)算能力代表著高性能計(jì)算機(jī)的整體處理能力， 而對(duì)于大部分的高性能計(jì)算應(yīng)用， 對(duì)計(jì)算資源的海量需求仍然 是最為迫切和直接的需求。.適合高性能應(yīng)用高性能計(jì)算機(jī)的最核心的需求仍然為適合高性能計(jì)算機(jī)的使用方的應(yīng)用軟件，從而幫助科研及生產(chǎn)工作，所以高性能計(jì)算采用的部件及架構(gòu)要適合高性能計(jì)算軟件。如果應(yīng)用軟件的擴(kuò)展性不好，則在相同的預(yù)算下，盡量考慮高主頻、核心較少的方案。如果系統(tǒng)擴(kuò)展性很 好，則盡量考慮總體計(jì)算峰值最高的方案。.每瓦性能高高效能代表著高性能計(jì)算的每瓦性能較高， 這是評(píng)價(jià)高

57、性能計(jì)算機(jī)架構(gòu)是否科學(xué)、 配置 是否合理的重要指標(biāo)。能源的利用率對(duì)于降低總體擁有成本、 節(jié)能減排有著重要意義。GPU、 MIC等眾核方案具有較高的計(jì)算效能、 如果用戶的應(yīng)用適合 GPU或MIC等眾核方案，可廣 泛采用。.總體功耗低高性能計(jì)算機(jī)是能耗大戶，一臺(tái)高性能計(jì)算滿負(fù)載運(yùn)行，在他的生命周期內(nèi)所消耗的電力的預(yù)算幾乎和高性能計(jì)算機(jī)初期的預(yù)算一致，所以高性能計(jì)算機(jī)降低功耗非常有意義。降低功耗一般可以通過(guò)選購(gòu)效率較高的IT設(shè)備、提高制冷及空氣調(diào)節(jié)效率、使用功耗控制軟件等幾個(gè)方面實(shí)施。.高密度較高密度能滿足用戶機(jī)房空間有限的需求，同時(shí)，較高的密度能夠有效節(jié)約空間， 降低運(yùn)維成本，降低管理難度。刀片集

58、群系統(tǒng)共配置70片曙光SR60-T20計(jì)算刀片服務(wù)器，安裝在 2個(gè)曙光TC5600整機(jī)柜平 臺(tái)中。每個(gè)刀片服務(wù)器配置 2顆8核Intel Xeon E5-2640V3處理器，主頻2.6Ghz,刀片節(jié)點(diǎn)總雙精度峰值 46.592萬(wàn)億次。每節(jié)點(diǎn)配置 64GB DDR4 2133MHz內(nèi)存。目前，開放的集群（Cluster）系統(tǒng)具有較多的優(yōu)勢(shì)，已經(jīng)占據(jù)了目前高性能計(jì)算機(jī)的主流 位置，在TOP500中占據(jù)了 80%以上的份額，在中小規(guī)模的高性能計(jì)算系統(tǒng)中更是占據(jù)統(tǒng)治 地位。刀片式集群系統(tǒng)在計(jì)算密度、功耗散熱、運(yùn)營(yíng)成本、維護(hù)成本、可靠性等方面，都明 顯優(yōu)于其它系統(tǒng)，且為系統(tǒng)的擴(kuò)容升級(jí)提供了良好的基礎(chǔ)，刀

59、片系統(tǒng)的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面。計(jì)算密度更高提高計(jì)算密度是刀片服務(wù)器發(fā)展的主要?jiǎng)恿χ?。?duì)于大規(guī)模并行計(jì)算機(jī)來(lái)說(shuō)，提高計(jì)算密度尤其重要，刀片式集群系統(tǒng)有效提高了計(jì)算密度。機(jī)房要求降低大規(guī)模高性能計(jì)算機(jī)將對(duì)機(jī)房空間提出較高的要求，并且要為系統(tǒng)的擴(kuò)容升級(jí)留下空間。刀片式集群系統(tǒng)實(shí)現(xiàn)了較高的計(jì)算密度， 并且有效降低了系統(tǒng)功耗，對(duì)系統(tǒng)空調(diào)等散熱系統(tǒng) 的要求也相對(duì)降低。功耗散熱降低刀片服務(wù)器的功耗部件較少。刀片柜中的電源將由多個(gè)刀片共享，所以會(huì)使用高效率電源，減小了系統(tǒng)功耗，同時(shí)產(chǎn)生的熱量減少，減少了冷卻系統(tǒng)的耗電量。節(jié)能的設(shè)計(jì)體現(xiàn)在曙光刀片服務(wù)器的各個(gè)層面：1）根據(jù)實(shí)時(shí)功耗確定工作電源個(gè)數(shù)，使電源

60、工作在最佳效率曲線上。2）修改計(jì)算刀片操作系統(tǒng)內(nèi)核，實(shí)現(xiàn)節(jié)能3）多計(jì)算刀片任務(wù)調(diào)整調(diào)度布線簡(jiǎn)單在機(jī)架式服務(wù)器構(gòu)成的集群系統(tǒng)中，系統(tǒng)布線是一個(gè)很大的問(wèn)題。系統(tǒng)的線纜可能包括高性能計(jì)算網(wǎng)絡(luò)（InfiniBand ,以太網(wǎng)等）、數(shù)據(jù)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、監(jiān)控網(wǎng)絡(luò)、電源網(wǎng)絡(luò)、KVM 網(wǎng)絡(luò)等，這些線纜需要連接到每一個(gè)計(jì)算單元。尤其是在高密度、計(jì)算單元數(shù)目又比較多的 情況下，系統(tǒng)布線是令設(shè)計(jì)人員頭疼的問(wèn)題。多個(gè)刀片服務(wù)器可以共用冗余電源，內(nèi)刀片式集群系統(tǒng)可以大大減少系統(tǒng)布線的數(shù)量。 置的交換機(jī)將高速網(wǎng)絡(luò)(InfiniBand等)、數(shù)據(jù)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、 KVM網(wǎng)絡(luò)集成在一起，只 需要對(duì)刀片柜進(jìn)行布線，刀片柜內(nèi)部的