國家超算中心建設(shè)的重大意義

國家超算中心浪潮天梭TS10K高性能服務(wù)器浪潮集團有限公司TIME\@"yyyy'年'M'月'd'日'"2015年6月18日目錄TOC\o"1-3"\h\z\u前言國家超算中心建設(shè)的重大意義2014年11月，全球超級計算機TOP500排行正式放榜。中國高性能計算機載譽而歸，“天河二號”連續(xù)四次名列第一，創(chuàng)造了中國高性能計算機在全球的最佳成績，打破了美國對此項目的長期壟斷，實現(xiàn)了歷史性的突破。在500強榜單上，北美入圍的超級計算機數(shù)量最多，達到237個；歐洲國家有125個超級計算機入圍；亞洲已經(jīng)迎頭趕上有120個，其中中國達到61個。沙特目前有4套系統(tǒng)上榜，用于科研和工業(yè)的研究。區(qū)域數(shù)量份額Rmax（GF）Rpeak（GF）AustraliaandNewZealand9%EasternAsia104%EasternEurope12%NorthAmerica237%NorthernEurope43%SouthAmerica4%1031365South-centralAsia9%South-easternAsia1%401600SouthernEurope5%8559176WesternAsia6%3605469WesternEurope70%總計500%高性能計算水平體現(xiàn)著一個國家的綜合實力，在當今社會，高性能計算在一個國家的重要性越來越明顯，計算科學已經(jīng)成為21世紀最重要的技術(shù)領(lǐng)域之一，它在石油勘探、氣象預報、航空航天、信息研究、生命科學、材料工程和基礎(chǔ)科學研究、行業(yè)的信息化、數(shù)據(jù)大集中等方面都具有重要的意義，它對整個社會的進步起著基礎(chǔ)性的作用。國家超算中心的建設(shè)對國家保持科學研究領(lǐng)導地位、提高經(jīng)濟競爭力以及維護國土安全、提升國際地位發(fā)揮將會發(fā)揮重要作用。國家超算中心可提高國家經(jīng)濟競爭力近日，由中國石油集團東方地球物理勘探有限責任公司（BGP）與浪潮集團合作完成CPU/GPU異構(gòu)并行疊前時間偏移地震信息處理軟件（PSTM）成功應用于中石油國家站點，由浪潮提出的“CPU-GPU協(xié)同計算”的HPC計算架構(gòu)，成功打造了堅持應用創(chuàng)新引領(lǐng)高性能發(fā)展的經(jīng)典案例，為中石油集團參與國際競爭，提升中國在國際石油市場話語權(quán)奠定了堅實的基礎(chǔ)。國家近年來科研水平不斷提升，在科研的眾多方面都對計算能力有個強大的需求。通過建造這套國家高性能計算中心，可以廣泛的應用于各行各業(yè)，尤其是石油勘探行業(yè)，為國家經(jīng)濟發(fā)展帶來新的增長點。石油行業(yè)是高性能計算機（HPC）應用最為廣泛的領(lǐng)域，為了了解和模擬出地下數(shù)千米的地質(zhì)構(gòu)造，需要通過地震波反射的方式來收集海量數(shù)據(jù)（一般二維數(shù)據(jù)1-2TB，三級數(shù)據(jù)高達幾百TB甚至PB級），然后進行大量的密集計算和模擬，計算結(jié)果出來后還要轉(zhuǎn)換成直觀的可視畫面，方便專家對數(shù)據(jù)進行解釋，為油氣鉆井定位提供參考。由于本身數(shù)據(jù)量和計算量過于巨大，同時為了尋找深層、隱伏和巖性油氣藏，對計算精度和實時性的要求越來越高。因此，石油行業(yè)對于計算能力的需求可謂是永無止境的。要知道今天打一口井的代價非常高昂，一般要花費千萬元，而在有些地區(qū)動輒需要上億元，強大的高性能計算地震模擬可以幫助專家縮小誤差，避免損失。通過國家超算中心千萬億次的集群系統(tǒng)，沙特可以充分發(fā)揮本國在石油勘探、石油開采等領(lǐng)域的實力，提高本國石油產(chǎn)品在國際上的競爭力。有了這套高性能系統(tǒng)，可以進一步發(fā)揮國家在石油行業(yè)的優(yōu)勢，充分利用國內(nèi)的石油資源，提高國家經(jīng)濟競爭力。國家超算中心可提升國家科研實力數(shù)值模擬與理論和實驗三位一體是促進21世紀科學研究和技術(shù)開發(fā)的三大支柱。高性能計算正在變得與計算密集型應用越來越密不可分，已成為石油勘探、量子力學物理、天氣預報、氣候研究、分子建模、物理仿真、密碼分析等領(lǐng)域的重要手段，而只有千萬億次級別的高性能計算系統(tǒng)才能幫助這些領(lǐng)域取得更加精湛的成就。國家超算中心提升CAE行業(yè)應用實力CAE即計算機輔助工程設(shè)計，自二十世紀六十年代以來CAE技術(shù)得到飛速發(fā)展，其原動力是不斷增長的工業(yè)需求，其中航天航空、能源動力等領(lǐng)域是其發(fā)展的強大的推動力。目前在航空、航天、能源動力等工業(yè)領(lǐng)域，利用CAE進行反復設(shè)計、分析、優(yōu)化已成為標準的必經(jīng)步驟和手段。如大型復雜飛行器結(jié)構(gòu)的流-固耦合計算，涉及計算空氣動力學、計算燃燒學、計算傳熱學、計算結(jié)構(gòu)力學等眾多學科。航空航天業(yè)是應用CAE最為廣泛的行業(yè)。究其原因，主要是航空航天器結(jié)構(gòu)復雜（通常需要進行十萬以上自由度的計算），力傳遞路線多，工作在多變的流體環(huán)境下（流體力學本身就需要大量的復雜計算），對可靠性、耐久性和損傷容限的要求很高，以及實驗條件無法完全模擬真實環(huán)境（有的實驗甚至根本無法進行）等。這些原因都使航空航天業(yè)的發(fā)展離不開CAE仿真，并且越來越依賴于CAE仿真。在航空航天領(lǐng)域，重大力學問題、高超聲速科技工程、大型飛機工程中，計算科學對復雜空氣流動力學原理的精細認識、飛行器布局設(shè)計、機翼等關(guān)鍵部件的參數(shù)設(shè)計和性能優(yōu)化、氣動聲學和氣動光學、返回艙黑障區(qū)電磁耦合、流固耦合、發(fā)動機內(nèi)流、多學科設(shè)計優(yōu)化等方面，具有極其重要的支撐作用。在美國和歐盟大量采用高性能數(shù)值模擬提升飛行器設(shè)計能力的今天，體現(xiàn)核心競爭力的關(guān)鍵技術(shù)和優(yōu)化設(shè)計也必須依賴于計算科學。國家超算中心可提高國家在國際上的影響力從世界超級計算機Top500分布情況來看，超級計算能力與一個國家（地區(qū)）經(jīng)濟社會發(fā)展水平密切相關(guān)。因此，美、歐、日等發(fā)達國家（地區(qū)）長期投入巨大的人力、財力、物力發(fā)展超級計算能力，并幾乎壟斷全球超級計算機研發(fā)和應用。在沙特，在Top500榜單中，近三年共六期的排名中，共有4次進入Top500中。在2014年11月，有4臺進入Top500。榜單年份排名安裝地點名字安裝年份應用領(lǐng)域201462SaudiAramcoFaris2014Industry201493KingAbdulazizCityforScienceandTechnologySANAM2012Research2014111SaudiAramcoMakman2013Industry2014335KingAbdullahUniversityofScienceandTechnologyShaheen2009Academic身處世界超級計算的激烈競爭中，面對國內(nèi)計算需求快速增長的局面，國家超算中心的建立，可以力爭成為行業(yè)計算能力最強的超級計算機，滿足為國家服務(wù)的同時，也可以大大提高國家在國際上面的影響力。國家超算中心提升行業(yè)高性能計算機應用水平在浪潮集團為國家設(shè)計建設(shè)的國家超算中心過程中，浪潮集團帶來的不僅是系統(tǒng)本身，更是和系統(tǒng)相關(guān)的技術(shù)和應用經(jīng)驗，這也可以大幅度提升國家在高性能領(lǐng)域的技術(shù)實力，并且能夠極大的提升在CAE行業(yè)的高性能計算應用水平。目前，新技術(shù)層出不窮并飛速發(fā)展，在國防工業(yè)的各個領(lǐng)域（如航空、航天、車輛、船舶等）中，各學科（如工程力學、機械制造等）間通常要進行跨行業(yè)、跨學科的交叉，因此工程師們要掌握多方面的知識，這也擴展了不同學科運用CAE的深度和廣度。很大一部分用戶已經(jīng)從使用CAE軟件進行單一類型、單一學科的分析向使用軟件進行綜合型分析轉(zhuǎn)變，有40%的受調(diào)查者正在用CAE軟件靈活地進行多個類型、多個學科的仿真分析，以解決各種實際的工程問題。目前精通CAE的人才數(shù)量還很有限，很多老一代研究人員對CAE的接觸很少，而年輕人因為設(shè)計經(jīng)驗不足，對仿真條件的假設(shè)不準確，因此分析出的數(shù)據(jù)參考價值不高。有設(shè)計經(jīng)驗的人沒有CAE的操作使用經(jīng)驗；而有軟件操作經(jīng)驗者卻缺乏設(shè)計經(jīng)驗，這正是目前研發(fā)及工程領(lǐng)域的一個突出問題。建設(shè)一套百萬億次的超算中心，能夠讓年輕人借助有經(jīng)驗的設(shè)計人員的設(shè)計思想修正自己在CAE使用中可能產(chǎn)生的疏漏，對于沙特航空航天的人才培養(yǎng)起到了非常重要的意義。國家超算中心建設(shè)與運營國家超算中心建設(shè)國家超算中心的建設(shè)是一個復雜的系統(tǒng)工程，需要一個完善的規(guī)劃和實施方案。浪潮集團作為中國領(lǐng)先的高性能計算系統(tǒng)提供商，可以提供一整套完善的解決方案，包括計算系統(tǒng)、制冷系統(tǒng)、機房裝修等整個方案。浪潮天梭TS10000是一個技術(shù)含量高，結(jié)構(gòu)復雜的系統(tǒng)產(chǎn)品，專業(yè)的服務(wù)與全面的技術(shù)培訓對用戶是十分必要的，這將有助于用戶更好地應用高性能計算機系統(tǒng)，更好的維護系統(tǒng)，保證業(yè)務(wù)的穩(wěn)定、高效運行。由于此次項目的特殊性，系統(tǒng)能快速有效的建立并穩(wěn)定運行、用戶使用方便好用、使用過程中得到浪潮及時有效的技術(shù)支持和相關(guān)服務(wù)，最后達到用戶滿意，我們對此項目制定專門的實施方案。詳細實施驗收方案根據(jù)浪潮集團多年來高性能服務(wù)器系統(tǒng)的項目實施經(jīng)驗，結(jié)合本次項目的需求，實施部分從總體上為三個階段：山東濟南預安裝系統(tǒng)用戶現(xiàn)場實施用戶現(xiàn)場調(diào)優(yōu)階段每個階段都將作為一個獨立的子項目運作，并且三個階段將有機的結(jié)合起來，最終完成整個項目的建設(shè)，達到用戶的建設(shè)目標。山東濟南預安裝為確保系統(tǒng)穩(wěn)定運行，萬無一失，我們的貨物在發(fā)出前會在山東濟南先期組裝和試運行，并進行壓力測試，確保不產(chǎn)生意外。試運行階段進行各項測試，以便及早發(fā)現(xiàn)存在的問題，將其解決，使項目后期實施順利進行。用戶現(xiàn)場實施國內(nèi)試運行階段完成后，將貨物發(fā)送至用戶，且隨貨發(fā)出的還有常見易損備件。等貨物到達后，我們將會派出專業(yè)的高性能團隊到現(xiàn)場進行安裝調(diào)試，并協(xié)助用戶完成應用軟件的移植工作。具體安排根據(jù)與客戶協(xié)商結(jié)果確定。由于前期預安裝階段已經(jīng)配置好基本環(huán)境，在現(xiàn)場實施階段的工作重點是將整套系統(tǒng)重新組裝上架，硬件搭建，及客戶應用軟件的移植和調(diào)優(yōu)工作。用戶現(xiàn)場系統(tǒng)調(diào)優(yōu)為了發(fā)揮系統(tǒng)潛力，浪潮在系統(tǒng)實施完成后，將根據(jù)系統(tǒng)特點以及客戶的應用進行系統(tǒng)級的調(diào)優(yōu)。調(diào)優(yōu)主要工作有：節(jié)點BIOS級調(diào)優(yōu)：高性能計算中，為了充分利用CPU的計算資源，往往在BIOS里關(guān)掉超線程功能。打開系統(tǒng)BIOS緩存：SystemBIOSCacheable，也叫SystemBIOSShadow(系統(tǒng)BIOS遮罩)，打開該功能，系統(tǒng)性能可以得到很大提高。打開視頻BIOS遮罩：VideoBIOSShadow功能將把顯卡的基本BIOS功能存儲到內(nèi)存里，在任何時候都能被方便的調(diào)用，使CPU能以更高的速度讀取這些功能。打開該功能將在很大程度上提高系統(tǒng)性能。關(guān)閉不必要的IDE通道：OnboardIDEController，通過關(guān)閉不必要的IDE通道，可以提升系統(tǒng)IO效率。微架構(gòu)調(diào)優(yōu)：針對特定的處理器架構(gòu)做指令級優(yōu)化——數(shù)據(jù)對齊、數(shù)據(jù)結(jié)構(gòu)，分支、高速緩存的使用等。微架構(gòu)優(yōu)化可實現(xiàn)非常顯著的性能提升——在其他優(yōu)化手段完成后再實施，需要經(jīng)驗豐富的底層結(jié)構(gòu)優(yōu)化工程師，深入持續(xù)的支持。應用程序?qū)诱{(diào)優(yōu)：確定圍繞關(guān)鍵執(zhí)行路徑的可優(yōu)化的代碼段。關(guān)鍵執(zhí)行路徑指耗用最長執(zhí)行時間的函數(shù)群。通過對下列常見問題區(qū)域的性能改善可以縮短關(guān)鍵路徑執(zhí)行時間，從而降低整體執(zhí)行時間：常見的可線程化區(qū)域線程數(shù)據(jù)交互和同步數(shù)據(jù)結(jié)構(gòu)的選擇循環(huán)例程和系統(tǒng)API調(diào)用的結(jié)果在分散存儲的集群系統(tǒng)中MPI消息傳遞造成的應用性能擴展問題.系統(tǒng)層優(yōu)化：確認由系統(tǒng)訪問延遲造成的性能限制。通?？紤]的系統(tǒng)性能因素包括磁盤IO、網(wǎng)絡(luò)IO、存儲訪問、處理器帶寬/利用率，總線帶寬/延遲。用戶項目技術(shù)培訓針對于本次集群項目，浪潮公司專門做出了一套完善的技術(shù)培訓計劃。技術(shù)培訓對高性能集群用戶是十分必要的，這將有助于用戶更好的維護系統(tǒng)，保證業(yè)務(wù)的穩(wěn)定運行，更好地應用高性能計算機系統(tǒng)。通過一系列的主題培訓，使系統(tǒng)管理人員能較熟練的掌握集群系統(tǒng)的安裝、使用和維護，使整個系統(tǒng)能夠正常、安全的運行；使系統(tǒng)使用人員能夠了解各種應用的安裝、調(diào)試過程，對并行程序的運行、調(diào)優(yōu)有更加深入的認識。我們將組織專門的培訓人員和合作伙伴，集中力量根據(jù)用戶集群系統(tǒng)建設(shè)項目的應用特點和用戶的實際情況編寫適合的培訓教材。本次項目培訓方式采用山東濟南集中授課培訓、預安裝操作培訓和用戶現(xiàn)場培訓三種方式。集中授課培訓本次培訓對最終用戶進行集中理論培訓，教學采用課堂授課方式。通過集中授課培訓，讓學員掌握硬件設(shè)備的架構(gòu)、原理，平臺技術(shù)、應用選型和安全維護，以及常見故障的判斷分析；整體系統(tǒng)的架構(gòu)、平臺技術(shù)；各種操作系統(tǒng)、軟件系統(tǒng)、應用軟件的基礎(chǔ)知識、原理介紹、系統(tǒng)調(diào)優(yōu)、應用軟件遷移等知識?，F(xiàn)場操作培訓在預安裝階段，客戶可以安排人員參與我們的工作，我們將通過對整個系統(tǒng)的安裝、調(diào)試，讓用戶管理員有一個感性的認識，并能夠?qū)τ布O(shè)備進行一般的操作、維護和常見故障的判斷分析。對軟件系統(tǒng)有深入的理解，可以自主使用應用軟件功能。在上述的實踐培訓和實際操作過程中，我們將和您一起分析遇到的問題，并對您進行故障判斷、排除等方面的現(xiàn)場培訓。用戶現(xiàn)場培訓在用戶現(xiàn)場培訓階段，我們的工程師將主要培訓客戶如果管理和使用這套集群系統(tǒng)，尤其是集群管理，作業(yè)任務(wù)提交，系統(tǒng)維護等方面能夠熟練使用。在上述的實踐培訓和實際操作過程中，我們將和您一起分析遇到的問題，并對您進行故障判斷、排除等方面的現(xiàn)場培訓。國家超算中心運營目前，隨著越來越多的高性能計算機的面世，超算中心關(guān)鍵設(shè)施的運營和維護（O&M）正受到與建設(shè)和設(shè)計這些復雜場所同等地位的對待。由于關(guān)鍵基礎(chǔ)設(shè)施變得更加復雜，提高了容錯性和并行維護能力，建立同等的O&M實踐管理這些設(shè)施的重要性變得日益明顯。研究顯示，有60%甚至更多的事故都與人類的活動相關(guān)，包括例行的維護和關(guān)鍵系統(tǒng)的重新配置，維護任務(wù)以及人為失誤。支持連續(xù)運營的必要人員和程序必須在數(shù)據(jù)中心運行第一天到位，這需要在數(shù)據(jù)中心開始運營之前就做好這些準備工作，最好在規(guī)劃和需求定義階段就開始準備。用戶國家超算中心的建設(shè)是一個非常重大的項目，面對一個如此大規(guī)模的系統(tǒng)，后期的運營和維護將是一個很大的挑戰(zhàn)。后期工作主要包括：維護超算系統(tǒng)穩(wěn)定高效運行.定期對超算系統(tǒng)進行巡檢，發(fā)現(xiàn)問題及時排除。定期檢查用戶作業(yè)運行情況，必要時進行處理。負責超算中心擴充建設(shè)適時擴充超算平臺，滿足眾多用戶對超級運算的需求。及時更新及新添編譯器、數(shù)學函數(shù)庫等，充分發(fā)揮性能。及時更新超算中心主頁，增加必要的文檔。負責受理超算用戶的開戶銷戶申請、辦理開戶銷戶手續(xù)確定用戶開戶類型，用戶填寫相應開戶申請表格