HPC技術(shù)趨勢(shì)-HPDA、深度學(xué)習(xí)和軟件定義等

1、 HPC技術(shù)趨勢(shì): HPDA、深度學(xué)習(xí)和軟件定義等 百度首席科學(xué)家吳恩達(dá)曾經(jīng)說，深度學(xué)習(xí)的前沿正轉(zhuǎn)移到高性能計(jì)算，NVIDIA、AMD及Google、阿里巴巴等公司也確實(shí)都在為深度學(xué)習(xí)研發(fā)HPC的新能力。那么，深度學(xué)習(xí)任務(wù)為HPC注入了哪些新的東西？除了深度學(xué)習(xí)，HPC還有哪些值得關(guān)注的技術(shù)趨勢(shì)？ 在9月24日的2015高性能計(jì)算用戶大會(huì)(HPCUF2015)上，北京航空航天大學(xué)教授、國(guó)家863計(jì)劃“高性能計(jì)算機(jī)及其核心軟件”重大專項(xiàng)總體組組長(zhǎng)錢德沛，浪潮集團(tuán)高性能計(jì)算總經(jīng)理劉軍，以及IDC 副總裁、IDC HPC User Forum執(zhí)行總監(jiān)Earl C. Joseph II接受了CSDN記

2、者的采訪，對(duì)云計(jì)算大數(shù)據(jù)時(shí)代的HPC技術(shù)趨勢(shì)進(jìn)行了深入的解讀。 在整個(gè)訪談過程中，三位專家立足應(yīng)用展開回答。錢德沛表示，Top500套數(shù)的動(dòng)態(tài)排名中，中國(guó)的起伏并不足慮，應(yīng)當(dāng)關(guān)心的是HPC的整體發(fā)展水平，更進(jìn)一步地說，是要關(guān)注到底哪些領(lǐng)域進(jìn)了Top500榜單和實(shí)際發(fā)揮的作用。他認(rèn)為，HPC應(yīng)該避免把自己限制到很窄的范圍，要有一定的量才能促進(jìn)應(yīng)用的發(fā)展。 Earl C. Joseph II認(rèn)為，大數(shù)據(jù)時(shí)代的到來，讓HPDA(基于HPC的大數(shù)據(jù)分析)應(yīng)用成為HPC的下一個(gè)爆點(diǎn)，目前67%的HPC資源用于HPDA，而機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的需求是其中較為典型的應(yīng)用，一個(gè)解決思路是眾核擴(kuò)展。此外他還談到了

3、云計(jì)算的趨勢(shì)，認(rèn)為云端HPC不宜使用虛擬化。這些都需要應(yīng)用設(shè)計(jì)考慮。 作為HPC硬件支持平臺(tái)提供方，浪潮更能切身感受到云、大數(shù)據(jù)、深度學(xué)習(xí)、IoT對(duì)HPC帶來的沖擊，也更加需要未雨綢繆，劉軍表示，復(fù)雜的應(yīng)用環(huán)境下，需要統(tǒng)一的計(jì)算架構(gòu)能夠應(yīng)對(duì)多樣性的計(jì)算、混合計(jì)算的場(chǎng)景，這就要做到基礎(chǔ)架構(gòu)的融合，進(jìn)而實(shí)現(xiàn)軟件定義HPC。硬件融合的一個(gè)典型，就是機(jī)柜即HPC。HPDA(HPC大數(shù)據(jù)分析) 傳統(tǒng)的計(jì)算形態(tài)，包括追求存儲(chǔ)容量和追求性能兩種方式。前者是傳統(tǒng)的互聯(lián)網(wǎng)用戶所關(guān)注的，研究怎么在更低功耗情況下給出更多的存儲(chǔ)量的計(jì)算，比如Hadoop；后者追求在最短的時(shí)間跑出更準(zhǔn)確的結(jié)果，即傳統(tǒng)HPC，對(duì)計(jì)算、內(nèi)

4、存、網(wǎng)絡(luò)、I/O要求很高。但大數(shù)據(jù)打破了二者的界限，推動(dòng)了HPC的演進(jìn)。 Earl C. Joseph II表示，大數(shù)據(jù)與HPC的結(jié)合正在衍生很多新的方案，也就是HPDA技術(shù)，比如圖分析、語(yǔ)義分析和知識(shí)發(fā)現(xiàn)等。這讓更多的用戶加入到了HPC。IDC預(yù)測(cè)，全球HPDA服務(wù)器2015年?duì)I收可達(dá)11億美元。 Earl C. Joseph II列舉了HPDA的幾個(gè)典型案例基于超算的分析開始改變醫(yī)療行業(yè)美國(guó)郵政管理局（USPS）為HPDA轉(zhuǎn)向HPCPaypal聲稱更多的財(cái)富2000強(qiáng)公司能夠從HPDA獲益 USPS的Total Revenue Protection Program(TRP計(jì)劃)，使用近實(shí)時(shí)

5、分析指導(dǎo)動(dòng)態(tài)路由和通過Sunday delivery和same-day delivery創(chuàng)造新的營(yíng)收機(jī)會(huì)。該計(jì)劃采用了MCDB(Memory-centric Database），在6小時(shí)之內(nèi)處理40億事務(wù)。 對(duì)于Paypal本身，根據(jù)IDC的估算，基于HPDA的欺詐檢測(cè)已經(jīng)為Paypal省下了7億美元。Paypal未來希望通過HPC做整個(gè)IT基礎(chǔ)架構(gòu)的管理，以及用于市場(chǎng)營(yíng)銷的Beacon計(jì)劃。 Paypal目前的規(guī)模如下：每天1000萬+登錄每天1300萬+交易每天約40億inserts每天約80億selects IDC認(rèn)為，存儲(chǔ)是HPDA市場(chǎng)增速最快的部分，與此伴隨的是HPC互聯(lián)技術(shù)也在變革

6、，數(shù)據(jù)遷移/管理則是一個(gè)主要痛點(diǎn)。 云的架構(gòu)是數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享的一個(gè)流行方案，在大數(shù)據(jù)時(shí)代，也確實(shí)有不少的HPC在云端（IDC最新調(diào)查結(jié)果顯示25%的HPC在云上），但在Earl C. Joseph II看來，HPDA要能夠搞定各類數(shù)據(jù)，并行算法以，數(shù)據(jù)科學(xué)家開發(fā)的算法，并且對(duì)性能非常敏感，基于虛擬化的公有云，在HPDA方面還有所欠缺。 劉軍則認(rèn)為，云計(jì)算、大數(shù)據(jù)與HPC之間的影響是相互的：HPC需要云解決更多的資源共享和服務(wù)、計(jì)算便利性問題，大數(shù)據(jù)需要HPC解決性能問題，同時(shí)大數(shù)據(jù)技術(shù)也為解決傳統(tǒng)HPC不好處理的問題帶來靈感。這是一個(gè)交互的作用，最后出來的形態(tài)，浪潮叫做Big Comput

7、ing（大計(jì)算），他不再是傳統(tǒng)的HPC，傳統(tǒng)的大數(shù)據(jù)和云，而是二者的融合，是一種新的大的形態(tài)。 錢德沛也談到，不能劃分容量型應(yīng)用和性能型應(yīng)用的資源邊界。他表示，傳統(tǒng)超級(jí)計(jì)算主要是強(qiáng)調(diào)能力型應(yīng)用，但在中國(guó)的國(guó)情下，超級(jí)計(jì)算機(jī)安裝在通用的超算中心，能力型應(yīng)用和容量型應(yīng)用共存并分享系統(tǒng)的資源，不可能排斥容量型應(yīng)用。大數(shù)據(jù)應(yīng)用大多數(shù)是容量型的，包括互聯(lián)網(wǎng)應(yīng)用、數(shù)據(jù)分析、數(shù)據(jù)挖掘，但是也有一些是能力型的應(yīng)用，而且越來越多的能力型應(yīng)用需要超過單獨(dú)服務(wù)器通過以太網(wǎng)互聯(lián)起來的資源的能力。這一類應(yīng)用可能隨著互聯(lián)網(wǎng)應(yīng)用發(fā)展越來越多，并且和老百姓的生活相關(guān)，比如大量的數(shù)據(jù)挖掘、金融計(jì)算和數(shù)字媒體的渲染。 從整個(gè)HP

8、C應(yīng)用的發(fā)展來看，Earl C. Joseph II談到了如下趨勢(shì)：1. 基于眾核的擴(kuò)展性。應(yīng)用需要設(shè)計(jì)成為更有擴(kuò)展性的，不僅僅在一個(gè)核或者幾個(gè)核上，而是在眾核上的擴(kuò)展性。2. 云、大數(shù)據(jù)和HPC。云一般是基于虛擬化的，但虛擬化會(huì)讓HPC性能變慢，在未來HPC的應(yīng)用需要結(jié)合云的應(yīng)用和HPC的特點(diǎn)。3. 云端可靠性。HPC的應(yīng)用，特別是在云端，其設(shè)計(jì)的理念是：云端硬件故障的情況下還能繼續(xù)運(yùn)轉(zhuǎn)，保持工作穩(wěn)定性。4. 應(yīng)用的發(fā)展趨勢(shì)基于應(yīng)用的壽命。目前有些應(yīng)用只存活幾個(gè)月，而未來HPC應(yīng)用應(yīng)該是有五六年的壽命，五六年中硬件會(huì)有一個(gè)飛速的增長(zhǎng)，所以應(yīng)用的設(shè)計(jì)考慮到這方面的需求。5. 工業(yè)應(yīng)用定制化。在

9、CFD工業(yè)設(shè)計(jì)領(lǐng)域，比如汽車設(shè)計(jì)，應(yīng)用一旦跑起來，工程師就能看到設(shè)計(jì)出的車的特點(diǎn)，以后的趨勢(shì)是會(huì)有不同的應(yīng)用用于汽車設(shè)計(jì)，因?yàn)槠噾?yīng)用的特點(diǎn)非常鮮明。深度學(xué)習(xí) 依賴于數(shù)據(jù)量和計(jì)算力的深度學(xué)習(xí)，是HPDA的典型應(yīng)用。根據(jù)浪潮過去這一年HPC業(yè)務(wù)接近100%的成長(zhǎng)經(jīng)驗(yàn)，快速成長(zhǎng)的推動(dòng)力就來自于深度學(xué)習(xí)和工業(yè)應(yīng)用。劉軍介紹了這兩種需求：工業(yè)應(yīng)用：眼下從中國(guó)制造到中國(guó)創(chuàng)造的轉(zhuǎn)型期，工業(yè)、企業(yè)自主創(chuàng)新的能力越強(qiáng)，就越需要像HPC這樣的技術(shù)來幫助提高產(chǎn)品設(shè)計(jì)的質(zhì)量。因?yàn)橐獎(jiǎng)?chuàng)造、要設(shè)計(jì)、分析，很多復(fù)雜的需求將需要HPC來幫助實(shí)現(xiàn)，比如電器、汽車、飛機(jī)的設(shè)計(jì)。深度學(xué)習(xí)：在商業(yè)上需要利用大數(shù)據(jù)做顧客信息的分析，

10、還包括深度學(xué)習(xí)在互聯(lián)網(wǎng)的應(yīng)用，比如哪些廣告搜索排名靠前，這些都是HPC在商業(yè)化的應(yīng)用。 但是否應(yīng)當(dāng)那么單獨(dú)強(qiáng)調(diào)深度學(xué)習(xí)呢？錢德沛認(rèn)為，百度成功的經(jīng)驗(yàn)之一是用HPC的能力進(jìn)行深度學(xué)習(xí)，深度學(xué)習(xí)是HPC應(yīng)該考慮的應(yīng)用之一，當(dāng)然深度學(xué)習(xí)不是全部。 他表示，HPC沒有固定的模式，現(xiàn)在要避免把自己限制到很窄的范圍，因?yàn)楹芏鄳?yīng)用是有發(fā)展的，可能開始的時(shí)候可能是容量型應(yīng)用，到了一定的水平就變成了能力型應(yīng)用。所以，應(yīng)用的多樣性、系統(tǒng)支持和適應(yīng)應(yīng)用是很重要的，不能把HPC做的像陽(yáng)春白雪一樣，要有一定的量才能促進(jìn)應(yīng)用的發(fā)展。 深度學(xué)習(xí)的特殊性，在于新鮮而實(shí)用，同時(shí)對(duì)計(jì)算力上限需求非常高，只要神經(jīng)網(wǎng)絡(luò)模型和數(shù)據(jù)量允

11、許，軟件上還要實(shí)現(xiàn)數(shù)據(jù)并行和/或模型并行來加速。另一方面，深度學(xué)習(xí)的用戶主要是互聯(lián)網(wǎng)公司，往往采用分布式的架構(gòu)做大數(shù)據(jù)，用單機(jī)做學(xué)習(xí)，同時(shí)對(duì)HPC的解決方案流程不一定很熟悉。所以，浪潮也選擇深度學(xué)習(xí)作為Big Computing的一個(gè)突破點(diǎn)，提供一些面向深度學(xué)習(xí)的一體化HPC方案。 錢德沛認(rèn)為，做機(jī)器的難處就在這里，它要適應(yīng)不同類型的應(yīng)用需求，同時(shí)要考慮能夠使用的技術(shù)、實(shí)現(xiàn)的手段，要在技術(shù)條件下和應(yīng)用需求下選擇最優(yōu)，做工程上的折中、權(quán)衡。換句話說，不管是流計(jì)算，還是未來的神經(jīng)網(wǎng)絡(luò)芯片，只要順應(yīng)應(yīng)用，也是HPC可以考慮的體系結(jié)構(gòu)。軟件定義HPC 對(duì)于錢德沛提到的難點(diǎn)，其實(shí)劉軍在大會(huì)的主會(huì)演講上也

12、做了分析，他提出的Big Computing，就是要做到基礎(chǔ)架構(gòu)的融合，進(jìn)而實(shí)現(xiàn)軟件定義HPC，靈活地應(yīng)對(duì)不同工作負(fù)載的需求。 錢德沛表示，軟件定義的思想很老，但對(duì)于解決當(dāng)前HPC用標(biāo)準(zhǔn)化的硬件適應(yīng)應(yīng)用多樣性的問題，技術(shù)上、商業(yè)上都具有可行性。 劉軍介紹了浪潮在軟件定義HPC方面的進(jìn)展： 在產(chǎn)品技術(shù)上已經(jīng)做這樣的布局和應(yīng)對(duì)，現(xiàn)在這個(gè)工作沒有完全完成。有的已經(jīng)具備產(chǎn)品的基礎(chǔ)，在計(jì)算環(huán)境已經(jīng)完成準(zhǔn)備好了，有的還在路上，比如64路、支持48TB大內(nèi)存的主機(jī)，在明年才能發(fā)布。第二層的融合基礎(chǔ)架構(gòu)，思路上和浪潮在互聯(lián)網(wǎng)領(lǐng)域走的比較早的SmartRack是一脈相承的。 浪潮即將推出“機(jī)柜即HPC”的產(chǎn)品，

13、實(shí)現(xiàn)計(jì)算存儲(chǔ)的融合，以及初步的軟件定義網(wǎng)絡(luò)。在軟件設(shè)施層次，浪潮已經(jīng)分別實(shí)現(xiàn)了軟件設(shè)施數(shù)據(jù)、服務(wù)網(wǎng)絡(luò)服務(wù)和資源服務(wù)三個(gè)層面，現(xiàn)在要進(jìn)一步整合，相互之間打通，形成真正核心的軟件定義HPC。附：中外HPC的差別 談到中外HPC的差別，Earl C. Joseph II認(rèn)為，主要在于主要中國(guó)HPC的應(yīng)用剛剛發(fā)展，所用的芯片和硬件都比較標(biāo)準(zhǔn)。而美日歐的HPC已經(jīng)有35年的歷史，很多HPC應(yīng)用是35年前寫的，這些應(yīng)用的發(fā)展，一開始就在一種或幾種處理器上，現(xiàn)在也只能在一些已經(jīng)淘汰的處理器上跑。中國(guó)HPC起步比較晚，但是可以根據(jù)現(xiàn)在最新的技術(shù)編寫應(yīng)用，這些應(yīng)用也都是比較標(biāo)準(zhǔn)化、商業(yè)化的。 此外，Earl C. Joseph II對(duì)浪潮、曙光、華為、聯(lián)想等中國(guó)公司在HPC市場(chǎng)的表現(xiàn)評(píng)價(jià)頗高。他表示： 這四個(gè)廠商都表現(xiàn)不錯(cuò)，有不同的戰(zhàn)略。浪潮是在全球有個(gè)布局，聯(lián)想買了IBM的X86的業(yè)務(wù)也表現(xiàn)不錯(cuò)。IDC拿到的數(shù)據(jù)顯示，浪潮、