浪潮NF5568M4助力猿題庫(kù)深度學(xué)習(xí)應(yīng)用

1、 浪潮NF5568M4助力猿題庫(kù)深度學(xué)習(xí)應(yīng)用 浪潮NF5568M4助力猿題庫(kù)深度學(xué)習(xí)應(yīng)用客戶信息猿題庫(kù)網(wǎng)站：/組織規(guī)模：行業(yè)：摘要項(xiàng)目背景浪潮倚天系列產(chǎn)品NF5568M4基于最新IntelHaswellEP-2600V3平臺(tái)，用于構(gòu)建面向GPU異構(gòu)超算、Intel MIC微異構(gòu)計(jì)算及NVidia Grid虛擬工作站解決方案。 浪潮倚天超算提供優(yōu)異的計(jì)算性能、穩(wěn)定的可靠性以及超高IO擴(kuò)展能力，適用于生命科學(xué)、數(shù)據(jù)分析、金融計(jì)算、量化計(jì)算、石油能源、氣候氣象、工程科學(xué)、可視化、互聯(lián)網(wǎng)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等應(yīng)用領(lǐng)域，以及高端虛擬工作站應(yīng)用。項(xiàng)目分析猿題庫(kù)是中國(guó)首個(gè)智能在線題庫(kù)服務(wù)提供商，基于大數(shù)據(jù)應(yīng)用

2、的在線教育平臺(tái)。2013年2月，在線教育平臺(tái)粉筆網(wǎng)推出新產(chǎn)品猿題庫(kù)()，猿題庫(kù)提供了一個(gè)革命性的學(xué)習(xí)產(chǎn)品。提供歷年考試最權(quán)威真題供考生練習(xí)，還能根據(jù)考生的水平一對(duì)一智能出題考生只要在猿題庫(kù)上開(kāi)始答題練習(xí)，系統(tǒng)就會(huì)清晰的告訴他當(dāng)前的能力水平、他的薄弱考點(diǎn)有哪些、如果參加今年考試預(yù)計(jì)能得多少分以及接下來(lái)需要做什么題目。相對(duì)于傳統(tǒng)的復(fù)習(xí)備考，這種在線智能做題的備考方式將大幅提升復(fù)習(xí)效率和效果。這是猿題庫(kù)基于大數(shù)據(jù)的分析及人工智能算法等多項(xiàng)專(zhuān)利技術(shù)而實(shí)現(xiàn)的。業(yè)務(wù)應(yīng)用猿題庫(kù)需要采購(gòu)高性能，高效，穩(wěn)定的服務(wù)器，可以提供高性能的并行計(jì)算能力，作為其深度學(xué)習(xí)模型訓(xùn)練和人工智能應(yīng)用的核心IT硬件。猿題庫(kù)深度學(xué)習(xí)

3、訓(xùn)練和應(yīng)用模型主要分為兩種:卷積神經(jīng)網(wǎng)絡(luò)模型和遞歸神經(jīng)網(wǎng)絡(luò)模型，這兩種神經(jīng)網(wǎng)絡(luò)法都是參考人類(lèi)神經(jīng)網(wǎng)絡(luò)的仿生學(xué)計(jì)算方法，將大量的數(shù)據(jù)源通過(guò)神經(jīng)網(wǎng)絡(luò)法計(jì)算之后得到符合需求的模型為最終的使用提供服務(wù)。在模型訓(xùn)練及應(yīng)用階段面臨大量的技術(shù)問(wèn)題的挑戰(zhàn)，總結(jié)下來(lái)至少有以下幾個(gè)方面：1）每天千萬(wàn)張級(jí)別的圖片搜索請(qǐng)求；2）每天十個(gè)億級(jí)別的ORC識(shí)別（將圖像轉(zhuǎn)換為計(jì)算機(jī)文字的過(guò)程）；3）數(shù)理化復(fù)雜公式的識(shí)別4）手寫(xiě)內(nèi)容識(shí)別5）模糊/扭曲/明暗圖片問(wèn)題的修正對(duì)于圖像轉(zhuǎn)換為文字的過(guò)程大概分為：圖像預(yù)處理，圖像切分，匹配，糾錯(cuò)和搜索。對(duì)于這幾個(gè)問(wèn)題里最大的挑戰(zhàn)在于手寫(xiě)內(nèi)容的識(shí)別和復(fù)雜公式的識(shí)別。由于每個(gè)人的手寫(xiě)習(xí)慣不同

4、，識(shí)別手寫(xiě)體成為了圖像預(yù)處理和切分之后首先要面臨的挑戰(zhàn)，通過(guò)大量的樣本找到手寫(xiě)習(xí)慣的共同特征，如習(xí)慣向右傾斜著寫(xiě)或者中文之間沒(méi)有空格等。然而不管是在基礎(chǔ)教育階段，還是高等教育階段，數(shù)學(xué)總是讓人覺(jué)得永無(wú)止境的難度學(xué)科。所以，在搜題請(qǐng)求里，有超過(guò)一半的搜索請(qǐng)求都是與數(shù)學(xué)有關(guān)，這就意味著有大量的復(fù)雜公式需要識(shí)別，比如根號(hào)，、分式、上下標(biāo)的各種組合。這不僅要進(jìn)行正確的切分，還需要有合理的匹配識(shí)別。方案概述詳細(xì)解決方案根據(jù)對(duì)客戶需求的分析，為了實(shí)現(xiàn)并行計(jì)算的高性能、高可靠、高可用的特性，提高深度模型訓(xùn)練速、效果和線上服務(wù)的穩(wěn)定可靠，降低日常運(yùn)維成本，我們采用NF5568M4作為其人工智能應(yīng)用的基礎(chǔ)硬件平

5、臺(tái)。NF5568M4是專(zhuān)為計(jì)算而設(shè)計(jì)的超算服務(wù)器，最大化精簡(jiǎn)了不必要的功能，并針對(duì)高性能并行計(jì)算增加相應(yīng)的功能和優(yōu)化，為用戶提供了更為穩(wěn)定、可靠的計(jì)算平臺(tái)。產(chǎn)品優(yōu)勢(shì):(1)支持GPGPU異構(gòu)計(jì)算架構(gòu)倚天超算引入GPU計(jì)算單元,突破了單一CPU計(jì)算單元的限制,采用Intel最新Haswell處理器與NVIDIA GPU加速計(jì)算技術(shù)的協(xié)同,CPU和GPU協(xié)同計(jì)算,CPU主要承擔(dān)更加擅長(zhǎng)的邏輯選擇、判斷跳轉(zhuǎn)和IO通信方面的職責(zé),而GPU則專(zhuān)職計(jì)算密集型、高度并行的計(jì)算工作,使得計(jì)算資源合理的分配,計(jì)算力被充分釋放,計(jì)算性能達(dá)到從幾倍到幾百倍的增長(zhǎng).(2)支持Intel MIC微異構(gòu)倚天超算引入MIC

6、微異構(gòu)計(jì)算單元,微異構(gòu)計(jì)算單元保持了與CPU編程的最大復(fù)用.至強(qiáng)處理器是傳統(tǒng)多核心CPU,而至強(qiáng)融核協(xié)處理器MIC則擁有眾多的微內(nèi)核,這些內(nèi)核與CPU擁有相同的x86架構(gòu),可以在相同的編程環(huán)境下,甚至幾乎不用改動(dòng)原有代碼就可以在系統(tǒng)上順利運(yùn)行.(3)支持基于Grid技術(shù)的虛擬工作站倚天超算是構(gòu)建高性能虛擬工作站的基礎(chǔ)平臺(tái),將Nvidia Grid技術(shù)、虛擬桌面技術(shù)完美融合于浪潮倚天產(chǎn)品,給桌面提供專(zhuān)業(yè)的圖形計(jì)算支持,并通過(guò)云端隨時(shí)隨地?zé)o縫地提供給任意設(shè)備,用戶不僅得以充分體驗(yàn)安全、可管理、靈活的虛擬化優(yōu)勢(shì),更能尊享媲美本地體驗(yàn)的互動(dòng)性能.(4)協(xié)調(diào)處理單元間高速I(mǎi)O交換技術(shù)浪潮倚天為加速卡提供

7、高速PCI-E3.0連接, 確保所有板卡在全速I(mǎi)O速率運(yùn)行.相對(duì)于傳統(tǒng)PCI總線在單一時(shí)間周期內(nèi)只能實(shí)現(xiàn)單向傳輸,PCI-E的雙單工連接能提供更高的傳輸速率和質(zhì)量,它們之間的差異與半雙工和全雙工類(lèi)似.浪潮倚天采用了PCI-E 3.0 x16,帶寬達(dá)到32GB/s.(5)采用Intel最新的QPI技術(shù)為了更好的發(fā)揮CPU和GPU的協(xié)同效應(yīng),浪潮“倚天”桌面超級(jí)計(jì)算機(jī)采用了Intel 公司的QPI(Quick Path Interconnect)技術(shù),最大可以實(shí)現(xiàn)高達(dá)9.6GT/s的傳輸速率,使通信更加迅捷.QPI總線實(shí)現(xiàn)了多核處理器內(nèi)部的直接互聯(lián),在多處理器作業(yè)下,每顆處理器可以互相傳送資料,并

8、不需要經(jīng)過(guò)芯片組,從而大幅提升整體系統(tǒng)性能.(6)CUDA編程環(huán)境在GPU環(huán)境下,采用CUDA(Compute Unified Device Architecture)通用并行計(jì)算架構(gòu)使GPU能夠解決復(fù)雜的計(jì)算問(wèn)題.它包含了CUDA指令集架構(gòu)(ISA)以及GPU內(nèi)部的并行計(jì)算引擎.開(kāi)發(fā)人員現(xiàn)在可以使用C語(yǔ)言來(lái)為CUDA架構(gòu)編寫(xiě)程序,C語(yǔ)言是應(yīng)用最廣泛的一種高級(jí)編程語(yǔ)言.(7)微異構(gòu)編程環(huán)境在MIC微異構(gòu)環(huán)境下,采用與Intel通用編程環(huán)境相同的編譯環(huán)境,可以采用Intel Cluster Studio工具包進(jìn)行統(tǒng)一軟件環(huán)境的安裝、調(diào)試等工作.Intel Cluster Studio工具包括了C

9、/C+/Fortran編譯器、MKL數(shù)學(xué)庫(kù)、MPI通訊庫(kù)、Inspector線程檢查工具、Vtune調(diào)優(yōu)工具等.客戶收益可靠&安全：深度學(xué)習(xí)模型訓(xùn)練及應(yīng)用支持，是在大量數(shù)據(jù)源在并行算法下進(jìn)行多層次、連續(xù)性迭代計(jì)算的應(yīng)用。并行計(jì)算平臺(tái)的穩(wěn)定和安全是整個(gè)深度學(xué)習(xí)計(jì)算能否完成的必備保障，是人工智能能力的關(guān)鍵組成部分，是典型的關(guān)鍵性應(yīng)用。浪潮NF5568M4通過(guò)最全面的實(shí)際測(cè)試和大量的行業(yè)應(yīng)用，并經(jīng)過(guò)嚴(yán)格的測(cè)試和驗(yàn)證，實(shí)時(shí)監(jiān)控保障系統(tǒng)7*24小時(shí)不間斷的運(yùn)行。NF5568M4在上一代互聯(lián)網(wǎng)行業(yè)大客戶占有率100%的NF5588M3基礎(chǔ)上進(jìn)行全方位優(yōu)化升級(jí)，進(jìn)一步提高單機(jī)并行計(jì)算能力，降低了每計(jì)算核心TCO。高效&經(jīng)濟(jì)GPU卡的密集程度從某種程度上影響著深度學(xué)習(xí)的效果，在一開(kāi)始我們就為猿題庫(kù)提供了業(yè)內(nèi)GPU密集度最高的NF5568M4超算服務(wù)器。在相同CPU計(jì)算能力下，該服務(wù)器的GPU配置數(shù)量比業(yè)內(nèi)平均水平高出50%，并且最高支持的單卡計(jì)算能力比業(yè)內(nèi)主流水準(zhǔn)高出50%。在每臺(tái)機(jī)器均具有“一機(jī)多卡”的GP