人工智能計算平臺與存儲器研究報告

人工智能計算平臺與存儲器研究匯報在物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能的推進下,從交通運送、醫(yī)療保健到零售和娛樂等眾多行業(yè)將走上轉型之路,我們將其統(tǒng)稱為Al計算時代。在此前的計算時代,大型機/小型機、PC/服務器和智能手機/平板電腦均受益于摩爾定律的進步,伴伴隨2D微縮,產(chǎn)品的性能、功耗和面積/成本(也稱為PPAC)得以同步提高。雖然Al時代的各類應用正在蓬勃發(fā)展,但摩爾定律卻放緩了腳步;因此,行業(yè)需要在2D微縮以外獲得突破,以全新方式推進PPAC的提高。詳細而言,我們需要新的計算架構、新材料、新構造(尤其是節(jié)省面積的3D構造),以及用于芯片堆疊和異構設計的高級封裝。人工智能時代的架構變化正在對邏輯和存儲器產(chǎn)生影響，下圖為人工智能時代推進半導體存儲器發(fā)展的進程。我通過對目前常見的人工智能計算平臺：阿里云的AI開發(fā)平臺-機器學習PAI，華為云的AI開發(fā)平臺-ModelArts，百度云的飛槳，科大訊飛的AIUUI。通過對4個平臺的人工智能先進代表的平臺進行配置和特點的理解，其中僅有華為云對云計算服務器設備有明確配置參數(shù)，因此我將著重對華為云鯤鵬、昇騰等的云存儲器的配置進行查詢，理解其特點，并對目前存儲器未來發(fā)展做出論述。4個平臺各有其優(yōu)勢，華為云依托華為強勁的科研能力，如今作為市場黑馬，異軍突起；而阿里云作為人工智能平臺中其中布局較早，市場擁有率較高；百度云的飛漿平臺在自動駕駛等應用方面有較多經(jīng)驗，并且在多方面均有擴展應用；科大訊飛的AIUI是深耕的強勁智能語音開發(fā)平臺，是國內乃至世界人工智能語音領域的領導。1、人工智能計算平臺一、阿里云的AI發(fā)開平臺如下圖所示，阿里云的PAI的業(yè)務架構分為五層：基礎設施層：包括CPU、GPU、FPGA及NPU。計算引擎和容器服務層：包括MaxCompute、EMR、實時計算等計算引擎及容器服務ACK。計算框架層：包括Alink、TensorFlow、PyTorch、Caffe、MapReduce、SQL及MPI等計算框架，用于執(zhí)行分布式計算任務。數(shù)據(jù)準備：PAI提供了智能標注，支持在多種場景下進行數(shù)據(jù)標注和數(shù)據(jù)集管理。模型開發(fā)和訓練：PAI提供了可視化建模PAI-Studio、交互式編程建模PAI-DSW、云原生深度學習訓練平臺PAI-DLC及端到端自動學習PAI-AutoLearning，滿足不一樣的建模需求。模型布署：PAI提供了云原生在線推理服務平臺PAI-EAS和模型推理加速工具PAI-Blade，協(xié)助您迅速地將模型布署為服務。同步，PAI提供了智能生態(tài)市場，您可以獲取業(yè)務處理方案和模型算法，實既有關業(yè)務和技術的高效對接。阿里云的AI發(fā)開平臺特點：1、豐富的機器學習算法PAI的算法都通過阿里巴巴集團大規(guī)模業(yè)務的沉淀，不僅支持基礎的聚類和回歸類算法，同步也支持文本分析和特性處理等復雜算法。2、支持對接阿里云其他產(chǎn)品PAI訓練的模型直接存儲在MaxCompute中，可以配合阿里云的其他產(chǎn)品使用。3、一站式的機器學習體驗PAI支持從數(shù)據(jù)上傳、數(shù)據(jù)預處理、特性工程、模型訓練、模型評估到模型公布的機器學習全流程。4、支持主流深度學習框架PAI支持TensorFlow、Caffe及MXNet等主流的機器學習框架。5、可視化的建模方式PAI封裝了經(jīng)典的機器學習算法，具有如下優(yōu)勢：支持使用拖拽的方式搭建機器學習試驗；支持使用內置的PAI-AutoML進行調參，實現(xiàn)模型參數(shù)自動探索、模型效果自動評估、模型自動向下傳導及模型自動優(yōu)化。6、一鍵式的模型布署服務PAI支持將PAI-Studio、PAI-DSW及PAI-Autolearning生成的訓練模型一鍵式公布為RestfulAPI接口，實現(xiàn)模型到業(yè)務的無縫銜接。二、華為云的AI開發(fā)平臺ModelArtsModelArts是一種一站式的開發(fā)平臺，可以支撐開發(fā)者從數(shù)據(jù)到AI應用的全流程開發(fā)過程。包括數(shù)據(jù)處理、模型訓練、模型管理、模型布署等操作，并且提供AI市場功能，可以在市場內與其他開發(fā)者分享模型。ModelArts支持應用到圖像分類、物體檢測、視頻分析、語音識別、產(chǎn)品推薦、異常檢測等多種AI應用場景，下圖是ModelArts架構華為云的AI開發(fā)平臺-ModelArts特點1、一站式開“箱”即用，涵蓋AI開發(fā)全流程，包括數(shù)據(jù)處理、模型開發(fā)、訓練、管理、布署功能，可靈活使用其中一種或多種功能。2、易上手提供多種預置模型，開源模型想用就用；模型超參自動優(yōu)化，簡樸迅速；零代碼開發(fā)，簡樸操作訓練出自己的模型；支持模型一鍵布署到云、邊、端。3、高性能自研MoXing深度學習框架，提高算法開發(fā)效率和訓練速度；優(yōu)化深度模型推理中GPU的運用率，加速云端在線推理；可生成在Ascend芯片上運行的模型，實現(xiàn)高效端邊推理。4、靈活支持多種主流開源框架(TensorFlow、Spark_MLlib、MXNet、Caffe、PyTorch、XGBoost-Sklearn、MindSpore)；支持主流GPU和自研Ascend芯片；支持專屬資源獨享使用；支持自定義鏡像滿足自定義框架及算子需求。三、百度云的飛漿飛槳(PaddlePaddle)以百度數(shù)年的深度學習技術研究和業(yè)務應用為基礎，集深度學習關鍵框架、基礎模型庫、端到端開發(fā)套件、工具組件和服務平臺于一體，年正式開源，是全面開源開放、技術領先、功能完備的產(chǎn)業(yè)級深度學習平臺。飛槳源于產(chǎn)業(yè)實踐，一直致力于與產(chǎn)業(yè)深入融合。目前飛槳已廣泛應用于工業(yè)、農(nóng)業(yè)、服務業(yè)等，服務210多萬開發(fā)者，與合作伙伴一起協(xié)助越來越多的行業(yè)完畢AI賦能，下圖為其使用場景概覽百度云飛漿的優(yōu)勢：1、開發(fā)便捷提高效率飛槳深度學習框架采用基于編程邏輯的組網(wǎng)范式，對于一般開發(fā)者而言更輕易上手，符合他們的開發(fā)習慣。同步支持申明式和命令式編程，兼具開發(fā)的靈活性和高性能。網(wǎng)絡構造自動設計，模型效果超越人類專家。2、超大規(guī)模深度學習模型訓練技術飛槳突破了超大規(guī)模深度學習模型訓練技術，實現(xiàn)了支持千億特性、萬億參數(shù)、數(shù)百節(jié)點的開源大規(guī)模訓練平臺，攻克了超大規(guī)模深度學習模型的在線學習難題，實現(xiàn)了萬億規(guī)模參數(shù)模型的實時更新。3、多端多平臺布署的高性能推理引擎飛槳不僅兼容其他開源框架訓練的模型，還可以輕松地布署到不一樣架構的平臺設備上。同步，飛槳的推理速度也是全面領先的。尤其通過了跟華為麒麟NPU的軟硬一體優(yōu)化，使得飛槳在NPU上的推理速度深入突破4、產(chǎn)業(yè)級開源模型庫飛槳官方支持100多種通過產(chǎn)業(yè)實踐長期打磨的主流模型，其中包括在國際競賽中奪得冠軍的模型；同步開源開放200多種預訓練模型，助力迅速的產(chǎn)業(yè)應用四、科大訊飛的AIUIAIUI開放平臺重要包括了語義技能（Skill）、問答庫（Q&A）編輯以及AIUI應用（硬件）云端配置的能力，并為不一樣形態(tài)產(chǎn)品提供了不一樣的接入方式。目前有如下接入方式有，Android、iOS、Windows、LinuxSDK，基于HTTP協(xié)議的WebAPI，以及軟硬一體的AIUI評估板（量產(chǎn)板）、訊飛魔飛智能麥克風，下圖為AIUI產(chǎn)品框架?？拼笥嶏w的AIUI特點：1、語音喚醒語音喚醒是指通過4-6個音節(jié)的喚醒詞，將設備從不對外部聲音進行識別的休眠狀態(tài)喚醒為接受并識別外部聲音的交互狀態(tài)。訊飛的語音喚醒具有小尺寸，低功耗，高喚醒的特點。并且顧客可自定義喚醒詞，單個設備最高支持8個喚醒詞同步使用2、語音識別語音識別（ASR）是一種將人的語音轉換為文本的技術?？拼笥嶏w同步擁有中文、粵語、英語等21種語言/方言的識別引擎。3、語音降噪、回聲消除、全雙工交互語音降噪指減少環(huán)境噪音，提高人聲辨識度，基于訊飛多麥克風陣列，AIUI在實現(xiàn)降噪的同步可以確定喚醒的方向，并克制其他方向的人聲?；芈曄府a(chǎn)品揚聲器發(fā)聲（TTS或播放音頻）時，可以不關閉產(chǎn)品麥克風的拾音功能，揚聲器的回聲可以通過訊飛的降噪算法消除，不送入語音識別引擎。全雙工交互指在設備揚聲器發(fā)聲時，且不關閉麥克風的狀況下，顧客可以打斷設備的播放，進行語音識別和語義理解。4、語義理解語義理解（NLP）指將一句自然語言轉化為計算機可讀的構造化數(shù)據(jù)。語義理解也是AIUI的關鍵功能。5、語音合成語音合成（TTS）是指將文字信息轉化為聲音信息，給產(chǎn)品配上“嘴巴”。訊飛提供了眾多極具特色的發(fā)音人（音庫）供您選擇。其合成音在音色、自然度等方面的體現(xiàn)均靠近甚至超過了人聲。擁有中英粵多語種、川豫多方言、男女聲多風格的選擇，音量、語速、音高等參數(shù)也支持動態(tài)調整，同步提供定制專屬發(fā)言人。6、內容（信源）內容（信源）指語義理解后對客戶真實有用的數(shù)據(jù)，例如天氣詳細狀態(tài)，音樂的播放鏈接。AIUI技能商店中多數(shù)技能具有相對應的信源，在最終的構造化數(shù)據(jù)Json中體現(xiàn)為data字段。我們誠邀各類內容提供商與我們合作，包括但不限于音視頻資源、流媒體、新聞、自媒體、小朋友故事與游戲、股票違章查詢等功能類資源，訊飛提供了多種合作方案，和內容提供商共享AI時代的流量紅利。2、存儲器配置與技術特點一、科大訊飛的AIUI配置MT8516開發(fā)套件是一款基于MTK平臺MT8516處理器和科大訊飛環(huán)形6麥陣列構造的語音整體處理方案。此外還提供紅外、串口、ZigBee等多種接口，小巧易擴展，搭載iFLYOS生態(tài)，提供海量內容服務與定制化接口，滿足多種遠、近場語音交互場景，下圖為MT8516芯片框圖與芯片信息。產(chǎn)品特性：1、遠/近場拾音方案前端采用科大訊飛6麥克風陣列，可以實現(xiàn)家居場景5-10m左右的顧客指令音頻拾取，通過新一代神經(jīng)網(wǎng)絡降噪算法對拾取音頻進行處理，提供高品質降噪后音頻給到后端，以保障喚醒、識別效果。2、噪聲克制該功能基于科大訊飛6麥克風陣列中的聲源定位和波束增強等算法特性，通過采集指令聲源（控制設備的發(fā)音人）所在波束范圍內的聲音，克制或者不處理其他波束所接受的聲音，以提高采集聲音的效果，為后續(xù)喚醒和命令詞識別效果提供保障。3、回聲消除支持顧客交互過程中，實現(xiàn)一次喚醒，多輪交互的控制方式，即顧客可以中斷播報進程進行下一輪交互，讓交互愈加自然，流暢。二、華為云昇騰Atlas800推理服務器Atlas800推理服務器是基于華為昇騰310處理器+Arm/x86架構處理器的AI推理服務器，提供強大的實時推理能力，廣泛應用于AI推理場景。下圖為Atlas800推理服務器，型號：3000。特點：?支持8張Atlas300I推理卡，滿足多場景推理需求；整機可提供640路高清視頻實時分析（1080P25FPS）?搭載64核架構、具有超強算力的鯤鵬920處理器，高效加速應用?發(fā)揮鯤鵬架構多核、低功耗優(yōu)勢，為推理場景構建高效能、低功耗的AI計算平臺?Atlas300I單卡功耗僅67W，為AI服務器算力加速同步提供更優(yōu)的能效比三、華為云昇騰Atlas800訓練服務器Atlas800訓練服務器（型號：9000）是基于華為鯤鵬920+昇騰910處理器的AI訓練服務器，具有最強算力密度、超高能效與高速網(wǎng)絡帶寬等特點。該服務器廣泛應用于深度學習模型開發(fā)和訓練，合用于智慧都市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領域。特點：?4U高度提供2.24PFLOPSFP16超強算力?算力密度到達業(yè)界1.36倍?單機支持風冷和液冷兩種散熱方式?提供2.24PFLOPS/5.6kW超高能效比，到達業(yè)界1.21?8*100GRoCEv2高速接口?芯片間跨服務器互聯(lián)時延縮短10~70%四、華為云昇騰Atlas900PoDAtlas900PoD（型號：9000）是基于華為昇騰910+鯤鵬920處理器的AI訓練集群基礎單元，具有超強AI算力、更優(yōu)AI能效、最佳AI拓展等特點。該基礎單元廣泛應用于深度學習模型開發(fā)和訓練，合用于智慧都市、智慧醫(yī)療、天文探索、石油勘探等需要大AI算力的領域。特點：?47U高度提供最高20.48PFLOPSFP16超強AI算力?提供20.48PFLOPS/43kW超高能效比?支持機柜單元擴展，最大可拓展至4096顆昇騰910芯片集群，總算力達1EFLOPSFP16五、華為云鯤鵬裸金屬服務器裸金屬服務器（BareMetalServer）提供專屬的云上物理服務器，為數(shù)據(jù)庫、大數(shù)據(jù)、容器、高性能計算、AI等企業(yè)關鍵業(yè)務提供高性能、高安全性、靈活性和彈性，加速企業(yè)關鍵業(yè)務上云進程。特點：1、極速型SSD云硬盤采用了結合全新低時延擁塞控制算法的RDMA技術，合用于需要超大帶寬和超低時延的應用場景；單盤最大128,000IOPS、1000MB/s吞吐量，200μs時延2、超高IO云硬盤低時延、高性能，合用于高性能，高讀寫速率規(guī)定，讀寫密集型應用場景；單盤最大33,000IOPS、350MB/s吞吐量，1ms時延3、通用型SSD云硬盤高性價比SSD，合用于多種主流的高性能、低延遲交互應用場景，如經(jīng)典的企業(yè)辦公、IO密集型應用、大中型開發(fā)測試、高性能系統(tǒng)盤等；單盤最大20,000IOPS、250MB/s吞吐量，1ms時延4、高IO云硬盤高性能、高擴展、高可靠，合用于性能相對較高，讀寫速率規(guī)定高，有實時數(shù)據(jù)存儲需求應用場景；單盤最大5,000IOPS、150MB/s吞吐量，1ms~3ms時延六、華為云TaiShan200服務器（5290存儲型）5290存儲型是基于華為鯤鵬920處理器的4U2路存儲服務器，系統(tǒng)可以提供128核、2.6GHz主頻的計算能力和最高1PB當?shù)卮鎯θ萘俊?290存儲型具有海量存儲、高性能、低功耗以及易擴展的特點，適合為數(shù)據(jù)歸檔應用場景提供高可靠和高性價比的存儲處理方案。七、華為云TaiShan服務器TaiShan服務器是基于華為鯤鵬處理器的數(shù)據(jù)中心服務器,具有高效能計算、安全可靠、開放生態(tài)優(yōu)勢,適合為企業(yè)應用提供高并發(fā)的多核算力。TaiShan服務器家族包括基于鯤鵬916處理器的TaiShan100服務器和基于鯤鵬920處理器的TaiShan200服務器,提供均衡型、存儲型、高密型、高性能型和邊緣型等不一樣規(guī)格形態(tài)的產(chǎn)品。3、存儲器總結與未來發(fā)展存儲器總結其中內存是服務器中重要的部件之一，它是與CPU進行溝通的橋梁。服務器中所有程序的運行都是在內存中進行的，因此內存的性能對服務器的作用非常大。可以看到在內存方面，多數(shù)服務器的內存控制器為DDR4，DDR4SDRAM全稱DoubleDataRateFourthSynchronousDynamicRandomAccessMemory，即第四代雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器，并且在服務器中大量使用，數(shù)量大概為16~32個。同步有的CUP支持RDIMM，RegisteredDIMM（RDIMM）也是常見的內存模塊類型。RDIMM使用寄存器，從電力上將內存模塊從剩余主板中隔離出來，其長處是，只需更少的電力負載支持，系統(tǒng)可以填充更多RDIMM，支撐內存容量。缺陷是的是緩沖組件增長了對內存轉換的延遲，稍微減少了性能并增長了能耗需求。在內地儲存硬盤方面，使用SAS(SerialAttachedSCSI)即串行連接SCSI，是新一代的SCSI技術，和目前流行的SerialATA(SATA)硬盤相似，都是采用串行技術以獲得更高的傳播速度，并通過縮短連結線改善內部空間等。SAS是并行SCSI接口之后開發(fā)出的全新接口。此接口的設計是為了改善存儲系統(tǒng)的效能、可用性和擴充性，并且提供與SATA硬盤的兼容性，SAS的接口技術是可以向下兼容SATA。SATA，即SerialATA（串行ATA），全稱是SerialAdvancedTechnologyAttachme-nt，是由Intel、IBM、Maxtor和Seagate等企業(yè)共同提出的硬盤接口新規(guī)范。由于采用串行連接方式，因此使用SATA接口的硬盤又叫串口硬盤。SATA規(guī)范將硬盤的外部傳播速率理論值提高到了150MB/s，比UltraATA/100高出50%，比UltraATA/133也要高出約13%。最初的SAS原則提供了300MB/s或者3Gb/s的數(shù)據(jù)傳播速度，而SATA原則的速度則最高只能到達150MB/s。同步硬盤尚有SSD與HDD之區(qū)別，固態(tài)硬盤（SolidStateDrives），簡稱固盤，固態(tài)硬盤（SolidStateDrive）用固態(tài)電子存儲芯片陣列而制成的硬盤，由控制單元和存儲單元（FLASH芯片、DRAM芯片）構成。新一代的固態(tài)硬盤普遍采用SATA-2接口、SATA-3接口、SAS接口、MSATA接口、PCI-E接口、NGFF接口、CFast接口和SFF-8639接口。HDD（HardDiskDrive）即硬盤驅動器的英文名，是最基本的電腦存儲器，目前硬盤一般常見的磁盤容量為80G、128G、160G、256G、320G、500G、750G、1TB、2TB等等。硬盤按體積大小可分為3.5寸、2.5寸、1.8寸等；按接口可分為PATA、SATA、SCSI等。PATA、SATA一般為桌面級應用，容量大，價格相對較低，適合家用；而SCSI一般為服務器、工作站等高端應用，容量相對較小，價格較貴，不過性能很好，穩(wěn)定性也較高。在硬件配置中尚有一種支持新型的協(xié)議的硬盤，NVMe全稱Non-VolatileMemoryExpress，非易失性存儲器原則，是使用PCI-E通道的SSD一種規(guī)范，NVMe的設計之初就有充足運用到PCI-ESSD的低延時以及并行性，尚有現(xiàn)代處理器、平臺與應用的并行性。NVMe原則對比AHCI原則的優(yōu)勢，其中之一就是低延時，在軟件層方面，NVMe原則的延時只有AHCI的二分之一不到，NVMe精簡了調用方式，執(zhí)行命令時不需要讀取寄存器；而AHCI每條命令則需要讀取4次寄存器，一共會消耗80