2024公有云和互聯(lián)網(wǎng)創(chuàng)新實踐報告-英特爾中國

CONTENTCONTENTLargeLanguageModel(LLM)大語言模型 03TraditionalDeepLearning傳統(tǒng)深度學習 技術篇：英特爾AI產(chǎn)品組合 基于英特爾?架構的AI軟件工具組合 30英特爾AI實戰(zhàn)視頻課程 36英特爾中國AI實戰(zhàn)資源庫 37LargeLanguageModel(LLM)33解決方案阿里云引入第五代至強?可擴展處理器，實現(xiàn)ECSg8i解決方案阿里云引入第五代至強?可擴展處理器，實現(xiàn)ECSg8i算力再升級，為大模型AI推理加速添?使用處理器內(nèi)置的AI加速引擎--英特爾?AMX和英特爾?AVX-512，提升并行計算和浮點運算能力；?利用第五代至強?可擴展處理器內(nèi)置的英特爾?SGX和英特爾?TDX安全引擎，實現(xiàn)端到端的數(shù)據(jù)全流程85%整機性能提升高達7倍AI推理性能提升高達50%中小參數(shù)模型起建成本降低CPU也能玩轉(zhuǎn)AI-為AI提速，給安全加碼72B最大可支持參數(shù)規(guī)模72B最大可支持參數(shù)規(guī)模挑戰(zhàn)以針對工作負載優(yōu)化的性能實現(xiàn)業(yè)務增長和飛躍為AI加速而生的處理器以高效節(jié)能的計算助力降低成本與碳排放值得信賴的優(yōu)質(zhì)解決方案和安全功能文生圖創(chuàng)意輔助工具AI生成代碼虛擬助手挑戰(zhàn)以針對工作負載優(yōu)化的性能實現(xiàn)業(yè)務增長和飛躍為AI加速而生的處理器以高效節(jié)能的計算助力降低成本與碳排放值得信賴的優(yōu)質(zhì)解決方案和安全功能文生圖創(chuàng)意輔助工具AI生成代碼虛擬助手g8ig8ig8ig8i第五代英特爾?至強?可擴展處理器具備更強通用計算和AI加速能力阿里云ECSg8i集群可支撐72B參數(shù)級別的大語言模型分布式推理eRDMA集群g8ig8ieRDMA集群化部署智能化應用普及：大模型推理eRDMA集群g8ig8ieRDMA集群化部署44解決方案解決方案?基于至強?可擴展處理器不斷提升的算力和內(nèi)存帶寬，有效支持LLM實現(xiàn)端到端加速；?采用第四代/第五代至強?可擴展處理器內(nèi)置的AI加速引擎–英特爾?AMX,最大限度地利用計算資源，顯著增加AI應用程序的每時鐘指令數(shù)(IPC)；?利用大模型推理軟件解決方案xFasterTransformer(xFT),進一步加速LLM推理。AI服務平臺75%利用充足的CPU資源，降低LLM推理服務TCO Intel?AVX-512(VNNI)掃碼獲取全文百度智能云千帆大模型平臺可支持廣泛的英特爾?CPU選擇英特爾?AMX可以更高效地實現(xiàn)AI加速 Intel?AMX讓更加可及、經(jīng)濟的AI算力挑戰(zhàn)LLM推理中大量矩陣及向量挑戰(zhàn)滿足行業(yè)離線LLM應用需求，解決30B等規(guī)模的LLM使用高端GPU成本較高等問題55解決方案中國電信網(wǎng)絡大模型方案引入第五代至強?可擴展處理器，借助其內(nèi)置的多種結合英特爾開源的xFT解決方案中國電信網(wǎng)絡大模型方案引入第五代至強?可擴展處理器，借助其內(nèi)置的多種結合英特爾開源的xFT分布式推理框架，有效平?采用第五代英特爾?至強?可擴展處理器作為方案的算力核心，利用其更多的內(nèi)核數(shù)量、更強的單核性能和更大的三級緩存容量等，為大模型提供強勁算力支持；?利用英特爾?AMX對INT8和BF16低精度數(shù)據(jù)類型的支持，在矩陣運算中有效提高計算速度并減少存儲空間占用，更充分地利用計算資源，大幅提升網(wǎng)絡大模型推理效能；?采用英特爾AI軟件工具(如xFasterTransformer)提升推理性能、降低部署成本并便捷地遷移模型。新方案已在多個運維場景推理任務中運用，輔助生成時延可有效滿足業(yè)務響應時間要求準備在中國電信現(xiàn)網(wǎng)各省公司實現(xiàn)規(guī)模落地>40%與主流GPU相比，CPU平臺方案可節(jié)省算力資源池建設成本面向邊緣/用戶現(xiàn)場的中國電信網(wǎng)絡大模型推理部署基于CPU平臺的中國電信網(wǎng)絡大模型推理算力方案架構掃碼獲取全文用CPU打造智行云網(wǎng)大腦，挑戰(zhàn)網(wǎng)絡大模型在執(zhí)行云網(wǎng)運營等應用時，需承受巨大的并發(fā)推挑戰(zhàn)本壓力和能耗，且不利于LLM6網(wǎng)絡大模型運行過程對內(nèi)存容量有較大需求，而GPU方案6解決方案看如何用CPU加速的AI解決方案看如何用CPU加速的AI京東云推出搭載第五代至強?可擴展處理器的新一代云服務器，以處理器內(nèi)置AI引擎顯著加?利用第五代至強?可擴展處理器及其內(nèi)置的AI加速引擎--英特爾?AMX，在提升算力的同時，高效處理大量矩陣乘法運算，提升AI推理性能；?使用英特爾?oneDNN對CPU、GPU或兩者使用相同的API，抽象出指令集的其他復雜的性能優(yōu)化，實現(xiàn)深度學習構建塊的高度優(yōu)化。倍倍挑戰(zhàn)Llama2-13B推理性能（越高越好）挑戰(zhàn)Llama2-13B推理性能（越高越好）TILE2D寄存器文件平鋪矩陣乘法(TMUL) 290 247 每核可存儲更大的數(shù)據(jù)塊 英特爾?AMX可在單次運算中計算更大矩陣的指令專用AI服務器帶來的7掃碼獲取全文Llama2-13B推理性能測試數(shù)據(jù)英特爾?AMX架構解決方案解決方案?基于火山引擎最新自研DPU2.0架構和第五代至強?可擴展處理器顯著提升的代際性能、更高的CPU核心數(shù)、更快的內(nèi)存以及更大的末級緩存容量，顯著提升g3i算力性能，實現(xiàn)內(nèi)存擴容，有效為LLM與更?利用第五代至強?可擴展處理器及其內(nèi)置的AI加速引擎--英特爾?AMX，在提升算力的同時，高效處理大量矩陣乘法運算，提升AI推理性能，勝任80億參數(shù)模型推理，降低中小模型推理成本。122%火山引擎g3i整機算力提升3.43倍122%火山引擎g3i整機算力提升3.43倍挑戰(zhàn)3.43倍加速比不斷拉升云實例算力性能，滿75%LIama-3-8B首包時延吞吐性能0.75s22Token/sSDXL-Turbo文生圖推理性能火山引擎g3i可勝任80億參數(shù)的模型推理88解決方案解決方案分利用原生AI加速能力，有效提升云上大模型推理性能。?利用第四代至強?可擴展處理器提供的強勁底層算力支撐，及內(nèi)置AI加速引擎--英特爾?AMX，以矩陣運算顯著提升AI推理性能；?基于英特爾?MKL及英特爾?oneDNN搭建大模型鏡像，在滿足計算準確率的前提下，進一步提升模型挑戰(zhàn)采用高性能、高經(jīng)濟性的模型挑戰(zhàn)采用高性能、高經(jīng)濟性的模型9在LLaMa2-AMX和ChatGLM2-AMX性能測試中，經(jīng)英特爾Super-Fuse優(yōu)化后，LLM推理性能提升達有關性能和基準測試結果的更/采用IPEX2.0BF16優(yōu)化后，StableDi?usion模型推理性能提升達大語言模型優(yōu)化前后性能對比\掃碼獲取全文解決方案阿里媽媽引入第五代至強?可擴展處理器作為算力核心，并借助處理器內(nèi)置的英特爾?AMX?解決方案阿里媽媽引入第五代至強?可擴展處理器作為算力核心，并借助處理器內(nèi)置的英特爾?AMX?利用第五代至強?可擴展處理器更大的末級緩存容量等為推薦系統(tǒng)提供強勁的算力支持；?英特爾?AMX可提供矩陣類型的運算且同時支持INT8和BF16數(shù)據(jù)類型，助力阿里媽媽推薦系統(tǒng)在保證精度影響最小的前提下加速推理過程；?借助英特爾?oneDNN、算子融合等軟件方案，加速矩陣運算，提升內(nèi)存訪問效率。倍激發(fā)硬件AI加速潛能，AI模型推理加速挑戰(zhàn)推薦內(nèi)容列表容集合-·召回-·粗排-精排-重排吞吐性能:1.52X挑戰(zhàn)推薦內(nèi)容列表容集合-·召回-·粗排-精排-重排吞吐性能:1.52X掃碼獲取全文典型的阿里媽媽推薦系統(tǒng)架構第五代至強?可擴展處理器帶來的吞吐性能提升在有限的算力資源和嚴格的時解決方案阿里云攜手英特爾合作改進DDR5內(nèi)存可靠性，聯(lián)合開發(fā)了面向DDR5的內(nèi)存故障預測和預?解決方案阿里云攜手英特爾合作改進DDR5內(nèi)存可靠性，聯(lián)合開發(fā)了面向DDR5的內(nèi)存故障預測和預?方案在BMC中集成英特爾?MRT技術提供AI輔助的實時預測和內(nèi)存故障分析，其利用多維模型和人工智能算法，在微觀層面檢測內(nèi)存故障，使得數(shù)據(jù)中心提前預警和主動預測潛在的內(nèi)存故障風險；?在平臺中引入第五代至強?可擴展處理器，助力阿里云數(shù)據(jù)中心為不同工作負載提供更加強勁的算力支持。57%后，預期能夠預測的不可糾正錯誤(UE)達74%后，預期能夠預測的可糾正錯誤(CE)達AI輔助提升DDR5內(nèi)存可靠AI輔助故障分析OSAlibabaCloudCruiserOSAlibabaCloudCruiserSystem挑戰(zhàn)BMCIntel?MRTBIOS挑戰(zhàn)BMCIntel?MRTBIOS掃碼獲取全文解決方案架構圖高效的UE和CE風暴預測ProcessorDDR5內(nèi)存模塊容量更大，增In-DRAM糾錯碼（ECC）導解決方案樂元素引入基于第五代至強?可擴展處理器的新一代騰訊云實例S8，并采用處理器內(nèi)置的AI加速引擎，軟硬結合加速AI解決方案樂元素引入基于第五代至強?可擴展處理器的新一代騰訊云實例S8，并采用處理器內(nèi)置的AI加速引擎，軟硬結合加速AI推理，提升開發(fā)效率和游戲體驗。?利用基于第五代至強?可擴展處理器的騰訊云實例S8獲得平衡、穩(wěn)定的計算、內(nèi)存和網(wǎng)絡資源；?采用處理器內(nèi)置AI加速引擎--英特爾?AMX，高效處理矩陣乘法運算，加速基于CPU的AI推理，避免使用獨立加速器帶來的成本和復雜性；?借助英特爾?oneDNN這一開源、跨平臺的庫，開發(fā)人員可對CPU、GPU使用相同的API，從而抽象出指令集和其他復雜的性能優(yōu)化，顯著降低編程難度。3.44倍倍新春掃龍字活動模型推理性能提升達更多AI擴展應用AI模型推理優(yōu)化挑戰(zhàn)《開心消消樂》新春掃龍字活動模型推理吞吐性能(越高越好)挑戰(zhàn)《開心消消樂》新春掃龍字活動模型推理吞吐性能(越高越好)TILE2D寄存器文件平鋪矩陣乘法(TMUL) 290 247 每核可存儲更大的數(shù)據(jù)塊 英特爾?AMX可在單次運算中計算更大矩陣的指令掃碼獲取全文《開心消消樂》新春掃龍字活動模型測試數(shù)據(jù)英特爾?AMX架構滿足模型推理性能需求的同時服務器需具備足夠的靈活性，以適應不斷變化的游戲內(nèi)容和有關性能和基準測試結果的更完整信息，請訪問：/content/www/cn/zh/arti?cial-intelligence/s8-accelerates-happy-elements-game-ai-inference.html解決方案加速解決方案加速NLP應用商業(yè)落地百度ERNIE-Tiny使用內(nèi)置英特爾?AMX的第四代英特爾?至強?可擴展處理器，配合多?采用第四代英特爾?至強?可擴展處理器作為ERNIE–Tiny推理工作的算力輸出引擎，為高強度工作負載?以第四代至強?可擴展處理器內(nèi)置的AI加速技術--英特爾?AMX，大幅提升ERNIE-Tiny推理性能；?利用英特爾?oneDNN實現(xiàn)對英特爾?AMX的調(diào)用，有效助力用戶提升AI應用及框架性能。英特爾?AMX每個物理核在每個時鐘周期可實現(xiàn)2,0482,048次INT8運算ERNIEERNIE–TinyMedium版與基礎版ERNIE挑戰(zhàn)EasyDLBMLERNIEKit ERNIE-Tiny挑戰(zhàn)EasyDLBMLERNIEKit ERNIE-Tiny州p飛槳PaddleNLP與英特爾?AVX-512相比，英特爾?AMX可帶來8倍以上的效率提升ERNIE-Tiny對外能力輸出有關性能和基準測試結果的更完102416X20488X在保持精度的前提下，實現(xiàn)更短的AI推理運算時間和更少推理任務，減少對昂貴的專用AI算力設備的需求，降低TCO掃碼獲取全文技術篇：英特爾AI產(chǎn)品組合AI推理英特爾英特爾?XPU平臺:滿足AI之旅各階段需求數(shù)據(jù)預處理數(shù)據(jù)預處理AI模型訓練和微調(diào)AI推理集成NPU基礎和共享軟件堆棧實現(xiàn)更優(yōu)能效滿足高密度和橫向擴展工作工作負載和使用情況P-coreE-core內(nèi)核性能AI工作負載工作負載和使用情況P-coreE-core內(nèi)核性能AI工作負載每顆每顆CPU集成多達128個性能核更高內(nèi)存帶寬多達12更高內(nèi)存帶寬多達12個通道DDR5(高達6400MT/s)采用MRDIMM內(nèi)存(高達8800MT/s)更大三級共享緩存高達504MB多達96條通道PCIe5.0ComputeExpressLink2.0(CXL2.0)高達6UPI2.0高達24GT/s計算單元(ComputeDie)基于英特爾3制程工藝支持單路到八路設計(高端6900P系列最多支持雙路)內(nèi)置AI與科學計算加速引擎其它內(nèi)置加速引擎硬件增強型安全特性英特爾?ScalableVectorSearch(SVS)AI和科學計算英特爾?高級矢量擴展2(VNNI/INT8)英特爾?數(shù)據(jù)流加速器(英特爾?DSA)AI和科學計算英特爾?高級矢量擴展2(VNNI/INT8)英特爾?數(shù)據(jù)流加速器(英特爾?DSA)英特爾?軟件防護擴展(英特爾?SGX)英特爾?信任域擴展(英特爾?TDX)英特爾?密碼操作硬件加速英特爾?數(shù)據(jù)流加速器(英特爾?DSA)英特爾?存內(nèi)分析加速器(英特爾?IAA)英特爾?數(shù)據(jù)保護與壓縮加速技術(英特爾?QAT)英特爾?數(shù)據(jù)保護與壓縮加速技術(英特爾?QAT)英特爾?動態(tài)負載均衡器(英特爾?DLB)AI推理多達288個內(nèi)核1(每個處理器)更大三級緩存(L3)：高達216MB英特爾?UPI2.0速度：高達24GT/s多達188條PCle5.0通道ComputeExpressLink(CXL)2.0通道Type3內(nèi)存支持 Web和微服務已推出的6700E系列每個CPU擁有多達144個內(nèi)核，25年1Q發(fā)布的6900E系列最高達288個內(nèi)核多達64個內(nèi)核(每個處理器)更高內(nèi)存帶寬：高達5,600MT/s更大三級緩存(LLC)：高達3倍1(PCIe5)UPI2.0速度：高達20GT/sType3內(nèi)存支持無需更改代碼即可直接兼容42%與第四代至強?相比平均性能提升221%42%與第四代至強?相比平均性能提升221%英特爾?AMX更高的AMX頻率，全新許可水平每個內(nèi)核均內(nèi)置AI加速器英特爾?數(shù)據(jù)保護與壓縮加速技術(英特爾?QAT)英特爾?存內(nèi)分析加速器(英特爾?IAA)英特爾?數(shù)據(jù)流加速器(英特爾?DSA)英特爾?動態(tài)負載均衡器(英特爾?DLB)內(nèi)置加速器提供高效計算/更高的每瓦性能經(jīng)優(yōu)化的電源模式2.0/針對工作負載優(yōu)化的SKU無縫固件升級縮短停機時間英特爾?SGX英特爾?TDX運行參數(shù)量在200億以下的LLM運行參數(shù)量在200億以下的LLM時，詞元處理時延低于4AI推理性能提升32020(英特爾?AMX)平均性能增益(與上一代產(chǎn)品比較)內(nèi)置加速器80條PCIe5.0通道更高的單核性能每路多達60個內(nèi)核英特爾?UPI2.0增加三級緩存(LLC)共享容量ComputeExpressLink(CXL)1.18通道DDR5傳輸速率高達4,800MT/s(1DPC)傳輸速率高達4,400MT/s(2DPC)每路16個DIMM全新RAS功能(增強型ECC、ECS)高帶寬內(nèi)存(HBM)(64GB/每路)經(jīng)優(yōu)化的電源模式(英特爾?QAT)英特爾?SGX英特爾?TDX…系列(配備HBM)PyTorch實時推理和訓練性能提升啟動英特爾?AMX(BF16)時與上一代產(chǎn)品(FP32)的比較結果更出色的性能與能效，更好滿足客戶所需更出色的性能與能效，更好滿足客戶所需更全面的機密計算產(chǎn)品組合創(chuàng)新、設計和交付均堅持工作負載優(yōu)先CPU內(nèi)置多種加速器加速深度學習?(英特爾QAT)加速深度學習?加速加密與壓縮操作提升與網(wǎng)絡處理集成高內(nèi)存帶寬，為科學計算與AI工作負載幫助保護數(shù)據(jù)機密性與代碼完整性2222內(nèi)置內(nèi)置AI加速能力的數(shù)據(jù)中心級CPU第二代至強第二代至強?可擴展處理器(CascadeLake)英特爾?DLBoost(AVX-512_VNNI)全新內(nèi)存存儲層次結構第四代至強?第四代至強?可擴展處理器(SapphireRapids)第五代至強?可擴展處理器(EmeraldRapids)英特爾?AdvancedMatrixExtensions(AMX)進一步擴展了至強?可擴展處理器上的內(nèi)置AI加速功能第三代至強?可擴展處理器(CooperLa英特爾?DLBoost(AVX-512_BF16)英特爾?DLBoost(AVX-512_VNNI)和英特爾?SoftwareGuardExtensions(英特爾?SGX)，支持領先AI應用，如聯(lián)邦學習"Tiles"2DRegisterFiles"TMUL""Tiles"2DRegisterFiles"TMUL"英特爾?DLBoost(VNNI)VPDPBUSDINSTRUCTIONSthatcomputelargermatricesinasingleoperationStorebiggerVPDPBUSDINSTRUCTIONSthatcomputelargermatricesinasingleoperationStorebiggerchunksofDATAineachcore更高效的推理加速英特爾?AVX-512VPMADDUBSWVPMADDWDVPADDD第二代和第三代至強?可擴展處理器英特爾?AMX可提供超過8x推理表現(xiàn)速度提升(BERT,第三代vs第二代)將三條指令合而為一，可最大限度地利用計算資源，提高緩存利用率領先性能領先性能23TILE2DTILE2D寄存器文件平鋪矩陣乘法(TMUL)290290247可在單次運算中計算更大矩陣的指令每核可存儲更大的數(shù)據(jù)塊倍處理器可使推理工作負載 英特爾?AMX?市場上的主流框架、工具套件和庫(PyTorch、Ten-sorFlow)，英特爾?oneAPI深度神經(jīng)網(wǎng)絡庫(英特爾?oneDNN)?圖像識別、推薦系統(tǒng)、機器/語言翻譯、自然語言處理(NLP)、媒體處理和分發(fā)倍實時推理性能提升2倍實時推理每瓦性能提升3AMX的第五代至強?可擴展處理器2424矢量神經(jīng)網(wǎng)絡指令(VNNI)擴展英特爾?AVX-512以加速CPU平臺上的AI/Input8-bitOutputInput8-bitOutputAVX-512AVX-512--ConstantInput8-bitVPMADDUBSWVPADDDVPMADDWDInput8-bitVPMADDUBSWVPADDDVPMADDWD-ConstantCycle1Cycle1Cycle2Cycle3CompleteCycle1CompleteInput8-bitInput8-bit可最大限度地利用計算資源，提高緩存利用率，避免潛在的帶可最大限度地利用計算資源，提高緩存利用率，避免潛在的帶VNNIInput8-bitVPDPBUSD(8-BitNewInstruction)推理性能提升達(BERT)1借助增強型英特爾?深度學習加速技術實現(xiàn)(基于面向單路和雙路的第三代英特爾?至強?可擴展處理器，相較于上一代)25依據(jù)表示數(shù)字的比特位數(shù)，F(xiàn)P32可提供更高的精度許多AI功能并不需要FP32提供的精度水平b?oat16支持基于相同指數(shù)域的相同范圍的數(shù)字，但精度略低從FP32轉(zhuǎn)換到依據(jù)表示數(shù)字的比特位數(shù)，F(xiàn)P32可提供更高的精度許多AI功能并不需要FP32提供的精度水平b?oat16支持基于相同指數(shù)域的相同范圍的數(shù)字，但精度略低從FP32轉(zhuǎn)換到b?oat16比轉(zhuǎn)換到FP16更簡單與FP32相比，使用b?oat16可實現(xiàn)每周期兩倍的吞吐量Number:0.56580972671508789062596AsFP32:0.56580972671508789062532BitsFP32BF16到FP32的簡單轉(zhuǎn)換FP16可以提供比b?oat16更高的精度，但用于表示指數(shù)位的符號–表示正數(shù)或負數(shù) 0010000110 0010000010000 FP16000000000000002626建立數(shù)據(jù)主權和控制建立數(shù)據(jù)主權和控制將數(shù)據(jù)和知識產(chǎn)權隔離在保密的虛擬機中，并將受保護數(shù)據(jù)的訪問通過在VM內(nèi)的TEE通過在VM內(nèi)的TEE對機密數(shù)據(jù)進行硬件增強隔離，幫助減少攻擊保護數(shù)據(jù)和知識產(chǎn)權TD(信任域)虛擬機級TEE為傳統(tǒng)應用提供實現(xiàn)出色的安全性、合規(guī)性與控制的直接途徑英特爾?TDX、英特爾英特爾?TDX、英特爾?SGX等可以幫助受嚴格的數(shù)據(jù)隱私法規(guī)約束簡化監(jiān)管合規(guī)應用客戶操作系統(tǒng)應用應用在可信環(huán)境中部署AI英特爾?在可信環(huán)境中部署AI英特爾?至強?(TDX) 信任域英特爾?TDX憑借強大的隔離、完整性和保密功能，幫助保護應用程簡化將現(xiàn)有應用程序移植和遷移到機密計算環(huán)境的過程，在大多數(shù)情況下，無需更改應用程序代碼，即可激活虛擬機內(nèi)由英特爾簡化將現(xiàn)有應用程序移植和遷移到機密計算環(huán)境的過程，在大多數(shù)情況下，無需更改應用程序代碼，即可激活虛擬機內(nèi)由英特爾?TDX支持的可信域。27采用英特爾?SGX的機密人工智能應用，保護使用中的數(shù)據(jù)和代碼intelintel·未加密的數(shù)據(jù)和結果已驗證的應用未加密的數(shù)據(jù)和結果已驗證的應用或模型代碼SGX·加密敏感數(shù)據(jù)云租戶或管理員的影響，即使是惡意的訪問加密或匿名的結果加密驗證TEE是否真實、配置正確且僅運行預期的軟件負載集中式多方231231模型2828受監(jiān)管的數(shù)據(jù)示例：智慧城市攝像頭捕獲的受嚴格數(shù)據(jù)處理法規(guī)約束的個人身份信息(PII)√符合規(guī)定加密的加密的數(shù)據(jù)存儲模型(未加密的數(shù)據(jù)處理)聯(lián)邦學習SiteModelSiteModelSiteModelSiteModelGovernor&MasterModelSiteModelECC編解碼基于硬件的SR-IOV英特爾ECC編解碼基于硬件的SR-IOV英特爾Xe矩陣擴展架構256TOPS(INT8)75W半高PCIe75W半高PCIe4個X4個Xe媒體引擎150W全高PCIe32Xe內(nèi)核32光線追蹤單元面向智能視覺云的GPU解決方案，支持基于標準的開放式軟件堆棧，針對密度和質(zhì)量進行了優(yōu)化，具有關鍵的服務器功能，可實現(xiàn)高可靠性、可用性和可擴展性，有助于減少數(shù)據(jù)中心使用不同解決方案并管理異構或?qū)Ｓ协h(huán)境的需求，支持的工作負載包括：AI視覺推理媒體處理和交付云游戲虛擬桌面基礎設施29數(shù)據(jù)科學和AI應用經(jīng)優(yōu)化的AI模型cnvrg.io大規(guī)模數(shù)據(jù)分析t數(shù)據(jù)標注、模型訓大規(guī)模數(shù)據(jù)分析t數(shù)據(jù)標注、模型訓英特爾的優(yōu)化和微工程數(shù)據(jù)模型DirectMLSigOptAutoMLNeuralCompressorWebAssemblyWebGPUWebNN英特爾英特爾?oneAPIDeep英特爾?oneAPI英特爾?oneAPI適用于CPU、GPU和其他加速器的開放式、多架構編程模型注：堆棧中每一層的組件均基于預期的AI使用模型，有針對性地對其他層的目標組件進行優(yōu)化，但并非每個組件都被最右列的解決方案所使用。3030深度學習面向英特爾?架構優(yōu)化的TensorFlow面向英特爾?架構優(yōu)化的PyTorch深度學習面向英特爾?架構優(yōu)化的TensorFlow面向英特爾?架構優(yōu)化的PyTorch數(shù)據(jù)分析&機器學習加速數(shù)據(jù)庫面向英特爾?架構優(yōu)化的ModinHEAVY.AIBackend(formerlyOmniSci)面向英特爾?架構優(yōu)化的PythonNumPyDaal-4PyXGBoostPandasSciPy示例及端到端工作負載GPU支持的硬件架構硬件支持因個別工具而異。架構支持將隨著口CPU點擊或通過如下鏈接獲取工具包IntelInstallerDocker加速端到端人工智能和數(shù)據(jù)分析管道?利用面向英特爾?架構優(yōu)化的深度學和機器學習工作流提供落地加速性能加速簡化端到端工作流程···提高生產(chǎn)力加快開發(fā)OpenVINO?工具套件-由oneAPI提供支持旨在使用高性能人工智能和計算機視覺推理實現(xiàn)更加快速和準確的實際結果旨在使用高性能人工智能和計算機視覺推理實現(xiàn)更加快速和準確的實際結果，部署在從邊緣到云的、基于英特爾?XPU架構(CPU、GPU、FPGA、VPU)的生產(chǎn)環(huán)境中1.BUILD2.OPTIMIZE3.DEPLOYTrainedTrainedModelInferenceEngineCommonAPIthatprogrammingforeachInferenceEngineCommonAPIthatprogrammingforeachhardwareDeploymentCPUPluginPluginPluginPluginPlugin IRDataGPUGNADeepLearningStreamerMyriadOpenCVOpenCLCodeSamples&DemosAccuracyChecker,ModelDownloader)HDDLFGPAManagerModelOptimizerRepresentationConvertsandoptimizestrainedmodelModelOptimizerRepresentationPost-TrainingPost-TrainingOptimizationToolDeepDeepLearningWorkbenchOpenModelZoo3232(內(nèi)置模型和算法)(自動構建端到端管道(內(nèi)置模型和算法)(自動構建端到端管道)(將AI模型無縫擴展到分布式大數(shù)據(jù)平臺)AutoMLAutoMLAutomaticClusterS