英特爾+電信運營商AI實踐手冊

AIAI實踐手冊#云同行AI加速112205CONTENTS54人工智能市場支出指南05CONTENTS54人工智能市場支出指南.Gaudi2在中國市場隆重推出.經(jīng)英特爾優(yōu)化的開源AI框架和工具.基于第四代英特爾?至強?可擴展處理器的AI調(diào)優(yōu)指南.廣泛的英特爾AI產(chǎn)品組合和合作伙伴擴展AI產(chǎn)品陣容以滿足中國市場的需求33AI的爆炸式增長(PFLOPs)1e+081e+071e+051e+041e+0320122013201420152016201720182019202020212022資料來源：Moore,S.(2022)，IEEESpectrum。44單位：百萬美元在2026年預(yù)計將超過3,000億美元27.0%*2022-2026年的復(fù)合增長率（CAGR）單位：百萬美元在2026年預(yù)計將超過3,000億美元27.0%*2022-2026年的復(fù)合增長率（CAGR）1,540億美元26.9%*相比2022年增長=DC30.0%25,00020,00015,00010,0005,000020.0%10.0%0.0%264.4億美元2021-2026五年復(fù)合增長率（CAGR）將超過20%30,000202120222023202420252026如欲了解更多詳情請訪問：/getdoc.jsp?containerId=prUS50454123/getdoc.jsp?containerId=prCHC505398235人工智能市場=DCProfessionalServicesOthersDiscreteManufacturing全球項目顧問和推薦系統(tǒng)TopIndustryBasedon2023=DCProfessionalServicesOthersDiscreteManufacturing全球項目顧問和推薦系統(tǒng)TopIndustryBasedon2023MarketShare(Value(Constant))46.7%9.5%BankingRetailProcessManufacturingSource:IDCWorldwideArti?ciallntelligenceSpendingGuide-Forecast2023|Feb(V12023)增強的智能客服銷售流程推薦和增強Top3行業(yè)AI應(yīng)用場景人工智能主要應(yīng)用行業(yè)及場景=DC中國人工智能市場支出預(yù)測（行業(yè)），2026=DC29.3%47.0%8.9%7.8%7.0%搜索搜索公共公共安全風(fēng)險風(fēng)險管理推薦推薦城市城市管理欺詐欺詐檢測廣告廣告營銷社會社會服務(wù)投資投資分析6如欲了解更多詳情請訪問：/getdoc.jsp?containerId=prUS504541236/getdoc.jsp?containerId=prCHC50539823AI正在顛覆我們的日常生活77賦能重要的技術(shù)轉(zhuǎn)型88人工智能正在變革電信行業(yè)發(fā)揮資源優(yōu)勢構(gòu)建智能算網(wǎng).加速云網(wǎng)融合與算力網(wǎng)絡(luò)建設(shè)：簡化網(wǎng)絡(luò)規(guī)劃和運營，從云到邊緣加速塑造新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施，.提升運營效益：在算力網(wǎng)絡(luò)運營全周期發(fā)揮關(guān)鍵作用，驅(qū)動網(wǎng)絡(luò)持續(xù)變革，協(xié)同新技術(shù)提升算力網(wǎng)絡(luò)智能化水平，全面提升安全與服務(wù)質(zhì)量；.推動產(chǎn)業(yè)數(shù)智轉(zhuǎn)型：提供AIaaS平臺，開發(fā)行業(yè)大模型，提供智能化方案，驅(qū)動AI產(chǎn)業(yè)發(fā)展和多.釋放綜合優(yōu)勢，打造智能算力：充分發(fā)揮超大規(guī)模數(shù)據(jù)、算網(wǎng)資源以及大模型等核心算法優(yōu)勢，加速實施云改數(shù)轉(zhuǎn)戰(zhàn)略，推動網(wǎng)絡(luò)+AI技術(shù)融合創(chuàng)新，以AI為核心打造智能算力網(wǎng)絡(luò)。99.打造智慧運營大腦，提升服務(wù)水平/xtt/202110/t20211019_150923.shtml“加快建設(shè)信息網(wǎng)絡(luò)基礎(chǔ)設(shè)施。建設(shè)高速泛在、天地一體、云網(wǎng)融合、智能敏捷、綠色低碳、安全可控的智能化綜合性數(shù)字信息1生成式AI(GenerativeAI)生成式AI(GenerativeAI)AI關(guān)鍵用例生成式生成式AI與萬物數(shù)字化息息相關(guān)，其描述了用于創(chuàng)建新數(shù)據(jù)的算法，這些數(shù)據(jù)類似于人類生成的內(nèi)容，包括音頻、代碼、圖像、文本、模擬和視頻。這項技術(shù)通過現(xiàn)有內(nèi)容和數(shù)據(jù)進行訓(xùn)練，為自然語言處理、計算機視覺、元數(shù)據(jù)和語音合成等應(yīng)如今，ChatGPT（一種針對人類對話而優(yōu)化的GPT-3/4大型語言模型的變體）讓普通人不僅了解了生成式AI的強大力量，也了解了企業(yè)可以從大型語言模型（LLM）中獲得的潛在投資回報。生成式AI推動著前所未有的計算需求，企業(yè)現(xiàn)在比以往任何時候都更需要一個全面的AI戰(zhàn)略，該戰(zhàn)略必須針對性能、生產(chǎn)力和能效進行獨特設(shè)計，以滿足包含生成式AI在內(nèi)的新的計算需求。英特爾獨特的生成式AI解決方案（DemocratizedAIandanOpenEcosystem可以滿足當(dāng)今和未來的計算需求：.英特爾致力于AI普適化，結(jié)合硬件方面的獨特優(yōu)勢，支持開放的生態(tài)系統(tǒng)，面向未來進行正確的投資，以滿足全方位AI的計算需求，包括生成式AI；.英特爾采用開放、經(jīng)濟、可擴展的方法，可將AI擴展到任何地方—從云端到邊緣—使企業(yè)能夠?qū)?shù)據(jù)轉(zhuǎn)化為價值；.英特爾的領(lǐng)先產(chǎn)品把AI性能提升到新高度。通過結(jié)合至強?處理器和Gaudi2的互補優(yōu)勢，英特爾能夠提供一系列豐富且新興的AI和深度學(xué)習(xí)功能，助力客戶把握AI帶來的新機遇，進而將生產(chǎn)力和效率提升至新高度；.英特爾致力于培育開放的生態(tài)系統(tǒng)，建立信任、提供選擇并確?；ゲ僮餍?，以滿足性能、生產(chǎn)力.英特爾提供多樣的硬件組合，可將各種AI負載的推理和訓(xùn)練性能提升至新的水平，以滿足對速度應(yīng)考量的因素按業(yè)務(wù)需求選擇合適的AI方法時，數(shù)據(jù)特點數(shù)據(jù)特點人工智能類型人工智能類型人工智能算法類別人工智能算法類別發(fā)現(xiàn)變量間的關(guān)系結(jié)構(gòu)化數(shù)據(jù)，批量分析機器學(xué)習(xí)預(yù)測分類型分類標簽或預(yù)測分類型分類標簽或進行數(shù)據(jù)分類結(jié)構(gòu)化數(shù)據(jù)，批量分析結(jié)構(gòu)化數(shù)據(jù)，批量分析機器學(xué)習(xí)機器學(xué)習(xí)揭示變量間具有意義的關(guān)系結(jié)構(gòu)化數(shù)據(jù)，批量分析機器學(xué)習(xí)進行圖像分類，在圖像中進行圖像分類，在圖像中找到識別對象井進行分類MRI掃描片等)，批量或?qū)崟r分析，小型數(shù)據(jù)集深度學(xué)習(xí)深度學(xué)習(xí):卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)從文本中提取內(nèi)容和意義Oice文檔、社交媒體帖文等)，非機構(gòu)化音頻/視頻內(nèi)容，批量或?qū)崟r分析深度學(xué)習(xí):語言翻譯，語音識別長短時記憶(LSTM)，遞歸神經(jīng)網(wǎng)絡(luò)(RNN)將文本將文本/文字轉(zhuǎn)為語音非結(jié)構(gòu)化文本，實時分析非結(jié)構(gòu)化文本，實時分析生成對抗網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)(GAN)推薦廣告、搜索、應(yīng)用等結(jié)構(gòu)化客戶數(shù)據(jù)，非結(jié)構(gòu)化文本，實時分析多層感知器(MLP)生成像訓(xùn)練數(shù)據(jù)的圖像生成像訓(xùn)練數(shù)據(jù)的圖像非結(jié)構(gòu)化圖像和視頻，實時非結(jié)構(gòu)化圖像和視頻，實時GANGAN結(jié)合CNN從對行為的反饋中學(xué)習(xí)批量或?qū)崟r分析CNN或CNN+RNN90%(到2025年)的企業(yè)應(yīng)用將使用90%(到2025年)的企業(yè)應(yīng)用將使用嵌入式AI70%的數(shù)據(jù)中心AI推理任務(wù)可擴展處理器上運行提升洞察質(zhì)量驅(qū)動關(guān)鍵業(yè)務(wù)產(chǎn)出?從云端、網(wǎng)絡(luò)、邊緣，到終端設(shè)備，更廣泛的應(yīng)用場景意味著AI的部署環(huán)境正變得?在異構(gòu)平臺上運行全棧軟件，需要用戶基于不同的硬件基礎(chǔ)設(shè)施來設(shè)計高效穩(wěn)定的開發(fā)和部署方案，且需要根據(jù)業(yè)務(wù)場景、軟件框架的不同來實施復(fù)雜的調(diào)優(yōu)過程。84%認為他們需要借助84%AI來獲得成功的高管對于力求在整個企業(yè)業(yè)務(wù)層面擴展AI應(yīng)用的企業(yè)來說，降低復(fù)雜性是關(guān)鍵所在。arti?cial-intelligence/resources/advance-insights-with-ai-brief.html部署AI需要異構(gòu)芯片輸入數(shù)據(jù)AI助力實現(xiàn)出色的業(yè)務(wù)成果資料來源：英特爾預(yù)測結(jié)果基于分析師數(shù)據(jù)通用計算服務(wù)于端到端AI管線中小型訓(xùn)練和微調(diào)中小型訓(xùn)練和微調(diào)終端側(cè)推理低時延和稀疏推理邊緣側(cè)AI推理效率可擴展性效率可擴展性在基于CPU的基礎(chǔ)設(shè)施上運行AI工作負載部署AI時需要考量的基礎(chǔ)設(shè)施因素靈活性靈活性在漫長的AI開發(fā)流程中，對計算資源的要求各不相同基于英特爾?技術(shù)的現(xiàn)有基礎(chǔ)設(shè)施可以支持多種AI用例和工作負載推薦引擎推薦引擎應(yīng)用等多層感知器(MLP)訓(xùn)練和推理。將更大的內(nèi)存用于嵌入層經(jīng)典機器學(xué)習(xí)從數(shù)據(jù)獲取洞察回歸、分類、集群等將速度更快的內(nèi)核用于大型數(shù)據(jù)集和難以并行運行的算法使用大數(shù)據(jù)樣本的模型醫(yī)學(xué)影像、地震卷積神經(jīng)網(wǎng)絡(luò)(CNN)訓(xùn)練和推理。需要更大的內(nèi)存其他實時推理圖像識別、語音識別、自然語言處理多種類別將速度更快的內(nèi)核用于難以井行處理的小批數(shù)據(jù)語音識別循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)實時推理。將速度更快的內(nèi)核用于順序、難以并行處理的數(shù)據(jù)CPU的優(yōu)勢數(shù)據(jù)中心容量空閑時段訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)任何類別任何用途用途類別行各業(yè)擁有更快和更好的洞察力。然而，不合格的硬件和未經(jīng)優(yōu)化的AI訓(xùn)練和推理解決方案阻礙了它們的進一步發(fā)展。內(nèi)置AI加速縱觀市場上所有的CPU，第四代英特爾?至強?可擴展處理器內(nèi)置眾多加速器，可為AI工作負載提供性能和能效優(yōu)勢，并可憑借全新的英特爾?高級矩陣擴展（英特爾?AMX）提供卓越的AI訓(xùn)練和推理性能。高達高達5.7倍至10倍PyTorch實時推理性能提升高達3.5倍至10倍PyTorch訓(xùn)練性能提升啟用內(nèi)置英特爾?AMX(BF16)的第四代英特爾?至強?可擴展處理器vs上一代產(chǎn)品（FP32）英特爾攜手生態(tài)系統(tǒng)合作伙伴，共推AI的繁榮演進英特爾數(shù)千名軟件工程師正在整個AI生態(tài)系統(tǒng)中貢獻著自己的一份力量加速AI的發(fā)展。例如，NumPy、TensorFlow、PyTorch、Scikit-learn、XGBoost的主流開源版本均已面向英特爾?架構(gòu)進行了優(yōu)化。英特爾提供了許多工具來加速AI發(fā)展，如用于推理模型優(yōu)化的OpenVINOTM工具套件；用于ApacheSpark上的分布式深度學(xué)習(xí)的BigDL；以及用于在任意基礎(chǔ)設(shè)施上協(xié)調(diào)機器學(xué)習(xí)管道的cnvrg.ioMLOps平臺。第四代英特爾?至強?可擴展處理器，結(jié)合軟件優(yōu)化和生態(tài)系統(tǒng)合作，正在幫助人工智能開發(fā)者實現(xiàn)其生產(chǎn)力目標，并從人工智能中更快地獲得商業(yè)價值。如欲了解更多詳情請訪問：/content/www/cn/zh/customer-spotlight/cases/accelerate-ai-workload-with-amx.htmlIntelSolutionsMarketplace解決方案加速AI落地200+IntelSolutionsMarketplace解決方案加速AI落地200+一站式AI方案可選助力應(yīng)用快速落地加速AI應(yīng)用構(gòu)建150+容器鏡像幫助用戶快速構(gòu)建端到端AI數(shù)據(jù)應(yīng)用加速AI性能在20+典型AI負載下提供卓越性能表現(xiàn)架構(gòu)的AI基石Scikit-LearnPandasNumPy/SciPyXGBoost&More存儲連接CPU存儲連接CPUFPGAASICGPU人工智能基礎(chǔ)設(shè)施媒體與圖像深度學(xué)習(xí)推理深度學(xué)習(xí)訓(xùn)練(Gaudi)面向更廣泛工作負載AI專用專用專用GPUCPU面向數(shù)據(jù)中心的多樣化英特爾面向數(shù)據(jù)中心的多樣化英特爾AI硬件組合強大硬件組合，全面優(yōu)化AI工作負載，滿足多樣化算力需求廣泛的英特爾AI產(chǎn)品組合和合作伙伴通過豐富的軟硬件組合加速AI方案部署時間可運行各種AI代碼，各類工作負載經(jīng)過英特爾優(yōu)化的開源AI框架和工具加速開發(fā)者構(gòu)建和部署AI應(yīng)用的旅程DataValidationDataPreparationFeatureCreationModelOptimizationDataLabellingDataTransformationModelSelectionModelEvaluationModelPackagingPerformanceMonitoringDataCleanupModelTrainingModelValidationEndpointConDataValidationDataPreparationFeatureCreationModelOptimizationDataLabellingDataTransformationModelSelectionModelEvaluationModelPackagingPerformanceMonitoringDataCleanupModelTrainingModelValidationEndpointCon?gModelServing端到端人工智能流水線的挑戰(zhàn)DataCollectionDataIngestionDataAnalysis只有53%的AI項目能夠從原型到生產(chǎn)(Gartner)2基于英特爾對截至2021年12月，運行AI推理工作負載的全球數(shù)據(jù)中心服務(wù)器裝機量的市場建模數(shù)據(jù)來源:/article/3639028/why-ai-investments-fail-to-deliver.html2020DataCollectionDataValidationDataPreparationDataIngestionDataLabellingDataTransformation數(shù)據(jù)準備DataDataAnalysisCleanupDataCollectionDataValidationDataPreparationDataIngestionDataLabellingDataTransformation數(shù)據(jù)準備DataDataAnalysisCleanup端到端人工智能流水線的挑戰(zhàn)經(jīng)典機器學(xué)習(xí)經(jīng)典機器學(xué)習(xí)以幾十年的行業(yè)投資，基于運行機器學(xué)習(xí)代碼深度學(xué)習(xí)內(nèi)置AI加速器的第四代小/中型模型和遷移學(xué)習(xí)/調(diào)優(yōu)的數(shù)據(jù)中心推理運行于70%只有53%的AI項目能夠從原型到生產(chǎn)(Gartner)2基于英特爾對截至2021年12月，運行AI推理工作負載的全球數(shù)據(jù)中心服務(wù)器裝機量的市場建模數(shù)據(jù)來源:/article/3639028/why-ai-investments-fail-to-deliver.htmlAI需要一個均衡的服務(wù)器平臺2222推薦系統(tǒng)推薦系統(tǒng)SystolicFLOPsMemoryCapacityMemoryBandwidthcoalescedmemoryaccessesscalarmemoryaccessesDensepartSparsepartGNNSystolicFLOPsComputeinNetworkMemoryBandwidthcoalescedmemoryaccessesscalarmemoryaccessesComputeinNetworkNetworkBandwidthNetworkLatency深度學(xué)習(xí)和GNN訓(xùn)練NetworkLatencyNetworkBandwidthCapacityMemoryNLPNLPSystolicFLOPsscalarmemoryaccessescoalescedmemoryaccessesCNNSystolicFLOPsscalarmemoryaccessescoalescedmemoryaccesses深度學(xué)習(xí)推理MemoryBandwidthMemoryBandwidthMemoryCapacityMemoryCapacityt-SNEt-SNESystolicFLOPsscalarmemoryaccesseskmeansSystolicFLOPsscalarmemoryaccessescoalescedmemoryaccesses MemorymemoryBandwidthaccessesMemoryCapacity機器學(xué)習(xí)coalescedMemoryBandwidthMemoryCapacity3-10x7.7x效率提升性能提升/瓦1采用內(nèi)置AI加速器的3-10x7.7x效率提升性能提升/瓦1采用內(nèi)置AI加速器的INT8/BF16模型內(nèi)置英特爾?AMX的第四代英特爾?至強?可擴展處理器vs.第三代英特爾?至強?可擴展處理器oneAPIAI生態(tài)系統(tǒng)使用主流的DL、ML和數(shù)據(jù)處理庫和框架、操作系統(tǒng)和虛擬機管理器最高512GB/路受保護的由BigDL和OpenVINOTM工具套件支持的機密AI計算300+深度學(xué)習(xí)模型50+經(jīng)過優(yōu)化的機器學(xué)習(xí)和圖模型Optimizationsup-streamed英特爾?AI開發(fā)者工具2x2xPCIExpress5.0相較于第三代英特爾?至強?可擴展處理器1.51.5xDDR5內(nèi)存帶寬和容量相較于第三代英特爾?至強?可擴展處理器23詳情請見以下網(wǎng)址的[A16,A17,A33]at/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/23(英特爾?IAA)優(yōu)化內(nèi)存占用和查詢吞吐量(英特爾?Security)幫助保護數(shù)據(jù)機密性與代碼完整性Max系列集成高內(nèi)存帶寬，為科學(xué)計算與AI工作負載(英特爾?IAA)優(yōu)化內(nèi)存占用和查詢吞吐量(英特爾?Security)幫助保護數(shù)據(jù)機密性與代碼完整性Max系列集成高內(nèi)存帶寬，為科學(xué)計算與AI工作負載大幅提升數(shù)據(jù)吞吐量(英特爾?AMX)加速深度學(xué)習(xí)推理與訓(xùn)練(英特爾?DLB(英特爾?DLB)壓縮加速技術(shù)(英特爾?QAT)加速加密與壓縮操作提升與網(wǎng)絡(luò)處理相關(guān)的性能(英特爾?DSA)優(yōu)化數(shù)據(jù)流的傳輸和轉(zhuǎn)換2424性能更強大的服務(wù)器架構(gòu)英特爾?高級矩陣擴展英特爾?數(shù)據(jù)流加速器英特爾?數(shù)據(jù)保護(英特爾?AMX)(英特爾?DLB)(英特爾?DSA)(英特爾?IAA)與壓縮加速技術(shù)(英特爾?QAT)高達高達高達高達高達8.6倍96%倍84%語音識別推理性能提升時延降幅SPDK-NVMeIOPS提升RocksDB性能提升內(nèi)核用量減幅這是啟用內(nèi)置AMX(BF16)這是在相同的吞吐量下，這是啟用內(nèi)置的這是啟用英特爾?IAA時與上一代產(chǎn)品(FP32)的啟用英特爾?DLB與使用英特爾?DSA與使用Ztsd軟件的比較結(jié)果英特爾?QAT比較結(jié)果軟件處理Istio-Envoy入口與使用ISA-L軟件的比較結(jié)果與使用開箱即用的軟件網(wǎng)關(guān)連接請求的比較結(jié)果在NGINX上實現(xiàn)相同的每秒連接次數(shù)時內(nèi)核用加速器帶來超越基礎(chǔ)架構(gòu)的階梯式性能提升加速器帶來超越基礎(chǔ)架構(gòu)的階梯式性能提升25詳情請見以下網(wǎng)址的[A26,W6,N18,D1,N15]：/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/25vpdpbusd8-bitnewinstruction8-bitinput8-bitinput8-bitinput8-bitinput8-bitinput32-bitaccinput32-bitaccinput8-bitinput時鐘周期1vpmaddubswOutput32-bitaccoutput32-bitaccoutputconstantvpmaddwd32-bitaccoutputvpadddtdpbusd8-bitnewvpdpbusd8-bitnewinstruction8-bitinput8-bitinput8-bitinput8-bitinput8-bitinput32-bitaccinput32-bitaccinput8-bitinput時鐘周期1vpmaddubswOutput32-bitaccoutput32-bitaccoutputconstantvpmaddwd32-bitaccoutputvpadddtdpbusd8-bitnewinstruction一款處理器同時適用于標量、矢量和矩陣 英特爾?AVX-51285 英特爾?AVX-512(VNNI)256 英特爾?AMX2,048int8ops/cycle/corewithint8ops/cycle/corewith2FMAsint8ops/cycle/coreMulti-foldMACsinoneinstructioncorewith2FMA時鐘周期時鐘周期2constant時鐘周期時鐘周期332-bitaccoutput2626?提供廣泛的軟硬件優(yōu)化，使AI加速能力獲得提升功能商業(yè)價值?提供廣泛的軟硬件優(yōu)化，使AI加速能力獲得提升功能商業(yè)價值?為AI/深度學(xué)習(xí)推理和訓(xùn)練工作負載帶來顯著性能提升軟件支持?市場上的主流框架、工具套件和庫（PyTorch、TensorFlow英特爾?oneAPI深度神經(jīng)網(wǎng)絡(luò)庫（英特爾?oneDNN）英特爾?高級矩陣擴展（英特爾?AMX）"Tiles"Tiles"2D寄存器文件平鋪矩陣乘法每核可存儲每核可存儲更大的數(shù)據(jù)塊計算更大矩陣的指令用例用例性能增益（與上一代產(chǎn)品相比）語音識別推理語音識別推理高達8.6倍語音識別推理性能提升這是啟用內(nèi)置的英特爾?AMX(BF16)時與上一代產(chǎn)品(FP32)性能增益（與上一代產(chǎn)品相比）PyTorchPyTorch訓(xùn)練和推理高達PyTorch實時推理與訓(xùn)練性能提升這是啟用內(nèi)置的英特爾?AMX(BF16)時與上一代產(chǎn)品(FP32)27詳情請見以下網(wǎng)址的[A26,A16]：/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/27腦浮點數(shù)(b?oat16)指數(shù)-表示小數(shù)點在分數(shù)腦浮點數(shù)(b?oat16)指數(shù)-表示小數(shù)點在分數(shù)/尾數(shù)中的位置符號-表示正數(shù)或負數(shù)BF16到FP32的簡單轉(zhuǎn)換分數(shù)/尾數(shù)-用于存儲FP32b?oat16FP16示例：Number:0.56580972671508789062596AsFP32:0.56580972671508789062532BitsB?oat16具有相同數(shù)量的指數(shù)位，因此可以表示和FP32一樣大的數(shù)字，但由于其用于存儲實際數(shù)字的位數(shù)較少，因此精度略低。FP16可以提供比b?oat16更高的精度，但用于表示指數(shù)位的比特位較少，不能支持相同的數(shù)字FP32可提供更高的精度許多AI功能并不需要FP32提供的精度水平與FP32相比，使用b?oat16可實現(xiàn)每周期兩倍的吞吐量從FP32轉(zhuǎn)換到b?oat16比轉(zhuǎn)相同范圍的數(shù)字，但精度略低英特爾?AVX-512矢量神經(jīng)網(wǎng)絡(luò)指令(VNNI)擴展英特爾?AVX-512以加速CPU平臺上的AI/深度學(xué)習(xí)推理AVX-512VNNI將三條指令合而為一，可最大將三條指令合而為一，可最大限度地利用計算資源，提高緩存利用率，避免潛在的帶寬瓶頸2828低時延和稀疏推理邊緣側(cè)AI推理終端側(cè)推理中小型訓(xùn)練和微調(diào)低時延和稀疏推理邊緣側(cè)AI推理終端側(cè)推理中小型訓(xùn)練和微調(diào)深度學(xué)習(xí)加速器經(jīng)濟高效地訓(xùn)練生成式AI和大語言模型專用于深度學(xué)習(xí)訓(xùn)練和推理專用于深度學(xué)習(xí)訓(xùn)練和推理29297納米24個487納米24個48MBSRAMGaudi2在中國市場隆重推出9696GBHBM2e個專為訓(xùn)練大語言模型而構(gòu)建專為訓(xùn)練大語言模型而構(gòu)建3030加速器數(shù)量95%加速器數(shù)量95%在GPT-3訓(xùn)練基準測試中實現(xiàn)接近線性的擴展性45040035030025020015010050311.9min/使用384塊Gaudi2442.6min/使用256塊Gaudi2500400300200性能指標基于MLPerfTraining3.0基準測試。配置詳情請參見MLPCommons發(fā)布的結(jié)果。TPC編程工具模型庫編排開發(fā)者工具輕量級框架TPC編程工具模型庫編排開發(fā)者工具輕量級框架Gaudi2深度學(xué)習(xí)軟件和生態(tài)更快速、更輕松地開發(fā)全新模型3232面向數(shù)據(jù)中心的多樣化面向數(shù)據(jù)中心的多樣化英特爾AI硬件組合強大硬件組合，全面優(yōu)化AI工作負載，滿足多樣化算力需求廣泛的英特爾AI產(chǎn)品組合和合作伙伴通過豐富的軟硬件組合加速AI方案部署時間在隨處構(gòu)建和部署AI應(yīng)用經(jīng)過英特爾優(yōu)化的經(jīng)過英特爾優(yōu)化的開源AI框架和工具加速開發(fā)者構(gòu)建和部署AI應(yīng)用的旅程3333NEWMetaCloudv2022.3XGBoostIntegrationv2.2v2022.3NEWMetaCloudv2022.3XGBoostIntegrationv2.2v2022.3端到端生產(chǎn)力英特爾工具和套件優(yōu)化的框架英特爾?oneAPI編程模型HypervisorsOS&KernelCnvrg.ioMLOPsIntel?Dev.CloudEarlyaccessIntelAIKitCnvrg.ioMLOPsIntel?Dev.CloudEarlyaccessIntelAIKitPythonBigDLSPARKCatalog55+pre-trainedmodels55+pre-trainedmodelsIntelExt3.2InteloneCCLV2022.7oneCCLV2022.72022.2oneDALV2022.6KVM5.17WinServer22oneDNNv2.7ESXi/vSphere8.0Linux5.16RedHat8.6Ubuntu22.04SLES15SP4*Versionsidenti?edareminimumversionsthatsupportIntel?AMX3434通用AI平臺：更高的端到端機器學(xué)習(xí)性能 基因組學(xué)研究和診斷：用Scanpy對130萬小鼠腦細胞進行單細胞RNA-SEQ分析CellsCellsGenesGeneActivityMatrix DataPre-processingFilterFilterLinearRegressionNormalizeDimensionalityReductionDimensionalityReductionPCAPCAVisualizationVisualizationUMAPUMAPT-SNEClusteringClusteringLouvainLouvainLeidenLeidenK-means2022(代號Broadwell)2016單細胞單細胞RNASEQ端到端運行時間（秒）1xBDX:TestbyIntelasof<11/25/22>.GCPn1-highmem-64instancebasedonIntelXeonprocessor(Broadwell),1socket,32cores,HTOn,64vCPUs,TurboOn,TotalMemory416GB,bios:Google,ucode:0x1,Ubuntu22.04,5.15.0-1022-gcp1xSPR:TestbyIntelasof<11/25/22>.1-node,1xIntelXeonPlatinum8480+,56cores,HTOn,TurboOn,TotalMemory250GB,0x2b000081,RedHatEnterpriseLinuxrelease8.6(Ootpa),Linux4.18.0-372.19.1.el8_6.x86_64BaselineScanpy:version1.8.1/scverse/scanpyOpenOmicsScanpy-basedsinglecellpipeline:/IntelLabs/Trans-Omics-Acceleration-Library/tree/master/applications/single_cell_pipeline,branch:master,commit:#8ae29eb越低越好279sec70xspeedup279sec70xspeedup端到端運行時間（秒）19,470sec3535通用AI平臺：更高的端到端深度學(xué)習(xí)性能遷移學(xué)習(xí)遷移學(xué)習(xí)推理管線3636DatasetDocumentLevelSentimentAnalysis(DLSA)文檔級別的情感分析LoaddatasetLoaddatasetLoaddatasetLoaddatasetTokenizationandfeatureextractionTokenizationandfeatureextractionTokenizationandTokenizationandfeatureextractionLoadPRETRAINEDmodelLoadFINE-TUNEDmodelDeeplearningLoadPRETRAINEDmodelLoadFINE-TUNEDmodelDeeplearningFINE-TUNINGmodelDeeplearningDeeplearningINFERENCETransformersCompressor優(yōu)化已提交給上游技術(shù)/工具工具/套件Cnvrg.io否軟件工具套件AI套件是BigDL是OpenVINOTM工具套件是NeuralCompressor是SigOpt否深度學(xué)習(xí)框架TensorFlow是PyTorch是ONNX是PDPD是MXNet是機器學(xué)習(xí)框架XGBoost是Scikit-learn是CatBoost是LightGBM是數(shù)據(jù)準備Modin是Spark是3737深度學(xué)習(xí)PyTorch深度學(xué)習(xí)PyTorch（英特爾?LPOT）ModelZooTensorFlow英特爾?oneAPIAIAnalytics工具套件3838加速端到端人工智能和數(shù)據(jù)分析管道?利用面向英特爾?架構(gòu)優(yōu)化的深度學(xué)習(xí)框架和工具提升訓(xùn)練和推理性能?使用計算密集型Python包為數(shù)據(jù)分析和機器學(xué)習(xí)工作流提供落地加速性能加速簡化端到端加快開發(fā)提高生產(chǎn)力了解更多:/one數(shù)據(jù)分析數(shù)據(jù)分析&機器學(xué)習(xí)加速數(shù)據(jù)庫面向英特爾?架構(gòu)優(yōu)化的PythonHEAVY.AIBackend(formerlyOmniSci)Scikit-learnDaal-4PyXGBoostNumPyPandasSciPy示例及端到端工作負載CPUGPU支持的硬件架構(gòu)CPU硬件支持因個別工具而異。架構(gòu)支持將隨著時間的推移而擴大。點擊點擊或通過如下鏈接獲取工具包IntelInstallerDockerApt,YumCondaIntel?DevCloud推薦時間序列計算機視覺AutomaticClusterServingAutoMLDistributedTensorFlow&PyTorchonSparkSparkDataframes&MLPipelinesforDLRayOnSparkInferenceModel推薦時間序列計算機視覺AutomaticClusterServingAutoMLDistributedTensorFlow&PyTorchonSparkSparkDataframes&MLPipelinesforDLRayOnSparkInferenceModelBigDL*：統(tǒng)一的大數(shù)據(jù)分析和AI平臺模型和算法(內(nèi)置模型和算法)機器學(xué)習(xí)工作流(自動構(gòu)建端到端管道)端到端流水線(將AI模型無縫擴展到分布式大數(shù)據(jù)平臺)LaptopK8sClusterHadoopClusterCloudDLFrameworks(TF/PyTorch/BigDL/OpenVINOTM/LaptopK8sClusterHadoopClusterCloudDLFrameworks(TF/PyTorch/BigDL/OpenVINOTM/…)DistributedAnalytics(Spark/Flink/Ray/…)PythonLibraries(Numpy/Pandas/sklearn/…)由英特爾?oneAPI工具套件提供支持*指BigDL2.0已包含BigDL和AnalyticsZoo。39了解更多:/intel*指BigDL2.0已包含BigDL和AnalyticsZoo。39(DataProcessing&FeatureEngineering)(Built-inModels)(HyperparameterOptimization)Chronos框架：用于構(gòu)建大規(guī)模時間序列分析應(yīng)用程序的BigDL組件ChronosPipelineChronosPipeline2.Built-inModelsForecastersDetectorsSimulatorsOrca.automlDistributedTunningonBigDataClusterLaptop/SingleNodeK8sSpark/RayCloud3.(Optional)HPOAutoTSEstimatorAutoModelTspipeline1.DataProcessing&FeatureEngineeringTSDatasetBuilt-inDatasetOrca.learnDistributedtrainingonBigDataOrca.dataDistributeddata-parallelprocessingChronos框架架構(gòu)4040InferenceEngineCommonAPIthatabstractslow-levelprogrammingforeachhardwareDeploymentCPUPluginIntermediateRepresentation(.xml,.bin)ConvertsandoptimizestrainedmodelusingasupportedframeworkGPUPluginGNAPluginPost-TrainingOptimizationToolMyriadPluginForintel?NCS2&NCSHDDLPluginDeepLearningInferenceEngineCommonAPIthatabstractslow-levelprogrammingforeachhardwareDeploymentCPUPluginIntermediateRepresentation(.xml,.bin)ConvertsandoptimizestrainedmodelusingasupportedframeworkGPUPluginGNAPluginPost-TrainingOptimizationToolMyriadPluginForintel?NCS2&NCSHDDLPluginDeepLearningWorkbenchFGPAPluginManagerTrainedModel IRDataDeepLearningStreamerOpenCVOpenCLCodeSamples&Demos(e.g.Benchmarkapp,AccuracyChecker,ModelDownloader)OpenVINO?工具套件-由oneAPI提供支持旨在使用高性能人工智能和計算機視覺推理實現(xiàn)更加快速和準確的實際結(jié)果，部署在從邊緣到云的、基于英特爾?XPU架構(gòu)(CPU、GPU、FPGA、VPU)的生產(chǎn)環(huán)境中1.BUILD2.OPTIMIZE1.BUILD2.OPTIMIZE3.DEPLOYRead,Load,InferModelOptimizerOpenModelZoo100+opensourcedandoptimizedpre-trainedmodels;80+supportedpublicmodels學(xué)習(xí)推理部署易于使用隨處部署了解更多:/openvino面向數(shù)據(jù)中心的多樣化英特爾面向數(shù)據(jù)中心的多樣化英特爾AI硬件組合強大硬件組合，全面優(yōu)化AI工作負載，滿足多樣化算力需求廣泛的英特爾AI產(chǎn)品組合和合作伙伴通過豐富的軟硬件組合加速AI方案部署時間以多樣化軟硬件組合加速AI部署經(jīng)過英特爾優(yōu)化的開源AI框架和工具加速開發(fā)者構(gòu)建和部署AI應(yīng)用的旅程4343相較于上一代產(chǎn)品的性能提升高達4倍高達4倍（與上一代產(chǎn)品相比）推薦系統(tǒng)訓(xùn)練性能提升（與上一代產(chǎn)品相比）推薦系統(tǒng)批量推理性能提升44詳情請見以下網(wǎng)址的[A21]：/content/www/us/en/products/performance/benchmarks/4th-generation-intel-xeon-scalable-processors/44chronos框架chronos框架AI關(guān)鍵用例.電信的很多業(yè)務(wù)量(如語音通話、數(shù)據(jù)傳輸?shù)?與時間(隨用戶使用量變化)相關(guān)，呈現(xiàn)波峰波谷特性，是典型的時間序列數(shù)據(jù)。為提升模型的準確性和性能，在過去通常需要耗費巨大的人力和時間資源，對超參數(shù)進行手動調(diào)優(yōu)，但結(jié)果往往并不令人滿意。而通過引入AI/ML方法來預(yù)測資源占用率，可在不影響SLA的前提下，實現(xiàn)按需分配、靈活調(diào)整，降低運維復(fù)雜度和成本，形成更高效、更智能的數(shù)據(jù)中基于英特爾基于英特爾Chronos框架的時間序列預(yù)測.Chronos框架提供了十多種不同種類的ML/DL內(nèi)置模型，為不同應(yīng)用場景提供高精確度的預(yù)測。通過使用歷史業(yè)務(wù)數(shù)