GPU資源管理平臺需求說明

GPU資源管理平臺需求說明指標項指標要求基礎配置1臺2U2路機架式服務器，含導軌電源線；CPU：1顆英特爾至強銀牌(2.0GHz/12-Core)CPU；內存：2*32GB；硬盤：2*480GBSSD硬盤（RAID1）；RAID卡：支持RAID0/1/10；網卡：2*GE電口，2*10GE光口（含光模塊）；電源：冗余電源模塊；總體要求端到端AI平臺能力：平臺支持一站式端到端AI開發(fā)訓練部署功能，包含數據管理、數據標注、算法開發(fā)、模型管理、模型訓練、模型部署等全流程功能；多數據類型支持支持本地新建數據集和導入數據集；支持圖片、視頻、文本、音頻、自定義等多種數據類型；大數據集后臺上傳○支持遠程服務器共享路徑下的數據集大批量后臺靜默上，提供官方證明材料或Web頁面；預置數據集預置圖像分類、目標檢測、目標跟蹤、文本分類等多種類型數據集；數據標注○支持手動標注和自動標注；支持圖像分類、目標檢測、目標跟蹤、語義分割，文本分類、中文分詞、音頻分類等多種標注類型；使用自動標注可以快速完成數據標注，為開發(fā)者節(jié)省70%以上的標注時間，提供官方證明材料或Web頁面；數據增強提供了圖像層面的增強方法，基于原始數據集單張圖片進行轉換操作，從而達成對數據集的擴充效果；對接AI業(yè)務支持數據集、算法、模型、鏡像從文件管理中導入導出；Notebook開發(fā)環(huán)境提供Notebook是一種交互式編程環(huán)境，用戶可以對Notebook實現創(chuàng)建、打開、停止、啟動、刪除等操作；算法開發(fā)完成之后，還可以將其保存到「算法管理」的「我的算法」中，從而可以進行后續(xù)的訓練工作；內置算法支持管理員內置算法；算法創(chuàng)建支持上傳算法或Fork已有算法；算法管理對算法可進行在線編輯、創(chuàng)建訓練任務、下載、fork、刪除等操作；多種主流深度學習框架支持TensorFlow，Pytorch，MindSpore，PaddlePaddlle，Keras，Caffe等深度學習框架；分布式訓練加速框架○支持DeepSpeed、AscendSpeed、Megatron-LM分布式訓練框架，提供官方證明材料或Web頁面；多算力統(tǒng)一調度○支持X86CPU、NVIDIAGPU、NVIDIAMIG、華為昇騰NPU卡、vNPU，提供官方證明材料或Web頁面；任務模板支持通過模板創(chuàng)建訓練任務，支持編輯、刪除任務模板；支持將訓練任務保存為模板；大模型訓練○支持Mindformers大模型訓練（X86/ARM+NPU），提供官方證明材料或Web頁面；大模型微調○支持LoRA/P-Turning微調，支持Llama-Factory和MindFormers（X86/ARM+NPU、X86+GPU），提供官方證明材料或Web頁面；訓練可視化支持TensorFlow和PyTorch框架下的可視化的TensorBorad應用，可用于深度學習網絡模型訓練查看模型結構和訓練效果；模型版本管理可對模型版本進行下載、部署、轉預置、刪除等操作；推理服務支持在線推理部署服務，包括在線服務和批量服務，支持TensorFlow，PyTorch多種深度學習框架，支持大模型推理部署，支持自定義配置推理服務路徑和端口；節(jié)點類型○支持X86/armCPU、NVIDIAGPU、NVIDIAMIG、華為昇騰NPU卡、vNPU節(jié)點推理，提供官方證明材料或Web頁面；灰度發(fā)布○支持灰度發(fā)布，支持不同發(fā)布版本分流配置，提供官方證明材料或Web頁面；在線服務預測支持上傳圖片文件進行在線預測，支持預測JPG、JPEG、PNG、BMP格式的文件；節(jié)點類型○支持X86CPU、NVIDIAGPU、NVIDIAMIG、華為昇騰NPU卡、vNPU節(jié)點推理，提供官方證明材料或Web頁面；批量服務管理支持對圖片數據進行批量推理；支持對批量服務任務進行編輯、Fork、啟動、停止、刪除、結果下載等操作；大模型推理支持部署大模型，對外提供推理服務；支持公共鏡像支持對管理員對公共鏡像進行上傳、刪除等操作，支持更改Notebook默認鏡像，鏡像打包下載；鏡像管理內置鏡像倉庫；支持鏡像創(chuàng)建、修改、刪除、查看，支持編輯鏡像描述和鏡像用途等信息，支持鏡像搜索；分布式訓練鏡像預置○提供DeepSpeed、AscendSpeed、Megatron-LM等分布式訓練加速框架可預置，提供官方證明材料或Web頁面；回收站支持算法文件、數據集、模型文件回收站管理；支持增強型調度器○支持Gang調度、binpack調度、Priority調度、Proportion調度等多種高階調度策略；支持調度隊列，支持不同任務優(yōu)先級設置，優(yōu)先級高的優(yōu)先調度資源；支持作業(yè)調度的節(jié)點親和性設置；支持調度器用于訓練和推理作業(yè)；以上提供官方證明材料或Web頁面；資源組管理○支持對納管的AI服務器劃分不同的資源組（節(jié)點組），支持用戶下發(fā)訓練、推理、notebook作業(yè)可以選擇不同的節(jié)點組，支持租戶和節(jié)點組綁定實現節(jié)點組共享或獨享，提供官方證明材料或Web頁面；節(jié)點監(jiān)控支持查看節(jié)點狀態(tài)、CPU、內存、GPU、NPU、MIG、vNPU總數和使用量；Pod監(jiān)控支持查看具體的每個POD的狀態(tài)和cpu、內存、gpu、NPU、MIG占用情況；告警通知支持郵件、短信、釘釘和企業(yè)微信通知；告警管理支持告警搜索顯示，支持告警屏蔽、清除；內存故障預測○服務器的內存故障預測與自愈的統(tǒng)計和記錄，當服務器發(fā)生內存故障自愈時，可通過WEBUI查詢到自愈結果；硬盤故障預測○支持查看系統(tǒng)管理的所有HDD/SSD硬盤的健康狀況、硬盤風險預測圖表以及硬盤風險和硬盤統(tǒng)計的詳細信息，以便更好地了解硬盤狀態(tài)；加速卡大屏支持GPU大屏和NPU大屏；熱圖支持GPU使用率、內存使用率、GPU使用率等指標熱圖顯示；運行日志支持在線查看搜索節(jié)點日志、AI平臺日志信息；資產管理統(tǒng)計設備資產、部件資產明細及變更記錄，部件信息包括硬盤、內存、主板、CPU、電源、網卡、RAID卡等部件的詳細信息，包括類型、廠商、型號、序列號、關聯服務器等；能效管理支持服務器功耗、溫度統(tǒng)計；負載優(yōu)化分析：統(tǒng)計出長期低載服務器信息，并可以對低載服務器進行批量操作；溫度風險分析：統(tǒng)計入風口溫度過高的服務器信息，并可以對服務器進行下電操作；租戶隔離租戶之間權限隔離、角色隔離、租戶之間資源和數據隔離、系統(tǒng)用戶和租戶數據和功能隔離；多種加速卡統(tǒng)一管理○支持GPU和NPU統(tǒng)一納管，支持一個系統(tǒng)統(tǒng)一管理GPU多個型號卡和NPU多個型號卡，支持作業(yè)選擇指定的GPU或NPU卡型號，提供官方證明材料或Web頁面；集群支持X86和arm節(jié)點○支持X86管理節(jié)點統(tǒng)一管理X86和arm計算節(jié)點，支持arm管理節(jié)點管理arm計算節(jié)點，支持Ubuntu20.04.5、Ubuntu22.04.3、國產操作系統(tǒng)FusionOS23.0.1，提供官方證明材料或Web頁面；支持監(jiān)控、調度組件化○支持性能監(jiān)控組件、多算力調度組件可獨立被客戶AI平臺集成，包括增強資源調度器、exporter、device-plugin等，提供官方證明材料或Web頁面；加固軟件基本要求○10個Linux/WindowsServer客戶端防病毒功能授權；至少支持WindowsXP、Windows7、Windows8、Windows10/11等32位/64位操作系統(tǒng)，同時并支持Windows2003、Windows2008、Windows2012等32位/64位服務器操作系統(tǒng)及主流Linux系統(tǒng)；輕量級部署○客戶端安裝后至多占用50M硬盤資源，日常內存占用不到20M，有效節(jié)省PC/Server資源；加固軟件系統(tǒng)設計要求產品兼容主流國產系統(tǒng)，至少支持中標麒麟、銀河麒麟、中科方德等；○信息安全設備、系統(tǒng)軟件的開發(fā)、生產符合TL9000-HSV標準；加固軟件管理控制支持遠程控制，通過管理中心實現對客戶端的遠程運維；支持對全網進行集中的管理和任務下發(fā)，可以通過控制臺立即給客戶端發(fā)送命令，包括立即殺毒、立即升級、關機、重啟、顯示消息等，而不需要通過建立策略方式實現，從而簡化和方便了管理員的管理；管理控制臺支持通知客戶端立即升級、強制更新、客戶端主動升級等更新方式；○支持對移動存儲設備采用標簽式注冊管理，可以區(qū)分內外部介質使用，定義禁用、啟用只讀、啟用（只讀_運行）和啟用讀寫、啟用（讀寫_運行）五種操作，按照文件類型審計在移動存儲介質上文件操作記錄，并可設置例外USB設備；支持客戶端未開機的全網查殺策略設置，在客戶端下次啟動時策略補做功能；○支持定制安全防護策略：包括病毒防御（病毒查殺、文件實時監(jiān)控、惡意行為監(jiān)控、U盤保護、下載保護、郵件監(jiān)控）；系統(tǒng)防御（瀏覽器保護、軟件安裝攔截、系統(tǒng)加固）；網絡防御（黑客入侵攔截、IP協(xié)議控制、惡意網站攔截、IP黑名單）；文檔安全（文檔檢測、文檔跟蹤、USB存儲）；系統(tǒng)監(jiān)控（設備監(jiān)控、進程監(jiān)控、軟件監(jiān)控、服務監(jiān)控、賬號監(jiān)控、外聯監(jiān)控）；其他設置（心跳配置、管理員配置、升級配置、白名單、補丁配置、彈窗配置）；支持分級管理及多管理員權限劃分，如：超級管理員，操作管理員；同時管理控制臺支持自定義管理員權限設定；為保證產品功能穩(wěn)定性，要求產品研發(fā)廠商通過軟件成熟度CS-CMMI5認證；管理控制臺支持對客戶端的系統(tǒng)操作行為進行記錄功能，便于管理員對用戶操作審查和分析；支持客戶端威脅日志信息上報統(tǒng)計功能，包含終端危險排行統(tǒng)計、防御類型分布統(tǒng)計、病毒類型分布統(tǒng)計、病毒排行統(tǒng)計等，支持圖表顯示；報表應該可以通過表格以及圖形方式進行展現，支持將生成的報表以Excel、word、HTML、PDF等通用格式輸出；○支持文檔檢測功能，針對終端存儲的word、pdf、ppt、Excel、rtf、txt等文檔的名稱、內容進行包含關鍵字檢查，對含有指定關鍵字的文檔進行禁止發(fā)送、禁止拷貝等管控，消息提醒的同時將文檔違規(guī)信息上報管理平臺；○支持文檔跟蹤策略，可按照不同文件、壓縮包類型跟蹤文檔內到外、外到內、外到外、內到內等流轉方向，并可跟蹤文檔包括拷貝、壓縮、解壓縮、修改、刪除、重命名、移動等操作；○要求對流行病毒的檢測能力必須超過98%的檢出率，小于0.1%的誤報率；加固軟件客戶端防護至少支持對終端電腦內部文件進行全盤掃描、快速掃描，自定義掃描三種掃描能力；并具備空閑查殺、異步查殺、斷點查殺、后臺查殺等功能；支持掃描和清除各種廣告軟件、惡意插件、隱蔽軟件、黑客工具、風險程序等等；○對系統(tǒng)關鍵位置進行防護，阻止無文本攻擊、流氓、廣告程序對系統(tǒng)的惡意篡改等行為；從系統(tǒng)文件保護、病毒免疫、進程保護、注冊表保護、危險動作攔截、執(zhí)行防護等多個維度對系統(tǒng)進行防護；支持病毒自動隔離功能，對于暫時無法清除的被感染文件或者可疑文件，防病毒軟件的客戶端能自動將其隔離到本地隔離區(qū)；○設置誘餌文件并實時監(jiān)控，當勒索病毒對該文件進行加密操作時進行攔截；支持注冊表病毒、內存或服務類病毒的查殺，提高終端安全防護等級，對已經運行的病毒進程可以執(zhí)行關閉；○支持對webshell后門進行掃描檢測,webshell后門庫數量大于1