2024人工智能 預(yù)訓(xùn)練模型第1部分：要求

1目??次前??言 II引??言 III范圍 1規(guī)范性引用文件 1術(shù)語和定義 1縮略語 2概述 2技術(shù)要求 4資源池 4工具 5數(shù)據(jù)資源 7模型 7行業(yè)應(yīng)用 8服務(wù)平臺/組件 8附錄A （資料性）預(yù)訓(xùn)練的方法簡述 10參?考?文?獻(xiàn) 11I引??言XXXXX——第1部分：通用要求。目的在于定義制備或使用大規(guī)模預(yù)訓(xùn)練模型的人工智能系統(tǒng)的技術(shù)參考架構(gòu)和相關(guān)方活動，并提出通用技術(shù)要求?！?部分：評測指標(biāo)與方法。目的在于定義預(yù)訓(xùn)練模型評測內(nèi)容、指標(biāo)設(shè)置和評測方法?！?部分：服務(wù)能力成熟度評估。目的在于定義大規(guī)模預(yù)訓(xùn)練模型服務(wù)能力成熟度評估框架，規(guī)定大規(guī)模預(yù)訓(xùn)練模型服務(wù)的能力要求、成熟度等級及評估方法。III人工智能預(yù)訓(xùn)練模型第1部分：通用要求范圍本文件適用于預(yù)訓(xùn)練模型的研究、制備、開發(fā)、部署和應(yīng)用。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語術(shù)語和定義GB/T41867—2022界定的以及下列術(shù)語和定義適用于本文件。3.1

預(yù)訓(xùn)練模型pre-trainedmodel一種在廣泛領(lǐng)域數(shù)據(jù)集上訓(xùn)練得到的，供以專門領(lǐng)域數(shù)據(jù)微調(diào)，來滿足場景任務(wù)需求的深度學(xué)習(xí)模注：按訓(xùn)練數(shù)據(jù)模態(tài)，預(yù)訓(xùn)練模型一般相應(yīng)體現(xiàn)出對文本、圖像、音頻或視頻等模態(tài)任務(wù)的處理能力及泛化性。3.2pre-trainedmodelservice通過應(yīng)用預(yù)訓(xùn)練模型為用戶提供價值的方法。注1：服務(wù)一般滿足用戶獲得特定輸出的要求。注2：預(yù)訓(xùn)練模型服務(wù)一般含有：推理服務(wù)、微調(diào)服務(wù)、大模型小型化服務(wù)。[來源：ISO/IEC20000-1:2018,3.2.15，有修改]3.3作業(yè)job一個可被測試系統(tǒng)執(zhí)行的基本測試單元。[來源：ISO/IEC25023:2016，4.3，有修改]3.4任務(wù)task1被調(diào)度的訓(xùn)練或推理對象。注：任務(wù)用于完成一個相對獨立的業(yè)務(wù)功能。一個任務(wù)屬于且僅屬于一個作業(yè)。3.5fine-tuning注1：專門領(lǐng)域數(shù)據(jù)一般指下游任務(wù)數(shù)據(jù)。注2：常用的微調(diào)方法包括提示微調(diào)、全參微調(diào)、高效參數(shù)微調(diào)等。[來源：GB/T41867:2022，3.2.31，有修改]3.6提示語prompt使用預(yù)訓(xùn)練模型進(jìn)行微調(diào)或下游任務(wù)處理時，插入到輸入樣本中的指令或信息對象。3.7提示學(xué)習(xí)promptlearning3.8人工智能加速處理器artificialintelligenceacceleratingprocessor具備適配人工智能算法的運算微架構(gòu)，能夠完成人工智能應(yīng)用加速運算處理的集成電路元件。[來源：GB/T41867—2022，3.1.5，有修改]縮略語下列縮略語適用于本文件。FPGA：現(xiàn)場可編程邏輯門陣列（FieldProgrammableGateArray）GPU：圖形處理器（GraphicProcessingUnit）LACP：鏈路聚合控制協(xié)議（LinkAggregationControlProtocol）NPU：神經(jīng)網(wǎng)絡(luò)處理器（NeuralNetworkProcessingUnit）TPU：張量處理器（TensorProcessingUnit）UML：統(tǒng)一建模語言（UnifiedModelingLanguage）概述支撐預(yù)訓(xùn)練模型的生態(tài)包括功能視角下的參考架構(gòu)和用戶視角下各相關(guān)方的技術(shù)活動。——資源池包括計算、存儲、網(wǎng)絡(luò)、資源虛擬化及調(diào)度等；2——工具包括數(shù)據(jù)工具、模型工具；——數(shù)據(jù)資源包括通用數(shù)據(jù)、領(lǐng)域數(shù)據(jù)、私有數(shù)據(jù)；——行業(yè)應(yīng)用為為各行業(yè)場景用戶提供預(yù)訓(xùn)練模型下游任務(wù)匹配服務(wù)；——服務(wù)平臺/組件貫穿各層次提供支持大規(guī)模預(yù)訓(xùn)練模型和相關(guān)服務(wù)的編排、部署、模型推理、運維和管理。圖1功能視角下的預(yù)訓(xùn)練模型參考架構(gòu)——數(shù)據(jù)提供者進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)管理等數(shù)據(jù)相關(guān)服務(wù)活動；——應(yīng)用服務(wù)者支持平臺服務(wù)、模型定制、模型推理、模型運維和管理等應(yīng)用服務(wù)活動；3——應(yīng)用消費者的活動包括使用模型和相關(guān)服務(wù)以及提供評估反饋；圖2預(yù)訓(xùn)練模型的利益相關(guān)方及其活動技術(shù)要求資源池計算資源（如CPU或邏輯設(shè)備。計算資源符合以下要求：1（如文本、圖像、語音）的模型的訓(xùn)練或推理；應(yīng)支持硬件加速的人工智能計算，配備分布式訓(xùn)練和推理計算加速庫；訓(xùn)練服務(wù)器：——應(yīng)支持不小于4個100GE網(wǎng)口；——應(yīng)支持電源模塊、風(fēng)扇模塊的熱插拔和備份（如2+2冗余，N+1冗余等）；推理服務(wù)器：——內(nèi)存總帶寬應(yīng)不小于800GB/s；——應(yīng)支持不小于2個PCIe擴(kuò)展槽位；——應(yīng)支持電源模塊、風(fēng)扇模塊的熱插拔和備份（如1+1冗余，N+1冗余等）；服務(wù)器集群單位（如機柜）64宜支持基于硬件加速的預(yù)處理（如圖像、視頻編解碼）；應(yīng)支持鍵值對緩存。存儲資源應(yīng)支持?jǐn)?shù)據(jù)集的分布式存儲與訪問，并實現(xiàn)冗余備份機制；4宜支持分布式模型訓(xùn)練及推理；200GB/s，IOPS200萬；宜支持內(nèi)存計算；網(wǎng)絡(luò)資源適用于大模型訓(xùn)練和推理的網(wǎng)絡(luò)資源，包含集群內(nèi)交換機和路由器。網(wǎng)絡(luò)資源符合以下要求：應(yīng)支持高速網(wǎng)絡(luò)通信協(xié)議（100GRoCE）應(yīng)具備模型自動切分（如基于模型結(jié)構(gòu)）；4000Mpps；應(yīng)支持負(fù)載均衡；LACPM-LAG40GE/100GE/200GE/400GE資源虛擬化及調(diào)度符合GB/T42018—2022中6.2的要求。工具數(shù)據(jù)工具數(shù)據(jù)采集工具數(shù)據(jù)工具提供數(shù)據(jù)采集功能，符合以下要求：（和范圍（如話題、內(nèi)容等）；應(yīng)能采集原始數(shù)據(jù)的類型，包括但不限于文本、視頻、圖像、音頻等；（TXTJPEG/JPGMP4WMV等中提取出模型訓(xùn)練所需的數(shù)據(jù)；應(yīng)能記錄采集數(shù)據(jù)的來源、時間和采集方式；應(yīng)支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)接入；應(yīng)支持多組數(shù)據(jù)或多個數(shù)據(jù)集的并行導(dǎo)入；宜支持?jǐn)?shù)據(jù)質(zhì)量檢測和初步清洗能力，如數(shù)據(jù)格式標(biāo)準(zhǔn)化等。數(shù)據(jù)準(zhǔn)備工具數(shù)據(jù)工具提供數(shù)據(jù)準(zhǔn)備功能，符合以下要求：GB/T42755-202367應(yīng)支持?jǐn)?shù)據(jù)重組、數(shù)據(jù)標(biāo)簽格式轉(zhuǎn)換；應(yīng)支持?jǐn)?shù)據(jù)檢索、分析等功能；應(yīng)支持?jǐn)?shù)據(jù)增強及擴(kuò)充（如添加擾動產(chǎn)生新數(shù)據(jù)）；5應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量檢驗。數(shù)據(jù)存儲工具數(shù)據(jù)工具提供使用存儲資源的功能，符合以下要求：應(yīng)支持分布式并行存儲；應(yīng)支持在線彈性擴(kuò)展，滿足容量需求和性能的線性增長；應(yīng)支持通過控制臺、API、SDK、命令行方式操作存儲資源，能按需求切換；POSIX；應(yīng)支持向量庫儲存。數(shù)據(jù)管理工具數(shù)據(jù)工具提供數(shù)據(jù)管理功能，符合以下要求：應(yīng)支持?jǐn)?shù)據(jù)集的創(chuàng)建、查詢、修改、刪除、導(dǎo)入、導(dǎo)出、發(fā)布等；宜支持?jǐn)?shù)據(jù)可視化分析和版本管理。模型工具模型設(shè)計工具模型設(shè)計工具，符合以下要求：應(yīng)支持可視化圖形界面，允許用戶通過拖放、連接元素來創(chuàng)建模型；應(yīng)支持多種類型的模型設(shè)計，例如流程圖、UML（統(tǒng)一建模語言）圖、概念圖等；應(yīng)提供預(yù)定義的模型元素和模板，使用戶能夠快速構(gòu)建模型；應(yīng)支持對模型性能進(jìn)行模擬和分析，以評估其行為和性能；宜支持導(dǎo)出模型的多維度信息，如說明文檔，模型代碼等。模型訓(xùn)練工具模型訓(xùn)練工具，符合以下要求：應(yīng)支持?jǐn)?shù)據(jù)并行，模型并行，混合并行等分布式訓(xùn)練技術(shù)；（如宕機2種數(shù)據(jù)源或知識庫，對訓(xùn)練任務(wù)實施集成和遷移；應(yīng)支持或可通過插件方式支持?jǐn)?shù)據(jù)可視化、訓(xùn)練可視化及模型評估可視化；應(yīng)支持基于訓(xùn)練數(shù)據(jù)的整體或部分特征，構(gòu)建預(yù)訓(xùn)練任務(wù)；應(yīng)支持預(yù)訓(xùn)練模型訓(xùn)練過程及應(yīng)用日志的留存及獲?。灰颂峁┒喾N并行策略，包括算子切分、算子自動并行、自定義通信算子等。模型優(yōu)化工具6模型優(yōu)化工具，符合以下要求：應(yīng)支持模型壓縮（如剪枝、量化、知識蒸餾等），云服務(wù)實現(xiàn)時宜提供調(diào)用接口；支持模型微調(diào)，包括：應(yīng)支持的數(shù)據(jù)類型包含如文本、語音、圖像、視頻等；應(yīng)支持任務(wù)類型包含單模態(tài)、多模態(tài)融合等；應(yīng)提供評價指標(biāo)體系，包含如準(zhǔn)確率、清晰度等；宜支持基于用戶反饋的微調(diào)（如基于用戶反饋的強化學(xué)習(xí)）。（宜支持檢索增強生成功能。模型驗證工具模型驗證工具，符合以下要求：應(yīng)支持預(yù)訓(xùn)練模型的功能（如自然語言處理、圖像處理、多模態(tài)等）有效性評估；應(yīng)提供自動化測試功能；應(yīng)允許用戶根據(jù)需要自定義測試參數(shù)和場景；應(yīng)能在測試過程中自動檢測運行異常情況并提供診斷信息；宜支持模型性能實時監(jiān)測和日志記錄。模型部署與推理工具模型部署和推理工具，符合以下要求：應(yīng)支持的部署方式包含在線部署、批量部署、離線部署等；應(yīng)支持本地服務(wù)器部署，云端部署，宜支持邊緣側(cè)和移動端的模型部署；應(yīng)提供實現(xiàn)機制，支持在滿足一定吞吐量條件下的低延時推理；應(yīng)支持模型推理過程的監(jiān)控和日志記錄；1種推理加速框架上部署模型；數(shù)據(jù)資源通用數(shù)據(jù)領(lǐng)域數(shù)據(jù)私有數(shù)據(jù)私模型7預(yù)訓(xùn)練模型通則預(yù)訓(xùn)練模型，符合以下要求：宜支持單模態(tài)、部分模態(tài)和全模態(tài)等訓(xùn)練方式；宜支持多種模態(tài)特征提取的方法（如單塔方法、雙塔方法等）；宜支持的數(shù)據(jù)類型包含文本、語音、圖像、視頻等；宜能提供相應(yīng)模態(tài)的處理接口（如文本生成、圖像理解等）；宜支持的交互模式和協(xié)議，包含同步、異步、批量、流式、事件驅(qū)動等；單模態(tài)單模態(tài)預(yù)訓(xùn)練模型，符合以下要求：應(yīng)提供單模態(tài)數(shù)據(jù)的特征提?。粦?yīng)支持模態(tài)補全、模態(tài)掩碼、模態(tài)增廣、模態(tài)擴(kuò)展等任務(wù)；1GB/TXXXX-XXXX《人工2部分：評測指標(biāo)與方法》；1GB/TXXXX-XXXX《人工2部分：評測指標(biāo)與方法》。多模態(tài)多模態(tài)預(yù)訓(xùn)練模型，符合以下要求：1種多模態(tài)理解功能，如圖文檢索、視覺定位、圖音檢索、文音檢索等；11宜支持對大語言模型的橋接。定制化模型基于預(yù)訓(xùn)練模型，定制生產(chǎn)環(huán)境所需模型，符合以下要求：應(yīng)支持定制模型的參數(shù)量大小、存儲容量、計算資源、網(wǎng)絡(luò)資源、性能評價指標(biāo)等；A；應(yīng)提供模型版本管理功能，包含模型發(fā)布、版本回退等；應(yīng)提供并運維預(yù)訓(xùn)練模型庫，實現(xiàn)用戶上傳、微調(diào)和使用模型；（（宜支持基于用戶數(shù)據(jù)和微調(diào)數(shù)據(jù)庫數(shù)據(jù)混合的模型定制。行業(yè)應(yīng)用對每種預(yù)訓(xùn)練模型（自然語言處理，計算機視覺，多模態(tài)等），宜至少匹配1個下游任務(wù)。服務(wù)平臺/組件預(yù)訓(xùn)練模型服務(wù)平臺/組件，符合以下要求：8出數(shù)據(jù)格式、插件元數(shù)據(jù)和插件運行狀態(tài)碼等要求；應(yīng)支持部署服務(wù)升級、回滾；應(yīng)支持根據(jù)業(yè)務(wù)負(fù)載情況，對計算資源進(jìn)行彈性伸縮；宜支持預(yù)訓(xùn)練模型灰