GB/T 45087-2024人工智能服務(wù)器系統(tǒng)性能測(cè)試方法

ICS35160

CCSL.61

中華人民共和國國家標(biāo)準(zhǔn)

GB/T45087—2024

人工智能服務(wù)器系統(tǒng)性能測(cè)試方法

Artificialintelligence—Performancetestingmethodsforserversystems

2024-11-28發(fā)布2024-11-28實(shí)施

國家市場(chǎng)監(jiān)督管理總局發(fā)布

國家標(biāo)準(zhǔn)化管理委員會(huì)

GB/T45087—2024

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語和定義

3………………1

縮略語

4……………………3

測(cè)試模式

5…………………4

封閉模式

5.1……………4

開放模式

5.2……………4

訓(xùn)練性能測(cè)試

6……………4

測(cè)試過程

6.1……………4

訓(xùn)練測(cè)試要求

6.2………………………5

訓(xùn)練測(cè)試結(jié)果

6.3………………………6

測(cè)試場(chǎng)景

6.4……………7

測(cè)試場(chǎng)景配置要求

6.5…………………11

指標(biāo)項(xiàng)及測(cè)試方法

6.6…………………12

訓(xùn)練用測(cè)試系統(tǒng)要求

6.7………………16

推理性能測(cè)試

7……………17

測(cè)試過程

7.1……………17

推理測(cè)試要求

7.2………………………17

推理測(cè)試結(jié)果

7.3………………………18

測(cè)試場(chǎng)景

7.4……………18

場(chǎng)景配置要求

7.5………………………24

指標(biāo)項(xiàng)及測(cè)試方法

7.6…………………24

推理用測(cè)試系統(tǒng)要求

7.7………………29

附錄資料性人工智能服務(wù)器系統(tǒng)性能測(cè)試工具示例

A()……………31

附錄規(guī)范性訓(xùn)練測(cè)試要求

B()AUTOML……………32

訓(xùn)練要求

B.1……………32

訓(xùn)練結(jié)果日志要求

B.2…………………32

附錄規(guī)范性測(cè)試代碼公開規(guī)則

C()……………………33

通則

C.1…………………33

訓(xùn)練測(cè)試代碼公開規(guī)則

C.2……………33

推理測(cè)試代碼公開規(guī)則

C.3……………33

附錄資料性測(cè)試場(chǎng)景類型說明

D()……………………35

圖像識(shí)別

D.1……………35

Ⅰ

GB/T45087—2024

物體檢測(cè)

D.2……………35

語義分割

D.3……………35

推薦

D.4…………………35

自然語言處理

D.5………………………35

語音識(shí)別

D.6……………35

光學(xué)字符識(shí)別

D.7………………………36

人臉識(shí)別

D.8……………36

多模態(tài)

D.9………………36

附錄資料性能效及效率指標(biāo)項(xiàng)和測(cè)試方法

E()………37

訓(xùn)練

E.1…………………37

推理

E.2…………………38

參考文獻(xiàn)

……………………40

Ⅱ

GB/T45087—2024

前言

本文件按照標(biāo)準(zhǔn)化工作導(dǎo)則第部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定

GB/T1.1—2020《1:》

起草

。

本文件由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)提出并歸口

(SAC/TC28)。

本文件起草單位中國電子技術(shù)標(biāo)準(zhǔn)化研究院華為技術(shù)有限公司浪潮電子信息產(chǎn)業(yè)股份有限公

:、、

司英特爾中國有限公司平頭哥上海半導(dǎo)體技術(shù)有限公司科大訊飛股份有限公司新華三信息技

、()、()、、

術(shù)有限公司超威半導(dǎo)體產(chǎn)品中國有限公司北京航空航天大學(xué)中科寒武紀(jì)科技股份有限公司南京

、()、、、

南瑞瑞騰科技有限責(zé)任公司中國南方電網(wǎng)有限責(zé)任公司超高壓輸電公司石化盈科信息技術(shù)有限責(zé)任

、、

公司中國電信股份有限公司廣東研究院上海燧原科技股份有限公司中國科學(xué)院軟件研究所北京壁

、、、、

仞科技開發(fā)有限公司上海阡視科技有限公司上海超級(jí)計(jì)算中心上海文鰩信息科技有限公司美的集

、、、、

團(tuán)上海有限公司國科礎(chǔ)石重慶軟件有限公司上海人工智能研究院有限公司四川華鯤振宇智能

()、()、、

科技有限責(zé)任公司深圳鯤云信息科技有限公司中國鐵建股份有限公司中鐵第五勘察設(shè)計(jì)院集團(tuán)有

、、、

限公司西南科技大學(xué)

、。

本文件主要起草人董建徐洋張琦王莞爾曹曉琦黃劍彬梁朝明鮑薇吳韶華王海寧

:、、、、、、、、、、

林曉東馬珊珊高慧張藝伯陶玉梅楊雨澤鄭會(huì)平劉如冰李嵐泊紀(jì)拓欒鐘治程歸鵬黃現(xiàn)翠

、、、、、、、、、、、、、

牧軍石超葉珩王寧劉東慶李先緒師春雨梅敬青孟令中丁瑞全程秋林吳庚郁華真張丹丹

、、、、、、、、、、、、、、

仲凱韜任沛傅欣杰胡艷玲宋海濤白士玉劉東欒麗紅李棟鄭中俞文心

、、、、、、、、、、。

Ⅲ

GB/T45087—2024

引言

人工智能服務(wù)器系統(tǒng)包含人工智能服務(wù)器集群和高性能計(jì)算設(shè)施等形態(tài)是各類深度學(xué)習(xí)模型

、,

包含大規(guī)模預(yù)訓(xùn)練模型訓(xùn)練和推理的核心載體是各行業(yè)應(yīng)用人工智能技術(shù)提高生產(chǎn)效率的核心工

(),

具人工智能服務(wù)器系統(tǒng)專為處理人工智能計(jì)算任務(wù)設(shè)計(jì)在架構(gòu)運(yùn)算方式和用途用法上與通用服

。,、,

務(wù)器系統(tǒng)有較大差別其測(cè)試過程負(fù)載和指標(biāo)等皆有獨(dú)特性本文件提出人工智能服務(wù)器系統(tǒng)性能

,、,。

基準(zhǔn)測(cè)試的方法并對(duì)基準(zhǔn)測(cè)試工具的功能和公平性提出要求

,。

本文件的發(fā)布機(jī)構(gòu)提請(qǐng)注意聲明符合本文件時(shí)可能涉及與人工智能服務(wù)器系統(tǒng)性

,,7.4.2、7.7.1

能測(cè)試方法相關(guān)專利的使用

。

本文件的發(fā)布機(jī)構(gòu)對(duì)于該專利的真實(shí)性有效性和范圍無任何立場(chǎng)

、。

該專利持有人已向本文件的發(fā)布機(jī)構(gòu)承諾他愿意同任何申請(qǐng)人在合理且無歧視的條款和條件

,

下就專利授權(quán)許可進(jìn)行談判該專利持有人的聲明已在本文件的發(fā)布機(jī)構(gòu)備案相關(guān)信息可以通過以

,。,

下聯(lián)系方式獲得

。

專利持有人中國電子技術(shù)標(biāo)準(zhǔn)化研究院

:

地址北京市東城區(qū)安定門東大街號(hào)

:1

請(qǐng)注意除上述專利外本文件的某些內(nèi)容仍可能涉及專利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的

,。

責(zé)任

。

Ⅳ

GB/T45087—2024

人工智能服務(wù)器系統(tǒng)性能測(cè)試方法

1范圍

本文件界定了服務(wù)器系統(tǒng)性能測(cè)試模式描述了人工智能服務(wù)器系統(tǒng)訓(xùn)練性能和推理性能測(cè)試

,

方法

。

本文件適用于人工智能服務(wù)器系統(tǒng)的性能測(cè)試與評(píng)價(jià)

。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款其中注日期的引用文

。,

件僅該日期對(duì)應(yīng)的版本適用于本文件不注日期的引用文件其最新版本包括所有的修改單適用于

,;,()

本文件

。

信息技術(shù)人工智能術(shù)語

GB/T41867—2022

3術(shù)語和定義

界定的以及下列術(shù)語和定義適用于本文件

GB/T41867—2022。

31

.

被測(cè)系統(tǒng)systemundertest

處理測(cè)試者給出的測(cè)試作業(yè)并返回符合要求結(jié)果的系統(tǒng)

,。

注被測(cè)系統(tǒng)由人工智能服務(wù)器系統(tǒng)硬件算子實(shí)現(xiàn)庫機(jī)器學(xué)習(xí)框架軟件模型編譯組件和其他必要軟硬件組成

:、、、。

32

.

被測(cè)者testedparty

提供被測(cè)系統(tǒng)和測(cè)試信息并協(xié)助測(cè)試實(shí)施的機(jī)構(gòu)或個(gè)人