YDT 4515-2023移動智能終端智能化性能基準(zhǔn)測評方法

ICS33.050

CCSM37

YD

中華人民共和國通信行業(yè)標(biāo)準(zhǔn)

YD/TXXXX—XXXX

移動智能終端智能化性能基準(zhǔn)測評方法

Benchmarktestmethodsforintelligenceperformanceofmobilesmart

terminal

(報批稿)

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中華人民共和國工業(yè)和信息化部發(fā)布

YD/TXXXXX—XXXX

前??言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

起草。

請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。

本文件由中國通信標(biāo)準(zhǔn)化協(xié)會提出并歸口。

本文件起草單位：中國信息通信研究院、中國電信集團有限公司、OPPO廣東移動通信有限公司、

高通無線通信技術(shù)(中國)有限公司、北京小米移動軟件有限公司、中國—東盟信息港股份有限公司、

華為技術(shù)有限公司，北京三星通信技術(shù)研究有限公司，北京奇虎科技有限公司，維沃移動通信有限

公司，北京百度網(wǎng)訊科技有限公司。

本文件主要起草人：解謙、張睿、龐濤、賈利敏、杜志敏，劉欣、李小娟、盧炳全、高立發(fā)、

馬艷軍、洪明、朱亞軍、朱政、雷震、吳春雨、姚一楠

III

YD/TXXXXX—XXXX

移動智能終端智能化性能基準(zhǔn)測評方法

1范圍

本文件規(guī)定了通過使用神經(jīng)網(wǎng)絡(luò)模型在移動智能終端側(cè)進(jìn)行推理計算的基準(zhǔn)測試的方法，對終端基

于神經(jīng)網(wǎng)絡(luò)模型的計算性能進(jìn)行評估。評測場景包括圖像處理、視頻處理等不同場景，針對不同場景測

試集，測試方法和評測指標(biāo)提出要求。

本文件適用于具備智能操作系統(tǒng)的移動智能終端，包括數(shù)字移動電話機，平板電腦以及其他數(shù)字移

動通信終端設(shè)備。

2規(guī)范性引用文件

本文件沒有規(guī)范性引用文件

3術(shù)語、定義和縮略語

3.1術(shù)語和定義

本文件沒有需要界定的術(shù)語和定義。

3.2縮略語

下列縮略語適用于本文件。

AI人工智能ArtificialIntelligence

CPU中央處理器CentralProcessingUnit

DSP數(shù)字信號處理DigitalSignalProcessing

FAR錯誤接受率FalseAcceptanceRate

FN錯誤的負(fù)樣本FalseNegative

GPU圖形處理器GraphicsProcessingUnit

IoU交并比IntersectionoverUnion

mAP平均準(zhǔn)度均值meanAveragePrecision

NPU神經(jīng)網(wǎng)絡(luò)處理器NeuralNetworkProcessingUnit

PR正確通過率PassRate

TP真正的正樣本TruePositive

TP90尾部延遲90分位Taillatencyat90thpercentiles

4測試概述

4.1移動智能終端智能化測試構(gòu)架

1

YD/TXXXXX—XXXX

人工智能終端的基準(zhǔn)測試指通過運行一段（一組）程序或者操作，來評測終端相關(guān)性能的活動。

移動智能終端人工智能性能基準(zhǔn)測試包括圖像處理、視頻處理測試。在移動智能終端上通過神經(jīng)網(wǎng)絡(luò)模

型對基準(zhǔn)推理集進(jìn)行推理測試，評測移動智能終端整機的人工智能處理性能。具體測試框架如下，見圖

1：

圖1移動智能終端智能化測試構(gòu)架

4.1.1神經(jīng)網(wǎng)絡(luò)模型

用于人工智能計算，神經(jīng)網(wǎng)絡(luò)模型應(yīng)為經(jīng)過訓(xùn)練且達(dá)到一定準(zhǔn)確率的模型，包括模型結(jié)構(gòu)和變量參

數(shù)。

4.1.2推理集

作為人工智能推理計算的輸入數(shù)據(jù)集，可以為圖片，視頻等格式的數(shù)據(jù)或文件。

4.1.3移動終端人工智能推理框架

4.1.3.1總體要求

移動終端人工智能推理框架部署在移動智能終端上，通常由模型轉(zhuǎn)換工具和推理框架編譯器組成。

移動終端人工智能推理框架可以分為通用框架和專用框架，通用框架指能跨平臺運行，能在多種芯片平

臺上運行的人工智能計算平臺，如TensorFlowLite，PaddleLite等。專用框架指僅能在指定的部分芯

片平臺上運行的人工智能計算平臺，如SNPE，HiAI等。在測試過程中需要指明使用的移動終端人工智能

推理框架。

4.1.3.2轉(zhuǎn)換工具

轉(zhuǎn)換工具能將輸入的推理算法，根據(jù)移動終端特點進(jìn)行剪裁壓縮和優(yōu)化，具有減小模型體積、優(yōu)化

算法操作和參數(shù)精度等功能。

4.1.3.3基準(zhǔn)測試?yán)?/p>

2

YD/TXXXXX—XXXX

基準(zhǔn)測試?yán)秊橹付y試場景下，使用神經(jīng)網(wǎng)絡(luò)模型推理算法對推理測試集進(jìn)行推理測試的測試?yán)?/p>

4.1.3.4移動終端人工智能推理框架編譯器

推理框架編譯器主要通過加載神經(jīng)網(wǎng)絡(luò)模型并執(zhí)行推斷計算，向上能支持轉(zhuǎn)換工具優(yōu)化過的神經(jīng)網(wǎng)

絡(luò)模型，向下能提供調(diào)度和使用包括CPU、GPU、DSP、NPU等人工智能計算所需的硬件資源。

4.1.4終端硬件層

參與人工智能處理的硬件，包括CPU、GPU、AI硬件加速單元,內(nèi)存、電池等。

4.2通用測試方法

通用測試方法如下：

a)移動智能終端初始化，包括屏蔽測試無關(guān)的其他應(yīng)用、后臺功能、調(diào)整屏幕亮度、記錄初始電

量等,使得每次測試前終端的運行狀態(tài)保持一致；

b)使用模型優(yōu)化工具將預(yù)訓(xùn)練的模型文件離線轉(zhuǎn)換為移動智能終端上可以直接運行的模型文件，

并進(jìn)行優(yōu)化；

c)將測試?yán)评砑膱D像或視頻資源進(jìn)行縮放、通道轉(zhuǎn)換等預(yù)處理工作；

d)將預(yù)處理的測試圖像或視頻資源輸入優(yōu)化后的模型進(jìn)行推理測試；

e)測試過程中通過軟件方式或其他方式記錄處理結(jié)果，處理時間和硬件性能指標(biāo)；

f)計算最終評測結(jié)果。

4.3性能指標(biāo)監(jiān)測

性能指標(biāo)包括檢測人工智能推斷計算性能的模型性能指標(biāo)和硬件性能指標(biāo)。

模型性能指標(biāo)參見第5章內(nèi)容。

硬件性能指標(biāo)為通用測試指標(biāo)包括功耗，內(nèi)存等，具體為：

a)功耗測試應(yīng)計算每毫焦耳能量消耗下最大能處理的圖片張數(shù)（幀數(shù)）；

b)內(nèi)存測試為測試過程中占用的內(nèi)存的平均值；

5圖像處理測試方法

5.1圖像分類

5.1.1推理測試

根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標(biāo)區(qū)分開來的圖像處理方法。

5.1.2推理集要求

推理集應(yīng)由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開數(shù)據(jù)集包括如下圖片集：

a)CIFAR-100；

b)Caltech_256；

c)ImageNet。

進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機抽取10000張圖片。

3

YD/TXXXXX—XXXX

5.1.3評測模型

評測模型可包括下表所列一個或多個深度學(xué)習(xí)模型：

a)Inceptionv3；

b)ResNet50；

c)MobileNetV2。

5.1.4測試方法

圖像分類測試方法如下：

a)加載數(shù)據(jù)集中的圖片到終端內(nèi)存，并完成圖像縮放、通道轉(zhuǎn)換等預(yù)處理工作；

b)評測軟件記錄本次圖片推理前的時間戳；

c)將內(nèi)存中預(yù)處理后的數(shù)據(jù)輸入推理模型；

d)記錄模型輸出結(jié)果和該時刻的時間戳；

e)重復(fù)步驟a)-d，直到數(shù)據(jù)集所有圖片完成測試，輸出記錄，計算指標(biāo)；

f)測試需要使用浮點型精度或整型精度的模型分別進(jìn)行測試。

5.1.5測試指標(biāo)

圖像分類測試指標(biāo)如下：

a)TOP1準(zhǔn)確率（VTop1，單位：%）：在一次推理結(jié)果分類排序中，只有當(dāng)概率最高的結(jié)果為正

確分類，本次推理結(jié)果才能判定為正確，統(tǒng)計所有圖片的推理結(jié)果，用正確推理圖片數(shù)量除以

圖片總數(shù)，得到TOP1準(zhǔn)確率。

TP1

VTop1=×100%（1）

TP1+FN1

式中：

TP1——推理結(jié)果中，Top1分類正確的圖片數(shù)量；

FN1——推理結(jié)果中，Top1分類不正確的圖片數(shù)量。

b)TOP5準(zhǔn)確率（VTop5，單位：%）,在一次推理結(jié)果分類排序中，概率排名前五的結(jié)果中包含

正確的分類，本次推理結(jié)果判定為正確，統(tǒng)計所有圖片的推理結(jié)果，用正確推理圖片數(shù)量除以

圖片總數(shù)，得到TOP5準(zhǔn)確率。

VTop5=TP5×100%（2）

TP5+FN5

式中：

TP5——推理結(jié)果中，Top5分類正確的圖片數(shù)量；

FN5——推理結(jié)果中，Top5分類不正確的圖片數(shù)量。

c)單張圖片推理時間（InferenceTime，單位：毫秒）：記錄一組圖片推理總耗時，計算出單張

圖片平均推理時間：

TN

InferenceTime=（3）

N

式中：

TN——一組圖片推理總耗時；

N——該組圖片數(shù)量。

4

YD/TXXXXX—XXXX

d)可選測試尾部延遲90分位耗時（TP90,Taillatencyat90thpercentiles，單位：毫秒）：

記錄一組圖片（即數(shù)據(jù)集隨機抽取的10000張圖片）每次推理的耗時，按照耗時從小到大排序，

取第90%處的耗時作為尾部延遲90分位耗時。

1)將N次采集的延遲數(shù)據(jù)按照升序排序，得到如下序列：T1,T2,T3,…TN

2)計算P=90分位在序列中的前、后位置m和m+1，其中m的計算如下：

=